WO2016178379A1 - 撮像装置、撮像方法、およびプログラム、並びに画像処理装置 - Google Patents

撮像装置、撮像方法、およびプログラム、並びに画像処理装置 Download PDF

Info

Publication number
WO2016178379A1
WO2016178379A1 PCT/JP2016/062878 JP2016062878W WO2016178379A1 WO 2016178379 A1 WO2016178379 A1 WO 2016178379A1 JP 2016062878 W JP2016062878 W JP 2016062878W WO 2016178379 A1 WO2016178379 A1 WO 2016178379A1
Authority
WO
WIPO (PCT)
Prior art keywords
period
image
subframe
frame
charge signal
Prior art date
Application number
PCT/JP2016/062878
Other languages
English (en)
French (fr)
Inventor
泰史 佐藤
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to CN201680025913.6A priority Critical patent/CN107534761B/zh
Priority to US15/567,318 priority patent/US10484653B2/en
Publication of WO2016178379A1 publication Critical patent/WO2016178379A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Definitions

  • the present disclosure relates to an imaging apparatus, an imaging method, a program, and an image processing apparatus, and in particular, an imaging apparatus and an imaging method capable of generating a color image based on an infrared image captured by irradiating infrared light. And an image processing apparatus.
  • surveillance cameras have two modes: a day mode that captures images under natural daylight and white light such as white light, and a night mode that captures images by irradiating infrared light. There is something.
  • ⁇ ⁇ ⁇ Color images can be obtained with day mode imaging.
  • night mode imaging the reflected infrared light received by the subject is reflected, and color information such as R, B, and G cannot be obtained, and reflected light (infrared light) Only the received light intensity can be acquired. Therefore, the obtained image is a monochrome image such as gray or green.
  • Patent Document 1 discloses a method of generating a color image based on an infrared image obtained by irradiating three types of infrared light having different wavelengths.
  • the reflectance when the resin is irradiated with infrared light having wavelengths of 780 nm, 870 nm, and 940 nm has a positive correlation with the reflectance when the R, G, B visible light is irradiated. It is something that uses that.
  • this method if the subject is a resin, a color image with high color reproducibility can be obtained.
  • the R component of the generated color image has relatively good reproducibility, but the original color cannot be reproduced for the G and B components. Not applicable to
  • Patent Document 2 proposes a method of performing imaging by irradiating infrared light in a state where a subject is slightly visible under low illumination illumination or the like.
  • this method an image in which visible light and infrared light are mixed is captured, and white balance processing parameters applied to the image are changed from values applied to a normal visible light-only image. Color information is reproduced.
  • Patent Document 3 an infrared image irradiated with infrared light and a visible image under low illuminance that is not irradiated with infrared light are continuously captured.
  • a technique for generating a color image using the above is disclosed.
  • JP 2011-50049 A JP 2005-130317 A JP 2011-233983 A
  • a CCD or a CMOS image sensor is generally used as an image pickup element mounted on an image pickup apparatus including a monitoring camera.
  • the CCD has a global shutter function in which all pixels are exposed simultaneously due to its structure.
  • CMOS image sensors do not have a global shutter function due to their structure (though there are CMOS image sensors with a global shutter function), and are of a rolling shutter type in which the pixel exposure time shifts in units of rows. Exists.
  • the rolling shutter method is also called a focal plane readout method.
  • the present disclosure has been made in view of such a situation, and makes it possible to generate a color image based on an infrared image and a visible image captured using a focal plane readout type imaging device.
  • the imaging apparatus uses a focal plane readout method for each row in a first readout period that is a part of a first subframe period within one frame period corresponding to a predetermined frame rate.
  • the first charge signal of the pixel is read, and the second charge signal of the pixel in each row is read by a focal plane reading method in the second reading period which is a part of the second subframe period in the one frame period.
  • An image sensor that generates a first sub-frame image based on the first charge signal and generates a second sub-frame image based on the second charge signal;
  • the imaging range is irradiated with infrared light, and infrared is irradiated in a period other than the irradiation period.
  • An irradiation control unit that controls not to irradiate light; and a color image generation unit that generates a color image at the predetermined frame rate based on the first subframe image and the second subframe image.
  • the first subframe period can be shorter than the second subframe period.
  • the color image generation unit includes a first image conversion unit that extracts luminance information from the first subframe image, a second image conversion unit that extracts color difference information from the second subframe image, A third image conversion unit that converts the luminance information of the first subframe image and the color difference information of the second subframe image into color information of the color image can be further provided.
  • the second image conversion unit also extracts luminance information from the second subframe image, and the third image conversion unit corrects using the luminance information of the second subframe image,
  • the luminance information of the first subframe image and the color difference information of the second subframe image can be converted into color information of the color image.
  • the color image generation unit includes a first 3DNR unit that performs 3DNR processing including time direction processing on the first subframe image, and first that performs 3DNR processing including time direction processing on the second subframe image.
  • 2 3DNR units may be further provided, and the feedback rate in the time direction processing in the first 3DNR unit may be different from the feedback rate in the time direction processing in the second 3DNR unit.
  • the second 3DNR unit can perform the 3DNR process on the second subframe image using the moving subject detection result supplied from the first 3DNR unit.
  • the color image generation unit may further include a 2DNR unit that performs 2DNR processing on the second subframe image using the edge detection result supplied from the first 3DNR unit.
  • the light receiving surface of the image sensor can be covered with a Bayer array color filter, RGB-IR filter, or RGB-W filter.
  • An infrared light irradiation unit that irradiates the infrared light can be further provided.
  • the imaging method according to the first aspect of the present disclosure is based on a focal plane readout method for each row in a first readout period that is a part of a first subframe period within one frame period corresponding to a predetermined frame rate.
  • the first charge signal of the pixel is read, and the second charge signal of the pixel in each row is read by a focal plane reading method in the second reading period which is a part of the second subframe period in the one frame period.
  • the imaging range is irradiated with infrared light, and infrared light is emitted in periods other than the irradiation period.
  • the program according to the first aspect of the present disclosure provides a pixel in each row in a first readout period, which is a part of a first subframe period within one frame period corresponding to a predetermined frame rate, using a focal plane readout method.
  • the imaging range is irradiated with infrared light, and infrared light is emitted in periods other than the irradiation period.
  • a process including an irradiation control step for controlling so as not to irradiate, and a color image generation step for generating a color image at the predetermined frame rate based on the first subframe image and the second subframe image Is executed on the computer.
  • the pixels of each row in the focal plane readout method are used. 1 charge signal is read out, and the second charge signal of the pixels in each row is read out in the second readout period, which is a part of the second subframe period in the one frame period, by the focal plane readout method.
  • a first sub-frame image is generated based on the first charge signal
  • a second sub-frame image is generated based on the second charge signal
  • the first sub-frame image in the first sub-frame period is generated.
  • the imaging range is irradiated with infrared light, and the infrared light is not irradiated in periods other than the irradiation period.
  • Based on the first sub-frame image and the second sub-frame image is generated a color image at the predetermined frame rate.
  • the image processing apparatus uses a focal plane readout method for each row during a first readout period that is a part of a first subframe period within one frame period corresponding to a predetermined frame rate.
  • the first charge signal of each pixel is read out, and the second charge signal of the pixels in each row is read in the second readout period that is a part of the second subframe period within the one frame period by the focal plane readout method.
  • Reading generating the first sub-frame image based on the first charge signal, and generating the second sub-frame image based on the second charge signal, the first sub-frame image from the image sensor
  • An irradiation control unit configured to irradiate the imaging range with infrared light in a certain irradiation period, and control not to irradiate infrared light in a period other than the irradiation period; the first sub-frame image; and the second And a color image generation unit that generates a color image at the predetermined frame rate based on the subframe image.
  • the imaging range is irradiated with infrared light in an irradiation period that is all or part of a period excluding the first readout period in the first subframe period, Infrared light is not irradiated in a period other than the irradiation period, and a color image is generated at the predetermined frame rate based on the first subframe image and the second subframe image.
  • a color image with high color reproducibility can be generated.
  • FIG. 26 is a block diagram illustrating a configuration example of an imaging apparatus to which the present disclosure is applied. It is a figure which shows the transmission characteristic of IR band pass filter. It is a block diagram which shows the structural example of a CMOS image sensor. It is a figure which shows the 1st example of the exposure period and the read-out timing of an electric charge signal. It is a figure which shows the 1st example of the irradiation timing of infrared light. It is a block diagram which shows the structural example of a camera DSP part. It is a block diagram which shows the structural example of a movement synthetic
  • FIG. 1 illustrates a configuration example of an imaging apparatus that is an embodiment of the present disclosure.
  • the imaging device 10 is used for a surveillance camera, for example, and is based on an infrared image obtained in a state of irradiating infrared light and a visible image obtained under a low illuminance that is not irradiated with infrared light. In this way, a color image is generated.
  • the imaging apparatus 10 includes an imaging system configured in the same manner as a general camera, an image processing system that performs image processing, and a light projecting system that irradiates infrared light toward the imaging range.
  • the imaging system of the imaging apparatus 10 includes a lens 11, an IR band pass filter 12, and a focal plane readout type (rolling shutter type) CMOS image sensor (hereinafter abbreviated as CMOS) 13.
  • CMOS focal plane readout type
  • the lens 11 condenses the optical image of the subject on the CMOS 13, and the IR bandpass filter 12 disposed between the lens 11 and the CMOS 13 extracts the visible light component and the infrared light component from the optical image of the subject. Then, the CMOS 13 generates an image signal based on the incident light and outputs it to the image processing system.
  • FIG. 2 shows the transmission characteristics of the IR band-pass filter 12.
  • the IR band pass filter 12 has a high transmittance for visible light having a wavelength of 400 nm to 650 nm and infrared light having a peak at a wavelength of 850 nm (infrared light irradiated by the light projecting system).
  • FIG. 3 shows a configuration example of the CMOS 13.
  • the CMOS 13 includes a sensor array 21, a signal line 22, an analog gain amplifier 23, an ADC 24, and a data buffer 25.
  • the sensor array 21 is composed of photoelectric conversion elements for each pixel arranged vertically and horizontally, and the light receiving surface side is covered with a color filter 21a such as a Bayer array.
  • FIG. 4 shows a first example of the exposure period of each row of the sensor array 21 of the CMOS 13 and the readout timing of the charge signal obtained thereby.
  • the exposure period is shifted in units of rows in accordance with the sweep direction from the first sweep (1st-Line) to the last sweep (Last-Line) of the sensor array 21.
  • the charge signal obtained during the period is read out for each row at the same time.
  • one frame period (1/30 second in the case of 30 fps) of the frame rate (for example, 30 fps) of the color image to be finally output is two subframe periods (1/60 seconds in the case of 30 fps). ). Then, in each subframe period, charge signals are read in units of rows in the order of the sweep direction of the sensor array 21, and a subframe image based on the read charge signals is output from the CMOS 13. Therefore, two subframe images are output from the CMOS 13 in one frame period.
  • the exposure period of the first sweep of the sensor array 21 ends, and the charge signal obtained during the exposure period is read out.
  • the charge signal read at this time is the charge signal of the second subframe of the previous n ⁇ 1 frame. After reading out the charge signal, a new exposure period for the first sweep of the sensor array 21 is started.
  • the exposure period of each row of the sensor array 21 is completed in the order of the sweep direction at a predetermined time interval, the charge signal obtained during the exposure period is read, and a new exposure period is started.
  • the exposure period of the last sweep of the sensor array 21 ends, the charge signal obtained during the exposure period is read, and a new exposure period is started.
  • the charge signals in each row of the second subframe of the n-1 frame are read out at predetermined time intervals in the order of the sweep direction. Then, based on the read charge signal, a second sub-frame image SF2 of n ⁇ 1 frames is generated and output from the CMOS 13. Moreover, the exposure period of each row of the sensor array 21 is started at a predetermined time interval in the order of the sweep direction.
  • the exposure period of the first sweep of the sensor array 21 is completed, and the charge signal obtained during the exposure period is read out.
  • the charge signal read at this time is the charge signal of the first subframe of n frames. After reading out the charge signal, a new exposure period for the first sweep of the sensor array 21 is started.
  • the charge signals in each row of the first subframe of the n frame are read at predetermined time intervals in the order of the sweep direction. Then, a first sub-frame image SF1 of n frames is generated based on the read charge signal and output from the CMOS 13. Further, a new exposure period for each row of the sensor array 21 is started at predetermined time intervals in the order of the sweep direction.
  • the exposure period of the first sweep of the sensor array 21 ends, and the charge signal obtained during the exposure period is read out.
  • the charge signal read at this time is the charge signal of the second subframe of the n frame. After reading out the charge signal, a new exposure period for the first sweep of the sensor array 21 is started.
  • the charge signals in each row of the second subframe of the n frame are read out at predetermined time intervals in the order of the sweep direction. Then, based on the read charge signal, an n-frame second sub-frame image SF2 is generated and output from the CMOS 13. Further, a new exposure period for each row of the sensor array 21 is started at predetermined time intervals in the order of the sweep direction.
  • the period from time t0 to time t4 is defined as one frame period. That is, one frame period is a period from the start of the exposure of the first row of the first subframe of a certain frame to the end of the exposure of the first row of the second subframe of the same frame. is there.
  • the period from time t0 to time t2 is referred to as subframe period 1. That is, the subframe period 1 is a period from the start of the exposure of the first row of the first subframe of a certain frame to the end of the exposure of the first row of sweeps.
  • subframe period 2 a period from time t2 to time t4 is referred to as subframe period 2. That is, the subframe period 2 is a period from the start of the exposure of the first sweep line of the second subframe of a certain frame to the end of the exposure of the first sweep line.
  • the readout period 1 is a period from the start of reading of the charge signal in the first sweep line of the first subframe of a certain frame to the end of reading of the charge signal in the last sweep line.
  • the readout period 1 is a period during which a charge signal for reading the subframe image SF1 is read out.
  • the readout period 2 is a period from the start of reading of the charge signal in the first sweep line of the second subframe of a certain frame to the end of reading of the charge signal in the last sweep line.
  • the readout period 2 is a period in which the charge signal for reading the subframe image SF2 is read out.
  • an all-row exposure period 1 is a period from the start of the exposure of the last sweep of the first subframe of a certain frame to the end of the exposure of the first sweep.
  • the all-row exposure period 1 is a period in which exposure of pixels in all rows of the sensor array 21 is performed at the same time among exposure periods of the sub-frame image SF1 of a certain frame.
  • an all-row exposure period 2 is a period from the start of exposure of the last sweep of the second sub-frame of a certain frame to the end of exposure of the first sweep.
  • the all-row exposure period 2 is a period during which exposure of pixels in all rows of the sensor array 21 is performed at the same time among exposure periods of the sub-frame image SF2 of a certain frame.
  • subframe period 1 and subframe period 2 are set to the same length.
  • the readout period 1 is shorter than the subframe period 2, and the readout period 2 is shorter than the subframe period 1. That is, in the CMOS 13, the readout of the charge signals of all the rows of the sensor array 21 is completed faster than the subframe rate in units of subframes.
  • the read charge signal is output to the analog gain amplifier 23 through the signal line 22 and amplified, converted into a digital pixel signal by the ADC 24, and stored in the data buffer 25.
  • the gain in the analog gain amplifier 23 can be set adaptively according to the illumination. Then, pixel signals for all the pixels constituting the sensor array 21 are output as image signals to the subsequent image processing system. Note that the image signal at this stage is RAW data in which each pixel has color information of any one of R, G, and B.
  • the image processing system of the imaging apparatus 10 includes a camera DSP unit 14 and memories 15 and 16.
  • the camera DSP unit 14 generates a color image in which each pixel has R, G, and B color information based on the image signal from the imaging system.
  • the memories 15 and 16 temporarily hold image signals used for NR (noise reduction) processing.
  • the camera DSP unit 14 generates and outputs a V synchronization signal for controlling driving (exposure and reading) of the CMOS 13 of the imaging system.
  • the camera DSP unit 14 generates and outputs driver signals (ON / OFF signal and intensity adjustment signal) for controlling the light projecting system.
  • the light projection system of the imaging apparatus 10 includes an IR drive unit 17 and an IR irradiation unit 18.
  • the IR drive unit 17 irradiates infrared light from the IR irradiation unit 18 in accordance with control from the camera DSP unit 14.
  • the IR irradiation unit 18 irradiates infrared light having a peak at a wavelength of 850 nm toward the imaging range.
  • the IR irradiation unit 18 may be disposed inside the housing of the imaging device 10 or may be disposed outside the housing of the imaging device 10.
  • FIG. 5 shows a first example of the irradiation timing of the infrared light of the light projecting system. This irradiation timing is set corresponding to the first example of the exposure period of the CMOS 13 in FIG. 4 and the charge signal readout timing.
  • the IR irradiation unit 18 turns on infrared light irradiation during the period from time t1 to time t2 (all-line exposure period 1) under the control of the IR driving unit 17.
  • the infrared light irradiation period is set to the entire period of the subframe period 1 excluding the readout period 2 (all-row exposure period 1).
  • the imaging range is irradiated with infrared light during the exposure period of the sub-frame image SF1, in which the pixels in all rows of the sensor array 21 are exposed simultaneously.
  • the IR irradiation unit 18 turns off the irradiation of infrared light in a period other than the all-row exposure period 1 under the control of the IR driving unit 17. That is, the infrared light is not irradiated during the exposure period of the sub-frame image SF1 during the period in which the charge signal of any row of the sensor array 21 is being read. Further, infrared light is not irradiated over the entire exposure period of the sub-frame image SF2.
  • the sub-frame image SF1 is turned on with infrared light irradiation over the entire period in which exposure of pixels in all rows is performed simultaneously (all-row exposure period 1). As a result, the entire screen becomes evenly bright. Further, in the CMOS sensor of the focal plane readout method, the vertical shift of the moving subject moving at high speed (because the exposure period shifts for each row) becomes a problem, but for the subframe image SF1, Since the irradiation period of infrared light is the same in all rows, there is an advantage that no vertical shift occurs. Furthermore, since the exposure time is shorter than one frame period, the sub-frame image SF1 is an image in which the motion blur of the moving subject is suppressed.
  • subframe image SF1 is also referred to as an infrared image
  • subframe image SF2 is also referred to as a visible image
  • the camera DSP unit 14 generates a color image using two subframe images SF1 (infrared image) and subframe image SF2 (visible image) every frame period.
  • FIG. 6 shows a configuration example of the camera DSP unit 14.
  • the camera DSP unit 14 includes a timing control unit 31 and an AE control unit 32, and includes an infrared image processing system, a visible image processing system, and a color image generation system.
  • the timing control unit 31 generates a V synchronization signal for controlling the driving of the CMOS 13 and an ON / OFF signal for controlling the IR driving unit 17.
  • the AE control unit 32 generates a gain adjustment signal for controlling the analog gain amplifier 23 in the CMOS 13 and an intensity signal for controlling the IR drive unit 17.
  • the timing control unit 31 and the AE control unit 32 constitute an imaging control unit that controls imaging by the CMOS 13 and an irradiation control unit that controls irradiation of infrared light by the IR irradiation unit 18.
  • the infrared image processing system of the camera DSP unit 14 is for processing an infrared image (subframe image SF1) out of two subframe images input from the CMOS 13 every frame period.
  • the 3DNR unit 33 performs 2DNR processing for removing noise two-dimensionally by filtering each pixel of the infrared image (subframe image SF1) input from the CMOS 13 and its surrounding pixels, and infrared input from the CMOS 13 3DNR processing is performed by combining time direction processing that performs weighted averaging of an image and a past (one frame period or earlier) infrared image that has been processed in the memory 16 and has been subjected to 3DNR processing.
  • the weighting value for the current infrared image in the time direction processing is referred to as a feedback rate, and the feedback rate here is a value larger than the feedback rate of the 3DNR unit 36 described later.
  • the feedback rate in the 3DNR unit 36 is 1/8
  • the feedback rate in the 3DNR unit 33 is 1/2, and the like.
  • the 3DNR unit 33 detects a moving subject based on the difference between subframes, and for the moving subject portion in the image, a process for suppressing the occurrence of afterimages by increasing the current image feedback rate. Done.
  • the detected moving subject detection result is notified to the 3DNR unit 36, and the edge detection result is notified to the 2DNR unit 39.
  • the 3DNR-processed infrared image in the 3DNR unit 33 is output to the demosaic unit 34 and is overwritten and recorded in the memory 16.
  • the demosaic unit 34 extracts the luminance information Yir of each pixel from the 3DNR-processed infrared image (RAW data) and outputs it to the 2DNR unit 35 and the luminance synthesis unit 41. Specifically, the pixel value of the RAW data is used as the luminance information Yir as it is, or the R, G, B pixel values of neighboring pixels are added to obtain the luminance information Yir.
  • RAW data 3DNR-processed infrared image
  • the 2DNR unit 35 extracts a low frequency component by performing two-dimensional noise reduction processing on the luminance information Yir of the infrared image, and outputs the luminance information Yir_NR obtained as a result to the luminance combining unit 41.
  • the visible image processing system of the camera DSP unit 14 processes a visible image (subframe image SF2) among the subframe images input from the CMOS 13 every frame period, and includes a 3DNR unit 36, It comprises a demosaic unit 37, a white balance (WB) unit 38, a 2DNR unit 39, and a YCC conversion unit 40.
  • a 3DNR unit 36 It comprises a demosaic unit 37, a white balance (WB) unit 38, a 2DNR unit 39, and a YCC conversion unit 40.
  • the 3DNR unit 36 performs a 2DNR process for removing noise two-dimensionally by filtering each pixel of a visible image (subframe image SF2) input from the CMOS 13 and its surrounding pixels, and a visible image input from the CMOS 13 3DNR processing is performed in combination with time direction processing that performs weighted averaging with a visible image that has already been subjected to 3DNR processing in the past (before one frame period) held in the memory 15.
  • the visible image input to the 3DNR unit 36 is a low-illumination image with a lot of noise, even if a moving subject is detected from this visible image for time-direction processing, the movement and noise cannot be distinguished. It cannot be detected properly.
  • the 3DNR unit 36 performs time direction processing using the moving subject detection result detected from the infrared image supplied from the 3DNR unit 33. Further, the feedback rate in the 3DNR unit 36 is a value 1/8 smaller than the feedback rate (for example, 1/2) in the 3DNR unit 33. Accordingly, the 3DNR unit 36 can perform sufficient noise removal while suppressing the moving subject afterimage.
  • the demosaic unit 37 converts the 3DNR-processed image signal (RAW data) into RGB data in which each pixel has R, G, and B color information, and outputs the RGB data to the WB unit 38.
  • the WB unit 38 performs white balance processing on the image signal (RGB data) and outputs it to the 2DNR unit 39.
  • the 2DNR unit 39 performs, for example, a two-dimensional noise reduction process (2DNR process) using a wide-area filter such as an ⁇ filter, and outputs the result to the YCC conversion unit 40.
  • 2DNR process a two-dimensional noise reduction process
  • the 2DNR unit 39 performs the 2DNR process using the edge detection result detected from the infrared image supplied from the 3DNR unit 33.
  • the 2DNR unit 39 can perform two-dimensional noise reduction processing using a wide-area filter without mixing colors near the edge.
  • the YCC conversion unit 40 converts the visible image (RGB data) after 2DNR processing into a visible image (YCC data) in which each pixel has luminance information Y and color difference information Cb, Cr, and luminance information Y (hereinafter, Yc)
  • Yc luminance information Y
  • the color image generation system of the camera DSP unit 14 is for processing the outputs of the infrared image processing system and the visible image processing system, and includes a luminance synthesis unit 41, a ⁇ correction unit 42, and an RGB conversion unit 43.
  • the luminance synthesis unit 41 is a color generated in the subsequent stage based on the luminance information Yir and luminance information Yir_NR of the infrared image input from the infrared image processing system and the luminance information Yc of the visible image input from the visible image processing system. Synthesizes the luminance signal of the image.
  • the luminance information Yir of the infrared image is directly used as the luminance signal of the color image without passing through the luminance combining unit 41, the luminance information of the subject having a significantly different reflectance of the infrared light and the reflectance of the visible light is used.
  • the color reproduction deteriorates due to the difference. For example, in black clothes with high infrared reflectance (the reflectance of visible light is low), if Yir is used as luminance information as it is, white clothes will appear in the output image. By providing the luminance combining unit 41, such a problem can be prevented.
  • FIG. 7 shows a detailed configuration example of the luminance synthesis unit 41.
  • the luminance synthesis unit 41 includes a division unit 51, a gain conversion unit 52, and a multiplication unit 53.
  • the gain conversion unit 52 converts the ratio Yratio into Ygain according to a predetermined function (or conversion table held) and outputs the Yratio to the multiplication unit 53.
  • the luminance synthesis unit 41 basically performs processing for modulating Yir with the Yc signal by multiplying (multiplying) the ratio Yratio with the luminance information Yir of the original infrared image.
  • the gain converter 52 converts the ratio Yratio to Ygain using a nonlinear function curve.
  • the degree of modulation can be adjusted by selecting the exponent value ⁇ . For example, if the value of ⁇ is increased, Ygain approaches 1 as a whole, and the degree of modulation becomes weaker. Conversely, if the value of ⁇ is decreased, Ygain deviates from 1, and the degree of modulation increases.
  • the gain conversion unit 52 may hold a conversion table created in advance.
  • the multiplier 53 calculates the luminance information Ysym by multiplying (multiplying) the luminance information Yir of the infrared image by Ygain, and outputs the luminance information Ysym to the subsequent ⁇ correction unit 42.
  • the ⁇ correction unit 42 performs ⁇ correction processing on the luminance information Ysym input from the luminance synthesis unit 41, and outputs the luminance information Ysym after ⁇ correction processing to the RGB conversion unit 43.
  • the RGB conversion unit 43 Based on the color difference information Cb, Cr from the YCC conversion unit 40 and the luminance information Ysym after the ⁇ correction processing from the ⁇ correction unit 42, the RGB conversion unit 43 has R, G, B for each pixel for each frame period. One color image having color information is generated and output to the subsequent stage.
  • FIG. 9 is a flowchart for explaining color image generation processing by the camera DSP unit 14.
  • This color image generation process is executed every frame period, and it is assumed that two subframe images SF1 and SF2 are input to the camera DSP unit 14 from the CMOS 13 in one frame period as a premise.
  • step S1 two sub-frame images input from the CMOS 13 in one frame period are distributed to the infrared image processing system or the visible image processing system.
  • the sub-frame image SF1 is distributed to the infrared image processing system, and the processes in steps S2 to S4 are performed.
  • the sub-frame image SF2 is distributed to the visible image processing system, and the processes of steps S5 to S9 are performed.
  • step S ⁇ b> 2 the 3DNR unit 33 performs 3DNR processing on the infrared image (subframe image SF ⁇ b> 1) input from the CMOS 13, and outputs the 3DNR-processed infrared image to the demosaic unit 34. At the same time, it is overwritten and recorded in the memory 16.
  • step S3 the demosaic unit 34 extracts the luminance information Yir of each pixel from the 3DNR-processed infrared image (RAW data) and outputs it to the 2DNR unit 35 and the luminance synthesis unit 41.
  • step S ⁇ b> 4 the 2DNR unit 35 extracts a low frequency component by performing two-dimensional noise reduction processing on the luminance information Yir of the infrared image, and outputs the luminance information Yir_NR obtained as a result to the luminance combining unit 41.
  • step S5 the 3DNR unit 36 performs 3DNR processing on the visible image (subframe image SF2) input from the CMOS 13, outputs the 3DNR-processed visible image to the demosaic unit 37, and stores the memory. 15 is overwritten and recorded.
  • step S6 the demosaic unit 37 converts the 3DNR processed image signal (RAW data) into RGB data and outputs the RGB data to the WB unit 38.
  • step S ⁇ b> 7 the WB unit 38 performs white balance processing on the image signal (RGB data) and outputs it to the 2DNR unit 39.
  • step S8 the 2DNR unit 39 performs 2DNR processing on the white balance processed visible image (RGB data) and outputs the processed image to the YCC conversion unit 40.
  • step S9 the YCC conversion unit 40 converts the 2DNR-processed visible image (RGB data) into a visible image (YCC data), outputs the luminance information Yc to the luminance combining unit 41, and converts the color difference information Cb and Cr into RGB. The data is output to the conversion unit 43.
  • the luminance synthesis unit 41 receives the luminance information Yir and the infrared image luminance information input from the infrared image processing system. Based on the luminance information Yir_NR and the luminance information Yc of the visible image input from the visible image processing system, the luminance information Ysym of the color image generated in the subsequent stage is calculated and output to the ⁇ correction unit 42.
  • step S ⁇ b> 11 the ⁇ correction unit 42 performs ⁇ correction processing on the luminance information Ysym input from the luminance combining unit 41, and outputs the luminance information Ysym after the ⁇ correction processing to the RGB conversion unit 43.
  • step S12 the RGB conversion unit 43 determines that each pixel is R, for each frame period, based on the color difference information Cb, Cr from the YCC conversion unit 40 and the luminance information Ysym after ⁇ correction processing from the ⁇ correction unit 42.
  • One color image having G and B color information is generated and output to the subsequent stage. This is the end of the description of the color image generation process.
  • FIG. 10 shows a second example of the exposure period of each row of the sensor array 21 of the CMOS 13 and the readout timing of the charge signal obtained thereby.
  • the time t2 when the reading period 1 starts and the time t3 when the reading period 1 ends are earlier than those in the first example of FIG. Therefore, in the second example, the subframe period 1 is shorter and the subframe period 2 is longer than in the first example. Further, in the second example, the entire row exposure period 1 is shortened and the entire row exposure period 2 is longer than in the first example.
  • FIG. 11 shows a second example of the irradiation timing of infrared light in the light projecting system. This irradiation timing is set corresponding to the second example of the exposure period of the CMOS 13 in FIG. 10 and the charge signal readout timing.
  • infrared light irradiation is turned on during the entire row exposure period 1 from time t1 to time t2, and other than the entire row exposure period 1. Infrared light irradiation is turned off during the period.
  • the infrared image (sub-frame image SF1) is an image that is evenly bright on the entire screen and has no vertical shift. Further, since the exposure time is shortened compared to the first example, the infrared image is an image in which the motion blur of the moving subject is further suppressed.
  • the exposure period of the visible image (subframe image SF2) is longer than in the first example, the sensitivity of the visible image can be increased. As a result, the reproducibility of the color difference information based on the visible image can be improved.
  • the intensity of infrared light may be set higher accordingly.
  • the color filter 21a is composed of R, G, and B color filters according to the Bayer array, but instead of the color filter 21a, R, G, and B shown in FIG.
  • RGB-IR filter 61 or 62 the value obtained from the IR pixel is used as the pixel value of the infrared image, and the IR signal subtraction processing (R, G, B pixel pixels is used as the pixel value of the visible image. A value obtained by subtracting the pixel value of the IR pixel from the value may be used.
  • the RGB-W filter 63 or 64 including the R, G, and B color filters shown in FIG. 13A or FIG. 13B and a portion where no filter is provided so as to transmit the entire visible light band. May be adopted.
  • the pixel signal R of each pixel of R, G, B, W for example, as the pixel value IR of the infrared image and the pixel values R, G, B of the visible image
  • values calculated by the arithmetic processing of the following formulas (1) to (4) may be used.
  • IR (R IR + G IR + B IR ⁇ W IR ) / 2 (1)
  • R R IR -IR (2)
  • G G IR -IR (3)
  • B B IR -IR (4)
  • R IR R + IR (5)
  • G IR G + IR (6)
  • B IR B + IR (7)
  • W IR R + G + B + IR (8)
  • the RGB-IR filter 61 or 62 or the RGB-W filter 63 or 64 it is not irradiated from the IR irradiation unit 18, which could not be separated by the Bayer array color filter. Infrared light and visible light existing in the environment can be separated.
  • the demosaic unit 34 When the RGB-IR filter 61 or 62 or the RGB-W filter 63 or 64 is employed, the demosaic unit 34 generates the luminance information Yir based only on the pixel value IR that is an infrared component. May be. Alternatively, the luminance information Yir may be generated based on the pixel values R, G, and B of the visible component in addition to the pixel value IR.
  • the color information used for generating the color image is extracted only from the visible image, but the color component may also be extracted from the infrared image and used for generating the color image.
  • the color information of only visible light can be obtained.
  • a color image with higher color reproducibility can be obtained by combining the color information extracted from the infrared light and the color information extracted from the visible image to generate a color image.
  • the example in which the infrared light irradiation is turned on over the entire period of the entire row exposure period 1 is shown. It is also possible to turn on external light irradiation. Further, for example, in the all-row exposure period 1, it is possible to repeat the on / off of the infrared light irradiation a plurality of times.
  • an IR cut filter that can be inserted and removed while blocking infrared light between the lens 11 and the IR band pass filter 12 or between the IR band pass filter 12 and the CMOS 13 may be provided. . Then, for example, the IR cut filter is inserted in the daytime period when the surroundings are bright and the color image obtained by the CMOS 13 is used as it is, and the IR cut filter is removed during the other period when the surroundings are dark. A color image may be generated by the above.
  • all the rows in the embodiment of the present invention means all of the rows that appear in the image, and excludes rows where dummy pixels or the like are arranged.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 14 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processes by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • the present disclosure can take the following configurations.
  • a first charge signal of pixels in each row is read out by a focal plane readout method
  • the one frame In the second readout period that is a part of the second subframe period in the period, the second charge signal of the pixel in each row is read out by the focal plane readout method, and the first charge signal is read based on the first charge signal.
  • An image sensor that generates a sub-frame image and generates a second sub-frame image based on the second charge signal;
  • the imaging range is irradiated with infrared light, and infrared is irradiated in a period other than the irradiation period.
  • An irradiation control unit that controls not to irradiate light;
  • An image pickup apparatus comprising: a color image generation unit configured to generate a color image at the predetermined frame rate based on the first subframe image and the second subframe image.
  • the imaging device according to (1) or (2).
  • the color image generation unit A first image conversion unit that extracts luminance information from the first sub-frame image; A second image conversion unit that extracts color difference information from the second subframe image; (1) to (3) further including a third image conversion unit that converts the luminance information of the first subframe image and the color difference information of the second subframe image into color information of the color image. ).
  • the second image conversion unit also extracts luminance information from the second sub-frame image;
  • the third image conversion unit corrects the luminance information of the first subframe image and the color difference information of the second subframe image, corrected using the luminance information of the second subframe image.
  • the imaging device according to (4) wherein the imaging device converts the color information into color information of a color image.
  • the color image generation unit A first 3DNR unit that performs 3DNR processing including time direction processing on the first subframe image; A second 3DNR unit that performs 3DNR processing including time direction processing on the second subframe image; The imaging device according to any one of (1) to (5), wherein a feedback rate in the time direction processing in the first 3DNR unit is different from a feedback rate in the time direction processing in the second 3DNR unit.
  • the color image generation unit The imaging apparatus according to (7), further including a 2DNR unit that performs 2DNR processing on the second subframe image using an edge detection result supplied from the first 3DNR unit.
  • a 2DNR unit that performs 2DNR processing on the second subframe image using an edge detection result supplied from the first 3DNR unit.
  • a first charge signal of pixels in each row is read out by a focal plane readout method
  • the one frame In the second readout period that is a part of the second subframe period in the period, the second charge signal of the pixel in each row is read out by the focal plane readout method, and the first charge signal is read based on the first charge signal.
  • the imaging range is irradiated with infrared light, and infrared is irradiated in a period other than the irradiation period.
  • An irradiation control step for controlling so as not to irradiate light;
  • a first charge signal of pixels in each row is read out by a focal plane readout method
  • the one frame In the second readout period that is a part of the second subframe period in the period, the second charge signal of the pixel in each row is read out by the focal plane readout method, and the first charge signal is read based on the first charge signal.
  • the imaging range is irradiated with infrared light, and infrared is irradiated in a period other than the irradiation period.
  • An irradiation control step for controlling so as not to irradiate light;
  • a first charge signal of pixels in each row is read out by a focal plane readout method
  • the one frame In the second readout period that is a part of the second subframe period in the period, the second charge signal of the pixel in each row is read out by the focal plane readout method, and the first charge signal is read based on the first charge signal.
  • the imaging range is irradiated with infrared light, and infrared is irradiated in a period other than the irradiation period.
  • An irradiation control unit that controls not to irradiate light;
  • An image processing apparatus comprising: a color image generation unit configured to generate a color image at the predetermined frame rate based on the first subframe image and the second subframe image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、色再現性の高いカラー画像を生成することができるようにする撮像装置、撮像方法、およびプログラム、並びに画像処理装置に関する。 第１のサブフレーム期間の一部の第１の読み出し期間にフォーカルプレーン読み出し方式で第１の電荷信号を読み出し、第２のサブフレーム期間の一部の第２の読み出し期間にフォーカルプレーン読み出し方式で第２の電荷信号を読み出し、第１の電荷信号により第１のサブフレーム画像を生成し、第２の電荷信号により第２のサブフレーム画像を生成する撮像素子と、第１のサブフレーム期間内の第１の読み出し期間を除く期間の全部または一部の照射期間に赤外光を照射し、照射期間以外の期間に赤外光を照射しないように制御する照射制御部と、第１のサブフレーム画像および第２のサブフレーム画像に基づいて、所定のフレームレートでカラー画像を生成するカラー画像生成部とを備える。本開示は、例えば監視カメラに適用できる。

Description

撮像装置、撮像方法、およびプログラム、並びに画像処理装置
　本開示は、撮像装置、撮像方法、およびプログラム、並びに画像処理装置に関し、特に、赤外光を照射して撮像した赤外画像に基づいて、カラー画像を生成できるようにした撮像装置、撮像方法、およびプログラム、並びに画像処理装置に関する。
　従来、監視カメラには、日中の自然光下や白色光などの可視光の照明下で撮像を行うデイモードと、赤外光を照射して撮像を行うナイトモードの二種類のモードを備えているものがある。
　デイモードの撮像ではカラー画像を得ることができる。一方、ナイトモードの撮像では、照射した赤外光が被写体で反射した反射光を受光することになるので、Ｒ，Ｂ，Ｇなどの色情報を得ることができず、反射光（赤外光）の受光強度のみを取得できる。よって、得られる画像はグレーやグリーンなどのモノクロ画像となる。
　ところで、監視カメラの用途を考慮した場合、ナイトモードの撮像であってもカラー画像を得られることが望ましい。
　そこで従来、撮像範囲（被写体）に赤外光を照射した状態を撮像して得られる画像（以下、赤外画像と称する）に基づいてカラー画像を生成する様々な手法が提案されている。
　例えば、特許文献１には、波長の異なる三種類の赤外光を照射して得られる赤外画像に基づいてカラー画像を生成する手法が開示されている。この手法は、樹脂に対して波長が780nm、870nm、および940nmの赤外光を照射した場合の反射率が、Ｒ，Ｇ，Ｂの可視光を照射した場合の反射率と正の相関があることを利用したものである。この手法によれば、被写体が樹脂であれば、色再現性が高いカラー画像を得ることができる。
　しかしながら、被写体が樹脂以外である場合、生成されるカラー画像のＲ成分については比較的再現性が良いものの、Ｇ，Ｂ成分については本来の色を再現し得ないので、樹脂以外の任意の被写体には適用できない。
　また例えば、特許文献２には、低照度の照明下などで被写体が僅かに見える状態で赤外光を照射して撮像を行う手法が提案されている。この手法では、可視光と赤外光が混合している画像が撮像され、この画像に適用されるホワイトバランス処理のパラメータが、通常の可視光のみの画像に適用する値から変更されることによって色情報が再現される。
　しかしながら、この手法では、赤外光と可視光を分離できないという本質的な問題があるので、再現される色情報は赤外光の影響により精度が劣るものとなってしまう。
　さらに例えば、特許文献３や非特許文献１には、赤外光を照射した状態の赤外画像と、赤外光を照射していない低照度下での可視画像を連続して撮像し、これらを用いてカラー画像を生成する技術が開示されている。
特開２０１１－５００４９号公報 特開２００５－１３０３１７号公報 特開２０１１－２３３９８３号公報
「赤外フラッシュと1台のカメラを利用した低照度シーンのカラー画像生成」画像の認識、理解シンポジウム（MIRU2011）P1034.
　ところで、監視カメラなどを含む撮像装置に搭載される撮像素子としては、CCDまたはCMOSイメージセンサが一般的である。CCDは、その構造上、全画素が同時に露光されるグローバルシャッタ機能を有する。これに対し、CMOSイメージセンサは、その構造上、グローバルシャッタ機能がなく（ただし、グローバルシャッタ機能を有するCMOSイメージセンサも存在する）、画素の露光時間が行単位でずれてしまうローリングシャッタ方式のものが存在する。なお、ローリングシャッタ方式は、フォーカルプレーン読み出し方式とも称される。
　フォーカルプレーン読み出し方式のCMOSイメージセンサを用いて、特許文献３などに記載されている技術のように、赤外画像と可視画像を連続して撮像した場合、画素の露光時間が行単位でずれていることに起因し、赤外光の照射時間が画面全体（全画素）に亘って等しい赤外画像を得られるとは限らない。そのため、そのような赤外画像を用いた場合、色再現性が高いカラー画像を生成することができない。
　従って、フォーカルプレーン読み出し方式のCMOSイメージセンサを用いて赤外光の照射時間が画面全体に亘って等しい赤外画像と、赤外光の影響が全くない可視画像を撮像するためには、赤外光の照射タイミングと露光タイミングについてなんらかの工夫が必要となる。
　本開示はこのような状況に鑑みてなされたものであり、フォーカルプレーン読み出し方式の撮像素子を用いて撮像された赤外画像と可視画像に基づいてカラー画像を生成できるようにするものである。
　本開示の第１の側面である撮像装置は、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子と、
　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部とを備える。
　前記第１のサブフレーム期間を前記第２のサブフレーム期間より短くすることができる。
　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間、および、前記第２のサブフレーム期間内の前記第２の読み出し期間を除く期間において、全ての行の画素の露光が一斉に行われるようにすることができる。
　前記カラー画像生成部には、前記第１のサブフレーム画像から輝度情報を抽出する第１の画像変換部と、前記第２のサブフレーム画像から色差情報を抽出する第２の画像変換部と、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する第３の画像変換部とをさらに設けることができる。
　前記第２の画像変換部には、前記第２のサブフレーム画像から輝度情報も抽出させ、前記第３の画像変換部には、前記第２のサブフレーム画像の輝度情報を用いて補正した、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換させることができる。
　前記カラー画像生成部には、前記第１のサブフレーム画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、前記第２のサブフレーム画像に時間方向処理を含む3DNR処理を行う第２の3DNR部とをさらに設け、前記第１の3DNR部における前記時間方向処理における帰還率と、前記第２の3DNR部における前記時間方向処理における帰還率とを異ならせることができる。
　前記第２の3DNR部には、前記第１の3DNR部から供給される動被写体検出結果を用い、前記第２のサブフレーム画像に前記3DNR処理を行わせることができる。
　前記カラー画像生成部には、前記第１の3DNR部から供給されるエッジ検出結果を用い、前記第２のサブフレーム画像に2DNR処理を行う2DNR部をさらに設けることができる。
　前記撮像素子の受光面を、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆うことができる。
　前記赤外光を照射する赤外光照射部をさらに設けることができる。
　本開示の第１の側面である撮像方法は、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップとを含む。
　本開示の第１の側面であるプログラムは、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップとを含む処理をコンピュータに実行させる。
　本開示の第１の側面においては、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号が読み出され、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号が読み出され、前記第１の電荷信号に基づいて第１のサブフレーム画像が生成され、前記第２の電荷信号に基づいて第２のサブフレーム画像が生成され、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光が照射され、前記照射期間以外の期間において赤外光が照射されず、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成される。
　本開示の第２の側面である画像処理装置は、所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子からの前記第１のサブフレーム画像及び前記第２のサブフレーム画像を入力とする画像処理装置において、前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と備える。
　本開示の第２の側面においては、第１のサブフレーム期間内の第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光が照射され、前記照射期間以外の期間において赤外光が照射されず、前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像が生成される。
　本開示の第１および第２の側面によれば、色再現性の高いカラー画像を生成することができる。
本開示を適用した撮像装置の構成例を示すブロック図である。 ＩＲバンドパスフィルタの透過特性を示す図である。 CMOSイメージセンサの構成例を示すブロック図である。 露光期間および電荷信号の読み出しタイミングの第１の例を示す図である。 赤外光の照射タイミングの第１の例を示す図である。 カメラDSP部の構成例を示すブロック図である。 移動合成部の構成例を示すブロック図である。 ゲイン変換部で用いる関数の例を示す図である。 カラー画像生成処理を説明するフローチャートである。 露光期間および電荷信号の読み出しタイミングの第２の例を示す図である。 赤外光の照射タイミングの第２の例を示す図である。 CMOSのカラーフィルタの色の配置の変形例を示す図である。 CMOSのカラーフィルタの色の配置の変形例を示す図である。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
　＜本開示の実施の形態である撮像装置の構成例＞
　図１は、本開示の実施の形態である撮像装置の構成例を示している。
　この撮像装置１０は、例えば監視カメラなどに用いられるものであり、赤外光を照射した状態で得られる赤外画像と、赤外光を照射していない低照度下で得られる可視画像に基づいてカラー画像を生成するものである。
　撮像装置１０は、一般的なカメラと同様に構成される撮像系と、画像処理を実施する画像処理系と、撮像範囲に向けて赤外光を照射する投光系から構成される。
　撮像装置１０の撮像系は、レンズ１１、ＩＲバンドパスフィルタ１２、および、フォーカルプレーン読み出し方式（ローリングシャッタ方式）のCMOSイメージセンサ（以下、CMOSと略称する）１３から成る。撮像系においては、レンズ１１が被写体の光学像をCMOS１３に集光し、レンズ１１とCMOS１３の間に配置されたＩＲバンドパスフィルタ１２が被写体の光学像から可視光成分および赤外光成分を抽出し、CMOS１３が入射光に基づく画像信号を生成して画像処理系に出力する。
　図２は、ＩＲバンドパスフィルタ１２の透過特性を示している。ＩＲバンドパスフィルタ１２は、波長400nmから650nmの可視光と、波長850nmにピークをもつ赤外光（投光系が照射する赤外光）に対して高い透過率を有するものとする。
　図３は、CMOS１３の構成例を示している。このCMOS１３は、センサアレイ２１、信号線２２、アナログゲインアンプ２３、ADC２４、およびデータバッファ２５を有する。センサアレイ２１は、縦横に配置された画素毎の光電変換素子からなり、その受光面側はベイヤ配列などのカラーフィルタ２１ａで覆われている。
　＜CMOS１３の露光期間および電荷信号の読み出しタイミングの第１の例＞
　図４は、CMOS１３のセンサアレイ２１の各行の露光期間とそれによって得られる電荷信号の読み出しタイミングの第１の例を示している。図示するように、CMOS１３においては、センサアレイ２１の掃引１行目（1st-Line）から掃引最終行(Last-Line)に向かう掃引方向に従って、行単位で露光期間がずらされており、露光期間が終了したタイミングでその間に得られた電荷信号が行毎に一括して読み出される。
　また、CMOS１３においては、最終的に出力するカラー画像のフレームレート（例えば30fps）の１フレーム期間（30fpsの場合、1/30秒）が、２つのサブフレーム期間（30fpsの場合、1/60秒）に分割される。そして、各サブフレーム期間において、センサアレイ２１の掃引方向の順に行単位で電荷信号の読み出しが行われ、読み出された電荷信号に基づくサブフレーム画像がCMOS１３から出力される。従って、１フレーム期間に２枚のサブフレーム画像がCMOS１３から出力される。
　例えば、時刻ｔ０において、センサアレイ２１の掃引１行目の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このとき読み出される電荷信号は、１つ前のｎ－１フレームの２番目のサブフレームの電荷信号である。電荷信号の読み出し後、センサアレイ２１の掃引１行目の新たな露光期間が開始される。
　その後、所定の時間間隔で、掃引方向の順にセンサアレイ２１の各行の露光期間が終了し、露光期間中に得られた電荷信号が読み出され、新たな露光期間が開始される。そして、時刻ｔ１において、センサアレイ２１の掃引最終行の露光期間が終了し、露光期間中に得られた電荷信号が読み出されて、新たな露光期間が開始される。
　このように、時刻ｔ０から時刻ｔ１の期間において、ｎ－１フレームの２番目のサブフレームの各行の電荷信号が、掃引方向の順に所定の時間間隔で読み出される。そして、読み出された電荷信号に基づいて、ｎ－１フレームの２番目のサブフレーム画像SF2が生成され、CMOS１３から出力される。また、センサアレイ２１の各行の露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ１から時刻ｔ２の期間において、センサアレイ２１の全ての行の画素の露光が一斉に行われ、全画素に電荷が蓄積される。
　次に、時刻ｔ２において、センサアレイ２１の掃引１行目の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このとき読み出される電荷信号は、ｎフレームの１番目のサブフレームの電荷信号である。電荷信号の読み出し後、センサアレイ２１の掃引１行目の新たな露光期間が開始される。
　その後、時刻ｔ２から時刻ｔ３の期間において、時刻ｔ０から時刻１の期間と同様に、ｎフレームの１番目のサブフレームの各行の電荷信号が、掃引方向の順に所定の時間間隔で読み出される。そして、読み出された電荷信号に基づいて、ｎフレームの１番目のサブフレーム画像SF1が生成され、CMOS１３から出力される。また、センサアレイ２１の各行の新たな露光期間が、掃引方向の順に所定の時間間隔で開始される。
　次に、時刻ｔ３から時刻ｔ４の期間において、センサアレイ２１の全ての行の画素の露光が一斉に行われ、全画素に電荷が蓄積される。
　次に、時刻ｔ４において、センサアレイ２１の掃引１行目の露光期間が終了し、露光期間中に得られた電荷信号が読み出される。このとき読み出される電荷信号は、ｎフレームの２番目のサブフレームの電荷信号である。電荷信号の読み出し後、センサアレイ２１の掃引１行目の新たな露光期間が開始される。
　その後、時刻ｔ４から時刻ｔ５の期間において、時刻ｔ０から時刻１の期間と同様に、ｎフレームの２番目のサブフレームの各行の電荷信号が、掃引方向の順に所定の時間間隔で読み出される。そして、読み出された電荷信号に基づいて、ｎフレームの２番目のサブフレーム画像SF2が生成され、CMOS１３から出力される。また、センサアレイ２１の各行の新たな露光期間が、掃引方向の順に所定の時間間隔で開始される。
　以上の処理を繰り返すことにより、各フレームの露光および電荷信号の読み出し、並びに、サブフレーム画像SF1およびサブフレーム画像SF2の生成および出力が行われる。
　なお、以下、図４に示されるように、時刻ｔ０から時刻ｔ４までの期間を１フレーム期間とする。すなわち、１フレーム期間は、あるフレームの１番目のサブフレームの掃引１行目の露光が開始されてから、同じフレームの２番目のサブフレームの掃引１行目の露光が終了するまでの期間である。
　また、以下、時刻ｔ０から時刻ｔ２までの期間をサブフレーム期間１とする。すなわち、サブフレーム期間１は、あるフレームの１番目のサブフレームの掃引１行目の露光が開始されてから掃引１行目の露光が終了するまでの期間である。
　さらに、以下、時刻ｔ２から時刻ｔ４までの期間をサブフレーム期間２とする。すなわち、サブフレーム期間２は、あるフレームの２番目のサブフレームの掃引１行目の露光が開始されてから掃引１行目の露光が終了するまでの期間である。
　また、以下、サブフレーム期間１の一部である時刻ｔ２から時刻ｔ３までの期間を読み出し期間１とする。すなわち、読み出し期間１は、あるフレームの１番目のサブフレームの掃引１行目の電荷信号の読み出しが開始されてから掃引最終行の電荷信号の読み出しが終了するまでの期間である。換言すれば、読み出し期間１は、サブフレーム画像SF1を生成するための電荷信号の読み出しが行われる期間である。
　さらに、以下、サブフレーム期間２の一部である時刻ｔ０から時刻ｔ１までの期間、および、時刻ｔ４から時刻ｔ５までの期間を読み出し期間２とする。すなわち、読み出し期間２は、あるフレームの２番目のサブフレームの掃引１行目の電荷信号の読み出しが開始されてから掃引最終行の電荷信号の読み出しが終了するまでの期間である。換言すれば、読み出し期間２は、サブフレーム画像SF2を生成するための電荷信号の読み出しが行われる期間である。
　また、以下、サブフレーム期間１内の読み出し期間２を除く、時刻ｔ１から時刻ｔ２までの期間を全行露光期間１とする。すなわち、全行露光期間１は、あるフレームの１番目のサブフレームの掃引最終行の露光が開始されてから掃引１行目の露光が終了するまでの期間である。換言すれば、全行露光期間１は、あるフレームのサブフレーム画像SF1の露光が行われる期間のうち、センサアレイ２１の全行の画素の露光が一斉に行われる期間である。
　さらに、以下、サブフレーム期間２内の読み出し期間１を除く、時刻ｔ３から時刻ｔ４までの期間を全行露光期間２とする。すなわち、全行露光期間２は、あるフレームの２番目のサブフレームの掃引最終行の露光が開始されてから掃引１行目の露光が終了するまでの期間である。換言すれば、全行露光期間２は、あるフレームのサブフレーム画像SF2の露光が行われる期間のうち、センサアレイ２１の全行の画素の露光が一斉に行われる期間である。
　なお、サブフレーム期間１とサブフレーム期間２、読み出し期間１と読み出し期間２、および、全行露光期間１と全行露光期間２は、それぞれ同じ長さに設定される。
　ここで、読み出し期間１はサブフレーム期間２より短く、読み出し期間２はサブフレーム期間１より短い。すなわち、CMOS１３では、サブフレームを単位とするサブフレームレートよりも早くセンサアレイ２１の全行の電荷信号の読み出しが完了する。
　図３に戻る。読み出された電荷信号は信号線２２を介してアナログゲインアンプ２３に出力されて増幅され、ADC２４でデジタルの画素信号に変換されてデータバッファ２５に格納される。
　なお、アナログゲインアンプ２３におけるゲインは照明に応じて適応的に設定することが可能である。そして、センサアレイ２１を構成する全画素分の画素信号が画像信号として後段の画像処理系に出力される。なお、この段階における画像信号は、各画素がＲ，Ｇ，Ｂのいずれかの色情報を有するRAWデータである。
　図１に戻る。撮像装置１０の画像処理系は、カメラDSP部１４、およびメモリ１５，１６から成る。画像処理系においては、カメラDSP部１４が撮像系からの画像信号に基づいて、各画素のそれぞれがＲ，Ｇ，Ｂの色情報を有するカラー画像を生成する。メモリ１５，１６には、ＮＲ（ノイズリダクション）処理のために用いる画像信号が一時的に保持される。また、カメラDSP部１４は撮像系のCMOS１３の駆動（露光や読み出し）を制御するためのＶ同期信号を発生、出力する。さらに、また、カメラDSP部１４は投光系を制御するためのドライバ信号（ON/OFF信号および強度調整信号）を発生、出力する。
　撮像装置１０の投光系は、ＩＲ駆動部１７およびＩＲ照射部１８から成る。投光系においては、カメラDSP部１４からの制御に従い、ＩＲ駆動部１７がＩＲ照射部１８から赤外光を照射させる。ＩＲ照射部１８は波長850nmにピークをもつ赤外光を撮像範囲に向けて照射する。なお、ＩＲ照射部１８は撮像装置１０の筐体内に配置してもよいし、撮像装置１０の筐体外部に配置してもよい。
　＜投光系の赤外光の照射タイミングの第１の例＞
　次に、図５は、投光系の赤外光の照射タイミングの第１の例を示している。この照射タイミングは、図４のCMOS１３の露光期間および電荷信号の読み出しタイミングの第１の例に対応して設定される。
　例えば、図５に示されように、ＩＲ照射部１８は、ＩＲ駆動部１７の制御の下に、時刻ｔ１から時刻ｔ２までの期間（全行露光期間１）に赤外光の照射をオンにする。すなわち、赤外光の照射期間が、サブフレーム期間１の読み出し期間２を除く期間（全行露光期間１）の全期間に設定される。そして、サブフレーム画像SF1の露光期間であって、センサアレイ２１の全行の画素の露光が一斉に行われる期間に、撮像範囲に対して赤外光が照射される。
　一方、ＩＲ照射部１８は、ＩＲ駆動部１７の制御の下に、全行露光期間１以外の期間に赤外光の照射をオフにする。すなわち、サブフレーム画像SF1の露光期間であって、センサアレイ２１のいずれかの行の電荷信号の読み出しが行われている期間に、赤外光が照射されなくなる。また、サブフレーム画像SF2の露光期間全体に亘って赤外光が照射されなくなる。
　従って、この第１の例では、サブフレーム画像SF1は、全ての行の画素の露光が一斉に行われている期間（全行露光期間１）全体に亘って赤外光の照射がオンとされているので、画面全体が均等に明るい画像となる。また、フォーカルプレーン読み出し方式のCMOSセンサでは、高速に移動する動被写体の縦方向のずれ（各行ごとに露光期間がずれていることに起因する）が問題となるが、サブフレーム画像SF1については、赤外光の照射期間が全ての行で同一であるため、縦方向のずれが生じないというメリットがある。さらに、露光時間が１フレーム期間より短いので、サブフレーム画像SF1は、動被写体の動きぶれが抑制された画像となる。
　一方、サブフレーム画像SF2は、全ての行の露光期間全体に亘って赤外光の照射がオフとされているので、可視光のみに基づく画面全体が暗い画像となる。
　なお、以下、サブフレーム画像SF1を赤外画像とも称し、サブフレーム画像SF2を可視画像とも称する。
　そして、カメラDSP部１４は、１フレーム期間毎に２枚のサブフレーム画像SF1（赤外画像）とサブフレーム画像SF2（可視画像）を用いてカラー画像を生成する。
　＜カメラDSP部１４の構成例＞
　次に、図６は、カメラDSP部１４の構成例を示している。カメラDSP部１４は、タイミング制御部３１およびＡＥ制御部３２を有する他、赤外画像処理系と可視画像処理系とカラー画像生成系から構成される。
　タイミング制御部３１は、CMOS１３の駆動を制御するためのＶ同期信号と、ＩＲ駆動部１７を制御するためのON/OFF信号を生成する。ＡＥ制御部３２は、CMOS１３におけるアナログゲインアンプ２３を制御するためのゲイン調整信号と、ＩＲ駆動部１７を制御するための強度信号を生成する。このように、タイミング制御部３１及びＡＥ制御部３２により、CMOS１３による撮像を制御する撮像制御部と、ＩＲ照射部１８による赤外光の照射を制御する照射制御部が構成される。
　カメラDSP部１４の赤外画像処理系は、CMOS１３から１フレーム期間毎に２枚入力されるサブフレーム画像のうち、赤外画像（サブフレーム画像SF1）を処理対象とするものであり、3DNR部３３、デモザイク部３４、および2DNR部３５から成る。
　3DNR部３３は、CMOS１３から入力される赤外画像（サブフレーム画像SF1）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される赤外画像とメモリ１６に保持されている過去（１フレーム期間以前）の3DNR処理済の赤外画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。なお、時間方向処理における現在の赤外画像に対する重み付けの値は帰還率と称され、ここでの帰還率は、後述する3DNR部３６の帰還率よりも大きな値とされる。例えば、3DNR部３６での帰還率が１／８、3DNR部３３での帰還率が１／２などとされる。
　また一般に、3DNR処理における時間方向処理では、現在の画像の帰還率を小さくするとノイズ除去効果が高くなるが、過去の画像の成分が残り易くなるため、動被写体エッジなどで残像が発生してしまう。そこで、これを回避するために、3DNR部３３では、サブフレーム間差分により動被写体を検知し、画像内の動被写体部分については現在の画像の帰還率を大きくして残像の発生を抑える処置が行われる。ここで、検知された動被写体検知結果は、3DNR部３６に通知され、エッジ検出結果は2DNR部３９に通知される。
　3DNR部３３における3DNR処理済の赤外画像は、デモザイク部３４に出力されるとともに、メモリ１６に上書き記録される。
　デモザイク部３４は、3DNR処理済の赤外画像（RAWデータ）から各画素の輝度情報Yirを抽出して2DNR部３５および輝度合成部４１に出力する。具体的には、RAWデータの画素値をそのまま輝度情報Yirとするか、または近傍の画素のＲ，Ｇ，Ｂの画素値を加算して輝度情報Yirとする。
　2DNR部３５は、赤外画像の輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報Yir_NRを輝度合成部４１に出力する。
　カメラDSP部１４の可視画像処理系は、CMOS１３から１フレーム期間毎に２枚入力されるサブフレーム画像のうち、可視画像（サブフレーム画像SF2）を処理対象とするものであり、3DNR部３６、デモザイク部３７、ホワイトバランス（ＷＢ）部３８、2DNR部３９、およびYCC変換部４０から成る。
　3DNR部３６は、CMOS１３から入力される可視画像（サブフレーム画像SF2）の各画素とその周辺画素とのフィルタリング処理により２次元的にノイズを除去する2DNR処理と、CMOS１３から入力される可視画像とメモリ１５に保持されている過去（１フレーム期間以前）の3DNR処理済の可視画像との重み付け平均化を行う時間方向処理を組み合わせた3DNR処理を行う。ただし、3DNR部３６に入力される可視画像はノイズの多い低照度の画像なので、時間方向処理のためにこの可視画像から動被写体を検知しても動きとノイズの区別がつかず、動被写体を適切に検知できない。そこで、3DNR部３６では、3DNR部３３から供給される、赤外画像から検知された動被写体検知結果を用いて時間方向処理を行うようにする。また、3DNR部３６での帰還率は、3DNR部３３での帰還率（例えば、１／２）よりも小さな値１／８などとされる。これにより、3DNR部３６では動被写体残像を抑えつつ、十分なノイズ除去を行うことが可能となる。
　デモザイク部３７は、3DNR処理済の画像信号（RAWデータ）を各画素それぞれがＲ，Ｇ，Ｂ色情報を有するRGBデータに変換してＷＢ部３８に出力する。ＷＢ部３８は、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
　2DNR部３９は、例えば、εフィルタなどの広域フィルタを用いた二次元のノイズリダクション処理（2DNR処理）を行い、YCC変換部４０に出力する。なお、2DNR処理を行う場合、被写体のエッジを検出し、エッジの内側だけに広域フィルタを適用するようにすれば、エッジの外側の異なる色情報を引き込んでしまうことを避けることができる。しかしながら、2DNR部３９に給される可視画像はノイズの多い低照度の画像なので適切にエッジを検出することができない。そこで、2DNR部３９では、3DNR部３３から供給される、赤外画像から検知されたエッジ検出結果を用いて2DNR処理を行うようにする。これにより、2DNR部３９ではエッジ付近の色を混色させることなく、広域フィルタを用いた二次元のノイズリダクション処理を行うことができる。
　YCC変換部４０は、2DNR処理後の可視画像（RGBデータ）を、各画素が輝度情報Ｙと色差情報Ｃｂ，Ｃｒを有する可視画像（YCCデータ）に変換し、輝度情報Ｙ（以下、Ycと称する）を輝度合成部４１に出力し、色差情報Ｃｂ，ＣｒをRGB変換部４３に出力する。
　カメラDSP部１４のカラー画像生成系は、赤外画像処理系と可視画像処理系の出力を処理対象とするものであり、輝度合成部４１、γ補正部４２、およびRGB変換部４３から成る。
　輝度合成部４１は、赤外画像処理系から入力される赤外画像の輝度情報Yirおよび輝度情報Yir_NR、並びに可視画像処理系から入力される可視画像の輝度情報Ycに基づき、後段で生成するカラー画像の輝度信号を合成する。
　なお、輝度合成部４１を経ることなく、赤外画像の輝度情報Yirをそのままカラー画像の輝度信号とした場合、赤外光の反射率と可視光の反射率が大きく異なる被写体では、輝度情報の違いにより色再現が劣化してしまう。例えば、赤外反射率の高い黒服（可視光の反射率が低い）などでは、そのままYirを輝度情報として使用してしまうと、出力画像では白服となってしまう。輝度合成部４１を設けたことにより、このような不具合を防ぐことができる。
　図７は、輝度合成部４１の詳細な構成例を示している。輝度合成部４１は、除算部５１、ゲイン変換部５２、および乗算部５３から構成される。除算部５１は、可視画像の低域における輝度情報Ycと赤外画像の低域における輝度情報Yir_NRとの比率Yratio=Yc/Yir_NRを算出し、得られた比率Yratioをゲイン変換部５２に出力する。ゲイン変換部５２は、所定の関数（または保持する変換テーブル）に従い、比率YratioをＹgainに変換して乗算部５３に出力する。
　ここで、ゲイン変換部５２で用いる関数について説明する。輝度合成部４１では、基本的には、この比率Yratioを元の赤外画像の輝度情報Yirにかけ戻す（乗算する）ことにより、YirをYc信号で変調する処理を行う。しかしながら、単にかけ戻すだけでは画面全体が暗くなる傾向にあり、また、Ycによる変調度を調整することができない。そこで、ゲイン変換部５２では、非線形関数曲線を用いて比率YratioをＹgainに変換する。
　図８のＡは、ゲイン変換部５２で用いる非線形関数の一例として、ガンマカーブに類似した指数関数を示している。この場合、指数値αを選択することにより、変調の度合いを調整することが可能となる。例えばαの値を大きくするとYgainは全体的に１に近づき、変調度は弱くなる。反対に、αの値を小さくするとYgainは１から乖離し、変調の程度が大きくなる。
　ただし、図８のＡに示されたような指数関数曲線では、Yratioの値が小さい領域で傾きが急峻となり、Yratioのわずかな差により、Ygainが大きく変動してしまい、ノイズを増幅してしまう原因となり得る。そこで、このような不具合を回避するため、図８のＢに示されるように、Yratioの小さい領域でYgainをクリップ（最小値を設定）する。なお、このような関数を用いる代わりに、予め作成した変換テーブルをゲイン変換部５２が保持するようにしてもよい。
　図７に戻る。乗算部５３は、赤外画像の輝度情報YirにYgainをかけ戻す（乗算する）ことにより、輝度情報Ysymを算出して後段のγ補正部４２に出力する。
　図６に戻る。γ補正部４２は、輝度合成部４１から入力される輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部４３に出力する。
　RGB変換部４３は、YCC変換部４０からの色差情報Ｃｂ，Ｃｒと、γ補正部４２からのγ補正処理後の輝度情報Ysymに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。
　＜カメラDSP部１４によるカラー画像生成処理について＞
　次に、図９はカメラDSP部１４によるカラー画像生成処理を説明するフローチャートである。
　このカラー画像生成処理は１フレーム期間毎に実行されるものであり、前提としてカメラDSP部１４にはCMOS１３から１フレーム期間に２枚のサブフレーム画像SF1およびSF2が入力されるものとする。
　ステップＳ１では、CMOS１３から１フレーム期間に入力された２枚のサブフレーム画像が赤外画像処理系、または可視画像処理系に振り分けられる。具体的には、サブフレーム画像SF1は赤外画像処理系に振り分けられてステップＳ２乃至Ｓ４の処理が行われる。また、サブフレーム画像SF2は可視画像処理系に振り分けられてステップＳ５乃至Ｓ９の処理が行われる。
　赤外画像処理系では、ステップＳ２において、3DNR部３３が、CMOS１３から入力された赤外画像（サブフレーム画像SF1）に3DNR処理を行い、3DNR処理済の赤外画像をデモザイク部３４に出力するとともに、メモリ１６に上書き記録する。
　ステップＳ３において、デモザイク部３４が、3DNR処理済の赤外画像（RAWデータ）から各画素の輝度情報Yirを抽出して2DNR部３５および輝度合成部４１に出力する。ステップＳ４において、2DNR部３５が、赤外画像の輝度情報Yirに二次元ノイズリダクション処理を行うことによりその低周波成分を抽出し、その結果得られる輝度情報Yir_NRを輝度合成部４１に出力する。
　可視画像処理系では、ステップＳ５において、3DNR部３６が、CMOS１３から入力された可視画像（サブフレーム画像SF2）に3DNR処理を行い、3DNR処理済の可視画像をデモザイク部３７に出力するとともに、メモリ１５に上書き記録する。
　ステップＳ６において、デモザイク部３７が、3DNR処理済の画像信号（RAWデータ）をRGBデータに変換してＷＢ部３８に出力する。ステップＳ７において、ＷＢ部３８が、画像信号（RGBデータ）にホワイトバランス処理を行って2DNR部３９に出力する。
　ステップＳ８において、2DNR部３９は、ホワイトバランス処理済の可視画像（RGBデータ）に2DNR処理を行ってYCC変換部４０に出力する。ステップＳ９において、YCC変換部４０は、2DNR処理済の可視画像（RGBデータ）を可視画像（YCCデータ）に変換し、輝度情報Ycを輝度合成部４１に出力し、色差情報Ｃｂ，ＣｒをRGB変換部４３に出力する。
　赤外画像処理系と可視画像処理系それぞれから処理結果を取得したカラー画像生成系では、ステップＳ１０において、輝度合成部４１が、赤外画像処理系から入力される赤外画像の輝度情報Yirおよび輝度情報Yir_NR、並びに可視画像処理系から入力される可視画像の輝度情報Ycに基づき、後段で生成するカラー画像の輝度情報Ysymを算出してγ補正部４２に出力する。ステップＳ１１において、γ補正部４２が、輝度合成部４１から入力された輝度情報Ysymにγ補正処理を行い、γ補正処理後の輝度情報YsymをRGB変換部４３に出力する。
　ステップＳ１２において、RGB変換部４３が、YCC変換部４０からの色差情報Ｃｂ，Ｃｒと、γ補正部４２からのγ補正処理後の輝度情報Ysymに基づき、１フレーム期間毎に各画素がＲ，Ｇ，Ｂの色情報を有する１枚のカラー画像を生成して後段に出力する。以上で、カラー画像生成処理の説明を終了する。
　以上説明したカラー画像生成処理によれば、フォーカルプレーン読み出し方式のCMOS１３から出力される赤外画像と可視画像に基づいて、色再現の精度が高いカラー画像を生成することができる。
　＜CMOS１３の露光期間および電荷信号の読み出しタイミングの第２の例＞
　次に、図１０は、CMOS１３のセンサアレイ２１の各行の露光期間とそれによって得られる電荷信号の読み出しタイミングの第２の例を示している。
　図１０の第２の例では、読み出し期間１が開始される時刻ｔ２、および、読み出し期間１が終了する時刻ｔ３が、図４の第１の例と比較して早くなっている。従って、第２の例では、第１の例と比較して、サブフレーム期間１が短くなり、サブフレーム期間２が長くなっている。また、第２の例では、第１の例と比較して、全行露光期間１が短くなり、全行露光期間２が長くなっている。
　＜投光系の赤外光の照射タイミングの第２の例＞
　次に、図１１は、投光系の赤外光の照射タイミングの第２の例を示している。この照射タイミングは、図１０のCMOS１３の露光期間および電荷信号の読み出しタイミングの第２の例に対応して設定される。
　図１１の第２の例では、図５の第１の例と同様に、時刻ｔ１から時刻ｔ２までの全行露光期間１に赤外光の照射がオンにされ、全行露光期間１以外の期間に赤外光の照射がオフにされる。
　従って、この第２の例では、第１の例と同様に、赤外画像（サブフレーム画像SF1）が、画面全体が均等に明るく、縦方向のずれが生じない画像となる。また、第１の例と比較して露光時間が短縮されるため、赤外画像は、動被写体の動きぶれが、さらに抑制された画像となる。
　さらに、この第２の例では、第１の例と比較して、可視画像（サブフレーム画像SF2）の露光期間が長くなるため、可視画像の感度を上げることができる。その結果、可視画像に基づく、色差情報の再現性を向上させることができる。
　なお、この第２の例では、第１の例と比較して、赤外光の照射期間が短くなるため、その分赤外光の強度を高く設定するようにしてもよい。
　＜変形例＞
　以下、上述した本開示の実施の形態の変形例について説明する。
　図１２および図１３は、CMOS１３の受光面を覆うカラーフィルタ２１ａの変形例を示している。上述した説明では、カラーフィルタ２１ａはベイヤ配列に従うＲ，Ｇ，Ｂの各色フィルタから成るものとしたが、カラーフィルタ２１ａの代わりに、図１２のＡまたは図１２のＢに示されるＲ，Ｇ，Ｂの各色フィルタと、赤外光を透過するＩＲフィルタからなるRGB-IRフィルタ６１または６２を採用してもよい。RGB-IRフィルタ６１または６２を採用した場合、赤外画像の画素値にはＩＲ画素から得られた値を用い、可視画像の画素値にはＩＲ信号減算処理（Ｒ，Ｇ，Ｂ画素の画素値からＩＲ画素の画素値を減算する処理）により得られる値を用いればよい。
　また、図１３のＡまたは図１３のＢに示される、Ｒ，Ｇ，Ｂの各色フィルタと、全可視光帯域を透過させるようにフィルタが設けられていない箇所からなるRGB-Wフィルタ６３または６４を採用してもよい。例えば、RGB-Wフィルタ６３を採用した場合、赤外画像の画素値ＩＲ、および、可視画像の画素値Ｒ、Ｇ、Ｂとして、例えば、Ｒ，Ｇ，Ｂ，Ｗの各画素の画素信号ＲＩＲ、ＧＩＲ、ＢＩＲ、ＷＩＲに基づいて、次式（１）乃至（４）の演算処理により算出した値を用いるようにしてもよい。
　ＩＲ＝（ＲＩＲ＋ＧＩＲ＋ＢＩＲ－ＷＩＲ）／２　・・・（１）
　　Ｒ＝ＲＩＲ－ＩＲ　・・・（２）
　　Ｇ＝ＧＩＲ－ＩＲ　・・・（３）
　　Ｂ＝ＢＩＲ－ＩＲ　・・・（４）
　なお、画素信号ＲＩＲ、ＧＩＲ、ＢＩＲ、ＷＩＲは、次式（５）乃至（８）で表される。
　　ＲＩＲ＝Ｒ＋ＩＲ　・・・（５）
　　ＧＩＲ＝Ｇ＋ＩＲ　・・・（６）
　　ＢＩＲ＝Ｂ＋ＩＲ　・・・（７）
　　ＷＩＲ＝Ｒ＋Ｇ＋Ｂ＋ＩＲ　・・・（８）
　さらに、RGB-IRフィルタ６１若しくは６２、または、RGB-Wフィルタ６３若しくは６４を採用することにより、ベイヤ配列のカラーフィルタでは分離することができなかった、ＩＲ照射部１８から照射されたものではなく環境に存在する赤外光と可視光の分離も可能となる。
　また、RGB-IRフィルタ６１若しくは６２、または、RGB-Wフィルタ６３若しくは６４を採用した場合、デモザイク部３４が、赤外成分である画素値ＩＲのみに基づいて、輝度情報Yirを生成するようにしてもよい。或いは、画素値ＩＲに加えて、可視成分の画素値Ｒ、Ｇ、Ｂに基づいて、輝度情報Yirを生成するようにしてもよい。
　さらに、上述した実施の形態では、カラー画像の生成に用いる色情報を可視画像のみから抽出するようにしたが、赤外画像からも色成分を抽出してカラー画像の生成に用いてもよい。具体的には、図１２のＡまたは図１２のＢに示されたRGB-IRフィルタ６１または６２をCMOS１３に採用し、赤外画像にIR信号減算処理を行えば、可視光のみの色情報を抽出することができる。この赤外光から抽出した色情報と、可視画像から抽出した色情報を組み合わせてカラー画像の生成に用いることでより色再現性の高いカラー画像を得ることができる。
　また、図５及び図１１の例において、全行露光期間１の全期間に亘って赤外光の照射をオンにする例を示したが、全行露光期間１の一部の期間のみにおいて赤外光の照射をオンにすることも可能である。さらに、例えば、全行露光期間１において、赤外光の照射のオンとオフを複数回繰り返すようにすることも可能である。
　さらに、例えば、レンズ１１とＩＲバンドパスフィルタ１２の間、又は、ＩＲバンドパスフィルタ１２とCMOS１３の間に、赤外光を遮断するとともに、挿脱可能なＩＲカットフィルタを設けるようにしてもよい。そして、例えば、昼間の周囲が明るい時間帯は、ＩＲカットフィルタを挿入し、CMOS１３により得られるカラー画像をそのまま用い、それ以外の周囲が暗い時間帯には、ＩＲカットフィルタを外し、上述した処理によりカラー画像を生成するようにしてもよい。
　なお、本発明の実施の形態での全行とは、画像に現れる部分の行の全てということであり、ダミー画素等が配置されている行は除外される。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　本開示は以下のような構成も取ることができる。
（１）
　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子と、
　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
　を備える撮像装置。
（２）
　前記第１のサブフレーム期間が前記第２のサブフレーム期間より短い
　前記（１）に記載の撮像装置。
（３）
　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間、および、前記第２のサブフレーム期間内の前記第２の読み出し期間を除く期間において、全ての行の画素の露光が一斉に行われる
　前記（１）または（２）に記載の撮像装置。
（４）
　前記カラー画像生成部は、
　　前記第１のサブフレーム画像から輝度情報を抽出する第１の画像変換部と、
　　前記第２のサブフレーム画像から色差情報を抽出する第２の画像変換部と、
　　前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する第３の画像変換部と
　をさらに含む前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
　前記第２の画像変換部は、前記第２のサブフレーム画像から輝度情報も抽出し、
　前記第３の画像変換部は、前記第２のサブフレーム画像の輝度情報を用いて補正した、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する
　前記（４）に記載の撮像装置。
（６）
　前記カラー画像生成部は、
　　前記第１のサブフレーム画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、
　　前記第２のサブフレーム画像に時間方向処理を含む3DNR処理を行う第２の3DNR部と
　をさらに含み、
　前記第１の3DNR部における前記時間方向処理における帰還率と、前記第２の3DNR部における前記時間方向処理における帰還率とは異なる
　前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）
　前記第２の3DNR部は、前記第１の3DNR部から供給される動被写体検出結果を用い、前記第２のサブフレーム画像に前記3DNR処理を行う
　前記（６）に記載の撮像装置。
（８）
　前記カラー画像生成部は、
　　前記第１の3DNR部から供給されるエッジ検出結果を用い、前記第２のサブフレーム画像に2DNR処理を行う2DNR部を
　さらに含む前記（７）に記載の撮像装置。
（９）
　前記撮像素子の受光面は、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆われている
　前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）
　前記赤外光を照射する赤外光照射部を
　さらに備える前記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）
　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
　を含む撮像方法。
（１２）
　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
　を含む処理をコンピュータに実行させるためのプログラム。
（１３）
　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子からの前記第１のサブフレーム画像及び前記第２のサブフレーム画像を入力とする画像処理装置において、
　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
　備える画像処理装置。
１０　撮像装置，　１３　CMOSイメージセンサ，　１４　カメラDSP部，　１７　ＩＲ駆動部，　１８　ＩＲ照射部，　２１　センサアレイ，　２１ａ　カラーフィルタ，　３１　タイミング制御部，　３２　ＡＥ制御部，　３３　3DNR部，　３４　デモザイク部，　３５　2DNR部，　３６　3DNR部，　３７　デモザイク部，　３８　ＷＢ部，　３９　2DNR部，　４０　YCC変換部，　４１　輝度合成部，　４２　γ補正部，　４３　RGB変換部，　６１，６２　RGB-IRフィルタ，　６３，６４　RGB-Wフィルタ，　２００　コンピュータ，　２０１　CPU

Claims (13)

  1. 　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子と、
    　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
    　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
    　を備える撮像装置。
  2. 　前記第１のサブフレーム期間が前記第２のサブフレーム期間より短い
    　請求項１に記載の撮像装置。
  3. 　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間、および、前記第２のサブフレーム期間内の前記第２の読み出し期間を除く期間において、全ての行の画素の露光が一斉に行われる
    　請求項１に記載の撮像装置。
  4. 　前記カラー画像生成部は、
    　　前記第１のサブフレーム画像から輝度情報を抽出する第１の画像変換部と、
    　　前記第２のサブフレーム画像から色差情報を抽出する第２の画像変換部と、
    　　前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する第３の画像変換部と
    　をさらに含む
    　請求項１に記載の撮像装置。
  5. 　前記第２の画像変換部は、前記第２のサブフレーム画像から輝度情報も抽出し、
    　前記第３の画像変換部は、前記第２のサブフレーム画像の輝度情報を用いて補正した、前記第１のサブフレーム画像の前記輝度情報と前記第２のサブフレーム画像の前記色差情報を前記カラー画像の色情報に変換する
    　請求項４に記載の撮像装置。
  6. 　前記カラー画像生成部は、
    　　前記第１のサブフレーム画像に時間方向処理を含む3DNR処理を行う第１の3DNR部と、
    　　前記第２のサブフレーム画像に時間方向処理を含む3DNR処理を行う第２の3DNR部と
    　をさらに含み、
    　前記第１の3DNR部における前記時間方向処理における帰還率と、前記第２の3DNR部における前記時間方向処理における帰還率とは異なる
    　請求項１に記載の撮像装置。
  7. 　前記第２の3DNR部は、前記第１の3DNR部から供給される動被写体検出結果を用い、前記第２のサブフレーム画像に前記3DNR処理を行う
    　請求項６に記載の撮像装置。
  8. 　前記カラー画像生成部は、
    　　前記第１の3DNR部から供給されるエッジ検出結果を用い、前記第２のサブフレーム画像に2DNR処理を行う2DNR部を
    　さらに含む
    　請求項７に記載の撮像装置。
  9. 　前記撮像素子の受光面は、ベイヤ配列のカラーフィルタ、RGB-IRフィルタ、またはRGB-Wフィルタにより覆われている
    　請求項１に記載の撮像装置。
  10. 　前記赤外光を照射する赤外光照射部を
    　さらに備える請求項１に記載の撮像装置。
  11. 　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
    　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
    　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
    　を含む撮像方法。
  12. 　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する生成ステップと、
    　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御ステップと、
    　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成ステップと
    　を含む処理をコンピュータに実行させるためのプログラム。
  13. 　所定のフレームレートに対応する１フレーム期間内の第１のサブフレーム期間の一部である第１の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第１の電荷信号を読み出し、前記１フレーム期間内の第２のサブフレーム期間の一部である第２の読み出し期間に、フォーカルプレーン読み出し方式で各行の画素の第２の電荷信号を読み出し、前記第１の電荷信号に基づいて第１のサブフレーム画像を生成し、前記第２の電荷信号に基づいて第２のサブフレーム画像を生成する撮像素子からの前記第１のサブフレーム画像及び前記第２のサブフレーム画像を入力とする画像処理装置において、
    　前記第１のサブフレーム期間内の前記第１の読み出し期間を除く期間の全部または一部である照射期間において、撮像範囲に対して赤外光を照射し、前記照射期間以外の期間において赤外光を照射しないように制御する照射制御部と、
    　前記第１のサブフレーム画像および前記第２のサブフレーム画像に基づいて、前記所定のフレームレートでカラー画像を生成するカラー画像生成部と
    　備える画像処理装置。
PCT/JP2016/062878 2015-05-07 2016-04-25 撮像装置、撮像方法、およびプログラム、並びに画像処理装置 WO2016178379A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680025913.6A CN107534761B (zh) 2015-05-07 2016-04-25 成像装置、成像方法、图像处理装置
US15/567,318 US10484653B2 (en) 2015-05-07 2016-04-25 Imaging device, imaging method, and image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-094630 2015-05-07
JP2015094630A JP2016213628A (ja) 2015-05-07 2015-05-07 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Publications (1)

Publication Number Publication Date
WO2016178379A1 true WO2016178379A1 (ja) 2016-11-10

Family

ID=57217624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062878 WO2016178379A1 (ja) 2015-05-07 2016-04-25 撮像装置、撮像方法、およびプログラム、並びに画像処理装置

Country Status (4)

Country Link
US (1) US10484653B2 (ja)
JP (1) JP2016213628A (ja)
CN (1) CN107534761B (ja)
WO (1) WO2016178379A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410337B2 (en) 2018-03-30 2022-08-09 Sony Corporation Image processing device, image processing method and mobile body

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6264233B2 (ja) * 2014-09-02 2018-01-24 株式会社Ｊｖｃケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
US9521351B1 (en) * 2015-09-21 2016-12-13 Rambus Inc. Fractional-readout oversampled image sensor
US10701244B2 (en) * 2016-09-30 2020-06-30 Microsoft Technology Licensing, Llc Recolorization of infrared image streams
US10893211B2 (en) * 2018-06-25 2021-01-12 Semiconductor Components Industries, Llc Methods and systems of limiting exposure to infrared light
EP3605606B1 (en) * 2018-08-03 2022-06-15 ams Sensors Belgium BVBA Imaging system comprising an infrared light source and an image sensor
EP3664439A1 (en) * 2018-12-07 2020-06-10 Fundació Institut de Ciències Fotòniques An optoelectronic, a reading-out method, and a uses of the optoelectronic apparatus
US20200213486A1 (en) * 2018-12-27 2020-07-02 Chongqing Jinkang New Energy Vehicle Co., Ltd. Vehicle camera system and method
CN109672828B (zh) * 2019-01-04 2021-09-07 深圳英飞拓科技股份有限公司 基于光路白平衡的低照度提升装置及低照度提升方法
CN110493494B (zh) * 2019-05-31 2021-02-26 杭州海康威视数字技术股份有限公司 图像融合装置及图像融合方法
CN110798623A (zh) * 2019-10-15 2020-02-14 华为技术有限公司 单目摄像机、图像处理系统以及图像处理方法
WO2021117148A1 (ja) * 2019-12-10 2021-06-17 株式会社ソシオネクスト 画像処理装置、画像処理方法及びプログラム
CN114374776B (zh) * 2020-10-15 2023-06-23 华为技术有限公司 摄像机以及摄像机的控制方法
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010098358A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 撮像素子および撮像装置
JP2011233983A (ja) * 2010-04-23 2011-11-17 Panasonic Corp 撮像装置
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2015007816A (ja) * 2013-06-24 2015-01-15 富士通株式会社 画像補正装置、撮像装置及び画像補正用コンピュータプログラム
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4210922B2 (ja) 2003-10-27 2009-01-21 ソニー株式会社 撮像装置および方法
JP2006287632A (ja) * 2005-03-31 2006-10-19 Pioneer Electronic Corp ノイズ低減装置およびノイズ低減方法
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
JP6251962B2 (ja) * 2012-03-01 2017-12-27 日産自動車株式会社 カメラ装置及び画像処理方法
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010098358A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 撮像素子および撮像装置
JP2011233983A (ja) * 2010-04-23 2011-11-17 Panasonic Corp 撮像装置
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
JP2014135627A (ja) * 2013-01-10 2014-07-24 Hitachi Ltd 撮像装置
JP2015007816A (ja) * 2013-06-24 2015-01-15 富士通株式会社 画像補正装置、撮像装置及び画像補正用コンピュータプログラム
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11410337B2 (en) 2018-03-30 2022-08-09 Sony Corporation Image processing device, image processing method and mobile body

Also Published As

Publication number Publication date
CN107534761B (zh) 2020-06-16
JP2016213628A (ja) 2016-12-15
US20180115752A1 (en) 2018-04-26
US10484653B2 (en) 2019-11-19
CN107534761A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
WO2016178379A1 (ja) 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
JP6597636B2 (ja) 撮像装置、撮像方法、およびプログラム、並びに画像処理装置
US10560642B2 (en) Image processing device, image processing method and imaging device
US10560670B2 (en) Imaging apparatus and imaging control method
US9712757B2 (en) Image capturing apparatus capable of compositing images generated using the same development parameter and control method therefor
US9055228B2 (en) Imaging device and signal processing method for flicker reduction
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
US8873882B2 (en) Blooming filter for multiple exposure high dynamic range image sensors
US10419685B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6312487B2 (ja) 画像処理装置及びその制御方法、並びに、プログラム
EP3304887B1 (en) Efficient storage for production of high dynamic range images
WO2017110481A1 (ja) 撮像素子及びその駆動方法、並びに撮像装置
JP2015033107A (ja) 画像処理装置および画像処理方法、並びに、電子機器
TW201918995A (zh) 多工高動態範圍影像
US20180077397A1 (en) Image processing apparatus, image processing method, and program
JP2017092898A (ja) 撮像装置、撮像方法、およびプログラム
JP5199736B2 (ja) 画像撮像装置
JP2009021999A (ja) 撮像装置及び撮像装置の感度改善方法
US8599276B2 (en) Image capture apparatus and control method for the image capture apparatus
JP5464008B2 (ja) 画像入力装置
JP2017092876A (ja) 撮像装置、撮像システム、及び撮像方法
US11270421B2 (en) Image processing apparatus and image processing method that reduce image noise, and storage medium
JP3206826U (ja) 画像処理装置
JP2006100913A (ja) 画像処理装置および画像処理方法
JP2021057625A (ja) 撮像装置および制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16789515

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15567318

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16789515

Country of ref document: EP

Kind code of ref document: A1