WO2016009837A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2016009837A1
WO2016009837A1 PCT/JP2015/068967 JP2015068967W WO2016009837A1 WO 2016009837 A1 WO2016009837 A1 WO 2016009837A1 JP 2015068967 W JP2015068967 W JP 2015068967W WO 2016009837 A1 WO2016009837 A1 WO 2016009837A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging signal
pixel
image processing
pixels
Prior art date
Application number
PCT/JP2015/068967
Other languages
English (en)
French (fr)
Inventor
康宣 人見
光永　知生
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/322,741 priority Critical patent/US10091442B2/en
Publication of WO2016009837A1 publication Critical patent/WO2016009837A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly, to an image processing apparatus and an image processing method capable of sufficiently improving a SNR (signal-noise ratio) in a dark place of a moving image.
  • SNR signal-noise ratio
  • a method of improving SNR there is a method of performing 3DNR processing for reducing noise using a captured image of a past frame.
  • This method is a method of reducing random noise by weighted averaging of an image of a past frame and an image of a current frame in a still subject region. Therefore, when this method is used for a moving subject region, image quality degradation such as tailing occurs in a captured image. Therefore, it is necessary to perform complicated processing such as performing moving subject determination on a captured image so that weighted averaging is not performed in the moving subject region.
  • the present disclosure has been made in view of such a situation, and is intended to sufficiently improve the SNR in a dark place of a moving image.
  • An image processing apparatus includes a plurality of pixels in which an imaging signal readout interval is a first multiple of a vertical synchronization period or a second multiple greater than the first multiple of the vertical synchronization period And a holding unit that holds the imaging signal of the long accumulation pixel that is the pixel whose readout interval is the second multiple of the vertical synchronization period.
  • the image processing method according to one aspect of the present disclosure corresponds to the image processing apparatus according to one aspect of the present disclosure.
  • an imaging signal is read from a pixel at a readout interval that is a first multiple of a vertical synchronization period or a second multiple that is greater than the first multiple of the vertical synchronization period.
  • the imaging signal read at the readout interval that is the second multiple of the vertical synchronization period is held.
  • imaging can be performed. Further, according to one aspect of the present disclosure, it is possible to sufficiently improve the SNR in the dark place of a moving image.
  • FIG. 20 is a block diagram illustrating a configuration example of a third embodiment of an image processing apparatus to which the present disclosure is applied.
  • FIG. 20 is a block diagram illustrating a configuration example of a fourth embodiment of an image processing apparatus to which the present disclosure is applied.
  • FIG. 20 is a block diagram illustrating a configuration example of a fifth embodiment of an image processing device to which the present disclosure is applied.
  • FIG. 28 is a block diagram illustrating a configuration example of a sixth embodiment of an image processing device to which the present disclosure is applied. It is a figure explaining the 1st example of the imaging signal of the past long accumulation pixel. It is a figure explaining the 2nd example of the imaging signal of the past long accumulation pixel. It is a block diagram which shows the structural example of the synthetic
  • FIG. 28 is a block diagram illustrating a configuration example of a seventh embodiment of an image processing device to which the present disclosure is applied. It is a figure explaining the long accumulation
  • FIG. 33 is a block diagram illustrating a configuration example of a ninth embodiment of an image processing device to which the present disclosure is applied. It is a figure which shows the example of the reading interval of the pixel of each group of FIG.
  • FIG. 30 is a block diagram illustrating a configuration example of a tenth embodiment of an image processing apparatus to which the present disclosure is applied.
  • FIG. 38 is a block diagram illustrating a configuration example of an eleventh embodiment of an image processing device to which the present disclosure is applied. It is a figure which shows the structure of a semiconductor substrate.
  • FIG. 1 is a block diagram illustrating a configuration example of a first embodiment of an image processing apparatus to which the present disclosure is applied.
  • the image processing apparatus 10 generates a moving image based on imaging signals captured by pixels having different exposure lengths.
  • the image sensor 11 of the image processing apparatus 10 has a plurality of pixels, and each pixel is classified into two groups according to the change pattern according to the time of the readout interval of the imaging signal of the pixel. Is done.
  • the readout interval of the imaging signal of each pixel is one time of the vertical synchronization period (hereinafter referred to as short readout interval) or a multiple of two or more times of the vertical synchronization period (hereinafter referred to as long readout interval).
  • the readout interval of pixels classified into one of the first group or the second group is a short readout interval
  • the readout interval of pixels classified into the other is a long readout interval.
  • the image sensor 11 reads out the imaging signals of the pixels classified into one of the first and second groups at a long readout interval, and supplies the readout signals to the frame memory 12, the image generation unit 13, and the composition ratio calculation unit 15. Further, the image sensor 11 reads out the imaging signals of the pixels classified into the other at a short readout interval, and supplies them to the image generation unit 13, the pixel interpolation unit 14, and the synthesis ratio calculation unit 15.
  • the frame memory 12 functions as a holding unit, and holds an image signal read from the image sensor 11 at a long reading interval for one screen (frame) for each group.
  • the image generation unit 13 synthesizes the imaging signal read from the image sensor 11 at the short readout interval and the imaging signal read at the long readout interval for each vertical synchronization period, and An imaging signal is generated.
  • the imaging signal read at the long readout interval used for the generation is supplied from the image sensor 11 or read from the frame memory 12 when not supplied from the image sensor 11. That is, at timings other than the long readout interval, the imaging signal read from the same long accumulation pixel immediately before at the long readout interval is used to generate imaging signals for all pixels.
  • the image generation unit 13 supplies the generated imaging signals of all pixels to the synthesis unit 16 as both readout interval imaging signals.
  • the pixel interpolation unit 14 generates an imaging signal for all pixels by interpolating the imaging signals read from the image sensor 11 at a short readout interval, and supplies the imaging signal to the combining unit 16 as a short readout interval imaging signal.
  • the combination ratio calculation unit 15 performs both reading intervals based on the imaging signal read at the short reading interval supplied from the image sensor 11 and the imaging signal read at the long reading interval for each vertical synchronization period. A composite ratio between the imaging signal and the short readout interval imaging signal is calculated. The imaging signal read at the long readout interval used for this calculation is supplied from the image sensor 11 or read from the frame memory 12 when not supplied from the image sensor 11. The composition ratio calculation unit 15 supplies the calculated composition ratio to the composition unit 16.
  • composition ratio calculation unit 15 may calculate the composition ratio at long read intervals. In this case, the composition ratio calculation unit 15 does not read the imaging signal from the frame memory 12, but based on the imaging signal read from the image sensor 11 and read at the short reading interval and the imaging signal read at the long reading interval. To calculate the composite ratio.
  • the synthesizing unit 16 synthesizes both readout interval imaging signals supplied from the image generation unit 13 and the short readout interval imaging signals supplied from the pixel interpolation unit 14 based on the synthesis ratio supplied from the synthesis ratio calculation unit 15. To do.
  • the synthesizing unit 16 outputs an imaging signal obtained as a result of the synthesis as a moving image imaging signal.
  • FIG. 2 is a diagram illustrating a configuration example of the image sensor 11 of FIG.
  • the image sensor 11 in FIG. 2 includes a pixel array unit 31 including a plurality of pixels 32, a vertical scanning circuit 33, a horizontal reset line 34, a selection line 35, a vertical signal line 36, and a horizontal scanning circuit 37.
  • a plurality of pixels 32 classified into the first or second group are arranged in a two-dimensional array (matrix).
  • the pixels 32 are classified into the same group every two rows.
  • the plurality of pixels 32 arranged in a two-dimensional array are connected to the vertical scanning circuit 33 in units of rows by horizontal reset lines 34 and selection lines 35.
  • a plurality of pixels 32 arranged in a two-dimensional array are connected to a horizontal scanning circuit 37 in units of columns by vertical signal lines 36.
  • the vertical scanning circuit 33 sequentially selects each row of the pixels 32 of the pixel array unit 31 and supplies a readout signal for reading the imaging signal to the selection line 35 of the selected row. In response to this readout signal, the pixels 32 in each row output an imaging signal corresponding to the charge accumulated therein to the vertical signal line 36.
  • the vertical scanning circuit 33 supplies a reset signal to the horizontal reset line 34 of the pixel 32 in each row before supplying a read signal by a short read interval or a long read interval corresponding to the group of pixels 32 in that row.
  • the reset signal is a signal for resetting the charge accumulated in the pixel 32.
  • the pixels 32 in each row reset the charges accumulated therein and start accumulation (exposure) of charges.
  • the horizontal scanning circuit 37 sequentially reads out the imaging signals read from the pixels 32 for one row at a short reading interval and supplied via the vertical signal line 36, in the image generating unit 13, the pixel interpolating unit 14, And supplied to the synthesis ratio calculation unit 15.
  • the horizontal scanning circuit 37 sequentially reads the imaging signals read from the pixels 32 for one row at a long readout interval and supplied via the vertical signal lines 36, in the frame memory 12 and the image generation unit 13 in FIG. , And the synthesis ratio calculation unit 15.
  • FIG. 3 is a diagram illustrating an example of the arrangement of the pixels 32 arranged in the pixel array unit 31 of FIG.
  • a square represents a pixel
  • R, G, and B added to the inside of the square represent that the color filter of the pixel is red, green, and blue, respectively.
  • subjected to the inside of the square showing a pixel represent that the group of the pixel is a 1st group and a 2nd group, respectively.
  • FIG. 3 only 8 ⁇ 8 pixels 32 among the pixels 32 arranged in the pixel array unit 31 are illustrated. The same applies to FIG. 24 described later.
  • the array of the pixels 32 is a Bayer array.
  • the group of the pixels 32 of the pixel array unit 31 is different every two rows. Specifically, the group of pixels 32 in the first and second rows from the top is the second group, and the group of pixels 32 in the third and fourth rows is the first group. The group of the pixels 32 in the fifth and sixth rows is the second group, and the group of the pixels 32 in the seventh and eighth rows is the first group. Therefore, in the example of FIG. 3, for each color, there are pixels 32 classified into the first group and pixels 32 classified into the second group.
  • FIG. 4 is a diagram illustrating an example of readout intervals of the pixels 32 of each group.
  • the horizontal axis represents time.
  • the rectangle in the figure represents the readout interval of the imaging signal, and the vertical line of the rectangle represents the time at which the imaging signal is read out. The same applies to FIGS. 17, 18, 21, and 27 described later.
  • the first group of pixels 32 is a short accumulation pixel whose read interval is always a short read interval, and the second group of pixels 32 is always a read interval.
  • the long read interval may be twice the vertical synchronization period (V) as shown in FIG. 4A, or 3 times as long as the vertical synchronization period (V) as shown in B of FIG. It may be double, or may be four times the vertical synchronization period (V) as shown in FIG.
  • the readout interval of the first group of pixels 32 and the readout interval of the second group of pixels 32 may be changed according to time. it can.
  • the change timings of the readout intervals of the pixels 32 of the first group and the second group can be made the same. That is, as shown in FIG. 4D, the readout interval of the pixels 32 in the first group repeats a pattern in which two short readout intervals and one long readout interval are arranged in order. As for the reading interval, a pattern in which one long reading interval and two long reading intervals are arranged in order can be repeated.
  • the readout intervals of the pixels 32 of the first and second groups can be alternately changed from one of the short readout interval and the long readout interval to the other. That is, as shown in FIG. 4E, the readout interval of the pixels 32 in the first group repeats a pattern in which the short readout interval and the long readout interval are arranged in order, and the readout interval of the pixels 32 in the second group is long. A pattern in which the read interval and the short read interval are arranged in order can be repeated.
  • the imaging signals of the pixels 32 of at least one group of the first and second groups are read for each vertical synchronization period.
  • FIG. 5 is a block diagram illustrating a first configuration example of the image generation unit 13 of FIG.
  • the image generation unit 13 in FIG. The image generation unit 13 is supplied with an image pickup signal of long accumulation pixels from the image sensor 11 or the frame memory 12 of FIG. 1 for each vertical synchronization period.
  • the image generation unit 13 supplies the image signal of the long accumulation pixel to the synthesizing unit 16 as both readout interval imaging signals of the long accumulation pixel for each vertical synchronization period.
  • the image generation unit 13 is supplied with an imaging signal of short accumulation pixels from the image sensor 11 for each vertical synchronization period, and is input to the gain multiplication unit 51.
  • the gain multiplication unit 51 multiplies the input image pickup signal of the short accumulation pixel by a gain corresponding to the ratio of the exposure time of the long accumulation pixel and the short accumulation pixel.
  • the gain multiplication unit 51 supplies the imaging signal of the short accumulation pixel multiplied by the gain to the synthesizing unit 16 in FIG. 1 as both readout interval imaging signals of the short accumulation pixel.
  • FIG. 6 is a block diagram illustrating a second configuration example of the image generation unit 13 in FIG. 1.
  • FIG. 6 differs from the configuration of FIG. 5 in that an edge determination unit 71, a smoothing unit 72, and a synthesis unit 73 are newly provided.
  • the image generation unit 13 in FIG. 6 improves the SNR of the both readout interval imaging signals of the short accumulation pixels by smoothing the flattened region of the imaging signal of the short accumulation pixels.
  • the edge determination unit 71 of the image generation unit 13 is supplied from the image sensor 11 and the image signal of the long accumulation pixel supplied from the image sensor 11 or the frame memory 12 of FIG. 1 for each vertical synchronization period.
  • the edge region in the screen is detected based on the image signal of the short accumulation pixel.
  • the edge determination unit 71 supplies edge region information representing the edge region to the synthesis unit 73.
  • the smoothing unit 72 smoothes the image signal of the short accumulation pixel multiplied by the gain by the gain multiplication unit 51 and supplies the smoothed pixel to the synthesis unit 73.
  • the combining unit 73 Based on the edge region information supplied from the edge determination unit 71, the combining unit 73 extracts the image signal of the short accumulation pixel in the edge region from the image accumulation signal of the short accumulation pixel multiplied by the gain by the gain multiplication unit 51. . Further, the synthesizing unit 73 extracts the imaging signal of the short accumulation pixel in the area other than the edge area from the imaging signal of the smoothed short accumulation pixel supplied from the smoothing unit 72 based on the edge area information. The combining unit 73 combines the extracted image signal of the short accumulation pixels in the edge area and the image pickup signal of the short accumulation pixels in the area other than the edge area. The synthesizing unit 73 supplies the short accumulation pixel imaging signal obtained as a result of the synthesis to the synthesizing unit 16 of FIG.
  • FIG. 7 is a block diagram illustrating a third configuration example of the image generation unit 13 of FIG.
  • the image generation unit 13 in FIG. 7 generates an imaging signal with a short readout interval and an imaging signal with a long readout interval by interpolation and synthesizes them at a ratio that maximizes the SNR, thereby obtaining both readout interval imaging signals. Improve the SNR.
  • the interpolation unit 91 of the image generation unit 13 performs an interpolation process on the imaging signal of the long accumulation pixel supplied from the image sensor 11 of FIG. 1 and generates an imaging signal of the long readout interval of all the pixels. To do.
  • the interpolation unit 91 supplies the generated image pickup signal of the long readout interval for all the pixels to the synthesis unit 93.
  • the interpolation unit 92 performs an interpolation process on the imaging signal of the short accumulation pixel multiplied by the gain by the gain multiplication unit 51, and generates an imaging signal having a short readout interval for all the pixels.
  • the interpolating unit 92 supplies the generated imaging signal with a short readout interval for all the pixels to the synthesizing unit 93.
  • the synthesizing unit 93 synthesizes the imaging signal with the long readout interval of all pixels supplied from the interpolation unit 91 and the imaging signal with the short readout interval of all pixels supplied from the interpolation unit 92 at a ratio that maximizes the SNR. .
  • the ratio of the imaging signal at the long readout interval that maximizes the SNR is ⁇ S / ( ⁇ S + ⁇ L )
  • the ratio of the imaging signal at the short readout interval is ⁇ L / ( ⁇ S + ⁇ L ).
  • the synthesizer 93 supplies the imaging signals of all the pixels obtained as a result of the synthesis to the synthesizer 16 in FIG. 1 as both readout interval imaging signals.
  • FIG. 8 is a block diagram illustrating a first configuration example of the combination ratio calculation unit 15 in FIG. 1.
  • a prefilter 101 includes a prefilter 101, a prefilter 102, a difference absolute value calculation unit 103, a noise estimation unit 104, and a threshold processing unit 105.
  • the pre-filter 101 of the composition ratio calculation unit 15 performs a filtering process on the image signal of the long accumulation pixel supplied from the image sensor 11 or the frame memory 12 in FIG. 1 for each vertical synchronization period.
  • This filter process is a process of changing the position of each pixel of the imaging signal to the reference position and suppressing noise in the imaging signal.
  • the pre-filter 101 supplies the image signal of the long accumulation pixel after the filter processing to the difference absolute value calculation unit 103 and the noise estimation unit 104.
  • the pre-filter 102 performs the same filter processing as the pre-filter 101 on the image signal of the short accumulation pixels supplied from the image sensor 11 for each vertical synchronization period.
  • the pre-filter 102 supplies the image signal of the short accumulation pixel after the filter processing to the difference absolute value calculation unit 103.
  • the difference absolute value calculation unit 103 calculates, for each reference position, the absolute difference between the image signal of the long accumulation pixel supplied from the prefilter 101 and the image pickup signal of the short accumulation pixel supplied from the prefilter 102.
  • the difference absolute value calculation unit 103 supplies the difference absolute value of each reference position to the threshold processing unit 105.
  • the noise estimation unit 104 estimates the standard deviation ⁇ of the image signal of the long accumulation pixel as a noise amount based on the image signal of the long accumulation pixel supplied from the pre-filter 101 and supplies it to the threshold processing unit 105.
  • the threshold processing unit 105 determines a threshold used for determination of the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 104. For example, the threshold processing unit 105 determines the standard deviation ⁇ as the first threshold. The threshold processing unit 105 determines the moving subject region using the absolute difference value of each reference position and the first threshold supplied from the differential absolute value calculation unit 103.
  • the threshold processing unit 105 determines whether or not the difference absolute value of each reference position is greater than the first threshold. When the difference absolute value is larger than the first threshold, the threshold processing unit 105 determines that the reference position corresponding to the difference absolute value is a moving subject region, and when the difference absolute value is smaller than the first threshold. Then, it is determined that the reference position corresponding to the difference absolute value is not a moving subject area.
  • the threshold processing unit 105 determines that the absolute difference value is not caused by noise but caused by movement. On the other hand, when the difference absolute value is not greater than the first threshold, the threshold processing unit 105 determines that the difference absolute value is due to noise.
  • the threshold processing unit 105 determines the moving subject region using the imaging signal in which noise is suppressed by the filter processing of the prefilter 101 and the prefilter 102, the determination accuracy is high.
  • the threshold processing unit 105 sets the composition ratio of the pixels corresponding to the reference position determined as the moving subject area by the determination of the moving subject area so that the ratio of the short readout interval imaging signal is increased. Further, the threshold processing unit 105 sets the composition ratio of the pixels corresponding to the reference position determined not to be the moving subject area by the determination of the moving subject area so that the ratio of the two readout interval imaging signals is increased. The threshold processing unit 105 supplies the set composition ratio of each pixel to the composition unit 16 in FIG.
  • the image processing apparatus 10 can output a high-quality moving image pickup signal with less noise and motion blur.
  • FIG. 9 is a diagram illustrating an example of the ratio of both readout interval imaging signals in the combination ratio set by the threshold processing unit 105 in FIG.
  • the horizontal axis represents the difference absolute value calculated by the difference absolute value calculation unit 103 in FIG. 8, and the vertical axis represents the ratio of both readout interval imaging signals.
  • the threshold processing unit 105 displays a pixel corresponding to the reference position.
  • the ratio of both readout interval imaging signals is set to 1, which is the maximum value, for example.
  • the threshold value processing unit 105 sets, for example, a value three times the standard deviation ⁇ as the second value. Set to the threshold value.
  • the threshold processing unit 105 determines both of the readout interval imaging signals of the pixels corresponding to the reference position according to a predetermined function.
  • the predetermined function is a function proportional to the absolute difference value, which is 1 when the difference absolute value is the first threshold value and 0 when the difference absolute value is the second threshold value.
  • the ratio of the short readout interval imaging signal is set to a value obtained by subtracting the ratio of both readout interval imaging signals from 1.
  • the threshold processing unit 105 sets the ratio of both readout interval imaging signals of the pixels corresponding to the reference position to 0 which is the minimum value. At this time, the ratio of the short readout interval imaging signal is set to 1.
  • FIG. 10 is a block diagram illustrating a second configuration example of the combination ratio calculation unit 15 in FIG. 1.
  • the composite ratio calculation unit 15 in FIG. 10 sets the ratio of the short readout interval imaging signal to a value larger than 0 when the texture of the subject in the screen is complicated even in a region that is not a moving subject region.
  • the statistic calculation unit 111 of the synthesis ratio calculation unit 15 calculates a statistic such as a dispersion value of the image pickup signal of the long accumulation pixel after the filtering process output from the pre-filter 101 and supplies it to the threshold processing unit 112.
  • the threshold processing unit 112 determines a first threshold used for determining the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 104. Similar to the threshold processing unit 105, the threshold processing unit 112 determines a moving subject region using the absolute difference value of each reference position supplied from the differential absolute value calculation unit 103 and the first threshold value.
  • the threshold processing unit 112 increases the ratio of the short readout interval imaging signal with respect to the composition ratio of the pixels corresponding to the reference position determined as the moving subject region by the determination of the moving subject region.
  • the second threshold value is used for setting.
  • the threshold processing unit 112 captures the short readout interval of the pixel corresponding to the reference position determined not to be the moving subject region by the determination of the moving subject region.
  • the signal ratio is set to 1 which is the maximum value. At this time, the ratio of the short readout interval imaging signal is set to zero.
  • the image pickup signal of the moving image in the area where the texture of the subject is complicated does not move is affected by both the image pickup signal of the long accumulation pixel and the image accumulation signal of the short accumulation pixel.
  • the image processing apparatus 10 can improve the image quality of the moving image pickup signal.
  • FIG. 11 is a flowchart illustrating image processing of the image processing apparatus 10 in FIG. This image processing is performed, for example, every vertical synchronization period.
  • step S11 of FIG. 11 the image sensor 11 of the image processing apparatus 10 reads the image signal of the short accumulation pixel and supplies it to the image generation unit 13, the pixel interpolation unit 14, and the synthesis ratio calculation unit 15. Then, the image sensor 11 resets the electric charge accumulated in the pixel 32 from which the imaging signal has been read as the short accumulation pixel, and causes the pixel 32 to start exposure again.
  • step S12 the image sensor 11 determines whether or not to read the image signal of the long accumulation pixel. For example, when the long readout interval is a multiple of 2 in the vertical synchronization period, the image sensor 11 must read the image signal of the long accumulation pixel during the first vertical synchronization period of two consecutive vertical synchronization periods. In the final vertical synchronization period, it is determined that the image signal of the long accumulation pixel is read out.
  • step S13 the image sensor 11 reads the long accumulation pixel imaging signal, and the frame memory 12, the image generation unit 13, and the composition ratio calculation unit 15 are read. To supply. Then, the image sensor 11 resets the electric charge accumulated in the pixel 32 from which the imaging signal has been read as the long accumulation pixel, and causes the pixel 32 to start exposure again.
  • step S14 the frame memory 12 holds the image signal of the long accumulation pixel supplied from the image sensor 11, and the process proceeds to step S16.
  • step S15 the image generation unit 13 and the composition ratio calculation unit 15 capture the image signal of the long accumulation pixel held in the frame memory 12. And proceeds to step S16.
  • step S ⁇ b> 16 the image generation unit 13 uses the short accumulation pixel imaging signal supplied from the image sensor 11 and the long accumulation pixel imaging signal supplied from the image sensor 11 or the frame memory 12 to perform both readout intervals. An imaging signal is generated and supplied to the combining unit 16.
  • step S ⁇ b> 17 the pixel interpolation unit 14 generates a short readout interval imaging signal by interpolating the imaging signal of the short accumulation pixel supplied from the image sensor 11, and supplies it to the synthesis unit 16.
  • step S ⁇ b> 18 the combination ratio calculation unit 15 performs both readings based on the imaging signal of the short accumulation pixel supplied from the image sensor 11 and the imaging signal of the long accumulation pixel supplied from the image sensor 11 or the frame memory 12. A composite ratio between the interval imaging signal and the short readout interval imaging signal is calculated. The composition ratio calculation unit 15 supplies the calculated composition ratio to the composition unit 16.
  • step S ⁇ b> 19 the synthesizing unit 16 performs both readout interval imaging signals supplied from the image generation unit 13 and short readout interval imaging supplied from the pixel interpolation unit 14 based on the synthesis ratio supplied from the synthesis ratio calculation unit 15. Synthesize the signal.
  • step S20 the synthesizing unit 16 outputs an imaging signal obtained as a result of the synthesis as a moving image imaging signal, and ends the process.
  • the image processing apparatus 10 includes the image sensor 11 having the short accumulation pixels and the long accumulation pixels, and the frame memory 12 that holds the imaging signals of the long accumulation pixels. Therefore, the image processing apparatus 10 can perform moving image shooting with an exposure length that is a multiple of 2 or more of the vertical synchronization period. Therefore, it is possible to improve the SNR in the dark place of the moving image pickup signal. Moreover, since the image sensor 11 of the image processing apparatus 10 has short accumulation pixels, it is possible to update a moving image pickup signal for each vertical synchronization period.
  • FIG. 12 is a block diagram illustrating a configuration example of the second embodiment of the image processing apparatus to which the present disclosure is applied.
  • the image processing device 130 performs motion compensation that compensates for the spatial phase shift of the imaging signal of the long accumulation pixels read from the frame memory 12.
  • the motion compensation unit 131 of the image processing apparatus 130 is supplied with the image signal of the long accumulation pixel read from the frame memory 12.
  • the motion compensation unit 131 performs motion compensation of the image signal of the long accumulation pixel based on a signal representing the motion of the image sensor 11 at the exposure time measured by a gyro sensor (not shown).
  • the motion compensation unit 131 estimates the amount of blur in the image signal of the long accumulation pixel.
  • the motion compensation unit 131 performs conversion such as translation, rotation, affine transformation, and projective transformation on the image signal of the long accumulation pixel supplied from the frame memory 12 so as to correct the estimated blur amount.
  • the spatial phase of the imaging signal of the long accumulation pixel supplied from the frame memory 12 is changed to the actual spatial phase when the imaging signal is read out.
  • the motion compensation unit 131 supplies the image signal of the long accumulation pixel after the motion compensation to the image generation unit 13 and the composition ratio calculation unit 15.
  • the image processing of the image processing apparatus 130 is the same as the image processing of FIG. 11 except that motion compensation by the motion compensation unit 131 is performed between step S15 and step S16, and thus description thereof is omitted.
  • the motion compensation unit 131 uses a motion vector detected based on imaging signals of past accumulated pixels of a plurality of frames instead of a signal representing the motion of the image sensor 11 measured by a gyro sensor or the like. The deviation may be compensated.
  • FIG. 13 is a block diagram illustrating a configuration example of a third embodiment of an image processing apparatus to which the present disclosure is applied.
  • the image processing device 150 corrects the motion blur due to the movement of the image sensor 11 in the imaging signals of the short accumulation pixels and the long accumulation pixels.
  • the motion blur correction unit 151 of the image processing device 150 is based on a signal representing the motion of the image sensor 11 at the exposure time measured by a gyro sensor (not shown) or the like, and a motion blur PSF (Point spread function). Is estimated.
  • the motion blur correction unit 151 uses the motion blur PSF to capture the image signals of the long accumulation pixels and the short accumulation pixels supplied from the image sensor 11 and the image of the long accumulation pixels supplied from the motion compensation unit 13. Perform motion blur correction on the signal.
  • a motion blur correction method there are a method of superimposing the inverse transform of a motion blur kernel, a method of applying HPF (High Pass Filter) corresponding to the blur direction, and the like.
  • the motion blur correction unit 151 supplies the image signal of the long accumulation pixel after the motion blur correction to the image generation unit 13 and the composition ratio calculation unit 15. In addition, the motion blur correction unit 151 supplies the image signal of the short accumulation pixel after the motion blur correction to the image generation unit 13, the pixel interpolation unit 14, and the combination ratio calculation unit 15.
  • the image processing of the image processing device 150 is the same as the image processing of the image processing device 130 of FIG. 12 except that the motion blur correction unit 151 performs correction of motion blur between step S14, step S15, and step S16. Since this is the same, the description is omitted.
  • FIG. 14 is a block diagram illustrating a configuration example of a fourth embodiment of an image processing apparatus to which the present disclosure is applied.
  • the image processing apparatus 170 performs noise reduction with different intensities on the image signals of the long accumulation pixels and the short accumulation pixels.
  • the noise reduction unit 171 of the image processing apparatus 170 performs LPF (Low Pass Filter) or LPF (low pass filter) or image pickup signals of long accumulation pixels and short accumulation pixels supplied from the image sensor 11 or the frame memory 12. Noise reduction is performed at different intensities using a non-linear smoothing technique.
  • the noise reduction intensity difference between the long accumulation pixel and the short accumulation pixel with respect to the image pickup signal is determined based on the exposure length difference between the long accumulation pixel and the short accumulation pixel, the gain difference multiplied by the gain multiplication unit 51, and the like. . Thereby, it is possible to compensate for the difference in noise intensity caused by the difference in exposure length between the long accumulation pixel and the short accumulation pixel and the difference in gain multiplied by the gain multiplication unit 51.
  • the noise reduction unit 171 supplies the image signal of the long accumulation pixel after noise reduction to the frame memory 12 and holds it, and also supplies it to the image generation unit 13 and the composition ratio calculation unit 15. Further, the noise reduction unit 171 supplies the image signal of the short accumulation pixel after the noise reduction to the image generation unit 13, the pixel interpolation unit 14, and the combination ratio calculation unit 15.
  • the image processing of the image processing apparatus 170 is the same as the image processing of FIG. 11 except for the following points. That is, the image processing of the image processing apparatus 170 is different from the image processing of FIG. 11 in that noise reduction is performed on the image signal of the short accumulation pixel by the noise reduction unit 171 between steps S11 and S12. Further, the image processing of the image processing apparatus 170 is that the noise reduction of the image signal of the long accumulation pixel is performed by the noise reduction unit 171 between steps S13 and S14 and between steps S15 and S16. It is different from processing.
  • noise reduction unit 171 may perform noise reduction with the same intensity on the imaging signals of both the long accumulation pixels and the short accumulation pixels.
  • FIG. 15 is a block diagram illustrating a configuration example of a fifth embodiment of an image processing device to which the present disclosure is applied.
  • the image processing device 190 performs noise reduction on both readout interval imaging signals and short readout interval imaging signals.
  • the noise reduction unit 191 of the image processing apparatus 190 includes the combination ratio calculated by the combination ratio calculation unit 15, the difference in exposure length between the long accumulation pixels and the short accumulation pixels, and the gain multiplied by the gain multiplication unit 51.
  • the intensity of noise reduction is determined based on the difference between the two.
  • the noise reduction unit 191 increases the intensity of noise reduction when, for example, the combination ratio of both readout interval imaging signals is 0 or 1, that is, when the combination is not performed, and the combination ratio of both readout interval imaging signals. If is greater than 0 and less than 1, the noise reduction strength is reduced.
  • the noise reduction unit 191 (both readout interval noise reduction unit) performs noise reduction with the determined intensity on the both readout interval imaging signals generated by the image generation unit 13 using LPF or a non-linear smoothing technique. .
  • the noise reduction unit 191 supplies both readout interval imaging signals after noise reduction to the synthesis unit 16.
  • the noise reduction unit 192 is based on the combination ratio calculated by the combination ratio calculation unit 15, the difference in exposure length between the long accumulation pixel and the short accumulation pixel, the difference in gain multiplied by the gain multiplication unit 51, and the like. Similar to 191, the noise reduction intensity is determined.
  • the noise reduction unit 192 (short readout interval noise reduction unit) performs noise reduction with the determined intensity on the short readout interval imaging signal generated by the pixel interpolation unit 14 using LPF or a non-linear smoothing technique. .
  • the noise reduction unit 192 supplies the short readout interval imaging signal after noise reduction to the synthesis unit 16.
  • the noise reduction unit 191 and the noise reduction unit 192 perform noise reduction based on the combination ratio, the difference in exposure length between the long accumulation pixel and the short accumulation pixel, the difference in gain multiplied by the gain multiplication unit 51, and the like. Determine strength. Therefore, the noise reduction unit 191 and the noise reduction unit 192 compensate for a difference in noise intensity caused by a composition ratio, a difference in exposure length between the long accumulation pixel and the short accumulation pixel, and a difference in gain multiplied by the gain multiplication unit 51. Can do.
  • the image processing of the image processing apparatus 190 is the same as the image processing of FIG. 11 except that noise reduction by the noise reduction unit 191 and the noise reduction unit 192 is performed between steps S17 and S18. Omitted.
  • the noise reduction unit 191 and the noise reduction unit 192 perform noise reduction at a plurality of noise intensities regardless of the synthesis ratio, and the synthesis unit 16 performs noise reduction with noise intensity corresponding to the synthesis ratio. You may make it synthesize
  • the image processing device 190 may include a noise reduction unit 171. Further, the noise reduction unit 191 and the noise reduction unit 192 may perform noise reduction with the same intensity.
  • FIG. 16 is a block diagram illustrating a configuration example of a sixth embodiment of an image processing apparatus to which the present disclosure is applied.
  • the configuration of the image processing apparatus 210 in FIG. 16 is different from the configuration of the image processing apparatus 10 in FIG. 1 in that a frame memory 211 and a synthesis ratio calculation unit 212 are provided instead of the frame memory 12 and the synthesis ratio calculation unit 15. .
  • the image processing device 210 not only captures both the long accumulation pixel and the short accumulation pixel used to generate both readout interval imaging signals and the short readout interval imaging signal to be combined, but also the imaging signal at a time before the imaging signal. To calculate the composite ratio.
  • the frame memory 211 of the image processing apparatus 210 holds the image signal of the long accumulation pixels supplied from the image sensor 11 for two screens for each group.
  • the combination ratio calculation unit 212 has the same long accumulation pixel immediately before the image signal of the long accumulation pixel that is held in the frame memory 12 and is used for generating both readout interval imaging signals to be synthesized for each vertical synchronization period.
  • Image pickup signal (hereinafter referred to as an image pickup signal of a past long accumulation pixel) is read out.
  • the composition ratio calculation unit 212 is used to generate the both readout interval imaging signals to be synthesized from the frame memory 12 and is the same at the long readout interval immediately before.
  • the imaging signal read from the long accumulation pixel is read out.
  • the combination ratio calculation unit 212 For each vertical synchronization period, the combination ratio calculation unit 212 captures an image signal of a past long accumulation pixel, an image signal of a long accumulation pixel supplied from the image sensor 11 or the frame memory 12, and a short image supplied from the image sensor 11. Based on the image pickup signal of the accumulated pixel, a composite ratio of both the readout interval imaging signal and the short readout interval imaging signal is calculated. The composition ratio calculation unit 212 supplies the calculated composition ratio to the composition unit 16.
  • FIG. 17 is a diagram illustrating a first example of an imaging signal of a past long accumulation pixel.
  • the readout interval of the pixels 32 of the first and second groups is the readout interval of A in FIG.
  • the image pickup signal of the short accumulation pixel is read out from the first group of pixels 32 for each vertical synchronization period.
  • an imaging signal of a long accumulation pixel is read out from the second group of pixels 32 at every long readout interval that is a multiple of 2 of the vertical synchronization period.
  • both readout interval imaging signals are generated using the imaging signal S4 of the short accumulation pixel and the imaging signal L4 of the long accumulation pixel.
  • FIG. 18 is a diagram illustrating a second example of an image pickup signal of a past long accumulation pixel.
  • the readout interval of the pixels 32 of the first and second groups is the readout interval of D in FIG.
  • the image signal of the past long accumulation pixel is the length read from the pixel 32 of the second group at that time. It becomes the imaging signal L0 of the same long accumulation pixel immediately before the imaging signal L4 of the accumulation pixel.
  • both readout interval imaging signals are generated using the imaging signal S4 of the short accumulation pixel and the imaging signal L4 of the long accumulation pixel.
  • FIG. 19 is a block diagram illustrating a configuration example of the composition ratio calculation unit 212 of FIG.
  • LPF Low Pass Filter
  • difference absolute value calculation unit 233 an LPF 234 and 235
  • difference absolute value calculation unit 236 a noise estimation unit 237
  • threshold processing units 238 and 239 the selector 240 is configured.
  • the LPF 231 of the composition ratio calculation unit 212 performs noise reduction on the past image signal of the long accumulation pixel read out from the frame memory 211 in FIG. 16 and supplies it to the difference absolute value calculation unit 233.
  • the LPF 232 performs noise reduction on the image signal of the long accumulation pixel that is supplied from the image sensor 11 or the frame memory 211 and is used to generate both readout interval image signals to be combined, and supplies it to the difference absolute value calculation unit 233. To do.
  • the difference absolute value calculation unit 233 calculates, for each long accumulation pixel, an absolute difference value between the imaging signal of the long accumulation pixel supplied from the LPF 231 and the imaging signal of the past long accumulation pixel supplied from the LPF 232, and performs threshold processing. To the unit 238.
  • the LPF 234 reduces noise with a stronger intensity than the LPF 231 and the LPF 232 with respect to the image signal of the long accumulation pixel supplied from the image sensor 11 or the frame memory 211 and used to generate both readout interval imaging signals to be synthesized. At the same time, the position of each long accumulation pixel is changed to the reference position.
  • the LPF 234 supplies, to the absolute difference calculation unit 236 and the noise estimation unit 237, the imaging signal of the long accumulation pixel lower than the band of the imaging signal of the long accumulation pixel output from the LPF 232 obtained as a result.
  • the LPF 235 performs noise reduction with a stronger intensity than the LPF 231 and the LPF 232 on the image signal of the short accumulation pixel supplied from the image sensor 11, and changes the position of each short accumulation pixel to the reference position.
  • the LPF 235 supplies the difference absolute value calculation unit 236 with the image signal of the short accumulation pixel lower than the band of the image signal of the long accumulation pixel output from the LPF 232 obtained as a result.
  • the difference absolute value calculation unit 236 calculates an absolute difference between the image signal of the long accumulation pixel supplied from the LPF 234 and the image pickup signal of the short accumulation pixel supplied from the LPF 235 for each reference position, and supplies the difference absolute value to the threshold processing unit 239. To do.
  • the noise estimation unit 237 estimates the standard deviation ⁇ of the image signal of the long accumulation pixel as a noise amount based on the image signal of the long accumulation pixel supplied from the LPF 234 and supplies it to the threshold processing unit 238 and the threshold processing unit 239. .
  • the threshold processing unit 238 determines, for example, the standard deviation ⁇ as a first threshold used for determination of the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 237.
  • the threshold processing unit 238 determines the moving subject region using the difference absolute value of each long accumulation pixel supplied from the difference absolute value calculation unit 233 and the first threshold.
  • the threshold processing unit 238 determines whether or not the absolute difference value of each long accumulation pixel is larger than the first threshold. Then, when the difference absolute value is larger than the first threshold, the threshold processing unit 238 determines that the long accumulation pixel corresponding to the difference absolute value is a moving subject region, and the difference absolute value is smaller than the first threshold. In this case, it is determined that the long accumulation pixel corresponding to the absolute difference value is not a moving subject area.
  • the threshold processing unit 238 sets the composition ratio of the pixels corresponding to the long accumulation pixels determined to be the moving subject area by the determination of the moving subject area so that the ratio of the short readout interval imaging signal is increased. In addition, the threshold processing unit 238 sets the combination ratio of pixels corresponding to the long accumulation pixels determined not to be the moving subject area by the determination of the moving subject area so that the ratio of the two readout interval imaging signals is increased. The threshold processing unit 238 supplies the set combination ratio of each pixel to the selection unit 240.
  • the threshold processing unit 239 determines a first threshold used for determination of the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 237.
  • the threshold processing unit 239 uses the absolute difference value of each reference position supplied from the differential absolute value calculation unit 236 and the first threshold value to determine the moving subject area in the same manner as the threshold processing unit 238.
  • the threshold processing unit 238 sets the composition ratio of the pixels corresponding to the reference position determined as the moving subject area by the determination of the moving subject area so that the ratio of the short readout interval imaging signal is increased. Further, the threshold processing unit 239 sets the composition ratio of the pixels corresponding to the reference position determined not to be the moving subject area by the determination of the moving subject area so that the ratio of the two readout interval imaging signals is increased. The threshold processing unit 239 supplies the set combination ratio of each pixel to the selection unit 240.
  • the selection unit 240 selects a combination ratio having a smaller temporal change between the combination ratio supplied from the threshold processing unit 238 and the combination ratio supplied from the threshold processing unit 239. Thereby, a synthetic
  • the selection unit 240 supplies the selected composition ratio to the composition unit 16 in FIG.
  • the composition ratio calculation unit 212 determines the moving subject region based on the imaging signals of the same long accumulation pixel. Therefore, it is possible to prevent the determination accuracy of the moving subject region from being lowered by compensating the positional deviation between the long accumulation pixel and the short accumulation pixel.
  • the positions of the long accumulation pixels and the short accumulation pixels on the pixel array unit 31 are different. Therefore, when obtaining the absolute difference between the image signal of the long accumulation pixel and the image signal of the short accumulation pixel, the position of each pixel is changed to the reference position. In this case, the absolute value of the difference becomes large and may be determined as a moving subject area. On the other hand, since the composite ratio calculation unit 212 obtains the absolute difference between the imaging signals of the same long accumulation pixel, it is not necessary to change the pixel position of the imaging signal, and the moving subject determination is performed with high accuracy. Can do.
  • the amount of noise in the image signal of the long accumulation pixel is smaller than that of the image signal of the short accumulation pixel, it is possible to improve the determination accuracy by determining the moving subject area based only on the imaging signal of the long accumulation pixel. .
  • the past image signal of the long accumulation pixel is read between steps S17 and S18, and the image signal of the past long accumulation pixel in step S18 is also a composite ratio. Except for the point used for the calculation, it is the same as the image processing of FIG. Therefore, the description is omitted.
  • FIG. 20 is a block diagram illustrating a configuration example of the seventh embodiment of the image processing device to which the present disclosure is applied.
  • the configuration of the image processing apparatus 260 in FIG. 20 is different from the configuration of the image processing apparatus 10 in FIG. 1 in that a frame memory 261 and a synthesis ratio calculation unit 262 are provided instead of the frame memory 12 and the synthesis ratio calculation unit 15. .
  • the image processing device 260 holds a combination ratio (hereinafter referred to as a long accumulation combination ratio) determined based on the imaging signals of the long accumulation pixels in the frame memory 261, and reads the imaging signal of the long accumulation pixels from the image sensor 11. Used to select the composition ratio when not issued.
  • the frame memory 261 of the image processing device 260 holds the image signals of the long accumulation pixels supplied from the image sensor 11 for two screens for each group. Further, the frame memory 261 holds the long accumulation composition ratio supplied from the composition ratio calculation unit 262 for one screen for each group.
  • the composite ratio calculation unit 262 reads the image signal of the past long accumulation pixel held in the frame memory 12 when the image signal of the long accumulation pixel is supplied from the image sensor 11 at each long readout interval. Then, the combination ratio calculation unit 262 calculates the long accumulation combination ratio based on the past image signal of the long accumulation pixel read from the frame memory 12 and the image accumulation signal of the long accumulation pixel supplied from the image sensor 11. calculate. The composition ratio calculation unit 262 supplies the calculated long accumulation composition ratio to the frame memory 261 and holds it.
  • the combination ratio calculation unit 262 stores the long accumulation composition ratio of the group of the long accumulation pixels held in the frame memory 12. Is read.
  • the combination ratio calculation unit 262 generates a combination ratio (hereinafter, referred to as a “both pixel combination ratio”) based on the imaging signal of the long accumulation pixel and the imaging signal of the short accumulation pixel supplied from the image sensor 11 for each vertical synchronization period. Calculate The composition ratio calculation unit 262 selects, for each vertical synchronization period, one of the calculated long accumulation composition ratio or the read long accumulation composition ratio and the both pixel composition ratio that has a smaller temporal change. The composition ratio calculation unit 262 supplies the selected composition ratio to the composition unit 16.
  • a combination ratio hereinafter, referred to as a “both pixel combination ratio”
  • the image processing device 260 does not calculate the long accumulation composition ratio but calculates the long accumulation composition calculated last time for the group of the long accumulation pixels.
  • the ratio is read from the frame memory 261 and used.
  • the imaging signal of the long accumulation pixel used for the calculation of the long accumulation composition ratio is the previous calculation of the long accumulation composition ratio of the group of the long accumulation pixels.
  • This is an image pickup signal of the long accumulation pixel used in the above. Therefore, the image processing apparatus 260 selects the combination ratio using the previously calculated long accumulation combination ratio. As a result, the image processing device 260 does not need to calculate the long accumulation composition ratio again based on the imaging signal of the same long accumulation pixel, and thus can reduce the calculation cost.
  • the image signal of the long accumulation pixel is not read from the image sensor 11, it is not necessary to read the image signal of the past long accumulation pixel from the frame memory 261 in order to calculate the long accumulation composition ratio. Bandwidth can be suppressed.
  • FIG. 21 is a diagram for explaining the long accumulation composition ratio calculated by the composition ratio calculation unit 262 in FIG. 20.
  • the readout interval of the pixels 32 of the first and second groups is the readout interval of A in FIG.
  • the combination ratio calculation unit 262 generates a long accumulation composition ratio based on the imaging signal L2 of the long accumulation pixel and the imaging signal L0 that is the imaging signal of the past long accumulation pixel of the imaging signal L2. This long accumulation composition ratio is supplied to the frame memory 261 and held.
  • the long accumulation composite ratio at time t3 is the imaging signal L2 of the long accumulation pixel read from the pixel 32 of the second group immediately before and the imaging signal of the past long accumulation pixel of the imaging signal L2. It is determined based on the signal L0. That is, the long accumulation composition ratio at time t3 is the same as the long accumulation composition ratio at time t2.
  • the composition ratio calculation unit 262 does not calculate the long accumulation composition ratio at time t3, reads the long accumulation composition ratio at time t2 held in the frame memory 261, and sets it as the long accumulation composition ratio at time t3.
  • FIG. 22 is a flowchart illustrating image processing of the image processing apparatus 260 in FIG. This image processing is performed, for example, every vertical synchronization period.
  • step S ⁇ b> 47 the composition ratio calculation unit 262 of the image processing device 260 reads the image signal of the past long accumulation pixel from the frame memory 261.
  • step S ⁇ b> 48 the composition ratio calculation unit 262 captures the image signal of the short accumulation pixel and the image signal of the long accumulation pixel supplied from the image sensor 11, and the image signal of the past long accumulation pixel read from the frame memory 261. Based on the above, the two pixel composition ratio and the long accumulation composition ratio are calculated. The composition ratio calculation unit 262 supplies the calculated long accumulation composition ratio to the frame memory 261 and holds it. And a process is supplied to step S54.
  • step S42 determines whether the image signal of the long accumulation pixel is not read. If it is determined in step S42 that the image signal of the long accumulation pixel is not read, the process proceeds to step S49.
  • the processing in steps S49 to S51 is the same as the processing in steps S15 to S17 in FIG.
  • step S ⁇ b> 52 the composition ratio calculation unit 262 reads the image signal of the long accumulation pixel from the frame memory 261, and based on the image signal of the long accumulation pixel and the image accumulation signal of the short accumulation pixel supplied from the image sensor 11. Then, the ratio of both pixel synthesis is calculated.
  • step S53 the composition ratio calculation unit 262 reads from the frame memory 261 the previously calculated long accumulation composition ratio of the group corresponding to the imaging signal read from the frame memory 261 in step S52. And a process is supplied to step S54.
  • step S54 the composition ratio calculation unit 262 selects one of the two pixel composition ratios and the long accumulation composition ratio, which has a smaller temporal change, and supplies it to the composition unit 16.
  • Steps S55 and S56 are the same as the processes of steps S19 and S20 in FIG.
  • the eighth embodiment of the image processing device is the same as the configuration of the image processing device 10 in FIG. 1 except for the configuration of the image sensor. Accordingly, only the image sensor will be described below.
  • FIG. 23 is a block diagram illustrating a configuration example of the image sensor according to the eighth embodiment of the image processing device to which the present disclosure is applied.
  • the horizontal reset lines 281 and 282 of the image sensor 280 are provided in units of rows of the pixels 32.
  • a horizontal reset line 281 of the row is connected to one of adjacent pixels 32 in each row, and a horizontal reset line 282 is connected to the other.
  • a horizontal reset line 281 in the row of the pixel 32 is connected to one of the adjacent pixels 32 in each column, and a horizontal reset line 282 in the row of the pixel 32 is connected to the other.
  • a reset signal is supplied from the vertical scanning circuit 33 to the horizontal reset lines 281 and 282 in each row at different timings. Specifically, one of the horizontal reset line 281 and the horizontal reset line 282 of each row is supplied with a reset signal a short read interval before the read signal is supplied to the selection line 35 of that row. On the other hand, the reset signal is supplied a long read interval before the read signal is supplied to the selection line 35 of the row.
  • FIG. 24 is a diagram illustrating an example of the arrangement of the pixels 32 arranged in the pixel array unit 31 of FIG.
  • the groups of pixels 32 in FIG. 23 are different in the same row.
  • the groups of the red pixels 32 and the blue pixels 32 arranged in the horizontal direction and the vertical direction are different, and the green color of each row is different.
  • the groups of pixels 32 are made identical.
  • the image sensor 11 is replaced with the image sensor 280.
  • the arrangement of the pixels 32 is an arrangement in which the density of green pixels is high as shown in FIG. If the reading interval of each group is constant regardless of time as shown in FIGS. 4A to 4C, the configuration of the image generation unit 13 can be changed.
  • FIG. 25 is a block diagram illustrating a configuration example of the image generation unit 13 in such a case.
  • the image generation unit 13 uses the inter-channel correlation to generate both readout interval imaging signals of the short accumulation pixels from the imaging signal of the long accumulation pixels and the imaging signal of the short accumulation pixels.
  • the image generation unit 13 outputs the image signal of the long accumulation pixel supplied from the image sensor 280 of FIG. 23 as an image signal for both readout intervals of the long accumulation pixel.
  • the interpolation unit 301 of the image generation unit 13 performs a filtering process on an imaging signal of a green pixel that is a long accumulation pixel supplied from the image sensor 280 using an LPF having a wide passband, and performs a high-frequency imaging signal G_H. Is generated.
  • the interpolation unit 301 also performs a filtering process on the imaging signal of the green pixel that is the long accumulation pixel supplied from the image sensor 280 using the LPF having a narrow passband, and generates a low-frequency imaging signal G_L. .
  • the interpolation unit 301 supplies the high-frequency imaging signal G_H and the low-frequency imaging signal G_L to the correlation unit 302.
  • the correlation unit 302 includes the imaging signal R_L of the red pixel of the imaging signal of the low-frequency short accumulation pixel smoothed by the smoothing unit 72, the imaging signal G_H and the imaging signal G_L supplied from the interpolation unit 301 Is used to obtain the imaging signal R_H of the high-frequency red pixel by the following equation (1).
  • the correlation unit 302 synthesizes the imaging signal R_H and the imaging signal R_L, and outputs the imaging signal obtained as a result as an imaging signal for both readout intervals of the red short accumulation pixel.
  • the correlation unit 302 captures an image using the imaging signal B_L of the blue pixel, the imaging signal G_H, and the imaging signal G_L of the imaging signal of the low frequency short accumulation pixel smoothed by the smoothing unit 72. Similar to the signal R_H, an imaging signal B_H of a high-frequency blue pixel is obtained. The correlation unit 302 synthesizes the imaging signal B_H and the imaging signal B_L, and outputs the imaging signal obtained as a result as the both readout interval imaging signal of the blue short accumulation pixel.
  • the correlator 302 outputs the image signal of the green short accumulation pixel smoothed by the smoothing unit 72 as the both readout interval imaging signal of the green short accumulation pixel.
  • the image processing of the image processing apparatus of the eighth embodiment is the same as that of the image processing apparatus of FIG.
  • the image sensor 11 in the first embodiment is replaced with the image sensor 280.
  • the image sensor 11 in the second to seventh embodiments is replaced with the image sensor 280. You may be made to do.
  • FIG. 26 is a block diagram illustrating a configuration example of a ninth embodiment of an image processing device to which the present disclosure is applied.
  • the configuration of the image processing apparatus 320 in FIG. 26 is that the image sensor 11 is replaced with the image sensor 321, the image generation unit 13 is replaced with the image generation unit 322, and the frame memory 12 is not provided. Different from the configuration of the processing apparatus 10.
  • the pixels 32 are divided into three or more groups, and image signals of both short accumulation pixels and long accumulation pixels are read for each vertical synchronization period.
  • the image sensor 321 of the image processing apparatus 320 includes a plurality of pixels 32, and each pixel 32 includes three pixels according to a change pattern corresponding to the time of the readout interval of the imaging signal of the pixel 32. It is classified into the above groups.
  • the pattern of each group is determined so that the readout timing of the imaging signal of at least one group of long accumulation pixels occurs for each vertical synchronization period. Therefore, for each vertical synchronization period, the image sensor 321 reads out an image signal of at least one group of short accumulation pixels and an image signal of at least one other group of long accumulation pixels. Therefore, it is not necessary to hold the image signal of the long accumulation pixel in the frame memory 12.
  • the image sensor 321 reads out imaging signals of long accumulation pixels classified into at least one group at a long readout interval, and supplies the readout signals to the image generation unit 322 and the composition ratio calculation unit 15. Further, the image sensor 321 reads out the imaging signals of the short accumulation pixels classified into at least one other group at a short readout interval, and supplies the readout signals to the image generation unit 322, the pixel interpolation unit 14, and the combination ratio calculation unit 15. .
  • the configuration of the image generation unit 322 is the same as the configuration of the image generation unit 13 in FIG. 7 except that an image pickup signal of long accumulation pixels is supplied only from the image sensor 321.
  • the image generation unit 322 generates an imaging signal for all pixels using the imaging signal for the short accumulation pixel and the imaging signal for the long accumulation pixel supplied from the image sensor 321 for each vertical synchronization period.
  • the image generation unit 322 supplies the generated imaging signals of all pixels to the synthesizing unit 16 as both readout interval imaging signals.
  • FIG. 27 is a diagram illustrating an example of readout intervals of the pixels 32 of each group in FIG.
  • the pixels 32 are classified into first to third groups.
  • the pixels 32 of each group alternate with short accumulation pixels and long accumulation pixels, and the long readout interval is twice the vertical synchronization period.
  • the vertical synchronization period is in the first half of the long readout interval
  • the vertical synchronization in the latter half of the long readout interval is performed. This is a period, and in the remaining one group of pixels 32, a short readout interval. Therefore, the imaging signals of the long accumulation pixels of the first to third groups are sequentially read for each vertical synchronization period.
  • the pixels 32 are classified into first to fourth groups.
  • the pixels 32 in each group repeatedly become short accumulated pixels twice and then become long accumulated pixels, and the long readout interval is twice the vertical synchronization period.
  • the vertical synchronization of the second half of the long readout interval is performed in the pixels 32 of the other group. This is a period, and the remaining two groups of pixels 32 are short readout intervals. Accordingly, the imaging signals of the first to fourth groups of long accumulation pixels are sequentially read out for each vertical synchronization period.
  • FIG. 28 is a block diagram illustrating a configuration example of a tenth embodiment of an image processing device to which the present disclosure is applied.
  • the configuration of the image processing device 340 in FIG. 28 is different from the configuration of the image processing device 320 in FIG. 26 in that a noise reduction unit 341 is newly provided. Similar to the image processing apparatus 170 in FIG. 14, the image processing apparatus 340 performs noise reduction with different intensities on the imaging signals of the long accumulation pixels and the short accumulation pixels.
  • the configuration of the noise reduction unit 341 of the image processing device 340 is the same as the configuration of the noise reduction unit 171 in FIG. 14 except that an image pickup signal of long accumulation pixels is supplied from the image sensor 321. .
  • the image signal of the long accumulation pixel after the noise reduction by the noise reduction unit 341 is supplied to the image generation unit 322 and the composition ratio calculation unit 15.
  • the imaging signal of the short accumulation pixel after noise reduction by the noise reduction unit 341 is supplied to the image generation unit 322, the composition ratio calculation unit 15, and the pixel interpolation unit 14.
  • the image processing of the image processing apparatus 340 is the same as the image processing of the image processing apparatus 320 in FIG. 26 except for the following points. That is, the image processing of the image processing apparatus 340 is different from the image processing of the image processing apparatus 320 in that noise reduction is performed on the image signal of the short accumulation pixel by the noise reduction unit 341 between steps S11 and S13. Yes. Further, the image processing of the image processing apparatus 340 is different from the image processing of the image processing apparatus 320 in that the noise reduction unit 341 performs noise reduction of the image signal of the long accumulation pixel between steps S13 and S16. .
  • noise reduction unit 341 may perform noise reduction with the same intensity on the imaging signals of both the long accumulation pixels and the short accumulation pixels.
  • FIG. 29 is a block diagram illustrating a configuration example of an eleventh embodiment of an image processing device to which the present disclosure is applied.
  • the image processing device 360 performs noise reduction on both readout interval imaging signals and short readout interval imaging signals.
  • the image processing of the image processing apparatus 360 is the same as the image processing of the image processing image processing apparatus 320 in FIG. 26 except that noise reduction is performed by the noise reduction unit 191 and the noise reduction unit 192 between step S17 and step S18. Since this is the same, the description is omitted.
  • the image processing device 360 may include a noise reduction unit 341.
  • the frame memory 12 is not provided, but the frame memory 12 may be provided.
  • the image generation unit 322 is supplied with an image pickup signal of long accumulation pixels from the image sensor 321 via the frame memory 12.
  • FIG. 30 is a diagram showing a configuration of a semiconductor substrate when the above-described image processing apparatus is formed on a semiconductor substrate (chip).
  • the configuration other than the image sensor 11 (321) of the image processing apparatus according to the first to eleventh embodiments is realized by a circuit 381, for example.
  • This circuit 381 is formed on the same semiconductor substrate 382 as the image sensor 11 (321), for example, as shown in FIG.
  • the semiconductor substrate 384 and the semiconductor substrate 384 to be stacked are formed over the semiconductor substrate 384 on which the image sensor 11 (321) is not formed.
  • the configuration of the image processing apparatus other than the image sensor 11 (321) of the first to eleventh embodiments is, for example, a semiconductor substrate 383 on which the image sensor 11 (321) is formed. It can also be realized by a subsequent DSP (Digital Signal Processing) 386.
  • DSP Digital Signal Processing
  • the configuration other than the image sensor 11 (321) of the image processing apparatus according to the first to eleventh embodiments is realized by, for example, a circuit 388 and a DSP 389. You can also.
  • the circuit 388 is formed on the same semiconductor substrate 387 as the image sensor 11 (321), and the DSP 389 is provided at the subsequent stage of the semiconductor substrate 387.
  • the circuit 388 is formed on the semiconductor substrate 390 on which the image sensor 11 (321) is not formed among the semiconductor substrate 383 and the semiconductor substrate 390 to be stacked, and the DSP 389 is stacked.
  • the semiconductor substrate 387 and the semiconductor substrate 390 are provided in the subsequent stage.
  • the type of exposure length of the pixel 32 may be 3 or more.
  • the readout interval of each pixel 32 may be always constant.
  • this indication can also take the following structures.
  • An image processing apparatus comprising: a holding unit that holds the imaging signal of a long accumulation pixel that is the pixel, the reading interval being the second multiple of the vertical synchronization period.
  • the predetermined pixel of the plurality of pixels is a short accumulation pixel that is the pixel whose readout interval is always the first multiple of the vertical synchronization period, and pixels other than the predetermined pixel are always The image processing apparatus according to (1), configured to be the long accumulation pixel.
  • An image generation unit for generating a readout interval imaging signal;
  • a pixel interpolation unit that interpolates the imaging signal of the short accumulation pixel of the plurality of pixels and generates a short readout interval imaging signal that is an imaging signal of the plurality of pixels;
  • An image processing apparatus according to claim 1.
  • the combination ratio calculation unit includes the imaging signal of the long accumulation pixel synthesized by the image generation unit, the imaging signal of the same long accumulation pixel immediately before the imaging signal held by the holding unit, and the The image processing apparatus according to (8), configured to calculate the combination ratio based on the imaging signal of short accumulation pixels.
  • the holding unit holds the composition ratio calculated by the composition ratio calculation unit,
  • the image generation unit is configured to synthesize the imaging signal of the long accumulation pixel held by the holding unit and the imaging signal of the short accumulation pixel. Any of (7) to (10) An image processing apparatus according to claim 1.
  • a motion compensation unit that performs motion compensation of the imaging signal of the long accumulation pixels held by the holding unit;
  • the image processing device according to (11), wherein the image generation unit is configured to synthesize the imaging signal after the motion compensation by the motion compensation unit and the imaging signal of the short accumulation pixel.
  • a motion blur correction unit that corrects motion blur of the imaging signal of the long accumulation pixel and the imaging signal of the short accumulation pixel;
  • the image generation unit is configured to synthesize the imaging signal of the long accumulation pixel in which the motion blur is corrected by the motion blur correction unit and the imaging signal of the short accumulation pixel.
  • a noise reduction unit that performs noise reduction with different intensities on the imaging signal of the long accumulation pixel and the imaging signal of the short accumulation pixel, respectively,
  • the image generation unit is configured to synthesize the imaging signal of the long accumulation pixel and the imaging signal of the short accumulation pixel after the noise reduction by the noise reduction unit (7) to (13)
  • An image processing apparatus according to any one of the above.
  • a double readout interval noise reduction unit that performs noise reduction at a first intensity on the readout interval imaging signal generated by the image generation unit;
  • a short readout interval noise reduction unit that performs noise reduction at a second intensity different from the first intensity with respect to the short readout interval imaging signal generated by the pixel interpolation unit;
  • the synthesizing unit synthesizes the two readout interval imaging signals after the noise reduction by the two readout interval noise reduction units and the short readout interval imaging signal after the noise reduction by the short readout interval noise reduction unit.
  • An image processing apparatus having a plurality of pixels A readout step of reading an imaging signal from the pixel at a readout interval that is a first multiple of a vertical synchronization period or a second multiple that is greater than the first multiple of the vertical synchronization period;
  • An image processing method including: a holding step of holding the imaging signal read at the reading interval that is the second multiple of the vertical synchronization period by the processing of the reading step.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　本開示は、動画の暗所のSNRを十分に向上させることができるようにする画像処理装置および画像処理方法に関する。 イメージセンサは、撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、垂直同期期間の第１の倍数より大きい第２の倍数である複数の画素を有する。フレームメモリは、読み出し間隔が垂直同期期間の第２の倍数である画素である長蓄画素の撮像信号を保持する。本開示は、例えば、イメージセンサとフレームメモリを備える動画を生成する画像処理装置等に適用することができる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、動画の暗所のSNR(signal-noise ratio)を十分に向上させることができるようにした画像処理装置および画像処理方法に関する。
　近年、露光長の異なる画素が混在するイメージセンサが考案されている(例えば、特許文献１参照)。露光長の異なる画素が混在するイメージセンサでは、動画撮影時、全画素を垂直同期期間ごとに読み出し、出力する。従って、露光長の長い画素であっても、露光長を垂直同期期間より長くすることはできず、動画の暗所のSNRは悪い。
　SNRを改善する方法としては、撮影画像に対して画面内でフィルタ処理を施す2DNR処理を行う方法がある。しかしながら、強ノイズ下でノイズを低減しつつ、被写体のテクスチャを維持することは困難である。
　また、SNRを改善する方法としては、過去フレームの撮影画像を用いてノイズを低減する3DNR処理を行う方法もある。この方法は、静被写体領域において過去フレームの画像と現在フレームの画像を加重平均することでランダム性のノイズを低減する方法である。従って、この方法が動被写体領域に対して用いられると、撮影画像において尾引き等の画質劣化が生じる。よって、撮影画像に対して動被写体判定を行い、動被写体領域では加重平均が行われないようにするといった複雑な処理が必要となる。
　しかしながら、暗所の強ノイズ下では、動被写体とノイズを正確に判定することが困難であり、静被写体領域が動被写体領域と判定され、ノイズが十分に低減されないことがある。
特開２００２－１３５６２６号公報
　従って、動画の暗所のSNRを十分に向上させることが望まれている。
　本開示は、このような状況に鑑みてなされたものであり、動画の暗所のSNRを十分に向上させることができるようにするものである。
　本開示の一側面の画像処理装置は、撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部とを備える画像処理装置である。
　本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。
　本開示の一側面においては、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、画素から撮像信号が読み出され、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号が保持される。
　本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、動画の暗所のSNRを十分に向上させることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 図１のイメージセンサの構成例を示す図である。 図２の画素の配列の例を示す図である。 各グループの画素の読み出し間隔の例を示す図である。 図１の画像生成部の第１の構成例を示すブロック図である。 図１の画像生成部の第２の構成例を示すブロック図である。 図１の画像生成部の第３の構成例を示すブロック図である。 図１の合成比率計算部の第１の構成例を示すブロック図である。 図８の閾値処理部により設定される両読み出し間隔撮像信号の比率の例を示す図である。 図１の合成比率計算部の第２の構成例を示すブロック図である。 図１の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。 過去の長蓄画素の撮像信号の第１の例を説明する図である。 過去の長蓄画素の撮像信号の第２の例を説明する図である。 図１６の合成比率計算部の構成例を示すブロック図である。 本開示を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。 図２０の合成比率計算部において計算される長蓄合成比率を説明する図である。 図２０の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第８実施の形態のイメージセンサの構成例を示すブロック図である。 図２３の画素の配列の例を示す図である。 第８実施の形態における画像生成部の構成例を示すブロック図である。 本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。 図２６の各グループの画素の読み出し間隔の例を示す図である。 本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第１１実施の形態の構成例を示すブロック図である。 半導体基板の構成を示す図である。
　以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：画像処理装置（図１乃至図１１）
　２．第２実施の形態：画像処理装置（図１２）
　３．第３実施の形態：画像処理装置（図１３）
　４．第４実施の形態：画像処理装置（図１４）
　５．第５実施の形態：画像処理装置（図１５）
　６．第６実施の形態：画像処理装置（図１６乃至図１９）
　７．第７実施の形態：画像処理装置（図２０乃至図２２）
　８．第８実施の形態：画像処理装置（図２３乃至図２５）
　９．第９実施の形態：画像処理装置（図２６および図２７）
　１０．第１０実施の形態：画像処理装置（図２８）
　１１．第１１実施の形態：画像処理装置（図２９）
　１２．半導体基板（図３０）
　＜第１実施の形態＞
　（画像処理装置の第１実施の形態の構成例）
　図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
　図１の画像処理装置１０は、イメージセンサ１１、フレームメモリ１２、画像生成部１３、画素補間部１４、合成比率計算部１５、および合成部１６により構成される。画像処理装置１０は、露光長の異なる画素で撮像された撮像信号に基づいて動画を生成する。
　具体的には、画像処理装置１０のイメージセンサ１１は、複数の画素を有し、各画素は、その画素の撮像信号の読み出し間隔の時刻に応じた変化のパターンに応じて２つのグループに分類される。各画素の撮像信号の読み出し間隔は、垂直同期期間の１倍（以下では、短読み出し間隔という）、または、垂直同期期間の２以上の倍数（以下では、長読み出し間隔という）である。また、第１のグループまたは第２のグループの一方に分類される画素の読み出し間隔が短読み出し間隔である場合、他方に分類される画素の読み出し間隔は長読み出し間隔である。
　イメージセンサ１１は、第１または第２のグループの一方に分類された画素の撮像信号を、長読み出し間隔で読み出し、フレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。また、イメージセンサ１１は、他方に分類された画素の撮像信号を、短読み出し間隔で読み出し、画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
　フレームメモリ１２は、保持部として機能し、イメージセンサ１１から供給される長読み出し間隔で読み出された撮像信号を、グループごとに１画面（フレーム）分だけ保持する。
　画像生成部１３は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とを合成して、全画素の撮像信号を生成する。この生成に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。即ち、長読み出し間隔以外のタイミングでは、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号が、全画素の撮像信号の生成に用いられる。画像生成部１３は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１６に供給する。
　画素補間部１４は、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号を補間して全画素の撮像信号を生成し、短読み出し間隔撮像信号として合成部１６に供給する。
　合成比率計算部１５は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。この計算に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。合成比率計算部１５は、計算された合成比率を合成部１６に供給する。
　なお、合成比率計算部１５は、長読み出し間隔で合成比率を計算するようにしてもよい。この場合、合成比率計算部１５は、フレームメモリ１２から撮像信号を読み出さず、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と長読み出し間隔で読み出された撮像信号に基づいて、合成比率を計算する。
　合成部１６は、合成比率計算部１５から供給される合成比率に基づいて、画像生成部１３から供給される両読み出し間隔撮像信号と画素補間部１４から供給される短読み出し間隔撮像信号とを合成する。合成部１６は、合成の結果得られる撮像信号を動画の撮像信号として出力する。
　（イメージセンサの構成例）
　図２は、図１のイメージセンサ１１の構成例を示す図である。
　図２のイメージセンサ１１は、複数の画素３２により構成される画素アレイ部３１、垂直走査回路３３、水平リセット線３４、選択線３５、垂直信号線３６、および水平走査回路３７により構成される。
　画素アレイ部３１には、第１または第２のグループに分類される複数の画素３２が２次元アレイ状（行列状）に配置されている。ここでは、画素３２は、２行ごとに同一のグループに分類されている。
　２次元アレイ状に配置されている複数の画素３２は、水平リセット線３４および選択線３５により、行単位で垂直走査回路３３と接続されている。また、２次元アレイ状に配置されている複数の画素３２は、垂直信号線３６により、列単位で水平走査回路３７と接続されている。
　垂直走査回路３３は、画素アレイ部３１の画素３２の各行を順次選択し、選択された行の選択線３５に撮像信号を読み出させる読み出し信号を供給する。各行の画素３２は、この読み出し信号に応じて、内部に蓄積された電荷に応じた撮像信号を、垂直信号線３６に出力する。
　また、垂直走査回路３３は、各行の画素３２の水平リセット線３４に、その行の画素３２のグループに対応する短読み出し間隔または長読み出し間隔だけ、読み出し信号を供給するより前に、リセット信号を供給する。リセット信号は、画素３２の内部に蓄積された電荷をリセットさせる信号である。各行の画素３２は、リセット信号に応じて、内部に蓄積された電荷をリセットし、電荷の蓄積(露光)を開始する。
　水平走査回路３７は、１行分の画素３２から短読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図１の画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。また、水平走査回路３７は、1行分の画素３２から長読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図１のフレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。
　（画素配列の例）
　図３は、図２の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
　なお、図３において、正方形は画素を表し、その正方形の内部に付されたR,G,Bは、それぞれ、画素の有するカラーフィルタが赤色、緑色、青色であることを表す。また、画素を表す正方形の内部に付された１，２は、それぞれ、その画素のグループが第１のグループ、第２のグループであることを表す。さらに、図３では、画素アレイ部３１に配置される画素３２のうちの８×８個の画素３２のみ図示している。これらのことは、後述する図２４においても同様である。
　図３の例では、画素３２の配列がベイヤ配列となっている。また、図３に示すように、画素アレイ部３１の画素３２のグループは、２行ごとに異なっている。具体的には、上から１行目および２行目の画素３２のグループは、第２のグループであり、３行目および４行目の画素３２のグループは、第１のグループである。また、５行目および６行目の画素３２のグループは、第２のグループであり、７行目および８行目の画素３２のグループは、第１のグループである。従って、図３の例では、各色に対して、第１のグループに分類される画素３２と第２のグループに分類される画素３２が存在する。
　（各グループの読み出し間隔の例）
　図４は、各グループの画素３２の読み出し間隔の例を示す図である。
　図４において、横軸は時刻を表す。また、図４において、図中の矩形は、撮像信号の読み出し間隔を表し、矩形の縦方向の線は、撮像信号が読み出される時刻を表す。これらのことは、後述する図１７、図１８、図２１、および図２７においても同様である。
　図４のＡ乃至図４のＣに示すように、第１のグループの画素３２は、常に読み出し間隔が短読み出し間隔である短蓄画素であり、第２のグループの画素３２は、常に読み出し間隔が長読み出し間隔である長蓄画素であるようにすることができる。
　この場合、長読み出し間隔は、図４のＡに示すように、垂直同期期間（Ｖ）の２倍であってもよいし、図４のＢに示すように、垂直同期期間（Ｖ）の３倍であってもよいし、図４のＣに示すように、垂直同期期間（Ｖ）の４倍であってもよい。
　また、図４のＤおよび図４のＥに示すように、第１のグループの画素３２の読み出し間隔と第２のグループの画素３２の読み出し間隔は、時刻に応じて変化するようにすることもできる。この場合、図４のＤに示すように、第１のグループおよび第２のグループの画素３２の読み出し間隔の変化タイミングは同一にすることができる。即ち、図４のＤに示すように、第１のグループの画素３２の読み出し間隔は、２回の短読み出し間隔と１回の長読み出し間隔が順に並ぶパターンを繰り返し、第２のグループの画素３２の読み出し間隔は、１回の長読み出し間隔と２回の長読み出し間隔が順に並ぶパターンを繰り返すようにすることができる。
　また、図４のＥに示すように、第１および第２のグループの画素３２の読み出し間隔は、短読み出し間隔と長読み出し間隔の一方から他方へ交互に変化するようにすることもできる。即ち、図４のＥに示すように、第１のグループの画素３２の読み出し間隔は、短読み出し間隔と長読み出し間隔が順に並ぶパターンを繰り返し、第２のグループの画素３２の読み出し間隔は、長読み出し間隔と短読み出し間隔が順に並ぶパターンを繰り返すようにすることができる。
　以上のようにして第１および第２のグループの読み出し間隔が設定されるので、垂直同期期間ごとに、第１および第２のグループの少なくとも１つのグループの画素３２の撮像信号が読み出される。
　（画像生成部の第１の構成例）
　図５は、図１の画像生成部１３の第１の構成例を示すブロック図である。
　図５の画像生成部１３は、ゲイン乗算部５１により構成される。画像生成部１３には、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から長蓄画素の撮像信号が供給される。画像生成部１３は、垂直同期期間ごとに、その長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として合成部１６に供給する。
　また、画像生成部１３には、垂直同期期間ごとに、イメージセンサ１１から短蓄画素の撮像信号が供給され、ゲイン乗算部５１に入力される。ゲイン乗算部５１は、入力された短蓄画素の撮像信号に対して、長蓄画素と短蓄画素の露光時間の比に対応するゲインを乗算する。ゲイン乗算部５１は、ゲインが乗算された短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図１の合成部１６に供給する。
　（画像生成部の第２の構成例）
　図６は、図１の画像生成部１３の第２の構成例を示すブロック図である。
　図６に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図６の画像生成部１３の構成は、エッジ判定部７１、平滑化部７２、および合成部７３が新たに設けられる点が図５の構成と異なる。図６の画像生成部１３は、短蓄画素の撮像信号の平坦化領域を平滑化することにより、短蓄画素の両読み出し間隔撮像信号のSNRを改善する。
　具体的には、画像生成部１３のエッジ判定部７１は、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、画面内のエッジ領域を検出する。エッジ判定部７１は、そのエッジ領域を表すエッジ領域情報を合成部７３に供給する。
　平滑化部７２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号を平滑化し、合成部７３に供給する。
　合成部７３は、エッジ判定部７１から供給されるエッジ領域情報に基づいて、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号から、エッジ領域の短蓄画素の撮像信号を抽出する。また、合成部７３は、エッジ領域情報に基づいて、平滑化部７２から供給される平滑化後の短蓄画素の撮像信号から、エッジ領域以外の領域の短蓄画素の撮像信号を抽出する。合成部７３は、抽出されたエッジ領域の短蓄画素の撮像信号と、エッジ領域以外の領域の短蓄画素の撮像信号とを合成する。合成部７３は、合成の結果得られる短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図１の合成部１６に供給する。
　（画像生成部の第３の構成例）
　図７は、図１の画像生成部１３の第３の構成例を示すブロック図である。
　図７に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図７の画像生成部１３の構成は、補間部９１、補間部９２、および合成部９３が新たに設けられる点が図５の構成と異なる。図７の画像生成部１３は、補間により全画素の短読み出し間隔の撮像信号と長読み出し間隔の撮像信号を生成し、それらをSNRが最大となる比率で合成することにより、両読み出し間隔撮像信号のSNRを改善する。
　具体的には、画像生成部１３の補間部９１は、図１のイメージセンサ１１から供給される長蓄画素の撮像信号に対して補間処理を行い、全画素の長読み出し間隔の撮像信号を生成する。補間部９１は、生成された全画素の長読み出し間隔の撮像信号を合成部９３に供給する。
　補間部９２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号に対して補間処理を行い、全画素の短読み出し間隔の撮像信号を生成する。補間部９２は、生成された全画素の短読み出し間隔の撮像信号を合成部９３に供給する。
　合成部９３は、補間部９１から供給される全画素の長読み出し間隔の撮像信号と、補間部９２から供給される全画素の短読み出し間隔の撮像信号を、SNRが最大となる比率で合成する。短読み出し間隔の撮像信号の標準偏差をσSとし、長読み出し間隔の撮像信号の標準偏差をσLとしたとき、SNRが最大となる長読み出し間隔の撮像信号の比率はσS/（σS＋σL）であり、短読み出し間隔の撮像信号の比率はσL/（σS＋σL）である。合成部９３は、合成の結果得られる全画素の撮像信号を、両読み出し間隔撮像信号として図１の合成部１６に供給する。
　（合成比率計算部の第１の構成例）
　図８は、図１の合成比率計算部１５の第１の構成例を示すブロック図である。
　図８の合成比率計算部１５は、プレフィルタ１０１、プレフィルタ１０２、差分絶対値演算部１０３、ノイズ推定部１０４、および閾値処理部１０５により構成される。
　合成比率計算部１５のプレフィルタ１０１は、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号に対してフィルタ処理を行う。このフィルタ処理は、撮像信号の各画素の位置を基準位置に変更するとともに、撮像信号のノイズを抑制する処理である。プレフィルタ１０１は、フィルタ処理後の長蓄画素の撮像信号を差分絶対値演算部１０３とノイズ推定部１０４に供給する。
　プレフィルタ１０２は、垂直同期期間ごとに、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、プレフィルタ１０１と同様のフィルタ処理を行う。プレフィルタ１０２は、フィルタ処理後の短蓄画素の撮像信号を差分絶対値演算部１０３に供給する。
　差分絶対値演算部１０３は、プレフィルタ１０１から供給される長蓄画素の撮像信号と、プレフィルタ１０２から供給される短蓄画素の撮像信号の差分絶対値を、基準位置ごとに演算する。差分絶対値演算部１０３は、各基準位置の差分絶対値を閾値処理部１０５に供給する。
　ノイズ推定部１０４は、プレフィルタ１０１から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部１０５に供給する。
　閾値処理部１０５は、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる閾値を決定する。例えば、閾値処理部１０５は、標準偏差σを第１の閾値に決定する。閾値処理部１０５は、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
　具体的には、閾値処理部１０５は、各基準位置の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する基準位置が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する基準位置が動被写体領域ではないと判定する。
　即ち、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値がノイズによるものではなく、動きによるものであると判定する。一方、閾値処理部１０５は、差分絶対値が第１の閾値より大きくはない場合、その差分絶対値がノイズによるものであると判定する。
　以上のように、閾値処理部１０５は、プレフィルタ１０１およびプレフィルタ１０２のフィルタ処理によってノイズが抑制された撮像信号を用いて動被写体領域を判定するため、判定精度が良い。
　閾値処理部１０５は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部１０５は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部１０５は、設定された各画素の合成比率を図１の合成部１６に供給する。
　これにより、動きのない領域の動画の撮像信号では、ノイズの少ない長蓄画素の撮像信号の影響が大きくなり、動きのある領域の動画の撮像信号では、動きぼけの少ない短蓄画素の撮像信号の影響が大きくなる。その結果、画像処理装置１０は、ノイズや動きぼけの少ない高画質の動画の撮像信号を出力することができる。
　（合成比率の説明）
　図９は、図８の閾値処理部１０５により設定される合成比率のうちの両読み出し間隔撮像信号の比率の例を示す図である。
　図９において、横軸は、図８の差分絶対値演算部１０３により演算される差分絶対値を表し、縦軸は、両読み出し間隔撮像信号の比率を表す。
　図９に示すように、基準位置の差分絶対値が第１の閾値以下であり、その基準位置が動被写体領域ではないと判定される場合、閾値処理部１０５は、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、例えば最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０（＝１－０）に設定される。
　一方、基準位置の差分絶対値が第１の閾値より大きく、その基準位置が動被写体領域であると判定される場合、閾値処理部１０５は、例えば、標準偏差σの３倍の値を第２の閾値に設定する。
　そして、閾値処理部１０５は、基準位置の差分絶対値が第１の閾値より大きく第２の閾値以下である場合、所定の関数にしたがって、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を設定する。所定の関数とは、差分絶対値が第１の閾値である場合に１となり、第２の閾値である場合に０となる、差分絶対値に比例する関数である。このとき、短読み出し間隔撮像信号の比率は、１から両読み出し間隔撮像信号の比率を減算した値に設定される。
　また、閾値処理部１０５は、基準位置の差分絶対値が第２の閾値より大きい場合、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最小値である０に設定する。このとき、短読み出し間隔撮像信号の比率は１に設定される。
　（合成比率計算部の第２の構成例）
　図１０は、図１の合成比率計算部１５の第２の構成例を示すブロック図である。
　図１０に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１０の合成比率計算部１５の構成は、統計量計算部１１１が新たに設けられる点、および、閾値処理部１０５の代わりに閾値処理部１１２が設けられる点が図８の構成と異なる。図１０の合成比率計算部１５は、動被写体領域ではない領域であっても、画面内の被写体のテクスチャが込み入っている場合、短読み出し間隔撮像信号の比率を０より大きい値に設定する。
　合成比率計算部１５の統計量計算部１１１は、プレフィルタ１０１から出力されるフィルタ処理後の長蓄画素の撮像信号の分散値などの統計量を計算し、閾値処理部１１２に供給する。
　閾値処理部１１２は、図８の閾値処理部１０５と同様に、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部１１２は、閾値処理部１０５と同様に、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
　閾値処理部１１２は、閾値処理部１０５と同様に、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように第２の閾値を用いて設定する。
　また、閾値処理部１１２は、統計量計算部１１１から供給される分散値に基づいて、画面内の被写体のテクスチャが込み入っているかどうかを判定する。閾値処理部１１２は、画面内の被写体のテクスチャが込み入っていると判定された場合、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最大値より小さい値（例えば0.5）に設定する。このとき、短読み出し間隔撮像信号の比率は、0.5（=1-0.5）に設定される。
　一方、画面内の被写体のテクスチャが込み入っていないと判定された場合、閾値処理部１１２は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の短読み出し間隔撮像信号の比率を、最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０に設定される。
　以上により、被写体のテクスチャが込み入っている画面の動きのない領域の動画の撮像信号は、長蓄画素の撮像信号と短蓄画素の撮像信号の両方の影響を受ける。その結果、画像処理装置１０は、動画の撮像信号の画質を向上させることができる。
　（画像処理装置の処理の説明）
　図１１は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、垂直同期期間ごとに行われる。
　図１１のステップＳ１１において、画像処理装置１０のイメージセンサ１１は、短蓄画素の撮像信号を読み出し、画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。そして、イメージセンサ１１は、短蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
　ステップＳ１２において、イメージセンサ１１は、長蓄画素の撮像信号を読み出すかどうかを判定する。例えば、イメージセンサ１１は、長読み出し間隔が垂直同期期間の２の倍数である場合、連続する２回の垂直同期期間のうちの最初の垂直同期期間時には、長蓄画素の撮像信号を読み出さないと判定し、最後の垂直同期期間時には、長蓄画素の撮像信号を読み出すと判定する。
　ステップＳ１２で長蓄画素の撮像信号を読み出すと判定された場合、ステップＳ１３において、イメージセンサ１１は、長蓄画素の撮像信号を読み出し、フレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。そして、イメージセンサ１１は、長蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
　ステップＳ１４において、フレームメモリ１２は、イメージセンサ１１から供給される長蓄画素の撮像信号を保持し、処理をステップＳ１６に進める。
　一方、ステップＳ１２で長蓄画素の撮像信号を読み出さないと判定された場合、ステップＳ１５において、画像生成部１３と合成比率計算部１５は、フレームメモリ１２に保持されている長蓄画素の撮像信号を読み出し、処理をステップＳ１６に進める。
　ステップＳ１６において、画像生成部１３は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とを用いて、両読み出し間隔撮像信号を生成し、合成部１６に供給する。
　ステップＳ１７において、画素補間部１４は、イメージセンサ１１から供給される短蓄画素の撮像信号を補間して短読み出し間隔撮像信号を生成し、合成部１６に供給する。
　ステップＳ１８において、合成比率計算部１５は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部１５は、計算された合成比率を合成部１６に供給する。
　ステップＳ１９において、合成部１６は、合成比率計算部１５から供給される合成比率に基づいて、画像生成部１３から供給される両読み出し間隔撮像信号と画素補間部１４から供給される短読み出し間隔撮像信号とを合成する。ステップＳ２０において、合成部１６は、合成の結果得られる撮像信号を動画の撮像信号として出力し、処理を終了する。
　以上のように、画像処理装置１０は、短蓄画素と長蓄画素を有するイメージセンサ１１と、長蓄画素の撮像信号を保持するフレームメモリ１２を備える。従って、画像処理装置１０は、垂直同期期間の２以上の倍数の露光長で動画撮影を行うことができる。よって、動画の撮像信号の暗所のSNRを向上させることができる。また、画像処理装置１０のイメージセンサ１１は、短蓄画素を有するので、動画の撮像信号を垂直同期期間ごとに更新することができる。
　＜第２実施の形態＞
　（画像処理装置の第２実施の形態の構成例）
　図１２は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
　図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１２の画像処理装置１３０の構成は、新たに動き補償部１３１が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１３０は、フレームメモリ１２から読み出された長蓄画素の撮像信号の空間位相ずれを補償する動き補償を行う。
　具体的には、画像処理装置１３０の動き補償部１３１には、フレームメモリ１２から読み出された長蓄画素の撮像信号が供給される。動き補償部１３１は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、長蓄画素の撮像信号の動き補償を行う。
　より詳細には、動き補償部１３１は、長蓄画素の撮像信号におけるぶれ量を推定する。動き補償部１３１は、推定されたぶれ量を補正するように、フレームメモリ１２から供給される長蓄画素の撮像信号に対して、並進、回転、アフィン変換、射影変換などの変換を行う。これにより、フレームメモリ１２から供給される長蓄画素の撮像信号の空間位相は、その撮像信号が読み出されるときの実際の空間位相に変更される。動き補償部１３１は、動き補償後の長蓄画素の撮像信号を画像生成部１３と合成比率計算部１５に供給する。
　画像処理装置１３０の画像処理は、ステップＳ１５とステップＳ１６の間で、動き補償部１３１による動き補償が行われる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
　なお、動き補償部１３１は、ジャイロセンサなどにより計測されたイメージセンサ１１の動きを表す信号ではなく、過去の複数フレームの長蓄画素の撮像信号に基づいて検出された動きベクトルを用いて空間位相ずれを補償するようにしてもよい。
　＜第３実施の形態＞
　（画像処理装置の第３実施の形態の構成例）
　図１３は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
　図１３に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１３の画像処理装置１５０の構成は、動きぼけ補正部１５１が新たに設けられる点が、図１２の画像処理装置１３０の構成と異なる。画像処理装置１５０は、短蓄画素と長蓄画素の撮像信号のイメージセンサ１１の動きによる動きぼけを補正する。
　具体的には、画像処理装置１５０の動きぼけ補正部１５１は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、動きぼけPSF（Point spread function）を推定する。動きぼけ補正部１５１は、動きぼけPSFを用いて、イメージセンサ１１から供給される長蓄画素の撮像信号および短蓄画素の撮像信号、並びに、動き補償部１３から供給される長蓄画素の撮像信号に対して動きぼけ補正を行う。動きぼけ補正の方法としては、動きぼけカーネルの逆変換を重畳する方法、ぼけ方向に応じたHPF(High Pass Filter)をかける方法などがある。
　動きぼけ補正部１５１は、動きぼけ補正後の長蓄画素の撮像信号を画像生成部１３と合成比率計算部１５に供給する。また、動きぼけ補正部１５１は、動きぼけ補正後の短蓄画素の撮像信号を画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
　画像処理装置１５０の画像処理は、ステップＳ１４およびステップＳ１５と、ステップＳ１６の間で、動きぼけ補正部１５１による動きぼけの補正が行われる点を除いて、図１２の画像処理装置１３０の画像処理と同様であるので、説明は省略する。
　＜第４実施の形態＞
　（画像処理装置の第４実施の形態の構成例）
　図１４は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
　図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１４の画像処理装置１７０の構成は、ノイズ低減部１７１が新たに設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１７０は、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。
　具体的には、画像処理装置１７０のノイズ低減部１７１は、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素と短蓄画素の撮像信号のそれぞれに対して、LPF（Low Pass Filter）または非線形平滑化手法を用いて、異なる強度でノイズ低減を行う。長蓄画素と短蓄画素の撮像信号に対するノイズ低減の強度の差異は、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて決定される。これにより、長蓄画素と短蓄画素における露光長の差異およびゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
　ノイズ低減部１７１は、ノイズ低減後の長蓄画素の撮像信号をフレームメモリ１２に供給して保持させるとともに、画像生成部１３と合成比率計算部１５に供給する。また、ノイズ低減部１７１は、ノイズ低減後の短蓄画素の撮像信号を画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
　画像処理装置１７０の画像処理は、以下の点を除いて、図１１の画像処理と同様である。即ち、画像処理装置１７０の画像処理は、ステップＳ１１とＳ１２の間でノイズ低減部１７１により短蓄画素の撮像信号に対してノイズ低減が行われる点が、図１１の画像処理と異なっている。また、画像処理装置１７０の画像処理は、ステップＳ１３とＳ１４の間およびステップＳ１５とＳ１６の間で、ノイズ低減部１７１により長蓄画素の撮像信号のノイズ低減が行われる点が、図１１の画像処理と異なっている。
　なお、ノイズ低減部１７１は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。
　＜第５実施の形態＞
　（画像処理装置の第５実施の形態の構成例）
　図１５は、本開示を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。
　図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１５の画像処理装置１９０の構成は、ノイズ低減部１９１とノイズ低減部１９２が新たに設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１９０は、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。
　具体的には、画像処理装置１９０のノイズ低減部１９１は、合成比率計算部１５により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減の強度を決定する。
　即ち、両読み出し間隔撮像信号と短蓄撮像信号が合成される場合、両方の周波数特性を一致させた方が、合成結果の画質が向上する場合がある。従って、ノイズ低減部１９１は、例えば、両読み出し間隔撮像信号の合成比率が０または１である場合、即ち合成が行われない場合、ノイズ低減の強度を強くし、両読み出し間隔撮像信号の合成比率が０より大きく１未満である場合、ノイズ低減の強度を弱くする。
　ノイズ低減部１９１（両読み出し間隔ノイズ低減部）は、画像生成部１３により生成された両読み出し間隔撮像信号に対して、LPFまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１９１は、ノイズ低減後の両読み出し間隔撮像信号を合成部１６に供給する。
　ノイズ低減部１９２は、合成比率計算部１５により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減部１９１と同様にノイズ低減の強度を決定する。ノイズ低減部１９２（短読み出し間隔ノイズ低減部）は、画素補間部１４により生成された短読み出し間隔撮像信号に対して、LPFまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１９２は、ノイズ低減後の短読み出し間隔撮像信号を合成部１６に供給する。
　以上のように、ノイズ低減部１９１とノイズ低減部１９２は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいてノイズ低減の強度を決定する。従って、ノイズ低減部１９１とノイズ低減部１９２は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
　画像処理装置１９０の画像処理は、ステップＳ１７とＳ１８の間で、ノイズ低減部１９１とノイズ低減部１９２によるノイズ低減が行われる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
　なお、ノイズ低減部１９１とノイズ低減部１９２は、合成比率によらず、複数のノイズ強度でノイズ低減を行い、合成部１６が、合成比率に対応するノイズ強度のノイズ低減が行われた撮像信号を選択して合成するようにしてもよい。
　また、画像処理装置１９０は、ノイズ低減部１７１を備えるようにしてもよい。また、ノイズ低減部１９１とノイズ低減部１９２は、同一の強度でノイズ低減を行うようにしてもよい。
　＜第６実施の形態＞
　（画像処理装置の第６実施の形態の構成例）
　図１６は、本開示を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。
　図１６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１６の画像処理装置２１０の構成は、フレームメモリ１２、合成比率計算部１５の代わりに、フレームメモリ２１１、合成比率計算部２１２が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置２１０は、合成対象の両読み出し間隔撮像信号と短読み出し間隔撮像信号の生成に用いられる長蓄画素および短蓄画素の撮像信号だけでなく、その撮像信号より前の時刻の撮像信号も用いて、合成比率を計算する。
　具体的には、画像処理装置２１０のフレームメモリ２１１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、グループごとに２画面分だけ保持する。
　合成比率計算部２１２は、垂直同期期間ごとに、フレームメモリ１２に保持されている、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号の直前の、同一の長蓄画素の撮像信号（以下、過去の長蓄画素の撮像信号という）を読み出す。
　また、イメージセンサ１１から長蓄画素の撮像信号が供給されない場合、合成比率計算部２１２は、フレームメモリ１２から、合成対象の両読み出し間隔撮像信号の生成に用いられる、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号を読み出す。
　合成比率計算部２１２は、垂直同期期間ごとに、過去の長蓄画素の撮像信号、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号、および、イメージセンサ１１から供給される短蓄画素の撮像信号に基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部２１２は、計算された合成比率を合成部１６に供給する。
　（過去の長蓄画素の撮像信号の第１の例の説明）
　図１７は、過去の長蓄画素の撮像信号の第１の例を説明する図である。
　図１７の例では、第１および第２のグループの画素３２の読み出し間隔が図４のＡの読み出し間隔である。
　この場合、図１７に示すように、第１のグループの画素３２から、垂直同期期間ごとに、短蓄画素の撮像信号が読み出される。また、第２のグループの画素３２から、垂直同期期間の２の倍数である長読み出し間隔ごとに、長蓄画素の撮像信号が読み出される。
　従って、例えば、第１のグループの画素３２から短蓄画素の撮像信号Ｓ４が読み出される時刻ｔ４では、過去の長蓄画素の撮像信号は、そのときに読み出される長蓄画素の撮像信号Ｌ４の直前の同一の長蓄画素の撮像信号Ｌ２となる。このとき、両読み出し間隔撮像信号は、短蓄画素の撮像信号Ｓ４と長蓄画素の撮像信号Ｌ４を用いて生成される。
　（過去の長蓄画素の撮像信号の第２の例の説明）
　図１８は、過去の長蓄画素の撮像信号の第２の例を説明する図である。
　図１８の例では、第１および第２のグループの画素３２の読み出し間隔が図４のＤの読み出し間隔である。
　この場合、図１８に示すように、第１のグループおよび第２のグループの一方の画素３２が２回連続して短蓄画素になる間、他方の画素３２が１回長蓄画素になり、第１および第２のグループの一方と他方は交互に入れ替わる。
　従って、例えば、第２のグループの画素３２から短蓄画素の撮像信号Ｓ４が読み出される時刻ｔ４では、過去の長蓄画素の撮像信号は、そのときに第２のグループの画素３２から読み出される長蓄画素の撮像信号Ｌ４の直前の同一の長蓄画素の撮像信号Ｌ０となる。このとき、両読み出し間隔撮像信号は、短蓄画素の撮像信号Ｓ４と長蓄画素の撮像信号Ｌ４を用いて生成される。
　（合成比率計算部の構成例）
　図１９は、図１６の合成比率計算部２１２の構成例を示すブロック図である。
　図１９の合成比率計算部２１２は、LPF（Low Pass Filter）２３１および２３２、差分絶対値演算部２３３、LPF２３４および２３５、差分絶対値演算部２３６、ノイズ推定部２３７、閾値処理部２３８および２３９、並びに選択部２４０により構成される。
　合成比率計算部２１２のLPF２３１は、図１６のフレームメモリ２１１から読み出された過去の長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
　LPF２３２は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
　差分絶対値演算部２３３は、長蓄画素ごとに、LPF２３１から供給される長蓄画素の撮像信号と、LPF２３２から供給される過去の長蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３８に供給する。
　LPF２３４は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対して、LPF２３１やLPF２３２に比べて強い強度でノイズ低減を行うとともに、各長蓄画素の位置を基準位置に変更する。LPF２３４は、その結果得られる、LPF２３２から出力される長蓄画素の撮像信号の帯域よりも低域の長蓄画素の撮像信号を、差分絶対値演算部２３６とノイズ推定部２３７に供給する。
　LPF２３５は、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、LPF２３１やLPF２３２に比べて強い強度でノイズ低減を行うとともに、各短蓄画素の位置を基準位置に変更する。LPF２３５は、その結果得られる、LPF２３２から出力される長蓄画素の撮像信号の帯域よりも低域の短蓄画素の撮像信号を、差分絶対値演算部２３６に供給する。
　差分絶対値演算部２３６は、基準位置ごとにLPF２３４から供給される長蓄画素の撮像信号と、LPF２３５から供給される短蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３９に供給する。
　ノイズ推定部２３７は、LPF２３４から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部２３８と閾値処理部２３９に供給する。
　閾値処理部２３８は、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、例えば、標準偏差σを、動被写体領域の判定に用いる第１の閾値に決定する。閾値処理部２３８は、差分絶対値演算部２３３から供給される各長蓄画素の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
　具体的には、閾値処理部２３８は、各長蓄画素の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部２３８は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する長蓄画素が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する長蓄画素が動被写体領域ではないと判定する。
　閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された長蓄画素に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３８は、動被写体領域の判定により動被写体領域ではないと判定された長蓄画素に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３８は、設定された各画素の合成比率を選択部２４０に供給する。
　閾値処理部２３９は、閾値処理部２３８と同様に、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部２３９は、差分絶対値演算部２３６から供給される各基準位置の差分絶対値と第１の閾値とを用いて、閾値処理部２３８と同様に、動被写体領域の判定を行う。
　閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３９は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３９は、設定された各画素の合成比率を選択部２４０に供給する。
　選択部２４０は、閾値処理部２３８から供給される合成比率と、閾値処理部２３９から供給される合成比率のうちの時間変化が小さい方の合成比率を選択する。これにより、合成比率を安定させることができる。選択部２４０は、選択された合成比率を図１６の合成部１６に供給する。
　以上のように、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしに基づいて動被写体領域を判定する。従って、長蓄画素と短蓄画素の位置ずれを補償することにより、動被写体領域の判定精度が低下することを防止することができる。
　即ち、長蓄画素と短蓄画素の画素アレイ部３１上の位置は異なっている。従って、長蓄画素の撮像信号と短蓄画素の撮像信号の差分絶対値を求める際、各画素の位置が基準位置に変更されるが、これにより、静被写体領域であってもエッジ付近の領域では差分絶対値が大きくなり、動被写体領域と判定されることがある。これに対して、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしの差分絶対値を求めるため、撮像信号の画素位置を変更する必要がなく、高精度で動被写体判定を行うことができる。
　また、短蓄画素の撮像信号に比べて長蓄画素の撮像信号のノイズ量は少ないため、長蓄画素の撮像信号のみに基づいて動被写体領域を判定することにより、判定精度を高めることができる。
　図１６の画像処理装置２１０の画像処理は、ステップＳ１７とＳ１８の間で、過去の長蓄画素の撮像信号が読み出される点、および、ステップＳ１８で過去の長蓄画素の撮像信号も合成比率の計算に用いる点を除いて、図１１の画像処理と同様である。従って、説明は省略する。
　＜第７実施の形態＞
　（画像処理装置の第７実施の形態の構成例）
　図２０は、本開示を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。
　図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２０の画像処理装置２６０の構成は、フレームメモリ１２、合成比率計算部１５の代わりに、フレームメモリ２６１、合成比率計算部２６２が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置２６０は、長蓄画素の撮像信号どうしに基づいて決定された合成比率（以下、長蓄合成比率という）をフレームメモリ２６１に保持し、長蓄画素の撮像信号がイメージセンサ１１から読み出されないときの合成比率の選択に用いる。
　具体的には、画像処理装置２６０のフレームメモリ２６１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、グループごとに２画面分だけ保持する。また、フレームメモリ２６１は、合成比率計算部２６２から供給される長蓄合成比率をグループごとに１画面分だけ保持する。
　合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されたとき、フレームメモリ１２に保持されている過去の長蓄画素の撮像信号を読み出す。そして、合成比率計算部２６２は、フレームメモリ１２から読み出された過去の長蓄画素の撮像信号と、イメージセンサ１１から供給される長蓄画素の撮像信号とに基づいて、長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。
　一方、合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されないとき、フレームメモリ１２に保持されている、その長蓄画素のグループの長蓄合成比率を読み出す。
　また、合成比率計算部２６２は、垂直同期期間ごとに、イメージセンサ１１から供給される長蓄画素の撮像信号と短蓄画素の撮像信号に基づいて、合成比率（以下、両画素合成比率という）を計算する。合成比率計算部２６２は、垂直同期期間ごとに、計算された長蓄合成比率または読み出された長蓄合成比率と、両画素合成比率のうちの、時間変化が小さい方を選択する。合成比率計算部２６２は、選択された合成比率を合成部１６に供給する。
　以上のように、画像処理装置２６０は、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率を計算せず、その長蓄画素のグループの前回計算された長蓄合成比率をフレームメモリ２６１から読み出して用いる。
　即ち、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算に用いられる長蓄画素の撮像信号は、その長蓄画素のグループの長蓄合成比率の前回の計算に用いられた長蓄画素の撮像信号である。従って、画像処理装置２６０は、前回計算された長蓄合成比率を用いて、合成比率の選択を行う。これにより、画像処理装置２６０は、同一の長蓄画素の撮像信号に基づいて長蓄合成比率を再度計算せずに済むため、計算コストを削減することができる。また、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算のために過去の長蓄画素の撮像信号をフレームメモリ２６１から読み出す必要がないので、フレームメモリ２６１の帯域を抑制することができる。
　（長蓄合成比率の説明）
　図２１は、図２０の合成比率計算部２６２において計算される長蓄合成比率を説明する図である。
　図２１の例では、第１および第２のグループの画素３２の読み出し間隔が図４のＡの読み出し間隔である。
　この場合、図２１に示すように、例えば、第１のグループの画素３２から短蓄画素の撮像信号Ｓ２が読み出される時刻ｔ２では、第２のグループの画素３２から長蓄画素の撮像信号Ｌ２が読み出される。従って、合成比率計算部２６２は、長蓄画素の撮像信号Ｌ２と、その撮像信号Ｌ２の過去の長蓄画素の撮像信号である撮像信号Ｌ０とに基づいて、長蓄合成比率を生成する。この長蓄合成比率は、フレームメモリ２６１に供給され、保持される。
　一方、第１のグループの画素３２から短蓄画素の撮像信号Ｓ３が読み出される時刻ｔ３では、第２のグループの画素３２から長蓄画素の撮像信号は読み出されない。従って、時刻ｔ３における長蓄合成比率は、直前に第２のグループの画素３２から読み出された長蓄画素の撮像信号Ｌ２と、その撮像信号Ｌ２の過去の長蓄画素の撮像信号である撮像信号Ｌ０とに基づいて決定されるものである。即ち、時刻ｔ３における長蓄合成比率は、時刻ｔ２における長蓄合成比率と同一である。
　よって、合成比率計算部２６２は、時刻ｔ３では長蓄合成比率を計算せず、フレームメモリ２６１に保持されている時刻ｔ２の長蓄合成比率を読み出して、時刻ｔ３の長蓄合成比率とする。
　（画像処理装置の処理の説明）
　図２２は、図２０の画像処理装置２６０の画像処理を説明するフローチャートである。この画像処理は、例えば、垂直同期期間ごとに行われる。
　図２２のステップＳ４１乃至Ｓ４６の処理は、図１１のステップＳ１１乃至Ｓ１４，Ｓ１６、およびＳ１７の処理と同様であるので、説明は省略する。
　ステップＳ４７において、画像処理装置２６０の合成比率計算部２６２は、フレームメモリ２６１から過去の長蓄画素の撮像信号を読み出す。
　ステップＳ４８において、合成比率計算部２６２は、イメージセンサ１１から供給される短蓄画素の撮像信号および長蓄画素の撮像信号、並びに、フレームメモリ２６１から読み出された過去の長蓄画素の撮像信号に基づいて、両画素合成比率と長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。そして、処理はステップＳ５４に供給する。
　一方、ステップＳ４２で長蓄画素の撮像信号を読み出さないと判定された場合、処理はステップＳ４９に進む。ステップＳ４９乃至Ｓ５１の処理は、図１１のステップＳ１５乃至Ｓ１７の処理と同様であるので、説明は省略する。
　ステップＳ５２において、合成比率計算部２６２は、フレームメモリ２６１から長蓄画素の撮像信号を読み出し、その長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、両画素合成比率を計算する。
　ステップＳ５３において、合成比率計算部２６２は、ステップＳ５２でフレームメモリ２６１から読み出された撮像信号に対応するグループの前回計算された長蓄合成比率を、フレームメモリ２６１から読み出す。そして、処理はステップＳ５４に供給する。
　ステップＳ５４において、合成比率計算部２６２は、両画素合成比率と長蓄合成比率のうちの時間変化の小さい方を選択し、合成部１６に供給する。
　ステップＳ５５およびＳ５６は、図１１のステップＳ１９およびＳ２０の処理と同様であるので、説明は省略する。
　＜第８実施の形態＞
　（画像処理装置の第８実施の形態の構成例）
　画像処理装置の第８実施の形態は、イメージセンサの構成を除いて、図１の画像処理装置１０の構成と同様である。従って、以下では、イメージセンサについてのみ説明する。
　図２３は、本開示を適用した画像処理装置の第８実施の形態のイメージセンサの構成例を示すブロック図である。
　図２３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２３のイメージセンサ２８０の構成は、水平リセット線３４の代わりに水平リセット線２８１および２８２が設けられる点が、図２のイメージセンサ１１の構成と異なる。イメージセンサ２８０では、同一の行で画素３２のグループが異なっている。
　具体的には、イメージセンサ２８０の水平リセット線２８１および２８２は、画素３２の行単位で設けられる。各行の隣接する画素３２どうしの一方には、その行の水平リセット線２８１が接続され、他方には、水平リセット線２８２が接続される。また、各列の隣接する画素３２どうしの一方には、その画素３２の行の水平リセット線２８１が接続され、他方には、その画素３２の行の水平リセット線２８２が接続される。
　各行の水平リセット線２８１および２８２には、それぞれ、異なるタイミングで垂直走査回路３３からリセット信号が供給される。具体的には、各行の水平リセット線２８１と水平リセット線２８２の一方には、その行の選択線３５に読み出し信号が供給されるより短読み出し間隔だけ前にリセット信号が供給される。また、他方には、その行の選択線３５に読み出し信号が供給されるより長読み出し間隔だけ前にリセット信号が供給される。
　（画素配列の例）
　図２４は、図２３の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
　図２４に示すように、図２３の画素３２のグループは、同一の行で異なっている。例えば、図２４のＡに示すように、画素３２の配列がベイヤ配列である場合、水平方向と垂直方向に並ぶ、赤色の画素３２どうしおよび青色の画素３２どうしのグループが異なり、各行の緑色の画素３２のグループが同一であるようにされる。
　また、図２４のＢに示すように、画素３２の配列が、４×４画素ごとに同一の色の画素３２となる配列である場合、または、図２４のＣに示すように、４×４画素のうちの左下の画素３２の色が赤色または青色であり、残りの３つの画素３２の色が緑色である配列である場合、水平方向および垂直方向に隣接する画素３２どうしのグループが異なるようにされる。
　なお、第８実施の形態の画像処理装置は、イメージセンサ１１をイメージセンサ２８０に代えたものであるが、画素３２の配列が図２４のＣに示したように緑色の画素の密度が高い配列であり、各グループの読み出し間隔が図４のＡ乃至図４のＣに示したように時間によらず一定である場合、画像生成部１３の構成を代えることもできる。
　（画像生成部の構成例）
　図２５は、このような場合の画像生成部１３の構成例を示すブロック図である。
　図２５に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２５の画像生成部１３は、ゲイン乗算部５１、平滑化部７２、補間部３０１、および相関部３０２により構成される。画像生成部１３は、チャネル間相関を利用して、長蓄画素の撮像信号と短蓄画素の撮像信号から、短蓄画素の両読み出し間隔撮像信号を生成する。
　具体的には、画像生成部１３は、図２３のイメージセンサ２８０から供給される長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として出力する。
　画像生成部１３の補間部３０１は、通過帯の広いLPFを用いて、イメージセンサ２８０から供給される長蓄画素である緑色の画素の撮像信号に対してフィルタ処理を行い、高周波の撮像信号G_Hを生成する。
　補間部３０１はまた、通過帯の狭いLPFを用いて、イメージセンサ２８０から供給される長蓄画素である緑色の画素の撮像信号に対してフィルタ処理を行い、低周波の撮像信号G_Lを生成する。補間部３０１は、高周波の撮像信号G_Hと低周波の撮像信号G_Lを相関部３０２に供給する。
　相関部３０２は、平滑化部７２により平滑化された低周波の短蓄画素の撮像信号のうちの赤色の画素の撮像信号R_Lと、補間部３０１から供給される撮像信号G_Hおよび撮像信号G_Lとを用いて、以下の式（１）により、高周波の赤色の画素の撮像信号R_Hを得る。相関部３０２は、撮像信号R_Hと撮像信号R_Lを合成し、その結果得られる撮像信号を、赤色の短蓄画素の両読み出し間隔撮像信号として出力する。
Figure JPOXMLDOC01-appb-M000001
　また、相関部３０２は、平滑化部７２により平滑化された低周波の短蓄画素の撮像信号のうちの青色の画素の撮像信号B_Lと、撮像信号G_Hおよび撮像信号G_Lとを用いて、撮像信号R_Hと同様に、高周波の青色の画素の撮像信号B_Hを得る。相関部３０２は、撮像信号B_Hと撮像信号B_Lを合成し、その結果得られる撮像信号を、青色の短蓄画素の両読み出し間隔撮像信号として出力する。
　さらに、相関部３０２は、平滑化部７２により平滑化された緑色の短蓄画素の撮像信号を、緑色の短蓄画素の両読み出し間隔撮像信号として出力する。
　第８実施の形態の画像処理装置の画像処理は、図１１の画像処理装置と同様であるので、説明は省略する。
　なお、第８実施の形態の画像処理装置では、第１実施の形態におけるイメージセンサ１１がイメージセンサ２８０に代えられたが、第２乃至第７実施の形態におけるイメージセンサ１１がイメージセンサ２８０に代えられるようにしてもよい。
　＜第９実施の形態＞
　（画像処理装置の第９実施の形態の構成例）
　図２６は、本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。
　図２６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２６の画像処理装置３２０の構成は、イメージセンサ１１がイメージセンサ３２１に代わる点、画像生成部１３が画像生成部３２２に代わる点、およびフレームメモリ１２が設けられない点が、図１の画像処理装置１０の構成と異なる。画像処理装置３２０では、画素３２が３つ以上のグループに分けられており、垂直同期期間ごとに、短蓄画素と長蓄画素の両方の撮像信号が読み出される。
　具体的には、画像処理装置３２０のイメージセンサ３２１は、複数の画素３２を有し、各画素３２は、その画素３２の撮像信号の読み出し間隔の時刻に応じた変化のパターンに応じて３つ以上のグループに分類される。
　なお、各グループのパターンは、垂直同期期間ごとに、少なくとも１つのグループの長蓄画素の撮像信号の読み出しタイミングが発生するように決定されている。従って、垂直同期期間ごとに、イメージセンサ３２１から、少なくとも１つのグループの短蓄画素の撮像信号と、他の少なくとも１つのグループの長蓄画素の撮像信号とが読み出される。よって、長蓄画素の撮像信号をフレームメモリ１２に保持させる必要がない。
　イメージセンサ３２１は、少なくとも１つのグループに分類された長蓄画素の撮像信号を、長読み出し間隔で読み出し、画像生成部３２２と合成比率計算部１５に供給する。また、イメージセンサ３２１は、他の少なくとも１つのグループに分類された短蓄画素の撮像信号を、短読み出し間隔で読み出し、画像生成部３２２、画素補間部１４、および合成比率計算部１５に供給する。
　画像生成部３２２の構成は、長蓄画素の撮像信号がイメージセンサ３２１からのみ供給される点を除いて、図７の画像生成部１３の構成と同様である。画像生成部３２２は、垂直同期期間ごとに、イメージセンサ３２１から供給される短蓄画素の撮像信号と長蓄画素の撮像信号を用いて、全画素の撮像信号を生成する。画像生成部３２２は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１６に供給する。
　（各グループの読み出し間隔の例）
　図２７は、図２６の各グループの画素３２の読み出し間隔の例を示す図である。
　図２７のＡの例では、画素３２は、第１乃至第３のグループに分類される。各グループの画素３２は、短蓄画素と長蓄画素に交互になり、長読み出し間隔は、垂直同期期間の２倍である。また、第１乃至第３のグループのうちの１つのグループの画素３２において、長読み出し間隔の前半の垂直同期期間であるとき、もう１つのグループの画素３２においては長読み出し間隔の後半の垂直同期期間であり、残りの１つのグループの画素３２においては短読み出し間隔である。従って、垂直同期期間ごとに、第１乃至第３のグループの長蓄画素の撮像信号が順に読み出される。
　図２７のＢの例では、画素３２は、第１乃至第４のグループに分類される。各グループの画素３２は、２回短蓄画素になった後、長蓄画素になることを繰り返し、長読み出し間隔は、垂直同期期間の２倍である。また、第１乃至第４のグループのうちの１つのグループの画素３２において、長読み出し間隔の前半の垂直同期期間であるとき、もう１つのグループの画素３２においては長読み出し間隔の後半の垂直同期期間であり、残りの２つのグループの画素３２においては短読み出し間隔である。従って、垂直同期期間ごとに、第１乃至第４のグループの長蓄画素の撮像信号が順に読み出される。
　図２６の画像処理画像処理装置３２０の画像処理は、ステップＳ１２，Ｓ１４、およびＳ１５の処理が行われず、ステップＳ１６で両読み出し間隔撮像信号の生成にイメージセンサ３２１から読み出された長蓄画素の撮像信号が用いられる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
　＜第１０実施の形態＞
　（画像処理装置の第１０実施の形態の構成例）
　図２８は、本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。
　図２８に示す構成のうち、図２６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２８の画像処理装置３４０の構成は、ノイズ低減部３４１が新たに設けられる点が、図２６の画像処理装置３２０の構成と異なる。画像処理装置３４０は、図１４の画像処理装置１７０と同様に、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。
　具体的には、画像処理装置３４０のノイズ低減部３４１の構成は、長蓄画素の撮像信号がイメージセンサ３２１から供給される点を除いて、図１４のノイズ低減部１７１の構成と同様である。ノイズ低減部３４１によるノイズ低減後の長蓄画素の撮像信号は、画像生成部３２２と合成比率計算部１５に供給される。また、ノイズ低減部３４１によるノイズ低減後の短蓄画素の撮像信号は、画像生成部３２２、合成比率計算部１５、および画素補間部１４に供給される。
　画像処理装置３４０の画像処理は、以下の点を除いて、図２６の画像処理装置３２０の画像処理と同様である。即ち、画像処理装置３４０の画像処理は、ステップＳ１１とＳ１３の間でノイズ低減部３４１により短蓄画素の撮像信号に対してノイズ低減が行われる点が、画像処理装置３２０の画像処理と異なっている。また、画像処理装置３４０の画像処理は、ステップＳ１３とＳ１６の間で、ノイズ低減部３４１により長蓄画素の撮像信号のノイズ低減が行われる点が、画像処理装置３２０の画像処理と異なっている。
　なお、ノイズ低減部３４１は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。
　＜第１１実施の形態＞
　（画像処理装置の第１１実施の形態の構成例）
　図２９は、本開示を適用した画像処理装置の第１１実施の形態の構成例を示すブロック図である。
　図２９に示す構成のうち、図１５や図２６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２９の画像処理装置３６０の構成は、ノイズ低減部１９１とノイズ低減部１９２が設けられる点が、図２６の画像処理装置３２０の構成と異なる。画像処理装置３６０は、図１５の画像処理装置１９０と同様に、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。
　画像処理装置３６０の画像処理は、ステップＳ１７とステップＳ１８の間で、ノイズ低減部１９１とノイズ低減部１９２によるノイズ低減が行われる点を除いて、図２６の画像処理画像処理装置３２０の画像処理と同様であるので、説明は省略する。
　なお、画像処理装置３６０は、ノイズ低減部３４１を備えるようにしてもよい。また、第９乃至第１１実施の形態では、フレームメモリ１２が設けられなかったが、フレームメモリ１２が設けられるようにしてもよい。この場合、画像生成部３２２は、フレームメモリ１２を介してイメージセンサ３２１から長蓄画素の撮像信号が供給される。
　＜画像処理装置の形態＞
　図３０は、上述した画像処理装置を半導体基板（チップ）に形成した場合の半導体基板の構成を示す図である。
　図３０のＡおよび図３０のＢに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、回路３８１により実現される。この回路３８１は、例えば、図３０のＡに示すように、イメージセンサ１１（３２１）と同一の半導体基板３８２に形成される。または、図３０のＢに示すように、積層される半導体基板３８３と半導体基板３８４のうちの、イメージセンサ１１（３２１）が形成されない半導体基板３８４に形成される。
　また、図３０のＣに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、イメージセンサ１１（３２１）が形成される半導体基板３８３の後段のDSP(Digital Signal Processing)３８６により実現することもできる。
　また、図３０のＤおよび図３０のＥに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、回路３８８とDSP３８９により実現することもできる。この場合、図３０のＤに示すように、回路３８８は、イメージセンサ１１（３２１）と同一の半導体基板３８７に形成され、DSP３８９は、半導体基板３８７の後段に設けられる。または、図３０のＥに示すように、回路３８８は、積層される半導体基板３８３と半導体基板３９０のうちの、イメージセンサ１１（３２１）が形成されない半導体基板３９０に形成され、DSP３８９は、積層される半導体基板３８７と半導体基板３９０の後段に設けられる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、画素３２の露光長の種類は３以上であってもよい。この場合、第９実施の形態においても、各画素３２の読み出し間隔を常に一定にするようにしてもよい。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、
　前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部と
　を備える画像処理装置。
　（２）
　前記複数の画素のうちの所定の前記画素は、常に前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素であり、前記所定の画素以外の画素は、常に前記長蓄画素である
　ように構成された
　前記（１）に記載の画像処理装置。
　（３）
　前記画素の前記読み出し間隔は時刻に応じて変化する
　ように構成された
　前記（１）に記載の画像処理装置。
　（４）
　前記複数の画素は、前記画素の前記読み出し間隔の時刻に応じた変化のパターンに応じて複数のグループに分類される
　ように構成された
　前記（３）に記載の画像処理装置。
　（５）
　全ての前記グループに分類された前記画素の前記読み出し間隔の変化タイミングは同一である
　ように構成された
　前記（４）に記載の画像処理装置。
　（６）
　全ての前記グループに分類された前記画素の前記読み出し間隔は、前記垂直同期期間の前記第１の倍数と前記垂直同期期間の前記第２の倍数の一方から他方へ交互に変化する
　ように構成された
　前記（４）に記載の画像処理装置。
　（７）
　前記複数の画素のうちの前記長蓄画素の前記撮像信号と、前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素の前記撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
　前記複数の画素のうちの前記短蓄画素の前記撮像信号を補間し、前記複数の画素の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
　前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
　をさらに備える
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）
　前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とに基づいて、前記合成部による合成の比率を計算する合成比率計算部
　をさらに備える
　前記（７）に記載の画像処理装置。
　（９）
　前記合成比率計算部は、前記画像生成部により合成される前記長蓄画素の前記撮像信号、前記保持部により保持された、その撮像信号の直前の同一の長蓄画素の前記撮像信号、および前記短蓄画素の前記撮像信号に基づいて、前記合成の比率を計算する
　ように構成された
　前記（８）に記載の画像処理装置。
　（１０）
　前記保持部は、前記合成比率計算部により計算された前記合成の比率を保持し、
　前記合成部は、前記保持部により保持された前記合成の比率で、前記両読み出し間隔撮像信号と前記短読み出し間隔撮像信号とを合成する
　ように構成された
　前記（９）に記載の画像処理装置。
　（１１）
　前記画像生成部は、前記保持部により保持された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
　ように構成された
　前記（７）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）
　前記保持部により保持された前記長蓄画素の前記撮像信号の動き補償を行う動き補償部
　をさらに備え、
　前記画像生成部は、前記動き補償部による前記動き補償後の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
　ように構成された
　前記（１１）に記載の画像処理装置。
　（１３）
　前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号の動きぼけを補正する動きぼけ補正部
　をさらに備え、
　前記画像生成部は、前記動きぼけ補正部により前記動きぼけが補正された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
　ように構成された
　前記（７）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）
　前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号に対して、それぞれ、異なる強度でノイズ低減を行うノイズ低減部
　をさらに備え、
　前記画像生成部は、前記ノイズ低減部による前記ノイズ低減後の前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とを合成する
　ように構成された
　前記（７）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）
　前記画像生成部により生成された前記両読み出し間隔撮像信号に対して、第１の強度でノイズ低減を行う両読み出し間隔ノイズ低減部と、
　前記画素補間部により生成された前記短読み出し間隔撮像信号に対して、前記第１の強度とは異なる第２の強度でノイズ低減を行う短読み出し間隔ノイズ低減部と
　をさらに備え、
　前記合成部は、前記両読み出し間隔ノイズ低減部による前記ノイズ低減後の前記両読み出し間隔撮像信号と、前記短読み出し間隔ノイズ低減部による前記ノイズ低減後の前記短読み出し間隔撮像信号とを合成する
　ように構成された
　前記（７）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）
　複数の画素を有する画像処理装置が、
　垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、前記画素から撮像信号を読み出す読み出しステップと、
　前記読み出しステップの処理により、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号を保持する保持ステップと
　を含む画像処理方法。
　１０　画像処理装置，　１２　フレームメモリ，　１３　画像生成部，　１４　画素補間部，　１５　合成比率計算部，　１６　合成部，　３２　画素，　１３０　画像処理装置，　１３１　動き補償部，　１５０　画像処理装置，　１５１　動きぼけ補正部，　１７０　画像処理装置，　１７１　ノイズ低減部，　１９０　画像処理装置，　１９１，１９２　ノイズ低減部

Claims (16)

  1. 　撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、
    　前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部と
    　を備える画像処理装置。
  2. 　前記複数の画素のうちの所定の前記画素は、常に前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素であり、前記所定の画素以外の画素は、常に前記長蓄画素である
    　ように構成された
    　請求項１に記載の画像処理装置。
  3. 　前記画素の前記読み出し間隔は時刻に応じて変化する
    　ように構成された
    　請求項１に記載の画像処理装置。
  4. 　前記複数の画素は、前記画素の前記読み出し間隔の時刻に応じた変化のパターンに応じて複数のグループに分類される
    　ように構成された
    　請求項３に記載の画像処理装置。
  5. 　全ての前記グループに分類された前記画素の前記読み出し間隔の変化タイミングは同一である
    　ように構成された
    　請求項４に記載の画像処理装置。
  6. 　全ての前記グループに分類された前記画素の前記読み出し間隔は、前記垂直同期期間の前記第１の倍数と前記垂直同期期間の前記第２の倍数の一方から他方へ交互に変化する
    　ように構成された
    　請求項４に記載の画像処理装置。
  7. 　前記複数の画素のうちの前記長蓄画素の前記撮像信号と、前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素の前記撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
    　前記複数の画素のうちの前記短蓄画素の前記撮像信号を補間し、前記複数の画素の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
    　前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
    　をさらに備える
    　請求項１に記載の画像処理装置。
  8. 　前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とに基づいて、前記合成部による合成の比率を計算する合成比率計算部
    　をさらに備える
    　請求項７に記載の画像処理装置。
  9. 　前記合成比率計算部は、前記画像生成部により合成される前記長蓄画素の前記撮像信号、前記保持部により保持された、その撮像信号の直前の同一の長蓄画素の前記撮像信号、および前記短蓄画素の前記撮像信号に基づいて、前記合成の比率を計算する
    　ように構成された
    　請求項８に記載の画像処理装置。
  10. 　前記保持部は、前記合成比率計算部により計算された前記合成の比率を保持し、
    　前記合成部は、前記保持部により保持された前記合成の比率で、前記両読み出し間隔撮像信号と前記短読み出し間隔撮像信号とを合成する
    　ように構成された
    　請求項９に記載の画像処理装置。
  11. 　前記画像生成部は、前記保持部により保持された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
    　ように構成された
    　請求項７に記載の画像処理装置。
  12. 　前記保持部により保持された前記長蓄画素の前記撮像信号の動き補償を行う動き補償部
    　をさらに備え、
    　前記画像生成部は、前記動き補償部による前記動き補償後の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
    　ように構成された
    　請求項１１に記載の画像処理装置。
  13. 　前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号の動きぼけを補正する動きぼけ補正部
    　をさらに備え、
    　前記画像生成部は、前記動きぼけ補正部により前記動きぼけが補正された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
    　ように構成された
    　請求項７に記載の画像処理装置。
  14. 　前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号に対して、それぞれ、異なる強度でノイズ低減を行うノイズ低減部
    　をさらに備え、
    　前記画像生成部は、前記ノイズ低減部による前記ノイズ低減後の前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とを合成する
    　ように構成された
    　請求項７に記載の画像処理装置。
  15. 　前記画像生成部により生成された前記両読み出し間隔撮像信号に対して、第１の強度でノイズ低減を行う両読み出し間隔ノイズ低減部と、
    　前記画素補間部により生成された前記短読み出し間隔撮像信号に対して、前記第１の強度とは異なる第２の強度でノイズ低減を行う短読み出し間隔ノイズ低減部と
    　をさらに備え、
    　前記合成部は、前記両読み出し間隔ノイズ低減部による前記ノイズ低減後の前記両読み出し間隔撮像信号と、前記短読み出し間隔ノイズ低減部による前記ノイズ低減後の前記短読み出し間隔撮像信号とを合成する
    　ように構成された
    　請求項７に記載の画像処理装置。
  16. 　複数の画素を有する画像処理装置が、
    　垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、前記画素から撮像信号を読み出す読み出しステップと、
    　前記読み出しステップの処理により、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号を保持する保持ステップと
    　を含む画像処理方法。
PCT/JP2015/068967 2014-07-15 2015-07-01 画像処理装置および画像処理方法 WO2016009837A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/322,741 US10091442B2 (en) 2014-07-15 2015-07-01 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014144773A JP2016021689A (ja) 2014-07-15 2014-07-15 画像処理装置および画像処理方法
JP2014-144773 2014-07-15

Publications (1)

Publication Number Publication Date
WO2016009837A1 true WO2016009837A1 (ja) 2016-01-21

Family

ID=55078335

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/068967 WO2016009837A1 (ja) 2014-07-15 2015-07-01 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US10091442B2 (ja)
JP (1) JP2016021689A (ja)
WO (1) WO2016009837A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3247102B1 (en) * 2016-05-16 2018-08-01 Axis AB Method and device in a camera network system
JP6697684B2 (ja) * 2016-10-13 2020-05-27 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
US20230105527A1 (en) * 2021-10-05 2023-04-06 Meta Platforms Technologies, Llc Noise-reduction circuit for an image sensor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174000A (ja) * 1996-12-10 1998-06-26 Canon Inc 撮像装置
JP2001061106A (ja) * 1999-08-19 2001-03-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2011061514A (ja) * 2009-09-10 2011-03-24 Fujifilm Corp 撮像装置及び撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174000A (ja) * 1996-12-10 1998-06-26 Canon Inc 撮像装置
JP2001061106A (ja) * 1999-08-19 2001-03-06 Matsushita Electric Ind Co Ltd 撮像装置
JP2011061514A (ja) * 2009-09-10 2011-03-24 Fujifilm Corp 撮像装置及び撮像方法

Also Published As

Publication number Publication date
US20170142354A1 (en) 2017-05-18
US10091442B2 (en) 2018-10-02
JP2016021689A (ja) 2016-02-04

Similar Documents

Publication Publication Date Title
US9560290B2 (en) Image processing including image correction
KR102254994B1 (ko) 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램
JP5935876B2 (ja) 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
JP4806476B2 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
JP4480760B2 (ja) 画像データ処理方法および画像処理装置
JP5677040B2 (ja) 画像処理装置およびその制御方法
CN102629976B (zh) 图像处理设备和图像处理设备的控制方法
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP2008067372A (ja) 映像生成装置及び方法
JP6326180B1 (ja) 画像処理装置
KR20120102509A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP2007221423A (ja) 撮像装置
WO2012081175A1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2019092844A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
WO2016009837A1 (ja) 画像処理装置および画像処理方法
WO2019008693A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP5649927B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
WO2016167140A1 (ja) 撮像装置、撮像方法、並びにプログラム
JP6449320B2 (ja) 撮像装置
JP2017098784A (ja) 画像処理装置および画像処理方法
JP2008072428A (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JPH0779372A (ja) 電子カメラ装置
JP2015103151A (ja) 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15821885

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15322741

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15821885

Country of ref document: EP

Kind code of ref document: A1