WO2017122394A1 - 撮像制御装置、および撮像装置 - Google Patents

撮像制御装置、および撮像装置 Download PDF

Info

Publication number
WO2017122394A1
WO2017122394A1 PCT/JP2016/079434 JP2016079434W WO2017122394A1 WO 2017122394 A1 WO2017122394 A1 WO 2017122394A1 JP 2016079434 W JP2016079434 W JP 2016079434W WO 2017122394 A1 WO2017122394 A1 WO 2017122394A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
pixel group
pixel
unit
readout interval
Prior art date
Application number
PCT/JP2016/079434
Other languages
English (en)
French (fr)
Inventor
康宣 人見
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2017122394A1 publication Critical patent/WO2017122394A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise

Definitions

  • the present disclosure relates to an imaging control device and an imaging device.
  • the 3DNR process includes a process of reducing random noise by performing a weighted average of an image of a past frame and an image of a current frame in a still subject region. Therefore, when 3DNR processing is used for a moving subject area, there is a risk that image quality degradation such as tailing may occur in the captured image. Therefore, moving subject determination is performed on the captured image, and a weighted average is performed on the moving subject area. It is desirable not to break. However, since it is difficult to determine a moving subject and noise with high accuracy under strong noise in a dark place, the still subject region is determined to be a moving subject region, and the SN ratio may not be sufficiently improved.
  • the present disclosure proposes a new and improved imaging control apparatus and imaging apparatus that can further improve the S / N ratio of a moving image in a dark place.
  • the first pixel group includes an imaging control unit that controls imaging so that the readout interval of the imaging signal of the first pixel group is different from the readout interval of the imaging signal of the second pixel group.
  • An imaging control apparatus is provided in which the imaging signal readout interval or the imaging signal readout interval of the second pixel group changes according to illuminance.
  • a plurality of pixels including the first pixel group and the second pixel group, an imaging signal readout interval of the first pixel group, and readout of the imaging signal of the second pixel group
  • An imaging control unit that controls imaging so that the interval differs, and the readout interval of the imaging signal of the first pixel group or the readout interval of the imaging signal of the second pixel group varies depending on illuminance
  • An imaging device is provided.
  • the SN ratio of a moving image in a dark place can be further improved.
  • FIG. 2 is a block diagram of the imaging apparatus 1 for explaining the configuration of an image processing unit.
  • FIG. 2 is a diagram illustrating a configuration example of an image sensor 11.
  • FIG. 3 is a diagram illustrating an example of an array of pixels 32 arranged in a pixel array unit 31.
  • FIG. 3 is a block diagram illustrating a first configuration example of an image generation unit 131.
  • FIG. 6 is a block diagram illustrating a second configuration example of an image generation unit 131.
  • FIG. 12 is a block diagram illustrating a third configuration example of the image generation unit 131.
  • FIG. 6 is a block diagram illustrating a first configuration example of a composition ratio calculation unit 133.
  • FIG. It is a figure which shows the example of the ratio of both reading interval imaging signals among the synthetic
  • FIG. 10 is a block diagram illustrating a second configuration example of a composition ratio calculation unit 133. It is a flowchart for demonstrating the process of the imaging device 1 which concerns on the embodiment. It is explanatory drawing which shows the example of exposure control in case the frame rate of the pixel group B is set so that it may change continuously according to illumination intensity. It is a block diagram of imaging device 2 provided with other examples of composition of an image processing part.
  • imaging device 3 It is a block diagram of imaging device 3 provided with other example of composition of an image processing part. It is a block diagram of imaging device 4 provided with other example of composition of an image processing part. It is a block diagram of imaging device 5 provided with other example of composition of an image processing part. It is a block diagram of imaging device 6 provided with other example of composition of an image processing part. 3 is a block diagram illustrating a configuration example of a composition ratio calculation unit 212.
  • FIG. It is a block diagram of the imaging device 7 provided with the further another structural example of an image process part.
  • FIG. 11 is a flowchart for explaining processing of the imaging apparatus 7. It is a block diagram showing other examples of composition of an image sensor concerning this indication.
  • FIG. 3 is a diagram illustrating an example of an array of pixels 32 arranged in a pixel array unit 31.
  • FIG. It is explanatory drawing which shows the structural example of the imaging system which concerns on the modification 4. It is a figure which shows the structure of the semiconductor substrate at the time of forming an imaging device in a semiconductor substrate (chip). It is explanatory drawing which shows an example of the hardware constitutions of the imaging control apparatus.
  • elements having substantially the same functional configuration may be distinguished by attaching different alphabets after the same reference numerals.
  • elements having substantially the same functional configuration may be distinguished by attaching different alphabets after the same reference numerals.
  • only the same reference numerals are given.
  • exposure control is performed so that the image is captured with appropriate exposure.
  • exposure control is conceivable in which exposure parameters including an analog gain and an exposure period are dynamically set, and pixel driving is controlled according to the settings.
  • exposure control will be described as a comparative example according to the present disclosure.
  • FIG. 6 is an explanatory diagram schematically showing exposure control according to a comparative example of the present disclosure.
  • the horizontal axis represents illuminance.
  • the vertical axis of the graph G11 indicates the frame rate
  • the vertical axis of the graph G12 indicates the analog gain
  • the vertical axis of the graph G13 indicates the exposure period
  • the vertical axis of the graph G14 indicates the image luminance level.
  • the image brightness level may be an average value of the brightness levels of the entire image, for example.
  • the frame rate when the imaging apparatus according to the comparative example performs moving image shooting is constant regardless of the illuminance.
  • the imaging device sets the exposure parameter so that the analog gain and the exposure period change according to the illuminance.
  • the analog gain may be increased and the exposure period may be set larger.
  • the imaging device according to the comparative example is based on an average pixel value level (hereinafter, also simply referred to as a pixel value level) of an image obtained from all or part of a pixel group included in an image sensor included in the imaging device.
  • the illuminance may be specified.
  • the illuminance may be obtained by dividing the pixel value level by the product of the exposure period and the analog gain.
  • the imaging device according to the comparative example may set the analog gain and the exposure period so that the analog gain and the exposure period are as shown in the graphs G12 and G13 according to the illuminance.
  • the imaging apparatus performs the setting according to a pre-designed table indicating the relationship between illuminance and analog gain, and a table indicating the relationship between illuminance and exposure period, as in graphs G12 and G13.
  • An analog gain and an exposure period may be realized.
  • the imaging device has an evaluation result obtained by comparing the pixel value level of an image obtained from all or some of the pixel groups included in the image sensor with the target pixel value level as a target.
  • the analog gain and exposure period may be set according to the above.
  • the imaging apparatus may set the analog gain and the exposure period according to a predesigned table indicating the relationship between the evaluation result and the analog gain, and the table indicating the relationship between the evaluation result and the exposure period. Good. Even in such a case, the analog gain and the exposure period as in the graphs G12 and G13 can be realized.
  • the target pixel value level may be achieved.
  • the analog gain has a maximum value that depends on the specifications of the imaging device. For example, as shown in the graph G12, the analog gain reaches the maximum value at the illuminance L14, and the analog gain can be set to the maximum value even when the illuminance is lower than the illuminance L14.
  • the exposure period has a maximum value that depends on the frame rate.
  • the imaging apparatus according to the comparative example has an imaging signal readout interval (hereinafter also simply referred to as a readout interval) T seconds that is the reciprocal of the frame rate.
  • T seconds an imaging signal readout interval
  • the exposure period reaches the maximum value at the illuminance L13, and the exposure period can be set to the maximum value even when the illuminance is lower than the illuminance L13.
  • the analog gain and the exposure period in a dark place where the illuminance is lower than the illuminance (illuminance L14 in FIG. 1) in which both reach the maximum value. are set to their maximum values.
  • the target pixel value level cannot be achieved even if both the analog gain and the exposure period are set to the maximum values.
  • the graph G14 at the illuminance lower than the illuminance L14, the image luminance level of the acquired image decreases as the illuminance decreases. In such a case, it is possible to apply a digital gain to the image in order to maintain the image luminance level, but noise increases and the SN ratio decreases according to the magnitude of the digital gain.
  • the present embodiment has been created with the above circumstances in mind. According to the present embodiment, it is possible to further improve the SN ratio of a moving image in a dark place by changing the frame rate of at least some of the pixels (group) among the pixels of the image sensor according to the illuminance. It is.
  • an outline of an embodiment of the present disclosure having such effects will be described with reference to FIG.
  • the imaging apparatus according to the present embodiment may control the imaging signal readout interval to change according to the illuminance.
  • the exposure period is equal to or shorter than the readout interval of the imaging signal, for example, in a dark place where illuminance is low, by setting the readout interval of the imaging signal to be large, a large exposure period is set. Is possible.
  • the imaging apparatus according to the present embodiment can easily maintain the image luminance level in a dark place and can further improve the SN ratio, compared to the imaging apparatus according to the comparative example described with reference to FIG. It is.
  • the readout interval of the imaging signal may be controlled to be different for each pixel group, and the readout interval related to at least one pixel group.
  • control may be performed so as to change according to illuminance.
  • the reading interval of the imaging signal of the first pixel group is controlled to be different from the reading interval of the imaging signal of the second pixel group, and the reading interval of the imaging signal of the first pixel group changes according to the illuminance. May be.
  • each of the first pixel group and the second pixel group may include a plurality of pixels, and may be configured to be exposed in different exposure periods.
  • the readout interval and the exposure period related to the second pixel group are made larger than those in the comparative example described above, whereby the image luminance level of the image obtained from the second pixel group is increased. Can be increased. Further, by making the readout interval and the exposure period related to the first pixel group the same as in the comparative example described above, the image obtained from the first pixel group is less likely to cause motion blur. Then, by synthesizing the image obtained from the first pixel group and the image obtained from the second pixel group, motion blur hardly occurs and an image with a high image luminance level can be acquired. This synthesis will be described later.
  • FIG. 5 is an explanatory view schematically showing an example of exposure control according to the present embodiment.
  • the horizontal axis represents the illuminance.
  • the illuminance L21 to illuminance L24 in FIG. 2 correspond to the illuminance L11 to illuminance L14 in FIG. 1, respectively.
  • the vertical axis of the graph G11 represents the frame rate
  • the vertical axis of the graph G12 represents the analog gain
  • the vertical axis of the graph G13 represents the exposure period
  • the vertical axis of the graph G14 represents the image.
  • the brightness level is shown.
  • the imaging apparatus may vary the readout interval (reciprocal of the frame rate) of the imaging signal for each pixel group, that is, may set a different frame rate for each pixel group. .
  • the imaging apparatus may set the frame rate of the pixel group A to be constant and the frame rate of the pixel group B to change according to the illuminance as illustrated in the graph G21. Good.
  • the frame rate of the pixel group A may be set, for example, such that the readout interval of the imaging signal of the pixel group A is a vertical synchronization period.
  • the frame rate of the pixel group B may be set such that the readout interval of the image pickup signal of the pixel group B is a natural number multiple of the vertical synchronization period.
  • the frame rate of the pixel group B may be set based on a readout interval that can realize an exposure period of the pixel group B described later with reference to the graph G23.
  • the frame rate of the pixel group B has a minimum value that depends on the specifications of the imaging device. For example, as shown in the graph G21, the frame rate of the pixel group B is set to the minimum value in a range smaller than the illuminance L25. Is set.
  • the imaging apparatus sets the exposure parameters so that the analog gain and the exposure period change according to the illuminance, similarly to the imaging apparatus according to the comparative example described with reference to FIG. May be.
  • the analog gain may be set larger and the exposure period may be set larger as the illuminance decreases.
  • An example of analog gain setting by the imaging apparatus according to the present embodiment is the same as the comparative example described with reference to FIG.
  • the imaging apparatus may set a different exposure period for each pixel group.
  • the exposure period of the pixel group A may be set similarly to the comparative example described with reference to FIG.
  • the exposure period of the pixel group B may be longer than the exposure period of the pixel group A at an illuminance lower than the illuminance L24.
  • the exposure period of the pixel group B in the graph G23 is larger than the maximum value of the exposure period of the pixel group A. Set to a large value.
  • the exposure period of the pixel group B is set to the maximum value.
  • the imaging apparatus according to the present embodiment combines an image based on the pixel group A and an image based on the pixel group B. Thus, it is possible to obtain an image with small motion blur and a high luminance level.
  • the image obtained as described above can maintain a constant image luminance level between the illuminance L21 and the illuminance L25 as shown in the graph G24.
  • the illuminance L21 to illuminance L24 in FIG. 2 correspond to the illuminance L11 to illuminance L14 in FIG. 1, respectively.
  • the image luminance level decreases when the illuminance decreases below the illuminance L14.
  • the image luminance level is maintained up to the illuminance L25 smaller than the illuminance L24 corresponding to the illuminance L14. Yes.
  • the imaging apparatus according to the present embodiment has a lower illuminance at which the image brightness level is lower than the imaging apparatus according to the comparative example described with reference to FIG. 1, and suppresses a decrease in the image brightness level in the dark place. It is possible.
  • the imaging apparatus according to the present embodiment can maintain the image luminance level in the illuminance L24 to illuminance L25 without applying a large digital gain to the image. Further, the imaging apparatus according to the present embodiment can further reduce the digital gain applied to the image when the illuminance is lower than the illuminance L25. Therefore, the imaging apparatus according to the present embodiment can further improve the SN ratio of a moving image in a dark place with low illuminance, as compared with the imaging apparatus according to the comparative example described with reference to FIG.
  • the exposure control example according to the present embodiment has been described as an outline of the embodiment of the present disclosure with reference to FIG. Subsequently, in the following, the configuration and operation of the imaging apparatus according to the present embodiment that can realize the above-described exposure control will be sequentially described in more detail.
  • Configuration example >> In the following, first, a configuration example of the imaging apparatus 1 according to the present embodiment will be described with reference to FIG. 3, and then configuration examples of each unit included in the imaging apparatus 1 will be described with reference to FIGS. 4 to 12.
  • the imaging device (imaging control device) 1 includes an image sensor 11, a frame memory 12, an image processing unit 13, and an imaging control unit 14.
  • the image sensor 11 has a plurality of pixels, and the readout interval and exposure period of each pixel are controlled by an imaging control unit 14 described later.
  • the pixels included in the image sensor 11 may be classified into two pixel groups, a pixel group 112A (first pixel group) and a pixel group 112B (second pixel group), as shown in FIG. .
  • the pixel group 112A may correspond to the pixel group A in FIG. 2 and may be controlled so that the imaging signal readout interval of the pixel group 112A is a fixed vertical synchronization period.
  • the pixel group 112B corresponds to the pixel group B in FIG. 2, and the readout interval of the imaging signal of the pixel group 112B may be controlled to change according to the illuminance.
  • the image sensor 11 includes pixel drive units 114A and 114B that drive pixels included in the image sensor 11 according to the control of the imaging control unit 14.
  • the pixel driving unit 114A drives the pixel group 112A
  • the pixel driving unit 114B drives the pixel group 112B.
  • the pixel driving unit 114A and the pixel driving unit 114B may drive the pixels according to the exposure period and the frame rate set by the imaging control unit 14. A detailed configuration example of the image sensor 11 will be described later with reference to FIG.
  • the reading interval of the pixel group 112B (pixel group B) is larger than the reading interval of the pixel group 112A (pixel group A) as in the case where the illuminance is smaller than the illuminance L24 in FIG. Describes an example in which the exposure time is longer than the exposure period of the pixel group 112A. Therefore, hereinafter, the readout interval of the pixel group 112A may be referred to as a short readout interval, and the readout interval of the pixel group 112B may be referred to as a long readout interval.
  • the pixel group 112A read at a short readout interval may be referred to as a short accumulation pixel
  • the pixel group 112B read at a long readout interval may be referred to as a long accumulation pixel.
  • the control example related to the pixel readout interval and the exposure period of the image sensor 11 is not limited to the above, and other examples will be described later.
  • the frame memory 12 functions as a holding unit that holds an imaging signal supplied from the image sensor 11.
  • the frame memory 12 may hold the image signal read from the image sensor 11 at a long read interval for one screen (frame) for each pixel group.
  • the image processing unit 13 performs image processing based on the imaging signal of the pixel group 112A and the imaging signal of the pixel group 112B supplied from the image sensor 11, and outputs the imaging signal obtained as a result of the image processing as a moving image imaging signal. To do.
  • the configuration of the image processing unit 13 will be described later with reference to FIG.
  • the imaging control unit 14 sets (specifies) the exposure parameters (exposure period, analog gain, and frame rate) related to each pixel group included in the image sensor 11, and controls imaging. For example, the imaging control unit 14 may control the pixel driving units 114A and 114B so that the pixel groups 112A and 112B are driven according to the set exposure parameter.
  • the imaging control unit 14 includes a pixel value level evaluation unit 141, an exposure period / analog gain control unit 142, and a frame rate control unit 143.
  • the pixel value level evaluation unit 141 evaluates the pixel value level based on the imaging signals of all the pixels or a part of the pixels of the image sensor 11.
  • the pixel value level evaluation unit 141 may output a ratio between the target pixel value level as a target and the current pixel value level to the exposure period / analog gain control unit 142 as an evaluation result.
  • the exposure period / analog gain control unit 142 sets the exposure period and the analog gain based on the ratio between the target pixel value level obtained by the pixel value level evaluation unit 141 and the current pixel value level.
  • the exposure period / analog gain control unit 142 may set (specify) the analog gain and the exposure period in accordance with a pre-designed table related to analog gain and a table related to exposure period.
  • a pre-designed table related to analog gain and a table related to exposure period As described above, since the illuminance is expressed using the pixel value level, the exposure period, and the analog gain, the above table shows, for example, the analog gain and the exposure period as shown in the graphs G22 and G23 shown in FIG. Can be specified to realize. In addition, with such a configuration, the specified analog gain and the exposure period change according to the illuminance.
  • the exposure period / analog gain control unit 142 outputs the exposure period information of the specified pixel group 112A and pixel group 112B to the frame rate control unit 143.
  • the frame rate control unit 143 identifies the readout interval of the pixel group 112A and the pixel group 112B, and sets the frame rate according to the identified readout interval. For example, the frame rate control unit 143 according to the present embodiment may set the frame rate of the pixel group 112A so that the readout interval of the imaging signal of the pixel group 112A is the vertical synchronization period.
  • the frame rate control unit 143 specifies the readout interval of the pixel group 112B to be larger than the readout interval of the pixel group 112A in a dark place (for example, a range where the illuminance in the graph G21 in FIG. 2 is smaller than the illuminance L24). May be. Further, the frame rate control unit 143 may specify the readout interval of the pixel group 112B so that the readout interval of the pixel group 112B is a natural number multiple of the vertical synchronization period (the readout interval of the pixel group 112A).
  • the frame rate control unit 143 may specify the readout interval of the pixel group 112B based on the exposure period of the pixel group 112B specified by the exposure period / analog gain control unit 142. For example, the frame rate control unit 143 may specify the readout interval of the pixel group 112B so that the readout interval of the pixel group 112B is equal to or longer than the exposure period of the pixel group 112B.
  • the frame rate control unit 143 seems to have the smallest readout interval in which the readout interval of the pixel group 112B is equal to or longer than the exposure period of the pixel group 112B and is a natural number multiple of the vertical synchronization period (the readout interval of the pixel group 112A).
  • the reading interval of the pixel group 112B may be specified.
  • the frame rate control unit 143 selects the smallest natural number n such that the readout interval of the pixel group 112B is equal to or longer than the exposure period of the pixel group 112B and n times the vertical synchronization period, so that the pixel group 112B Can be specified.
  • the exposure period of the pixel group 112B (pixel group B) can be set to increase as the illuminance decreases. Therefore, by specifying the readout interval of the pixel group 112B as described above, the readout interval of the pixel group 112B can be specified such that the readout interval of the pixel group 112B increases as the illuminance decreases.
  • the frame rate control unit 143 may set the frame rates of the pixel group 112A and the pixel group 112B to the reciprocal of the readout interval of the specified pixel group 112A and the pixel group 112B.
  • the imaging device 1 demonstrated the example provided with the image sensor 11 and the imaging control part 14 in FIG. 3, this technique is not limited to the example which concerns.
  • the image sensor 11 and the imaging control unit 14 may not be provided in the same housing.
  • the image sensor 11 and the imaging control unit 14 may be provided by separate devices.
  • an apparatus including the imaging control unit 14 corresponds to an example of an imaging control apparatus.
  • FIG. 1 is a block diagram of the imaging apparatus 1 for explaining the configuration of an image processing unit.
  • FIG. 1 The configurations of the image sensor 11, the frame memory 12, and the imaging control unit 14 illustrated in FIG. 4 have been described with reference to FIG.
  • the image generation unit 131 synthesizes the imaging signal read from the image sensor 11 at the short readout interval and the imaging signal read at the long readout interval for each vertical synchronization period, and An imaging signal is generated.
  • the imaging signal read at the long readout interval used for the generation is supplied from the image sensor 11 or read from the frame memory 12 when not supplied from the image sensor 11. That is, at timings other than the long readout interval, the imaging signal read from the same long accumulation pixel immediately before at the long readout interval is used to generate imaging signals for all pixels.
  • the image generation unit 131 supplies the generated imaging signals of all pixels to the synthesis unit 134 as both readout interval imaging signals.
  • a configuration example of the image generation unit 131 will be described later with reference to FIGS.
  • the pixel interpolation unit 132 interpolates the imaging signals read at the short readout interval supplied from the image sensor 11 to generate the imaging signals for all the pixels, and supplies the imaging signals to the combining unit 134 as the short readout interval imaging signal.
  • the combination ratio calculation unit 133 performs both reading intervals based on the imaging signal read at the short reading interval supplied from the image sensor 11 and the imaging signal read at the long reading interval for each vertical synchronization period. A composite ratio between the imaging signal and the short readout interval imaging signal is calculated. The imaging signal read at the long readout interval used for this calculation is supplied from the image sensor 11 or read from the frame memory 12 when not supplied from the image sensor 11.
  • the composition ratio calculation unit 133 supplies the calculated composition ratio to the composition unit 134.
  • a configuration example of the composition ratio calculation unit 133 will be described later with reference to FIGS.
  • composition ratio calculation unit 133 may calculate the composition ratio at a long readout interval. In this case, the composition ratio calculation unit 133 does not read the imaging signal from the frame memory 12, but based on the imaging signal read at the short readout interval supplied from the image sensor 11 and the imaging signal read at the long readout interval. To calculate the composite ratio.
  • the synthesis unit 134 synthesizes both readout interval imaging signals supplied from the image generation unit 131 and the short readout interval imaging signals supplied from the pixel interpolation unit 132 based on the synthesis ratio supplied from the synthesis ratio calculation unit 133. To do.
  • the combining unit 134 outputs an imaging signal obtained as a result of the combining as a moving image imaging signal.
  • the image sensor 11 includes a pixel array unit 31 including a plurality of pixels 32, a vertical scanning circuit 33, a horizontal reset line 34, a selection line 35, a vertical signal line 36, and a horizontal scanning circuit 37. Composed. Note that the vertical scanning circuit 33 and the horizontal scanning circuit 37 illustrated in FIG. 5 may function as the pixel driving units 114A and 114B illustrated in FIG.
  • a plurality of pixels 32 classified into the first or second pixel group are arranged in a two-dimensional array (matrix).
  • the pixels 32 are classified into the same pixel group every two rows.
  • the plurality of pixels 32 arranged in a two-dimensional array are connected to the vertical scanning circuit 33 in units of rows by horizontal reset lines 34 and selection lines 35.
  • a plurality of pixels 32 arranged in a two-dimensional array are connected to a horizontal scanning circuit 37 in units of columns by vertical signal lines 36.
  • the vertical scanning circuit 33 sequentially selects each row of the pixels 32 of the pixel array unit 31 and supplies a readout signal for reading the imaging signal to the selection line 35 of the selected row. In response to this readout signal, the pixels 32 in each row output an imaging signal corresponding to the charge accumulated therein to the vertical signal line 36.
  • the vertical scanning circuit 33 resets the horizontal reset lines 34 of the pixels 32 in each row before supplying a readout signal by a short readout interval or a long readout interval corresponding to the pixel group to which the pixels 32 in that row belong.
  • the reset signal is a signal for resetting the charge accumulated in the pixel 32.
  • the pixels 32 in each row reset the charges accumulated therein and start accumulation (exposure) of charges.
  • the horizontal scanning circuit 37 sequentially reads out the imaging signals read from the pixels 32 for one row at a short reading interval and supplied via the vertical signal lines 36, and sequentially generates the image generation unit 131, the pixel interpolation unit 132, FIG. And supplied to the synthesis ratio calculator 133. Further, the horizontal scanning circuit 37 sequentially reads out the imaging signals read from the pixels 32 for one row at a long readout interval and supplied via the vertical signal lines 36, and the frame memory 12 and the image generation unit 131 in FIG. , And the synthesis ratio calculation unit 133.
  • a square represents a pixel
  • R, G, and B attached to the inside of the square represent that the color filters of the pixel are red, green, and blue, respectively.
  • 1 and 2 attached to the inside of the square representing the pixel indicate that the pixel group to which the pixel belongs is the first pixel group and the second pixel group, respectively.
  • FIG. 6 only 8 ⁇ 8 pixels 32 among the pixels 32 arranged in the pixel array unit 31 are illustrated. The same applies to FIG. 24 described later.
  • the array of pixels 32 is a Bayer array.
  • the pixel group to which the pixel 32 of the pixel array unit 31 belongs is different every two rows. Specifically, the pixel group to which the pixels 32 in the first and second rows from the top belong is the second pixel group, and the pixel group to which the pixels 32 in the third and fourth rows belong is the first pixel group. It is a pixel group.
  • the pixel group to which the pixels 32 in the fifth and sixth rows belong is the second pixel group, and the pixel group to which the pixels 32 in the seventh and eighth rows belong is the first pixel group. Therefore, in the example of FIG. 6, for each color, there are pixels 32 classified into the first pixel group and pixels 32 classified into the second pixel group.
  • FIG. 5 is a block diagram illustrating a first configuration example of an image generation unit 131 in FIG. 4.
  • the image generation unit 131 is supplied with an image pickup signal of long accumulation pixels from the image sensor 11 or the frame memory 12 of FIG. 4 for each vertical synchronization period. For each vertical synchronization period, the image generation unit 131 supplies the image signal of the long accumulation pixel to the synthesizing unit 134 as an imaging signal for both readout intervals of the long accumulation pixel.
  • the image generation unit 131 is supplied with an image pickup signal of short accumulation pixels from the image sensor 11 for each vertical synchronization period, and is input to the gain multiplication unit 51.
  • the gain multiplication unit 51 multiplies the input image signal of the short accumulation pixel by a gain corresponding to the ratio of the exposure period of the long accumulation pixel to the short accumulation pixel.
  • the gain multiplication unit 51 supplies the imaging signal of the short accumulation pixel multiplied by the gain to the synthesis unit 134 in FIG. 4 as the both readout interval imaging signal of the short accumulation pixel.
  • FIG. 8 is a block diagram illustrating a second configuration example of the image generation unit 131 in FIG. 4.
  • FIG. 8 is different from the configuration of FIG. 7 in that an edge determination unit 71, a smoothing unit 72, and a synthesis unit 73 are newly provided.
  • the image generation unit 131 of FIG. 8 improves the SN ratio of the both readout interval imaging signals of the short accumulation pixels by smoothing the flattened region of the imaging signal of the short accumulation pixels.
  • the edge determination unit 71 of the image generation unit 131 is supplied from the image sensor 11 and the image signal of the long accumulation pixel supplied from the image sensor 11 or the frame memory 12 in FIG. 4 for each vertical synchronization period.
  • the edge region in the screen is detected based on the image signal of the short accumulation pixel.
  • the edge determination unit 71 supplies edge region information representing the edge region to the synthesis unit 73.
  • the smoothing unit 72 smoothes the image signal of the short accumulation pixel multiplied by the gain by the gain multiplication unit 51 and supplies the smoothed pixel to the synthesis unit 73.
  • the combining unit 73 Based on the edge region information supplied from the edge determination unit 71, the combining unit 73 extracts the image signal of the short accumulation pixel in the edge region from the image accumulation signal of the short accumulation pixel multiplied by the gain by the gain multiplication unit 51. . Further, the synthesizing unit 73 extracts the imaging signal of the short accumulation pixel in the area other than the edge area from the imaging signal of the smoothed short accumulation pixel supplied from the smoothing unit 72 based on the edge area information. The combining unit 73 combines the extracted image signal of the short accumulation pixels in the edge area and the image pickup signal of the short accumulation pixels in the area other than the edge area. The synthesizing unit 73 supplies the image signal of the short accumulation pixel obtained as a result of the synthesis to the synthesizing unit 134 of FIG. 4 as the both readout interval imaging signal of the short accumulation pixel.
  • FIG. 9 is a block diagram illustrating a third configuration example of the image generation unit 131 in FIG. 4.
  • FIG. 9 differs from the configuration of FIG. 7 in that an interpolation unit 91, an interpolation unit 92, and a synthesis unit 93 are newly provided.
  • the image generation unit 131 in FIG. 9 generates an imaging signal with a short readout interval and an imaging signal with a long readout interval by interpolation and synthesizes them at a ratio that maximizes the SN ratio, thereby capturing both readout intervals. Improve signal-to-noise ratio.
  • the interpolation unit 91 of the image generation unit 131 performs an interpolation process on the imaging signal of the long accumulation pixel supplied from the image sensor 11 of FIG. 4 and generates an imaging signal of the long readout interval of all the pixels. To do.
  • the interpolating unit 91 supplies the generated imaging signal of the long readout interval of all the pixels to the synthesizing unit 93.
  • the interpolation unit 92 performs an interpolation process on the imaging signal of the short accumulation pixel multiplied by the gain by the gain multiplication unit 51, and generates an imaging signal having a short readout interval for all the pixels.
  • the interpolating unit 92 supplies the generated imaging signal with a short readout interval for all the pixels to the synthesizing unit 93.
  • the synthesizing unit 93 synthesizes the imaging signal with the long readout interval of all pixels supplied from the interpolation unit 91 and the imaging signal with the short readout interval of all pixels supplied from the interpolation unit 92 at a ratio that maximizes the SN ratio. To do.
  • the ratio of the imaging signal at the long readout interval that maximizes the SN ratio is ⁇ S / ( ⁇ S + ⁇ L).
  • the ratio of the imaging signal at the short readout interval is ⁇ L / ( ⁇ S + ⁇ L).
  • the synthesizing unit 93 supplies the imaging signals of all pixels obtained as a result of the synthesis to the synthesizing unit 134 of FIG. 4 as both readout interval imaging signals.
  • FIG. 10 is a block diagram illustrating a first configuration example of the combination ratio calculation unit 133 illustrated in FIG.
  • a pre-filter 101 includes a pre-filter 101, a pre-filter 102, a difference absolute value calculation unit 103, a noise estimation unit 104, and a threshold processing unit 105.
  • the pre-filter 101 of the composition ratio calculation unit 133 performs a filtering process on the image signal of the long accumulation pixel supplied from the image sensor 11 or the frame memory 12 in FIG. 4 for each vertical synchronization period.
  • This filter process is a process of changing the position of each pixel of the imaging signal to the reference position and suppressing noise in the imaging signal.
  • the pre-filter 101 supplies the image signal of the long accumulation pixel after the filter processing to the difference absolute value calculation unit 103 and the noise estimation unit 104.
  • the pre-filter 102 performs the same filter processing as the pre-filter 101 on the image signal of the short accumulation pixels supplied from the image sensor 11 for each vertical synchronization period.
  • the pre-filter 102 supplies the image signal of the short accumulation pixel after the filter processing to the difference absolute value calculation unit 103.
  • the difference absolute value calculation unit 103 calculates, for each reference position, the absolute difference between the image signal of the long accumulation pixel supplied from the prefilter 101 and the image pickup signal of the short accumulation pixel supplied from the prefilter 102.
  • the difference absolute value calculation unit 103 supplies the difference absolute value of each reference position to the threshold processing unit 105.
  • the noise estimation unit 104 estimates the standard deviation ⁇ of the image signal of the long accumulation pixel as a noise amount based on the image signal of the long accumulation pixel supplied from the pre-filter 101 and supplies it to the threshold processing unit 105.
  • the threshold processing unit 105 determines a threshold used for determination of the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 104. For example, the threshold processing unit 105 determines the standard deviation ⁇ as the first threshold. The threshold processing unit 105 determines the moving subject region using the absolute difference value of each reference position and the first threshold supplied from the differential absolute value calculation unit 103.
  • the threshold processing unit 105 determines whether or not the difference absolute value of each reference position is greater than the first threshold. When the difference absolute value is larger than the first threshold, the threshold processing unit 105 determines that the reference position corresponding to the difference absolute value is a moving subject region, and when the difference absolute value is smaller than the first threshold. Then, it is determined that the reference position corresponding to the difference absolute value is not a moving subject area.
  • the threshold processing unit 105 determines that the absolute difference value is not caused by noise but caused by movement. On the other hand, when the difference absolute value is not greater than the first threshold, the threshold processing unit 105 determines that the difference absolute value is due to noise.
  • the threshold processing unit 105 determines the moving subject region using the imaging signal in which noise is suppressed by the filter processing of the prefilter 101 and the prefilter 102, the determination accuracy is high.
  • the threshold processing unit 105 sets the composition ratio of the pixels corresponding to the reference position determined as the moving subject area by the determination of the moving subject area so that the ratio of the short readout interval imaging signal is increased. Further, the threshold processing unit 105 sets the composition ratio of the pixels corresponding to the reference position determined not to be the moving subject area by the determination of the moving subject area so that the ratio of the two readout interval imaging signals is increased. The threshold processing unit 105 supplies the set composition ratio of each pixel to the composition unit 134 in FIG.
  • the imaging apparatus 1 can output a high-quality moving image imaging signal with less noise and motion blur.
  • FIG. 11 is a diagram illustrating an example of the ratio of both readout interval imaging signals in the combination ratio set by the threshold processing unit 105 in FIG. 10.
  • the horizontal axis represents the difference absolute value calculated by the difference absolute value calculation unit 103 in FIG. 10, and the vertical axis represents the ratio of both readout interval imaging signals.
  • the threshold processing unit 105 displays a pixel corresponding to the reference position.
  • the ratio of both readout interval imaging signals is set to 1, which is the maximum value, for example.
  • the threshold value processing unit 105 sets, for example, a value that is three times the standard deviation ⁇ to the second value. Set to the threshold value.
  • the threshold processing unit 105 determines both of the readout interval imaging signals of the pixels corresponding to the reference position according to a predetermined function.
  • the predetermined function is a function proportional to the absolute difference value, which is 1 when the difference absolute value is the first threshold value and 0 when the difference absolute value is the second threshold value.
  • the ratio of the short readout interval imaging signal is set to a value obtained by subtracting the ratio of both readout interval imaging signals from 1.
  • the threshold processing unit 105 sets the ratio of both readout interval imaging signals of the pixels corresponding to the reference position to 0 which is the minimum value. At this time, the ratio of the short readout interval imaging signal is set to 1.
  • FIG. 12 is a block diagram illustrating a second configuration example of the combination ratio calculation unit 133 in FIG.
  • the composite ratio calculation unit 133 in FIG. 12 sets the ratio of the short readout interval imaging signal to a value larger than 0 when the texture of the subject in the screen is complicated even in a region that is not a moving subject region.
  • the statistic calculation unit 111 of the synthesis ratio calculation unit 133 calculates a statistic such as a dispersion value of the image pickup signal of the long accumulation pixel after the filtering process output from the pre-filter 101 and supplies the statistic to the threshold processing unit 112.
  • the threshold processing unit 112 determines a first threshold used for determination of the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 104. Similar to the threshold processing unit 105, the threshold processing unit 112 determines a moving subject region using the absolute difference value of each reference position supplied from the differential absolute value calculation unit 103 and the first threshold value.
  • the threshold processing unit 112 increases the ratio of the short readout interval imaging signal with respect to the composition ratio of the pixels corresponding to the reference position determined as the moving subject region by the determination of the moving subject region.
  • the second threshold value is used for setting.
  • the threshold processing unit 112 captures the short readout interval of the pixel corresponding to the reference position determined not to be the moving subject region by the determination of the moving subject region.
  • the signal ratio is set to 1 which is the maximum value. At this time, the ratio of the short readout interval imaging signal is set to zero.
  • the image pickup signal of the moving image in the area where the texture of the subject is complicated does not move is affected by both the image pickup signal of the long accumulation pixel and the image accumulation signal of the short accumulation pixel.
  • the image pickup apparatus 1 can improve the image quality of the moving image pickup signal.
  • Example of operation >>
  • the configuration example of the image capturing apparatus 1 according to the present embodiment and each unit included in the image capturing apparatus 1 has been described with reference to FIGS. Subsequently, processing of the imaging apparatus 1 according to the present embodiment will be described below as an operation example according to the present embodiment with reference to FIG.
  • FIG. 13 is a flowchart for explaining the processing of the imaging apparatus 1 according to the present embodiment. The process illustrated in FIG. 13 is repeatedly performed, for example, every vertical synchronization period.
  • step S102 of FIG. 13 the image sensor 11 of the imaging device 1 reads the imaging signal of the short accumulation pixel and supplies it to the image generation unit 131, the pixel interpolation unit 132, and the synthesis ratio calculation unit 133. Then, the image sensor 11 resets the electric charge accumulated in the pixel 32 from which the imaging signal has been read as the short accumulation pixel, and causes the pixel 32 to start exposure again.
  • step S ⁇ b> 104 the image sensor 11 determines whether or not to read the image signal of the long accumulation pixel according to the frame rate set by the imaging control unit 14. For example, when the long readout interval is twice the vertical synchronization period, the image sensor 11 determines not to read the imaging signal of the long accumulation pixel during the first vertical synchronization period of two consecutive vertical synchronization periods. In the final vertical synchronization period, it is determined that the image pickup signal of the long accumulation pixel is read out.
  • step S106 the image sensor 11 reads the image pickup signal for the long accumulation pixel, and the frame memory 12, the image generation unit 131, and the composition ratio calculation unit 133 are read. To supply. Then, the image sensor 11 resets the electric charge accumulated in the pixel 32 from which the imaging signal has been read as the long accumulation pixel, and causes the pixel 32 to start exposure again.
  • step S108 the frame memory 12 holds the image signal of the long accumulation pixel supplied from the image sensor 11, and the process proceeds to step S112.
  • step S110 the image generation unit 131 and the composition ratio calculation unit 133 capture the image signal of the long accumulation pixel held in the frame memory 12. And proceeds to step S112.
  • step S ⁇ b> 112 the image generation unit 131 uses the short accumulation pixel imaging signal supplied from the image sensor 11 and the long accumulation pixel imaging signal supplied from the image sensor 11 or the frame memory 12. An imaging signal is generated and supplied to the synthesis unit 134.
  • step S ⁇ b> 114 the pixel interpolation unit 132 generates a short readout interval imaging signal by interpolating the imaging signal of the short accumulation pixel supplied from the image sensor 11 and supplies the imaging signal to the synthesis unit 134.
  • step S116 the combination ratio calculation unit 133 performs both readings based on the imaging signal of the short accumulation pixel supplied from the image sensor 11 and the imaging signal of the long accumulation pixel supplied from the image sensor 11 or the frame memory 12. A composite ratio between the interval imaging signal and the short readout interval imaging signal is calculated. The composition ratio calculation unit 133 supplies the calculated composition ratio to the composition unit 134.
  • step S ⁇ b> 118 the combining unit 134 captures both readout interval imaging signals supplied from the image generation unit 131 and short readout interval imaging supplied from the pixel interpolation unit 132 based on the combination ratio supplied from the combination ratio calculation unit 133. Synthesize the signal.
  • step S120 the synthesizing unit 134 outputs an imaging signal obtained as a result of the synthesis as a moving image imaging signal.
  • step S122 the pixel value level evaluation unit 141 evaluates the pixel value level obtained based on the imaging signal supplied from the image sensor 11.
  • the pixel value level evaluation unit outputs, for example, a ratio between a target pixel value level as a target and the current pixel value level to the exposure period / analog gain control unit 142 as an evaluation result.
  • step S124 the exposure period / analog gain control unit 142 and the frame rate control unit 143 specify (set) exposure parameters (exposure period, analog gain, and frame rate), and the process ends.
  • the set exposure parameter may be used in step S104 or the like in the next process.
  • the imaging device 1 controls the image sensor 11 having the short accumulation pixels and the long accumulation pixels, the frame memory 12 that holds the imaging signals of the long accumulation pixels, the image processing unit 13 that performs image processing, and the imaging.
  • An imaging control unit 14 is provided. Therefore, the imaging apparatus 1 can perform reading with a reading interval larger than the vertical synchronization period in a dark place with low illuminance, and can perform moving image shooting with an exposure period larger than the vertical synchronization period. Therefore, the SN ratio of the moving image in the dark place can be improved.
  • the frame rate of the pixel group B (second pixel group, long pixel, or pixel group 112B) is such that the readout interval of the imaging signal of the pixel group B is a natural number times the vertical synchronization period.
  • the frame rate of the pixel group B may be set so as to continuously change according to the illuminance.
  • an example of such exposure control will be described as a first modification.
  • FIG. 14 is an explanatory diagram showing an example of exposure control when the frame rate of the pixel group B is set so as to continuously change according to the illuminance in the present technology.
  • the horizontal axis represents illuminance.
  • the illuminances L21 to L25 in FIG. 14 correspond to the illuminances L21 to L25 in FIG. 2, respectively.
  • the vertical axis of the graph G31 represents the frame rate
  • the vertical axis of the graph G32 represents the analog gain
  • the vertical axis of the graph G33 represents the exposure period
  • the vertical axis of the graph G34 Indicates an image luminance level.
  • the imaging apparatus according to this modification may perform exposure control for the pixel group A in the same manner as the exposure control example described with reference to FIG.
  • a graph G32 in FIG. 14 is the same as the graph G22 in FIG. 2, and the imaging apparatus according to this modification may set the analog gain as described with reference to the graph G22 in FIG. .
  • the imaging device may set the frame rate of the pixel group B so as to continuously change according to the illuminance, as shown in the graph G31.
  • the imaging apparatus may set the frame rate of the pixel group B so that the illuminance changes linearly in the range of illuminance L34 to illuminance L35, as shown in the graph G31.
  • the exposure period of the pixel group B is the same as in the case of the graph G23 shown in FIG. Can be set.
  • the graph G34 an image obtained by synthesizing the image based on the pixel group A and the image based on the pixel group B has the same image luminance level as in the case of the graph G24 shown in FIG. It becomes possible. Therefore, according to the present modification, it is possible to further improve the SN ratio while reducing motion blur of a moving image in a dark place with low illuminance.
  • the imaging apparatus determines whether or not to read the imaging signal of the pixel group B (long livestock pixel) in step S104 described with reference to FIG. Regardless of this, it has a function of controlling the long read interval.
  • the imaging control unit 14 described with reference to FIG. 3 may have a function of controlling the long readout interval.
  • FIG. 15 is a block diagram of the imaging apparatus 2 including another configuration example of the image processing unit. Of the configurations shown in FIG. 15, the same configurations as those in FIG. The overlapping description will be omitted as appropriate.
  • the imaging device 2 performs motion compensation that compensates for the spatial phase shift of the imaging signal of the long accumulation pixel read out from the frame memory 12.
  • the motion compensation unit 135 of the imaging device 2 is supplied with an imaging signal of long accumulation pixels read from the frame memory 12.
  • the motion compensation unit 135 performs motion compensation of the image signal of the long accumulation pixel based on a signal representing the motion of the image sensor 11 at the exposure time measured by a gyro sensor (not shown).
  • the motion compensation unit 135 estimates the amount of blur in the image signal of the long accumulation pixel.
  • the motion compensation unit 135 performs translation, rotation, affine transformation, projective transformation, and the like on the image signal of the long accumulation pixel supplied from the frame memory 12 so as to correct the estimated blur amount. Thereby, the spatial phase of the imaging signal of the long accumulation pixel supplied from the frame memory 12 is changed to the actual spatial phase when the imaging signal is read out.
  • the motion compensation unit 135 supplies the image signal of the long accumulation pixel after the motion compensation to the image generation unit 131 and the composition ratio calculation unit 133.
  • the processing performed by the imaging device 2 is the same as the processing of the imaging device 1 described with reference to FIG. 13 except that motion compensation by the motion compensation unit 135 is performed between step S110 and step S112. The description is omitted.
  • the motion compensation unit 135 does not use a signal representing the motion of the image sensor 11 measured by a gyro sensor or the like, but uses a motion vector detected based on imaging signals of long accumulated pixels of a plurality of past frames. The deviation may be compensated.
  • FIG. 16 is a block diagram of the imaging apparatus 3 including still another configuration example of the image processing unit.
  • the same configurations as those in FIG. 15 are denoted by the same reference numerals. The overlapping description will be omitted as appropriate.
  • a motion blur correction unit 136 is newly provided in the image processing unit 22.
  • the imaging device 2 corrects motion blur caused by the movement of the image sensor 11 in the imaging signals of the short accumulation pixels and the long accumulation pixels.
  • the motion blur correction unit 136 of the imaging device 3 calculates a motion blur PSF (Point spread function) based on a signal representing the motion of the image sensor 11 at the exposure time measured by a gyro sensor (not shown).
  • the motion blur correction unit 136 uses the motion blur PSF to capture the image signals of the long accumulation pixels and the short accumulation pixels supplied from the image sensor 11 and the image of the long accumulation pixels supplied from the motion compensation unit 135. Perform motion blur correction on the signal.
  • a method of motion blur correction there are a method of superimposing an inverse transform of a motion blur kernel, a method of applying HPF (High Pass Filter) corresponding to the blur direction, and the like.
  • the motion blur correction unit 136 supplies the image signal of the long accumulation pixel after the motion blur correction to the image generation unit 131 and the composition ratio calculation unit 133. In addition, the motion blur correction unit 136 supplies the image signal of the short accumulation pixel after the motion blur correction to the image generation unit 131, the pixel interpolation unit 132, and the synthesis ratio calculation unit 133.
  • the processing of the imaging device 2 is the imaging device 1 described with reference to FIG. 13 except that the motion blur correction unit 136 performs correction of motion blur between step S108, step S110, and step S112. Since this is the same as the above process, the description is omitted.
  • FIG. 17 is a block diagram of the imaging apparatus 4 including still another configuration example of the image processing unit.
  • the 17 is different from the configuration of the imaging device 1 in FIG. 4 in that a noise reduction unit 137 is newly provided in the image processing unit 23.
  • the imaging device 4 performs noise reduction with different intensities on the imaging signals of the long accumulation pixels and the short accumulation pixels.
  • the noise reduction unit 137 of the imaging device 4 performs LPF (Low Pass Filter) or non-linearity on the imaging signals of the long accumulation pixels and the short accumulation pixels supplied from the image sensor 11 or the frame memory 12. Noise reduction is performed at different intensities using a smoothing technique.
  • the noise reduction intensity difference between the long accumulation pixel and the short accumulation pixel with respect to the image pickup signal is determined based on the exposure length difference between the long accumulation pixel and the short accumulation pixel, the gain difference multiplied by the gain multiplication unit 51, and the like. . Thereby, it is possible to compensate for the difference in noise intensity caused by the difference in exposure length between the long accumulation pixel and the short accumulation pixel and the difference in gain multiplied by the gain multiplication unit 51.
  • the noise reduction unit 137 supplies the image signal of the long accumulation pixel after noise reduction to the frame memory 12 and holds it, and also supplies it to the image generation unit 131 and the composition ratio calculation unit 133. In addition, the noise reduction unit 137 supplies the image signal of the short accumulation pixel after noise reduction to the image generation unit 131, the pixel interpolation unit 132, and the combination ratio calculation unit 133.
  • the processing of the imaging device 4 is the same as the processing of FIG. 13 except for the following points. That is, the process of the imaging device 4 is different from the process of FIG. 13 in that noise reduction is performed on the imaging signal of the short accumulation pixel by the noise reduction unit 137 between step S102 and step S104. Further, the processing of the imaging device 4 is different from the processing of FIG. 13 in that the noise reduction unit 137 performs noise reduction of the imaging signal of the long accumulation pixel between steps S106 and S108 and between steps S110 and S112. ing.
  • the noise reduction unit 137 may perform noise reduction with the same intensity on the imaging signals of both the long accumulation pixels and the short accumulation pixels.
  • FIG. 18 is a block diagram of the imaging apparatus 5 including still another configuration example of the image processing unit.
  • the imaging device 5 performs noise reduction on both readout interval imaging signals and short readout interval imaging signals.
  • the noise reduction unit 138 of the imaging device 5 includes the combination ratio calculated by the combination ratio calculation unit 133, the difference in exposure length between the long accumulation pixels and the short accumulation pixels, and the gain multiplied by the gain multiplication unit 51. Based on the difference or the like, the noise reduction strength is determined.
  • the noise reduction unit 138 increases the noise reduction intensity when, for example, the combination ratio of both readout interval imaging signals is 0 or 1, that is, when the combination is not performed, and the combination ratio of both readout interval imaging signals. If is greater than 0 and less than 1, the noise reduction strength is reduced.
  • the noise reduction unit 138 (both readout interval noise reduction unit) performs noise reduction with the determined intensity on the both readout interval imaging signals generated by the image generation unit 131 using LPF or a non-linear smoothing technique. .
  • the noise reduction unit 138 supplies both readout interval imaging signals after noise reduction to the synthesis unit 134.
  • the noise reduction unit 139 is based on the combination ratio calculated by the combination ratio calculation unit 133, the difference in exposure length between the long accumulation pixel and the short accumulation pixel, the difference in gain multiplied by the gain multiplication unit 51, and the like. Similarly to 138, the intensity of noise reduction is determined.
  • the noise reduction unit 139 (short readout interval noise reduction unit) performs noise reduction with a determined intensity on the short readout interval imaging signal generated by the pixel interpolation unit 132 using LPF or a non-linear smoothing technique. .
  • the noise reduction unit 139 supplies the short readout interval imaging signal after noise reduction to the synthesis unit 134.
  • the noise reduction unit 138 and the noise reduction unit 139 perform noise reduction based on the combination ratio, the difference in exposure length between the long accumulation pixel and the short accumulation pixel, the difference in gain multiplied by the gain multiplication unit 51, and the like. Determine strength. Therefore, the noise reduction unit 138 and the noise reduction unit 139 compensate for the difference in noise intensity caused by the composition ratio, the difference in exposure length between the long accumulation pixel and the short accumulation pixel, and the difference in gain multiplied by the gain multiplication unit 51. Can do.
  • the processing of the imaging device 5 is the same as the processing of FIG. 13 except that noise reduction by the noise reduction unit 138 and the noise reduction unit 139 is performed between step S118 and step S120, description thereof is omitted. .
  • the noise reduction unit 138 and the noise reduction unit 139 perform noise reduction with a plurality of noise intensities regardless of the synthesis ratio, and the synthesis unit 134 has performed noise reduction with noise intensity corresponding to the synthesis ratio. You may make it synthesize
  • the imaging device 5 may include a noise reduction unit 137. Further, the noise reduction unit 138 and the noise reduction unit 139 may perform noise reduction with the same intensity.
  • FIG. 19 is a block diagram of the imaging device 6 including still another configuration example of the image processing unit.
  • the configuration of the imaging device 6 in FIG. 19 is that a frame memory 211 and a composition ratio calculation unit 212 of the image processing unit 25 are provided instead of the frame memory 12 and the composition ratio calculation unit 133 of the image processing unit 13. This is different from the configuration of the imaging apparatus 1 in FIG.
  • the imaging device 6 uses not only the image signals of the long accumulation pixels and the short accumulation pixels used to generate both readout interval imaging signals and the short readout interval imaging signals to be combined, but also the imaging signals at times before the imaging signals. To calculate the composite ratio.
  • the frame memory 211 of the imaging device 6 holds the image signal of long accumulation pixels supplied from the image sensor 11 for two screens for each pixel group.
  • the combination ratio calculation unit 212 has the same long accumulation pixel immediately before the imaging signal of the long accumulation pixel that is held in the frame memory 211 and used for generating both readout interval imaging signals to be synthesized for each vertical synchronization period.
  • Image pickup signal (hereinafter referred to as an image pickup signal of a past long accumulation pixel) is read out.
  • the composition ratio calculation unit 212 is used to generate the two readout interval imaging signals to be synthesized from the frame memory 211, and is the same at the long readout interval immediately before.
  • the imaging signal read from the long accumulation pixel is read out.
  • the combination ratio calculation unit 212 For each vertical synchronization period, the combination ratio calculation unit 212 captures an image signal of a past long accumulation pixel, an image signal of a long accumulation pixel supplied from the image sensor 11 or the frame memory 211, and a short image supplied from the image sensor 11. Based on the image pickup signal of the accumulated pixel, a composite ratio of both the readout interval imaging signal and the short readout interval imaging signal is calculated. The composition ratio calculation unit 212 supplies the calculated composition ratio to the composition unit 134.
  • FIG. 20 is a block diagram illustrating a configuration example of the composition ratio calculation unit 212 of FIG.
  • the 20 includes an LPF (Low Pass Filter) 231 and 232, an absolute difference calculator 233, an LPF 234 and 235, an absolute difference calculator 236, a noise estimator 237, threshold processing units 238 and 239,
  • the selector 240 is configured.
  • the LPF 231 of the composition ratio calculation unit 212 performs noise reduction on the past image signal of the long accumulation pixel read out from the frame memory 211 in FIG. 19 and supplies it to the difference absolute value calculation unit 233.
  • the LPF 232 performs noise reduction on the image signal of the long accumulation pixel that is supplied from the image sensor 11 or the frame memory 211 and is used to generate both readout interval imaging signals to be combined, and supplies the difference absolute value calculation unit 233 with the noise. To do.
  • the difference absolute value calculation unit 233 calculates, for each long accumulation pixel, the absolute difference value between the long accumulation pixel imaging signal supplied from the LPF 231 and the past long accumulation pixel imaging signal supplied from the LPF 232, and performs threshold processing. To the unit 238.
  • the LPF 234 reduces noise with a stronger intensity than the LPF 231 and the LPF 232 with respect to the image signal of the long accumulation pixel used to generate both readout interval imaging signals to be combined supplied from the image sensor 11 or the frame memory 211. At the same time, the position of each long accumulation pixel is changed to the reference position.
  • the LPF 234 supplies, to the difference absolute value calculation unit 236 and the noise estimation unit 237, the image signal of the long accumulation pixel lower than the band of the image signal of the long accumulation pixel output from the LPF 232 obtained as a result.
  • the LPF 235 performs noise reduction with a stronger intensity than the LPF 231 and the LPF 232 with respect to the image signal of the short accumulation pixel supplied from the image sensor 11, and changes the position of each short accumulation pixel to the reference position.
  • the LPF 235 supplies the difference absolute value calculation unit 236 with the image signal of the short accumulation pixel lower than the band of the image signal of the long accumulation pixel output from the LPF 232 obtained as a result.
  • the difference absolute value calculation unit 236 calculates the absolute difference between the imaging signal of the long accumulation pixel supplied from the LPF 234 and the imaging signal of the short accumulation pixel supplied from the LPF 235 for each reference position, and supplies the difference absolute value to the threshold processing unit 239. To do.
  • the noise estimation unit 237 estimates the standard deviation ⁇ of the image signal of the long accumulation pixel as a noise amount based on the image signal of the long accumulation pixel supplied from the LPF 234, and supplies it to the threshold processing unit 238 and the threshold processing unit 239. .
  • the threshold processing unit 238 determines, for example, the standard deviation ⁇ as a first threshold used for determination of the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 237.
  • the threshold processing unit 238 determines the moving subject region using the difference absolute value of each long accumulation pixel supplied from the difference absolute value calculation unit 233 and the first threshold.
  • the threshold processing unit 238 determines whether or not the absolute difference value of each long accumulation pixel is larger than the first threshold. Then, when the difference absolute value is larger than the first threshold, the threshold processing unit 238 determines that the long accumulation pixel corresponding to the difference absolute value is a moving subject region, and the difference absolute value is smaller than the first threshold. In this case, it is determined that the long accumulation pixel corresponding to the absolute difference value is not a moving subject area.
  • the threshold processing unit 238 sets the composition ratio of the pixels corresponding to the long accumulation pixels determined to be the moving subject area by the determination of the moving subject area so that the ratio of the short readout interval imaging signal is increased. In addition, the threshold processing unit 238 sets the combination ratio of pixels corresponding to the long accumulation pixels determined not to be the moving subject area by the determination of the moving subject area so that the ratio of the two readout interval imaging signals is increased. The threshold processing unit 238 supplies the set combination ratio of each pixel to the selection unit 240.
  • the threshold processing unit 239 determines a first threshold used for determination of the moving subject region based on the standard deviation ⁇ supplied as the noise amount from the noise estimation unit 237.
  • the threshold processing unit 239 uses the absolute difference value of each reference position supplied from the differential absolute value calculation unit 236 and the first threshold value to determine the moving subject area in the same manner as the threshold processing unit 238.
  • the threshold processing unit 238 sets the composition ratio of the pixels corresponding to the reference position determined as the moving subject area by the determination of the moving subject area so that the ratio of the short readout interval imaging signal is increased. Further, the threshold processing unit 239 sets the composition ratio of the pixels corresponding to the reference position determined not to be the moving subject area by the determination of the moving subject area so that the ratio of the two readout interval imaging signals is increased. The threshold processing unit 239 supplies the set combination ratio of each pixel to the selection unit 240.
  • the selection unit 240 selects a combination ratio having a smaller temporal change between the combination ratio supplied from the threshold processing unit 238 and the combination ratio supplied from the threshold processing unit 239. Thereby, a synthetic
  • the selection unit 240 supplies the selected composition ratio to the composition unit 134 in FIG.
  • the composition ratio calculation unit 212 determines the moving subject region based on the imaging signals of the same long accumulation pixel. Therefore, it is possible to prevent the determination accuracy of the moving subject region from being lowered by compensating the positional deviation between the long accumulation pixel and the short accumulation pixel.
  • the positions of the long accumulation pixels and the short accumulation pixels on the pixel array unit 31 are different. Therefore, when obtaining the absolute difference between the image signal of the long accumulation pixel and the image signal of the short accumulation pixel, the position of each pixel is changed to the reference position. In this case, the absolute value of the difference becomes large and may be determined as a moving subject area. On the other hand, since the composite ratio calculation unit 212 obtains the absolute difference between the imaging signals of the same long accumulation pixel, it is not necessary to change the pixel position of the imaging signal, and the moving subject determination is performed with high accuracy. Can do.
  • the amount of noise in the image signal of the long accumulation pixel is smaller than that of the image signal of the short accumulation pixel, it is possible to improve the determination accuracy by determining the moving subject area based only on the imaging signal of the long accumulation pixel. .
  • the processing of the imaging device 6 of FIG. 19 is that the past image signal of the long accumulation pixel is read between steps S114 and S116, and the image signal of the past long accumulation pixel is also calculated in step S116. Except for the point used, it is the same as the processing of FIG. Therefore, the description is omitted.
  • FIG. 21 is a block diagram of the imaging apparatus 7 including still another configuration example of the image processing unit.
  • the configuration of the imaging device 7 in FIG. 21 is that a frame memory 261 and a composition ratio calculation unit 262 of the image processing unit 26 are provided instead of the frame memory 12 and the composition ratio calculation unit 133 of the image processing unit 13. This is different from the configuration of the imaging apparatus 1 in FIG.
  • the imaging device 7 holds a combination ratio (hereinafter referred to as a long accumulation combination ratio) determined based on the imaging signals of the long accumulation pixels in the frame memory 261, and reads out the imaging signal of the long accumulation pixels from the image sensor 11. Used to select the composition ratio when not.
  • the frame memory 261 of the image processing device 260 holds the image signal of the long accumulation pixel supplied from the image sensor 11 for two screens for each pixel group. Further, the frame memory 261 holds the long accumulation composition ratio supplied from the composition ratio calculation unit 262 for one screen for each pixel group.
  • the composite ratio calculation unit 262 reads the image signal of the past long accumulation pixel held in the frame memory 12 when the image signal of the long accumulation pixel is supplied from the image sensor 11 at each long readout interval. Then, the combination ratio calculation unit 262 calculates the long accumulation combination ratio based on the past image signal of the long accumulation pixel read from the frame memory 12 and the image accumulation signal of the long accumulation pixel supplied from the image sensor 11. calculate. The composition ratio calculation unit 262 supplies the calculated long accumulation composition ratio to the frame memory 261 and holds it.
  • the combination ratio calculation unit 262 stores the long accumulation composition ratio of the group of the long accumulation pixels held in the frame memory 12. Is read.
  • the combination ratio calculation unit 262 generates a combination ratio (hereinafter, referred to as a “both pixel combination ratio”) based on the imaging signal of the long accumulation pixel and the imaging signal of the short accumulation pixel supplied from the image sensor 11 for each vertical synchronization period. Calculate The composition ratio calculation unit 262 selects, for each vertical synchronization period, one of the calculated long accumulation composition ratio or the read long accumulation composition ratio and the both pixel composition ratio that has a smaller temporal change. The composition ratio calculation unit 262 supplies the selected composition ratio to the composition unit 134.
  • a combination ratio hereinafter, referred to as a “both pixel combination ratio”
  • the imaging device 7 when the imaging signal of the long accumulation pixel is not read from the image sensor 11, the imaging device 7 does not calculate the long accumulation composition ratio, and calculates the long accumulation calculated last time for the pixel group to which the long accumulation pixel belongs.
  • the composition ratio is read from the frame memory 261 and used.
  • the imaging signal of the long accumulation pixel used for the calculation of the long accumulation composition ratio is the previous calculation of the long accumulation composition ratio of the group of the long accumulation pixels.
  • This is an image pickup signal of the long accumulation pixel used in the above. Therefore, the imaging device 7 selects the combination ratio using the previously calculated long accumulation combination ratio. Thereby, since the imaging device 7 does not need to calculate a long accumulation
  • the image signal of the long accumulation pixel is not read from the image sensor 11, it is not necessary to read the image signal of the past long accumulation pixel from the frame memory 261 in order to calculate the long accumulation composition ratio. Bandwidth can be suppressed.
  • FIG. 22 is a flowchart for explaining processing of the imaging device 7 of FIG. The process illustrated in FIG. 22 is repeatedly performed, for example, every vertical synchronization period.
  • steps S202 to S212 in FIG. 22 is the same as the processing in steps S102 to S108, S112, and S114 in FIG.
  • step S214 the composition ratio calculation unit 262 of the imaging device 7 reads the imaging signal of the past long accumulation pixel from the frame memory 261.
  • step S ⁇ b> 216 the composition ratio calculation unit 262 captures the short accumulation pixel imaging signal and the long accumulation pixel imaging signal supplied from the image sensor 11, and the past long accumulation pixel imaging signal read from the frame memory 261. Based on the above, the two pixel composition ratio and the long accumulation composition ratio are calculated. The composition ratio calculation unit 262 supplies the calculated long accumulation composition ratio to the frame memory 261 and holds it. Then, the process proceeds to step S228.
  • step S204 determines whether the image signal of the long accumulation pixel is not read. If it is determined in step S204 that the image signal of the long accumulation pixel is not read, the process proceeds to step S218.
  • the processing in steps S218 to S222 is the same as the processing in steps S110 to S114 in FIG.
  • step S224 the combination ratio calculation unit 262 reads the image signal of the long accumulation pixel from the frame memory 261, and based on the imaging signal of the long accumulation pixel and the imaging signal of the short accumulation pixel supplied from the image sensor 11. Then, the ratio of both pixel synthesis is calculated.
  • step S226 the combination ratio calculation unit 262 reads from the frame memory 261 the previously calculated long accumulation combination ratio of the pixel group corresponding to the imaging signal read from the frame memory 261 in step S224. Then, the process proceeds to step S228.
  • step S228, the combination ratio calculation unit 262 selects one of the two pixel combination ratios and the long accumulation combination ratio, which has a smaller temporal change, and supplies the selected one to the combination unit 134.
  • Steps S230 to S236 are the same as the processing of steps S118 to S124 in FIG.
  • FIG. 23 is a block diagram illustrating another configuration example of the image sensor according to the present disclosure.
  • the same reference numerals are given to the same configurations as the configurations in FIG. The overlapping description will be omitted as appropriate.
  • the horizontal reset lines 281 and 282 are provided instead of the horizontal reset line 34.
  • the image sensor 280 pixel groups to which the pixels 32 belong in the same row are different.
  • the horizontal reset lines 281 and 282 of the image sensor 280 are provided in units of rows of the pixels 32.
  • a horizontal reset line 281 of the row is connected to one of adjacent pixels 32 in each row, and a horizontal reset line 282 is connected to the other.
  • a horizontal reset line 281 in the row of the pixel 32 is connected to one of the adjacent pixels 32 in each column, and a horizontal reset line 282 in the row of the pixel 32 is connected to the other.
  • a reset signal is supplied from the vertical scanning circuit 33 to the horizontal reset lines 281 and 282 in each row at different timings. Specifically, one of the horizontal reset line 281 and the horizontal reset line 282 of each row is supplied with a reset signal a short read interval before the read signal is supplied to the selection line 35 of that row. On the other hand, the reset signal is supplied a long read interval before the read signal is supplied to the selection line 35 of the row.
  • FIG. 24 is a diagram illustrating an example of the arrangement of the pixels 32 arranged in the pixel array unit 31 of FIG.
  • the pixel group to which the pixel 32 in FIG. 23 belongs is different in the same row.
  • the pixel groups to which the red pixels 32 and the blue pixels 32 belong in the horizontal direction and the vertical direction are different.
  • the pixel groups to which the green pixels 32 belong are made the same.
  • FIG. 25 is an explanatory diagram illustrating a configuration example of an imaging system according to the present modification.
  • the imaging system according to this modification includes imaging devices 40A and 40B and an imaging control device 60.
  • the imaging device 40A and the imaging device 40B may be arranged so as to image the same or substantially the same imaging range (field-of-view range), for example.
  • the pixel group included in the imaging device 40A corresponds to the first pixel group (pixel group A, pixel group 112A) described in the above embodiment, and the pixel group included in the imaging device 40B described in the above embodiment. This corresponds to the second pixel group (pixel group B, pixel group 112B).
  • the imaging control device 60 is an information processing device including a frame memory 12, an image processing unit 63, and an imaging control unit 64, as shown in FIG.
  • the frame memory 12 included in the imaging control device 60 is the same as the frame memory 12 described with reference to FIG.
  • the image processing unit 63 includes, for example, a pixel between an image obtained by imaging by the imaging device 40A and an image obtained by imaging by the imaging device 40B. It may have a function of performing processing for specifying the correspondence of For example, a stereo matching process may be used as the process for specifying the correspondence between pixels. With this configuration, the accuracy of synthesis by the image processing unit 63 is improved. In this case, the image processing unit 63 may specify the distance information of the subject based on the correspondence of the pixels, or may output the specified distance information together with the moving image imaging signal.
  • the imaging control unit 64 sets the exposure parameters (exposure period, analog gain, and frame rate) related to the pixel group included in the imaging device 40A and the imaging device 40B, and controls imaging.
  • the configuration of the pixel value level evaluation unit 141, the exposure period / analog gain control unit 142, and the frame rate control unit 143 that the imaging control unit 64 has for setting the exposure parameters is the imaging control unit 14 described with reference to FIG. Since it is the same as the structure of each part which has, description is abbreviate
  • the exposure control of the pixel group included in the imaging devices 40A and 40B is performed in the same manner as the exposure control described with reference to FIG. 2 or FIG. 14, and the moving image in the dark place (output by the image processing unit 63). Video) can be improved.
  • FIG. 26 is a diagram illustrating a configuration of a semiconductor substrate when the above-described imaging device is formed on a semiconductor substrate (chip).
  • the configuration other than the image sensor 11 (280) of the imaging device in the embodiment and the first to third modifications is realized by a circuit 381, for example.
  • This circuit 381 is formed on the same semiconductor substrate 382 as the image sensor 11 (280), for example, as shown in FIG.
  • the semiconductor substrate 384 is formed on the semiconductor substrate 384 on which the image sensor 11 (280) is not formed, of the semiconductor substrate 383 and the semiconductor substrate 384 to be stacked.
  • the configuration other than the image sensor 11 (280) of the imaging device in the embodiment and the first to third modifications is, for example, a semiconductor substrate on which the image sensor 11 (280) is formed. It can also be realized by a DSP (Digital Signal Processing) 386 subsequent to 383.
  • DSP Digital Signal Processing
  • the configuration other than the image sensor 11 (280) of the imaging device in the embodiment and the first to third modifications is realized by, for example, a circuit 388 and a DSP 389.
  • the circuit 388 is formed on the same semiconductor substrate 387 as the image sensor 11 (280), and the DSP 389 is provided at the subsequent stage of the semiconductor substrate 387.
  • the circuit 388 is formed on the semiconductor substrate 390 on which the image sensor 11 (280) is not formed among the semiconductor substrate 383 and the semiconductor substrate 390 to be stacked, and the DSP 389 is stacked.
  • the semiconductor substrate 387 and the semiconductor substrate 390 are provided in the subsequent stage.
  • FIG. 27 is an explanatory diagram illustrating an example of a hardware configuration of the imaging control device 60 according to the fourth modification.
  • Information processing such as exposure control processing and image processing according to the present disclosure may be realized by cooperation of software and hardware of the imaging control device 60 described below.
  • the imaging control device 60 includes a CPU (Central Processing Unit) 601, a ROM (Read Only Memory) 602, a RAM (Random Access Memory) 603, an input device 604, and an output device 605.
  • the CPU 601 functions as an arithmetic processing device and a control device, and controls the overall operation in the imaging control device 60 according to various programs. Further, the CPU 601 may be a microprocessor.
  • the ROM 602 stores programs used by the CPU 601 and calculation parameters.
  • the RAM 603 temporarily stores programs used in the execution of the CPU 601, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus composed of a CPU bus or the like.
  • the functions of the image processing unit 63 and the imaging control unit 64 are realized mainly by the cooperation of the CPU 601, the ROM 602, the RAM 603, and the software.
  • the input device 604 includes an input means for inputting information by the user, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 601. Etc.
  • the user of the imaging control device 60 can input various data and instruct processing operations to the imaging control device 60 by operating the input device 604.
  • the output device 605 includes a display device such as a liquid crystal display (LCD) device, an OLED device, a see-through display, and a lamp. Furthermore, the output device 605 includes an audio output device such as a speaker and headphones. For example, the display device displays a captured image, a generated image, and the like. On the other hand, the audio output device converts audio data or the like into audio and outputs it.
  • a display device such as a liquid crystal display (LCD) device, an OLED device, a see-through display, and a lamp.
  • the output device 605 includes an audio output device such as a speaker and headphones.
  • the display device displays a captured image, a generated image, and the like.
  • the audio output device converts audio data or the like into audio and outputs it.
  • the storage device 606 is a device for storing data.
  • the storage device 606 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 606 stores programs executed by the CPU 601 and various data.
  • the readout interval of one pixel group is larger than the readout interval of the other pixel group, and the exposure period of the one pixel group is set larger than the exposure period of the other pixel group.
  • the present disclosure is not limited to such an example.
  • the image processing unit Even when the reading interval and the exposure period of the two pixel groups are set to be the same as in the case where the illuminance is greater than the illuminance L24, the image processing unit The above-described processing may be performed using the other as a long accumulation pixel.
  • the image processing unit detects that the input image pickup signal is an image pickup signal read out with the read interval and the exposure period of the two pixel groups set to be the same, and the input image pickup signal May be output as a moving image imaging signal.
  • the imaging control unit may control the readout intervals of both pixel groups so as to change according to the illuminance.
  • a pixel group whose readout interval is a vertical synchronization period and a pixel group whose readout interval changes according to illuminance may be switched according to time.
  • the pixels may be classified into three or more pixel groups, and the exposure parameters of the three or more pixel groups may be set by the imaging control unit.
  • each step in the above embodiment does not necessarily have to be processed in time series in the order described as a flowchart.
  • each step in the processing of the above embodiment may be processed in an order different from the order described as the flowchart diagram or may be processed in parallel.
  • An imaging control unit that controls imaging so that an imaging signal readout interval of the first pixel group and an imaging signal readout interval of the second pixel group are different;
  • the imaging control apparatus wherein an imaging signal readout interval of the first pixel group or an imaging signal readout interval of the second pixel group changes according to illuminance.
  • An image generation unit that synthesizes the imaging signal of the first pixel group and the imaging signal of the second pixel group and generates both readout interval imaging signals;
  • a pixel interpolation unit that interpolates an imaging signal of the first pixel group and generates a short readout interval imaging signal that is an imaging signal of the first pixel group;
  • the imaging control device further comprising: a synthesis unit that synthesizes the both readout interval imaging signals generated by the image generation unit and the short readout interval imaging signal generated by the pixel interpolation unit. .
  • the imaging control section controls the imaging signal readout interval of the second pixel group so that the readout interval of the imaging signal of the first pixel group is a natural number multiple of the readout interval.
  • the imaging control device according to any one of the above. (5) Any one of (1) to (3), wherein an imaging signal readout interval of the first pixel group or an imaging signal readout interval of the second pixel group continuously changes in accordance with the illuminance.
  • the imaging control device according to one item.
  • the imaging control unit specifies the readout interval of the imaging signal of the second pixel group so that the readout interval of the imaging signal of the second pixel group increases as the illuminance decreases.
  • the imaging control device according to any one of (5) to (5).
  • the imaging control unit specifies an exposure period of the second pixel group, and specifies an image signal readout interval of the second pixel group based on the specified exposure period of the second pixel group.
  • the imaging control device identifies an imaging signal readout interval of the second pixel group such that an imaging signal readout interval of the second pixel group is equal to or longer than an exposure period of the second pixel group.
  • the imaging control device according to (7).
  • the readout interval of the imaging signal of the second pixel group is equal to or longer than the exposure period of the second pixel group, and is a natural number multiple of the readout interval of the imaging signal of the first pixel group.
  • the imaging control device according to (8), wherein the readout interval of the imaging signal of the second pixel group is specified so that the readout interval is the smallest.
  • the imaging control unit specifies an exposure period of the second pixel group based on a pixel value level obtained from pixels included in the first pixel group or the second pixel group, (7 )-(9).
  • Imaging device 11 Image sensor 12 Frame memory 13 Image processing part 14 Imaging control part 112A, 112B Pixel group 114A, 114B Pixel drive part 131 Image generation part 132 Pixel interpolation part 133 Compositing ratio calculation part 134 Compositing part 135 Motion compensation part 136 Motion Blur correction unit 137 Noise reduction unit 141 Pixel value level evaluation unit 142 Exposure period / analog gain control unit 143 Frame rate control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】暗所における動画のＳＮ（Signal-Noise）比をより向上させることが可能な、撮像制御装置、および撮像装置を提供する。 【解決手段】第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置。

Description

撮像制御装置、および撮像装置
　本開示は、撮像制御装置、および撮像装置に関する。
　近年、露光期間の異なる画素が混在するイメージセンサが考案されている(例えば、特許文献１参照)。露光期間の異なる画素が混在するイメージセンサでは、全画素を垂直同期期間ごとに読み出し、出力する。従って、露光期間の長い画素であっても、露光期間を垂直同期期間より長くすることはできず、露光期間の制御により動画の暗所のＳＮ（Signal-Noise）比を改善することは困難であった。
　ＳＮ比を改善する方法としては、例えば、撮影画像に対してフィルタ処理を施す２ＤＮＲ（2-Dimendional　Noise　Reduction）処理や、過去フレームの撮影画像を用いてノイズを低減する３ＤＮＲ（3-Dimendional　Noise　Reduction）処理を行う方法がある。
特開２００２－１３５６２６号公報
　しかし、２ＤＮＲ処理を行う方法を用いる場合、強ノイズ下でノイズを低減しつつ、被写体のテクスチャを維持することは困難である。また、３ＤＮＲ処理は、静被写体領域において過去フレームの画像と現在フレームの画像を加重平均することでランダム性のノイズを低減する処理を含む。従って、３ＤＮＲ処理が動被写体領域に対して用いられると、撮影画像において尾引き等の画質劣化が生じる恐れがあるため、撮影画像に対して動被写体判定を行い、動被写体領域では加重平均が行われないようにすることが望ましい。しかし、暗所の強ノイズ下では、動被写体とノイズを高精度に判定することが困難であるため、静被写体領域が動被写体領域と判定され、ＳＮ比が十分に向上されない恐れがあった。
　そこで、本開示では、暗所における動画のＳＮ比をより向上させることが可能な、新規かつ改良された撮像制御装置、および撮像装置を提案する。
　本開示によれば、第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置が提供される。
　また、本開示によれば、第１の画素群と第２の画素群を含む複数の画素、および前記第１の画素群の撮像信号の読出し間隔と前記第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部、を備え、前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像装置が提供される。
　以上説明したように本開示によれば、暗所における動画のＳＮ比をより向上させることが可能である。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の比較例による露光制御を模式的に示す説明図である。 同実施形態に係る露光制御の一例を模式的に示す説明図である。 同実施形態に係る撮像装置１の構成例を示すブロック図である。 画像処理部１３の構成を説明するための、撮像装置１のブロック図である。 イメージセンサ１１の構成例を示す図である。 画素アレイ部３１に配置される画素３２の配列の例を示す図である。 画像生成部１３１の第１の構成例を示すブロック図である。 画像生成部１３１の第２の構成例を示すブロック図である。 画像生成部１３１の第３の構成例を示すブロック図である。 合成比率計算部１３３の第１の構成例を示すブロック図である。 閾値処理部１０５により設定される合成比率のうちの両読み出し間隔撮像信号の比率の例を示す図である。 合成比率計算部１３３の第２の構成例を示すブロック図である。 同実施形態に係る撮像装置１の処理を説明するためのフローチャート図である。 画素群Ｂのフレームレートが照度に応じて連続的に変化するように設定される場合の露光制御例を示す説明図である。 画像処理部の他の構成例を備える撮像装置２のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置３のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置４のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置５のブロック図である。 画像処理部のさらに他の構成例を備える撮像装置６のブロック図である。 合成比率計算部２１２の構成例を示すブロック図である。 画像処理部のさらに他の構成例を備える撮像装置７のブロック図である。 撮像装置７の処理を説明するフローチャート図である。 本開示に係るイメージセンサの他の構成例を示すブロック図である。 画素アレイ部３１に配置される画素３２の配列の例を示す図である。 変形例４に係る撮像システムの構成例を示す説明図である。 撮像装置を半導体基板（チップ）に形成した場合の半導体基板の構成を示す図である。 撮像制御装置６０のハードウェア構成の一例を示す説明図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書および図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、説明は以下の順序で行うものとする。
　＜＜１．はじめに＞＞
　　＜１－１．背景＞
　　＜１－２．概要＞
　＜＜２．構成例＞＞
　＜＜３．動作例＞＞
　＜＜４．変形例＞＞
　　＜４－１．変形例１＞
　　＜４－２．変形例２＞
　　＜４－３．変形例３＞
　　＜４－４．変形例４＞
　＜＜５．ハードウェア構成例＞＞
　＜＜６．むすび＞＞
　＜＜１．はじめに＞＞
　　＜１－１．背景＞
　本開示の一実施形態に係る撮像装置についての説明にあたり、まず図面を参照しながら本開示の一実施形態に係る撮像装置の創作に至った背景を説明する。
　動画を撮影する撮像装置において、適正な露光で撮影されるように、露光制御が行われている。例えばアナログゲイン、露光期間を含む露光パラメタを動的に設定し、設定に応じて画素の駆動を制御する露光制御が考えられる。以下では、露光制御の一例について、本開示に係る比較例として説明する。
　本開示の比較例による露光制御を模式的に示す説明図である。図１のグラフＧ１１～Ｇ１４において、横軸は照度を示している。また、図１に示すように、グラフＧ１１の縦軸はフレームレートを、グラフＧ１２の縦軸はアナログゲインを、グラフＧ１３の縦軸は露光期間を、グラフＧ１４の縦軸は画像輝度レベルを示している。なお、画像輝度レベルは、例えば画像全体の輝度レベルの平均値であってもよい。図１のグラフＧ１１に示すように、比較例に係る撮像装置が動画撮影を行う際のフレームレートは、照度によらず一定である。
　Ｇ１２、Ｇ１３に示すように、比較例に係る撮像装置は、照度に応じて、アナログゲインと露光期間が変化するように露光パラメタの設定を行う。グラフＧ１２、Ｇ１３に示すように、照度が低下するのに応じて、アナログゲインが大きく、また、露光期間が大きく設定されてもよい。
　例えば、比較例に係る撮像装置は、撮像装置が有するイメージセンサに含まれるすべて、または一部の画素群から得られた画像の平均画素値レベル（以下、単に画素値レベルとも呼ぶ）に基づいて、照度を特定してもよい。例えば、照度は、画素値レベルを露光期間とアナログゲインの積で除算することで得られてもよい。また、比較例に係る撮像装置は、照度に応じてグラフＧ１２、Ｇ１３のようなアナログゲイン、および露光期間となるように、アナログゲインと露光期間の設定を行ってもよい。例えば、比較例に係る撮像装置は、予め設計された、照度とアナログゲインの関係を示すテーブル、および照度と露光期間の関係を示すテーブルに応じて当該設定を行い、グラフＧ１２、Ｇ１３のようなアナログゲイン、および露光期間を実現してもよい。
　また、比較例に係る撮像装置は、イメージセンサに含まれるすべて、または一部の画素群から得られた画像の画素値レベルと、目標とする目標画素値レベルとを比較して得た評価結果に応じてアナログゲインと露光期間を設定してもよい。例えば、比較例に係る撮像装置は、予め設計された、評価結果とアナログゲインの関係を示すテーブル、および評価結果と露光期間の関係を示すテーブルに応じてアナログゲインと露光期間を設定してもよい。係る場合でも、グラフＧ１２、Ｇ１３のようなアナログゲイン、および露光期間は実現可能である。
　なお、アナログゲインが大きくなるとＳＮ値が低下する恐れがあり、また、露光期間が大きくなると、動きぼけが発生しやすくなる恐れがあるため、アナログゲインと露光期間の両方のバランスを調整することで、目標画素値レベルが達成されてもよい。
　また、アナログゲインには、撮像装置の仕様等に依存する最大値が存在する。例えば、グラフＧ１２に示すように、照度Ｌ１４でアナログゲインは最大値に達し、当該照度Ｌ１４よりも低い照度である場合にもアナログゲインは当該最大値に設定され得る。
　また、露光期間には、フレームレートに依存する最大値が存在する。例えば比較例に係る撮像装置のフレームレートが１／Ｔｆｐｓである場合、比較例に係る撮像装置は、フレームレートの逆数である撮像信号の読出し間隔（以下、単に読出し間隔とも呼ぶ）Ｔ秒よりも長い露光期間で撮影することができない。例えば、グラフＧ１３に示すように、照度Ｌ１３で露光期間は最大値に達し、当該照度Ｌ１３よりも低い照度である場合にも露光期間は当該最大値に設定され得る。
　上記のように、アナログゲインと露光期間には最大値が存在するため、その双方が最大値に達した照度（図１における照度Ｌ１４）よりも照度の低い暗所では、アナログゲイン、および露光期間がそれぞれの最大値に設定される。しかし、暗所では、アナログゲインと露光期間の双方が最大値に設定されていても、目標画素値レベルを達成できない恐れがある。その結果、グラフＧ１４に示すように、照度Ｌ１４よりも低い照度においては、照度が低下するに従って、取得される画像の画像輝度レベルが低下する。係る場合、画像輝度レベルを維持するために、画像にデジタルゲインをかけることも可能であるが、デジタルゲインの大きさに応じてノイズが増加し、ＳＮ比が低下する。
　そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、イメージセンサが有する画素のうち、少なくとも一部の画素（群）のフレームレートを照度に応じて変化させることで、暗所における動画のＳＮ比をより向上させることが可能である。以下、このような効果を有する本開示の一実施形態の概要について図２を参照して説明を行う。
　　＜１－２．概要＞
　以下では、本開示の一実施形態に係る撮像装置の概要について説明し、本実施形態に係る撮像装置の詳細な構成については図３等を参照して後述する。本実施形態に係る撮像装置は、例えば、撮像信号の読出し間隔が照度に応じて変化するように制御してもよい。上述したように、露光期間は、撮像信号の読出し間隔以下であるため、例えば、照度が低い暗所において、撮像信号の読出し間隔が大きくなるように制御することで、大きな露光期間を設定することが可能である。係る構成により、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置と比べ、暗所における画像輝度レベルを維持し易く、ＳＮ比をより向上することが可能である。
　なお、露光期間を大きくすると、得られる画像において動きぶれが発生し易くなる恐れがある。そこで、以下に説明する本実施形態では、イメージセンサが有する複数の画素のうち、画素群ごとに、撮像信号の読出し間隔が異なるように制御されてもよく、少なくとも一の画素群に係る読出し間隔が、照度に応じて変化するように制御が行われてもよい。例えば、第１の画素群の撮像信号の読出し間隔と、第２の画素群の撮像信号の読出し間隔が異なるように制御され、第１の画素群の撮像信号の読出し間隔は照度に応じて変化してもよい。さらに、第１の画素群と第２の画素群は、それぞれ複数の画素を含み、異なる露光期間で露光可能に構成されてもよい。
　係る構成により、例えば、暗所において、第２の画素群に係る読出し間隔と露光期間を、上述した比較例と比べて大きくすることで、第２の画素群から得られる画像の画像輝度レベルを高めることができる。また、第１の画素群に係る読出し間隔と露光期間を上述した比較例と同様にすることで、第１の画素群から得られる画像は動きぶれが発生し難い。そして、第１の画素群から得られる画像と第２の画素群から得られる画像を合成することで、動きぶれが発生しにくく、画像輝度レベルの高い画像が取得され得る。当該合成については後述する。
　本実施形態に係る露光制御の一例を模式的に示す説明図である。図１のグラフＧ１１～Ｇ１４と同様に、図２のグラフＧ２１～Ｇ２４において、横軸は照度を示している。なお、図２における照度Ｌ２１～照度Ｌ２４は、それぞれ図１における照度Ｌ１１～照度Ｌ１４と対応している。また、図１のグラフＧ１１～Ｇ１４と同様に、グラフＧ１１の縦軸はフレームレートを、グラフＧ１２の縦軸はアナログゲインを、グラフＧ１３の縦軸は露光期間を、グラフＧ１４の縦軸は画像輝度レベルを示している。
　上述したように本実施形態に係る撮像装置は、画素群ごとに撮像信号の読出し間隔（フレームレートの逆数）を異ならせてもよく、すなわち、画素群ごとに異なるフレームレートを設定してもよい。
　例えば、本実施形態に係る撮像装置は、グラフＧ２１に示すように、画素群Ａのフレームレートを一定に設定し、画素群Ｂのフレームレートを照度に応じて変化するように、設定してもよい。画素群Ａのフレームレートは、例えば、画素群Ａの撮像信号の読出し間隔が垂直同期期間となるように設定されてもよい。また、画素群Ｂのフレームレートは、画素群Ｂの撮像信号の読出し間隔が垂直同期期間の自然数倍となるように設定されてもよい。また、画素群Ｂのフレームレートは、グラフＧ２３を参照して後述する画素群Ｂの露光期間を実現可能な読出し間隔に基づいて、設定されてもよい。また、画素群Ｂのフレームレートには、撮像装置の仕様等に依存する最小値が存在し、例えばグラフＧ２１に示すように照度Ｌ２５より小さい範囲において、画素群Ｂのフレームレートは当該最小値に設定される。
　また、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置と同様に、照度に応じて、アナログゲインと露光期間が変化するように露光パラメタの設定を行ってもよい。グラフＧ２２、Ｇ２３に示すように、照度が低下するのに応じて、アナログゲインが大きく、また、露光期間が大きく設定されてもよい。本実施形態に係る撮像装置によるアナログゲインの設定例は、図1を参照して説明した比較例と同様であるため、詳細な説明を省略する。
　上述したように、本実施形態に係る撮像装置は、画素群ごとに異なる露光期間を設定してもよい。グラフＧ２３に示すように、画素群Ａの露光期間は、図１を参照して説明した比較例と同様に設定されてもよい。一方、画素群Ｂの露光期間は、グラフＧ２３に示すように、照度Ｌ２４よりも低い照度において、画素群Ａの露光期間よりも大きくてもよい。上述したように、本実施形態に係る撮像装置は画素群ごとに異なるフレームレートを設定可能であることにより、グラフＧ２３における画素群Ｂの露光期間は、画素群Ａの露光期間の最大値よりも大きい値に設定される。また、画素群Ｂのフレームレートが最小値に設定される照度Ｌ２５より小さい範囲において、画素群Ｂの露光期間は最大値に設定される。
　ここで、画素群Ａに基づく画像は、画素群Ｂに基づく画像に比べ、より高いフレームレートで撮影されているため動きぶれが少ないが、輝度レベルが低い。一方、画素群Ｂに基づく画像は、画素群Ａに基づく画像に比べ、より低いフレームレートで撮影されているため動きぶれが大きい恐れがあるが、輝度レベルが高い。本実施形態に係る撮像装置の詳細な構成については図３等を参照して後述するが、本実施形態に係る撮像装置は、画素群Ａに基づく画像と、画素群Ｂに基づく画像を合成することで、動きぶれが小さく、輝度レベルの高い画像を得ることが可能である。
　上記のようにして得られる画像は、グラフＧ２４に示すように、照度Ｌ２１～照度Ｌ２５の間で一定の画像輝度レベルを維持することが可能となる。上述したように、図２における照度Ｌ２１～照度Ｌ２４は、それぞれ図１における照度Ｌ１１～照度Ｌ１４と対応している。図１のグラフＧ１４では照度が照度Ｌ１４より低下すると画像輝度レベルが低下しているが、図２のグラフＧ２４では、照度Ｌ１４に対応する照度Ｌ２４より小さい照度Ｌ２５までは画像輝度レベルが維持されている。すなわち、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置に比べて画像輝度レベルが低下する照度がより低く、暗所における画像輝度レベルの低下を抑制することが可能である。
　また、本実施形態に係る撮像装置は、照度Ｌ２４～照度Ｌ２５において、画像に大きなデジタルゲインをかけなくても、画像輝度レベルを維持することが可能である。また、本実施形態に係る撮像装置は、照度が照度Ｌ２５より低い場合に画像にかけるデジタルゲインを、より小さくすることが可能である。従って、本実施形態に係る撮像装置は、図１を参照して説明した比較例に係る撮像装置に比べて、照度の低い暗所における動画のＳＮ比をより向上させることが可能である。
　以上、図２を参照しながら、本開示の一実施形態の概要として、本実施形態に係る露光制御例について説明した。続いて、以降では、上述したような露光制御を実現可能な、本実施形態に係る撮像装置の構成と動作について、さらに詳しく順次に説明する。
　＜＜２．構成例＞＞
　以下では、まず本実施形態に係る撮像装置１の構成例について図３を参照して説明した後、撮像装置１が備える各部の構成例について図４～１２を参照して説明する。
　（撮像装置の構成例）
　本実施形態に係る撮像装置１の構成例を示すブロック図である。図３に示すように、撮像装置（撮像制御装置）１は、イメージセンサ１１、フレームメモリ１２、画像処理部１３、撮像制御部１４を備える。
　イメージセンサ１１は、複数の画素を有し、各画素の読出し間隔と露光期間は、後述する撮像制御部１４に制御される。例えば、イメージセンサ１１が有する画素は、図３に示すように、画素群１１２Ａ（第１の画素群）と画素群１１２Ｂ（第２の画素群）との２つの画素群に分類されてもよい。なお、画素群１１２Ａは、図２における画素群Ａに対応し、画素群１１２Ａの撮像信号の読出し間隔は一定の垂直同期期間であるように制御されてもよい。同様に、画素群１１２Ｂは、図２における画素群Ｂに対応し、画素群１１２Ｂの撮像信号の読出し間隔は、照度に応じて変化するように制御されてもよい。
　また、イメージセンサ１１は、撮像制御部１４の制御にしたがって、イメージセンサ１１が有する画素を駆動する画素駆動部１１４Ａ、１１４Ｂを有する。例えば、画素駆動部１１４Ａは、画素群１１２Ａを駆動し、画素駆動部１１４Ｂは、画素群１１２Ｂを駆動する。また、画素駆動部１１４Ａ、および画素駆動部１１４Ｂは、撮像制御部１４により設定される露光期間、およびフレームレートにしたがって画素を駆動してもよい。なお、イメージセンサ１１の詳細な構成例については、図５を参照して後述する。
　以下では、図２において照度が照度Ｌ２４より小さい場合のように、画素群１１２Ｂ（画素群Ｂ）の読出し間隔は、画素群１１２Ａ（画素群Ａ）の読出し間隔より大きく、画素群１１２Ｂの露光期間は、画素群１１２Ａの露光期間より大きくなる例を説明する。そのため、以下では、画素群１１２Ａの読出し間隔を短読出し間隔と呼び、画素群１１２Ｂの読出し間隔を長読出し間隔と呼ぶ場合がある。また、短読出し間隔で読み出される画素群１１２Ａを短蓄画素と呼び、長読出し間隔で読み出される画素群１１２Ｂを長蓄画素と呼ぶ場合もある。なお、イメージセンサ１１の有する画素の読出し間隔と露光期間に係る制御例は上記に限定されず、他の例については後述する。
　フレームメモリ１２は、イメージセンサ１１から供給される撮像信号を保持する保持部として機能する。例えば、フレームメモリ１２は、イメージセンサ１１から供給される長読み出し間隔で読み出された撮像信号を、画素群ごとに１画面（フレーム）分だけ保持してもよい。
　画像処理部１３は、イメージセンサ１１から供給される画素群１１２Ａの撮像信号と、画素群１１２Ｂの撮像信号に基づいて画像処理を行い、画像処理の結果得られる撮像信号を動画の撮像信号と出力する。画像処理部１３の構成については、図４を参照して後述する。
　撮像制御部１４は、イメージセンサ１１が有する各画素群に係る露光パラメタ（露光期間、アナログゲイン、およびフレームレート）を設定（特定）し、撮像を制御する。例えば、撮像制御部１４は、設定した露光パラメタに応じて画素群１１２Ａ，１１２Ｂが駆動されるように画素駆動部１１４Ａ，１１４Ｂを制御してもよい。
　図３に示すように、撮像制御部１４は、画素値レベル評価部１４１、露光期間・アナログゲイン制御部１４２、フレームレート制御部１４３を有する。
　画素値レベル評価部１４１は、イメージセンサ１１が有するすべての画素、または一部の画素の撮像信号に基づいて、画素値レベルを評価する。画素値レベル評価部１４１は、目標とする目標画素値レベルと現在の画素値レベルの比を、評価結果として露光期間・アナログゲイン制御部１４２に出力してもよい。
　露光期間・アナログゲイン制御部１４２は、画素値レベル評価部１４１により得られた目標画素値レベルと現在の画素値レベルの比に基づいて、露光期間とアナログゲインを設定する。
　例えば、露光期間・アナログゲイン制御部１４２は、予め設計された、アナログゲインに関するテーブル、および露光期間に関するテーブルに応じてアナログゲインと露光期間を設定（特定）してもよい。上述したように照度は、画素値レベル、露光期間、およびアナログゲインを用いて表されるため、上記テーブルは、例えば、図２に示した、グラフＧ２２、Ｇ２３のようなアナログゲイン、および露光期間を実現するように特定可能である。また、係る構成により、特定されたアナログゲイン、および露光期間は照度に応じて変化する。露光期間・アナログゲイン制御部１４２は、特定した画素群１１２Ａ、および画素群１１２Ｂの露光期間の情報をフレームレート制御部１４３に出力する。
　フレームレート制御部１４３は、画素群１１２Ａ、および画素群１１２Ｂの読出し間隔を特定し、特定された読出し間隔に応じてフレームレートを設定する。例えば、本実施形態に係るフレームレート制御部１４３は、画素群１１２Ａの撮像信号の読出し間隔が垂直同期期間であるように、画素群１１２Ａのフレームレートを設定してもよい。
　また、フレームレート制御部１４３は、暗所（例えば図２のグラフＧ２１における照度が照度Ｌ２４より小さい範囲）において、画素群１１２Ｂの読出し間隔が、画素群１１２Ａの読出し間隔よりも大きくなるように特定してもよい。また、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、垂直同期期間（画素群１１２Ａの読出し間隔）の自然数倍であるように、画素群１１２Ｂの読出し間隔を特定してもよい。
　また、フレームレート制御部１４３は、露光期間・アナログゲイン制御部１４２により特定される画素群１１２Ｂの露光期間に基づいて、画素群１１２Ｂの読出し間隔を特定してもよい。例えば、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、画素群１１２Ｂの露光期間以上であるように画素群１１２Ｂの読出し間隔を特定してもよい。
　例えば、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、画素群１１２Ｂの露光期間以上、かつ垂直同期期間（画素群１１２Ａの読出し間隔）の自然数倍である最も小さい読出し間隔であるように、画素群１１２Ｂの読出し間隔を特定してもよい。例えば、フレームレート制御部１４３は、画素群１１２Ｂの読出し間隔が、画素群１１２Ｂの露光期間以上、かつ垂直同期期間のｎ倍、となるような最も小さい自然数ｎを選択することで、画素群１１２Ｂの読出し間隔を特定することができる。
　図２のグラフＧ２３における照度Ｌ２４～照度Ｌ２５の範囲に示すように、照度が低下するに応じて、画素群１１２Ｂ（画素群Ｂ）の露光期間は大きくなるように設定され得る。したがって、上述したように画素群１１２Ｂの読出し間隔が特定されることで、画素群１１２Ｂの読出し間隔は、照度が低下するほど画素群１１２Ｂの読出し間隔が大きくなるように特定され得る。
　また、フレームレート制御部１４３は、画素群１１２Ａ，および画素群１１２Ｂのフレームレートを、特定された画素群１１２Ａ，および画素群１１２Ｂの読出し間隔の逆数に設定してもよい。
　なお、図３では、撮像装置１がイメージセンサ１１、および撮像制御部１４を備える例を説明したが、本技術は係る例に限定されない。イメージセンサ１１と撮像制御部１４とは、同一筐体内に備えられなくてもよく、例えば、イメージセンサ１１と撮像制御部１４が別々の装置により備えられてもよい。係る場合、撮像制御部１４を備える装置が、撮像制御装置の一例に相当する。
　（画像処理部の構成例）
　以上、撮像装置１の構成について説明した。続いて、撮像装置１が備える画像処理部１３の構成例について説明する。画像処理部１３の構成を説明するための、撮像装置１のブロック図である。図４に示すイメージセンサ１１、フレームメモリ１２、および撮像制御部１４の構成については図３を参照して説明したため、説明を省略する。
　画像生成部１３１は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とを合成して、全画素の撮像信号を生成する。この生成に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。即ち、長読み出し間隔以外のタイミングでは、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号が、全画素の撮像信号の生成に用いられる。画像生成部１３１は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１３４に供給する。なお、画像生成部１３１の構成例については、図７～９を参照して後述する。
　画素補間部１３２は、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号を補間して全画素の撮像信号を生成し、短読み出し間隔撮像信号として合成部１３４に供給する。
　合成比率計算部１３３は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。この計算に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。合成比率計算部１３３は、計算された合成比率を合成部１３４に供給する。なお、合成比率計算部１３３の構成例については、図１０～１２を参照して後述する。
　なお、合成比率計算部１３３は、長読み出し間隔で合成比率を計算するようにしてもよい。この場合、合成比率計算部１３３は、フレームメモリ１２から撮像信号を読み出さず、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と長読み出し間隔で読み出された撮像信号に基づいて、合成比率を計算する。
　合成部１３４は、合成比率計算部１３３から供給される合成比率に基づいて、画像生成部１３１から供給される両読み出し間隔撮像信号と画素補間部１３２から供給される短読み出し間隔撮像信号とを合成する。合成部１３４は、合成の結果得られる撮像信号を動画の撮像信号として出力する。
　（イメージセンサの構成例）
　図３、４に示したイメージセンサ１１の構成例を示す図である。
　図５に示すように、イメージセンサ１１は、複数の画素３２により構成される画素アレイ部３１、垂直走査回路３３、水平リセット線３４、選択線３５、垂直信号線３６、および水平走査回路３７により構成される。なお、図５に示す、垂直走査回路３３、および水平走査回路３７は、図３に示した画素駆動部１１４Ａ，１１４Ｂとして機能してもよい。
　画素アレイ部３１には、第１または第２の画素群に分類される複数の画素３２が２次元アレイ状（行列状）に配置されている。ここでは、画素３２は、２行ごとに同一の画素群に分類されている。
　２次元アレイ状に配置されている複数の画素３２は、水平リセット線３４および選択線３５により、行単位で垂直走査回路３３と接続されている。また、２次元アレイ状に配置されている複数の画素３２は、垂直信号線３６により、列単位で水平走査回路３７と接続されている。
　垂直走査回路３３は、画素アレイ部３１の画素３２の各行を順次選択し、選択された行の選択線３５に撮像信号を読み出させる読み出し信号を供給する。各行の画素３２は、この読み出し信号に応じて、内部に蓄積された電荷に応じた撮像信号を、垂直信号線３６に出力する。
　また、垂直走査回路３３は、各行の画素３２の水平リセット線３４に、その行の画素３２が属する画素群に対応する短読み出し間隔または長読み出し間隔だけ、読み出し信号を供給するより前に、リセット信号を供給する。リセット信号は、画素３２の内部に蓄積された電荷をリセットさせる信号である。各行の画素３２は、リセット信号に応じて、内部に蓄積された電荷をリセットし、電荷の蓄積(露光)を開始する。
　水平走査回路３７は、１行分の画素３２から短読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図４の画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。また、水平走査回路３７は、１行分の画素３２から長読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図４のフレームメモリ１２、画像生成部１３１、および合成比率計算部１３３に供給する。
　（画素配列の例）
　図５の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
　なお、図６において、正方形は画素を表し、その正方形の内部に付されたＲ，Ｇ，Ｂは、それぞれ、画素の有するカラーフィルタが赤色、緑色、青色であることを表す。また、画素を表す正方形の内部に付された１，２は、それぞれ、その画素の属する画素群が第１の画素群、第２の画素群であることを表す。さらに、図６では、画素アレイ部３１に配置される画素３２のうちの８×８個の画素３２のみ図示している。これらのことは、後述する図２４においても同様である。
　図６の例では、画素３２の配列がベイヤ配列となっている。また、図６に示すように、画素アレイ部３１の画素３２が属する画素群は、２行ごとに異なっている。具体的には、上から１行目および２行目の画素３２が属する画素群は、第２の画素群であり、３行目および４行目の画素３２が属する画素群は、第１の画素群である。また、５行目および６行目の画素３２が属する画素群は、第２の画素群であり、７行目および８行目の画素３２が属する画素群は、第１の画素群である。従って、図６の例では、各色に対して、第１の画素群に分類される画素３２と第２の画素群に分類される画素３２が存在する。
　（画像生成部の第１の構成例）
　図４の画像生成部１３１の第１の構成例を示すブロック図である。
　図７に示す画像生成部１３１は、ゲイン乗算部５１により構成される。画像生成部１３１には、垂直同期期間ごとに、図４のイメージセンサ１１またはフレームメモリ１２から長蓄画素の撮像信号が供給される。画像生成部１３１は、垂直同期期間ごとに、その長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として合成部１３４に供給する。
　また、画像生成部１３１には、垂直同期期間ごとに、イメージセンサ１１から短蓄画素の撮像信号が供給され、ゲイン乗算部５１に入力される。ゲイン乗算部５１は、入力された短蓄画素の撮像信号に対して、長蓄画素と短蓄画素の露光期間の比に対応するゲインを乗算する。ゲイン乗算部５１は、ゲインが乗算された短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図４の合成部１３４に供給する。
　（画像生成部の第２の構成例）
　図８は、図４の画像生成部１３１の第２の構成例を示すブロック図である。
　図８に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図８の画像生成部１３１の構成は、エッジ判定部７１、平滑化部７２、および合成部７３が新たに設けられる点が図７の構成と異なる。図８の画像生成部１３１は、短蓄画素の撮像信号の平坦化領域を平滑化することにより、短蓄画素の両読み出し間隔撮像信号のＳＮ比を改善する。
　具体的には、画像生成部１３１のエッジ判定部７１は、垂直同期期間ごとに、図４のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、画面内のエッジ領域を検出する。エッジ判定部７１は、そのエッジ領域を表すエッジ領域情報を合成部７３に供給する。
　平滑化部７２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号を平滑化し、合成部７３に供給する。
　合成部７３は、エッジ判定部７１から供給されるエッジ領域情報に基づいて、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号から、エッジ領域の短蓄画素の撮像信号を抽出する。また、合成部７３は、エッジ領域情報に基づいて、平滑化部７２から供給される平滑化後の短蓄画素の撮像信号から、エッジ領域以外の領域の短蓄画素の撮像信号を抽出する。合成部７３は、抽出されたエッジ領域の短蓄画素の撮像信号と、エッジ領域以外の領域の短蓄画素の撮像信号とを合成する。合成部７３は、合成の結果得られる短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図４の合成部１３４に供給する。
　（画像生成部の第３の構成例）
　図９は、図４の画像生成部１３１の第３の構成例を示すブロック図である。
　図９に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図９の画像生成部１３１の構成は、補間部９１、補間部９２、および合成部９３が新たに設けられる点が図７の構成と異なる。図９の画像生成部１３１は、補間により全画素の短読み出し間隔の撮像信号と長読み出し間隔の撮像信号を生成し、それらをＳＮ比が最大となる比率で合成することにより、両読み出し間隔撮像信号のＳＮ比を改善する。
　具体的には、画像生成部１３１の補間部９１は、図４のイメージセンサ１１から供給される長蓄画素の撮像信号に対して補間処理を行い、全画素の長読み出し間隔の撮像信号を生成する。補間部９１は、生成された全画素の長読出し間隔の撮像信号を合成部９３に供給する。
　補間部９２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号に対して補間処理を行い、全画素の短読み出し間隔の撮像信号を生成する。補間部９２は、生成された全画素の短読み出し間隔の撮像信号を合成部９３に供給する。
　合成部９３は、補間部９１から供給される全画素の長読み出し間隔の撮像信号と、補間部９２から供給される全画素の短読み出し間隔の撮像信号を、ＳＮ比が最大となる比率で合成する。短読み出し間隔の撮像信号の標準偏差をσＳとし、長読み出し間隔の撮像信号の標準偏差をσＬとしたとき、ＳＮ比が最大となる長読み出し間隔の撮像信号の比率はσＳ／（σＳ＋σＬ）であり、短読み出し間隔の撮像信号の比率はσＬ／（σＳ＋σＬ）である。合成部９３は、合成の結果得られる全画素の撮像信号を、両読み出し間隔撮像信号として図４の合成部１３４に供給する。
　（合成比率計算部の第１の構成例）
　図１０は、図４に示す合成比率計算部１３３の第１の構成例を示すブロック図である。
　図１０の合成比率計算部１３３は、プレフィルタ１０１、プレフィルタ１０２、差分絶対値演算部１０３、ノイズ推定部１０４、および閾値処理部１０５により構成される。
　合成比率計算部１３３のプレフィルタ１０１は、垂直同期期間ごとに、図４のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号に対してフィルタ処理を行う。このフィルタ処理は、撮像信号の各画素の位置を基準位置に変更するとともに、撮像信号のノイズを抑制する処理である。プレフィルタ１０１は、フィルタ処理後の長蓄画素の撮像信号を差分絶対値演算部１０３とノイズ推定部１０４に供給する。
　プレフィルタ１０２は、垂直同期期間ごとに、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、プレフィルタ１０１と同様のフィルタ処理を行う。プレフィルタ１０２は、フィルタ処理後の短蓄画素の撮像信号を差分絶対値演算部１０３に供給する。
　差分絶対値演算部１０３は、プレフィルタ１０１から供給される長蓄画素の撮像信号と、プレフィルタ１０２から供給される短蓄画素の撮像信号の差分絶対値を、基準位置ごとに演算する。差分絶対値演算部１０３は、各基準位置の差分絶対値を閾値処理部１０５に供給する。
　ノイズ推定部１０４は、プレフィルタ１０１から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部１０５に供給する。
　閾値処理部１０５は、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる閾値を決定する。例えば、閾値処理部１０５は、標準偏差σを第１の閾値に決定する。閾値処理部１０５は、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
　具体的には、閾値処理部１０５は、各基準位置の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する基準位置が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する基準位置が動被写体領域ではないと判定する。
　即ち、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値がノイズによるものではなく、動きによるものであると判定する。一方、閾値処理部１０５は、差分絶対値が第１の閾値より大きくはない場合、その差分絶対値がノイズによるものであると判定する。
　以上のように、閾値処理部１０５は、プレフィルタ１０１およびプレフィルタ１０２のフィルタ処理によってノイズが抑制された撮像信号を用いて動被写体領域を判定するため、判定精度が良い。
　閾値処理部１０５は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部１０５は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部１０５は、設定された各画素の合成比率を図４の合成部１３４に供給する。
　これにより、動きのない領域の動画の撮像信号では、ノイズの少ない長蓄画素の撮像信号の影響が大きくなり、動きのある領域の動画の撮像信号では、動きぼけの少ない短蓄画素の撮像信号の影響が大きくなる。その結果、撮像装置１は、ノイズや動きぼけの少ない高画質の動画の撮像信号を出力することができる。
　（合成比率の説明）
　図１１は、図１０の閾値処理部１０５により設定される合成比率のうちの両読み出し間隔撮像信号の比率の例を示す図である。
　図１１において、横軸は、図１０の差分絶対値演算部１０３により演算される差分絶対値を表し、縦軸は、両読み出し間隔撮像信号の比率を表す。
　図１１に示すように、基準位置の差分絶対値が第１の閾値以下であり、その基準位置が動被写体領域ではないと判定される場合、閾値処理部１０５は、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、例えば最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０（＝１－１）に設定される。
　一方、基準位置の差分絶対値が第１の閾値より大きく、その基準位置が動被写体領域であると判定される場合、閾値処理部１０５は、例えば、標準偏差σの３倍の値を第２の閾値に設定する。
　そして、閾値処理部１０５は、基準位置の差分絶対値が第１の閾値より大きく第２の閾値以下である場合、所定の関数にしたがって、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を設定する。所定の関数とは、差分絶対値が第１の閾値である場合に１となり、第２の閾値である場合に０となる、差分絶対値に比例する関数である。このとき、短読み出し間隔撮像信号の比率は、１から両読み出し間隔撮像信号の比率を減算した値に設定される。
　また、閾値処理部１０５は、基準位置の差分絶対値が第２の閾値より大きい場合、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最小値である０に設定する。このとき、短読み出し間隔撮像信号の比率は１に設定される。
　（合成比率計算部の第２の構成例）
　図１２は、図４の合成比率計算部１３３の第２の構成例を示すブロック図である。
　図１２に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１２の合成比率計算部１３３の構成は、統計量計算部１１１が新たに設けられる点、および、閾値処理部１０５の代わりに閾値処理部１１２が設けられる点が図１０の構成と異なる。図１２の合成比率計算部１３３は、動被写体領域ではない領域であっても、画面内の被写体のテクスチャが込み入っている場合、短読み出し間隔撮像信号の比率を０より大きい値に設定する。
　合成比率計算部１３３の統計量計算部１１１は、プレフィルタ１０１から出力されるフィルタ処理後の長蓄画素の撮像信号の分散値などの統計量を計算し、閾値処理部１１２に供給する。
　閾値処理部１１２は、図１０の閾値処理部１０５と同様に、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部１１２は、閾値処理部１０５と同様に、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
　閾値処理部１１２は、閾値処理部１０５と同様に、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように第２の閾値を用いて設定する。
　また、閾値処理部１１２は、統計量計算部１１１から供給される分散値に基づいて、画面内の被写体のテクスチャが込み入っているかどうかを判定する。閾値処理部１１２は、画面内の被写体のテクスチャが込み入っていると判定された場合、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最大値より小さい値（例えば０．５）に設定する。このとき、短読み出し間隔撮像信号の比率は、０．５（＝１－０．５）に設定される。
　一方、画面内の被写体のテクスチャが込み入っていないと判定された場合、閾値処理部１１２は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の短読み出し間隔撮像信号の比率を、最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０に設定される。
　以上により、被写体のテクスチャが込み入っている画面の動きのない領域の動画の撮像信号は、長蓄画素の撮像信号と短蓄画素の撮像信号の両方の影響を受ける。その結果、撮像装置１は、動画の撮像信号の画質を向上させることができる。
　＜＜３．動作例＞＞
　以上、図３～１２を参照しながら本実施形態に係る撮像装置１、および撮像装置１が備える各部の構成例について説明した。続いて、以下では、図１３を参照して本実施形態に係る動作例として、本実施形態に係る撮像装置１の処理を説明する。
　図１３は、本実施形態に係る撮像装置１の処理を説明するためのフローチャート図である。図１３に示す処理は、例えば垂直同期期間ごとに繰り返し行われる。
　図１３のステップＳ１０２において、撮像装置１のイメージセンサ１１は、短蓄画素の撮像信号を読み出し、画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。そして、イメージセンサ１１は、短蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
　ステップＳ１０４において、イメージセンサ１１は、撮像制御部１４により設定されるフレームレートに応じて、長蓄画素の撮像信号を読み出すか否かを判定する。例えば、イメージセンサ１１は、長読み出し間隔が垂直同期期間の２倍である場合、連続する２回の垂直同期期間のうちの最初の垂直同期期間時には、長蓄画素の撮像信号を読み出さないと判定し、最後の垂直同期期間時には、長蓄画素の撮像信号を読み出すと判定する。
　ステップＳ１０４で長蓄画素の撮像信号を読み出すと判定された場合、ステップＳ１０６において、イメージセンサ１１は、長蓄画素の撮像信号を読み出し、フレームメモリ１２、画像生成部１３１、および合成比率計算部１３３に供給する。そして、イメージセンサ１１は、長蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
　ステップＳ１０８において、フレームメモリ１２は、イメージセンサ１１から供給される長蓄画素の撮像信号を保持し、処理をステップＳ１１２に進める
　一方、ステップＳ１０４で長蓄画素の撮像信号を読み出さないと判定された場合、ステップＳ１１０において、画像生成部１３１と合成比率計算部１３３は、フレームメモリ１２に保持されている長蓄画素の撮像信号を読み出し、処理をステップＳ１１２に進める。
　ステップＳ１１２において、画像生成部１３１は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とを用いて、両読み出し間隔撮像信号を生成し、合成部１３４に供給する。
　ステップＳ１１４において、画素補間部１３２は、イメージセンサ１１から供給される短蓄画素の撮像信号を補間して短読み出し間隔撮像信号を生成し、合成部１３４に供給する。
　ステップＳ１１６において、合成比率計算部１３３は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部１３３は、計算された合成比率を合成部１３４に供給する。
　ステップＳ１１８において、合成部１３４は、合成比率計算部１３３から供給される合成比率に基づいて、画像生成部１３１から供給される両読み出し間隔撮像信号と画素補間部１３２から供給される短読み出し間隔撮像信号とを合成する。ステップＳ１２０において、合成部１３４は、合成の結果得られる撮像信号を動画の撮像信号として出力する。
　ステップＳ１２２において、画素値レベル評価部１４１は、イメージセンサ１１から供給される撮像信号に基づいて得られる画素値レベルを評価する。画素値レベル評価部は、例えば目標とする目標画素値レベルと現在の画素値レベルの比を、評価結果として露光期間・アナログゲイン制御部１４２に出力する。
　ステップＳ１２４において、露光期間・アナログゲイン制御部１４２とフレームレート制御部１４３は、露光パラメタ（露光期間、アナログゲイン、およびフレームレート）を特定（設定）し、処理を終了する。設定された露光パラメタは、次の処理におけるステップＳ１０４等において用いられてもよい。
　以上のように、撮像装置１は、短蓄画素と長蓄画素を有するイメージセンサ１１と、長蓄画素の撮像信号を保持するフレームメモリ１２、画像処理を行う画像処理部１３、および撮像を制御する撮像制御部１４を備える。従って、撮像装置１は、照度が低い暗所では、垂直同期期間より大きい読出し間隔により読出しを行い、垂直同期期間より大きい露光期間で動画撮影を行うことができる。よって、暗所における動画のＳＮ比を向上させることができる。
　＜＜４．変形例＞＞
　以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
　　＜４－１．変形例１＞
　上記実施形態の図２では、画素群Ｂ（第２の画素群、長畜画素、または画素群１１２Ｂ）のフレームレートは、画素群Ｂの撮像信号の読出し間隔が垂直同期期間の自然数倍となるように非連続的に設定される例を説明したが、本技術は係る例に限定されない。例えば、画素群Ｂのフレームレートは、照度に応じて連続的に変化するように設定されてもよく、以下ではそのような露光制御例を変形例１として説明する。
　図１４は、本技術において、画素群Ｂのフレームレートが照度に応じて連続的に変化するように設定される場合の露光制御例を示す説明図である。図２のグラフＧ２１～Ｇ２４と同様に、図１４のグラフＧ３１～Ｇ３４において、横軸は照度を示している。なお、図１４における照度Ｌ２１～照度Ｌ２５は、それぞれ図２における照度Ｌ２１～照度Ｌ２５と対応している。また、図２に示したグラフＧ２１～Ｇ２４と同様に、グラフＧ３１の縦軸はフレームレートを、グラフＧ３２の縦軸はアナログゲインを、グラフＧ３３の縦軸は露光期間を、グラフＧ３４の縦軸は画像輝度レベルを示している。
　本変形例に係る撮像装置は、画素群Ａについては、図２を参照して説明した露光制御例と同様に露光制御を行ってもよい。また、図１４のグラフＧ３２は、図２のグラフＧ２２と同様であり、本変形例に係る撮像装置は、図２のグラフＧ２２を参照して説明したようにアナログゲインの設定を行ってもよい。
　本変形例にかかる撮像装置は、グラフＧ３１に示すように、画素群Ｂのフレームレートを、照度に応じて連続的に変化するように設定してもよい。例えば、本変形例にかかる撮像装置は、グラフＧ３１に示すように、照度が照度Ｌ３４～照度Ｌ３５の範囲において、線形に変化するように、画素群Ｂのフレームレートを設定してもよい。係る構成により、図２を参照して説明した露光制御例と比較して、画素群Ｂのフレームレートの低下が抑えられ、画素群Ｂに基づく画像の動きぶれが低減され、当該画像を用いて合成される画像の動きぶれも低減される。
　また、グラフＧ３３に示すように、グラフＧ３１に示したように画素群Ｂのフレームレートが設定され場合であっても、画素群Ｂの露光期間は図２に示したグラフＧ２３の場合と同様に設定され得る。その結果、グラフＧ３４に示すように、画素群Ａに基づく画像と、画素群Ｂに基づく画像を合成して得られる画像は、図２に示したグラフＧ２４の場合と同様の画像輝度レベルを得ることが可能となる。従って、本変形例によれば、照度の低い暗所における動画の動きぶれを低減しつつ、ＳＮ比をより向上させることが可能である。
　なお、本変形例のように画素群Ｂのフレームレートが照度に応じて連続的に変化するように設定される場合、長読出し間隔が垂直同期期間の自然数倍にならない場合がある。そこで、例えば本変形例に係る撮像装置は、図１３を参照して説明したステップＳ１０４において、画素群Ｂ（長畜画素）の撮像信号を読み出すか否かを判定するため、垂直同期期間の情報によらずに長読出し間隔を制御する機能を有する。例えば、図３を参照して説明した撮像制御部１４が、長読出し間隔を制御する機能を有してもよい。
　　＜４－２．変形例２＞
　上記実施形態では、図４に示した画像処理部１３の構成例について説明したが、本開示に係る撮像装置が備える画像処理部の構成は図４に示した構成例に限定されない。以下では、画像処理部の他の構成例を備える本開示に係る撮像装置の例を幾つか説明する。
　（画像処理部の他の構成例１）
　図１５は画像処理部の他の構成例を備える撮像装置２のブロック図である。図１５に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１５の撮像装置２の構成は、画像処理部２１に動き補償部１３５が新たに設けられる点が、図４の撮像装置２の構成と異なる。撮像装置２は、フレームメモリ１２から読み出された長蓄画素の撮像信号の空間位相ずれを補償する動き補償を行う。
　具体的には、撮像装置２の動き補償部１３５には、フレームメモリ１２から読み出された長蓄画素の撮像信号が供給される。動き補償部１３５は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、長蓄画素の撮像信号の動き補償を行う。
　より詳細には、動き補償部１３５は、長蓄画素の撮像信号におけるぶれ量を推定する。動き補償部１３５は、推定されたぶれ量を補正するように、フレームメモリ１２から供給される長蓄画素の撮像信号に対して、並進、回転、アフィン変換、射影変換などの変換を行う。これにより、フレームメモリ１２から供給される長蓄画素の撮像信号の空間位相は、その撮像信号が読み出されるときの実際の空間位相に変更される。動き補償部１３５は、動き補償後の長蓄画素の撮像信号を画像生成部１３１と合成比率計算部１３３に供給する。
　撮像装置２が行う処理は、ステップＳ１１０とステップＳ１１２の間で、動き補償部１３５による動き補償が行われる点を除いて、図１３を参照して説明した撮像装置１の処理と同様であるので、説明は省略する。
　なお、動き補償部１３５は、ジャイロセンサなどにより計測されたイメージセンサ１１の動きを表す信号ではなく、過去の複数フレームの長蓄画素の撮像信号に基づいて検出された動きベクトルを用いて空間位相ずれを補償するようにしてもよい。
　（画像処理部の他の構成例２）
　図１６は画像処理部のさらに他の構成例を備える撮像装置３のブロック図である。図１６に示す構成のうち、図１５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１６の撮像装置３の構成は、画像処理部２２に動きぼけ補正部１３６が新たに設けられる点が、図１５の撮像装置２の構成と異なる。撮像装置２は、短蓄画素と長蓄画素の撮像信号のイメージセンサ１１の動きによる動きぼけを補正する。
　具体的には、撮像装置３の動きぼけ補正部１３６は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、動きぼけＰＳＦ（Point spread function）を推定する。動きぼけ補正部１３６は、動きぼけＰＳＦを用いて、イメージセンサ１１から供給される長蓄画素の撮像信号および短蓄画素の撮像信号、並びに、動き補償部１３５から供給される長蓄画素の撮像信号に対して動きぼけ補正を行う。動きぼけ補正の方法としては、動きぼけカーネルの逆変換を重畳する方法、ぼけ方向に応じたＨＰＦ(High Pass Filter)をかける方法などがある。
　動きぼけ補正部１３６は、動きぼけ補正後の長蓄画素の撮像信号を画像生成部１３１と合成比率計算部１３３に供給する。また、動きぼけ補正部１３６は、動きぼけ補正後の短蓄画素の撮像信号を画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。
　撮像装置２の処理は、ステップＳ１０８およびステップＳ１１０と、ステップＳ１１２との間で、動きぼけ補正部１３６による動きぼけの補正が行われる点を除いて、図１３を参照して説明した撮像装置１の処理と同様であるので、説明は省略する。
　（画像処理部の他の構成例３）
　図１７は画像処理部のさらに他の構成例を備える撮像装置４のブロック図である。
　図１７に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１７の撮像装置４の構成は、画像処理部２３にノイズ低減部１３７が新たに設けられる点が、図４の撮像装置１の構成と異なる。撮像装置４は、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。
　具体的には、撮像装置４のノイズ低減部１３７は、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素と短蓄画素の撮像信号のそれぞれに対して、ＬＰＦ（Low Pass Filter）または非線形平滑化手法を用いて、異なる強度でノイズ低減を行う。長蓄画素と短蓄画素の撮像信号に対するノイズ低減の強度の差異は、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて決定される。これにより、長蓄画素と短蓄画素における露光長の差異およびゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
　ノイズ低減部１３７は、ノイズ低減後の長蓄画素の撮像信号をフレームメモリ１２に供給して保持させるとともに、画像生成部１３１と合成比率計算部１３３に供給する。また、ノイズ低減部１３７は、ノイズ低減後の短蓄画素の撮像信号を画像生成部１３１、画素補間部１３２、および合成比率計算部１３３に供給する。
　撮像装置４の処理は、以下の点を除いて、図１３の処理と同様である。即ち、撮像装置４の処理は、ステップＳ１０２とステップＳ１０４の間でノイズ低減部１３７により短蓄画素の撮像信号に対してノイズ低減が行われる点が、図１３の処理と異なっている。また、撮像装置４の処理は、ステップＳ１０６とＳ１０８の間およびステップＳ１１０とＳ１１２の間で、ノイズ低減部１３７により長蓄画素の撮像信号のノイズ低減が行われる点が、図１３の処理と異なっている。
　なお、ノイズ低減部１３７は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。
　（画像処理部の他の構成例４）
　図１８は画像処理部のさらに他の構成例を備える撮像装置５のブロック図である。
　図１８に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１８に示す撮像装置５の構成は、画像処理部２４にノイズ低減部１３８とノイズ低減部１３９が新たに設けられる点が、図４の撮像装置１の構成と異なる。撮像装置５は、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。
　具体的には、撮像装置５のノイズ低減部１３８は、合成比率計算部１３３により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減の強度を決定する。
　即ち、両読み出し間隔撮像信号と短蓄撮像信号が合成される場合、両方の周波数特性を一致させた方が、合成結果の画質が向上する場合がある。従って、ノイズ低減部１３８は、例えば、両読み出し間隔撮像信号の合成比率が０または１である場合、即ち合成が行われない場合、ノイズ低減の強度を強くし、両読み出し間隔撮像信号の合成比率が０より大きく１未満である場合、ノイズ低減の強度を弱くする。
　ノイズ低減部１３８（両読み出し間隔ノイズ低減部）は、画像生成部１３１により生成された両読み出し間隔撮像信号に対して、ＬＰＦまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１３８は、ノイズ低減後の両読み出し間隔撮像信号を合成部１３４に供給する。
　ノイズ低減部１３９は、合成比率計算部１３３により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減部１３８と同様にノイズ低減の強度を決定する。ノイズ低減部１３９（短読み出し間隔ノイズ低減部）は、画素補間部１３２により生成された短読み出し間隔撮像信号に対して、ＬＰＦまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１３９は、ノイズ低減後の短読み出し間隔撮像信号を合成部１３４に供給する。
　以上のように、ノイズ低減部１３８とノイズ低減部１３９は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいてノイズ低減の強度を決定する。従って、ノイズ低減部１３８とノイズ低減部１３９は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
　撮像装置５の処理は、ステップＳ１１８とステップＳ１２０の間で、ノイズ低減部１３８とノイズ低減部１３９によるノイズ低減が行われる点を除いて、図１３の処理と同様であるので、説明は省略する。
　なお、ノイズ低減部１３８とノイズ低減部１３９は、合成比率によらず、複数のノイズ強度でノイズ低減を行い、合成部１３４が、合成比率に対応するノイズ強度のノイズ低減が行われた撮像信号を選択して合成するようにしてもよい。
　また、撮像装置５は、ノイズ低減部１３７を備えるようにしてもよい。また、ノイズ低減部１３８とノイズ低減部１３９は、同一の強度でノイズ低減を行うようにしてもよい。
　（画像処理部の他の構成例５）
　図１９は画像処理部のさらに他の構成例を備える撮像装置６のブロック図である。
　図１９に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１９の撮像装置６の構成は、フレームメモリ１２、および画像処理部１３の合成比率計算部１３３の代わりに、フレームメモリ２１１、および画像処理部２５の合成比率計算部２１２が設けられる点が、図４の撮像装置１の構成と異なる。撮像装置６は、合成対象の両読み出し間隔撮像信号と短読み出し間隔撮像信号の生成に用いられる長蓄画素および短蓄画素の撮像信号だけでなく、その撮像信号より前の時刻の撮像信号も用いて、合成比率を計算する。
　具体的には、撮像装置６のフレームメモリ２１１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、画素群ごとに２画面分だけ保持する。
　合成比率計算部２１２は、垂直同期期間ごとに、フレームメモリ２１１に保持されている、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号の直前の、同一の長蓄画素の撮像信号（以下、過去の長蓄画素の撮像信号という）を読み出す。
　また、イメージセンサ１１から長蓄画素の撮像信号が供給されない場合、合成比率計算部２１２は、フレームメモリ２１１から、合成対象の両読み出し間隔撮像信号の生成に用いられる、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号を読み出す。
　合成比率計算部２１２は、垂直同期期間ごとに、過去の長蓄画素の撮像信号、イメージセンサ１１またはフレームメモリ２１１から供給される長蓄画素の撮像信号、および、イメージセンサ１１から供給される短蓄画素の撮像信号に基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部２１２は、計算された合成比率を合成部１３４に供給する。
　（合成比率計算部の構成例）
　図２０は、図１９の合成比率計算部２１２の構成例を示すブロック図である。
　図２０の合成比率計算部２１２は、ＬＰＦ（Low Pass Filter）２３１および２３２、差分絶対値演算部２３３、LPF２３４および２３５、差分絶対値演算部２３６、ノイズ推定部２３７、閾値処理部２３８および２３９、並びに選択部２４０により構成される。
　合成比率計算部２１２のＬＰＦ２３１は、図１９のフレームメモリ２１１から読み出された過去の長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
　ＬＰＦ２３２は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
　差分絶対値演算部２３３は、長蓄画素ごとに、ＬＰＦ２３１から供給される長蓄画素の撮像信号と、ＬＰＦ２３２から供給される過去の長蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３８に供給する。
　ＬＰＦ２３４は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対して、ＬＰＦ２３１やＬＰＦ２３２に比べて強い強度でノイズ低減を行うとともに、各長蓄画素の位置を基準位置に変更する。ＬＰＦ２３４は、その結果得られる、ＬＰＦ２３２から出力される長蓄画素の撮像信号の帯域よりも低域の長蓄画素の撮像信号を、差分絶対値演算部２３６とノイズ推定部２３７に供給する。
　ＬＰＦ２３５は、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、ＬＰＦ２３１やＬＰＦ２３２に比べて強い強度でノイズ低減を行うとともに、各短蓄画素の位置を基準位置に変更する。ＬＰＦ２３５は、その結果得られる、ＬＰＦ２３２から出力される長蓄画素の撮像信号の帯域よりも低域の短蓄画素の撮像信号を、差分絶対値演算部２３６に供給する。
　差分絶対値演算部２３６は、基準位置ごとにＬＰＦ２３４から供給される長蓄画素の撮像信号と、ＬＰＦ２３５から供給される短蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３９に供給する。
　ノイズ推定部２３７は、ＬＰＦ２３４から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部２３８と閾値処理部２３９に供給する。
　閾値処理部２３８は、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、例えば、標準偏差σを、動被写体領域の判定に用いる第１の閾値に決定する。閾値処理部２３８は、差分絶対値演算部２３３から供給される各長蓄画素の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
　具体的には、閾値処理部２３８は、各長蓄画素の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部２３８は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する長蓄画素が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する長蓄画素が動被写体領域ではないと判定する。
　閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された長蓄画素に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３８は、動被写体領域の判定により動被写体領域ではないと判定された長蓄画素に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３８は、設定された各画素の合成比率を選択部２４０に供給する。
　閾値処理部２３９は、閾値処理部２３８と同様に、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部２３９は、差分絶対値演算部２３６から供給される各基準位置の差分絶対値と第１の閾値とを用いて、閾値処理部２３８と同様に、動被写体領域の判定を行う。
　閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３９は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３９は、設定された各画素の合成比率を選択部２４０に供給する。
　選択部２４０は、閾値処理部２３８から供給される合成比率と、閾値処理部２３９から供給される合成比率のうちの時間変化が小さい方の合成比率を選択する。これにより、合成比率を安定させることができる。選択部２４０は、選択された合成比率を図１９の合成部１３４に供給する。
　以上のように、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしに基づいて動被写体領域を判定する。従って、長蓄画素と短蓄画素の位置ずれを補償することにより、動被写体領域の判定精度が低下することを防止することができる。
　即ち、長蓄画素と短蓄画素の画素アレイ部３１上の位置は異なっている。従って、長蓄画素の撮像信号と短蓄画素の撮像信号の差分絶対値を求める際、各画素の位置が基準位置に変更されるが、これにより、静被写体領域であってもエッジ付近の領域では差分絶対値が大きくなり、動被写体領域と判定されることがある。これに対して、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしの差分絶対値を求めるため、撮像信号の画素位置を変更する必要がなく、高精度で動被写体判定を行うことができる。
　また、短蓄画素の撮像信号に比べて長蓄画素の撮像信号のノイズ量は少ないため、長蓄画素の撮像信号のみに基づいて動被写体領域を判定することにより、判定精度を高めることができる。
　図１９の撮像装置６の処理は、ステップＳ１１４とＳ１１６の間で、過去の長蓄画素の撮像信号が読み出される点、および、ステップＳ１１６で過去の長蓄画素の撮像信号も合成比率の計算に用いる点を除いて、図１３の処理と同様である。従って、説明は省略する。
　（画像処理部の他の構成例６）
　図２１は画像処理部のさらに他の構成例を備える撮像装置７のブロック図である。
　図２１に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２１の撮像装置７の構成は、フレームメモリ１２、および画像処理部１３の合成比率計算部１３３の代わりに、フレームメモリ２６１、および画像処理部２６の合成比率計算部２６２が設けられる点が、図４の撮像装置１の構成と異なる。撮像装置７は、長蓄画素の撮像信号どうしに基づいて決定された合成比率（以下、長蓄合成比率という）をフレームメモリ２６１に保持し、長蓄画素の撮像信号がイメージセンサ１１から読み出されないときの合成比率の選択に用いる。
　具体的には、画像処理装置２６０のフレームメモリ２６１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、画素群ごとに２画面分だけ保持する。また、フレームメモリ２６１は、合成比率計算部２６２から供給される長蓄合成比率を画素群ごとに１画面分だけ保持する。
　合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されたとき、フレームメモリ１２に保持されている過去の長蓄画素の撮像信号を読み出す。そして、合成比率計算部２６２は、フレームメモリ１２から読み出された過去の長蓄画素の撮像信号と、イメージセンサ１１から供給される長蓄画素の撮像信号とに基づいて、長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。
　一方、合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されないとき、フレームメモリ１２に保持されている、その長蓄画素のグループの長蓄合成比率を読み出す。
　また、合成比率計算部２６２は、垂直同期期間ごとに、イメージセンサ１１から供給される長蓄画素の撮像信号と短蓄画素の撮像信号に基づいて、合成比率（以下、両画素合成比率という）を計算する。合成比率計算部２６２は、垂直同期期間ごとに、計算された長蓄合成比率または読み出された長蓄合成比率と、両画素合成比率のうちの、時間変化が小さい方を選択する。合成比率計算部２６２は、選択された合成比率を合成部１３４に供給する。
　以上のように、撮像装置７は、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率を計算せず、その長蓄画素が属する画素群の前回計算された長蓄合成比率をフレームメモリ２６１から読み出して用いる。
　即ち、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算に用いられる長蓄画素の撮像信号は、その長蓄画素のグループの長蓄合成比率の前回の計算に用いられた長蓄画素の撮像信号である。従って、撮像装置７は、前回計算された長蓄合成比率を用いて、合成比率の選択を行う。これにより、撮像装置７は、同一の長蓄画素の撮像信号に基づいて長蓄合成比率を再度計算せずに済むため、計算コストを削減することができる。また、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算のために過去の長蓄画素の撮像信号をフレームメモリ２６１から読み出す必要がないので、フレームメモリ２６１の帯域を抑制することができる。
　（撮像装置の処理）
　図２２は、図２１の撮像装置７の処理を説明するフローチャート図である。図２２に示す処理は、例えば垂直同期期間ごとに繰り返し行われる。
　図２２のステップＳ２０２～Ｓ２１２の処理は、図１３のステップＳ１０２～Ｓ１０８，Ｓ１１２，およびＳ１１４の処理と同様であるので、説明は省略する。
　ステップＳ２１４において、撮像装置７の合成比率計算部２６２は、フレームメモリ２６１から過去の長蓄画素の撮像信号を読み出す。
　ステップＳ２１６において、合成比率計算部２６２は、イメージセンサ１１から供給される短蓄画素の撮像信号および長蓄画素の撮像信号、並びに、フレームメモリ２６１から読み出された過去の長蓄画素の撮像信号に基づいて、両画素合成比率と長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。そして、処理はステップＳ２２８に進む。
　一方、ステップＳ２０４で長蓄画素の撮像信号を読み出さないと判定された場合、処理はステップＳ２１８に進む。ステップＳ２１８～Ｓ２２２の処理は、図１３のステップＳ１１０～乃至Ｓ１１４の処理と同様であるので、説明は省略する。
　ステップＳ２２４において、合成比率計算部２６２は、フレームメモリ２６１から長蓄画素の撮像信号を読み出し、その長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、両画素合成比率を計算する。
　ステップＳ２２６において、合成比率計算部２６２は、ステップＳ２２４でフレームメモリ２６１から読み出された撮像信号に対応する画素群の前回計算された長蓄合成比率を、フレームメモリ２６１から読み出す。そして、処理はステップＳ２２８に進む。
　ステップＳ２２８において、合成比率計算部２６２は、両画素合成比率と長蓄合成比率のうちの時間変化の小さい方を選択し、合成部１３４に供給する。
　ステップＳ２３０～Ｓ２３６は、図１３のステップＳ１１８～Ｓ１２４の処理と同様であるので、説明は省略する。
　　＜４－３．変形例３＞
　上記実施形態では、図５，６に示したイメージセンサ１１の例について説明したが、本開示に係る撮像装置が備えるイメージセンサは図５，６に示した例に限定されない。以下では、本開示に係る撮像装置が備えるイメージセンサの他の例について説明する。
　（イメージセンサの他の構成例）
　図２３は、本開示に係るイメージセンサの他の構成例を示すブロック図である。図２３に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図２３のイメージセンサ２８０の構成は、水平リセット線３４の代わりに水平リセット線２８１および２８２が設けられる点が、図５のイメージセンサ１１の構成と異なる。イメージセンサ２８０では、同一の行で画素３２が属する画素群が異なっている。
　具体的には、イメージセンサ２８０の水平リセット線２８１および２８２は、画素３２の行単位で設けられる。各行の隣接する画素３２どうしの一方には、その行の水平リセット線２８１が接続され、他方には、水平リセット線２８２が接続される。また、各列の隣接する画素３２どうしの一方には、その画素３２の行の水平リセット線２８１が接続され、他方には、その画素３２の行の水平リセット線２８２が接続される。
　各行の水平リセット線２８１および２８２には、それぞれ、異なるタイミングで垂直走査回路３３からリセット信号が供給される。具体的には、各行の水平リセット線２８１と水平リセット線２８２の一方には、その行の選択線３５に読み出し信号が供給されるより短読み出し間隔だけ前にリセット信号が供給される。また、他方には、その行の選択線３５に読み出し信号が供給されるより長読み出し間隔だけ前にリセット信号が供給される。
　（画素配列の例）
　図２４は、図２３の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
　図２４に示すように、図２３の画素３２が属する画素群は、同一の行で異なっている。例えば、図２４のＡに示すように、画素３２の配列がベイヤ配列である場合、水平方向と垂直方向に並ぶ、赤色の画素３２どうしおよび青色の画素３２どうしの属する画素群が異なり、各行の緑色の画素３２の属する画素群が同一であるようにされる。
　また、図２４のＢに示すように、画素３２の配列が、４×４画素ごとに同一の色の画素３２となる配列である場合、または、図２４のＣに示すように、４×４画素のうちの左下の画素３２の色が赤色または青色であり、残りの３つの画素３２の色が緑色である配列である場合、水平方向および垂直方向に隣接する画素３２どうしの属する画素群が異なるようにされる。
　　＜４－４．変形例４＞
　上記実施形態では、読出し間隔が異なるように制御される第１の画素群と、第２の画素群とが、同一のイメージセンサに配置される例を説明したが、本技術は係る例に限定されない。例えば、第１の画素群と、第２の画素群とは、互いに異なるイメージセンサに配置される画素群であってもよく、また互いに異なる撮像装置が有する画素群であってもよい。以下では、変形例４として、第１の画素群と、第２の画素群とが、互いに異なる撮像装置が有する画素群である場合の撮像システムの例について説明する。
　図２５は、本変形例に係る撮像システムの構成例を示す説明図である。本変形例に係る撮像システムは、撮像装置４０Ａ，４０Ｂと、撮像制御装置６０と、を備える。
　撮像装置４０Ａ、および撮像装置４０Ｂは、例えば、同一、または略同一の撮像範囲（視野範囲）を撮像するように配置されてもよい。例えば、撮像装置４０Ａが有する画素群が、上記実施形態で説明した第１の画素群（画素群Ａ、画素群１１２Ａ）に対応し、撮像装置４０Ｂが有する画素群が、上記実施形態で説明した第２の画素群（画素群Ｂ、画素群１１２Ｂ）に対応する。
　撮像制御装置６０は、図２５に示すように、フレームメモリ１２、画像処理部６３、撮像制御部６４を備える情報処理装置である。撮像制御装置６０が備えるフレームメモリ１２は、図３を参照して説明したフレームメモリ１２と同様であるため、説明を省略する。
　画像処理部６３は、図４を参照して説明した画像処理部１３の機能に加え、例えば撮像装置４０Ａの撮像により得られる画像と、撮像装置４０Ｂの撮像により得られる画像との間で、画素の対応を特定する処理を行う機能を有してもよい。画素の対応を特定する処理は、例えばステレオマッチング処理が用いられてもよい。係る構成により、画像処理部６３による合成の精度が向上する。なお、係る場合、画像処理部６３は画素の対応に基づいて、被写体の距離情報を特定してもよく、動画の撮像信号と共に特定した距離情報を出力してもよい。
　撮像制御部６４は、撮像装置４０Ａ、および撮像装置４０Ｂが有する画素群に係る露光パラメタ（露光期間、アナログゲイン、およびフレームレート）を設定し、撮像を制御する。撮像制御部６４が露光パラメタを設定するために有する画素値レベル評価部１４１、露光期間・アナログゲイン制御部１４２、フレームレート制御部１４３の構成は、図３を参照して説明した撮像制御部１４が有する各部の構成と同様であるため、説明を省略する。
　係る構成により、撮像装置４０Ａ、４０Ｂの有する画素群の露光制御は、図２、または図１４を参照して説明した露光制御と同様に行われ、暗所における動画（画像処理部６３により出力される動画）のＳＮ比を向上させることが可能である。
　＜＜５．ハードウェア構成例＞＞
　（半導体基板に形成する場合の構成例）
　図２６は、上述した撮像装置を半導体基板（チップ）に形成した場合の半導体基板の構成を示す図である。
　図２６のＡおよび図２６のＢに示すように、上記実施形態、および変形例１～３における撮像装置のイメージセンサ１１（２８０）以外の構成は、例えば、回路３８１により実現される。この回路３８１は、例えば、図２６のＡに示すように、イメージセンサ１１（２８０）と同一の半導体基板３８２に形成される。または、図２６のＢに示すように、積層される半導体基板３８３と半導体基板３８４のうちの、イメージセンサ１１（２８０）が形成されない半導体基板３８４に形成される。
　また、図２６のＣに示すように、上記実施形態、および変形例１～３における撮像装置のイメージセンサ１１（２８０）以外の構成は、例えば、イメージセンサ１１（２８０）が形成される半導体基板３８３の後段のＤＳＰ(Digital Signal Processing)３８６により実現することもできる。
　また、図２６のＤおよび図２６のＥに示すように、上記実施形態、および変形例１～３における撮像装置のイメージセンサ１１（２８０）以外の構成は、例えば、回路３８８とＤＳＰ３８９により実現することもできる。この場合、図２６のＤに示すように、回路３８８は、イメージセンサ１１（２８０）と同一の半導体基板３８７に形成され、ＤＳＰ３８９は、半導体基板３８７の後段に設けられる。または、図２６のＥに示すように、回路３８８は、積層される半導体基板３８３と半導体基板３９０のうちの、イメージセンサ１１（２８０）が形成されない半導体基板３９０に形成され、ＤＳＰ３８９は、積層される半導体基板３８７と半導体基板３９０の後段に設けられる。
　（撮像制御装置の構成例）
　図２７は、上記変形例４における撮像制御装置６０のハードウェア構成の一例を示す説明図である。本開示にかかる露光制御処理、および画像処理等の情報処理は、ソフトウェアと、以下に説明する撮像制御装置６０のハードウェアとの協働により実現されてもよい。
　図２７に示したように、撮像制御装置６０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）６０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）６０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）６０３と、入力装置６０４と、出力装置６０５と、ストレージ装置６０６とを備える。
　ＣＰＵ６０１は、演算処理装置および制御装置として機能し、各種プログラムに従って撮像制御装置６０内の動作全般を制御する。また、ＣＰＵ６０１は、マイクロプロセッサであってもよい。ＲＯＭ６０２は、ＣＰＵ６０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ６０３は、ＣＰＵ６０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバスにより相互に接続されている。主に、ＣＰＵ６０１、ＲＯＭ６０２およびＲＡＭ６０３とソフトウェアとの協働により、画像処理部６３、撮像制御部６４の機能が実現される。
　入力装置６０４は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ６０１に出力する入力制御回路等から構成されている。撮像制御装置６０のユーザは、該入力装置６０４を操作することにより、撮像制御装置６０に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置６０５は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ装置、シースルーディスプレイ、およびランプ等の表示装置を含む。さらに、出力装置６０５は、スピーカおよびヘッドホン等の音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像等を表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
　ストレージ装置６０６は、データ格納用の装置である。ストレージ装置６０６は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置６０６は、ＣＰＵ６０１が実行するプログラムや各種データを格納する。
　＜＜６．むすび＞＞
　以上、説明したように、本開示の実施形態によれば、暗所における動画のＳＮ比をより向上させることが可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、一方の画素群の読出し間隔は、他方の画素群の読出し間隔より大きく、当該一方の画素群の露光期間は、当該他方の画素群の露光期間より大きく設定される場合を例に、構成例と処理を説明したが、本開示は係る例に限定されない。例えば、図２において、照度が照度Ｌ２４より大きい場合のように、２つの画素群の読出し間隔と露光期間がそれぞれ同一に設定される場合であっても、画像処理部は、一方を短蓄画素、他方を長蓄画素として上述した処理を行ってもよい。また、画像処理部は、入力された撮像信号が、２つの画素群の読出し間隔と露光期間がそれぞれ同一に設定されて読み出された撮像信号であることを検出して、入力される撮像信号をそのまま動画の撮像信号として出力してもよい。
　また、上記実施形態では、一方の画素群の読出し間隔は垂直同期期間である例を説明したが、本技術は係る例に限定されない。例えば、両方の画素群の読出し間隔がそれぞれ照度に応じて変化するように、撮像制御部によって制御されてもよい。また、読出し間隔が垂直同期期間である画素群と、読出し間隔が照度に応じて変化する画素群と、が時刻に応じて、入れ替わってもよい。
　また、上記実施形態では、画素が２つの画素群に分類される例を説明したが、本技術は係る例に限定されない。例えば、画素は３つ以上の画素群に分類され、当該３つ以上の画素群の露光パラメタが、それぞれ撮像制御部によって設定されてもよい。
　また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、
　前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置。
（２）
　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔よりも大きくなるように制御する、前記（１）に記載の撮像制御装置。
（３）
　前記第１の画素群の撮像信号と、前記第２の画素群の撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
　前記第１の画素群の撮像信号を補間し、前記第１の画素群の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
　前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
　をさらに備える前記（２）に記載の撮像制御装置。
（４）
　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔の自然数倍であるように制御する、前記（１）～（３）のいずれか一項に記載の撮像制御装置。
（５）
　前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、前記照度に応じて連続的に変化する、前記（１）～（３）のいずれか一項に記載の撮像制御装置。
（６）
　前記撮像制御部は、前記照度が低下するほど前記第２の画素群の撮像信号の読出し間隔が大きくなるように、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（１）～（５）のいずれか一項に記載の撮像制御装置。
（７）
　前記撮像制御部は、前記第２の画素群の露光期間を特定し、特定された前記第２の画素群の露光期間に基づいて、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（１）～（６）のいずれか一項に記載の撮像制御装置。
（８）
　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（７）に記載の撮像制御装置。
（９）
　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上、かつ前記第１の画素群の撮像信号の読出し間隔の自然数倍である最も小さい読出し間隔であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、前記（８）に記載の撮像制御装置。
（１０）
　前記撮像制御部は、前記第１の画素群、または前記第２の画素群に含まれる画素から得られる画素値レベルに基づいて、前記第２の画素群の露光期間を特定する、前記（７）～（９）のいずれか一項に記載の撮像制御装置。
（１１）
　第１の画素群と第２の画素群を含む複数の画素、および
　前記第１の画素群の撮像信号の読出し間隔と前記第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部、を備え、
　前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像装置。
　１　撮像装置
　１１　イメージセンサ
　１２　フレームメモリ
　１３　画像処理部
　１４　撮像制御部
　１１２Ａ，１１２Ｂ　画素群
　１１４Ａ，１１４Ｂ　画素駆動部
　１３１　画像生成部
　１３２　画素補間部
　１３３　合成比率計算部
　１３４　合成部
　１３５　動き補償部
　１３６　動きぼけ補正部
　１３７　ノイズ低減部
　１４１　画素値レベル評価部
　１４２　露光期間・アナログゲイン制御部
　１４３　フレームレート制御部

Claims (11)

  1. 　第１の画素群の撮像信号の読出し間隔と第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部を備え、
    　前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像制御装置。
  2. 　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔よりも大きくなるように制御する、請求項１に記載の撮像制御装置。
  3. 　前記第１の画素群の撮像信号と、前記第２の画素群の撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
    　前記第１の画素群の撮像信号を補間し、前記第１の画素群の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
    　前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
    　をさらに備える請求項２に記載の撮像制御装置。
  4. 　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第１の画素群の撮像信号の読出し間隔の自然数倍であるように制御する、請求項１に記載の撮像制御装置。
  5. 　前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、前記照度に応じて連続的に変化する、請求項１に記載の撮像制御装置。
  6. 　前記撮像制御部は、前記照度が低下するほど前記第２の画素群の撮像信号の読出し間隔が大きくなるように、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項１に記載の撮像制御装置。
  7. 　前記撮像制御部は、前記第２の画素群の露光期間を特定し、特定された前記第２の画素群の露光期間に基づいて、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項１に記載の撮像制御装置。
  8. 　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項７に記載の撮像制御装置。
  9. 　前記撮像制御部は、前記第２の画素群の撮像信号の読出し間隔が、前記第２の画素群の露光期間以上、かつ前記第１の画素群の撮像信号の読出し間隔の自然数倍である最も小さい読出し間隔であるように、前記第２の画素群の撮像信号の読出し間隔を特定する、請求項８に記載の撮像制御装置。
  10. 　前記撮像制御部は、前記第１の画素群、または前記第２の画素群に含まれる画素から得られる画素値レベルに基づいて、前記第２の画素群の露光期間を特定する、請求項７に記載の撮像制御装置。
  11. 　第１の画素群と第２の画素群を含む複数の画素、および
    　前記第１の画素群の撮像信号の読出し間隔と前記第２の画素群の撮像信号の読出し間隔とが異なるように撮像を制御する撮像制御部、を備え、
    　前記第１の画素群の撮像信号の読出し間隔、または前記第２の画素群の撮像信号の読出し間隔は、照度に応じて変化する、撮像装置。
PCT/JP2016/079434 2016-01-15 2016-10-04 撮像制御装置、および撮像装置 WO2017122394A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016006609A JP2017126964A (ja) 2016-01-15 2016-01-15 撮像制御装置、および撮像装置
JP2016-006609 2016-01-15

Publications (1)

Publication Number Publication Date
WO2017122394A1 true WO2017122394A1 (ja) 2017-07-20

Family

ID=59311148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/079434 WO2017122394A1 (ja) 2016-01-15 2016-10-04 撮像制御装置、および撮像装置

Country Status (2)

Country Link
JP (1) JP2017126964A (ja)
WO (1) WO2017122394A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6550424B2 (ja) 2017-06-29 2019-07-24 株式会社フジクラ 光デバイスの製造方法
EP4183549A1 (en) * 2020-07-17 2023-05-24 Nissei ASB Machine Co., Ltd. Operation abnormality detection method, method for manufacturing resin container, operation abnormality detection device, device for manufacturing resin container, and device for manufacturing resin preform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238000A (ja) * 2001-02-09 2002-08-23 Sony Corp 撮像装置及び撮像方法
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2015080180A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置及びその制御方法
WO2015060143A1 (ja) * 2013-10-21 2015-04-30 ソニー株式会社 固体撮像素子および電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238000A (ja) * 2001-02-09 2002-08-23 Sony Corp 撮像装置及び撮像方法
JP2012257193A (ja) * 2011-05-13 2012-12-27 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2015080180A (ja) * 2013-10-18 2015-04-23 キヤノン株式会社 撮像装置及びその制御方法
WO2015060143A1 (ja) * 2013-10-21 2015-04-30 ソニー株式会社 固体撮像素子および電子機器

Also Published As

Publication number Publication date
JP2017126964A (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
CN102724400B (zh) 图像处理设备及其控制方法
US9560290B2 (en) Image processing including image correction
JP5625371B2 (ja) 画像処理装置、および信号処理方法、並びにプログラム
JP6381215B2 (ja) 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
JP5243833B2 (ja) 画像信号処理回路、画像表示装置、および画像信号処理方法
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
CN102629976B (zh) 图像处理设备和图像处理设备的控制方法
JP4806476B2 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
JP5234150B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP2007028573A (ja) 画像処理装置および撮像装置
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6087612B2 (ja) 画像処理装置および画像処理方法
JP5089783B2 (ja) 画像処理装置及びその制御方法
JP2014021928A (ja) 画像処理装置、画像処理方法およびプログラム
US9215353B2 (en) Image processing device, image processing method, image display device, and image display method
US8699827B2 (en) Imaging apparatus, signal processing method, and program
JP2007325253A (ja) ビデオ信号に関する再帰的フィルタ・システム
WO2017122394A1 (ja) 撮像制御装置、および撮像装置
JPWO2017154293A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP6038352B2 (ja) 画像処理装置及び方法、並びにプログラム及び記録媒体
US10091442B2 (en) Image processing apparatus and image processing method
JP2008219230A (ja) 撮像装置及び画像処理方法
US7750974B2 (en) System and method for static region detection in video processing
JP2008035278A (ja) 画素情報読出方法および撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884997

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16884997

Country of ref document: EP

Kind code of ref document: A1