WO2017010047A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2017010047A1
WO2017010047A1 PCT/JP2016/002945 JP2016002945W WO2017010047A1 WO 2017010047 A1 WO2017010047 A1 WO 2017010047A1 JP 2016002945 W JP2016002945 W JP 2016002945W WO 2017010047 A1 WO2017010047 A1 WO 2017010047A1
Authority
WO
WIPO (PCT)
Prior art keywords
exposure
imaging
imaging data
electrode
unit pixel
Prior art date
Application number
PCT/JP2016/002945
Other languages
English (en)
French (fr)
Inventor
嘉晃 佐藤
康夫 三宅
井上　恭典
徳彦 玉置
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP21152918.5A priority Critical patent/EP3833004A1/en
Priority to JP2016571426A priority patent/JP6128406B1/ja
Priority to CN201680002194.6A priority patent/CN106576145B/zh
Priority to EP16824033.1A priority patent/EP3322178B1/en
Publication of WO2017010047A1 publication Critical patent/WO2017010047A1/ja
Priority to US15/497,193 priority patent/US10594948B2/en
Priority to US16/782,411 priority patent/US11025832B2/en
Priority to US17/243,101 priority patent/US11388349B2/en
Priority to US17/834,558 priority patent/US11722784B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14632—Wafer-level processed structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Definitions

  • This application relates to an imaging apparatus, and more particularly to an imaging apparatus capable of multiple exposure.
  • Imaging systems are widely used in consumer and industrial fields.
  • an imaging apparatus that performs exposure and readout (sometimes referred to as “normal exposure”) once in one frame period is generally used.
  • An imaging device that performs a plurality of times of exposure and one time of readout in one frame period is known.
  • the multiple exposures are generally called “multiple exposure”.
  • imaging data that is sequentially captured is superimposed, and the superimposed imaging data is read as one imaging data.
  • the imaging data obtained by the multiple exposure includes information on subject changes, for example, motion information.
  • a stationary object that does not move, such as a background, is imaged in the same way as in normal exposure even in multiple exposure.
  • multiple exposure can reflect the change in the imaging data. According to multiple exposure, the locus of movement of the subject can be confirmed with a single image. Thus, multiple exposure is useful for moving object analysis and analysis of high-speed phenomena.
  • Patent Document 1 discloses an imaging apparatus capable of imaging by multiple exposure (hereinafter referred to as “multiple exposure imaging”) while changing the exposure period. According to the imaging apparatus, a more natural and continuous image can be obtained with high dynamic resolution.
  • an imaging apparatus is an image acquisition unit that acquires a plurality of imaging data at a plurality of timings in one frame period and multiplexes the plurality of imaging data.
  • the imaging data includes an image acquisition unit including at least two imaging data having different degrees of common display attributes, and an image output unit having an output interface that outputs imaging data multiplexed by the image acquisition unit.
  • the comprehensive or specific mode may be realized by a recording medium such as a system, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the comprehensive or specific aspect may be realized by any combination of a system, a method, an integrated circuit, a computer program, or a recording medium.
  • an imaging device that can further improve imaging of a moving subject.
  • FIG. 1 is a schematic diagram of a block configuration of an imaging apparatus 100 according to the first exemplary embodiment.
  • FIG. 2A is a schematic diagram of a typical block configuration of the image acquisition unit 120.
  • FIG. 2B is a schematic cross-sectional view of the unit pixel cell 121.
  • FIG. 3 is a timing chart showing typical operation timings of multiple exposure in one frame period.
  • FIG. 4 is a schematic diagram showing imaging data obtained by multiple exposure imaging.
  • FIG. 5 is a timing chart showing a change in potential difference (change in voltage applied to the first electrode 121A) between the first electrode 121A and the second electrode 121B in multiple exposure in one frame period.
  • FIG. 6 is a schematic diagram illustrating an image of multiplexed imaging data and an image of imaging data separated individually.
  • FIG. 7 is a schematic diagram showing an image of individual imaging data in which the degree of common display attributes is set to their maximum values.
  • FIG. 8A is a schematic diagram illustrating a state in which an identifier is superimposed on multiplexed imaging data.
  • FIG. 8B is a schematic diagram illustrating a state in which an identifier is superimposed on multiplexed imaging data.
  • FIG. 9A is a schematic diagram illustrating imaging data that has been subjected to processing for making the degree of display attributes common to the imaging data illustrated in FIG. 8A the same.
  • FIG. 9B is a schematic diagram illustrating imaging data that has been subjected to processing for making the degree of display attributes common to the imaging data illustrated in FIG. 8B the same.
  • FIG. 9A is a schematic diagram illustrating imaging data that has been subjected to processing for making the degree of display attributes common to the imaging data illustrated in FIG. 8A the same.
  • FIG. 9B is a schematic diagram illustrating imaging data that has been subjected to processing for making the
  • FIG. 10 is a schematic diagram of a block configuration of the imaging apparatus 101 according to the second exemplary embodiment.
  • FIG. 11 is a timing chart showing typical operation timings of multiple exposure in one frame period.
  • FIG. 12A is a schematic diagram illustrating an example of a multiple exposure image.
  • FIG. 12B is a schematic diagram illustrating an example of a multiple exposure image.
  • FIG. 13A is a timing chart showing typical operation timings of multiple exposure in one frame period.
  • FIG. 13B is a schematic diagram illustrating an example of a multiple exposure image.
  • FIG. 14 is a schematic diagram of a block configuration of the imaging apparatus 102 according to the fourth exemplary embodiment.
  • Patent Document 1 proposes a method in which the exposure period is changed between each of multiple exposure imaging, and the brightness at the time of imaging is changed in time series.
  • the exposure period is closely related to the speed of the subject. Therefore, the exposure period that can be used is limited in order to take a blur-free image. Further, since the exposure interval is not constant, it is impossible to accurately capture an image with respect to the time axis.
  • the present inventor has come up with an imaging apparatus having a novel structure.
  • This disclosure includes the imaging devices described in the following items.
  • An image acquisition unit that acquires a plurality of imaging data at a plurality of timings in one frame period and multiplexes the plurality of imaging data, wherein the plurality of imaging data includes at least two imaging data having different degrees of common display attributes
  • An image acquisition unit including And an image output unit having an output interface for outputting imaging data multiplexed by the image acquisition unit.
  • individual imaging data can be discriminated in time series in the multiplexed imaging data.
  • An image acquisition unit that acquires a plurality of imaging data at a plurality of timings in one frame period and multiplexes the plurality of imaging data, wherein the plurality of imaging data includes at least two imaging data having different degrees of common display attributes
  • An image acquisition unit including An output interface that separates the imaging data multiplexed by the image acquisition unit into imaging data related to each of the plurality of imaging data based on subject information and individually outputs at least one of the separated imaging data And an image output unit.
  • individual imaging data can be discriminated in time series in the multiplexed imaging data.
  • moving image data such as a frame advance moving image can be obtained from multiplexed imaging data acquired in one frame period.
  • Item 3 The imaging device according to Item 1 or 2, wherein the degree of common display attribute is different among the plurality of pieces of imaging data.
  • An image acquisition unit that acquires a plurality of imaging data at a plurality of timings in one frame period and multiplexes the plurality of imaging data;
  • An image output unit that superimposes an identifier indicating a time transition when a plurality of imaging data is acquired on imaging data multiplexed by the image acquisition unit, and an image output unit having an output interface that outputs the superimposed imaging data;
  • An imaging apparatus comprising:
  • individual imaging data can be discriminated in time series in the multiplexed imaging data.
  • the imaging device described in item 10 it is possible to immediately check the captured image by displaying it on the display device.
  • the image acquisition unit includes a pixel array in which unit pixel cells are two-dimensionally arranged,
  • the unit pixel cell is A photoelectric conversion unit having a first electrode, a second electrode, and a photoelectric conversion film between the first electrode and the second electrode, and photoelectrically converting incident light;
  • a charge detection circuit connected to the second electrode and detecting a signal charge generated in the photoelectric conversion unit;
  • an imaging device having an image sensor including a photoelectric conversion unit can be provided.
  • the sensitivity per unit time of the unit pixel cell can be changed by changing the potential difference between the first and second electrodes.
  • Item 12 The imaging device according to Item 11, wherein the sensitivity per unit time of the unit pixel cell changes between the multiple exposure imaging.
  • [Item 14] Including a plurality of unit pixel cells;
  • the unit pixel cells included in the plurality of unit pixel cells acquire first imaging data in a first exposure period within one frame period, and are different from the first exposure period in the one frame period.
  • 2nd imaging data is acquired in the exposure period of 2
  • Sensitivity per unit time of the unit pixel cell is different between the first exposure period and the second exposure period,
  • An imaging apparatus that outputs multiple exposure image data including at least the first imaging data and the second imaging data.
  • the unit pixel cell is A first electrode, a second electrode facing the first electrode, a photoelectric conversion film that is between the first electrode and the second electrode and generates a signal charge by photoelectric conversion;
  • a photoelectric conversion unit including: A signal detection circuit that is electrically connected to the second electrode and detects the signal charge; 15.
  • the unit pixel cell acquires imaging data in each of a plurality of different exposure periods within the one frame period, Items 14 to 18 in which the sensitivity per unit time of the unit pixel cell in the previous exposure time among the plurality of exposure periods is higher than the sensitivity per unit time of the unit pixel cell in the subsequent exposure period.
  • the imaging device according to any one of the above.
  • the unit pixel cell acquires imaging data corresponding to each of a plurality of different exposure periods within the one frame period; Items 14 to 18 in which the sensitivity per unit time of the unit pixel cell in the previous exposure time among the plurality of exposure periods is lower than the sensitivity per unit time of the unit pixel cell in the subsequent exposure period.
  • the imaging device according to any one of the above.
  • the unit pixel cell acquires imaging data corresponding to each of a plurality of different exposure periods within the one frame period; Item 19.
  • a signal processing circuit for processing the multiple exposure image data including the first imaging data and the second imaging data acquired by the unit pixel cell;
  • the signal processing circuit extracts, from the multiple exposure image data, first image data based on the first imaging data and second image data based on the second imaging data.
  • the imaging device according to any one of the above.
  • Item 23 The imaging device according to Item 22, wherein the brightness or color of a subject image with movement differs between the first image data and the second image data.
  • the signal processing circuit performs processing for aligning brightness or color of a subject image with motion in the multiple exposure image data based on the extracted first image data and second image data.
  • Item 23 The item 22, wherein the signal processing circuit adds, to the multiple-exposure image data, an identifier that indicates a temporal change of a subject image that accompanies movement based on the extracted first image data and second image data. Imaging device.
  • FIG. 1 schematically shows a block configuration of an imaging apparatus 100 according to the first embodiment.
  • FIG. 2A schematically illustrates a typical block configuration of the image acquisition unit 120.
  • FIG. 2B schematically shows a cross section of the unit pixel cell 121.
  • the imaging apparatus 100 includes an optical system 110, an image acquisition unit 120, an image output unit 130, and a system controller 140.
  • the optical system 110 includes an aperture, a camera shake correction lens, a zoom lens, a focus lens, and the like.
  • the subject image can be enlarged or reduced by moving the zoom lens along the optical axis. Further, the focus position of the subject image can be adjusted by moving the focus lens along the optical axis.
  • the number of lenses constituting the optical system 110 is appropriately determined according to the required function.
  • the image acquisition unit 120 is a so-called image sensor. As shown in FIG. 2A, for example, the image acquisition unit 120 includes a pixel array in which a plurality of unit pixel cells 121 are two-dimensionally arranged and a peripheral drive circuit.
  • the peripheral drive circuit has a row scanning circuit 122 and a column scanning circuit 123.
  • the plurality of unit pixel cells 121 are electrically connected to the row scanning circuit 122 and the column scanning circuit 123 through each signal line.
  • the peripheral drive circuit further includes a voltage control circuit 124. The voltage control circuit 124 will be described later.
  • the unit pixel cell 121 includes a photoelectric conversion unit 121D that photoelectrically converts incident light and a charge detection circuit 121F.
  • the photoelectric conversion unit 121D includes a first electrode 121A, a second electrode 121B, and a photoelectric conversion film 121C between the first electrode 121A and the second electrode 121B.
  • the charge detection circuit 121F is provided on the semiconductor substrate 121H, and is electrically connected to the second electrode 121B via the contact plug 121E in the interlayer insulating layer 121G.
  • the charge detection circuit 121F can detect the signal charge generated in the photoelectric conversion unit 121D.
  • the unit pixel cell 121 is typically a stacked cell having a photoelectric conversion film, but may be a cell including a silicon photodiode.
  • the image acquisition unit 120 includes a control circuit that changes the degree based on a control signal indicating the degree of common display attributes, that is, a control signal corresponding to the degree of common display attributes in the obtained imaging data. Yes.
  • the image acquisition unit 120 acquires a plurality of imaging data having different degrees of common display attributes at a plurality of timings in one frame period, and multiplexes the plurality of imaging data. That is, in one frame period, the photoelectric conversion unit 121D acquires a plurality of pieces of imaging data having different degrees of common display attributes at a plurality of timings.
  • the charge detection circuit 121F reads imaging data including the plurality of imaging data.
  • the charge detection circuit 121F may read out the plurality of imaging data separately. In that case, a plurality of imaging data read by the charge detection circuit 121F is superimposed after being read.
  • the common display attribute will be described later.
  • the image output unit 130 has an output buffer 131.
  • the image output unit 130 outputs imaging data to the outside via the output buffer 131.
  • the image output unit 130 can output the imaging data multiplexed by the image acquisition unit 120 to the outside.
  • the data output from the image output unit 130 is typically RAW data, for example, a 12-bit width signal.
  • the output data is, for example, H.264.
  • the compressed data may be compressed in accordance with the H.264 standard.
  • the compressed data is, for example, an 8-bit width signal.
  • the image output unit 130 is connected to the H.264.
  • a video codec that generates compressed data in accordance with the H.264 standard may be included.
  • the system controller 140 controls the entire imaging apparatus 100. More specifically, the system controller 140 controls the optical system 110, the image acquisition unit 120, and the image output unit 130.
  • the system controller 140 is typically a semiconductor integrated circuit, for example, a CPU (Central Processing Unit).
  • the imaging device 100 can be connected to an external device 200 including a signal processing circuit 210, a display device 220, and the like.
  • the external device 200 is a personal computer or a smartphone.
  • the imaging apparatus 100 is electrically connected to a signal processing circuit 210, for example, a DSP (Digital Signal Processor).
  • the signal processing circuit 210 receives an output signal from the imaging apparatus 100 and performs processing such as gamma correction, color interpolation processing, spatial interpolation processing, and auto white balance, for example.
  • the display device 220 is, for example, a liquid crystal display and an organic EL (electroluminescence) display, and displays an image based on an output signal from the signal processing circuit 210.
  • output data from the imaging apparatus 100 may be temporarily stored in a recording medium such as a flash memory.
  • FIG. 3 shows a typical operation timing of multiple exposure in one frame period.
  • VD in the figure indicates a start pulse for one frame period.
  • the exposure signal is a signal indicating whether the exposure is valid or invalid.
  • the Hi period is an effective period (exposure state), and the Low period is an invalid period (non-exposure state).
  • the display attribute setting signal is a signal for setting a common display attribute level. The higher the set signal pulse height, the higher the common display attribute level. Note that the exposure signal and the display attribute setting signal may be a single signal having both functions.
  • the common display attribute is at least one of brightness and color.
  • the brightness is the brightness obtained from the RGB signal of each pixel cell, and the color is the hue or saturation obtained from the RGB signal.
  • Each of the pulse waveforms of the exposure signal and the display attribute setting signal indicates the exposure period and the degree of the common display attribute.
  • Each pulse waveform that is, a control signal is supplied to the image acquisition unit 120.
  • These control signals may be control signals generated by the system controller 140, or may be control signals generated inside the image acquisition unit 120.
  • FIG. 3 shows an example in which exposure is performed five times in one frame period.
  • the image acquisition unit 120 multiplexes a plurality of imaging data acquired in each imaging. In other words, a plurality of imaging data is superimposed to obtain one imaging data.
  • a subject having no movement such as a background is imaged in each exposure period by the unit pixel cell 121 located at the same position in the pixel array. Then, imaging data is accumulated by the same unit pixel cell 121.
  • a subject that moves between each imaging is imaged by a unit pixel cell in the pixel array positioned at the exposure timing. As a result, if the unit pixel cells 121 involved in imaging are different in all five exposures, the respective imaging data are superimposed as five independent images.
  • the imaging data obtained in each exposure period can be changed by performing each imaging by changing the degree of the common display attribute according to the display attribute setting signal. For example, it is possible to acquire a plurality of pieces of image data having different brightness values by changing the brightness of the image data between the respective images. Therefore, in the superimposed imaging data, the degree of the common display attribute is different between the five images of the moving subject.
  • FIG. 4 schematically illustrates imaging data obtained by the multiple exposure imaging shown in FIG. Differences in the degree of common display attributes are expressed individually by brightness. It shows that it is the newest imaging data in time series, so that the brightness is high. It can be seen that the time series of the acquired imaging data can be determined from the brightness information.
  • the method of changing the degree of common display attributes is arbitrary.
  • the regularity of this change is determined when the system is started. Since it is known, the time series of the same moving subject image can be determined from the imaging data obtained by multiple exposure, not limited to the above-described example.
  • the time-series change in the degree of the common display attribute is typically monotonic increase or monotonic decrease. However, the time series change of the degree of the common display attribute may be random.
  • the exposure periods of multiple exposure are typically all equal, and the exposure intervals are all equal. This can be said to be significantly different from the conventional technique for adjusting the exposure period.
  • each exposure period can be made variable as in the prior art.
  • the sensitivity per unit time of the unit pixel cell 121 is changed for each imaging in multiple exposure.
  • the sensitivity per unit time can be changed by changing the potential difference between the first electrode 121A and the second electrode 121B of the photoelectric conversion unit 121D (see FIG. 2B).
  • a detailed description of such sensitivity change is described in, for example, Japanese Patent Application Laid-Open No. 2007-104113. The entire disclosure is hereby incorporated by reference.
  • the method of changing sensitivity (or regularity of change) in imaging is arbitrary.
  • the time series change in sensitivity is typically monotonic increase or monotonic decrease. However, the time series change in sensitivity may be random.
  • the image acquisition unit 120 includes a control circuit that changes the degree based on the control signal indicating the degree of the common display attribute.
  • the control circuit may be a voltage control circuit 124 (see FIG. 2A) that controls the voltage applied to the first electrode 121A and the second electrode 121B.
  • the voltage control circuit 124 may be provided on the semiconductor substrate 121H or may be provided outside the semiconductor substrate 121H.
  • the plurality of unit pixel cells 121 are electrically connected to the voltage control circuit 124 through photoelectric conversion film control lines. Specifically, the potential of the second electrode 121B is equal to the potential of the charge detection circuit 121F, and the photoelectric conversion film control line is electrically connected to the first electrode 121A.
  • the voltage control circuit 124 applies a predetermined potential to the first electrode 121A based on a control signal indicating the degree of common display attributes.
  • FIG. 5 schematically shows a change in potential difference (change in voltage applied to the first electrode 121A) between the first electrode 121A and the second electrode 121B in multiple exposure in one frame period.
  • the degree of the common display attribute corresponds to the potential difference between the first electrode 121A and the second electrode 121B. It means that the higher the height of the signal pulse for setting the potential difference, the larger the potential difference.
  • the Low level corresponds to a level where photoelectric conversion is not performed.
  • the Low level corresponds to a level at which global shutter operation is possible.
  • Levels other than the Low level correspond to levels sufficient for photoelectric conversion.
  • the Hi level corresponds to a level at which photoelectric conversion is performed to the maximum. Therefore, as the potential difference increases, the sensitivity of the unit pixel cell 121 increases. Multiple exposure imaging is performed by repeating a cycle including Low and other potential difference levels a plurality of times. Sensitivity during each exposure period is changed by changing the potential difference between each imaging.
  • the potential difference between the first electrode 121A and the second electrode 121B can be changed between the multiple exposure imaging, and the multiple exposure and the sensitivity change in each imaging can be made compatible by the global shutter operation. become.
  • the degree of the common display attribute specifically, brightness
  • images with different brightness can be acquired in each of the multiple exposure images, it is possible to check the time series of the subject image in motion in one multiplexed image data.
  • a common display attribute can be a color.
  • the spectral characteristics can be changed by changing the voltage applied to the photoelectric conversion film.
  • the sensitivity of each color can be increased or decreased by increasing or decreasing the voltage applied to the photoelectric conversion film corresponding to each of R, G, and B colors.
  • Such characteristics can be applied to the present disclosure. For example, assume that the subject is white. In that case, if the sensitivity is controlled to decrease in the order of blue and green, the color of the subject can be changed so as to decrease the color temperature in order of white, yellow, and red.
  • Japanese Unexamined Patent Application Publication No. 2009-005061 discloses a technique for changing spectral characteristics by changing a charge trapping region by changing a bias voltage to a substrate in an image sensor including a silicon photodiode. . According to this technique, when the bias voltage is increased, the sensitivity on the long wavelength side is relatively lowered. Such characteristics can be applied to the present disclosure. For example, in the case of a white subject, by increasing the bias voltage, the subject color can be changed so as to increase the color temperature in order of white, light blue, and blue.
  • the color can be made a common display attribute by widely using various known techniques.
  • dynamically changing the spectral characteristics of the unit pixel cell 121 between each imaging it is possible to acquire a plurality of imaging data having different common display attributes, that is, different degrees of color, at a plurality of timings in one frame period.
  • the image output unit 130 may extract subject images with motion from the imaging data multiplexed by the image acquisition unit 120 and separate them into individual imaging data.
  • FIG. 6 schematically shows an image of multiplexed imaging data and an image of imaging data separated individually.
  • the imaging data in FIG. 6A corresponds to the multiplexed imaging data shown in FIG.
  • the image acquisition unit 120 acquires a plurality of imaging data having different levels of common display attributes at a plurality of timings in one frame period, and multiplexes the plurality of imaging data.
  • the image output unit 130 can detect the pattern of the same subject image based on the subject information from the multiplexed imaging data.
  • the subject information is a pattern related to the shape, brightness, and color of the subject.
  • the image output unit 130 can separate the multiplexed imaging data into individual imaging data based on the pattern detection result. Then, the image output unit 130 can arrange the individual imaging data separated based on the change information of the degree of the common display attribute in time series.
  • the output buffer 131 can individually output at least one of the separated imaging data in the time series order.
  • a plurality of pieces of imaging data each having a temporal order relationship can be generated based on one multiplexed imaging data.
  • the multiplexed five circular subject images shown in FIG. 6 (a) can be individually separated into the five imaging data shown in FIG. 6 (b).
  • a continuous image such as a moving image can be obtained.
  • moving image data such as a frame advance moving image can be obtained from multiplexed imaging data acquired in one frame period.
  • the moving image data can be reproduced on the external device 200 side and the frame-by-frame moving image can be displayed on the display device 220.
  • multiplexing the imaging data also has an effect on the compression of the data amount output from the image acquisition unit 120.
  • data acquired at very short time intervals can be multiplexed. For this reason, it is also possible to reproduce a time domain phenomenon that is difficult to capture as a slow motion video.
  • the image output unit 130 may process a plurality of pieces of imaging data obtained in chronological order so that the degree of common display attributes is the same in order to improve visibility.
  • the image output unit 130 may use the change information of the known common display attribute level to align the common display attribute level of the individual image data with their maximum values.
  • it is not limited to the maximum value, and for example, it may be aligned with the average value thereof.
  • FIG. 7 schematically shows images of individual imaging data in which the degree of common display attributes is set to their maximum values. Since the brightness of the circular subject image is the same among the individual image data, the impression of the moving image is improved when the image data is reproduced as a moving image.
  • the image output unit 130 can superimpose on the multiplexed imaging data an identifier indicating a time transition when a plurality of imaging data is acquired by the image acquisition unit 120.
  • the image output unit 130 can determine a time series from the change information of the degree of the common display attribute, and can superimpose an arrow indicating a time transition on the multiplexed imaging data.
  • the image output unit 130 can attach a number representing the time transition to the periphery of the subject image.
  • the identifier is not limited to the illustrated example, and may be a number or character such as an alphabet, a figure such as an arrow, and a symbol such as ⁇ or ⁇ .
  • the image output unit 130 superimposes the identifier indicating the time transition when the plurality of pieces of imaging data have been acquired by the image acquisition unit 120 on the multiplexed imaging data, and further sets the common display attribute level to be the same.
  • a plurality of imaging data obtained in sequence order may be processed. Thereby, visibility can further be improved.
  • FIG. 9A schematically shows an image of imaging data that has been subjected to processing for making the degree of display attributes common to the imaging data shown in FIG. 8A the same.
  • FIG. 9B schematically illustrates an image of imaging data that has been subjected to processing for making the degree of display attributes common to the imaging data illustrated in FIG. 8B the same.
  • the time series can be sufficiently discriminated. Note that if the lightness is different in each of the multiple exposure images, the visibility of the subject image with low lightness is inevitably lowered. Therefore, the image output unit 130 can use the known change information of the common display attribute level to align the common display attribute levels of the individual image data with their maximum values.
  • the present embodiment in the multiple exposure image obtained in one frame period, it is possible to determine the temporal order relationship of moving subject images or the subject image acquired at a specific timing. For example, by connecting the imaging device 100 to the external device 200, a subject image can be displayed on the display device 220 based on each of multiplexed imaging data or a plurality of imaging data.
  • the imaging apparatus 101 according to the second embodiment is different from the imaging apparatus 100 according to the first embodiment in that an external signal detection unit 150 is provided.
  • an external signal detection unit 150 is provided.
  • FIG. 10 schematically shows a block configuration of the imaging apparatus 101 according to the second embodiment.
  • the imaging apparatus 100 includes an optical system 110, an image acquisition unit 120, an image output unit 130, a system controller 140, and an external signal detector 150.
  • the external signal detector 150 detects external signals related to external sound, light, vibration, inclination, and the like.
  • the external signal detector 150 transmits a display attribute setting signal to the system controller 140 according to the external signal.
  • the display attribute setting signal may be a binary value of Hi or Low, or may be a continuous value that changes in an analog manner within a certain range.
  • the external signal detector 150 is a photodetector or a microphone.
  • a microphone that is a sound pressure detector can be used as the external signal detector 150.
  • sound pressure is taken out as a voltage.
  • the conversion characteristics are expressed in units such as mV / Pa, and the output voltage changes linearly with respect to the sound pressure.
  • the external signal detector 150 can generate a display attribute setting signal with reference to a lookup table in which the relationship between the output voltage obtained from the microphone and the display attribute setting signal level is associated.
  • the external signal detector 150 may transmit an external signal to the system controller 140, and the system controller 140 may refer to a lookup table and determine the level of the display attribute setting signal according to the external signal.
  • FIG. 11 shows a typical operation timing of multiple exposure in one frame period.
  • the external signal indicates the signal level detected by the external signal detection unit 150.
  • the external signal is the sound pressure described above.
  • FIG. 11 shows discrete signal levels obtained by detecting the magnitude of sound emitted from a moving object. As in the first embodiment, the exposure periods in the multiple exposure are all equal, and the exposure intervals are all equal.
  • Time t1 to time t5 in the figure show the timing for determining the display attribute setting signal level at the time of each imaging of the multiple exposure shooting.
  • the system controller 140 samples the external signal level before each multiple exposure imaging, and determines a setting level corresponding to the display attribute level. Each imaging is performed according to the set level of the determined display attribute level.
  • FIG. 12A and FIG. 12B show examples of multiple exposure images. Differences in the degree of common display attributes are expressed individually by brightness. That is, the difference in sound level is visually recognized as a difference in brightness by changing the sensitivity of the unit pixel cell 121.
  • FIG. 12A shows an example of image data obtained by performing multiple exposure imaging using the conventional technique
  • FIG. 12B shows an example of image data obtained by multiple exposure imaging by the imaging apparatus 101 according to the present embodiment. ing.
  • the brightness changes according to the level of sound. Differences that can identify the change in state between the subject images can be confirmed, and it can be seen that the state of the subject is changing.
  • the imaging apparatus according to the present embodiment is different from the imaging apparatus 100 according to the first embodiment in that the display attribute setting signal is changed at a specific timing.
  • the imaging apparatus according to the present embodiment has the block configuration shown in FIG. 1, similarly to the imaging apparatus 100 according to the first embodiment.
  • FIG. 13A shows a typical operation timing of multiple exposure in one frame period.
  • the display attribute setting signal level is changed for each imaging of multiple exposure.
  • the display attribute setting signal level is changed at a specific timing. For example, as shown in the figure, it is assumed that imaging is performed 15 times in one frame period. The 15 imaging operations are divided into three groups, and the display attribute setting signal level is changed every 5 imaging operations.
  • the time series change of the degree of the common display attribute is monotonously increasing, monotonically decreasing, or random. In the example shown in FIG. 13A, the time series change is monotonically increasing.
  • the imaging device 102 according to the fourth embodiment is different from the imaging device 100 according to the first embodiment in that a display device 180 is provided.
  • a display device 180 is provided.
  • FIG. 14 schematically shows a block configuration of the imaging apparatus 102 according to the third embodiment.
  • the imaging device 102 is, for example, a smartphone, a digital camera, a video camera, or the like.
  • the imaging device 102 includes an optical system 110, an image acquisition unit 120, a signal processing circuit 160, a system controller 170, and a display device 180.
  • the imaging device 102 may further include the external signal detector 150 described in the second embodiment.
  • the signal processing circuit 160 is, for example, a DSP.
  • the signal processing circuit 160 receives output data from the image acquisition unit 120 and performs processing such as gamma correction, color interpolation processing, spatial interpolation processing, and auto white balance, for example.
  • the signal processing circuit 160 has a function corresponding to the image output unit 130 described above.
  • the signal processing circuit 160 outputs multiplexed imaging data, a plurality of individually separated imaging data, imaging data in which an identifier is superimposed on the imaging data, and the like.
  • the display device 180 is, for example, a liquid crystal display or an organic EL display. Based on the output signal from the signal processing circuit 160, for example, the images shown in FIGS. 4, 6, 7, 8A, 8B, 9A, 9B, and 12B can be displayed. It goes without saying that the display device 180 can display an image obtained by normal exposure.
  • the display device 180 may include an input interface such as a touch panel. Thereby, the user can set the selection, control, and imaging conditions of the processing contents of the signal processing circuit 160 via the input interface using the touch pen.
  • the system controller 170 controls the entire imaging apparatus 102.
  • the system controller 170 is typically a semiconductor integrated circuit, for example, a CPU.
  • GUI Graphic User Interface
  • the imaging apparatus can be used for a digital camera, a digital video camera, a camera-equipped mobile phone, a medical camera such as an electronic endoscope, an in-vehicle camera, and a robot camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

撮像装置（１００）は、複数の単位画素セル（１２１）を含み、複数の単位画素セルに含まれる単位画素セルは、１フレーム内の第１の露光期間において第１の撮像データを取得し、１フレーム内の第１の露光期間とは異なる第２の露光期間において第２の撮像データを取得し、単位画素セルの単位時間当たりの感度は、第１の露光期間と第２の露光期間とで異なっている。撮像装置（１００）は、少なくとも第１の撮像データと第２の撮像データとを含む多重露光画像データを出力する。

Description

撮像装置
　本願は撮像装置に関し、特に多重露光が可能な撮像装置に関する。
　撮像システムが、民生分野および産業分野などに幅広く普及している。撮像システムにおいては、１フレーム期間に１回の露光および読み出し（「通常露光」と呼ぶ場合がある。）を行う撮像装置が通常用いられている。また、１フレーム期間に複数回の露光および１回の読み出しを行う撮像装置が知られている。その複数回の露光は、一般に「多重露光」と呼ばれている。多重露光では順次撮像される撮像データが重畳されて、重畳された撮像データは１つの撮像データとして読み出される。
　多重露光により得られた撮像データは、被写体の変化の情報、例えば動き情報を含んでいる。背景のような動かない静止体は、多重露光でも通常露光と同様に撮像される。一方、動きを伴う被写体を撮像する場合、多重露光によると、その変化を撮像データに反映できる。多重露光によれば、被写体の動きの軌跡を１枚の画像で確認できる。このように、多重露光は動体解析および高速現象の解析に有用である。
　例えば特許文献１が、露光期間を変えながら多重露光による撮像（以下、「多重露光撮像」と呼ぶ。）が可能な撮像装置を開示している。その撮像装置によると、動解像度が高くより自然で連続的な画像が得られる。
特開２００１－１９７３７３号公報
　上述した従来の撮像装置では、動きのある被写体撮像のさらなる向上が求められていた。
　上記課題を解決するために、本開示の一態様による撮像装置は、１フレーム期間において複数の撮像データを複数のタイミングで取得し、複数の撮像データを多重化する画像取得部であって、複数の撮像データは、共通の表示属性の程度が異なる少なくとも２つの撮像データを含む画像取得部と、画像取得部によって多重化された撮像データを出力する出力インタフェースを有する画像出力部と、を備える。
　なお、包括的又は具体的な態様は、システム、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一態様によると、動きのある被写体撮像のさらなる向上が可能な撮像装置を提供できる。
図１は、例示的な第１の実施形態による撮像装置１００のブロック構成の模式図である。 図２Ａは、画像取得部１２０の典型的なブロック構成の模式図である。 図２Ｂは、単位画素セル１２１の断面模式図である。 図３は、１フレーム期間における多重露光の典型的な動作タイミングを示すタイミングチャートである。 図４は、多重露光撮像で得られる撮像データを示す模式図である。 図５は、１フレーム期間における多重露光において、第１電極１２１Ａおよび第２電極１２１Ｂの間の電位差の変化（第１電極１２１Ａに印加する電圧の変化）の様子を示すタイミングチャートである。 図６は、多重化された撮像データのイメージおよび個々に分離された撮像データのイメージを示す模式図である。 図７は、共通の表示属性の程度をそれらの最大値に揃えた個々の撮像データのイメージを示す模式図である。 図８Ａは、多重化された撮像データに識別子を重畳した様子を示す模式図である。 図８Ｂは、多重化された撮像データに識別子を重畳した様子を示す模式図である。 図９Ａは、図８Ａに示される撮像データに共通の表示属性の程度を同一にする処理を施した撮像データを示す模式図である。 図９Ｂは、図８Ｂに示される撮像データに共通の表示属性の程度を同一にする処理を施した撮像データを示す模式図である。 図１０は、例示的な第２の実施形態による撮像装置１０１のブロック構成の模式図である。 図１１は、１フレーム期間における多重露光の典型的な動作タイミングを示すタイミングチャートである。 図１２Ａは多重露光画像の例を示す模式図である。 図１２Ｂは多重露光画像の例を示す模式図である。 図１３Ａは、１フレーム期間における多重露光の典型的な動作タイミングを示すタイミングチャートである。 図１３Ｂは多重露光画像の例を示す模式図である。 図１４は、例示的な第４の実施形態による撮像装置１０２のブロック構成の模式図である。
　本開示による実施形態を説明する前に、本願発明者が考察した従来技術の問題点を説明する。
　例えば特許文献１は、多重露光の各撮像の間で露光期間を変化させ、撮像時の明度を時系列に変化させる方法を提案している。しかしながら、露光期間は被写体の速度に密接に関連する。そのため、ブレのない画像を撮るためには使用可能な露光期間は制限される。また、露光間隔も一定ではなくなるので、時間軸に対して正確に撮像することができなくなる。
　このような課題に鑑み、本願発明者は新規な構造を備えた撮像装置に想到した。
　本開示は、下記の項目に記載の撮像装置を含んでいる。
　〔項目１〕
　１フレーム期間において複数の撮像データを複数のタイミングで取得し、複数の撮像データを多重化する画像取得部であって、複数の撮像データは、共通の表示属性の程度が異なる少なくとも２つの撮像データを含む画像取得部と、
　画像取得部によって多重化された撮像データを出力する出力インタフェースを有する画像出力部と、を備える撮像装置。
　項目１に記載の撮像装置によると、多重化された撮像データにおいて個々の撮像データを時系列に判別することができる。
　〔項目２〕
　１フレーム期間において複数の撮像データを複数のタイミングで取得し、複数の撮像データを多重化する画像取得部であって、複数の撮像データは、共通の表示属性の程度が異なる少なくとも２つの撮像データを含む画像取得部と、
　画像取得部によって多重化された撮像データを、複数の撮像データの各々に関連した撮像データに被写体情報に基づいて分離し、分離された撮像データの少なくとも１つを個々に出力する出力インタフェースを有する画像出力部と、を備える撮像装置。
　項目２に記載の撮像装置によると、多重化された撮像データにおいて個々の撮像データを時系列に判別することができる。例えば、１フレーム期間で取得された多重化された撮像データからコマ送り動画のような動画像データを得ることができる。
　〔項目３〕
　複数の撮像データの各データの間で共通の表示属性の程度は異なる、項目１または２に記載の撮像装置。
　〔項目４〕
　共通の表示属性は、明るさおよび色の少なくとも一方である、項目１から３のいずれかに記載の撮像装置。
　項目４に記載の撮像装置によると、共通の表示属性のバリエーションを提供できる。
　〔項目５〕
　共通の表示属性の程度の時系列変化は、単調増加または単調減少である、項目１から４のいずれかに記載の撮像装置。
　〔項目６〕
　共通の表示属性の程度の時系列変化はランダムである、項目１から４のいずれかに記載の撮像装置。
　〔項目７〕
　画像出力部は、複数の撮像データが取得された時間推移を示す識別子を多重化された撮像データに重畳する、項目１から６のいずれかに記載の撮像装置。
　項目７に記載の撮像装置によると、表示属性の程度の違いに加えて識別子も付記されるので、多重化された撮像データにおいて個々の撮像データを時系列に判別することが容易になる。
　〔項目８〕
　１フレーム期間において複数のタイミングで複数の撮像データを取得し、複数の撮像データを多重化する画像取得部と、
　複数の撮像データが取得された時間推移を示す識別子を画像取得部によって多重化された撮像データに重畳する画像出力部であって、重畳された撮像データを出力する出力インタフェースを有する画像出力部と、を備える撮像装置。
　項目８に記載の撮像装置によると、多重化された撮像データにおいて個々の撮像データを時系列に判別することができる。
　〔項目９〕
　画像取得部は、１フレーム期間において複数のタイミングで複数の撮像データを多重露光で取得し、多重露光の各露光期間の長さは全て等しい、項目１から８のいずれかに記載の撮像装置。
　〔項目１０〕
　画像出力部から出力された撮像データに基づいて画像を表示する表示装置をさらに備える、項目１から９のいずれかに記載の撮像装置。
　項目１０に記載の撮像装置によると、撮影画像を表示装置に表示することでそれをすぐに確認することができる。
　〔項目１１〕
　画像取得部は、単位画素セルが２次元に配列された画素アレイを含み、
　単位画素セルは、
　　第１電極、第２電極、および第１電極と第２電極との間の光電変換膜を有し、入射光を光電変換する光電変換部と、
　　第２電極に接続され、光電変換部で発生した信号電荷を検出する電荷検出回路と、
　を含み、
　画像取得部は、１フレーム期間においてグローバルシャッタおよび多重露光によって複数の撮像データを複数のタイミングで取得する、項目１から１０のいずれかに記載の撮像装置。
　項目１１に記載の撮像装置によると、光電変換部を備えるイメージセンサを有する撮像装置を提供できる。
　〔項目１２〕
　画像取得部は、多重露光の各撮像の間で、第１および第２電極の間の電位差を変化させる、項目１１に記載の撮像装置。
　項目１２に記載の撮像装置によると、第１および第２電極の間の電位差を変化させることにより、単位画素セルの単位時間当たりの感度を変化させることができる。
　〔項目１３〕
　多重露光の各撮像の間で、単位画素セルの単位時間当たりの感度が変化する、項目１１に記載の撮像装置。
　〔項目１４〕
　複数の単位画素セルを含み、
　前記複数の単位画素セルに含まれる単位画素セルは、１フレーム期間内の第１の露光期間において第１の撮像データを取得し、前記１フレーム期間内の前記第１の露光期間とは異なる第２の露光期間において第２の撮像データを取得し、
　前記単位画素セルの単位時間当たりの感度は、前記第１の露光期間と前記第２の露光期間とで異なっており、
　少なくとも前記第１の撮像データと前記第２の撮像データとを含む多重露光画像データを出力する、撮像装置。
　〔項目１５〕
　前記単位画素セルは、
　第１の電極と、前記第１の電極に対向する第２の電極と、前記第１の電極と前記第２の電極との間にあり、光電変換により信号電荷を発生する光電変換膜と、を含む光電変換部と、
　前記第２の電極に電気的に接続され、前記信号電荷を検出する信号検出回路と、を含み、
　前記第１の電極と第２の電極と間の電位差は、前記第１の露光期間と前記第２の露光期間とで異なっている、項目１４に記載の撮像装置。
　〔項目１６〕
　前記第１の電極に電圧を供給する電圧制御回路をさらに備え、
　前記電圧制御回路は、前記第１の露光期間と前記第２の露光期間とで異なる電圧を前記第１の電極に供給する、項目１５に記載の撮像装置。
　〔項目１７〕
　前記第１の露光期間と前記第２の露光期間との間に非露光期間を有し、
前記非露光期間において、前記信号検出回路が前記信号電荷を検出しないように前記第１の電極と第２の電極と間の電位差が設定されている、項目１５または項目１６に記載の撮像装置。
　〔項目１８〕
　前記第１の露光期間の長さと前記第２の露光期間の長さとは等しい、項目１４～１７のいずれかに記載の撮像装置。
　〔項目１９〕
　前記単位画素セルは、前記１フレーム期間内の互いに異なる複数の露光期間のそれぞれにおいて撮像データを取得し、
　前記複数の露光期間のうち先の露光時間における前記単位画素セルの単位時間当たりの感度の方が、後の露光期間における前記単位画素セルの単位時間当たりの感度よりも高い、項目１４～１８のいずれかに記載の撮像装置。
　〔項目２０〕
　前記単位画素セルは、前記１フレーム期間内の互いに異なる複数の露光期間のそれぞれに対応して撮像データを取得し、
　前記複数の露光期間のうち先の露光時間における前記単位画素セルの単位時間当たりの感度の方が、後の露光期間における前記単位画素セルの単位時間当たりの感度よりも低い、項目１４～１８のいずれかに記載の撮像装置。
　〔項目２１〕
　前記単位画素セルは、前記１フレーム期間内の互いに異なる複数の露光期間のそれぞれに対応して撮像データを取得し、
　前記複数の露光期間のそれぞれにおける前記単位画素セルの単位時間当たりの感度は、ランダムに設定される、項目１４～１８のいずれかに記載の撮像装置。
　〔項目２２〕
　前記単位画素セルによって取得された前記第１の撮像データおよび前記第２の撮像データを含む前記多重露光画像データを処理する信号処理回路をさらに備え、
　前記信号処理回路は、前記多重露光画像データから、前記第１の撮像データに基づく第１の画像データと、前記第２の撮像データに基づく第２の画像データとを抽出する、項目１４～１８のいずれかに記載の撮像装置。
　〔項目２３〕
　前記第１の画像データと前記第２の画像データとの間で、動きを伴う被写体像の明るさまたは色が異なる、項目２２に記載の撮像装置。
　〔項目２４〕
　前記信号処理回路は、抽出された第１の画像データおよび第２の画像データに基づいて、前記多重露光画像データにおいて、動きを伴う被写体像の明るさ又は色を揃える処理を行う、項目２３に記載の撮像装置。
　〔項目２５〕
　前記信号処理回路は、抽出された第１の画像データおよび第２の画像データに基づいて、動きを伴う被写体像の時間変化を示す識別子を、前記多重露光画像データに付加する、項目２２に記載の撮像装置。
　本開示の一態様によれば、多重化された撮像データにおいて個々の撮像データの時系列を判別することが可能になる。
　以下、図面を参照しながら、本開示による実施形態を説明する。なお、本開示は、以下の実施形態に限定されない。また、本発明の効果を奏する範囲を逸脱しない範囲で、適宜変更は可能である。さらに、一の実施形態と他の実施形態とを組み合わせることも可能である。以下の説明において、同一または類似する構成要素については同一の参照符号を付している。また、重複する説明は省略する場合がある。さらに、例示するパルス波形のパルス間隔、パルス幅、パルスの振幅、および他信号との位相関係は例示に限定されず、任意に設定され得る。
　（第１の実施形態）
　〔１．１．撮像装置１００の構造〕
　図１は、第１の実施形態による撮像装置１００のブロック構成を模式的に示している。図２Ａは、画像取得部１２０の典型的なブロック構成を模式的に示している。図２Ｂは、単位画素セル１２１の断面を模式的に示している。
　撮像装置１００は、光学系１１０と、画像取得部１２０と、画像出力部１３０と、システムコントローラ１４０と、を備えている。
　光学系１１０は、絞り、手振れ補正レンズ、ズームレンズおよびフォーカスレンズなどを有している。ズームレンズを光軸に沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズを光軸に沿って移動させることにより、被写体像の合焦位置を調整することができる。なお、光学系１１０を構成するレンズの数は要求される機能に応じて適宜決定される。
　画像取得部１２０は、いわゆるイメージセンサである。図２Ａに示されるように、例えば画像取得部１２０は、複数の単位画素セル１２１が二次元に配列された画素アレイおよび周辺駆動回路を含んでいる。周辺駆動回路は、行走査回路１２２および列走査回路１２３を有している。複数の単位画素セル１２１は、各信号線を介して行走査回路１２２および列走査回路１２３に電気的に接続されている。周辺駆動回路は、電圧制御回路１２４をさらに含んでいる。電圧制御回路１２４については後述する。
　図２Ｂに示されるように、単位画素セル１２１は、入射光を光電変換する光電変換部１２１Ｄおよび電荷検出回路１２１Ｆを有する。光電変換部１２１Ｄは、第１電極１２１Ａ、第２電極１２１Ｂ、および第１電極１２１Ａと第２電極１２１Ｂとの間の光電変換膜１２１Ｃを有している。電荷検出回路１２１Ｆは、半導体基板１２１Ｈ上に設けられており、層間絶縁層１２１Ｇ内のコンタクトプラグ１２１Ｅを介して第２電極１２１Ｂに電気的に接続されている。電荷検出回路１２１Ｆは、光電変換部１２１Ｄで発生した信号電荷を検出することができる。なお、単位画素セル１２１は、典型的には光電変換膜を有する積層型のセルであるが、シリコンフォトダイオードを備えたセルであっても構わない。
　画像取得部１２０は、共通の表示属性の程度を示す制御信号、すなわち、得られる撮像データにおける共通の表示属性の程度に対応する制御信号に基づいて、その程度を変化させる制御回路を有している。画像取得部１２０は、１フレーム期間において複数のタイミングで共通の表示属性の程度が異なる複数の撮像データを取得し、複数の撮像データを多重化する。すなわち、１フレーム期間において、光電変換部１２１Ｄは、複数のタイミングで共通の表示属性の程度が異なる複数の撮像データを取得する。電荷検出回路１２１Ｆは、これらの複数の撮像データを含む撮像データを読み出す。電荷検出回路１２１Ｆは、これら複数の撮像データを別々に読み出してもよい。その場合には、電荷検出回路１２１Ｆによって読み出された複数の撮像データは、読み出された後に重畳される。共通の表示属性については後述する。
　画像出力部１３０は出力バッファ１３１を有する。画像出力部１３０は出力バッファ１３１を介して撮像データを外部に出力する。画像出力部１３０は、画像取得部１２０によって多重化された撮像データを外部に出力することができる。
　画像出力部１３０から出力されるデータは、典型的にはＲＡＷデータであり、例えば１２ビット幅の信号である。ただし、本開示はこれに限定されず、その出力データは、例えばＨ．２６４規格に準拠して圧縮された圧縮データであってもよい。圧縮データは、例えば、８ビット幅の信号である。その場合、例えば画像出力部１３０が、Ｈ．２６４規格に準拠して圧縮データを生成するビデオコーデックを有していてもよい。
　システムコントローラ１４０は、撮像装置１００全体を制御する。具体的に説明すると、システムコントローラ１４０は、光学系１１０、画像取得部１２０および画像出力部１３０を制御する。システムコントローラ１４０は、典型的には半導体集積回路であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。
　例えば、撮像装置１００は、信号処理回路２１０および表示装置２２０などを含む外部機器２００に接続され得る。例えば外部機器２００は、パーソナルコンピュータおよびスマートフォンなどである。具体的には、撮像装置１００は、信号処理回路２１０、例えばＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）に電気的に接続される。信号処理回路２１０は、撮像装置１００からの出力信号を受け取り、例えばガンマ補正、色補間処理、空間補間処理、およびオートホワイトバランスなどの処理を行う。表示装置２２０は例えば液晶ディスプレイおよび有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイであり、信号処理回路２１０からの出力信号に基づいて画像を表示する。なお、撮像装置１００からの出力データをフラッシュメモリのような記録媒体に一旦保存してもよい。
　〔１．２．　撮像装置１００の動作〕
　図３は、１フレーム期間における多重露光の典型的な動作タイミングを示している。図中のＶＤは１フレーム期間の開始パルスを示す。露光信号は、露光が有効であるか無効であるかを示す信号である。Ｈｉ期間が有効期間（露光状態）であり、Ｌｏｗ期間が無効期間（非露光状態）である。表示属性設定信号は、共通の表示属性の程度を設定するための信号である。設定された信号パルスの高さが高いほど、共通の表示属性の程度が高いことを示している。なお、露光信号と表示属性設定信号とは、両方の機能を兼ねる単一の信号であってもよい。
　本明細書において、共通の表示属性は、明るさおよび色の少なくとも一方である。明るさは、各画素セルのＲＧＢ信号から得られる明度であり、色は、ＲＧＢ信号から得られる色相または彩度である。
　露光信号および表示属性設定信号のパルス波形のそれぞれは、露光期間および共通の表示属性の程度をそれぞれ示している。各パルス波形、つまり制御信号は画像取得部１２０に供給される。それらの制御信号は、システムコントローラ１４０によって生成される制御信号であってもよいし、画像取得部１２０の内部で生成される制御信号であっても構わない。
　図３には、１フレーム期間に５回の露光を実施する例を示している。画像取得部１２０は各撮像で取得された複数の撮像データを多重化する。換言すると、複数の撮像データが重畳されて１つの撮像データが得られる。背景等の動きがない被写体は、画素アレイ内の同じ位置にある単位画素セル１２１によって各露光期間で撮像される。そして同一の単位画素セル１２１によって撮像データが蓄積される。これに対し、各撮像の間で動きがある被写体は、その露光タイミングに位置する、画素アレイ内の単位画素セルによって撮像される。その結果、５回の露光全てにおいて撮像に関与した単位画素セル１２１が異なれば、それぞれの撮像データは独立した５つの像として重畳される。
　表示属性設定信号に応じて共通の表示属性の程度を変化させて各撮像を行うことで、各露光期間において得られる撮像データを変化させることができる。例えば、各撮像の間で撮像データの明度を変化させて撮像することで、明度が互いに異なった複数の撮像データを取得できる。そのため、重畳された撮像データにおいて、動きのある被写体の５つの像の間で、共通の表示属性の程度が互いに異なる。
　図４は、図３に示される多重露光撮像で得られる撮像データを模式的に例示している。共通の表示属性の程度の違いを明度で個々に表現している。明度が高いほど、時系列上最新の撮像データであることを示している。取得された撮像データの時系列が明度情報より判別可能であることが分かる。
　共通の表示属性の程度の変化の仕方（または、変化の規則性）は任意である。この変化の規則性はシステム起動時などに決定される。既知であるので、上述した例に限らず多重露光で得られる撮像データから動きのある同一被写体像の時系列が判別可能である。共通の表示属性の程度の時系列変化は、典型的には単調増加または単調減少である。ただし、共通の表示属性の程度の時系列変化はランダムであってもよい。
　図３に示されるように、本実施形態では１フレーム期間において、多重露光の各露光期間は、典型的には全て等しく、各露光間隔も全て等しい。これは、露光期間を調整する従来技術とは大きく異なると言える。ただし、当然に、従来技術と同様に各露光期間を可変にすることもできる。
　本実施形態では、露光期間の変更に代えて、多重露光における撮像毎に単位画素セル１２１の単位時間当たりの感度を変更している。その結果、各撮像の間で明るさおよび色情報を変化させることができる。具体的に説明すると、光電変換部１２１Ｄの第１電極１２１Ａおよび第２電極１２１Ｂの間の電位差を変化させることで、単位時間当たりの感度を変更することが可能になる（図２Ｂを参照）。そのような感度変更の詳細な説明は、例えば特開２００７－１０４１１３号公報に記載されている。その開示内容の全てを参考のために本明細書に援用する。
　撮像における感度の変化の仕方（または、変化の規則性）は任意である。感度の時系列変化は、典型的には単調増加または単調減少である。ただし、感度の時系列変化はランダムであってもよい。
　また、第１電極１２１Ａおよび第２電極１２１Ｂの間の電位差を小さくすることにより、光電変換された電荷を検出させないようにし、感度を実質的にゼロにすることもできる。これによれば、グローバルシャッタ動作が可能になる。
　上述したように、画像取得部１２０は、共通の表示属性の程度を示す制御信号に基づいてその程度を変化させる制御回路を有している。例えば制御回路は、第１電極１２１Ａおよび第２電極１２１Ｂへの印加電圧を制御する電圧制御回路１２４（図２Ａを参照）であり得る。電圧制御回路１２４は半導体基板１２１Ｈ上に設けられていてもよいし、半導体基板１２１Ｈ外に設けられていてもよい。複数の単位画素セル１２１は光電変換膜制御線を介して電圧制御回路１２４に電気的に接続されている。具体的に説明すると、第２電極１２１Ｂの電位は電荷検出回路１２１Ｆの電位に等しく、光電変換膜制御線は第１電極１２１Ａに電気的に接続されている。電圧制御回路１２４は、共通の表示属性の程度を示す制御信号に基づいて所定の電位を第１電極１２１Ａに印加する。
　図５は、１フレーム期間における多重露光において第１電極１２１Ａおよび第２電極１２１Ｂの間の電位差の変化（第１電極１２１Ａに印加する電圧の変化）の様子を模式的に示している。図５に示される例では、共通の表示属性の程度は第１電極１２１Ａおよび第２電極１２１Ｂの間の電位差に相当する。電位差を設定する信号パルスの高さが高いほど、電位差が大きいことを意味している。
　図示されている電位差に関して、Ｌｏｗレベルは光電変換されないレベルに相当する。換言すると、Ｌｏｗレベルはグローバルシャッタ動作が可能なレベルに対応している。Ｌｏｗレベル以外のレベルは光電変換されるのに十分なレベルに相当する。Ｈｉレベルは光電変換が最大限行われるレベルに相当する。従って、電位差が大きくなるほど、単位画素セル１２１の感度は高くなる。Ｌｏｗおよびそれ以外の電位差レベルを含むサイクルを複数回繰り返すことで、多重露光撮像が行われる。各撮像の間で電位差を変化させることにより、各露光期間中の感度を変更している。
　このように、第１電極１２１Ａと第２電極１２１Ｂの間の電位差を多重露光の各撮像の間で変更すること、およびグローバルシャッタ動作によって、多重露光と各撮像における感度の変更との両立が可能になる。その結果、多重露光の各撮像において、共通の表示属性（具体的には明度）の程度を独立して変更することができる。多重露光の各撮像で明度が異なる画像を取得できるので、多重化された１つの撮像データにおいて動きのある被写体像の時系列を確認することが可能となる。
　上述したとおり、共通の表示属性を色とすることもできる。光電変換膜を有する積層型センサにおいて、光電変換膜への印加電圧を変化させることで分光特性を変化させることができる。例えば特開２００７－１０４１１３号公報によると、Ｒ、ＧおよびＢのそれぞれの色に対応する光電変換膜への印加電圧を上下することで、各色の感度を大きくまたは小さくすることができる。このような特性を本開示に適用することができる。例えば、被写体は白色であるとする。その場合、青色、緑色の順で感度を下げるように制御すれば、白色、黄色、赤色のように色温度を順に低下させるように被写体の色を変化させることができる。
　例えば特開２００９－００５０６１号公報は、シリコンフォトダイオードを備えるイメージセンサにおいて、基板へのバイアス電圧を変化させて、電荷の捕獲領域を変化させることにより、分光特性を変更する技術を開示している。この技術によると、バイアス電圧を大きくした場合、長波長側の感度が相対的に低下する。このような特性を本開示に適用することができる。例えば白色の被写体であれば、バイアス電圧を大きくすることで、白色、水色、青色のように色温度を順に上昇させるように被写体の色を変化させることができる。
　このように、種々の公知技術を広く利用することで、色を共通の表示属性とすることができる。各撮像の間で単位画素セル１２１の分光特性を動的に変化させることで、１フレーム期間において複数のタイミングで共通の表示属性、つまり色の程度が異なる複数の撮像データを取得できる。
　次に、画像出力部１３０の他の実施形態を説明する。画像出力部１３０は画像取得部１２０によって多重化された撮像データから動きを伴う被写体像を抽出して、それらを個々の撮像データに分離してもよい。
　図６は、多重化された撮像データのイメージおよび個々に分離された撮像データのイメージを模式的に示している。図６（ａ）の撮像データは図４に示される多重化された撮像データに対応している。
　画像取得部１２０は、１フレーム期間において複数のタイミングで共通の表示属性の程度が異なる複数の撮像データを取得し、複数の撮像データを多重化する。画像出力部１３０は、多重化された撮像データから、同一被写体像を被写体情報に基づいてパターン検出することができる。例えば被写体情報とは、被写体の形状、明度および色に関するパターンなどである。画像出力部１３０は、多重化された撮像データを個々の撮像データにそのパターン検出結果に基づいて分離することができる。そして、画像出力部１３０は、共通の表示属性の程度の変化情報に基づいて分離した個々の撮像データを時系列に並べることができる。例えば出力バッファ１３１は、分離された撮像データの少なくとも１つをその時系列順に個々に出力することができる。
　このような構成によると、多重化された１つの撮像データに基づいて、各々が時間的な順序関係を有する複数の撮像データを生成できる。図６に示される例では、図６（ａ）に示される多重化された５つの円形の被写体像を、図６（ｂ）に示される５つの撮像データに個々に分離することができる。それぞれの明度情報に基づいて分離された撮像データを時系列に並べることにより、動画像のような連続した画像が得られる。換言すると、１フレーム期間で取得された多重化された撮像データから、コマ送り動画のような動画像データを得ることができる。
　例えばその動画像データを外部機器２００に送信することにより、外部機器２００側でその動画像データを再生して、表示装置２２０にコマ送り動画を表示させることができる。同時に、撮像データを多重化することにより、画像取得部１２０から出力されるデータ量の圧縮にも効果がある。また、高速に多重露光撮像を行うことで、非常に短い時間間隔で取得されたデータを多重化できる。そのため、撮影が困難な時間領域の現象をスローモーション動画として再生することも可能である。
　また、画像出力部１３０は、視認性を向上させるために、共通の表示属性の程度を同一にするように、時系列順に得られた複数の撮像データを処理してもよい。多重露光画像において動きが見られる同一被写体像を、複数の撮像データに分離し時系列に並べると、各撮像で得られた撮像データの時間的な順序関係が明確になる。例えば、画像出力部１３０は、既知である共通の表示属性の程度の変化情報を用いて、個々の撮像データの共通の表示属性の程度をそれらの最大値に揃えてもよい。ただし、最大値に限られず、例えばそれらの平均値に揃えても構わない。これにより、個々の被写体像の間で共通の表示属性はコマ毎には変化せず、視認性が良くなる。
　図７は、共通の表示属性の程度をそれらの最大値に揃えた個々の撮像データのイメージを模式的に示している。個々の撮像データの間で円形の被写体像の明度は同一になるので、これらの撮像データを動画として再生すると、動画像の印象が向上する。
　画像出力部１３０の別の他の実施形態を説明する。画像出力部１３０は、画像取得部１２０によって複数の撮像データが取得された時間推移を示す識別子を多重化された撮像データに重畳することができる。
　図８Ａおよび図８Ｂは、多重化された撮像データに識別子を重畳した様子を示している。図８Ａに示されるように、画像出力部１３０は、共通の表示属性の程度の変化情報から時系列を判別し、時間推移を示す矢印を多重化された撮像データに重畳することができる。または、画像出力部１３０は、時間推移を表す番号を被写体像の周辺に付すことができる。識別子は、図示される例に限らず、アルファベット等の数字または文字、矢印等の図形、および○または△等の記号であり得る。
　このような構成によると、表示属性の程度の違いに加えて識別子も付記されるので、多重化された撮像データにおいて個々の撮像データの時系列を判別することが容易になる。
　画像出力部１３０は、画像取得部１２０によって複数の撮像データが取得された時間推移を示す識別子を多重化された撮像データに重畳し、さらに、共通の表示属性の程度を同一にするように時系列順に得られた複数の撮像データを処理してもよい。これにより、視認性をさらに向上させることができる。
　図９Ａは、図８Ａに示される撮像データに共通の表示属性の程度を同一にする処理を施した撮像データのイメージを模式的に示している。図９Ｂは、図８Ｂに示される撮像データに共通の表示属性の程度を同一にする処理を施した撮像データのイメージを模式的に示している。
　図８Ａおよび図８Ｂに示される画像においても、時系列は十分に判別可能となる。なお、多重露光の各撮像で明度が異なると、明度の低い被写体像の視認性はどうしても低下してしまう。そこで、画像出力部１３０は、既知である共通の表示属性の程度の変化情報を用いて、個々の撮像データの共通の表示属性の程度をそれらの最大値に揃えることができる。
　このような構成によると、識別子により、多重化された撮像データにおいて個々の撮像データを時系列に判別することが容易になり、かつ、個々の被写体像の間で共通の表示属性は変化せず、視認性が良くなる。
　本実施形態によると、１フレーム期間に得られた多重露光画像において、動きのある被写体像の時間的な順序関係、またはある特定のタイミングで取得された被写体像を判別することができる。例えば、撮像装置１００を外部機器２００に接続することで、多重化された撮像データまたは複数の撮像データの各々に基づいて表示装置２２０に被写体像を表示させることができる。
　（第２の実施形態）
　第２の実施形態による撮像装置１０１は、外部信号検出部１５０を備えている点で第１の実施形態による撮像装置１００とは異なる。以下、撮像装置１００と共通する部分の説明は省略し、差異点を主として説明する。
　〔２．１．撮像装置１０１〕
　図１０は、第２の実施形態による撮像装置１０１のブロック構成を模式的に示している。
　撮像装置１００は、光学系１１０と、画像取得部１２０と、画像出力部１３０と、システムコントローラ１４０と、外部信号検出器１５０と、を備えている。
　外部信号検出器１５０は、外部の音、光、振動、および傾きなどに関する外部信号を検出する。外部信号検出器１５０は、その外部信号に応じてシステムコントローラ１４０に表示属性設定信号を送信する。表示属性設定信号は、ＨｉまたはＬｏｗの２値であってもよく、一定の範囲内でアナログ的に変化する連続値であってもよい。例えば、外部信号検出器１５０は光検出器およびマイクロフォンなどである。
　例えば、内部状態に応じて音を発するような移動物体を撮像する場合、外部信号検出器１５０として音圧検出器であるマイクロフォンを用いることができる。マイクロフォンの一般的な方式においては、音圧を電圧として取り出す。その変換特性はｍＶ／Ｐａ等の単位で表され、音圧に対して出力電圧は線形に変化する。
　例えば外部信号検出器１５０は、マイクロフォンから得られる出力電圧と表示属性設定信号レベルとの関係が対応付けられたルックアップテーブルを参照して、表示属性設定信号を生成することができる。または、外部信号検出器１５０は、外部信号をシステムコントローラ１４０に送信し、システムコントローラ１４０がルックアップテーブルを参照して、外部信号に応じて表示属性設定信号のレベルを決定してもよい。
　〔２．２．撮像装置１０１の動作〕
　図１１は、１フレーム期間における多重露光の典型的な動作タイミングを示している。外部信号は外部信号検出部１５０により検出された信号レベルを示している。マイクロフォンを用いる場合、外部信号は上述した音圧である。図１１には、移動物体から発せられている音の大小を検出した離散的な信号レベルを示している。第１の実施形態と同様に、多重露光における各露光期間は全て等しく、露光間隔も全て等しい。
　外部信号の波形より、移動物体の状態が時々刻々と変化している様子が分かる。図中の時刻ｔ１から時刻ｔ５は多重露光撮影の各撮像時の表示属性設定信号レベルを決定するタイミングを示している。例えばシステムコントローラ１４０は、多重露光の各撮像の前に外部信号レベルをサンプリングし、表示属性の程度の設定レベルを決定する。決定された表示属性の程度の設定レベルに従って各撮像が実行される。
　図１２Ａおよび図１２Ｂに多重露光画像の例を示す。共通の表示属性の程度の違いを明度で個々に表現している。つまり、音の大小の違いは、単位画素セル１２１の感度を変更することで、明度の違いとして視認される。図１２Ａは従来技術を用いて多重露光撮像して得られた撮像データのイメージ例を示し、図１２Ｂは本実施形態による撮像装置１０１で多重露光撮像して得られた撮像データのイメージ例を示している。従来技術によれば、移動物体の状態が変化しているにも拘わらず、各被写体像の間で状態の変化を識別できる差異は見られない。これに対し、本実施形態による多重露光撮像によれば、音の大小に応じて明度が変化している。各被写体像の間で状態の変化を識別できる差異を確認でき、被写体の状態が変化している様子が分かる。
　本実施形態によると、被写体、特に移動体から発せられる、光、音、および振動などの、何らかの影響を外部に及ぼす変動を、表示属性の程度の違いからその状態毎に区別して確認できる。
　（第３の実施形態）
　本実施形態による撮像装置は、特定のタイミングで表示属性設定信号を変化させる点で第１の実施形態による撮像装置１００とは異なる。本実施形態による撮像装置は、第１の実施形態による撮像装置１００と同様に、図１に示されるブロック構成を有している。
　図１３Ａは、１フレーム期間における多重露光の典型的な動作タイミングを示している。第１の実施形態では表示属性設定信号レベルを多重露光の各撮像毎に変化させた。本実施形態では、表示属性設定信号レベルを特定のタイミングで変化させる。例えば図示されるように１フレーム期間に１５回の撮像を行うとする。１５回の撮像を３つのグループに分けて、５回の撮像毎に、表示属性設定信号レベルを変化させている。本実施形態においても、共通の表示属性の程度の時系列変化は、単調増加、単調減少またはランダムである。図１３Ａに示される例では、その時系列変化は単調増加である。
　このような動作タイミングによると、被写体の全体的な動きの傾向を判別することができる。表示属性設定信号レベルに応じて各撮像毎に感度を変化させるとき、その撮像回数が多いと、各撮像の間で感度差を出すことはある程度で限界を迎える可能性がある。そのような場合でも、グループ単位（例えば、５つの撮像毎に）で表示属性設定信号レベルを変化させれば、図１３Ｂに示されるようにグループ単位内での被写体の細かな動きと、各グループ間の時間軸での全体的な動きとの両方を把握できる。
　（第４の実施形態）
　第４の実施形態による撮像装置１０２は、表示装置１８０を備えている点で第１の実施形態による撮像装置１００とは異なる。以下、撮像装置１００と共通する部分の説明は省略し、差異点を主として説明する。
　図１４は、第３の実施形態による撮像装置１０２のブロック構成を模式的に示している。
　撮像装置１０２は、例えばスマートフォン、デジタルカメラおよびビデオカメラなどである。撮像装置１０２は、光学系１１０と、画像取得部１２０と、信号処理回路１６０と、システムコントローラ１７０と、表示装置１８０と、を備えている。撮像装置１０２は、第２の実施形態で説明した外部信号検出器１５０をさらに備えていても構わない。
　信号処理回路１６０は、例えばＤＳＰである。信号処理回路１６０は、画像取得部１２０からの出力データを受け取り、例えばガンマ補正、色補間処理、空間補間処理、およびオートホワイトバランスなどの処理を行う。また、信号処理回路１６０は、上述した画像出力部１３０に相当する機能を有している。信号処理回路１６０は、多重化された撮像データ、個々に分離された複数の撮像データ、それらに識別子を重畳した撮像データなどを出力する。
　表示装置１８０は、例えば液晶ディスプレイおよび有機ＥＬディスプレイである。信号処理回路１６０からの出力信号に基づいて、例えば図４、図６、図７、図８Ａ、図８Ｂ、図９Ａ、図９Ｂおよび図１２Ｂに示される画像を表示することができる。表示装置１８０は、通常露光で得られた画像を表示できることは言うまでもない。
　表示装置１８０は、タッチパネルのような入力インタフェースを備えていてもよい。これにより、ユーザは、タッチペンを用いて、信号処理回路１６０の処理内容の選択、制御および撮像条件を、入力インタフェースを介して設定できる。
　システムコントローラ１７０は、撮像装置１０２全体を制御する。システムコントローラ１７０は、典型的には半導体集積回路であり、例えばＣＰＵである。
　本実施形態によると、撮影画像を表示装置１８０に表示することでそれをすぐに確認することができ、かつ、表示装置１８０を利用したＧＵＩ（Ｇｒａｐｈｉｃ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）制御が可能になる。
　本開示による撮像装置は、デジタルカメラ、デジタルビデオカメラ、カメラ付携帯電話、電子内視鏡などの医療用カメラ、車載カメラ、ロボット用カメラなどに利用できる。
　１００，１０１，１０２　　撮像装置
　１１０　　光学系
　１２０　　画像取得部
　１２１　　単位画素セル
　１２１Ａ　第１電極
　１２１Ｂ　第２電極
　１２１Ｃ　光電変換膜
　１２１Ｄ　光電変換部
　１２１Ｅ　コンタクトプラグ
　１２１Ｆ　電荷検出回路
　１２１Ｇ　層間絶縁層
　１２１Ｈ　半導体基板
　１２２　　行走査回路
　１２３　　列走査回路
　１２４　　電圧制御回路
　１３０　　画像出力部
　１３１　　出力バッファ
　１４０　　システムコントローラ
　１５０　　外部信号検出部
　１６０　　信号処理回路
　１７０　　システムコントローラ
　１８０　　表示装置
　２００　　外部機器
　２１０　　信号処理回路
　２２０　　表示装置

Claims (12)

  1. 　複数の単位画素セルを含み、
    　前記複数の単位画素セルに含まれる単位画素セルは、１フレーム期間内の第１の露光期間において第１の撮像データを取得し、前記１フレーム期間内の前記第１の露光期間とは異なる第２の露光期間において第２の撮像データを取得し、
    　前記単位画素セルの単位時間当たりの感度は、前記第１の露光期間と前記第２の露光期間とで異なっており、
    　少なくとも前記第１の撮像データと前記第２の撮像データとを含む多重露光画像データを出力する、
    　撮像装置。
  2. 　前記単位画素セルは、
    　第１の電極と、前記第１の電極に対向する第２の電極と、前記第１の電極と前記第２の電極との間にあり、光電変換により信号電荷を発生する光電変換膜と、を含む光電変換部と、
    　前記第２の電極に電気的に接続され、前記信号電荷を検出する信号検出回路と、
    　を含み、
    　前記第１の電極と第２の電極と間の電位差は、前記第１の露光期間と前記第２の露光期間とで異なっている、
    　請求項1に記載の撮像装置。
  3. 　前記第１の電極に電圧を供給する電圧制御回路をさらに備え、
    　前記電圧制御回路は、前記第１の露光期間と前記第２の露光期間とで異なる電圧を前記第１の電極に供給する、
    　請求項２に記載の撮像装置。
  4. 　前記第１の露光期間と前記第２の露光期間との間に非露光期間を有し、
    　前記非露光期間において、前記信号検出回路が前記信号電荷を検出しないように前記第１の電極と第２の電極と間の電位差が設定されている、
    　請求項２に記載の撮像装置。
  5. 　前記第１の露光期間の長さと前記第２の露光期間の長さとは等しい、
    　請求項１に記載の撮像装置。
  6. 　前記単位画素セルは、前記１フレーム期間内の互いに異なる複数の露光期間のそれぞれにおいて撮像データを取得し、
    　前記複数の露光期間のうち先の露光時間における前記単位画素セルの単位時間当たりの感度の方が、後の露光期間における前記単位画素セルの単位時間当たりの感度よりも高い、
    　請求項１に記載の撮像装置。
  7. 　前記単位画素セルは、前記１フレーム期間内の互いに異なる複数の露光期間のそれぞれに対応して撮像データを取得し、
    　前記複数の露光期間のうち先の露光時間における前記単位画素セルの単位時間当たりの感度の方が、後の露光期間における前記単位画素セルの単位時間当たりの感度よりも低い、
    　請求項１に記載の撮像装置。
  8. 　前記単位画素セルは、前記１フレーム期間内の互いに異なる複数の露光期間のそれぞれに対応して撮像データを取得し、
    　前記複数の露光期間のそれぞれにおける前記単位画素セルの単位時間当たりの感度は、ランダムに設定される、
    　請求項１に記載の撮像装置。
  9. 　前記単位画素セルによって取得された前記第１の撮像データおよび前記第２の撮像データを含む前記多重露光画像データを処理する信号処理回路をさらに備え、
    　前記信号処理回路は、前記多重露光画像データから、前記第１の撮像データに基づく第１の画像データと、前記第２の撮像データに基づく第２の画像データとを抽出する、
    　請求項１に記載の撮像装置。
  10. 　前記第１の画像データと前記第２の画像データとの間で、動きを伴う被写体像の明るさまたは色が異なる、
    　請求項９に記載の撮像装置。
  11. 　前記信号処理回路は、抽出された第１の画像データおよび第２の画像データに基づいて、前記多重露光画像データにおいて、動きを伴う被写体像の明るさ又は色を揃える処理を行う、
    　請求項１０に記載の撮像装置。
  12. 　前記信号処理回路は、抽出された第１の画像データおよび第２の画像データに基づいて、動きを伴う被写体像の時間変化を示す識別子を、前記多重露光画像データに付加する、
    　請求項９に記載の撮像装置。
PCT/JP2016/002945 2015-07-10 2016-06-20 撮像装置 WO2017010047A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
EP21152918.5A EP3833004A1 (en) 2015-07-10 2016-06-20 Imaging device
JP2016571426A JP6128406B1 (ja) 2015-07-10 2016-06-20 撮像装置
CN201680002194.6A CN106576145B (zh) 2015-07-10 2016-06-20 摄像装置
EP16824033.1A EP3322178B1 (en) 2015-07-10 2016-06-20 Imaging device
US15/497,193 US10594948B2 (en) 2015-07-10 2017-04-25 Imaging device that generates multiple-exposure image data
US16/782,411 US11025832B2 (en) 2015-07-10 2020-02-05 Imaging device that generates multiple-exposure image data
US17/243,101 US11388349B2 (en) 2015-07-10 2021-04-28 Imaging device that generates multiple-exposure image data
US17/834,558 US11722784B2 (en) 2015-07-10 2022-06-07 Imaging device that generates multiple-exposure image data

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015138393 2015-07-10
JP2015-138393 2015-07-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/497,193 Continuation US10594948B2 (en) 2015-07-10 2017-04-25 Imaging device that generates multiple-exposure image data

Publications (1)

Publication Number Publication Date
WO2017010047A1 true WO2017010047A1 (ja) 2017-01-19

Family

ID=57757258

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/002945 WO2017010047A1 (ja) 2015-07-10 2016-06-20 撮像装置

Country Status (5)

Country Link
US (4) US10594948B2 (ja)
EP (2) EP3833004A1 (ja)
JP (3) JP6128406B1 (ja)
CN (2) CN106576145B (ja)
WO (1) WO2017010047A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018139212A1 (ja) * 2017-01-25 2018-08-02 パナソニックＩｐマネジメント株式会社 運転制御システムおよび運転制御方法
CN109792495A (zh) * 2017-02-28 2019-05-21 松下知识产权经营株式会社 摄像系统及摄像方法
US11388349B2 (en) 2015-07-10 2022-07-12 Panasonic Intellectual Property Management Co., Ltd. Imaging device that generates multiple-exposure image data
DE112017004948B4 (de) 2016-09-30 2022-10-27 Panasonic Intellectual Property Management Co., Ltd. Bildaufnahmesteuervorrichtung, Bildaufnahmesteuerverfahren und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10460600B2 (en) 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
JP7034925B2 (ja) * 2016-10-03 2022-03-14 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および撮像方法
JP6770926B2 (ja) 2017-06-16 2020-10-21 株式会社ブリヂストン タイヤ用金属樹脂複合部材及びタイヤ
WO2019068042A1 (en) * 2017-09-29 2019-04-04 Netradyne Inc. MULTIPLE EXPOSURE EVENT DETERMINATION
JP7258465B2 (ja) * 2018-01-12 2023-04-17 キヤノン株式会社 撮像装置およびその制御方法
US10796421B2 (en) * 2018-02-13 2020-10-06 Adobe Inc. Creating selective virtual long-exposure images
JP7019471B2 (ja) * 2018-03-19 2022-02-15 キヤノン株式会社 固体撮像装置及び撮像システム
JP2022501982A (ja) * 2018-09-13 2022-01-06 スペクトル オプティックス インコーポレイテッド ニューラルネットワークを使用した写真の露出不足補正
US20220028301A1 (en) * 2019-01-30 2022-01-27 Sony Group Corporation Encryption device and encryption method
WO2021065367A1 (ja) 2019-10-03 2021-04-08 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システムおよび撮像方法
CN110971846B (zh) * 2019-12-25 2021-08-10 锐芯微电子股份有限公司 Cmos图像传感器像素电路及cmos图像传感器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104113A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 感度可変型撮像素子及びこれを搭載した撮像装置
JP2008021110A (ja) * 2006-07-12 2008-01-31 Sony Corp 画像処理装置、画像処理手順およびプログラム
JP2012094984A (ja) * 2010-10-25 2012-05-17 Nikon Corp 撮像装置

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6477377A (en) 1987-09-18 1989-03-23 Bridgestone Corp Rapid instantaneous multiplex image recorder
JPH0177377U (ja) 1987-11-12 1989-05-24
JPH03178277A (ja) 1989-12-07 1991-08-02 Matsushita Electric Ind Co Ltd 固体撮像装置の駆動方法
JP3510758B2 (ja) 1997-03-06 2004-03-29 株式会社エヌ・ティ・ティ・データ 遠隔撮影システム、無線通信機能付き撮影装置
JP4024367B2 (ja) 1997-12-15 2007-12-19 株式会社フォトロン 多板式撮像装置
JPH11242735A (ja) 1998-02-26 1999-09-07 Hitachi Ltd 走行環境認識装置
JP2001197373A (ja) 2000-01-11 2001-07-19 Sony Corp 撮像装置及び受光感度制御方法
JP2002148270A (ja) 2000-11-09 2002-05-22 Bridgestone Corp 粒子速度の測定方法及び粒子速度測定装置
GB2405949A (en) * 2003-09-12 2005-03-16 Canon Kk Voice activated device with periodicity determination
JP2007081806A (ja) 2005-09-14 2007-03-29 Konica Minolta Holdings Inc 撮像システム
JP4511442B2 (ja) * 2005-09-30 2010-07-28 富士フイルム株式会社 感度可変型撮像素子及びこれを搭載した撮像装置
JP2008022485A (ja) 2006-07-14 2008-01-31 Canon Inc 画像処理装置及び画像処理方法
US7711147B2 (en) 2006-07-28 2010-05-04 Honda Motor Co., Ltd. Time-to-contact estimation device and method for estimating time to contact
JP4306752B2 (ja) * 2007-03-19 2009-08-05 ソニー株式会社 撮像装置、測光方法、輝度算出方法、プログラム
JP2009005061A (ja) 2007-06-21 2009-01-08 Konica Minolta Holdings Inc 固体撮像素子およびそれを用いる撮像装置
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
US8542315B2 (en) * 2007-11-27 2013-09-24 Broadcom Corporation Method and apparatus for expanded dynamic range imaging
KR101442610B1 (ko) * 2008-02-18 2014-09-19 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
JP2009257982A (ja) 2008-04-18 2009-11-05 Calsonic Kansei Corp 車両用距離画像データ生成装置
JP5107154B2 (ja) 2008-06-23 2012-12-26 アイドゲノッシッシェ テヒニッシェ ホッホシューレ チューリッヒ 運動推定装置
US20110109745A1 (en) 2008-07-07 2011-05-12 Yuzuru Nakatani Vehicle traveling environment detection device
JP5207885B2 (ja) * 2008-09-03 2013-06-12 キヤノン株式会社 画素回路、発光表示装置及びそれらの駆動方法
JP2010130254A (ja) 2008-11-26 2010-06-10 Panasonic Corp 固体撮像素子、固体撮像装置及びその駆動方法
JP5516960B2 (ja) * 2010-04-02 2014-06-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、および、電子機器
JP2012088217A (ja) 2010-10-21 2012-05-10 Daihatsu Motor Co Ltd 運転支援制御装置
WO2012086123A1 (ja) * 2010-12-22 2012-06-28 パナソニック株式会社 撮像装置
KR20120086088A (ko) * 2011-01-25 2012-08-02 삼성전자주식회사 이미지 처리 방법 및 장치
JP5784426B2 (ja) * 2011-09-06 2015-09-24 オリンパス株式会社 撮像装置
JP5497874B2 (ja) 2011-12-22 2014-05-21 富士フイルム株式会社 放射線画像検出器、放射線画像撮像装置、及び放射線画像撮像システム
JP5874476B2 (ja) * 2012-03-21 2016-03-02 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2013223043A (ja) 2012-04-13 2013-10-28 Toshiba Corp 受光装置および伝送システム
WO2014103169A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 撮像装置及びその駆動方法
JP2014206638A (ja) * 2013-04-12 2014-10-30 株式会社ジャパンディスプレイ 立体表示装置
JP6137965B2 (ja) * 2013-07-01 2017-05-31 オリンパス株式会社 電子機器、電子機器の制御方法、及び電子機器の制御プログラム
WO2015025497A1 (ja) 2013-08-23 2015-02-26 パナソニックＩｐマネジメント株式会社 測距システム及び信号発生装置
JP6174975B2 (ja) 2013-11-14 2017-08-02 クラリオン株式会社 周囲環境認識装置
JP6315308B2 (ja) 2014-01-15 2018-04-25 株式会社リコー 制御用対象物識別装置、移動体機器制御システム及び制御用対象物認識用プログラム
JP6398218B2 (ja) 2014-02-24 2018-10-03 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
JP2016170522A (ja) 2015-03-11 2016-09-23 株式会社東芝 移動体検出装置
JP6563694B2 (ja) 2015-05-29 2019-08-21 株式会社デンソーテン 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP5948465B1 (ja) 2015-06-04 2016-07-06 株式会社ファンクリエイト 映像処理システム及び映像処理方法
EP3833004A1 (en) 2015-07-10 2021-06-09 Panasonic Intellectual Property Management Co., Ltd. Imaging device
CN112929586A (zh) * 2015-12-03 2021-06-08 松下知识产权经营株式会社 摄像装置
US20190246053A1 (en) 2016-10-21 2019-08-08 Invisage Technologies, Inc. Motion tracking using multiple exposures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007104113A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 感度可変型撮像素子及びこれを搭載した撮像装置
JP2008021110A (ja) * 2006-07-12 2008-01-31 Sony Corp 画像処理装置、画像処理手順およびプログラム
JP2012094984A (ja) * 2010-10-25 2012-05-17 Nikon Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3322178A4 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11388349B2 (en) 2015-07-10 2022-07-12 Panasonic Intellectual Property Management Co., Ltd. Imaging device that generates multiple-exposure image data
US11722784B2 (en) 2015-07-10 2023-08-08 Panasonic Intellectual Property Management Co., Ltd. Imaging device that generates multiple-exposure image data
DE112017004948B4 (de) 2016-09-30 2022-10-27 Panasonic Intellectual Property Management Co., Ltd. Bildaufnahmesteuervorrichtung, Bildaufnahmesteuerverfahren und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist
US10473456B2 (en) 2017-01-25 2019-11-12 Panasonic Intellectual Property Management Co., Ltd. Driving control system and driving control method
JPWO2018139212A1 (ja) * 2017-01-25 2019-11-14 パナソニックＩｐマネジメント株式会社 運転制御システムおよび運転制御方法
EP3576400A4 (en) * 2017-01-25 2019-12-25 Panasonic Intellectual Property Management Co., Ltd. OPERATION CONTROL SYSTEM AND OPERATION CONTROL METHOD
CN108886585B (zh) * 2017-01-25 2022-01-11 松下知识产权经营株式会社 驾驶控制系统以及驾驶控制方法
US11333489B2 (en) 2017-01-25 2022-05-17 Panasonic Intellectual Property Management Co., Ltd. Driving control system and driving control method
WO2018139212A1 (ja) * 2017-01-25 2018-08-02 パナソニックＩｐマネジメント株式会社 運転制御システムおよび運転制御方法
JP7108856B2 (ja) 2017-01-25 2022-07-29 パナソニックＩｐマネジメント株式会社 運転制御システムおよび運転制御方法
CN108886585A (zh) * 2017-01-25 2018-11-23 松下知识产权经营株式会社 驾驶控制系统以及驾驶控制方法
CN109792495B (zh) * 2017-02-28 2022-04-01 松下知识产权经营株式会社 摄像系统及摄像方法
CN109792495A (zh) * 2017-02-28 2019-05-21 松下知识产权经营株式会社 摄像系统及摄像方法

Also Published As

Publication number Publication date
JP6128406B1 (ja) 2017-05-17
JP7012277B2 (ja) 2022-02-14
EP3833004A1 (en) 2021-06-09
EP3322178B1 (en) 2021-03-10
CN106576145A (zh) 2017-04-19
CN106576145B (zh) 2021-04-30
JP6785430B2 (ja) 2020-11-18
US20220303448A1 (en) 2022-09-22
US20200177787A1 (en) 2020-06-04
US20210250487A1 (en) 2021-08-12
JP2017118595A (ja) 2017-06-29
JP2021016157A (ja) 2021-02-12
US11388349B2 (en) 2022-07-12
JPWO2017010047A1 (ja) 2017-07-13
CN113079324A (zh) 2021-07-06
US11025832B2 (en) 2021-06-01
EP3322178A1 (en) 2018-05-16
US11722784B2 (en) 2023-08-08
US20170230563A1 (en) 2017-08-10
EP3322178A4 (en) 2018-08-01
US10594948B2 (en) 2020-03-17

Similar Documents

Publication Publication Date Title
JP7012277B2 (ja) 撮像装置、信号処理回路および検出方法
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
JP6253272B2 (ja) 撮像装置、撮像システム、信号処理方法、プログラム、および、記憶媒体
JP5852324B2 (ja) 撮像装置及びその制御方法、プログラム
JP5701785B2 (ja) カメラモジュール
JP5591586B2 (ja) 固体撮像装置、画像処理装置、カメラシステム
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
US10212378B2 (en) Image capturing apparatus
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
US20160112663A1 (en) Solid-state imaging apparatus, driving method therefor, and imaging system
CN107154803B (zh) 信号处理设备、信号处理方法和摄像设备
US11297252B2 (en) Signal processing apparatus and signal processing method, and imaging device
US9686450B2 (en) Image capturing apparatus, control method thereof, and storage medium
CN107071241B (zh) 固态摄像元件和摄像设备
JP2016058877A (ja) 撮像装置及びその制御方法
WO2013027326A1 (ja) 固体撮像装置
US20220021796A1 (en) Image capture apparatus and control method therefor
JP2014120795A (ja) 光電変換装置、光電変換システム、光電変換装置の駆動方法、光電変換システムの駆動方法
JP2010268162A (ja) 撮像装置、及びその制御方法
JP2011114474A (ja) 撮像装置及び固体撮像素子の駆動方法
KR20130108032A (ko) 이미지 센서 및 그 동작 방법
JP2015115877A (ja) 撮像装置、その制御方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016571426

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16824033

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016824033

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE