WO2019234983A1 - 撮像装置および撮像制御方法 - Google Patents

撮像装置および撮像制御方法 Download PDF

Info

Publication number
WO2019234983A1
WO2019234983A1 PCT/JP2019/006018 JP2019006018W WO2019234983A1 WO 2019234983 A1 WO2019234983 A1 WO 2019234983A1 JP 2019006018 W JP2019006018 W JP 2019006018W WO 2019234983 A1 WO2019234983 A1 WO 2019234983A1
Authority
WO
WIPO (PCT)
Prior art keywords
analog
thinning
pixels
digital
imaging
Prior art date
Application number
PCT/JP2019/006018
Other languages
English (en)
French (fr)
Inventor
博士 田舎中
高橋　知宏
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to US17/058,779 priority Critical patent/US11563904B2/en
Publication of WO2019234983A1 publication Critical patent/WO2019234983A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/707—Pixels for event detection

Definitions

  • This technology relates to an imaging device. Specifically, the present invention relates to an imaging device that performs thinning imaging and an imaging control method.
  • imaging devices have a thinning mode for reducing power consumption.
  • a method of driving a solid-state imaging device has been proposed in which thinning readout is performed when moving object detection is performed and full screen readout is performed when motion is detected (see, for example, Patent Document 1).
  • This technology was created in view of such a situation, and aims to shoot only a necessary area based on the result of thinning shooting.
  • a first aspect of the present technology is an image sensor that generates analog signals of the plurality of pixels for a plurality of pixel blocks each including a plurality of pixels.
  • An analog-to-digital converter that performs analog-to-digital conversion processing for converting the analog signal into a digital signal, and a difference between the digital signal of the representative pixel in the predetermined pixel block of the plurality of pixel blocks and a predetermined reference value
  • a conversion control unit that controls the analog-digital conversion processing of the plurality of pixels included in the predetermined pixel block. Accordingly, there is an effect that the analog-digital conversion processing of the plurality of pixels included in the predetermined pixel block is controlled according to the difference between the digital signal of the representative pixel in the plurality of pixel blocks and the reference value.
  • the conversion control unit may change the first pixel block in which the difference between the digital signal of the representative pixel and the reference value is a predetermined threshold or more to the first pixel block.
  • the analog-to-digital converter performs the analog-to-digital conversion processing of the plurality of pixels included to generate the digital signals of the plurality of pixels, and the difference between the digital signal of the representative pixel and the reference value is
  • the second pixel block that is less than the threshold value may be controlled so that the analog-digital converter does not execute the analog-digital conversion processing of the plurality of pixels included in the second pixel block. This brings about the effect that the necessity of analog-digital conversion processing is controlled according to the difference between the digital signal of the representative pixel and the reference value.
  • the conversion control unit may perform the second pixel block even if the difference between the digital signal of the representative pixel and the reference value is less than the threshold value. If the difference between the digital signal of the representative pixel of the pixel block around the pixel block and the reference value is greater than or equal to the threshold value, the analog-to-digital conversion processing of the plurality of pixels included in the second pixel block is performed.
  • the analog-to-digital converter may be executed so that the digital signals of the plurality of pixels are generated. This brings about the effect of controlling the analog-digital conversion process by enlarging the pixel blocks around the pixel block.
  • the conversion control unit causes the analog-to-digital converter to execute the analog-to-digital conversion process only for the representative pixels of the plurality of pixel blocks and generate the digital signal.
  • an area control photographing mode for causing the analog-to-digital converter to execute the analog-to-digital conversion processing of the plurality of pixels included in the predetermined pixel block according to a difference between the digital signal of the representative pixel and the reference value
  • An imaging mode switching unit that switches between the above may be provided. This brings about the effect of switching between the thinning shooting mode and the area control shooting mode.
  • the conversion control unit determines the coordinates of a pixel block in which a difference between the digital signal of the representative pixel generated in the thinning-out shooting mode and the reference value is equal to or greater than a predetermined threshold.
  • a thinning determination unit that outputs as a result, and a coordinate setting unit that sets the coordinates of the pixel block that performs the analog-digital conversion processing in the area control photographing mode based on the determination result may be provided.
  • the conversion control unit includes the plurality of pixels included in the predetermined pixel block in the area control shooting mode based on the digital signal of the representative pixel generated in the thinning shooting mode.
  • the exposure time of the pixels may be controlled. This brings about the effect that the exposure time in the area control photographing mode is controlled based on the digital signal of the representative pixel generated in the thinning photographing mode.
  • the conversion control unit is configured to select the thinning shooting mode based on the digital signal of the representative pixel generated in the thinning shooting mode for a plurality of moving image frames arranged in time series.
  • the operation in the area control shooting mode may be performed at different frame rates.
  • the reference value may be a fixed value set in advance, or a value set from values of corresponding pixels in a moving image frame arranged in time series. Also good.
  • the analog-digital converter may be a pixel ADC type that performs the analog-digital conversion processing on a pixel basis corresponding to each of the pixels.
  • the analog-to-digital converter may be an area ADC type that performs the analog-to-digital conversion processing in units of regions in which a plurality of the pixels are collected.
  • the analog-digital converter may be a column ADC type that collects the pixels for each column and performs the analog-digital conversion processing in units of columns.
  • the image sensor may generate the analog signal by nondestructive reading.
  • an image sensor that generates an analog signal of the plurality of pixels for a plurality of pixel blocks each including a plurality of pixels, and an analog-digital conversion process that converts the analog signal into a digital signal
  • the imaging apparatus including the analog-digital converter that performs the decimation photographing procedure for causing the analog-digital converter to generate the digital signal by causing the analog-digital converter to execute the analog-digital conversion process only for the representative pixels in the plurality of pixel blocks, A region control photographing procedure for causing the analog-to-digital converter to execute the analog-to-digital conversion processing of the plurality of pixels included in a predetermined pixel block according to a difference between the digital signal of the representative pixel and a predetermined reference value.
  • the exposure times of the plurality of pixels included in the predetermined pixel block in the area control photographing procedure are determined based on the digital signal of the representative pixel generated in the thinning photographing procedure. You may make it control. Based on the digital signal of the representative pixel generated in the thinning imaging, the exposure time in the area control imaging is controlled.
  • FIG. 3 is a flowchart illustrating an example of processing procedures for thinning imaging and area control imaging according to the first embodiment of the present technology. It is a figure which shows the specific example of the thinning imaging
  • FIG. 12 is a flowchart illustrating an example of processing procedures for thinning imaging and area control imaging according to the third embodiment of the present technology. It is a figure showing the example of thinning photography and field control photography in a 4th embodiment of this art. It is a figure which shows the specific example of the thinning imaging
  • 16 is a flowchart illustrating an example of processing procedures of thinning shooting and area control shooting using an area ADC type and a pixel ADC type according to a fifth embodiment of the present technology.
  • 16 is a flowchart illustrating an example of a processing procedure of thinning imaging and area control imaging by a column ADC type in the fifth embodiment of the present technology. It is a figure which shows the specific example of thinning imaging
  • 18 is a flowchart illustrating an example of processing procedures of thinning shooting and area control shooting using an area ADC type and a pixel ADC type according to a sixth embodiment of the present technology.
  • 22 is a flowchart illustrating an example of a processing procedure of thinning imaging and area control imaging using a column ADC type according to the sixth embodiment of the present technology. It is a figure showing an example of a field to which an embodiment of this art is applied.
  • FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus 100 according to an embodiment of the present technology.
  • the imaging device 100 includes a lens group 110, a solid-state imaging unit 120, a shooting mode switching unit 131, a coordinate setting unit 132, a white balance control unit 133, an auto exposure control unit 134, and a thinning determination unit 135. Is provided.
  • the imaging apparatus 100 includes a thinning imaging memory 141, an area control imaging memory 142, a signal processing unit 151, a display unit 152, an operation unit 153, a recording unit 154, and a power supply unit 155. These are connected by a bus line 190.
  • the lens group 110 is an optical system element that focuses light incident from a subject to form an image.
  • the solid-state imaging unit 120 is a semiconductor element that captures an image of a subject formed by the lens group 110.
  • the photographing mode switching unit 131 selects and switches one of the thinning photographing mode and the area control photographing mode as the photographing mode in the solid-state imaging unit 120.
  • the thinning-out shooting mode is a mode in which the solid-state imaging unit 120 performs shooting by thinning out pixels.
  • the area control shooting mode is a mode in which only the designated area is shot in the solid-state imaging unit 120.
  • the coordinate setting unit 132 sets coordinates necessary for photographing in the solid-state imaging unit 120. In the thinning shooting mode, the coordinates for the thinning shooting are set. On the other hand, in the area control shooting mode, coordinates for area control shooting are set.
  • the white balance control unit 133 determines white balance (WB) from the color signal in the thinning shooting mode and the area control shooting mode.
  • the auto exposure control unit 134 performs automatic exposure (AE) control that automatically determines the shutter speed and gain from the luminance signal in the thinning shooting mode and the area control shooting mode, and the shooting conditions of the solid-state imaging unit 120 It is reflected in.
  • AE automatic exposure
  • the thinning determination unit 135 determines the output value of the luminance signal photographed in the thinning photographing mode and outputs the coordinates of a predetermined condition.
  • the shooting mode switching unit 131, the coordinate setting unit 132, the WB control unit 133, the AE control unit 134, and the thinning determination unit 135 are examples of the conversion control unit described in the claims.
  • the thinning photographing memory 141 is a memory for storing coordinates determined by thinning photographing, and luminance signals and color signals of the coordinates.
  • the area control shooting memory 142 is a memory that stores coordinates for shooting in the area control shooting mode, and luminance signals and color signals of the coordinates. Note that the thinning-out photographing memory 141 and the area control photographing memory 142 may be configured by physically the same memory. Further, these may be constituted by, for example, a line memory or a frame memory.
  • the signal processing unit 151 performs predetermined signal processing on the signal imaged by the solid-state imaging unit 120.
  • the display unit 152 displays the image signal that has been subjected to signal processing by the signal processing unit 151.
  • the operation unit 153 receives an operation input by a user.
  • the recording unit 154 records the captured image signal on a predetermined recording medium.
  • the power supply unit 155 supplies power to each unit of the imaging apparatus 100.
  • FIG. 2 is a diagram illustrating a relationship between the analog-digital converter 125 and the pixels in the solid-state imaging unit 120 according to the embodiment of the present technology.
  • the solid-state imaging unit 120 includes an imaging element 121 in which a plurality of pixels corresponding to the frame 600 are arranged in a planar shape.
  • Each of the pixels of the image sensor 121 includes, for example, a photodiode serving as a photoelectric conversion unit and a plurality of pixel transistors.
  • the pixels of the image sensor 121 are divided into a plurality of pixel blocks.
  • Each of the plurality of pixel blocks includes a plurality of pixels.
  • the output of the image sensor 121 is an analog signal, and since this is handled in an electronic circuit, an analog-digital conversion process for converting the analog signal into a digital signal is required.
  • An analog-to-digital (AD) converter 125 performs this analog-digital conversion processing.
  • a method of assigning one AD converter 125 to one pixel is conceivable.
  • this is referred to as a pixel ADC (Analog-to-Digital Converter) type.
  • a method of allocating a plurality of pixels included in a rectangular area on a plane to one AD converter 125 is conceivable.
  • this is referred to as an area ADC type.
  • a method of allocating a plurality of pixels arranged in an array to one AD converter 125 in column units is conceivable.
  • this is referred to as a column ADC type.
  • description will be made assuming a pixel ADC type.
  • Other ADC types will be sequentially described in other embodiments.
  • shooting is performed by repeating the thinning shooting mode and the area control shooting mode.
  • the thinning shooting mode shooting is performed only with the coordinates to be thinned.
  • the luminance signal and the color signal of the coordinates that are thinned and photographed by the solid-state imaging unit 120 are stored in the thinned photographing memory 141.
  • the thinning determination unit 135 determines the value of the luminance signal and determines the coordinates.
  • the determined coordinates are stored in the thinned-out photographing memory 141.
  • the coordinates of the area control shooting mode are determined based on the coordinates determined by the thinning determination unit 135. At this time, as will be described later, the coordinates of the area control shooting mode are also added with surrounding coordinates according to the ADC type.
  • AE control using the luminance signal shot in the thinning shooting mode is performed in each pixel and each area to determine the shutter speed and gain.
  • a luminance signal photographed by one pixel in the area in the thinning photographing mode is used for AE control of the area.
  • the luminance signal photographed in the thinning photographing mode is used for AE control in pixels around the pixel.
  • a luminance signal photographed by one pixel in the area in the thinning photographing mode is used for AE control of the area.
  • the WB control is performed on each pixel and each area using the luminance signal shot in the thinning shooting mode to determine the color temperature.
  • the coordinates, the luminance signal, and the color signal captured by the area control shooting in the area control shooting mode are stored in the area control shooting memory 142.
  • the signals stored in the thinned imaging memory 141 and the area control imaging memory 142 are transferred from the signal processing unit 151 to the recording unit 154, the display unit 152, the operation unit 153, and the like.
  • FIG. 3 is a diagram illustrating a specific example of thinning shooting and area control shooting according to the first embodiment of the present technology.
  • coordinates are set so that one pixel 612 at the center is shot as a representative pixel in a pixel block 611 of 7 pixels ⁇ 7 pixels.
  • one thinned image is taken for 49 pixels. That is, every seven coordinates are set in the vertical direction (Vertical), and every seven coordinates are set in the horizontal direction (Horizontal).
  • the photographed image is stored in the thinned photographing memory 141.
  • the luminance signal is taken out from the thinned-out photographing memory 141.
  • 1024 gradation levels from “0” to “1023” are assumed as the luminance signal.
  • a “50” gradation signal is obtained in a dark scene, and a “500” gradation signal is obtained in a bright place.
  • coordinates smaller than “100” gradation and coordinates greater than “100” gradation are determined.
  • coordinates and luminance values higher than “100” gradation are determined as the center value of the area control shooting and stored in the thinned shooting memory 141.
  • the coordinates are stored in the thinned-out photographing memory 141, but may be stored in another temporary memory.
  • the background “50” gradation is assumed as a reference value, and the threshold for comparison is assumed as “50” gradation. That is, a difference between the reference value (“50”) and the captured luminance signal is generated, and if the difference is equal to or greater than a threshold value (“50”), the gradation becomes “100” or more and is detected as an object. .
  • the coordinates of the area control shooting are set from the thinning shooting memory 141.
  • the analog-digital conversion processing of the pixels included in the pixel block is controlled in the area control imaging. .
  • the digital signal is generated by executing analog-to-digital conversion processing of the pixels included in the pixel block.
  • the analog-digital conversion process for the pixels included in the pixel block is not executed.
  • the coordinates in this case are set to 3 pixels each from the center pixel 612 in the horizontal direction and the vertical direction so as to be 7 pixels ⁇ 7 pixels as shown in c in FIG.
  • the luminance signal is read out from the thinned-out photographing memory 141, and the shutter speed and the gain are set by the AE control in the 7 pixels ⁇ 7 pixels.
  • the photographed image is stored in the area control photographing memory 142. From the area control photographing memory 142, coordinates, a luminance signal, and a color signal are output.
  • FIG. 4 is a diagram illustrating a specific example of thinning shooting and determination according to the first embodiment of the present technology.
  • a luminance signal is obtained in the thinning shooting memory 141 as shown by a in FIG.
  • the pixel 612 at the center of 7 pixels ⁇ 7 pixels is thinned out as a representative pixel, and the luminance signal is stored.
  • “50” gradation and a bright place is “ It is assumed that a signal of 500 ”gradation is obtained.
  • coordinates of “100” gradation or more are determined and the coordinates are set.
  • FIG. 5 is a diagram illustrating a specific example of the enlargement of the imaging area in the area control shooting according to the first embodiment of the present technology.
  • the imaging area is enlarged in area control imaging.
  • the pixel block 621 is determined based on the gradation of the center pixel 622, and as such, a part of the finger 601 is used in area control shooting. May not be taken.
  • the periphery of the detected area is added to the coordinates.
  • the coordinates are set by enlarging the pixel block 623 around the pixel block 621 determined by the gradation. That is, even if the luminance signal of the central pixel 624 is less than “100” gradation, the luminance signal of the central pixel 622 of the pixel block 621 around the pixel block 623 is “100” gradation. If it is above, it becomes the object of area control photography.
  • FIG. 6 is a diagram illustrating an entire specific example of the enlargement of the imaging area in the area control shooting according to the first embodiment of the present technology.
  • the area control photographing of the entire hand can be performed by enlarging the pixel block around the pixel block determined by the gradation and setting the coordinates.
  • FIG. 7 is a flowchart illustrating an example of processing procedures of thinning shooting and area control shooting according to the first embodiment of the present technology.
  • thinning shooting and area control shooting are alternately performed.
  • shooting is performed in the thinning shooting mode (step S902: thinning shooting mode) (step S930).
  • the center pixel is set as a thinning coordinate (step S931).
  • thinning shooting is performed at 1000 fps (step S932).
  • the image captured by the thinning shooting is stored in the thinning shooting memory 141 (step S935).
  • the luminance signal and the color signal are extracted from the thinned-out photographing memory 141 (steps S936 and S937), and object detection is performed (step S938). That is, as described above, the coordinates are determined according to the gradation of the luminance signal using the difference from the reference value, and the coordinates are set in the thinned-out photographing memory 141 (step S939).
  • step S902 area control shooting mode
  • step S940 shooting is performed in the area control shooting mode
  • area control coordinates are set from the thinned-out shooting memory 141 (step S941).
  • a luminance signal is read out from the thinned-out photographing memory 141
  • AE control is performed using the luminance signal
  • a shutter speed and a gain are set (step S942).
  • the color signal is read from the thinning-out photographing memory 141, and the white balance is determined from the color signal (step S943).
  • step S944 area control shooting is performed at the set coordinates, for example, at 1000 fps.
  • the image shot by the area control shooting is stored in the area control shooting memory 142 (step S945).
  • the pixel ADC type imaging apparatus it is possible to perform area control imaging based on the result of thinning imaging. That is, it is possible to set the coordinates for performing the area control shooting based on the luminance signal obtained in the thinning shooting.
  • the signal used for object detection can be used for AE control. That is, normally, AE control is performed using the entire luminance signal thinned out.
  • each pixel is represented by the luminance signal obtained by thinning imaging.
  • AE control can be performed every time. For example, in a scene where the sun and shade are mixed, area control shooting can be performed by performing AE control with the sun area as a reference, and area control shooting can be performed with AE control using the shadow area as a reference. Thereby, an image can be taken by appropriately performing AE control in each of a bright part and a dark part.
  • Second Embodiment> In the above-described first embodiment, the pixel ADC type is assumed, but in the second embodiment, an area ADC type is assumed. Note that the overall configuration of the imaging apparatus 100 is the same as that of the above-described first embodiment, and thus detailed description thereof is omitted.
  • FIG. 8 is a diagram illustrating a specific example of thinning shooting and area control shooting according to the second embodiment of the present technology.
  • the coordinates 612 are set so that the center of the pixel block 611 of 8 pixels ⁇ 8 pixels is shot as a representative pixel. In this manner, one thinned image is taken for 64 pixels.
  • any pixel of the pixel block 611 of 8 pixels ⁇ 8 pixels may be photographed. For example, if pixels are set at random among 8 pixels ⁇ 8 pixels, they can be used for compressive sensing. In the vertical direction, coordinates are set for each area, and in the horizontal direction, coordinates are set for each area.
  • the photographed image is stored in the thinned photographing memory 141.
  • the luminance signal is taken out from the thinned-out photographing memory 141, and coordinates are set according to the gradation of the luminance signal.
  • the area of the finger 601 is imaged in the area control imaging mode. Note that, as in the first embodiment described above, the imaging area may be expanded to surrounding pixel blocks.
  • FIG. 9 is a diagram illustrating a specific example of thinning shooting and determination according to the second embodiment of the present technology.
  • a luminance signal is obtained in the thinning shooting memory 141 as shown by a in FIG.
  • the luminance signal is stored by thinning and photographing with the approximate center of 8 pixels ⁇ 8 pixels as a representative pixel.
  • coordinates of “100” gradation or more are determined and the coordinates are set.
  • the overall processing procedure is the same as that in the first embodiment described above, and a detailed description thereof will be omitted.
  • the area ADC type imaging apparatus can perform area control imaging based on the result of thinning imaging.
  • FIG. 10 is a diagram illustrating a specific example of thinning shooting and area control shooting according to the third embodiment of the present technology.
  • thinning shooting for example, coordinates are set so that shooting is performed every 8 lines in the vertical direction. Also, coordinates are set so that images are taken every 8 lines in the horizontal direction. In this way, thinning shooting is performed for one representative pixel in 64 pixels.
  • FIG. 11 is a diagram illustrating a specific example of thinning shooting and determination according to the third embodiment of the present technology.
  • a luminance signal is obtained in the thinning shooting memory 141 as shown by a in FIG.
  • predetermined determination values H_all and V_all are detected in the vertical direction and the horizontal direction as shown in FIG.
  • This determination value is a statistical value such as a maximum value or a minimum value.
  • the coordinates in the vertical direction and the horizontal direction are set according to the determination result, and the area control photographing is performed.
  • FIG. 12 is a flowchart illustrating an example of processing procedures of thinning shooting and area control shooting according to the third embodiment of the present technology.
  • thinning shooting and area control shooting are alternately performed.
  • shooting is performed in the thinning shooting mode (step S903: thinning shooting mode) (step S950).
  • step S950 thinning shooting mode
  • step S950 In each pixel block, one pixel is set as a thinning coordinate (step S951).
  • thinning shooting is performed, for example, at 1000 fps (step S952).
  • An image photographed by the thinning photographing is stored in the thinning photographing memory 141 (step S953).
  • the luminance signal and the color signal are extracted from the thinned-out photographing memory 141 (Steps S955 and S956), and the determination value (for example, the maximum value or the minimum value) is detected in the vertical direction and the horizontal direction (Step S957).
  • object detection is performed using these determination values (step S958). That is, using the determination value as described above, the coordinates are determined according to the gradation of the luminance signal, and the coordinates are set in the thinned-out photographing memory 141 (step S959).
  • step S903 area control shooting mode
  • step S960 shooting is performed in the area control shooting mode
  • area control coordinates are set from the thinned-out shooting memory 141 (step S961).
  • a luminance signal is read out from the thinned-out photographing memory 141
  • AE control is performed using the luminance signal
  • a shutter speed and a gain are set (step S962).
  • the color signal is read from the thinning-out photographing memory 141, and the white balance is determined from the color signal (step S963).
  • step S964 area control shooting is performed at the set coordinates, for example, at 1000 fps.
  • the image shot by the area control shooting is stored in the area control shooting memory 142 (step S965).
  • the column ADC type imaging apparatus can perform area control imaging based on the result of the thinning imaging.
  • FIG. 13 is a diagram illustrating a specific example of thinning shooting and area control shooting according to the fourth embodiment of the present technology. In this example, a scene where a bird flies in the sky is assumed.
  • the thinning-out shooting mode for example, shooting is performed at 1000 fps. In this thinning-out shooting mode, shooting is performed by shortening the shutter time due to short livestock.
  • the photographing coordinates are set according to the ADC type according to any of the above-described pixel ADC type, area ADC type, and column ADC type.
  • the first frame is set uniformly in AE control and WB control.
  • AE control and WB control are performed based on the luminance value and color signal of the previous frame for each coordinate.
  • area control shooting shooting is performed with long accumulation and with area control, for example, 1000 fps.
  • the area control coordinates are read out from the thinned-out imaging memory 141, and the area control imaging is performed according to this.
  • AE control is performed using the luminance signal for thinning shooting
  • WB control is performed based on the color signal for thinning shooting.
  • a reference value serving as a background is assumed, and it is determined whether or not a difference from the reference value is equal to or greater than a predetermined threshold value.
  • the reference value may be set as a fixed value in advance, or the luminance signal may be set as the reference value when there is no change in a certain frame (for example, 100 frames).
  • a pixel whose luminance signal is the luminance value of the object in the thinning-out shooting can be determined as an object. Even if the luminance value of the object is not known in advance, it can be determined as an object if the difference between the luminance signal and the reference value is greater than or equal to a predetermined threshold in thinning shooting. Such a relationship between the background and the object is common to the other embodiments.
  • the fourth embodiment of the present technology it is possible to detect an object with high accuracy for a moving image frame and perform area control imaging according to the object detection.
  • FIG. 14 is a diagram illustrating a specific example of thinning shooting and area control shooting according to the fifth embodiment of the present technology. In this example, a scene where a bird flies in the sky is assumed.
  • the photographing coordinates are set according to the ADC type according to any of the above-described pixel ADC type, area ADC type, and column ADC type.
  • thinning shooting is performed for three frames, a difference from a reference value is compared with a threshold value at each coordinate, and each is stored in a different address of the thinning shooting memory 141.
  • the relationship between the background and the object is the same as that in the fourth embodiment described above.
  • the first frame is set uniformly in AE control and WB control.
  • AE control and WB control are performed based on the luminance value and color signal of the previous frame for each coordinate.
  • the coordinates of the fourth frame are estimated from the values for the past three frames stored in the thinned-out photographing memory 141.
  • the luminance value of the fourth frame is estimated from the value stored in the thinned-out photographing memory 141 for the past three frames.
  • the coordinates and luminance values of the fourth frame are stored in the thinned-out photographing memory 141.
  • the fourth frame is not thinned out.
  • the area control shooting for example, shooting is performed at 60 fps. That is, in the thinning shooting mode, the area control shooting is performed without performing the thinning shooting at the timing of the next fourth frame after three frames are thinned. At this time, the area control coordinates are read out from the thinned-out imaging memory 141, and the area control imaging is performed in accordance therewith.
  • AE control is performed using the luminance signal for thinning shooting
  • WB control is performed based on the color signal for thinning shooting.
  • the fourth frame is not thinned, but as another example, the fourth frame is thinned, and the frame control is performed at the timing of the fourth frame using coordinates for four frames. May be performed. At that time, the coordinates of the area control photographing at the timing of the fourth frame may be obtained by averaging the coordinates of the four frames, OR (logical sum), or the like.
  • FIG. 15 is a flowchart illustrating an example of a processing procedure of thinning shooting and area control shooting using the area ADC type and the pixel ADC type according to the fifth embodiment of the present technology.
  • the decimation imaging for 3 frames and the area control imaging for 1 frame are sequentially performed.
  • shooting is performed in the thinning shooting mode (step S904: thinning shooting mode) (step S970).
  • step S970 thinning shooting mode
  • one pixel is set as a thinning coordinate (step S971).
  • thinning shooting is performed, for example, at 240 fps (step S972).
  • An image photographed by the thinning photographing is stored in the thinning photographing memory 141 (step S973).
  • object detection is performed (step S975), and the result is stored in the thinned-out photographing memory 141 (step S976).
  • step S977: No the moving coordinates in the next frame are estimated from the decimation imaging results of three frames.
  • step S978 the estimated coordinates are used as the decimation imaging memory. 141 (step S979).
  • step S904 area control shooting mode
  • step S980 area control shooting mode
  • area control coordinates are set from the thinned-out shooting memory 141 (step S981), and area control shooting is performed at 60 fps, for example, according to the coordinates (step S984).
  • the image shot by the area control shooting is stored in the area control shooting memory 142 (step S985).
  • FIG. 16 is a flowchart illustrating an example of processing procedures of thinning imaging and area control imaging using the column ADC type according to the fifth embodiment of the present technology.
  • the decimation imaging for 3 frames and the area control imaging for 1 frame are sequentially performed.
  • shooting is performed in the thinning shooting mode (step S905: thinning shooting mode) (step S810).
  • step S810 thinning shooting mode
  • step S810 In each pixel block, one pixel is set as a thinning coordinate (step S811).
  • step S812 thinning shooting is performed at 240 fps, for example (step S812).
  • the image shot by the thinning shooting is held in the temporary stack memory (step S813).
  • determination values for example, a maximum value or a minimum value
  • object detection is performed using these determination values (step S815). That is, using the determination value as described above, the coordinates are determined according to the gradation of the luminance signal, and the coordinates are set in the thinned-out photographing memory 141 (step S816).
  • step S817: No thinning-out photographing for 3 frames is repeated.
  • step S817: Yes the moving coordinates in the next frame are estimated from the decimation imaging results of three frames (step S818), and the estimated coordinates are used as the decimation imaging memory. 141 (step S819).
  • step S905 area control shooting mode
  • step S820 shooting is performed in the area control shooting mode
  • area control shooting mode area control coordinates are set from the thinned-out shooting memory 141 (step S821), and area control shooting is performed at 60 fps, for example, according to the coordinates (step S824).
  • the image shot by the area control shooting is stored in the area control shooting memory 142 (step S825).
  • the non-destructive readout method is a method of reading out charges (pixel signals) from a photoelectric conversion element while keeping the accumulated state without emptying the charge accumulated in the photoelectric conversion element.
  • the reset process since the reset process is not performed at the time of reading the charge, the charge can be read many times at different exposure times during the accumulation of the charge until reaching the set exposure time. Therefore, the nondestructive readout method has an advantage that multistage exposure can be easily realized.
  • FIG. 17 is a diagram illustrating a specific example of thinning shooting and area control shooting according to the sixth embodiment of the present technology. In this example, a scene where a bird flies in the sky is assumed.
  • the photographing coordinates are set according to the ADC type according to any of the above-described pixel ADC type, area ADC type, and column ADC type.
  • imaging is performed with a nondestructive readout method, for example, at 60 fps.
  • the area control coordinates are read out from the thinned-out imaging memory 141, and the area control imaging is performed in accordance therewith.
  • AE control is performed using the luminance signal for thinning shooting
  • WB control is performed based on the color signal for thinning shooting.
  • FIG. 18 is a flowchart illustrating an example of processing procedures of thinning shooting and area control shooting using the area ADC type and the pixel ADC type according to the sixth embodiment of the present technology.
  • thinning shooting and area control shooting are alternately performed.
  • shooting is performed in the thinning shooting mode (step S906: thinning shooting mode) (step S830).
  • step S830 In each pixel block, one pixel is set as a thinning coordinate (step S831).
  • thinning shooting is performed, for example, at 60 fps (step S832).
  • An image shot by the thinning shooting is stored in the temporary stack memory (step S833).
  • object detection is performed (step S835), and the result is stored in the thinned-out photographing memory 141 (step S839).
  • step S906 area control shooting mode
  • step S840 area control shooting mode
  • area control coordinates are set from the thinned-out shooting memory 141 (step S841), and area control shooting is performed at 60 fps, for example, according to the coordinates (step S844).
  • the image shot by the area control shooting is stored in the area control shooting memory 142 (step S845).
  • FIG. 19 is a flowchart illustrating an example of processing procedures for thinning imaging and area control imaging using the column ADC type according to the sixth embodiment of the present technology.
  • thinning imaging and area control imaging are alternately performed as described above for the column ADC type.
  • shooting is performed in the thinning shooting mode (step S907: thinning shooting mode) (step S850).
  • step S850 thinning shooting mode
  • step S851 thinning coordinate
  • thinning shooting is performed, for example, at 60 fps (step S852).
  • An image shot by the thinning shooting is held in the temporary stack memory (step S853).
  • determination values for example, a maximum value or a minimum value
  • object detection is performed using these determination values (step S855). That is, using the determination value as described above, the coordinates are determined according to the gradation of the luminance signal, and the coordinates are set in the thinned-out photographing memory 141 (step S859).
  • step S907 area control shooting mode
  • step S860 area control shooting mode
  • area control coordinates are set from the thinned-out shooting memory 141 (step S861), and area control shooting is performed at 60 fps, for example, according to the coordinates (step S864).
  • the image shot by the area control shooting is stored in the area control shooting memory 142 (step S865).
  • multistage exposure can be realized by performing nondestructive reading in the solid-state imaging unit 120. That is, wide dynamic range and driving can be omitted, and power consumption can be reduced.
  • FIG. 20 is a diagram illustrating an example of a field to which the embodiment of the present technology is applied.
  • the imaging apparatus can be used as an apparatus that captures an image used for viewing, such as a digital camera or a mobile device with a camera function.
  • this imaging device is equipped with an in-vehicle sensor that captures the surroundings or the interior of a vehicle for safe driving such as automatic stop or recognition of the driver's condition, a monitoring camera that monitors a traveling vehicle or a road, between vehicles, etc. It can be used as a device that is used for traffic, such as a distance measuring sensor that performs distance measurement.
  • this imaging device can be used as a device used for home appliances such as a television, a refrigerator, and an air conditioner in order to photograph a user's gesture and perform device operations in accordance with the gesture.
  • this imaging device can be used as a device used for medical or health care, such as an endoscope or a device that performs angiography by receiving infrared light.
  • this imaging device can be used as a device used for security, such as a security camera or a person authentication camera.
  • this imaging device can be used as a device used for beauty, such as a skin measuring device for photographing the skin and a microscope for photographing the scalp.
  • this imaging device can be used as a device used for sports, such as an action camera or a wearable camera for sports use.
  • this imaging apparatus can be used as an apparatus used for agriculture, such as a camera for monitoring the state of fields and crops.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium for storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • An image sensor that generates analog signals of the plurality of pixels for a plurality of pixel blocks each including a plurality of pixels;
  • An analog-digital converter that performs analog-digital conversion processing for converting the analog signal into a digital signal;
  • the analog-to-digital conversion processing of the plurality of pixels included in the predetermined pixel block is controlled in accordance with a difference between the digital signal of the representative pixel in the predetermined pixel block of the plurality of pixel blocks and a predetermined reference value.
  • An image pickup apparatus including a conversion control unit.
  • the conversion control unit includes the plurality of pixels included in the first pixel block.
  • the analog-to-digital converter executes the analog-to-digital conversion process to generate the digital signals of the plurality of pixels, and a difference between the digital signal of the representative pixel and the reference value is less than the threshold value.
  • the imaging apparatus according to (1) wherein the pixel block is controlled so that the analog-digital converter does not execute the analog-digital conversion processing of the plurality of pixels included in the second pixel block.
  • the conversion control unit may include pixels around the second pixel block even if the difference between the digital signal of the representative pixel and the reference value is less than the threshold value. If the difference between the digital signal of the representative pixel of the block and the reference value is greater than or equal to the threshold value, the analog-digital conversion processing of the plurality of pixels included in the second pixel block is performed on the analog-digital converter.
  • the conversion control unit causes the analog-to-digital converter to execute the analog-to-digital conversion process only for the representative pixels of the plurality of pixel blocks to generate the digital signal; Shooting for switching to an area control shooting mode in which the analog-to-digital converter executes the analog-to-digital conversion processing of the plurality of pixels included in the predetermined pixel block according to a difference between the digital signal and the reference value
  • the imaging device according to any one of (1) to (3), further including a mode switching unit.
  • the conversion control unit A decimation determination unit that outputs, as a determination result, coordinates of a pixel block in which a difference between the digital signal of the representative pixel generated in the decimation imaging mode and the reference value is a predetermined threshold value;
  • the imaging apparatus according to (4), further including: a coordinate setting unit that sets coordinates of a pixel block that performs the analog-digital conversion processing in the area control imaging mode based on the determination result.
  • the conversion control unit calculates exposure times of the plurality of pixels included in the predetermined pixel block in the area control shooting mode based on the digital signal of the representative pixel generated in the thinning shooting mode.
  • the imaging device according to (4) or (5) to be controlled.
  • the conversion control unit based on the digital signal of the representative pixel generated in the thinning shooting mode for a plurality of moving image frames arranged in time series, at a frame rate different from the thinning shooting mode.
  • the imaging apparatus according to any one of (4) to (6), wherein the operation in the area control imaging mode is performed.
  • the reference value is a preset fixed value.
  • the imaging device according to any one of (1) to (8), wherein the reference value is a value set from a value of a corresponding pixel in a moving image frame arranged in time series.
  • An image sensor that generates analog signals of the plurality of pixels for a plurality of pixel blocks each including a plurality of pixels, and an analog-to-digital converter that performs analog-digital conversion processing for converting the analog signals into digital signals.
  • a thinning-out photographing procedure for causing the analog-to-digital converter to execute the analog-to-digital conversion process only for representative pixels in the plurality of pixel blocks;
  • An area control photographing procedure for causing the analog-to-digital converter to execute the analog-to-digital conversion processing of the plurality of pixels included in a predetermined pixel block according to a difference between the digital signal of the representative pixel and a predetermined reference value;
  • An imaging control method provided.
  • the exposure time of the plurality of pixels included in the predetermined pixel block is controlled in the area control photographing procedure based on the digital signal of the representative pixel generated in the thinning photographing procedure. The imaging control method described in 1.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

間引き撮影の結果に基づいて、必要な領域のみを撮影する。　撮像装置は、撮像素子と、アナログデジタル変換器と、変換制御部とを備える。撮像素子は、各々が複数の画素を含む複数の画素ブロックについて、複数の画素のアナログ信号を生成する。アナログデジタル変換器は、アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行う。変換制御部は、複数の画素ブロックのうちの所定の画素ブロックにおける代表画素のデジタル信号と所定の基準値との差分に応じて、所定の画素ブロックに含まれる複数の画素のアナログデジタル変換処理を制御する。

Description

撮像装置および撮像制御方法
　本技術は、撮像装置に関する。詳しくは、間引き撮影を行う撮像装置および撮像制御方法に関する。
　従来、撮像装置においては、消費電力低減などのために間引き撮影モードを備えるものが知られている。例えば、動体検知を行う際には間引き読出しを行い、動きが検出された際には全画面読出しを行う固体撮像素子の駆動方法が提案されている（例えば、特許文献１参照。）。
特開２０１０－１７１６６６号公報
　上述の従来技術では、間引き読出しにより動体検知を行って、動きの検出を契機としてイベントドリブンにより全画面読出しを行っている。しかしながら、この従来技術では、間引き読出しの後、画像を撮影する際に撮像素子の全画素で撮影するため、消費電力の増加、データ量の増加や、データ転送の帯域の増加を伴うという問題がある。一方、現実の用途としては、顔認識や物体認識のように画面の一部のみを鮮明に撮影できれば十分な場合があり、全画面の撮影は無駄になることがある。
　本技術はこのような状況に鑑みて生み出されたものであり、間引き撮影の結果に基づいて、必要な領域のみを撮影することを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、各々が複数の画素を含む複数の画素ブロックについて上記複数の画素のアナログ信号を生成する撮像素子と、上記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器と、上記複数の画素ブロックのうちの所定の画素ブロックにおける代表画素の上記デジタル信号と所定の基準値との差分に応じて上記所定の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を制御する変換制御部とを具備する撮像装置である。これにより、複数の画素ブロックにおける代表画素のデジタル信号と基準値との差分に応じて、所定の画素ブロックに含まれる複数の画素のアナログデジタル変換処理を制御するという作用をもたらす。
　また、この第１の側面において、上記変換制御部は、上記代表画素の上記デジタル信号と上記基準値との差分が所定の閾値以上である第１の画素ブロックについては上記第１の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記複数の画素の上記デジタル信号を生成させ、上記代表画素の上記デジタル信号と上記基準値との差分が上記閾値未満である第２の画素ブロックについては上記第２の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させないように制御するようにしてもよい。これにより、代表画素のデジタル信号と基準値との差分に応じてアナログデジタル変換処理の要否を制御するという作用をもたらす。
　また、この第１の側面において、上記変換制御部は、上記代表画素の上記デジタル信号と上記基準値との差分が上記閾値未満である上記第２の画素ブロックであっても、上記第２の画素ブロックの周囲の画素ブロックの上記代表画素の上記デジタル信号と上記基準値との差分が上記閾値以上であれば、上記第２の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記複数の画素の上記デジタル信号を生成させるように制御するようにしてもよい。これにより、画素ブロックの周囲の画素ブロックに拡大してアナログデジタル変換処理を制御するという作用をもたらす。
　また、この第１の側面において、上記変換制御部は、上記複数の画素ブロックの上記代表画素についてのみ上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記デジタル信号を生成させる間引き撮影モードと、上記代表画素の上記デジタル信号と上記基準値との差分に応じて上記所定の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させる領域制御撮影モードとの切替えを行う撮影モード切替部を備えるようにしてもよい。これにより、間引き撮影モードと領域制御撮影モードとの切替えを行うという作用をもたらす。
　また、この第１の側面において、上記変換制御部は、上記間引き撮影モードにおいて生成された上記代表画素の上記デジタル信号と上記基準値との差分が所定の閾値以上である画素ブロックの座標を判定結果として出力する間引き判定部と、上記領域制御撮影モードにおいて上記アナログデジタル変換処理を行う画素ブロックの座標を上記判定結果に基づいて設定する座標設定部とを備えるようにしてもよい。これにより、間引き撮影モードにおいて生成された代表画素のデジタル信号と基準値との差分に応じて、領域制御撮影モードのための座標を設定するという作用をもたらす。
　また、この第１の側面において、上記変換制御部は、上記間引き撮影モードにおいて生成された上記代表画素の上記デジタル信号に基づいて、上記領域制御撮影モードにおいて上記所定の画素ブロックに含まれる上記複数の画素の露光時間を制御するようにしてもよい。これにより、間引き撮影モードにおいて生成された代表画素のデジタル信号に基づいて、領域制御撮影モードにおける露光時間を制御するという作用をもたらす。
　また、この第１の側面において、上記変換制御部は、時系列に配列される複数の動画フレームについて上記間引き撮影モードにおいて生成された上記代表画素の上記デジタル信号に基づいて、上記間引き撮影モードとは異なるフレームレートにより上記領域制御撮影モードによる動作を行うようにしてもよい。これにより、間引き撮影モードにおいて生成された代表画素のデジタル信号に基づいて、異なるフレームレートにより領域制御撮影モードによる動作を行うという作用をもたらす。
　また、この第１の側面において、上記基準値は、予め設定された固定値であってもよく、また、時系列に配列される動画フレームにおける対応する画素の値から設定される値であってもよい。
　また、この第１の側面において、上記アナログデジタル変換器は、上記画素の各々に対応して画素単位で上記アナログデジタル変換処理を行う画素ＡＤＣ型であってもよい。また、上記アナログデジタル変換器は、上記画素を複数個ずつまとめた領域単位で上記アナログデジタル変換処理を行うエリアＡＤＣ型であってもよい。また、上記アナログデジタル変換器は、上記画素を列毎にまとめて列単位で上記アナログデジタル変換処理を行うカラムＡＤＣ型であってもよい。
　また、この第１の側面において、上記撮像素子は、非破壊読出しにより上記アナログ信号を生成してもよい。
　また、本技術の第２の側面は、各々が複数の画素を含む複数の画素ブロックについて上記複数の画素のアナログ信号を生成する撮像素子と、上記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器とを備える撮像装置において、上記複数の画素ブロックにおける代表画素についてのみ上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させて上記デジタル信号を生成させる間引き撮影手順と、上記代表画素の上記デジタル信号と所定の基準値との差分に応じて所定の画素ブロックに含まれる上記複数の画素の上記アナログデジタル変換処理を上記アナログデジタル変換器に実行させる領域制御撮影手順とを具備する撮像制御方法である。これにより、間引き撮影における複数の画素ブロックにおける代表画素のデジタル信号と基準値との差分に応じて、領域制御撮影において所定の画素ブロックに含まれる複数の画素のアナログデジタル変換処理を制御するという作用をもたらす。
　また、この第２の側面において、上記間引き撮影手順において生成された上記代表画素の上記デジタル信号に基づいて、上記領域制御撮影手順において上記所定の画素ブロックに含まれる上記複数の画素の露光時間を制御するようにしてもよい。間引き撮影において生成された代表画素のデジタル信号に基づいて、領域制御撮影における露光時間を制御するという作用をもたらす。
　本技術によれば、間引き撮影の結果に基づいて、必要な領域のみを撮影することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像装置１００の構成例を示す図である。 本技術の実施の形態の固体撮像部１２０におけるアナログデジタル変換器１２５と画素との関係を示す図である。 本技術の第１の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。 本技術の第１の実施の形態における間引き撮影と判定の具体例を示す図である。 本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例を示す図である。 本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例の全体を示す図である。 本技術の第１の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。 本技術の第２の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。 本技術の第２の実施の形態における間引き撮影と判定の具体例を示す図である。 本技術の第３の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。 本技術の第３の実施の形態における間引き撮影と判定の具体例を示す図である。 本技術の第３の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。 本技術の第４の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。 本技術の第５の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。 本技術の第５の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。 本技術の第５の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。 本技術の第６の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。 本技術の第６の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。 本技術の第６の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。 本技術の実施の形態が適用される分野の例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（画素単位でアナログデジタル変換処理を行う例）
　２．第２の実施の形態（エリア単位でアナログデジタル変換処理を行う例）
　３．第３の実施の形態（カラム単位でアナログデジタル変換処理を行う例）
　４．第４の実施の形態（動画フレームの適用例）
　５．第５の実施の形態（座標の推定を行う例）
　６．第６の実施の形態（非破壊読出しを行う例）
　７．適用例
　＜１．第１の実施の形態＞
　［撮像装置］
　図１は、本技術の実施の形態における撮像装置１００の構成例を示す図である。
　この撮像装置１００は、レンズ群１１０と、固体撮像部１２０と、撮影モード切替部１３１と、座標設定部１３２と、ホワイトバランス制御部１３３と、オートエクスポージャ制御部１３４と、間引き判定部１３５とを備える。また、この撮像装置１００は、間引き撮影メモリ１４１と、領域制御撮影メモリ１４２と、信号処理部１５１と、表示部１５２と、操作部１５３と、記録部１５４と、電源部１５５とを備える。これらは、バスライン１９０によって接続される。
　レンズ群１１０は、被写体から入射した光を集光して結像させる光学系素子である。固体撮像部１２０は、レンズ群１１０によって結像された被写体の像を撮像する半導体素子である。
　撮影モード切替部１３１は、固体撮像部１２０における撮影モードとして、間引き撮影モードおよび領域制御撮影モードの一方を選択して切り替えるものである。ここで、間引き撮影モードは、固体撮像部１２０において、画素を間引いて撮影するモードである。領域制御撮影モードは、固体撮像部１２０において、指定した領域だけを撮影するモードである。
　座標設定部１３２は、固体撮像部１２０における撮影に必要な座標を設定するものである。間引き撮影モードでは、間引き撮影をしたい座標を設定する。一方、領域制御撮影モードでは、領域制御撮影した座標を設定する。
　ホワイトバランス制御部１３３は、間引き撮影モードと領域制御撮影モードにおいて、色信号からホワイトバランス（ＷＢ：White Balance）を決定するものである。
　オートエクスポージャ制御部１３４は、間引き撮影モードと領域制御撮影モードにおいて、輝度信号からシャッター速度とゲインを自動的に決定する自動露光（ＡＥ：Auto Exposure）制御を行い、固体撮像部１２０の撮影条件に反映させるものである。
　間引き判定部１３５は、間引き撮影モードで撮影した輝度信号の出力値を判定して、所定条件の座標を出力するものである。
　なお、撮影モード切替部１３１、座標設定部１３２、ＷＢ制御部１３３、ＡＥ制御部１３４、間引き判定部１３５は、特許請求の範囲に記載の変換制御部の一例である。
　間引き撮影メモリ１４１は、間引き撮影で判定された座標と、その座標の輝度信号および色信号とを格納するメモリである。領域制御撮影メモリ１４２は、領域制御撮影モードで撮影する座標と、その座標の輝度信号および色信号とを格納するメモリである。なお、間引き撮影メモリ１４１および領域制御撮影メモリ１４２は、物理的に同じメモリによって構成してもよい。また、これらは例えば、ラインメモリやフレームメモリによって構成してもよい。
　信号処理部１５１は、固体撮像部１２０によって撮像された信号に対して所定の信号処理を施すものである。表示部１５２は、信号処理部１５１によって信号処理が施された画像信号を表示するものである。操作部１５３は、ユーザによる操作入力を受け付けるものである。記録部１５４は、撮像された画像信号を所定の記録媒体に記録するものである。電源部１５５は、撮像装置１００の各部に電源を供給するものである。
　図２は、本技術の実施の形態の固体撮像部１２０におけるアナログデジタル変換器１２５と画素との関係を示す図である。
　固体撮像部１２０は、フレーム６００に対応する複数の画素を平面状に配置した撮像素子１２１を備える。この撮像素子１２１の画素の各々は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタを含む。撮像素子１２１の画素は、複数の画素ブロックに区分けされる。そして、複数の画素ブロックの各々は、複数の画素からなる。
　撮像素子１２１の出力はアナログ信号であり、これを電子回路において扱うため、アナログ信号をデジタル信号に変換するアナログデジタル変換処理が必要になる。このアナログデジタル変換処理を行うのがアナログデジタル（ＡＤ：Analog-to-Digital）変換器１２５である。撮像素子１２１における画素とＡＤ変換器１２５との対応関係はいくつか考えられ、これまでも提案されている。
　第１に、１つの画素に１つのＡＤ変換器１２５を割り当てる方式が考えられる。以下では、これを画素ＡＤＣ（Analog-to-Digital Converter）型と称する。第２に、平面上の四角形のエリアに含まれる複数の画素を、１つのＡＤ変換器１２５に割り当てる方式が考えられる。以下では、これをエリアＡＤＣ型と称する。第３に、アレイ状に配置された複数の画素をカラム（Column：列）単位で、１つのＡＤ変換器１２５に割り当てる方式が考えられる。以下では、これをカラムＡＤＣ型と称する。以下の第１の実施の形態では、画素ＡＤＣ型を想定して説明する。他のＡＤＣ型については、他の実施の形態において順次説明する。
　［駆動方式］
　以下の各実施の形態においては、間引き撮影モードと領域制御撮影モードを繰り返すことによって撮影が行われる。
　間引き撮影モードでは、間引き撮影したい座標のみにより撮影が行われる。固体撮像部１２０において間引き撮影された座標の輝度信号と色信号が、間引き撮影メモリ１４１に格納される。間引き判定部１３５は、輝度信号の値を判定し、座標を決定する。決定された座標は間引き撮影メモリ１４１に格納される。
　領域制御撮影モードでは、間引き判定部１３５によって決定された座標に基づいて、領域制御撮影モードの座標が決定される。このとき、領域制御撮影モードの座標は、後述するように、ＡＤＣ型に応じて、周囲の座標も追加される。
　この領域制御撮影モードでは、各画素および各エリアにおいて、間引き撮影モードで撮影した輝度信号を用いたＡＥ制御を行い、シャッター速度およびゲインを決定する。このとき、エリアＡＤＣ型では、間引き撮影モードにてエリア内の一つの画素で撮影した輝度信号をそのエリアのＡＥ制御に使用する。また、画素ＡＤＣ型では、間引き撮影モードにて撮影した輝度信号を、その画素の周囲の画素においてＡＥ制御に使用する。また、カラムＡＤＣ型では、間引き撮影モードにてエリア内の一つの画素で撮影した輝度信号をそのエリアのＡＥ制御に使用する。
　また、領域制御撮影モードでは、各画素および各エリアにおいて、間引き撮影モードで撮影した輝度信号を用いてＷＢ制御を行い、色温度を決定する。
　領域制御撮影モードにおいて領域制御撮影で撮影された座標と輝度信号および色信号は、領域制御撮影メモリ１４２に格納される。
　このようにして、間引き撮影メモリ１４１と領域制御撮影メモリ１４２に格納された信号は、信号処理部１５１から、記録部１５４、表示部１５２、操作部１５３などに受け渡される。
　［間引き撮影と領域制御撮影］
　図３は、本技術の第１の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
　この例では、同図におけるａに示すように、指６０１のシーンを撮影することを想定する。また、この第１の実施の形態では、上述の画素ＡＤＣ型の撮像装置を想定する。
　まず、間引き撮影モードでは、同図におけるｂに示すように、一例として、７画素×７画素の画素ブロック６１１においてその中心の１つの画素６１２を代表画素として撮影するように座標を設定する。このように、４９画素に１個の間引き撮影を行う。すなわち、縦方向（Vertical）は７つおきに座標を設定し、横方向（Horizontal）は７つおきに座標を設定する。
　座標の設定後、例えば１０００ｆｐｓ（フレーム／秒）により撮影を行う。そして、撮影した画像を間引き撮影メモリ１４１に格納する。
　そして、間引き撮影メモリ１４１から輝度信号を取り出す。ここでは、輝度信号として、「０」乃至「１０２３」の１０２４段階の階調を想定する。一例として、暗いシーンでは「５０」階調、明るい場所は「５００」階調の信号が得られたものとする。そして、「１００」階調より小さい座標と、「１００」階調以上の座標を判定する。これにより、「１００」階調より高い座標と輝度値を、領域制御撮影の中心値として決定し、間引き撮影メモリ１４１に格納する。なお、この実施の形態では間引き撮影メモリ１４１に座標を格納することを想定したが、一時的な他のメモリに格納するようにしてもよい。
　この例では、背景である「５０」階調を基準値として、比較のための閾値を「５０」階調として想定した。すなわち、基準値（「５０」）と撮影された輝度信号との差分を生成し、その差分が閾値（「５０」）以上であれば、「１００」階調以上になり、物体として検出される。
　次に、領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御撮影の座標を設定する。これにより、間引き撮影により得られた画素ブロックの代表画素のデジタル信号と基準値との差分に応じて、領域制御撮影においてその画素ブロックに含まれる画素のアナログデジタル変換処理が制御されることになる。
　すなわち、代表画素のデジタル信号と基準値との差分が閾値以上である画素ブロックについては、その画素ブロックに含まれる画素のアナログデジタル変換処理を実行してデジタル信号を生成させる。一方、代表画素のデジタル信号と基準値との差分が閾値未満である画素ブロックについては、その画素ブロックに含まれる画素のアナログデジタル変換処理を実行しない。
　この場合の座標は、同図におけるｃに示すように、７画素×７画素となるように、中心の画素６１２から水平方向および垂直方向にそれぞれ３画素ずつを設定する。
　そして、間引き撮影メモリ１４１から輝度信号を読み出し、この７画素×７画素におけるＡＥ制御により、シャッタースピードおよびゲインを設定する。
　座標の設定後、例えば１０００ｆｐｓにより撮影を行う。そして、撮影した画像を領域制御撮影メモリ１４２に格納する。領域制御撮影メモリ１４２からは、座標と輝度信号および色信号が出力される。
　図４は、本技術の第１の実施の形態における間引き撮影と判定の具体例を示す図である。
　間引き撮影により、間引き撮影メモリ１４１には、同図におけるａに示すように輝度信号が得られる。この例では、７画素×７画素の中心の画素６１２のみを代表画素として間引き撮影して、輝度信号を格納したイメージであり、上述のように暗いシーンでは「５０」階調、明るい場所は「５００」階調の信号が得られたものと想定する。そして、同図におけるｂに示すように、「１００」階調以上の座標を判定して、その座標を設定する。
　図５は、本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例を示す図である。
　同図におけるａに示すように、手全体を撮像する際、領域制御撮影において撮像領域を拡大する。例えば、指６０１を囲む領域６２０に着目すると、上述のような判定手法においては、中心の画素６２２の階調によって画素ブロック６２１の判定が行われるため、そのままでは領域制御撮影において指６０１の一部が撮影されなくなってしまうおそれがある。
　そこで、これを解消するために、検出した領域の周囲を座標に加える。例えば、同図におけるｂに示すように、階調によって判定された画素ブロック６２１の周囲の画素ブロック６２３に拡大して座標を設定する。すなわち、中心の画素６２４の輝度信号が「１００」階調未満である画素ブロック６２３であっても、その画素ブロック６２３の周囲の画素ブロック６２１の中心の画素６２２の輝度信号が「１００」階調以上であれば、領域制御撮影の対象とする。
　図６は、本技術の第１の実施の形態における領域制御撮影の撮像領域の拡大の具体例の全体を示す図である。
　同図におけるａに示すように、中心の画素の階調によって画素ブロック６２１の判定を行った場合、そのままでは領域制御撮影において手の一部が撮影されなくなってしまうおそれがある。
　それに対し、同図におけるｂに示すように、階調によって判定された画素ブロックの周囲の画素ブロックに拡大して座標を設定することにより、手全体の領域制御撮影を行うことができる。
　［動作］
　図７は、本技術の第１の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
　この第１の実施の形態では、間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０２：間引き撮影モード）、撮影が行われる（ステップＳ９３０）。画素ブロックのそれぞれにおいて、例えば中心の画素が間引き座標として設定される（ステップＳ９３１）。
　そして、その設定された座標において、例えば１０００ｆｐｓにより、間引き撮影が行われる（ステップＳ９３２）。間引き撮影により撮影された画像は間引き撮影メモリ１４１に格納される（ステップＳ９３５）。
　そして、間引き撮影メモリ１４１から輝度信号および色信号が取り出されて（ステップＳ９３６、Ｓ９３７）、物体検知が行われる（ステップＳ９３８）。すなわち、上述のように、基準値との差分を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ９３９）。
　次に、領域制御撮影モードにより（ステップＳ９０２：領域制御撮影モード）、撮影が行われる（ステップＳ９４０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定される（ステップＳ９４１）。そして、間引き撮影メモリ１４１から輝度信号が読み出され、その輝度信号を利用してＡＥ制御が行われ、シャッタースピードおよびゲインが設定される（ステップＳ９４２）。また、間引き撮影メモリ１４１から色信号が読み出され、その色信号からホワイトバランスが決定される（ステップＳ９４３）。
　そして、その設定された座標において、例えば１０００ｆｐｓにより、領域制御撮影が行われる（ステップＳ９４４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ９４５）。
　このように、本技術の第１の実施の形態によれば、画素ＡＤＣ型の撮像装置において、間引き撮影の結果に基づいて、領域制御撮影を行うことができる。すなわち、間引き撮影において得られた輝度信号に基づいて、領域制御撮影を行う座標を設定することができる。
　また、この実施の形態では、物体検出に用いた信号を、ＡＥ制御に利用することができる。すなわち、通常であれば、間引いた全体の輝度信号によりＡＥ制御を行うが、この第１の実施の形態では、画素ＡＤＣ型を前提とするため、間引き撮影により得られた輝度信号により、各画素毎にＡＥ制御を行うことができる。例えば、太陽と陰の混在するシーンでは、太陽の領域を基準としてＡＥ制御を行って領域制御撮影を行い、陰の部分を基準としてＡＥ制御を行って領域制御撮影を行うことができる。これにより、明るい部分と暗い部分のそれぞれにおいて適切にＡＥ制御を行って画像を撮影することができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では画素ＡＤＣ型を想定したが、この第２の実施の形態ではエリアＡＤＣ型を想定する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
　［間引き撮影と領域制御撮影］
　図８は、本技術の第２の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
　この例では、同図におけるａに示すように、指６０１のシーンを撮影することを想定する。
　まず、間引き撮影モードでは、同図におけるｂに示すように、一例として、８画素×８画素の画素ブロック６１１においてそのほぼ中心を代表画素として撮影するように座標６１２を設定する。このように、６４画素に１個の間引き撮影を行う。
　この第２の実施の形態ではエリアＡＤＣ型を想定するため、８画素×８画素の画素ブロック６１１のうち、何れの画素を撮影してもよい。例えば、８画素×８画素内のうち、ランダムで画素を設定すれば、圧縮センシング（Compressive Sensing）に使うことができる。垂直方向はエリア毎に座標を設定し、水平方向もエリア毎に座標を設定する。
　座標の設定後、例えば１０００ｆｐｓにより撮影を行う。そして、撮影した画像を間引き撮影メモリ１４１に格納する。
　そして、間引き撮影メモリ１４１から輝度信号を取り出して、その輝度信号の階調に応じて座標が設定される。これにより、同図におけるｃに示すように、領域制御撮影モードにより指６０１の領域の撮影が行われる。なお、上述の第１の実施の形態と同様に、周囲の画素ブロックに撮像領域を拡大してもよい。
　図９は、本技術の第２の実施の形態における間引き撮影と判定の具体例を示す図である。
　間引き撮影により、間引き撮影メモリ１４１には、同図におけるａに示すように輝度信号が得られる。この例では、８画素×８画素のほぼ中心を代表画素として間引き撮影して、輝度信号を格納したイメージであり、上述のように暗いシーンでは「５０」階調、明るい場所は「５００」階調の信号が得られたものと想定する。そして、同図におけるｂに示すように、「１００」階調以上の座標を判定して、その座標を設定する。
　なお、全体的な処理手順については、上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
　このように、本技術の第２の実施の形態によれば、エリアＡＤＣ型の撮像装置において、間引き撮影の結果に基づいて、領域制御撮影を行うことができる。
　＜３．第３の実施の形態＞
　上述の第１の実施の形態では画素ＡＤＣ型を想定したが、この第３の実施の形態ではカラムＡＤＣ型を想定する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
　［間引き撮影と領域制御撮影］
　図１０は、本技術の第３の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。
　この例では、同図におけるａに示すように、ブーメラン状の物体を撮影することを想定する。
　間引き撮影において、例えば、垂直方向の８ラインおきに撮影するように座標を設定する。また、水平方向の８ラインおきに撮影するように座標を設定する。このようにして、６４画素に１個の代表画素について間引き撮影を行う。
　これにより、同図におけるｂに示すように、ブーメラン状の物体を含む領域全体を、領域制御撮影により撮影することができる。
　図１１は、本技術の第３の実施の形態における間引き撮影と判定の具体例を示す図である。
　間引き撮影により、間引き撮影メモリ１４１には、同図におけるａに示すように輝度信号が得られる。
　この第３の実施の形態ではカラムＡＤＣ型を想定するため、同図におけるｂに示すように、垂直方向および水平方向において所定の判定値Ｈ＿ａｌｌおよびＶ＿ａｌｌを検出する。この判定値は、例えば最大値または最小値などの統計的な値である。
　そして、判定値Ｈ＿ａｌｌおよびＶ＿ａｌｌにおいて、同図におけるｃに示すように、例えば「１００」階調以上の座標を判定して、その座標を設定する。
　すなわち、同図におけるｄに示すように、判定の結果に従って垂直方向および水平方向の座標が設定され、領域制御撮影が行われる。
　［動作］
　図１２は、本技術の第３の実施の形態における間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
　この第３の実施の形態では、間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０３：間引き撮影モード）、撮影が行われる（ステップＳ９５０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ９５１）。
　そして、その設定された座標において、例えば１０００ｆｐｓにより、間引き撮影が行われる（ステップＳ９５２）。間引き撮影により撮影された画像は間引き撮影メモリ１４１に格納される（ステップＳ９５３）。
　そして、間引き撮影メモリ１４１から輝度信号および色信号が取り出され（ステップＳ９５５、Ｓ９５６）、垂直方向および水平方向において判定値（例えば最大値または最小値）が検出される（ステップＳ９５７）。そして、これら判定値を用いて物体検知が行われる（ステップＳ９５８）。すなわち、上述のように判定値を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ９５９）。
　次に、領域制御撮影モードにより（ステップＳ９０３：領域制御撮影モード）、撮影が行われる（ステップＳ９６０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定される（ステップＳ９６１）。そして、間引き撮影メモリ１４１から輝度信号が読み出され、その輝度信号を利用してＡＥ制御が行われ、シャッタースピードおよびゲインが設定される（ステップＳ９６２）。また、間引き撮影メモリ１４１から色信号が読み出され、その色信号からホワイトバランスが決定される（ステップＳ９６３）。
　そして、その設定された座標において、例えば１０００ｆｐｓにより、領域制御撮影が行われる（ステップＳ９６４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ９６５）。
　このように、本技術の第３の実施の形態によれば、カラムＡＤＣ型の撮像装置において、間引き撮影の結果に基づいて、領域制御撮影を行うことができる。
　＜４．第４の実施の形態＞
　上述の第１乃至第３の実施の形態では、各フレームについて同じ条件で物体検出を行う例について説明したが、動画フレームの性質を積極的に利用することにより、以下のように、より精度の高い物体検知を行うことができる。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
　［間引き撮影と領域制御撮影］
　図１３は、本技術の第４の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。この例では、鳥が空を飛ぶシーンを想定する。
　まず、間引き撮影モードでは、例えば１０００ｆｐｓにより撮影を行う。この間引き撮影モードでは、短畜によりシャッター時間を短くして撮影を行う。撮影座標は、上述の画素ＡＤＣ型、エリアＡＤＣ型、カラムＡＤＣ型の何れかによって、そのＡＤＣ型に応じた所望の座標を設定する。
　また、この間引き撮影モードでは、ＡＥ制御およびＷＢ制御において、１フレーム目については一様に設定を行う。そして、２フレーム目以降については、座標別に１フレーム前の輝度値および色信号に基づいてＡＥ制御およびＷＢ制御を行う。
　次に、領域制御撮影では、長蓄で、領域制御で、例えば１０００ｆｐｓにより撮影を行う。間引き撮影メモリ１４１から領域制御の座標を読み出して、これに従って領域制御撮影を行う。間引き撮影の輝度信号でＡＥ制御を行い、間引き撮影の色信号に基づいてＷＢ制御を行う。
　［背景と物体］
　動画フレームにおいて物体検知を行うために、背景となる基準値を想定し、その基準値との差分が所定の閾値以上であるか否かを判断する。ここで、基準値としては、予め固定値として設定しておいてもよく、また、一定フレーム（例えば１００フレーム）変化しない場合にその輝度信号を基準値として設定してもよい。
　基準値および物体の輝度値が既知であれば、間引き撮影において輝度信号が物体の輝度値になっている画素を、物体として判断することができる。また、物体の輝度値が予め判明していなくても、間引き撮影において輝度信号と基準値との差分が所定の閾値以上であれば、物体として判断することができる。このような背景と物体の関係は、他の実施の形態においても共通する。
　このように、本技術の第４の実施の形態によれば、動画フレームについて精度の高い物体検知を行い、それに従って領域制御撮影を行うことができる。
　＜５．第５の実施の形態＞
　上述の第４の実施の形態では、間引き撮影と領域制御撮影を同じフレームレートにより行うことを想定した。一方、間引き撮影のフレームレートよりも領域制御撮影のフレームレートを低くすることによって物体検出の精度を向上させることが可能である。この第５の実施の形態では、間引き撮影の結果に基づいて物体の座標を推定して、その推定された座標について領域制御撮影を行う例について説明する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
　［間引き撮影と領域制御撮影］
　図１４は、本技術の第５の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。この例では、鳥が空を飛ぶシーンを想定する。
　まず、間引き撮影モードでは、例えば２４０ｆｐｓにより撮影を行う。撮影座標は、上述の画素ＡＤＣ型、エリアＡＤＣ型、カラムＡＤＣ型の何れかによって、そのＡＤＣ型に応じた所望の座標を設定する。
　この例では、３フレーム分の間引き撮影を行い、各座標で基準値との差分と閾値との比較を行い、それぞれ間引き撮影メモリ１４１の異なるアドレスに格納する。背景と物体の関係は、上述の第４の実施の形態と同様である。
　このとき、この間引き撮影モードでは、ＡＥ制御およびＷＢ制御において、１フレーム目については一様に設定を行う。そして、２フレーム目以降については、座標別に１フレーム前の輝度値および色信号に基づいてＡＥ制御およびＷＢ制御を行う。
　そして、間引き撮影メモリ１４１に格納された過去３フレーム分の値から、４フレーム目の座標を推定する。また、輝度値についても、過去３フレーム分の間引き撮影メモリ１４１に格納された値から、４フレーム目の輝度値を推定する。これら４フレーム目の座標および輝度値を間引き撮影メモリ１４１に格納する。ただし、この例では、４フレーム目の間引き撮影は行わない。
　次に、領域制御撮影では、例えば６０ｆｐｓにより撮影を行う。すなわち、間引き撮影モードにおいて３つ分のフレームが間引き撮影された次の４フレーム目のタイミングにおいて、間引き撮影を行わずに領域制御撮影を行う。このとき、間引き撮影メモリ１４１から領域制御の座標を読み出して、これに従って領域制御撮影を行う。間引き撮影の輝度信号でＡＥ制御を行い、間引き撮影の色信号に基づいてＷＢ制御を行う。
　なお、この例では４フレーム目の間引き撮影は行わないことを想定したが、他の例として４フレーム目の間引き撮影も行って４フレーム分の座標を用いて４フレーム目のタイミングの領域制御撮影を行うようにしてもよい。その際、４フレーム分の座標の平均やＯＲ（論理和）などにより４フレーム目のタイミングの領域制御撮影の座標を求めるようにしてもよい。
　［動作］
　図１５は、本技術の第５の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
　この第５の実施の形態では、上述のように３フレーム分の間引き撮影と１フレーム分の領域制御撮影が順に行われる。まず、間引き撮影モードにより（ステップＳ９０４：間引き撮影モード）、撮影が行われる（ステップＳ９７０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ９７１）。
　そして、その設定された座標において、例えば２４０ｆｐｓにより、間引き撮影が行われる（ステップＳ９７２）。間引き撮影により撮影された画像は間引き撮影メモリ１４１に格納される（ステップＳ９７３）。そして、物体検知が行われ（ステップＳ９７５）、その結果が間引き撮影メモリ１４１に格納される（ステップＳ９７６）。
　その後、３フレーム分の間引き撮影が繰り返される（ステップＳ９７７：Ｎｏ）。３フレーム分の間引き撮影が行われると（ステップＳ９７７：Ｙｅｓ）、３フレーム分の間引き撮影の結果から、次のフレームにおける移動座標が推定され（ステップＳ９７８）、その推定された座標が間引き撮影メモリ１４１に格納される（ステップＳ９７９）。
　３フレーム分の間引き撮影が終了すると、領域制御撮影モードにより（ステップＳ９０４：領域制御撮影モード）、撮影が行われる（ステップＳ９８０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ９８１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ９８４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ９８５）。
　図１６は、本技術の第５の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
　この第５の実施の形態では、カラムＡＤＣ型についても上述のように３フレーム分の間引き撮影と１フレーム分の領域制御撮影が順に行われる。まず、間引き撮影モードにより（ステップＳ９０５：間引き撮影モード）、撮影が行われる（ステップＳ８１０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ８１１）。
　そして、その設定された座標において、例えば２４０ｆｐｓにより、間引き撮影が行われる（ステップＳ８１２）。間引き撮影により撮影された画像は一時スタックメモリに保持される（ステップＳ８１３）。
　そして、垂直方向および水平方向において判定値（例えば最大値または最小値）が検出され（ステップＳ８１４）、これら判定値を用いて物体検知が行われる（ステップＳ８１５）。すなわち、上述のように判定値を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ８１６）。
　その後、３フレーム分の間引き撮影が繰り返される（ステップＳ８１７：Ｎｏ）。３フレーム分の間引き撮影が行われると（ステップＳ８１７：Ｙｅｓ）、３フレーム分の間引き撮影の結果から、次のフレームにおける移動座標が推定され（ステップＳ８１８）、その推定された座標が間引き撮影メモリ１４１に格納される（ステップＳ８１９）。
　３フレーム分の間引き撮影が終了すると、領域制御撮影モードにより（ステップＳ９０５：領域制御撮影モード）、撮影が行われる（ステップＳ８２０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ８２１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ８２４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ８２５）。
　このように、本技術の第５の実施の形態によれば、動画フレームについて精度の高い座標推定を行い、それに従って領域制御撮影を行うことができる。また、これにより、動く物体を追跡したトラッキング座標を取得することができる。
　＜６．第６の実施の形態＞
　上述の各実施の形態では、固体撮像部１２０における信号の読出しは、通常の破壊読出しを想定していた。これに対し、この第６の実施の形態では、固体撮像部１２０において非破壊読出しを行う例について説明する。なお、撮像装置１００の全体の構成は上述の第１の実施の形態と同様であるため、詳細な説明は省略する。
　非破壊読み出し方式は、光電変換素子から電荷（画素信号）を読み出すときに、光電変換素子に蓄積された電荷を空にせずに蓄積状態を維持したままで読み出すものである。つまり、電荷読出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、それぞれ異なる露光時間で露光時の電荷の読出しを何度でも行うことができる。したがって、非破壊読み出し方式には、多段階露光を容易に実現することができるという利点がある。
　［間引き撮影と領域制御撮影］
　図１７は、本技術の第６の実施の形態における間引き撮影および領域制御撮影の具体例を示す図である。この例では、鳥が空を飛ぶシーンを想定する。
　まず、間引き撮影モードでは、例えば６０ｆｐｓにより非破壊読み出し方式で撮影を行う。撮影座標は、上述の画素ＡＤＣ型、エリアＡＤＣ型、カラムＡＤＣ型の何れかによって、そのＡＤＣ型に応じた所望の座標を設定する。
　次に、領域制御撮影では、例えば６０ｆｐｓにより非破壊読み出し方式で撮影を行う。このとき、間引き撮影メモリ１４１から領域制御の座標を読み出して、これに従って領域制御撮影を行う。間引き撮影の輝度信号でＡＥ制御を行い、間引き撮影の色信号に基づいてＷＢ制御を行う。
　［動作］
　図１８は、本技術の第６の実施の形態における、エリアＡＤＣ型および画素ＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
　この第６の実施の形態では、間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０６：間引き撮影モード）、撮影が行われる（ステップＳ８３０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ８３１）。
　そして、その設定された座標において、例えば６０ｆｐｓにより、間引き撮影が行われる（ステップＳ８３２）。間引き撮影により撮影された画像は一時スタックメモリに格納される（ステップＳ８３３）。そして、物体検知が行われ（ステップＳ８３５）、その結果が間引き撮影メモリ１４１に格納される（ステップＳ８３９）。
　次に、領域制御撮影モードにより（ステップＳ９０６：領域制御撮影モード）、撮影が行われる（ステップＳ８４０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ８４１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ８４４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ８４５）。
　図１９は、本技術の第６の実施の形態における、カラムＡＤＣ型による間引き撮影と領域制御撮影の処理手順の一例を示す流れ図である。
　この第６の実施の形態では、カラムＡＤＣ型についても上述のように間引き撮影と領域制御撮影が交互に行われる。まず、間引き撮影モードにより（ステップＳ９０７：間引き撮影モード）、撮影が行われる（ステップＳ８５０）。画素ブロックのそれぞれにおいて、１つの画素が間引き座標として設定される（ステップＳ８５１）。
　そして、その設定された座標において、例えば６０ｆｐｓにより、間引き撮影が行われる（ステップＳ８５２）。間引き撮影により撮影された画像は一時スタックメモリに保持される（ステップＳ８５３）。
　そして、垂直方向および水平方向において判定値（例えば最大値または最小値）が検出され（ステップＳ８５４）、これら判定値を用いて物体検知が行われる（ステップＳ８５５）。すなわち、上述のように判定値を用いて、輝度信号の階調に応じて座標が決定されて、間引き撮影メモリ１４１に座標が設定される（ステップＳ８５９）。
　次に、領域制御撮影モードにより（ステップＳ９０７：領域制御撮影モード）、撮影が行われる（ステップＳ８６０）。この領域制御撮影モードでは、間引き撮影メモリ１４１から領域制御の座標が設定され（ステップＳ８６１）、その座標に従って、例えば６０ｆｐｓにより、領域制御撮影が行われる（ステップＳ８６４）。領域制御撮影により撮影された画像は領域制御撮影メモリ１４２に格納される（ステップＳ８６５）。
　このように、本技術の第６の実施の形態によれば、固体撮像部１２０において非破壊読出しを行うことにより、多段階露光を実現することができる。すなわち、ワイドダイナミックレンジ化、駆動の省略化が可能となり、消費電力を低減することができる。
　＜７．適用例＞
　上述の本技術の実施の形態は、以下に例示するように様々な技術に適用することができる。
　図２０は、本技術の実施の形態が適用される分野の例を示す図である。
　本技術の実施の形態における撮像装置は、例えば、デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置として用いられ得る。
　また、この撮像装置は、自動停止等の安全運転や運転者の状態の認識等のために自動車の周囲または車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置として用いられ得る。
　また、この撮像装置は、ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビ、冷蔵庫、エアーコンディショナ等の家電に供される装置として用いられ得る。
　また、この撮像装置は、内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置として用いられ得る。
　また、この撮像装置は、防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置として用いられ得る。
　また、この撮像装置は、肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置として用いられ得る。
　また、この撮像装置は、スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置として用いられ得る。
　また、この撮像装置は、畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置として用いられ得る。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、
　前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器と、
　前記複数の画素ブロックのうちの所定の画素ブロックにおける代表画素の前記デジタル信号と所定の基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を制御する変換制御部と
を具備する撮像装置。
（２）前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である第１の画素ブロックについては前記第１の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させ、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である第２の画素ブロックについては前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させないように制御する
前記（１）に記載の撮像装置。
（３）前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である前記第２の画素ブロックであっても、前記第２の画素ブロックの周囲の画素ブロックの前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値以上であれば、前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させるように制御する
前記（２）に記載の撮像装置。
（４）前記変換制御部は、前記複数の画素ブロックの前記代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影モードと、前記代表画素の前記デジタル信号と前記基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影モードとの切替えを行う撮影モード切替部を備える
前記（１）から（３）のいずれかに記載の撮像装置。
（５）前記変換制御部は、
　前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である画素ブロックの座標を判定結果として出力する間引き判定部と、
　前記領域制御撮影モードにおいて前記アナログデジタル変換処理を行う画素ブロックの座標を前記判定結果に基づいて設定する座標設定部と
を備える
前記（４）に記載の撮像装置。
（６）前記変換制御部は、前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影モードにおいて前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
前記（４）または（５）に記載の撮像装置。
（７）前記変換制御部は、時系列に配列される複数の動画フレームについて前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記間引き撮影モードとは異なるフレームレートにより前記領域制御撮影モードによる動作を行う
前記（４）から（６）のいずれかに記載の撮像装置。
（８）前記基準値は、予め設定された固定値である
前記（１）から（７）のいずれかに記載の撮像装置。
（９）前記基準値は、時系列に配列される動画フレームにおける対応する画素の値から設定される値である
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）前記アナログデジタル変換器は、前記画素の各々に対応して画素単位で前記アナログデジタル変換処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
（１１）前記アナログデジタル変換器は、前記画素を複数個ずつまとめた領域単位で前記アナログデジタル変換処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
（１２）前記アナログデジタル変換器は、前記画素を列毎にまとめて列単位で前記アナログデジタル変換処理を行う
前記（１）から（９）のいずれかに記載の撮像装置。
（１３）前記撮像素子は、非破壊読出しにより前記アナログ信号を生成する
前記（１）から（１２）のいずれかに記載の撮像装置。
（１４）各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器とを備える撮像装置において、
　前記複数の画素ブロックにおける代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影手順と、
　前記代表画素の前記デジタル信号と所定の基準値との差分に応じて所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影手順と
を具備する撮像制御方法。
（１５）前記間引き撮影手順において生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影手順において前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
前記（１４）に記載の撮像制御方法。
　１００　撮像装置
　１１０　レンズ群
　１２０　固体撮像部
　１２１　撮像素子
　１２５　アナログデジタル変換器
　１３１　撮影モード切替部
　１３２　座標設定部
　１３３　ホワイトバランス制御部
　１３４　オートエクスポージャ制御部
　１３５　間引き判定部
　１４１　間引き撮影メモリ
　１４２　領域制御撮影メモリ
　１５１　信号処理部
　１５２　表示部
　１５３　操作部
　１５４　記録部
　１５５　電源部
　１９０　バスライン

Claims (15)

  1. 　各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、
    　前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器と、
    　前記複数の画素ブロックのうちの所定の画素ブロックにおける代表画素の前記デジタル信号と所定の基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を制御する変換制御部と
    を具備する撮像装置。
  2. 　前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である第１の画素ブロックについては前記第１の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させ、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である第２の画素ブロックについては前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させないように制御する
    請求項１記載の撮像装置。
  3. 　前記変換制御部は、前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値未満である前記第２の画素ブロックであっても、前記第２の画素ブロックの周囲の画素ブロックの前記代表画素の前記デジタル信号と前記基準値との差分が前記閾値以上であれば、前記第２の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記複数の画素の前記デジタル信号を生成させるように制御する
    請求項２記載の撮像装置。
  4. 　前記変換制御部は、前記複数の画素ブロックの前記代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影モードと、前記代表画素の前記デジタル信号と前記基準値との差分に応じて前記所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影モードとの切替えを行う撮影モード切替部を備える
    請求項１記載の撮像装置。
  5. 　前記変換制御部は、
    　前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号と前記基準値との差分が所定の閾値以上である画素ブロックの座標を判定結果として出力する間引き判定部と、
    　前記領域制御撮影モードにおいて前記アナログデジタル変換処理を行う画素ブロックの座標を前記判定結果に基づいて設定する座標設定部と
    を備える
    請求項４記載の撮像装置。
  6. 　前記変換制御部は、前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影モードにおいて前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
    請求項４記載の撮像装置。
  7. 　前記変換制御部は、時系列に配列される複数の動画フレームについて前記間引き撮影モードにおいて生成された前記代表画素の前記デジタル信号に基づいて、前記間引き撮影モードとは異なるフレームレートにより前記領域制御撮影モードによる動作を行う
    請求項４記載の撮像装置。
  8. 　前記基準値は、予め設定された固定値である
    請求項１記載の撮像装置。
  9. 　前記基準値は、時系列に配列される動画フレームにおける対応する画素の値から設定される値である
    請求項１記載の撮像装置。
  10. 　前記アナログデジタル変換器は、前記画素の各々に対応して画素単位で前記アナログデジタル変換処理を行う
    請求項１記載の撮像装置。
  11. 　前記アナログデジタル変換器は、前記画素を複数個ずつまとめた領域単位で前記アナログデジタル変換処理を行う
    請求項１記載の撮像装置。
  12. 　前記アナログデジタル変換器は、前記画素を列毎にまとめて列単位で前記アナログデジタル変換処理を行う
    請求項１記載の撮像装置。
  13. 　前記撮像素子は、非破壊読出しにより前記アナログ信号を生成する
    請求項１記載の撮像装置。
  14. 　各々が複数の画素を含む複数の画素ブロックについて前記複数の画素のアナログ信号を生成する撮像素子と、前記アナログ信号をデジタル信号に変換するアナログデジタル変換処理を行うアナログデジタル変換器とを備える撮像装置において、
    　前記複数の画素ブロックにおける代表画素についてのみ前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させて前記デジタル信号を生成させる間引き撮影手順と、
    　前記代表画素の前記デジタル信号と所定の基準値との差分に応じて所定の画素ブロックに含まれる前記複数の画素の前記アナログデジタル変換処理を前記アナログデジタル変換器に実行させる領域制御撮影手順と
    を具備する撮像制御方法。
  15. 　前記間引き撮影手順において生成された前記代表画素の前記デジタル信号に基づいて、前記領域制御撮影手順において前記所定の画素ブロックに含まれる前記複数の画素の露光時間を制御する
    請求項１４記載の撮像制御方法。
PCT/JP2019/006018 2018-06-04 2019-02-19 撮像装置および撮像制御方法 WO2019234983A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/058,779 US11563904B2 (en) 2018-06-04 2019-02-19 Imaging apparatus and imaging control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-106673 2018-06-04
JP2018106673A JP2019213020A (ja) 2018-06-04 2018-06-04 撮像装置および撮像制御方法

Publications (1)

Publication Number Publication Date
WO2019234983A1 true WO2019234983A1 (ja) 2019-12-12

Family

ID=68769268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006018 WO2019234983A1 (ja) 2018-06-04 2019-02-19 撮像装置および撮像制御方法

Country Status (3)

Country Link
US (1) US11563904B2 (ja)
JP (1) JP2019213020A (ja)
WO (1) WO2019234983A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103450A (ja) * 1999-09-28 2001-04-13 Victor Co Of Japan Ltd 画像伝送装置
JP2016092470A (ja) * 2014-10-30 2016-05-23 ソニー株式会社 撮像素子、および、撮像装置
WO2016147508A1 (ja) * 2015-03-18 2016-09-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016184843A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 イメージセンサ、処理方法、及び、電子機器
JP2016187072A (ja) * 2015-03-27 2016-10-27 ソニー株式会社 イメージセンサ、処理方法、及び、電子機器
JP2016219949A (ja) * 2015-05-18 2016-12-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2017209221A1 (ja) * 2016-05-31 2017-12-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法、カメラモジュール、並びに電子機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010171666A (ja) 2009-01-21 2010-08-05 Panasonic Corp 固体撮像素子の駆動方法および固体撮像素子
JP5202551B2 (ja) * 2009-01-23 2013-06-05 株式会社日立国際電気 パラメータ設定方法及び該方法を用いた監視装置
JP6478488B2 (ja) * 2014-06-18 2019-03-06 キヤノン株式会社 Ａｄ変換装置及び固体撮像装置
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
US9838635B2 (en) * 2014-09-30 2017-12-05 Qualcomm Incorporated Feature computation in a sensor element array
JP2018117220A (ja) * 2017-01-17 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
KR102317624B1 (ko) * 2017-03-27 2021-10-26 삼성전자 주식회사 전자 장치 및 그의 이미지 처리 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001103450A (ja) * 1999-09-28 2001-04-13 Victor Co Of Japan Ltd 画像伝送装置
JP2016092470A (ja) * 2014-10-30 2016-05-23 ソニー株式会社 撮像素子、および、撮像装置
WO2016147508A1 (ja) * 2015-03-18 2016-09-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
JP2016184843A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 イメージセンサ、処理方法、及び、電子機器
JP2016187072A (ja) * 2015-03-27 2016-10-27 ソニー株式会社 イメージセンサ、処理方法、及び、電子機器
JP2016219949A (ja) * 2015-05-18 2016-12-22 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
WO2017209221A1 (ja) * 2016-05-31 2017-12-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像方法、カメラモジュール、並びに電子機器

Also Published As

Publication number Publication date
JP2019213020A (ja) 2019-12-12
US20210144318A1 (en) 2021-05-13
US11563904B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
JP4661922B2 (ja) 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
US9191566B2 (en) Image pickup apparatus, method for image pickup and computer-readable recording medium
US20140232929A1 (en) Image capturing apparatus and method for controlling the same
US20090207266A1 (en) Image processing device, camera device, image processing method, and program
CN107615752B (zh) 摄像器件和摄像设备
US20140063329A1 (en) Image capture apparatus
KR101871676B1 (ko) 촬상장치 및 그 제어방법
JP2017194655A (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
US20150015756A1 (en) Image pickup apparatus, control method therefor and image pickup system
US8681235B2 (en) Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus
US10863078B2 (en) Focus detection apparatus and method
KR20150096224A (ko) 고체 촬상 소자, 전자기기 및 오토 포커싱 방법
US10270980B2 (en) Image capture control apparatus, image capture apparatus, and method of controlling image capture apparatus
JP2015018084A (ja) 撮像装置、画像処理方法及び画像処理プログラム
KR20170011555A (ko) 디지털 촬영 장치 및 그 방법
JP5452269B2 (ja) 撮像装置
JP2013135410A (ja) 撮像装置および評価値生成装置
JP6748477B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
WO2019234983A1 (ja) 撮像装置および撮像制御方法
JP2016123012A (ja) 撮像素子、焦点検出装置及び焦点検出方法
JP2016111568A (ja) 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム
JP2018182459A (ja) 撮像装置及び撮像装置の制御方法
JP6594048B2 (ja) 撮像装置及びその制御方法
JP6871795B2 (ja) 撮像装置、その制御方法、プログラム及び記録媒体
JP6669084B2 (ja) 撮像装置、および、撮像装置の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19815828

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19815828

Country of ref document: EP

Kind code of ref document: A1