WO2016006430A1 - 撮像装置、撮像方法、およびプログラム、並びに再生装置 - Google Patents

撮像装置、撮像方法、およびプログラム、並びに再生装置 Download PDF

Info

Publication number
WO2016006430A1
WO2016006430A1 PCT/JP2015/067945 JP2015067945W WO2016006430A1 WO 2016006430 A1 WO2016006430 A1 WO 2016006430A1 JP 2015067945 W JP2015067945 W JP 2015067945W WO 2016006430 A1 WO2016006430 A1 WO 2016006430A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
unit
frame
camera shake
image sensor
Prior art date
Application number
PCT/JP2015/067945
Other languages
English (en)
French (fr)
Inventor
大輔 磯
英史 山田
哲平 栗田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/320,782 priority Critical patent/US10003745B2/en
Publication of WO2016006430A1 publication Critical patent/WO2016006430A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2207/00—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly
    • G03B2207/005—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly involving control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Definitions

  • the present disclosure relates to an imaging device, an imaging method, a program, and a playback device, and in particular, detects an amount of camera shake for each area in a frame to be imaged, and sets an exposure time and a pixel for each area according to the detected amount of camera shake.
  • the present invention relates to an image pickup apparatus, an image pickup method, a program, and a playback apparatus that can change the addition method.
  • an imaging apparatus represented by a digital video camera
  • an apparatus that automatically adjusts an exposure time of an image sensor according to a set imaging mode or changes a readout method of pixels from an image sensor. is there. Specifically, for example, when the imaging mode is set to the night view mode, the pixel readout method is changed to pixel addition (a method in which pixel values of a plurality of adjacent pixels are added and read as a pixel value of one pixel). Is done.
  • some conventional imaging devices have a mechanism for detecting camera shake, and the exposure time of the image sensor is adjusted or the pixel addition method of the image sensor is changed according to the detected amount of camera shake.
  • a control method has been proposed.
  • Patent Document 1 when the imaging mode is set to the night scene mode, when the detected amount of camera shake is large, the number of pixels to which pixel values are added in the pixel addition method is set to be large, and the detected camera shake is detected.
  • the amount is small, a control method has been proposed in which the number of pixels to which pixel values are added in the pixel addition method is set to 1, for example, and all pixels are read without performing pixel addition.
  • a high-resolution image can be obtained when the amount of camera shake is small even in the night view mode.
  • an image in which camera shake is corrected by pixel addition can be obtained.
  • Patent Document 2 proposes an image sensor capable of changing the exposure time for each area.
  • the exposure time is shortened in an area where a bright subject is photographed, and conversely, the exposure time is lengthened in an area where a dark subject is photographed.
  • the entire screen can be imaged without saturation or blackout.
  • the image sensor does not consider camera shake, for example, even when a large camera shake occurs in an area where a dark subject is photographed, the exposure time becomes long, so that different blur occurs in each area. There is a possibility that.
  • the present disclosure has been made in view of such circumstances, and divides an image sensor into a plurality of areas so that exposure control can be performed according to the amount of camera shake for each area.
  • An imaging device includes an image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion, and a calculation unit that calculates a camera shake amount for each area obtained by dividing the frame into a plurality of areas. And a control unit that controls the exposure time of the image sensor for each area according to the amount of camera shake calculated for each area.
  • the control unit can further control the pixel addition method of the image sensor unit for each area according to the amount of camera shake calculated for each area.
  • the control unit can cause the image sensor unit to perform exposure and pixel reading at least once during one frame period for each area according to the amount of camera shake calculated for each area.
  • the imaging device may further include a motion sensor unit that detects at least one of angular velocity and acceleration, and the calculation unit is based on at least one of the detected angular velocity or acceleration.
  • the amount of camera shake for each area can be calculated.
  • the calculation unit can calculate a camera shake amount for each area based on a distribution of pixel data of a plurality of pixels sampled for each area.
  • the image sensor unit may be provided with one ADC shared by the plurality of pixels for each of the plurality of regions where the plurality of pixels are arranged, and the area includes one ADC. It can correspond to the said area
  • the imaging apparatus may further include a data output unit that generates image data by packetizing pixel data read from the image sensor unit for each area.
  • the data output unit can store the pixel data read from the same area in the same packet, and can describe an area number indicating the position of the area in the frame in the same packet.
  • the data output unit further includes a frame number indicating a time-series order of frames to which the area belongs in the same packet, and a subframe number indicating a sequence when the area is exposed and read a plurality of times in one frame period.
  • a frame number indicating a time-series order of frames to which the area belongs in the same packet
  • a subframe number indicating a sequence when the area is exposed and read a plurality of times in one frame period.
  • the imaging device further includes a reproduction unit that re-synthesizes the frame based on the image data generated by the data output unit and in which the pixel data is packetized for each area. Can be provided.
  • An imaging method is an imaging method of an imaging apparatus including an image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion, and the frame by the imaging apparatus is divided into a plurality of frames.
  • the program according to the first aspect of the present disclosure is a program for controlling an imaging apparatus including an image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion, for each area obtained by dividing the frame into a plurality of areas.
  • a process of calculating an amount of camera shake and a control step of controlling an exposure time of the image sensor for each area according to the amount of camera shake calculated for each area are performed on the computer of the imaging apparatus. Let it run.
  • a camera shake amount for each area obtained by dividing a frame into a plurality of areas is calculated, and exposure of the image sensor is performed for each area according to the camera shake amount calculated for each area. Time is controlled.
  • the reproduction apparatus includes an image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion, and a calculation unit that calculates a camera shake amount for each area obtained by dividing the frame into a plurality of areas.
  • a control unit for controlling the exposure time of the image sensor for each area according to the amount of camera shake calculated for each area, and packet data read from the image sensor unit for each area.
  • a reproducing apparatus that reproduces the image data output from the imaging apparatus including a data output unit that generates image data by converting the image data, the obtaining unit that obtains the image data in units of packets, and the obtained image data
  • a restoration unit that restores the frame for each area corresponding to the packet.
  • the pixel data read from the same area is stored, and an area number indicating the position of the area in the frame can be described.
  • the packet of the image data further includes a frame number indicating a time-series order of frames to which the area belongs, a subframe number indicating a sequence when the area is exposed and read a plurality of times in a frame period, or At least one of the addition patterns indicating the pixel addition method of the area can be described.
  • image data is acquired in packet units, the acquired packet of the image data is analyzed, and a frame is restored for each area corresponding to the packet.
  • exposure control can be performed for each area according to the amount of camera shake.
  • a frame can be restored from image data packetized for each area.
  • FIG. 26 is a block diagram illustrating a configuration example of an imaging apparatus to which the present disclosure is applied. It is a block diagram which shows the structural example of an imaging part. It is a block diagram which shows the structural example of an image sensor. It is a figure for demonstrating the production
  • FIG. 1 shows a configuration example of an imaging apparatus according to the present embodiment.
  • the imaging device 10 captures a moving image at a predetermined frame rate.
  • an electronic device such as a digital still camera or a smartphone having a moving image capturing function is assumed.
  • the present disclosure can also be applied when capturing a still image.
  • the imaging device 10 includes an imaging unit 11, an angular velocity sensor unit 12, a motion information acquisition unit 13, a motion amount calculation unit 14, an exposure / reading control unit 15, a data output unit 16, and a reproduction unit 17.
  • the imaging unit 11 performs imaging at a predetermined frame rate in accordance with the control information from the exposure / readout control unit 15 and supplies pixel data obtained as a result to the data output unit 16.
  • the exposure time and the pixel addition method can be changed for each of a plurality of divided areas of the frame.
  • the imaging unit 11 supplies the generated pixel data in response to a request from the motion information acquisition unit 13.
  • the exposure may be performed several times at 1/30 s), and pixel data may be read and supplied to the motion information acquisition unit 13 each time.
  • the angular velocity sensor unit 12 centers the movement of the imaging device 10 during imaging on the center coordinates of the frame, that is, the three axes (x axis, y axis, z axis) orthogonal to each other that pass through the center of the image sensor 32.
  • the angular velocity to be detected is detected at a predetermined sampling period.
  • an acceleration sensor that detects acceleration in three axial directions may be mounted.
  • the motion information acquisition unit 13 performs at least one of processing of acquiring pixel data from the imaging unit 11 or processing of acquiring the angular velocity detected by the angular velocity sensor unit 12, and at least one of the acquired pixel data and angular velocity. To the motion amount calculation unit 14 as motion information.
  • the motion amount calculation unit 14 calculates a camera shake amount for each area on the frame based on the motion information from the motion information acquisition unit 13 and notifies the exposure / reading control unit 15 of it. The details of the camera shake amount calculation based on the motion information will be described later.
  • the exposure / readout control unit 15 determines the exposure time and the pixel addition method for each area based on the camera shake amount for each area on the frame notified from the motion amount calculation unit 14, and sends it to the imaging unit 11 as control information.
  • the pixel addition method horizontal direction 1/2, horizontal direction 1/4, vertical direction 1/8, and the like can be selected.
  • control may be performed so that pixels are simply thinned out and read out.
  • the exposure / readout control unit 15 also notifies the data output unit 16 of the determined exposure time and pixel addition method for each area. Further, the exposure / readout control unit 15 notifies the motion amount calculation unit 14 of the elapsed exposure time based on the determined exposure time for each area.
  • the data output unit 16 generates image data by packetizing the pixel data input from the imaging unit 11 for each area of the frame.
  • a data structure of a packet storing pixel data (hereinafter referred to as a pixel data format) will be described later.
  • the data output unit 16 outputs the generated image data to the reproduction unit 17 for each packet.
  • the order of outputting image data packets from the data output unit 16 to the reproduction unit 17 is not necessarily required to follow a predetermined order (for example, raster scan order in units of areas), and is arbitrary.
  • the playback unit 17 includes a data acquisition unit 18, an image recombination unit 19, and an image display unit 20.
  • the data acquisition unit 18 acquires and temporarily holds a packet of image data output from the data output unit 16, analyzes the area number, frame number, and the like stored in the packet, and re-synthesizes the analysis result as an image. Notification to the unit 19. Further, the data acquisition unit 18 supplies a packet of image data to be held to the image recombination unit 19 in response to a request from the image recombination unit 19.
  • the image resynthesizing unit 19 resynthesizes the pixel data for each area stored in the packet supplied from the data acquiring unit 18 into image data in units of frames and outputs the image data to the image display unit 20.
  • the image display unit 20 displays an image on the recombined image data.
  • the playback unit 17 may exist as a playback device independent of the imaging device 10.
  • FIG. 2 shows a configuration example of the imaging unit 11. That is, the imaging unit 11 includes an optical lens unit 31 and an image sensor 32.
  • the optical lens unit 31 condenses the optical image of the subject on the image sensor 32.
  • the image sensor 32 is composed of a solid-state imaging device such as a CMOS, and generates pixel data corresponding to incident light by photoelectric conversion.
  • FIG. 3 shows a configuration example of the image sensor 32.
  • the image sensor 32 includes a pixel unit 41 composed of millions of pixels and an ADC group 43 composed of a plurality of ADCs (Analog Digital Converter) 42.
  • the pixel unit 41 is divided into areas 44 composed of a plurality of pixels arranged vertically and horizontally, and a plurality of pixels belonging to one area 44 share one ADC 42. That is, in the present embodiment, a camera shake amount is calculated for one area 44 sharing one ADC 42, and an exposure time and a pixel addition method for each area 44 are set according to the camera shake amount.
  • the present disclosure can be applied even when the area 44 and the area on the image sensor 32 sharing one ADC 42 are not necessarily matched.
  • FIG. 4 shows a rotation angle (pitch) based on angular velocities about three axes (x-axis, y-axis, and z-axis) orthogonal to each other that pass through the center coordinates of the image sensor 32 and are detected by the angular velocity sensor unit 12.
  • the relationship between the angle ⁇ x, the yaw angle ⁇ y, the roll angle ⁇ z) and the amount of camera shake is shown.
  • (x, y) is a coordinate in the area.
  • (X, Y) is the center coordinates of the frame.
  • L is the focal length of the image sensor 32.
  • ( ⁇ , ⁇ ) is the x and y direction angle of the pixel position, ( ⁇ x , ⁇ y , ⁇ z ) is the pitch around the X axis, the yaw around the Y axis, and the roll around the Z axis. It is.
  • the motion amount calculator 14 integrates the triaxial angular velocities detected by the angular velocity sensor 12 to calculate the rotation angles ( ⁇ x , ⁇ y , ⁇ z ), and calculates the calculated rotation angles ( ⁇ x , ⁇ y). , ⁇ z ) and focal point M distance L, the amount of camera shake (d x , d y ) at the center coordinates (x, y) of each area at the angular velocity acquisition timing is calculated according to the following equation (1).
  • the dispersion value of the pixel data in each area is determined by the noise in the image sensor 32 and the pattern indicating the characteristics of the subject.
  • the pattern of the subject is lost.
  • the dispersion value becomes smaller than that in the case where camera shake does not occur. Therefore, in the present embodiment, a variance value of pixel data in each area is calculated, and the presence / absence of camera shake and the amount of camera shake are determined based on a comparison result between the variance value and a predetermined threshold value. This threshold value can be determined based on the noise model of the image sensor 32 and the ISO sensitivity setting.
  • N pixels are sampled from each area, a plurality of exposures are performed in one frame period T, and a plurality of pixel data having the same coordinates are acquired.
  • pixel data at the timing t j of the i-th pixel among the N pieces of pixel data is described as p i (t j ).
  • an average value p j of accumulated pixel values p i, j of N pixels in the area is calculated according to the following equation (3).
  • the calculated variance value v j is compared with a predetermined threshold value, and when the variance value v j is smaller than the predetermined threshold value, it is determined that camera shake has occurred, and the variance value v j is compared with a plurality of smaller threshold values. Then, determine the amount of camera shake.
  • the motion amount calculation unit 14 The camera shake amount may be calculated using one of them preferentially. Alternatively, the amount of camera shake may be calculated from each, and each calculation result may be multiplied by a predetermined weighting coefficient and then added.
  • FIG. 5 is a diagram for explaining the control of the exposure time based on the amount of camera shake for each area.
  • the exposure time is set for each area according to the size.
  • each area is set as one of an area having a long exposure time, an area having a short exposure time, or an area having a shorter exposure time and performing exposure and output of pixel data twice.
  • the options for setting the exposure time according to the amount of camera shake are not limited to the three types described above, and may be further subdivided.
  • An area for performing exposure and outputting pixel data three or more times may be provided.
  • FIG. 6 is a diagram for explaining the control of the pixel addition method based on the amount of camera shake for each area.
  • a pixel addition method (number of added pixels) is set for each area according to the size.
  • each area is set to one of four types of pixel addition methods with different numbers of added pixels. Note that the number of options for setting the pixel addition method according to the amount of camera shake is not limited to four, and may be less or more.
  • FIG. 7 shows the relationship among frames, areas, and subframes.
  • Each frame is given a frame number indicating a time-series order.
  • a frame number indicating the position of the area in the frame is assigned to each area obtained by dividing the frame into a plurality of areas.
  • a subframe number is assigned to each area where exposure and readout are performed a plurality of times.
  • the shape of the area is not necessarily fixed and may be dynamically changed.
  • FIG. 8 shows a pixel data format of a packet of pixel data.
  • the packet 50 is generated for each area.
  • the packet 50 is provided with an area number area 51, a frame number area 52, a subframe number area 53, and an addition pattern area 54. Since the bit number is set for each of the area number area 51 to the addition pattern area 54, the data length from the area number area 51 to the addition pattern area 54 is a fixed length.
  • the packet 50 is provided with a plurality of pixel data areas 55-1 to 55-n. Note that the number of pixels read out from the area can be changed by the set pixel addition method (the number of added pixels), so that the data lengths of the pixel data regions 55-1 to 55-n are variable.
  • an area number indicating the position of the area in the frame is stored.
  • a frame number indicating the time-series order of frames including the area corresponding to the packet 50 is stored in the frame number area 52.
  • the subframe number area 53 stores a subframe number indicating the shooting time.
  • the addition pattern area 54 stores information indicating the pixel addition method pattern set in the area corresponding to the packet 50. Note that the pixel addition method pattern includes information when the area shape is dynamically changed.
  • the pixel data area 55 stores pixel data of pixels read from the area corresponding to the packet 50. For example, when only two pixels are read from the corresponding area, pixel data areas 55-1 and 55-2 are provided, and pixel data obtained by adding the pixels to each is stored. For example, when no pixel is read from the corresponding area, the pixel data area 55 is not provided. In this case, information in which no pixel is read from the corresponding area is stored in the addition pattern area 54 as information indicating a pattern of the pixel addition method.
  • the playback unit 17 that receives the packet 50 can specify the coordinates of the pixels of the pixel data stored in the pixel data area 55 based on the area number, frame number, subframe number, and pixel addition pattern. . Therefore, even if the output order of the packets 50 is random rather than the raster scan order or the time series order, the playback unit 17 can accurately restore the frame.
  • the image data can be efficiently transferred from the data output unit 16 to the subsequent stage.
  • FIG. 8 shows the bit width (16 bits and the like) of each area, but these are examples, and can be changed according to the configuration of the image sensor 32.
  • FIG. 9 is a flowchart for explaining exposure processing for each area in one frame period.
  • This exposure process is executed for each of a plurality of areas constituting a frame every frame period.
  • step S1 the imaging unit 11 starts exposure for the area to be processed in accordance with the control information from the exposure / readout control unit 15. Note that the exposure time of the exposure started here is set uniformly for all areas based on the brightness of the entire frame and the like.
  • step S ⁇ b> 2 the motion amount calculation unit 14 calculates a camera shake amount at a predetermined sampling period based on the motion information from the motion information acquisition unit 13 and notifies the exposure / read control unit 15 of the area to be processed. .
  • step S3 the exposure / read control unit 15 determines whether or not the total amount of camera shake from the start of exposure is equal to or greater than a predetermined threshold.
  • the process proceeds to step S4 in order to immediately stop the exposure.
  • step S4 the imaging unit 11 ends the exposure for the processing target area according to the control information from the exposure / read control unit 15.
  • the imaging unit 11 reads out pixel data for the area to be processed by the pixel addition method corresponding to the control information from the exposure / readout control unit 15 and outputs the pixel data to the data output unit 16. If the pixel addition method for the area has not yet been set, all the pixels in the area are read out.
  • step S6 the exposure / read control unit 15 determines whether or not one frame period has elapsed since the exposure process was started. If one frame period has not elapsed, the same area is exposed multiple times during one frame period, and the process returns to step S1 and the subsequent steps are repeated. On the other hand, when one frame period has elapsed, the exposure process is terminated.
  • step S7 the exposure / read control unit 15 determines whether or not the set exposure time has been reached since the exposure was started in step S1. If it is determined that the exposure time has been reached, the process proceeds to step S4 to end the exposure. Conversely, if it is determined that the exposure time has not yet been reached, the process proceeds to step S8.
  • step S8 the exposure / readout control unit 15 determines whether or not one frame period has elapsed since the exposure process was started. If one frame period has not elapsed, the exposure is continued and the process returns to step S2 and the subsequent steps are repeated. Conversely, if one frame period has elapsed, the process proceeds to step S9.
  • step S ⁇ b> 9 the imaging unit 11 ends the exposure for the area to be processed according to the control information from the exposure / read control unit 15.
  • the exposure / readout control unit 15 determines a pixel addition method for the area to be processed according to the total amount of camera shake in one frame period, and notifies the imaging unit 11 as control information.
  • step S11 the imaging unit 11 reads out pixel data and outputs the pixel data to the data output unit 16 in accordance with control information (pixel addition method) from the exposure / readout control unit 15 for the area to be processed. This is the end of the exposure process.
  • the exposure time can be ensured for the area to be processed up to the limit where the amount of camera shake from the start of exposure does not exceed the predetermined threshold. SNR can be improved.
  • the exposure is immediately stopped, so that the influence of camera shake on the area can be suppressed.
  • the pixel addition method for the area to be processed is determined according to the total amount of camera shake in one frame period, when the camera shake is small, SNR can be improved and power can be saved while maintaining the resolution.
  • the sensitivity can be increased by reducing the resolution by increasing the number of pixels to be added. When the sensitivity is increased, the exposure time can be shortened, so that the influence of camera shake can be suppressed.
  • the number of pixels is reduced in an area where the amount of camera shake is greatly blurred. Therefore, even if the pixels in the area are restored by simple linear interpolation, the number of pixels is large for the entire frame. Deterioration is unlikely to occur.
  • the reproduction unit 17 restores the pixels in the area by, for example, a linear interpolation formula as shown in the following formula (5).
  • x is a pixel coordinate to be restored.
  • u is the pixel coordinate where the output was made.
  • c is the color filter identifier in x or u.
  • d (x, u) is a distance between the coordinates x and u.
  • w (d) is a weighting function determined according to the distance.
  • S is a set of pixel coordinates output from the area.
  • the pixels in the area can be linearly interpolated using a weight function determined by the distance between the pixel to be restored and the pixel that has actually been output.
  • the pixels in the area may be restored by sparse coding using a dictionary or sparse coding without a dictionary based on the sparseness of the image.
  • s is a vector of all pixel data output from the area.
  • D is learning data obtained in advance.
  • ⁇ is a mask vector indicating the position of the pixel output from the area.
  • p is a vector of all the pixel data to be restored in the area.
  • ⁇ is a norm used in sparse coding, and 0 and 1 are often used.
  • Equation (7) shows an example of sparse coding without using a dictionary.
  • Equation (7) s is a vector of all pixel data output from the area.
  • A is a mask matrix indicating the positions of pixels output from the area.
  • p is a vector of all the pixel data to be restored in the area.
  • ⁇ is a norm used in sparse coding, and 0 and 1 are often used.
  • the method of re-synthesizing frames from image data packets is not limited to the above-described equations (5) to (7), and any equation or method can be used.
  • the pixels of all the pixels in the area are subjected to predetermined error processing.
  • Generate data for example, the pixel data of the area at the same position of the previous frame is used, or the pixel data of the adjacent area of the same frame is used, and all the pixels of the area where the corresponding packet does not reach A method of painting with the same pixel data can be employed.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 107 includes a display, a speaker, and the like.
  • the storage unit 108 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 109 includes a network interface or the like.
  • the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. A series of processing is performed.
  • the program executed by the computer 100 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • this indication can also take the following structures.
  • An image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion;
  • An imaging apparatus comprising: a control unit that controls an exposure time of the image sensor for each area according to the amount of camera shake calculated for each area.
  • the control unit causes the image sensor unit to perform exposure and pixel reading at least once during one frame period for each area according to the amount of camera shake calculated for each area.
  • the imaging device according to (2) The imaging device according to (2).
  • a motion sensor that detects at least one of angular velocity and acceleration; The imaging device according to any one of (1) to (3), wherein the calculation unit calculates an amount of camera shake for each area based on at least one of the detected angular velocity or acceleration.
  • the image sensor unit is provided with one ADC shared by the plurality of pixels for each of a plurality of regions where the plurality of pixels are arranged, The imaging device according to any one of (1) to (5), wherein the area corresponds to the region in which a plurality of pixels sharing one ADC are arranged.
  • the imaging apparatus further including a data output unit that generates image data by packetizing pixel data read from the image sensor unit for each area.
  • the data output unit stores the pixel data read from the same area in the same packet, and describes an area number indicating the position of the area in the frame in the same packet. Imaging device.
  • the data output unit further includes a frame number indicating a time-series order of frames to which the area belongs in the same packet, and a subframe number indicating a sequence when the area is exposed and read a plurality of times in one frame period. Alternatively, at least one of addition patterns indicating a pixel addition method for the area is described.
  • the imaging apparatus according to (8).
  • (11) In an imaging method of an imaging device including an image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion, According to the imaging device, A calculation step of calculating a camera shake amount for each area obtained by dividing the frame into a plurality of areas; A control step of controlling an exposure time of the image sensor for each area according to the amount of camera shake calculated for each area.
  • a program for controlling an imaging apparatus including an image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion, A calculation step of calculating a camera shake amount for each area obtained by dividing the frame into a plurality of areas;
  • a program that causes a computer of an imaging apparatus to execute processing including a control step of controlling an exposure time of the image sensor for each area according to the amount of camera shake calculated for each area.
  • An image sensor unit that generates pixel data of pixels constituting a frame by photoelectric conversion;
  • a calculation unit for calculating a camera shake amount for each area obtained by dividing the frame into a plurality of areas; In accordance with the amount of camera shake calculated for each area, a control unit that controls the exposure time of the image sensor for each area;
  • a playback device for playing back the image data output from the imaging device comprising: a data output unit that generates image data by packetizing pixel data read from the image sensor unit for each area;
  • An acquisition unit for acquiring the image data in units of packets;
  • a reproduction apparatus comprising: a restoration unit that analyzes the acquired packet of the image data and restores the frame for each of the areas corresponding to the packet.
  • the pixel data read from the same area is stored in the packet of the image data, and an area number indicating the position of the area in a frame is described.
  • the reproduction according to (13) apparatus 15)
  • the packet of the image data further includes a frame number indicating a time-series order of frames to which the area belongs, a subframe number indicating a sequence when the area is exposed and read a plurality of times in a frame period, or
  • Imaging device 11 imaging unit, 12 angular velocity sensor, 13 motion information acquisition unit, 14 motion amount calculation unit, 15 exposure / reading control unit, 16 data output unit, 17 playback unit, 18 data acquisition unit, 19 image resynthesis unit , 20 Image display unit, 31 Optical lens unit, 32 Image sensor, 41 Pixel unit, 42 ADC, 43 ADC group, 44 area, 50 packets, 100 computer, 101 CPU

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

　本開示は、イメージセンサを複数のエリアに区分し、エリア毎に手ブレ量に応じて露光制御することができるようにする撮像装置、撮像方法、およびプログラム、並びに再生装置に関する。　本開示の一側面である撮像装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部とを備える。本開示は、例えば、エリアADC型のイメージセンサを備えるカメラ等の電子装置に適用できる。

Description

撮像装置、撮像方法、およびプログラム、並びに再生装置
　本開示は、撮像装置、撮像方法、およびプログラム、並びに再生装置に関し、特に、撮像するフレーム内のエリア毎に手ブレ量を検出し、検出した手ブレ量に応じてエリア毎に露光時間、画素の加算方式などを変更できるようにした撮像装置、撮像方法、およびプログラム、並びに再生装置に関する。
　従来、デジタルビデオカメラに代表される撮像装置においては、設定された撮像モードに応じてイメージセンサの露光時間を自動的に調整したり、イメージセンサからの画素の読み出し方式を変更したりするものがある。具体的には、例えば、撮像モードが夜景モードに設定されている場合、画素の読み出し方式が画素加算（隣接する複数の画素の画素値を加算して１画素の画素値として読み出す方式）に変更される。
　また、従来の撮像装置においては、手ブレを検出する機構を備えるものが存在し、検出した手ブレ量に応じて、イメージセンサの露光時間を調整したり、イメージセンサの画素加算方式を変更したりする制御方法が提案されている。
　例えば特許文献１には、撮像モードが夜景モードに設定されている場合、検出された手ブレ量が大きいときには画素加算方式における画素値を加算する画素の数を多く設定し、検出された手ブレ量が小さいときには画素加算方式における画素値を加算する画素の数を例えば１に設定して画素加算を行わずに全画素読み出しとする制御方法が提案されている。
　この制御方式によれば、夜景モードであっても手ブレ量が小さいときには高解像度の画像を得ることができる。反対に、夜景モードであって手ブレ量が大きいときには画素加算により手振れを補正した画像を得ることができる。
　ただし、手ブレ量はフレームの全体で必ずしも均一ではないので、フレーム上に手ブレ量が大きいエリアと小さいエリアが存在する場合、手ブレ量が大きいエリアについては画素加算を行うようにし、手ブレ量が小さいエリアについては全画素読み出しを行うようにして、可能な限り高解像度な画像を出力できるようにすることが望ましい。
　なお、イメージセンサを複数のエリアに区分してエリア毎に制御することに関連し、例えば特許文献２には、エリア毎に露光時間を変更できるイメージセンサが提案されている。
特許４７７１０００号公報 特開２０１２－１７５２３４号公報
　特許文献２に記載のイメージセンサによれば、ダイナミックレンジが広いシーンで撮像する場合には、明るい被写体を写すエリアでは露光時間を短くし、反対に、暗い被写体を写すエリアでは露光時間を長くすることで画面全体を飽和も黒つぶれもなく撮像することができる。
　しかしながら、該イメージセンサでは、手ブレが考慮されていないので、例えば、暗い被写体を写すエリアで大きな手ブレが生じていた場合でも露光時間が長くなってしまうので、エリア毎に異なるボケが発生してしまう可能性がある。
　本開示はこのような状況に鑑みてなされたものであり、イメージセンサを複数のエリアに区分し、エリア毎に手ブレ量に応じて露光制御できるようにするものである。
　本開示の第１の側面である撮像装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部とを備える。
　前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御することができる。
　前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させることができる。
　本開示の第１の側面である撮像装置は、角速度または加速度の少なくとも一方を検出する動きセンサ部をさらに備えることができ、前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算することができる。
　前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算することができる。
　前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられているようにすることができ、前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当するようにすることができる。
　本開示の第１の側面である撮像装置は、前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部をさらに備えることができる。
　前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述することができる。
　前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述することができる。
　本開示の第１の側面である撮像装置は、前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部をさらに備えることができる。
　本開示の第１の側面である撮像方法は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、前記撮像装置による、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップとを含む。
　本開示の第１の側面であるプログラムは、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップとを含む処理を撮像装置のコンピュータに実行させる。
　本開示の第１の側面においては、フレームを複数に区分したエリア毎の手ブレ量が計算され、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間が制御される。
　本開示の第２の側面である再生装置は、フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部とを備える撮像装置から出力される前記画像データを再生する再生装置において、前記画像データをパケット単位で取得する取得部と、取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部とを備える。
　前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されているようにすることができる。
　前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されているようにすることができる。
　本開示の第２の側面においては、画像データがパケット単位で取得され、取得された前記画像データのパケットが解析されて、前記パケットに対応するエリア毎にフレームが復元される。
　本開示の第１の側面によれば、エリア毎に手ブレ量に応じて露光制御することができる。
　本開示の第２の側面によれば、エリア毎にパケット化されている画像データからフレームを復元することができる。
本開示を適用した撮像装置の構成例を示すブロック図である。 撮像部の構成例を示すブロック図である。 イメージセンサの構成例を示すブロック図である。 角速度に基づく動き情報の生成を説明するための図である。 各エリアの手ブレ量に応じた露光時間の設定を説明する図である。 各エリアの手ブレ量に応じた画素加算を説明する図である。 フレーム番号、エリア番号、およびサブフレーム番号の関係を説明するための図である。 画素データパケットのデータ構造を示す図である。 エリア毎の露光処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
　＜本実施の形態である撮像装置の構成例＞
　図１は、本実施の形態である撮像装置の構成例を示している。この撮像装置１０は、所定のフレームレートで動画像を撮像するものであり、具体的には、デジタルビデオカメラの他、動画撮像機能を有するデジタルスチルカメラやスマートフォンなどの電子装置が想定される。ただし、本開示は、静止画像を撮像する場合にも適用できる。
　この撮像装置１０は、撮像部１１、角速度センサ部１２、動き情報取得部１３、動き量計算部１４、露光・読み出し制御部１５、データ出力部１６、および再生部１７を有する。
　撮像部１１は、露光・読み出し制御部１５からの制御情報に従い、所定のフレームレートで撮像を行い、その結果得られる画素データをデータ出力部１６に供給する。なお、撮像に際しては、フレームを複数の区分したエリア毎に露光時間、画素加算方式を変更できるものとする。
　また、撮像部１１は、動き情報取得部１３からの要求に応じ、生成した画素データを供給する。ただし、動き情報取得部１３に対しては、フレーム全体の画素データを供給する必要はなく、フレームを複数に区分した各エリアのＮ個の画素についてのみ、１フレーム期間（例えば、フレームレートが30fpsの場合、1/30s）に複数回露光し、その都度、画素データを読み出して動き情報取得部１３に供給すればよい。
　角速度センサ部１２は、撮像中の撮像装置１０の動きを、フレームの中心座標、すなわち、イメージセンサ３２の中心を通る、互いに直交する３軸（ｘ軸、ｙ軸、ｚ軸）それぞれを中心とする角速度を所定のサンプリング周期で検出する。なお、角速度センサ部１２に加えて、または角速度センサ部１２の代わりに、３軸方向の加速度を検出する加速度センサを搭載するようにしてもよい。
　動き情報取得部１３は、撮像部１１から画素データを取得する処理、または角速度センサ部１２で検出された角速度を取得する処理の少なくとの一方を行い、取得した画素データ、または角速度の少なくとも一方を動き情報として動き量計算部１４に供給する。
　動き量計算部１４は、動き情報取得部１３からの動き情報に基づき、フレーム上のエリア毎の手ブレ量を計算して露光・読み出し制御部１５に通知する。なお、動き情報に基づく手ブレ量の計算の詳細については後述する。
　露光・読み出し制御部１５は、動き量計算部１４から通知される、フレーム上のエリア毎に手ブレ量に基づき、エリア毎の露光時間、画素加算方式を決定し、制御情報として撮像部１１に通知する。ここで、画素加算方式としては、水平方向1/2、水平方向1/4、垂直方向1/8などを選択することができる。なお、画素加算の代わりに、単に画素を間引きして読み出すように制御してもよい。
　また、露光・読み出し制御部１５は、決定したエリア毎の露光時間、画素加算方式をデータ出力部１６にも通知する。さらに、露光・読み出し制御部１５は、決定したエリア毎の露光時間に基づく露光経過時間を動き量計算部１４に通知する。
　データ出力部１６は、撮像部１１から入力される画素データを、フレームのエリア毎にパケット化することによって画像データを生成する。画素データを格納するパケットのデータ構造（以下、画素データフォーマットと称する）については後述する。
　データ出力部１６は、生成した画像データをパケット毎に再生部１７に出力する。なお、データ出力部１６から再生部１７に対して画像データのパケットを出力する順序は、必ずしも所定の順序（例えば、エリア単位でのラスタースキャン順等）に従う必要がなく任意である。
　再生部１７は、データ取得部１８、画像再合成部１９、および画像表示部２０から構成される。
　データ取得部１８は、データ出力部１６が出力する画像データのパケットを取得して一時的に保持して、パケットに格納されているエリア番号、フレーム番号などを解析し、解析結果を画像再合成部１９に通知する。また、データ取得部１８は、画像再合成部１９からの要求に応じ、保持する画像データのパケットを画像再合成部１９に供給する。
　画像再合成部１９は、データ取得部１８から供給されたパケットに格納されている、エリア毎の画素データを、フレーム単位の画像データに再合成して画像表示部２０に出力する。画像表示部２０は、再合成された画像データに画像を表示する。
　なお、再生部１７については、撮像装置１０から独立した再生装置として存在することもできる。
　＜撮像部１１の詳細な構成例＞
　次に、撮像部１１の詳細な構成例について、図２および図３を参照して説明する。
　図２は、撮像部１１の構成例を示している。すなわち、撮像部１１は、光学レンズ部３１およびイメージセンサ３２を有する。光学レンズ部３１は、被写体の光学像をイメージセンサ３２に集光する。イメージセンサ３２は、CMOSなどの固体撮像素子から成り、光電変換によって入射光に応じた画素データを生成する。
　図３は、イメージセンサ３２の構成例を示している。イメージセンサ３２は、数百万単位の画素から成る画素部４１と、複数のADC(Analog Digital Converter)４２からなるADC群４３を有する。画素部４１は、縦横に配置された複数の画素から成るエリア４４に区分されており、１つのエリア４４に属する複数の画素が、１つのADC４２を共用する。すなわち、本実施の形態では、１つのADC４２を共用する１つのエリア４４に対して手ブレ量を計算し、この手ブレ量に応じてエリア４４毎の露光時間、画素加算方式が設定される。
　ただし、エリア４４と、必ずしも１つのADC４２を共用するイメージセンサ３２上の領域とを一致させない場合でも、本開示は適用できる。
　＜動き情報に基づく手ブレ量の計算＞
　次に、動き量計算部１４による、動き情報に基づく手ブレ量の計算について説明する。
　はじめに、角速度に基づく手ブレ量の計算について説明する。図４は、角速度センサ部１２により検出される、イメージセンサ３２の中心座標を通る、互いに直交する３軸（ｘ軸、ｙ軸、ｚ軸）それぞれを中心とする角速度に基づく、回転角（ピッチ角θｘ、ヨー角θｙ、ロール角θｚ）と、手ブレ量の関係を示している。
　なお、図４において、（ｘ，ｙ）はエリア内の座標である。（Ｘ，Ｙ）はフレームの中心座標である。Ｌはイメージセンサ３２の焦点距離である。（α、β）は画素位置のｘ，ｙ方向角、（θx，θy，θz）は、Ｘ軸を中心とするピッチ、Ｙ軸を中心とするヨー、Ｚ軸を中心とするロールである。
　動き量計算部１４においては、角速度センサ部１２により検出される３軸の角速度を積分して回転角（θx，θy，θz）を計算し、計算した回転角（θx，θy，θz）と焦点Ｍ距離Ｌを用いて、角速度取得タイミングにおける、各エリアの中心座標（ｘ，ｙ）における手ブレ量（ｄx，ｄy）を次式（１）に従って演算する。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　次に、各エリアから取得するＮ個の画素データの分散値に基づいて手ブレ量の計算について説明する。
　通常、各エリアにおける画素データの分散値は、イメージセンサ３２におけるノイズと、被写体の特徴を示すパターンによって決定されるが、手ブレが発生している場合、被写体のパターンが失われてしまうため、分散値が手ブレ未発生の場合に比較して小さくなる傾向がある。そこで、本実施の形態では、各エリアの画素データの分散値を計算し、その分散値と所定の閾値との比較結果により、手ブレの有無と、手ブレ量を判断するようにする。なお、この閾値については、イメージセンサ３２のノイズモデルとISO感度設定に基づいて決定することができる。
　具体的には、まず、各エリアからＮ個の画素をサンプリングし、１フレーム期間Ｔに複数露光して、同一座標の複数の画素データを取得する。ここで、Ｎ個の画素データのうちのｉ番目の画素のタイミングｔjにおける画素データをｐi（ｔj）と記載する。次に、画素データｐi（ｔj）をタイミングｔ＝１からｔ＝ｔjまで次式（２）に従って累積し、累積画素値ｐi,jを算出する。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　次に、エリア内におけるＮ個の画素の累積画素値ｐi,jの平均値ｐjを次式（３）に従って計算する。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　さらに、次式（４）に従い、エリア内におけるＮ個の画素のタイミングｔ＝ｔjにおける画素データの分散値ｖjを算出する。
Figure JPOXMLDOC01-appb-M000004
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　最後に、算出した分散値ｖjと所定の閾値を比較し、分散値ｖjが所定の閾値よりも小さい場合に手ブレ発生と判断し、分散値ｖjとさらに小さな複数の閾値とを比較して、手ブレ量を決定する。
　なお、動き情報取得部１３にて、撮像部１１から画素データを取得する処理、および角速度センサ部１２で検出された角速度を取得する処理を行った場合、動き量計算部１４にて、いずれか一方を優先的に用いて手ブレ量を計算するようにしてもよい。また、それぞれから手ブレ量を計算し、それぞれの計算結果に所定の重み付け係数を乗算してから加算するようにしてもよい。
　＜エリア毎の手ブレ量に基づく露光時間と画素加算方式の制御＞
　次に、露光・読み出し制御部１５による、エリア毎の手ブレ量に基づく露光時間と画素加算方式の制御について説明する。
　図５は、エリア毎の手ブレ量に基づく露光時間の制御を説明するための図である。例えば、同図Ａに示されるように、動き量計算部１４によってエリア毎の手ブレ量が計算された場合、その大きさに応じてエリア毎に露光時間を設定する。同図の場合、各エリアが、露光時間が長いエリア、露光時間が短いエリア、または、露光時間がより短く露光と画素データの出力を２回行うエリアのいずれかに設定されている。なお、手ブレ量に応じた露光時間の設定の選択肢は、上述した３種類に限定するものではなく、より細分化してもよい。また、露光と画素データの出力を３回以上行うエリアを設けてもよい。
　図６は、エリア毎の手ブレ量に基づく画素加算方式の制御を説明するための図である。例えば、同図Ａに示されるように、動き量計算部１４によってエリア毎の手ブレ量が計算された場合、その大きさに応じてエリア毎に画素加算方式（加算画素数）を設定する。同図の場合、各エリアが、加算画素数の異なる４種類の画素加算方式のいずれかに設定されている。なお、手ブレ量に応じた画素加算方式の設定の選択肢は４種類に限定するものではなく、それ以下、またはそれ以上でもよい。
　＜画素データフォーマットについて＞
　次に、データ出力部１６から出力される画像データのパケットのデータ構造（画素データフォーマット）について、図７および図８を参照して説明する。
　図７は、フレームと、エリアと、サブフレームの関係を示している。各フレームには時系列順を示すフレーム番号が付与される。フレームを複数に区分した各エリアには、フレームにおけるエリアの位置を示すフレーム番号が付与される。複数回露光および読み出しが行われたエリアに対しては、各回時に対してサブフレーム番号が付与される。
　なお、エリアの形状については、必ずしも固定する必要はなく、動的に変化させてもよい。
　図８は、画素データのパケットの画素データフォーマットを示している。該パケット５０は、エリア毎に生成される。
　該パケット５０には、エリア番号領域５１、フレーム番号領域５２、サブフレーム番号領域５３、および加算パターン領域５４が設けられている。エリア番号領域５１乃至加算パターン領域５４は、それぞれビット幅が設定されているので、エリア番号領域５１から加算パターン領域５４までのデータ長は固定長となる。
　該パケット５０には、複数の画素データ領域５５－１乃至５５－ｎが設けられている。なお、エリアから読み出される画素の数は、設定された画素加算方式（加算画素数）によって変更され得るので、画素データ領域５５－１乃至５５－ｎのデータ長は可変長となる。
　エリア番号領域５１には、フレームにおけるエリアの位置を示すエリア番号が格納される。フレーム番号領域５２には、該パケット５０に対応するエリアを含むフレームの時系列順序を示すフレーム番号が格納される。サブフレーム番号領域５３には、撮影回時を示すサブフレーム番号が格納される。加算パターン領域５４には、該パケット５０に対応するエリアに設定された画素加算方式のパターンを示す情報が格納される。なお、画素加算方式のパターンには、エリア形状を動的に変化させた場合の情報も含むようにする。
　画素データ領域５５には、該パケット５０に対応するエリアから読み出された画素の画素データが格納される。例えば、対応するエリアから２画素のみが読み出された場合には、画素データ領域５５－１および５５－２が設けられて、それぞれに画素加算された画素データが格納される。また、例えば、対応するエリアから１画素も読み出されない場合には、画素データ領域５５は設けられない。この場合、対応するエリアから１画素も読み出されない情報は、画素加算方式のパターンを示す情報として、加算パターン領域５４に格納されている。
　該パケット５０を受け取る再生部１７では、エリア番号、フレーム番号、サブフレーム番号、画素加算方式のパターンに基づいて、画素データ領域５５に格納されている画素データの画素の座標を特定することができる。したがって、パケット５０の出力順序がラスタースキャン順や時系列順ではなく、ランダムなものであっても再生部１７において、フレームを正確に復元することができる。
　図８に示されたように、画素データフォーマットの画素データ領域５５－１乃至５５－ｎを可変長としたことにより、手ブレ量が大きいことにより加算画素数が多くなって、読み出される画素数が少ないエリアについては、対応するパケットのデータ量を減らすことができる。よって、データ出力部１６から後段に対して、効率的に画像データを転送することができる。
　なお、図８には、各領域のビット幅（16bitなど）を記載しているが、これらは一例であり、イメージセンサ３２の構成に応じて変更可能である。
　＜１フレーム期間におけるエリア毎の露光処理＞
　次に、図９は、１フレーム期間におけるエリア毎の露光処理を説明するフローチャートである。
　この露光処理は、１フレーム期間毎に、フレームを構成する複数の各エリアに対して実行される。
　ステップＳ１において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従い、露光を開始する。なお、ここで開始した露光の露光時間は、フレーム全体の明るさなどに基づき、全てのエリアに対して統一して設定されたものである。
　ステップＳ２において、動き量計算部１４は、処理対象のエリアについて、動き情報取得部１３からの動き情報に基づいて所定のサンプリング周期で手ブレ量を計算して露光・読み出し制御部１５に通知する。ステップＳ３において、露光・読み出し制御部１５は、露光開始からの手ブレ量の合計が所定の閾値以上であるか否かを判定する。ここで、露光開始からの手ブレ量の合計が所定の閾値以上であると判定された場合、直ちに露光を中止するため、処理はステップＳ４に進められる。
　ステップＳ４において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従って露光を終了する。ステップＳ５において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に対応する画素加算方式で画素データを読み出してデータ出力部１６に出力する。なお、当該エリアに対する画素加算方式がまだ設定されていない場合には、該エリアの全画素が読み出される。
　ステップＳ６において、露光・読み出し制御部１５は、当該露光処理を開始してから１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していない場合、１フレーム期間に同一のエリアに対して複数回の露光が行われることになり、処理はステップＳ１に戻されてそれ以降が繰り返される。反対に、１フレーム期間が経過した場合、当該露光処理は終了される。
　なお、ステップＳ３において、露光開始からの手ブレ量の合計が所定の閾値よりも小さいと判定された場合、処理はステップＳ７に進められる。ステップＳ７において、露光・読み出し制御部１５は、ステップＳ１で露光が開始されてから、設定されている露光時間に達したか否かを判定する。ここで、露光時間に達したと判定された場合、露光を終了するため、処理はステップＳ４に進められる。反対に、まだ露光時間に達していないと判定された場合、処理はステップＳ８に進められる。
　ステップＳ８において、露光・読み出し制御部１５は、当該露光処理を開始してから１フレーム期間が経過したか否かを判定する。１フレーム期間が経過していない場合、露光が継続されたままで、処理はステップＳ２に戻されてそれ以降が繰り返される。反対に、１フレーム期間が経過した場合、処理はステップＳ９に進められる。
　ステップＳ９において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報に従って露光を終了する。ステップＳ１０において、露光・読み出し制御部１５は、１フレーム期間における手ブレ総量に応じて、処理対象のエリアの画素加算方式を決定し、制御情報として撮像部１１に通知する。
　ステップＳ１１において、撮像部１１は、処理対象のエリアについて、露光・読み出し制御部１５からの制御情報（画素加算方式）に従い、画素データを読み出してデータ出力部１６に出力する。以上で当該露光処理は終了される。
　以上説明したように、１フレーム期間におけるエリア毎の露光処理によれば、処理対象のエリアについて、露光開始からの手ブレ量が所定の閾値を超えない限界まで露光時間を確保することができるため、SNR向上を図ることができる。
　また、露光開始からの手ブレ量の合計が大きければ（所定の閾値以上であれば）、直ちに露光を中止するので、該エリアに対する手ブレの影響を抑止することができる。さらに、１フレーム期間における手ブレ総量に応じて、処理対象のエリアの画素加算方式を決定するので、手ブレが小さい場合には、解像度を維持しつつSNR向上、省電力化を図ることができる。反対に、手ブレが大きい場合には、加算する画素の数を増すことにより解像度を落として感度を上げることができる。感度を上げた場合、露光時間を短くすることができるので、手ブレの影響を抑制することができる。
　＜再生部１７におけるフレームの再合成＞
　次に、画像データのパケットを受け取った再生部１７におけるフレームの再合成について説明する。
　上述したように、本実施の形態では、手ブレ量が大きくぼやけてしまうエリアでは画素数が少なくなっているので、単純な線形補間によってエリア内の画素を復元してもフレーム全体に対して大きな劣化は生じにくい。
　そこで、再生部１７では、例えば、次式（５）に示すような線形補間式によってエリア内の画素を復元する。
Figure JPOXMLDOC01-appb-M000005
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　なお、式（５）において、ｘは復元する画素座標である。ｕは出力があった画素座標である。ｃはｘまたはｕにおけるカラーフィルタ識別子である。ｄ（ｘ，ｕ）は座標ｘ，ｕ間の距離である。ｗ（ｄ）は距離に応じて決まる重み関数である。Ｓは該エリアから出力があった画素座標の集合である。
　式（５）を用いれば、復元しようとする画素と実際に出力のあった画素との距離によって決まる重み関数を利用してエリア内の画素を線形補間することができる。
　なお、式（５）の他にも、画像の疎性に基づき、辞書を利用したスパースコーディング、または辞書なしのスパースコーディングによってエリア内の画素を復元するようにしてもよい。
　次式（６）に辞書を利用したスパースコーディングの一例を示す。
Figure JPOXMLDOC01-appb-M000006
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（６）
　なお、式（６）において、ｓは該エリアから出力があった全ての画素データのベクトルである。Ｄは事前に求められている学習データである。αは該エリアから出力された画素の位置を示すマスクベクトルである。ｐは該エリアの復元される全ての画素データのベクトルである。κはスパースコーディングで利用されるノルムであり、０，１がよく用いられる。
　次式（７）に辞書を用いないスパースコーディングの一例を示す。
Figure JPOXMLDOC01-appb-M000007
 　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　式（７）において、ｓは該エリアから出力があった全ての画素データのベクトルである。Ａは該エリアから出力された画素の位置を示すマスク行列である。ｐは該エリアの復元される全ての画素データのベクトルである。κはスパースコーディングで利用されるノルムであり、０，１がよく用いられる。
　画像データのパケットからフレームを再合成する方法は、上述した式（５）乃至（７）に限るものではなく任意の式、方法を用いることができる。
　なお、あるフレームの再生時刻までに、そのフレームを構成する、あるエリアに対応するパケットが再生部１７に供給されていなかった場合には、所定のエラー処理により、該エリア内の全画素の画素データを生成するようにする。所定のエラー処理としては、例えば、前のフレームの同じ位置のエリアの画素データを流用したり、同一フレームの隣接するエリアの画素データを用いて、対応するパケットが届いていないエリアの全画素を同一の画素データで塗りつぶしたりする方法を採用することができる。
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　なお、本開示は以下のような構成も取ることができる。
（１）
　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と
　を備える撮像装置。
（２）
　前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御する
　前記（１）に記載の撮像装置。
（３）
　前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させる
　前記（１）または（２）に記載の撮像装置。
（４）
　角速度または加速度の少なくとも一方を検出する動きセンサ部を
　さらに備え、
　前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算する
　前記（１）から（３）のいずれかに記載の撮像装置。
（５）
　前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算する
　前記（１）から（４）のいずれかに記載の撮像装置。
（６）
　前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられており、
　前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当する
　前記（１）から（５）のいずれかに記載の撮像装置。
（７）
　前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部を
　さらに備える前記（１）から（６）のいずれかに記載の撮像装置。
（８）
　前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述する
　前記（７）に記載の撮像装置。
（９）
　前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述する
　前記（８）に記載の撮像装置。
（１０）
　前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部を
　さらに備える前記（７）から（９）のいずれかに記載の撮像装置。
（１１）
　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、
　前記撮像装置による、
　　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
　　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
　を含む撮像方法。
（１２）
　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、
　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
　を含む処理を撮像装置のコンピュータに実行させるプログラム。
（１３）
　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、
　前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部と
　を備える撮像装置から出力される前記画像データを再生する再生装置において、
　前記画像データをパケット単位で取得する取得部と、
　取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部と
　を備える再生装置。
（１４）
　前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されている
　前記（１３）に記載の再生装置。
（１５）
　前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されている
　前記（１４）に記載の再生装置。
　１０　撮像装置，　１１　撮像部，　１２　角速度センサ，　１３　動き情報取得部，　１４　動き量計算部，　１５　露光・読み出し制御部，　１６　データ出力部，　１７　再生部，　１８　データ取得部，　１９　画像再合成部，　２０　画像表示部，　３１　光学レンズ部，　３２　イメージセンサ，　４１　画素部，　４２　ADC，　４３　ADC群，　４４　エリア，　５０　パケット，　１００　コンピュータ，　１０１　CPU

Claims (15)

  1. 　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
    　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
    　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と
    　を備える撮像装置。
  2. 　前記制御部は、さらに、前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサ部の画素加算方式を制御する
    　請求項１に記載の撮像装置。
  3. 　前記制御部は、前記エリア毎に計算された前記手ブレ量に応じて前記エリア毎に、１フレーム周期の間に前記イメージセンサ部の露光と画素読み出しを１回以上実行させる
    　請求項２に記載の撮像装置。
  4. 　角速度または加速度の少なくとも一方を検出する動きセンサ部を
    　さらに備え、
    　前記計算部は、検出された前記角速度または前記加速度の少なくとも一方に基づき、前記エリア毎の手ブレ量を計算する
    　請求項２に記載の撮像装置。
  5. 　前記計算部は、前記エリア毎にサンプリングされる複数の画素の画素データの分散に基づき、前記エリア毎の手ブレ量を計算する
    　請求項２に記載の撮像装置。
  6. 　前記イメージセンサ部は、複数の画素が配置されている複数の領域毎に、前記複数の画素が共用する一つのADCが設けられており、
    　前記エリアは、一つのADCを共有する複数の画素が配置されている前記領域に相当する
    　請求項２に記載の撮像装置。
  7. 　前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部を
    　さらに備える請求項２に記載の撮像装置。
  8. 　前記データ出力部は、同一のエリアから読み出された前記画素データを同一のパケットに格納するとともに、フレームにおける前記エリアの位置を示すエリア番号を前記同一のパケットに記述する
    　請求項７に記載の撮像装置。
  9. 　前記データ出力部は、前記同一のパケットにさらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つを記述する
    　請求項８に記載の撮像装置。
  10. 　前記データ出力部によって生成された、前記画素データがエリア毎にパケット化されている前記画像データに基づいて前記フレームを再合成する再生部を
    　さらに備える請求項７に記載の撮像装置。
  11. 　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の撮像方法において、
    　前記撮像装置による、
    　　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
    　　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
    　を含む撮像方法。
  12. 　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部を備える撮像装置の制御用のプログラムにおいて、
    　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算ステップと、
    　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御ステップと
    　を含む処理を撮像装置のコンピュータに実行させるプログラム。
  13. 　フレームを構成する画素の画素データを光電変換によって生成するイメージセンサ部と、
    　前記フレームを複数に区分したエリア毎の手ブレ量を計算する計算部と、
    　前記エリア毎に計算された前記手ブレ量に応じて、前記エリア毎に前記イメージセンサの露光時間を制御する制御部と、
    　前記イメージセンサ部から読み出された画素データをエリア毎にパケット化することにより画像データを生成するデータ出力部と
    　を備える撮像装置から出力される前記画像データを再生する再生装置において、
    　前記画像データをパケット単位で取得する取得部と、
    　取得された前記画像データのパケットを解析し、前記パケットに対応する前記エリア毎に前記フレームを復元する復元部と
    　を備える再生装置。
  14. 　前記画像データの前記パケットには、同一のエリアから読み出された前記画素データが格納されているとともに、フレームにおける前記エリアの位置を示すエリア番号が記述されている
    　請求項１３に記載の再生装置。
  15. 　前記画像データの前記パケットには、さらに、前記エリアが属するフレームの時系列順序を示すフレーム番号、１フレーム期間に前記エリアが複数回露光、読み出しされた場合の回次を示すサブフレーム番号、または、前記エリアの画素加算方式を示す加算パターンのうちの少なくとも一つが記述されている
    　請求項１４に記載の再生装置。
PCT/JP2015/067945 2014-07-07 2015-06-23 撮像装置、撮像方法、およびプログラム、並びに再生装置 WO2016006430A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/320,782 US10003745B2 (en) 2014-07-07 2015-06-23 Imaging apparatus, imaging method and program, and reproduction apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014139507A JP2016019076A (ja) 2014-07-07 2014-07-07 撮像装置、撮像方法、およびプログラム、並びに再生装置
JP2014-139507 2014-07-07

Publications (1)

Publication Number Publication Date
WO2016006430A1 true WO2016006430A1 (ja) 2016-01-14

Family

ID=55064068

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067945 WO2016006430A1 (ja) 2014-07-07 2015-06-23 撮像装置、撮像方法、およびプログラム、並びに再生装置

Country Status (3)

Country Link
US (1) US10003745B2 (ja)
JP (1) JP2016019076A (ja)
WO (1) WO2016006430A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834294B2 (en) 2016-12-08 2020-11-10 Sony Semiconductor Solutions Corporation Imaging device, imaging element, and method of controlling imaging device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10306148B2 (en) * 2016-08-30 2019-05-28 Microsoft Technology Licensing, Llc Motion triggered gated imaging
CN109151333B (zh) 2018-08-22 2020-07-03 Oppo广东移动通信有限公司 曝光控制方法、装置以及电子设备
JP2021132292A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、システム、及び、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172566A (ja) * 1994-12-16 1996-07-02 Sanyo Electric Co Ltd 手振れ補正装置およびそれを用いたビデオカメラ
JP2006184679A (ja) * 2004-12-28 2006-07-13 Seiko Epson Corp 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
JP2007139874A (ja) * 2005-11-15 2007-06-07 Canon Inc 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
JP4434939B2 (ja) * 2004-12-27 2010-03-17 キヤノン株式会社 撮像装置及びその制御方法
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
JP4771000B2 (ja) 2010-07-23 2011-09-14 カシオ計算機株式会社 電子カメラ
JP2012175234A (ja) 2011-02-18 2012-09-10 Sony Corp 撮像装置、撮像素子、および撮像制御方法、並びにプログラム
JP5249377B2 (ja) * 2011-03-22 2013-07-31 キヤノン株式会社 撮像装置、及びその制御方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08172566A (ja) * 1994-12-16 1996-07-02 Sanyo Electric Co Ltd 手振れ補正装置およびそれを用いたビデオカメラ
JP2006184679A (ja) * 2004-12-28 2006-07-13 Seiko Epson Corp 撮像装置、手ブレ補正装置、携帯電話機および手ブレ補正方法
JP2006197192A (ja) * 2005-01-13 2006-07-27 Sony Corp 撮像装置及び撮像結果の処理方法
JP2007139874A (ja) * 2005-11-15 2007-06-07 Canon Inc 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10834294B2 (en) 2016-12-08 2020-11-10 Sony Semiconductor Solutions Corporation Imaging device, imaging element, and method of controlling imaging device

Also Published As

Publication number Publication date
US10003745B2 (en) 2018-06-19
US20170155844A1 (en) 2017-06-01
JP2016019076A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
JP5367640B2 (ja) 撮像装置および撮像方法
US20130329128A1 (en) Image pickup apparatus, method of controlling image pickup apparatus, and program
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
CN102629976B (zh) 图像处理设备和图像处理设备的控制方法
JP4342493B2 (ja) 手ぶれ補正装置
WO2015163145A1 (ja) 画像処理装置、画像処理方法、電子機器、並びにプログラム
WO2016006430A1 (ja) 撮像装置、撮像方法、およびプログラム、並びに再生装置
JP2004266322A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP2006081150A5 (ja)
US20100214433A1 (en) Image processing device
CN109076170B (zh) 图像处理设备、图像处理方法、成像设备和存储介质
TW201517624A (zh) 產生高動態範圍影像的方法與裝置以及電腦程式產品
JP2017183870A (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
US20130002952A1 (en) Image synthesizing apparatus that synthesizes multiple images to obtain moving image, control method therefor, and storage medium
US10979653B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US9813626B2 (en) Image sensor, operating method therefor, and electronic device
JP2011114486A (ja) 撮像装置
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
WO2023042432A1 (ja) 撮像システム、処理装置、および機械学習装置
CN115037915B (zh) 视频处理方法和处理装置
JP2015026910A (ja) 撮像装置及びその制御方法
JP6334288B2 (ja) 撮像装置およびカプセル内視鏡
JP2013157755A (ja) ノイズ低減装置およびその制御方法
JP5721552B2 (ja) 撮像装置および画像合成方法
US11729506B2 (en) Imaging element with processor configured to receive vibration information, imaging apparatus, operation method of imaging element, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15819357

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15320782

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15819357

Country of ref document: EP

Kind code of ref document: A1