WO2019082831A1 - 撮像装置、撮像装置の制御方法、および、プログラム - Google Patents

撮像装置、撮像装置の制御方法、および、プログラム

Info

Publication number
WO2019082831A1
WO2019082831A1 PCT/JP2018/039129 JP2018039129W WO2019082831A1 WO 2019082831 A1 WO2019082831 A1 WO 2019082831A1 JP 2018039129 W JP2018039129 W JP 2018039129W WO 2019082831 A1 WO2019082831 A1 WO 2019082831A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image data
amount
exposure
frame
Prior art date
Application number
PCT/JP2018/039129
Other languages
English (en)
French (fr)
Inventor
小林　悟
貴志 佐々木
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017208368A external-priority patent/JP7123544B2/ja
Priority claimed from JP2018189987A external-priority patent/JP7321691B2/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Publication of WO2019082831A1 publication Critical patent/WO2019082831A1/ja
Priority to US16/850,698 priority Critical patent/US11258948B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2207/00—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly
    • G03B2207/005—Control of exposure by setting shutters, diaphragms, or filters separately or conjointly involving control of motion blur

Definitions

  • the present invention relates to a technique for capturing an image in which blurring is suppressed.
  • This shooting mode is a shooting mode in which the imaging person sets a desired shutter speed and the imaging device automatically sets exposure setting values other than the shutter speed such as the aperture value and the ISO sensitivity.
  • the photographer can perform imaging at a desired shutter speed by using this imaging mode. For example, by setting a shutter speed with a short exposure time, it is possible to capture an image with less subject blurring even for a fast-moving subject such as a waterfall spray or a racing car.
  • Japanese Patent Application Laid-Open No. 2006-197192 discloses an imaging device that detects the amount of movement of an object from an image captured before capturing a still image, and determines the shutter speed based on the detection result.
  • the imaging person or the imaging device predicts the moving speed of the moving object before imaging, and performs imaging by setting a shutter speed which is expected to reduce blurring of the subject.
  • the subject may be blurred and captured even if imaging is performed at the shutter speed set before imaging.
  • One aspect of the present invention is an imaging apparatus, wherein a first imaging means, a second imaging means, and the first imaging means perform exposure for image data of a first frame.
  • Calculating means for calculating the amount of movement of the subject in the image data of the plurality of frames using the image data of the plurality of frames captured by the second imaging means in the meantime;
  • Control means for controlling the exposure for the image data of the first frame by the first imaging means based on the It is characterized by having.
  • Another aspect of the present invention is an imaging apparatus which is detachable from an external imaging apparatus having a first imaging means, wherein the second imaging means and the first imaging means are the first frame.
  • Calculation means for calculating the amount of movement of the subject in the image data of the plurality of frames using the image data of the plurality of frames taken by the second image pickup means while performing the exposure for the image data
  • control means for outputting a signal for controlling the exposure for the image data of the first frame by the first imaging means based on the result calculated by the calculation means.
  • a so-called digital camera is taken as an imaging apparatus according to an embodiment of the present invention, but the present invention is not limited to this.
  • the present invention may be implemented as another device having an imaging function, for example, a digital video camera, a mobile phone, a smartphone, and other portable electronic devices.
  • FIG. 1A is a block diagram showing a configuration example of an imaging device 100 according to the first embodiment of the present invention.
  • the imaging apparatus 100 includes a first imaging system 110, a second imaging system 120, and an operation member 130.
  • the first control circuit 111 is, for example, a processor such as a CPU or an MPU.
  • the first control circuit 111 reads an operation program of each block included in the first imaging system 110 from the first ROM 112 described later, expands the program on the first RAM 113 described later, and executes the program. It controls the operation of each block included in 110.
  • the first control circuit 111 also controls and controls the overall operation of the first imaging system 110 and the second imaging system 120.
  • the first ROM 112 is an electrically erasable and recordable nonvolatile memory, and stores parameters necessary for the operation of each block in addition to the operation program of each block included in the first imaging system 110.
  • the first RAM 113 is a rewritable volatile memory, and is used as a temporary storage area of data output in the operation of each block included in the first imaging system 110.
  • the first optical system 114 is constituted by a lens group including a zoom lens and a focus lens, and forms an object image on a first image sensor 115 described later.
  • the first imaging element 115 is configured of, for example, a CCD or a CMOS sensor provided with color filters of a plurality of colors.
  • the first imaging device 115 photoelectrically converts the optical image formed on the first imaging device 115 by the first optical system 114, and obtains the obtained analog image signal to the first A / D conversion circuit 116. Output.
  • the first image sensor 115 starts exposure based on the timing when the shutter button included in the operation member 130 is full-pressed, and instructs the timing of the exposure end output from the exposure end timing generation circuit 200 described later. The exposure is ended based on the signal.
  • the first A / D conversion circuit 116 converts the input analog image signal into a digital image signal, and outputs the obtained digital image data to the first RAM 113.
  • the first image processing circuit 117 performs white balance adjustment, color interpolation, noise correction, gamma processing, conversion to luminance / color difference signals, aberration correction, and the like on the image data stored in the first RAM 113. Apply various image processing.
  • the image output circuit 118 is a circuit for receiving the image data processed by the first image processing circuit 117 via the first RAM 113 and outputting the image data to an external device. Specifically, image data is read from or written to a recording medium removable from the imaging apparatus 100, and images are transmitted and received to and from a smartphone, a server, or the like using a wireless or wired communication function.
  • the display device 119 is a display device such as an LCD or an organic EL display, and displays an image recorded in the first RAM 113.
  • the second control circuit 121 is, for example, a processor such as a CPU or an MPU.
  • the second control circuit 121 reads an operation program of each block included in the second imaging system 120 from the second ROM 122 described later, expands the program in the second RAM 123 described later, and executes the second imaging system. It controls the operation of each block included in 120.
  • the second ROM 122 is an electrically erasable and recordable nonvolatile memory, and stores, in addition to the operation program of each block included in the second imaging system 120, parameters and the like necessary for the operation of each block.
  • the second RAM 123 is a rewritable volatile memory, and is used as a temporary storage area of data output in the operation of each block included in the second imaging system 120.
  • the second optical system 124 is composed of a lens group including a zoom lens and a focus lens, and forms an object image on a second image sensor 125 described later.
  • the second imaging element 125 is an imaging element such as a CCD or CMOS sensor, for example, and is an analog image obtained by photoelectrically converting an optical image formed on the second imaging element 125 by the second optical system 124
  • the signal is output to the second A / D conversion circuit 126.
  • the second imaging element 125 is an element used to detect movement and blurring, and thus does not necessarily have to include color filters of a plurality of colors, and has a configuration including a monochrome (white) filter and an infrared filter. It is also good.
  • the second A / D conversion circuit 126 converts the input analog image signal into a digital image signal, and outputs the obtained digital image data to the second RAM 123.
  • the second image processing circuit 127 applies various image processing such as simple noise correction and gamma processing to the image data stored in the second RAM 123. If the second image sensor 125 includes color filters of a plurality of colors, color interpolation or conversion processing to a luminance signal is also performed. In addition, the second image processing circuit 127 includes the timing generation circuit 200, and based on the result of the motion analysis using the image data stored in the second RAM 123, the exposure end of the first image sensor 115 is completed. Generate a signal that indicates the timing of A signal instructing the timing of the end of exposure is output to the first imaging system 110 via the second control circuit 121. When the first imaging system 110 receives this signal, the first control circuit 111 controls the exposure of the first imaging element 115 to end.
  • image processing such as simple noise correction and gamma processing to the image data stored in the second RAM 123. If the second image sensor 125 includes color filters of a plurality of colors, color interpolation or conversion processing to a luminance signal is also performed. In addition, the
  • the operation member 130 is an operation member that receives an instruction from the user, and includes a shutter button and a dial key. Further, the display device 119 may have a touch panel function. Signals generated by the user operating these operation members are reflected in drive control of the first imaging system 110 and the second imaging system 120.
  • the first imaging system 110 and the second imaging system 120 are integrally configured as the imaging device 100
  • the present invention is not limited to this.
  • the first imaging system 110 and the operation member 130 may be a camera body
  • the second imaging system 120 may be an imaging device detachable from the camera body. That is, the second imaging system 120 may be an imaging device that can be attached to and detached from an external imaging device.
  • the interchangeable lens device including the first optical system 114 includes the first imaging device 115 to the display device 119, and the operation member 130. It becomes a structure which can be detached with respect to a camera body.
  • FIG. 1B is a diagram illustrating a smartphone (or a tablet terminal) as an example of the imaging device 100.
  • a touch panel that doubles as the display device 119 and the operation member 130 is provided on the front of the smartphone, and the first optical system 114 of the first imaging system 110 and the second of the second imaging system 120 are provided on the back of the smartphone.
  • the optical system 124 is disposed.
  • the present invention can also be implemented in such a smartphone.
  • the second control circuit 121 can be omitted.
  • the second imaging system 120 only includes the second optical system 124, the second imaging element 125, the second A / D conversion circuit 126, and the second RAM 123, and the other components are One imaging system 110 may be shared. By this, when the second imaging system 120 is another camera device, the configuration can be simplified.
  • FIG. 12A shows a table in which the configurations of the first imaging device 115 and the second imaging device 125 in the present embodiment are compared.
  • the frame rate of the first imaging device 115 is 20 fps (frames / second)
  • the frame rate of the second imaging device 125 is 1000 fps.
  • the second imaging element 125 can set the shutter speed at which the exposure time is shorter than that of the first imaging element 115. Then, in order to realize this shutter speed, the second imaging device 125 needs to have higher sensitivity than the first imaging device 115. Therefore, the second imaging element 125 is configured such that the pixel pitch is larger than the first imaging element 115 instead of reducing the number of pixels.
  • the horizontal size of the imaging unit is 36 mm for the first imaging element 115, whereas it is 4 mm for the second imaging element 125.
  • the number of horizontal pixels is 6,400 for the first image sensor 115, while the second image sensor 125 is 640 pixels.
  • the pixel pitch is 5.62 ⁇ m for the first imaging device 115, while the pixel pitch is 6.25 ⁇ m for the second imaging device 125.
  • the timing generation circuit 200 analyzes a motion by detecting a motion vector of image data stored in the second RAM 123 by the second imaging element 125 imaging at a high frame rate.
  • the second imaging element 125 is configured to include color filters for a plurality of colors, color interpolation or conversion processing to a luminance signal is performed first, and each pixel is a signal of the same component Shall be provided. Then, based on the analysis result of the movement, the timing of the exposure end of the first imaging device 115 is determined, and a signal for ending the exposure of the first imaging device 115 is output to the first imaging system 110 Do.
  • FIG. 2 is a block diagram showing a configuration example of the timing generation circuit 200 according to the first embodiment.
  • the timing generation circuit 200 includes a motion vector calculation circuit 201, an accumulated amount calculation circuit 202, a representative accumulated amount calculation circuit 203, and a timing determination circuit 204.
  • FIGS. 3 and 4 are flowcharts of imaging processing in the high-speed imaging mode according to the first embodiment.
  • the flowchart of FIG. 3 is started when the power of the imaging apparatus 100 is turned on.
  • step S301 the first control circuit 111 determines whether the imaging mode is set, and if not set, the process proceeds to step S302, and if set, the process proceeds to step S305.
  • step S302 the first control circuit 111 determines whether the setting menu of the shake level is selected. If another process is selected, the process proceeds to step S303, and another process is performed in step S303. If the shake level setting menu is selected, the first control circuit 111 proceeds to step S304.
  • step S304 the first control circuit 111 displays a screen for setting the shake level on the display device 119, and sets the level of the shake in accordance with the operation result of the operation member 130 by the user.
  • the first display device 119 displays a graded level from "standard” to "low” as the shake level, and allows the user to select.
  • a threshold described later is set so that the blur included in the captured image becomes smaller as the user selects a blur level closer to “low”. In the present embodiment, the description will be made on the assumption that the user selects the shake level “low” which minimizes the shake.
  • the first control circuit 111 determines a shake allowance value in the first imaging system 110, and the second control circuit 121 determines in step S322 described later based on the shake allowance value.
  • the shake allowance value is set to the permissible circle of confusion diameter.
  • the permissible circle of confusion diameter represents a limit value that can be resolved by an observer with a visual acuity of 1.0 when observing a photograph with a visual distance of 250 mm, and becomes about 20 ⁇ m on a 36 ⁇ 24 mm imaging device .
  • the pitch 22.48 ⁇ m (5.62 ⁇ 4) of four pixels of the first image sensor 115 is taken as the permissible circle of confusion diameter.
  • step S305 the first control circuit 111 activates the first image sensor 115.
  • step S306 the first control circuit 111 determines whether the high-speed shooting mode is selected as the shooting mode. If the high-speed shooting mode is not selected, the process proceeds to step S307 and performs other shooting mode processing in step S307. If the high-speed shooting mode is selected, the first control circuit 111 proceeds to step S308.
  • step S308 the first control circuit 111 drives the first optical system 114 based on the contrast value of the subject obtained from the first image sensor 115 or the output of a distance measuring sensor (not shown) to perform automatic operation. Perform focus control (AF).
  • AF focus control
  • step S309 the first control circuit 111 performs automatic exposure control (AE) for the first image sensor 115 based on the luminance value of the subject obtained from the first image sensor 115.
  • AE automatic exposure control
  • step S310 the first control circuit 111 determines whether the SW1 in the shutter switch is turned on by pressing the shutter switch included in the operation member 130 halfway, and steps S308 and S309 are performed until the switch is turned on. repeat.
  • step S310 When SW1 is turned on in step S310, the second control circuit 121 activates the second imaging element 125 in step S311.
  • step S312 the first control circuit 111 performs AF using the first optical system 114 on the main subject selected when the SW1 is turned on.
  • step S313 the first control circuit 111 performs AE for the first image sensor 115 on the main subject selected when the switch SW1 is turned on.
  • step S314 the second control circuit 121 receives zoom information of the first optical system 114 from the first control circuit 111, and controls the zoom state of the second optical system 124. Control of the zoom state of the second optical system 124 will be described with reference to FIG.
  • FIG. 5 is a diagram for explaining the positional relationship between the imaging device 100 and the subject 500 when the SW 1 is turned on.
  • the first optical system 114 of the imaging device 100 has a focal length of 300 mm, and tries to capture an object 500 moving 40 m ahead at 0.3 m / sec (300 mm / sec).
  • the subject 500 is assumed to move in the vicinity of the optical axis of the first optical system 114.
  • 40 m ahead will be called the object plane.
  • the moving speed of the subject 500 can be measured by calculating a motion vector described later from the distance information to the subject 500 and the image obtained during framing.
  • the second control circuit 121 moves the focal length of the second optical system 124 to the telephoto side for zooming to increase the resolution of motion detection in the second image sensor 125.
  • the focal length is thus increased and the zoom position is moved to the telephoto side, the angle of view is narrowed, and therefore, when there is a subject other than near the optical axis, the subject may be out of the field of view.
  • the field of view can be moved to a region out of the optical axis by using a known technique for moving the optical axis or the position of the imaging device.
  • step S315 the second control circuit 121 performs AF using the second optical system 124 based on the information of the main subject selected when the SW1 is turned on.
  • step S316 the second control circuit 121 performs AE for the second imaging element 115 based on the information of the main subject selected when the SW1 is turned on.
  • step S317 the first control circuit 111 determines whether the SW 2 in the shutter switch is turned on by fully pressing the shutter switch included in the operation member 130, and performs steps S312 to S316 until the SW2 is turned on. repeat.
  • the first control circuit 111 sets the exposure period based on the result of the AE performed in step S313 in step S318 in FIG. 4 to expose the first image sensor. Start.
  • step S319 the second control circuit 121 sets a frame rate to be 1000 fps or a predetermined multiple (for example, 50 times) of the frame rate set for the first image sensor 115, Exposure of the image sensor 125 is started.
  • the second imaging element 125 reaches the exposure time according to the set frame rate, it outputs the obtained analog image signal to the second A / D conversion circuit 126 and immediately starts the next exposure. repeat. That is, during the single exposure period of the first imaging device 115, the exposure of the second imaging device 125 is repeatedly performed at a frame rate faster than that.
  • FIG. 6 is a diagram for explaining the operation of the first image sensor 115, the second image sensor 125, and the timing generation circuit 200.
  • the first imaging device 115 in the first imaging system 110 immediately starts exposure.
  • the second imaging device 125 in the second imaging system 120 starts imaging of an image at a high frame rate.
  • the second image pickup device 125 continuously picks up an image with a short exposure time at time T1, time T2, time T3.
  • step S320 the motion vector calculation circuit 201 in the timing generation circuit 200 calculates the reliability of the motion vector and the motion vector between the frames of the image data obtained by the second imaging element 125.
  • the motion vector is a vector representing the amount of movement of the subject in the horizontal direction and the amount of movement in the vertical direction between frames. The method of calculating the motion vector will be described in detail with reference to FIGS. 7 to 9.
  • FIG. 7 is a flowchart showing the process of calculating the reliability of the motion vector and the motion vector by the motion vector calculation circuit 201.
  • FIG. 8 is a diagram for explaining a method of calculating a motion vector
  • FIG. 8A is a diagram showing image data of the M-th frame
  • FIG. 8B is a diagram showing image data of the M + 1-th frame
  • FIG. 8C is a diagram showing a motion vector between the Mth frame and the (M + 1) th frame.
  • the motion vectors in FIG. 8C describe only representative motion vectors for simplification.
  • M is a positive integer.
  • FIG. 9 is a diagram for explaining a method of calculating a motion vector by the block matching method.
  • a block matching method is described as an example of a motion vector calculation method.
  • the motion vector calculation method is not limited to this example, and may be, for example, a gradient method.
  • step 701 of FIG. 7 image data of two temporally adjacent frames is input to the motion vector calculation circuit 201. Then, the motion vector calculation circuit 201 sets the Mth frame as a reference frame, and sets the M + 1th frame as a reference frame.
  • step 702 of FIG. 7 the motion vector calculation circuit 201 arranges a reference block 902 of N ⁇ N pixels in the reference frame 901 as shown in FIG. 9.
  • step 703 of FIG. 7 the motion vector calculation circuit 201 calculates (N + n) ⁇ (N + n) pixels around the coordinate 904 of the center coordinate of the reference block 902 of the reference frame 901 as shown in FIG. Are set as a search range 905.
  • the motion vector calculation circuit 201 performs correlation calculation between the reference block 902 of the reference frame 901 and the reference block 906 of N ⁇ N pixels of different coordinates present in the search range 905 of the reference frame 903. And calculate the correlation value.
  • the correlation value is calculated based on the sum of absolute differences between frames for pixels of the reference block 902 and the reference block 906. That is, the coordinate with the smallest value of the sum of absolute differences between frames is the coordinate with the highest correlation value.
  • the method of calculating the correlation value is not limited to the method of obtaining the sum of absolute differences between frames, and may be a method of calculating a correlation value based on, for example, the sum of squared differences between frames or a normal cross correlation value. In the example of FIG.
  • the resolution in units of subpixels is 0.5 pixels.
  • (1) is an equation relating to the x component, the y component can be calculated similarly.
  • the motion vector calculation circuit 201 calculates a motion vector based on the coordinates of the reference block indicating the highest correlation value obtained at step 704, and the correlation value of the motion vector is used as the reliability of the motion vector.
  • a motion vector is obtained based on the same coordinates 904 corresponding to the center coordinates of the reference block 902 of the reference frame 901 and the center coordinates of the reference block 906 in the search range 905 of the reference frame 903. That is, the inter-coordinate distance and direction from the same coordinate 904 to the center coordinate of the reference block 906 are determined as a motion vector.
  • a correlation value that is the result of correlation calculation with the reference block 906 at the time of motion vector calculation is obtained as the reliability of the motion vector.
  • the reliability of the motion vector is higher as the correlation value between the reference block and the reference block is higher.
  • step 706 of FIG. 7 the motion vector calculation circuit 201 determines whether or not motion vectors have been calculated for all pixels of the reference frame 701. If the motion vector calculation circuit 201 determines in step 706 that motion vectors of all pixels have not been calculated, the process returns to step 702. Then, in step 702, the reference block 902 of N ⁇ N pixels is arranged in the reference frame 701 described above centering on the pixels for which the motion vector is not calculated, and the processing from step 703 to step 705 is performed as described above. . That is, the motion vector calculation circuit 201 calculates the motion vectors of all the pixels of the reference frame 901 by repeating the processing from step 702 to step 705 while moving the reference block 902 in FIG. 9. An example of this motion vector is shown in FIG.
  • FIG. 8C The example of FIG. 8 shows an example in which a person moves from left to right between the Mth frame of FIG. 8A and the (M + 1) th frame of FIG. 8B.
  • a representative example of the motion vector when the subject is moving as described above is shown in FIG. 8C.
  • the subject position present in the Mth frame is the start point of the motion vector
  • the subject position in the M + 1th frame corresponding thereto is the end point of the motion vector.
  • the motion vector calculation circuit 201 may calculate the motion vector at predetermined pixels smaller than all the pixels, instead of calculating motion vectors of all the pixels.
  • the moving speed of the subject may change. Therefore, the magnitude of the motion vector between two temporally adjacent frames is converted to the movement velocity on the object plane, and the focal point of the second optical system during the exposure of the first imaging device 115 by the above-described calculation method. It is preferable that the distance, the imaging magnification, and the angle of view be appropriately changed.
  • the motion vector calculation circuit 201 calculates the motion vector between the frames of the image data obtained at time T0 and time T1 and the reliability of the motion vector at time T1 based on the process of the flowchart of FIG. 7 described above. Thereafter, at time T2, motion vectors between the frames of the image data obtained at time T1 and time T2 and reliability of the motion vector are calculated. After time T3, the same process is repeated to calculate the reliability of the motion vector and the motion vector between the frames of the image data obtained from the second imaging element 125.
  • step S321 the accumulated amount calculation circuit 202 tracks the motion vector calculated in step 320 in a plurality of frames, and calculates the accumulated amount of motion vector. Then, the representative accumulation amount calculation circuit 203 determines a representative accumulation amount representing the entire frame based on the calculated accumulation amount of the motion vector.
  • FIG. 11 is a diagram showing motion vectors among a plurality of frames calculated in step S320.
  • the calculation method of the accumulation amount of the motion vector in the period from time T0 to time T3 is demonstrated for the simplification of description, the accumulation amount of motion vector is calculated by the same method also about the period after it I assume.
  • a motion vector 1101 indicates the motion vector calculated between the frame at time T0 and the frame at time T1 in FIG.
  • the motion vector 1102 indicates the motion vector calculated between the frame at time T1 and the frame at time T2 in FIG.
  • the motion vector 1103 indicates the motion vector calculated between the frame at time T2 and the frame at time T3 in FIG.
  • the accumulated amount calculation circuit 202 selects a motion vector having an end point coordinate Q of the motion vector 1101 calculated between frames at time T0 and time T1 as a start point coordinate from among the motion vectors calculated between frames at time T1 and time T2. Search for. Then, the motion vector 1102 that satisfies the condition is linked with the motion vector 1101. In addition, the accumulated amount calculation circuit 202 calculates a motion vector having an end point coordinate R of the motion vector 1102 calculated between the frames at time 1 and time T2 as a start point coordinate, of the motion vector calculated between the frames at time T2 and time T3. Search from among Then, the motion vector 1103 that satisfies the condition is linked with the motion vector 1102. The motion vectors are linked by the same process in the subsequent periods.
  • tracking motion vectors of all pixels are calculated.
  • the calculated tracking motion vector indicates that the subject present at coordinate P at time T0 moves to coordinate Q at time T1, moves to coordinate R at time T2, and moves to coordinate S at time T3.
  • the accumulation amount calculation circuit 202 calculates the length of the tracking motion vector as the accumulation amount (VecLen) of the motion vector as shown in Expression (5).
  • VecLen VecLen1 + VecLen2 + VecLen3 (5)
  • VecLen1 indicates the length of the motion vector of the motion vector 1101 calculated between the frames at time T0 and time T1.
  • VecLen2 indicates the length of the motion vector of the motion vector 1102 calculated between the frames at time T1 and time T2.
  • VecLen3 indicates the length of the motion vector of the motion vector 1103 calculated between the frames at time T2 and time T3.
  • the accumulation amount calculation circuit 202 calculates the sum of the lengths of the motion vectors constituting the tracking motion vector as the accumulation amount of the motion vector based on Expression (5).
  • the processing for calculating the accumulated amount of motion vectors as described above is performed on the tracking motion vectors of all pixels to calculate the accumulated amounts of motion vectors of all pixels.
  • the accumulated amount calculation circuit 202 may exclude the motion vector whose reliability of the motion vector is lower than a predetermined value from the summation processing of the length of the motion vector according to Expression (5). In addition, the accumulation amount calculation circuit 202 excludes a motion vector whose reliability of the motion vector is lower than a predetermined value and a motion vector after that temporally from the summation processing of the length of the motion vector according to equation (5). It is good. As a result, it is possible to calculate the accumulated amount of motion vector using only the motion vector having a high degree of reliability of the motion vector. Alternatively, each motion vector may be separated into a component in the X direction and a component in the Y direction, and the sum of the lengths of the motion vectors may be calculated for each direction.
  • the representative accumulation amount calculation circuit 203 selects the maximum value among the accumulation amounts of motion vectors obtained from all the pixels in the frame, and determines the accumulation amount of the selected maximum motion vector as a representative accumulation amount. By performing such processing for each frame, as shown in FIG. 6, one representative cumulative amount is calculated for each frame.
  • the representative accumulation amount by the representative accumulation amount calculation circuit 203 is not limited to the one based on the maximum value among the accumulation amounts of the motion vectors of all the pixels in the frame, and the accumulation of motion vectors of all the pixels in the frame It may be an average value or median value.
  • the representative accumulated amount in each direction may be determined.
  • step S322 the timing determination circuit 204 determines whether the representative accumulated amount is equal to or greater than the threshold, and if not, the process proceeds to step S323.
  • step S323 the first control circuit 111 of the first imaging system 110 determines whether the exposure time of the first imaging element 115 has reached the set exposure time based on the AE performed in step S313. If not, the process returns to step S322. If the exposure time of the first imaging element has reached the exposure time set based on the AE performed in step S313, the process proceeds to step S325.
  • step S325 the first control circuit 111 stops the exposure of the first imaging element 115.
  • step S322 the timing determination circuit 204 proceeds to step S324 if the representative accumulated amount is equal to or greater than the threshold.
  • step S324 the timing determination circuit 204 outputs a signal for instructing the first imaging system 110 to finish the exposure. This process is performed as soon as it is determined that the representative accumulated amount is equal to or greater than the threshold. In the example shown in FIG. 6, the representative accumulated amount based on the motion vector calculated between each frame up to time T8 is equal to or greater than the threshold. Therefore, at this time point, the timing determination circuit 204 outputs a signal for instructing the first imaging system 110 to finish the exposure via the second control circuit 121.
  • the representative cumulative amount is determined separately in the X direction and the Y direction, a signal for instructing the end of exposure is output when one of the representative cumulative amounts becomes equal to or greater than the threshold.
  • the process proceeds to step S325, and the first control circuit 111 determines whether the exposure time of the first image sensor 115 has not reached the appropriate time. The exposure of one imaging element 115 is stopped. Then, the first control circuit 111 outputs the analog image signal generated by the first imaging device 115 to the first A / D conversion circuit 116. Then, the digital image data generated by the A / D conversion circuit 116 is subjected to predetermined processing in the first image processing circuit 117 and is output to the image output circuit 118 as image data for recording.
  • the image output circuit 118 writes image data for recording on a recording medium removable from the imaging apparatus 100, or uses the wireless or wired communication function to record image data for recording on an external device such as a smartphone or a server.
  • the first control circuit 111 stops the exposure of the first imaging element 115 at a timing slightly after time T8.
  • the calculation time from the generation of the frame image at time T8 in the second imaging element 125 to the acquisition of the representative accumulated amount, and the signal output from the timing determination circuit 204 are output to the first control circuit 111.
  • the time to reach occurs as a time lag. However, if the threshold is set in consideration of these time lags, the influence of the time lag can be suppressed.
  • step S326 the second control circuit 121 of the second imaging system 120 stops the exposure of the second imaging element 125.
  • step S327 the first control circuit 111 of the first imaging system 110 determines whether the imaging mode is still selected, and if it is still in the imaging mode, the process returns to step S306, and another mode is selected. If it is, the process returns to step S302.
  • the exposure of the first image sensor 115 is ended based on the amount of movement of the subject during the exposure period of the first image sensor 115, an image with little blurring Can be taken.
  • the magnitude of blurring can be adjusted by adjusting the threshold value to be compared with the representative accumulated amount in step S322. For example, by setting this threshold value to a value equivalent to the movement amount without blurring, exposure of the first imaging element 115 can be ended before blurring occurs.
  • the threshold value when the user selects the blur level “standard” in step 302 of FIG. 3 is set to a value corresponding to, for example, three times the diameter of the permissible circle of confusion, an image containing blur corresponding thereto is displayed. It is possible to image. In that case, the amount by which the focal length is moved to the telephoto side also decreases in step 314, and the second imaging system 120 refers to the image with a wider angle of view to calculate the motion vector.
  • the timing determination circuit 204 has described the example in which the exposure end is instructed at the timing when the representative accumulated amount becomes equal to or more than the threshold value, but the present invention is not limited thereto. For example, even if it is expected that the representative accumulated amount will greatly exceed the threshold in the next frame even if the obtained latest representative accumulated amount is not equal to or larger than the threshold, the timing determination circuit 204 The end of exposure may be instructed on the basis of this. If the representative accumulated amount greatly exceeds the threshold value in the next frame, blurring occurs even if the end of exposure is instructed at the timing of the next frame. Therefore, when it is expected that the representative accumulated amount greatly exceeds the threshold in the next frame, the end of exposure is instructed in the current frame.
  • a second threshold value sufficiently larger than the above-described threshold value is set, and whether the predicted value of the representative accumulation amount in the next frame becomes equal to or greater than this second threshold value It may be determined whether or not.
  • the predicted value (VecLen_PRED) of the representative accumulated amount in the next frame may be calculated, for example, based on the accumulated amount of the motion vector obtained by doubling the latest motion vector length as in equation (6).
  • VecLen_PRED VecLen1 + VecLen2 + 2 ⁇ VecLen3 (6)
  • the latest motion vector length is VecLen3 calculated between the frames at time T2 and time T3.
  • the predicted value of the accumulated amount of motion vector to be obtained next is calculated for all pixels, and the maximum value of the frame is set as the representative accumulated amount.
  • the timing determination circuit 204 determines the cumulative amount of each portion of the first imaging device 115.
  • a signal of exposure completion may be output.
  • the entire frame may be divided into divided blocks, and an exposure end signal may be output for each divided block based on the accumulated amount representing the divided blocks.
  • the accumulation amount calculation circuit 202 calculates the sum of the lengths of each of the linked motion vectors as the tracking motion vector length as the accumulation amount of the motion vector. It is not limited to If each motion vector constituting the tracking motion vector as shown in FIG. 9 or a part of each motion vector passes through the same coordinates, the length passing through the same coordinates is the length of the motion vector according to equation (5) It may be excluded from the summation process of Thereby, for example, it is possible to suppress excessive addition of the motion vector length to a subject with a minute periodic motion (repetitive motion) that moves back and forth between adjacent coordinates.
  • the first imaging device based on the focal length of the second imaging system 120, the imaging magnification, and the motion analysis result using the image obtained by changing the angle of view.
  • the timing of the end of exposure of 115 is decided. Therefore, even if the first imaging device 115 and the second imaging device 125 have specifications different in resolution, it is possible to capture an image with less blurring.
  • the movement resolution is increased by moving the focal length of the second optical system 124 to the telephoto side.
  • the focal length of the general lens is moved to the telephoto side, the F value is It gets bigger and the image gets darker.
  • the sensitivity is increased to make the image brighter, noise increases and the motion vector calculation accuracy is degraded. Therefore, according to the magnitude of the noise component of the image obtained by the second imaging element 125, the maximum moving amount of the focal length may be limited.
  • the accumulated amount calculation circuit 202 performs processing for converting the motion vector calculated by the motion vector calculation circuit 201 into a value suitable for the first imaging system 110.
  • the sampling pitch refers to the pixel interval of the image to be referred to when analyzing the motion in the timing generation circuit 200, and referring to the pixel pitch without thinning out the pixel pitch Become.
  • the sampling pitch has a value different from the pixel pitch by performing addition or thinning out at the time of reading out the pixels in the second imaging element 125 or performing interpolation processing between the pixels. Further, even if the number of pixels to be read out is the same, it is also possible to change the substantial sampling pitch by limiting the frequency band of the image data by applying a low pass filter.
  • the configuration of the second imaging element 125 is partially different from that of the first embodiment.
  • surface which compared the structure of the 1st image sensor 115 in this embodiment and the 2nd image sensor 125 is shown to FIG. 12B.
  • the second image sensor 125 has the same horizontal size, horizontal pixel count, and pixel pitch as the first image sensor 115 in order to obtain an image at a high frame rate.
  • the number of pixels to be read is reduced. It is also possible to change the frame rate by changing the number of pixels to be read out.
  • the focal length of the second optical system 124 is variable.
  • the focal length of the second optical system 124 is fixed.
  • the timing of the end of exposure of the first imaging system 110 is determined. Therefore, the motion resolution of the second imaging system 120 needs to be higher than the motion resolution of the first imaging system 110. Therefore, it is desirable that the focal length of the second optical system 124 be fixed at a focal length longer than the maximum focal length of the first optical system 114.
  • FIGS. 13 and 14 are flowcharts of imaging processing in the high-speed imaging mode according to the second embodiment.
  • the same step number as FIG. 3 and FIG. 4 is provided.
  • processing different from that of the first embodiment will be described.
  • the relationship between the imaging apparatus 100 and the subject is the same as in FIG. 5, and the focal length of the second optical system 124 is longer than the focal length of the first optical system 114 of 300 mm. It shall be fixed to 600 mm.
  • step 301 to step S313 of FIG. 13 are the same as step S301 to step S313 of FIG.
  • the second control circuit 121 determines the readout position of the second imaging element 125.
  • the second control circuit 121 sets an area from which a signal is read out in the imaging unit of the second imaging element 125 so that the subject 500 in FIG. 5 is included in the field of view.
  • By changing the reading position it is possible to keep capturing the subject in the field of view even if the subject has moved beyond the vicinity of the optical axis. Further, as in the first embodiment of the present invention, it is also possible to further move the field of view by moving the optical axis or the imaging device.
  • step S315 of FIG. 13 to step S320 of FIG. 14 is the same as step S315 of FIG. 3 to step S320 of FIG.
  • step S1421 of FIG. 14 the cumulative amount calculation circuit 202 performs conversion processing based on the sampling pitch on the motion vector calculated in step S320. The method of this conversion process will be described in detail.
  • the resolution of the movement per unit frame (1 msec) required for the second imaging system 120 is the same as that of the first embodiment, in order to capture an image whose shake is less than the allowable value in the first imaging element 115. It is 0.6 mm.
  • a representative accumulation amount is calculated in step S 321 using the motion vector after this addition, and it is determined in step S 322 whether the representative accumulation amount has become equal to or greater than a threshold.
  • a value of the product of an imaging magnification indicating resolution of motion analysis and a sampling pitch (here, a pixel pitch) is calculated.
  • the focal length of the first optical system 114 is variable, the value of the product of the imaging magnification and the sampling pitch also changes according to the focal length. In that case, the product of the imaging magnification and the sampling pitch in the second imaging system 120 is equal to or less than the minimum value of the product of the imaging magnification and the sampling pitch in the first imaging system 110.
  • the focal length and the like may be designed.
  • step S321 to step S327 of FIG. 14 is the same as the process of step S321 to step S327 of FIG.
  • the moving speed of the subject may change in the middle. Therefore, the sampling pitch for converting the motion vector during exposure of the first image sensor 115 and the readout resolution of the second image sensor 125 are appropriately changed based on the size of the motion vector calculated from the continuous frames. You may
  • the motion vector calculated in the second imaging system 120 is converted along the first imaging system 110 based on the sampling pitch, so that the accurate exposure end timing can be obtained. You can decide. Further, even when the focal length of the optical system of the second imaging system is fixed, the amount of movement of the subject in the image obtained by the first imaging system 110 can be accurately detected.
  • the motion vector is converted along the first imaging system 110, but the second imaging system 120 uses the threshold value to be compared with the representative cumulative amount in step S322. The conversion may be made along the line.
  • the third embodiment is different from the first embodiment in that the timing of the end of exposure is determined based on the result of motion analysis using the difference absolute value between frames, not the motion vector.
  • the second image processing circuit 127 of the second imaging system 120 has a timing generation circuit 1500 instead of the timing generation circuit 200 in FIG.
  • FIG. 15 is a block diagram showing a configuration example of the timing generation circuit 1500 according to the third embodiment.
  • the timing generation circuit 1500 includes an absolute difference value calculation circuit 1501, an accumulated amount calculation circuit 1502, a representative accumulated amount calculation circuit 1503, and a timing determination circuit 1504.
  • FIG. 16 is a flowchart of an imaging process in the high-speed shooting mode according to the third embodiment.
  • FIG. 16 the imaging process in the high-speed shooting mode has been described using FIGS. 3 and 4, but in the third embodiment, the flowchart shown in FIG. 16 is used instead of FIG. 4.
  • the process shown in FIG. 3 is the same as that of the first embodiment, so the description will be omitted.
  • the same step number as FIG. 4 is provided.
  • processing different from that of the first embodiment will be described.
  • the difference absolute value calculation circuit 1501 in the timing generation circuit 1500 calculates the difference absolute value between frames of the image data obtained by the second imaging device 125.
  • the inter-frame difference absolute value is a value obtained by determining for each pixel the difference absolute value of the pixel value at the same coordinate between the frames obtained from the second imaging device 125.
  • FIG. 17 is a diagram for explaining the operation of the first image sensor 115, the second image sensor 125, and the timing generation circuit 1500.
  • the difference absolute value calculation circuit 1501 calculates, for each pixel, the difference absolute value between frames of the image data obtained at time T0 and time T1 at time T1. Thereafter, at time T2, the absolute value of the difference between the frames of the image data obtained at time T1 and time T2 is calculated for each pixel. After time T3, the same process is repeated, and the absolute value of the difference for each pixel between the frames of the image data obtained from the second image sensor 125 is calculated.
  • step S1621 the accumulation amount calculation circuit 1502 accumulates, for a plurality of frames, the difference absolute value for each pixel calculated in step 1620 as in equation (7), and calculates it as the difference absolute value accumulation amount (AD).
  • AD AD1 + AD2 + AD3 (7)
  • AD1 indicates the absolute difference value of one pixel calculated between the frame at time T0 and the frame at time T1.
  • AD2 indicates the difference absolute value of the same one pixel calculated between the frame at time T1 and the frame at time T2.
  • AD3 indicates the difference absolute value of the same one pixel calculated between the frame at time T2 and the frame at time T3.
  • the above-described calculation processing of the inter-frame difference absolute value accumulation amount is performed on all the pixels, and the inter-frame difference absolute value accumulation amount of all the pixels in the frame is calculated.
  • the representative accumulated amount calculation circuit 1503 calculates an accumulated amount representing the entire frame based on the inter-frame difference absolute value accumulated amount calculated for each pixel. Specifically, the representative accumulation amount calculation circuit 1503 selects the maximum value of the difference absolute value accumulation amount of all pixels, and determines the selected maximum difference absolute value accumulation amount as the representative accumulation amount. By performing such processing for each frame, one representative accumulated amount is calculated for each frame as shown in FIG.
  • the representative accumulation amount by the representative accumulation amount calculation circuit 1503 is not limited to the one based on the maximum value among the difference absolute value accumulation amounts of all the pixels in the frame, and the difference absolute value accumulation of all the pixels in the frame It may be an average value or median value.
  • step S1622 the timing determination circuit 1504 determines whether the representative accumulated amount is equal to or greater than the threshold. If the representative accumulated amount is equal to or greater than the threshold, the process proceeds to step S323. If the representative accumulated amount is equal to or greater than the threshold, the process proceeds to step S324.
  • the process after step S324 is the same as the process after step S324 of FIG.
  • the timing determination circuit 1504 transmits a signal for instructing the first imaging system 110 to end the exposure via the second control circuit 121. Output.
  • the first control circuit 111 stops the exposure of the first imaging element 115 even if the exposure time of the first imaging element 115 has not reached the appropriate time. Then, the first control circuit 111 outputs the analog image signal generated by the first imaging device 115 to the first A / D conversion circuit 116.
  • an image with less blurring is captured can do.
  • the amount of computation can be reduced compared to the case of using the motion vector, and effects such as reduction of computation load and time reduction of computation processing It can be expected.
  • a fourth embodiment of the present invention will be described.
  • a plurality of high-speed shooting modes are prepared, and any one of the high-speed shooting modes is set based on the result of analyzing the movement of the subject in advance. It is different from
  • the configuration of the imaging device 100 of the fourth embodiment is the same as that of the first embodiment.
  • the imaging process in the high-speed imaging mode in the imaging device 100 of the fourth embodiment will be described using the flowchart of FIG. 18.
  • Steps in FIG. 18 that perform the same processes as the flowchart in FIG. 3 of the first embodiment are assigned the same step numbers as in FIG.
  • step S306 in FIG. 18 determines in step S306 in FIG. 18 that the high-speed shooting mode is selected as the shooting mode, the process proceeds to step S1801.
  • step S1801 the second control circuit 121 activates the second image sensor 125.
  • the second imaging element 125 is activated after the switch SW1 is turned on.
  • the second imaging is immediately performed when it is determined that the high-speed imaging mode is set.
  • the element 125 is activated.
  • the frame rate of the second imaging element 125 at this time is assumed to be 1000 fps.
  • step S308 the first control circuit 111 drives the first optical system 114 based on the contrast value of the subject obtained from the first image sensor 115 or the output of a distance measuring sensor (not shown) to perform automatic operation. Perform focus control (AF).
  • AF focus control
  • step S309 the first control circuit 111 performs automatic exposure control (AE) for the first image sensor 115 based on the luminance value of the subject obtained from the first image sensor 115.
  • AE automatic exposure control
  • the first control circuit 111 performs high-speed shooting mode determination processing. This high-speed shooting mode determination process will be described with reference to FIG.
  • FIG. 19 is a flowchart showing the high-speed shooting mode determination process performed by the first control circuit 111.
  • step S1901 the first control circuit 111 acquires a noise evaluation value.
  • the first ROM 112 a value obtained by converting the measurement result of noise in the second imaging element 125 into a noise evaluation value is stored in advance for each ISO sensitivity and luminance level. Then, the first control circuit 111 reads the corresponding noise evaluation value from the ISO sensitivity set when the process proceeds to step S1802 and the luminance information of the subject obtained in step S309 in FIG.
  • the noise evaluation value is assumed to be a higher value as the measured noise level is smaller.
  • the first control circuit 111 performs noise based on the value of the variance of the signal level in the light-shielded region of the second imaging element 125 calculated by the second control circuit 121.
  • the evaluation value may be calculated. The smaller the value of the variance of the signal level in the light shielding region of the second imaging element 125, the higher the noise evaluation value.
  • step S1902 the second control circuit 121 counts the number of saturated pixels and black collapsed pixels included in the second image sensor 125, and the first control circuit 111 generates a table of luminance evaluation values corresponding to the count. Get from The smaller the number of saturated pixels and blackened pixels, the higher the luminance evaluation value.
  • the second control circuit 121 uses the second image processing circuit 127 to extract an edge from the image data obtained from the second imaging device 125.
  • the first control circuit 111 determines whether the contrast of the image data is high and does not include aliasing based on the extraction result of the edge. Specifically, the second image processing circuit 127 extracts an edge component using, for example, a Sobel filter or a high pass filter.
  • the second image processing circuit 127 obtains the value of the variance of the extracted edge component, and the first control circuit 111 detects the value of the variance from the second image sensor 125 if the value of the variance is higher than a predetermined reference value. It is determined that the obtained image data contains high contrast.
  • the second image processing circuit 127 compares the extracted edge components between the areas, and the first control circuit 111 repeats the pattern in the image data when there are a plurality of similar edge components. Judge that it is likely to exist.
  • step S1904 if the noise evaluation value is larger than the reference value for the noise evaluation value, the first control circuit 111 proceeds to step S1905, otherwise proceeds to step S1911. If the noise evaluation value is small, that is, if the noise level is large, the detection accuracy of the motion amount using the second imaging element 125 is not sufficient, so in step S1911 to select the high-speed shooting mode 3 described later. move on.
  • step S1905 the first control circuit 111 proceeds to step S1906 if the luminance evaluation value is larger than the reference value for the luminance evaluation value, and proceeds to step S1911 if not. If the luminance evaluation value is small, that is, if the number of saturated pixels and blackening pixels is large, the detection accuracy of the motion amount using the second imaging element 125 is not sufficient, so high-speed shooting mode 3 described later is selected. To do so, the process proceeds to step S1911.
  • step S1906 if the contrast of the image data obtained from the second imaging element 125 is high and the repeated pattern is not included, the first control circuit 111 proceeds to step S1907. If the contrast of the image data is low and / or at least one of the inclusion of the repetitive pattern is satisfied, the detection accuracy of the motion amount using the second imaging element 125 is not sufficient. Proceed to step S1911 to select.
  • step S1907 the second control circuit 121 uses the motion vector calculation circuit 201 of the second image processing circuit 127 to generate a motion vector and motion vector between frames of the image data obtained by the second image sensor 125. Calculate the reliability of
  • step S1908 the first control circuit 111 receives the motion vector and the reliability of the motion vector calculated in step S1907 from the second control circuit 121, and the motion amount indicated by the highly reliable motion vector is less than the threshold. Determine if This process will be described in detail.
  • FIG. 12C shows a table in which the configurations of the first imaging device 115 and the second imaging device 125 in the present embodiment are compared.
  • the horizontal size of the imaging unit is 36 mm for the first imaging device 115, whereas it is 3.6 mm for the second imaging device 125.
  • the number of horizontal pixels of the imaging unit is 7,200 for the first imaging sensor 115, while the number of horizontal pixels for the second imaging sensor 125 is 720.
  • the pixel pitch is 5 ⁇ m for both the first image sensor 115 and the second image sensor 125.
  • the frame rate is 20 fps for the first image sensor 115, and 1000 fps for the second image sensor 125.
  • the diameter of the permissible circle of confusion is 20 ⁇ m, which corresponds to the pitch of four pixels of the first image sensor 115.
  • the value of the threshold to be compared with the amount of motion in step S1908 is determined by the ratio of the resolutions of the first imaging device 115 and the second imaging device 125.
  • the process proceeds to step S1910.
  • step S1909 the first control circuit 111 selects the high-speed shooting mode 1 described later, and ends the flowchart illustrated in FIG.
  • step S1910 the first control circuit 111 selects the high-speed shooting mode 2 described later, and ends the flowchart shown in FIG.
  • step S1911 the first control circuit 111 selects the high-speed shooting mode 3 described later, and ends the flowchart illustrated in FIG.
  • step S1803 the first control circuit 111 determines whether the switch SW1 in the shutter switch is turned on by half-pressing the shutter switch included in the operation member 130, until the switch is turned on. Steps S308 to S1802 are repeated.
  • the first control circuit 111 determines in step S1804 whether the high-speed shooting mode 1 is selected. When the high-speed shooting mode 1 is selected, the first control circuit 111 performs an imaging process of the high-speed shooting mode 1 shown in FIG.
  • FIG. 20 is a flowchart showing an imaging process of the high-speed shooting mode 1 performed by the first control circuit 111. Steps S312 to S327 in FIG. 20 are the same processes as steps S312 to S327 in FIG. That is, in the high-speed shooting mode 1, similarly to the first embodiment, the process of stopping the exposure of the first imaging element 115 is performed according to the exposure end timing signal transmitted from the second imaging system 120.
  • the first control circuit 111 determines whether the high-speed shooting mode 2 is selected in step S1805.
  • the first control circuit 111 performs imaging processing in high-speed shooting mode 2 shown in FIG. 21 when high-speed shooting mode 2 is selected, and when high-speed shooting mode 2 is not selected, high-speed shooting shown in FIG. The imaging process of mode 3 is performed.
  • FIG. 21 is a flowchart showing an imaging process of the high-speed shooting mode 2 performed by the first control circuit 111.
  • the exposure time of the first image sensor 115 is calculated based on the motion vector calculated in step S1907, and imaging with the first image sensor 115 is performed according to this exposure time. I do.
  • step S ⁇ b> 2101 the first control circuit 111 stops the driving of the second imaging element 125 via the second control circuit 121.
  • step S2103 the first control circuit 111 drives the first optical system 114 based on the contrast value of the subject obtained from the first image sensor 115 or the output of a distance measuring sensor (not shown) to perform AF. I do.
  • step S 2104 the first control circuit 111 performs AE for the first imaging device 115 based on the luminance value of the subject obtained from the first imaging device 115.
  • step S2105 the first control circuit 111 determines whether SW2 in the shutter switch is turned on by fully pressing the shutter switch included in the operation member 130, and steps S2103 and S2104 are performed until the switch is turned on. repeat.
  • the exposure time is calculated in step S2102 before it is determined whether the SW2 is turned on. However, the exposure time may be calculated immediately after it is determined that the SW2 is turned on. .
  • step S2105 When SW2 is turned on in step S2105, the first control circuit 111 starts exposure of the first image sensor 115 in step S2106.
  • step S2107 the first control circuit 111 stands by until the exposure time of the first image sensor 115 reaches the value set in step S2102, and if it has reached, the process advances to step S2108.
  • step S2108 the first control circuit 111 stops the exposure of the first image sensor 115.
  • step S2109 the first control circuit 111 determines whether the shooting mode is still selected. If the shooting mode remains, the process returns to step S306. If another mode is selected, the process returns to step S302. .
  • FIG. 22 is a flowchart showing an imaging process of the high-speed shooting mode 3 performed by the first control circuit 111.
  • the high-speed shooting mode 3 since the second image sensor 125 can not detect the motion vector with high accuracy, the first image sensor according to the exposure time set based on the result of AE as in the general shooting processing An image is taken at 115.
  • step S ⁇ b> 2101 the first control circuit 111 stops the driving of the second imaging element 125 via the second control circuit 121.
  • step S2202 the first control circuit 111 drives the first optical system 114 based on the contrast value of the subject obtained from the first imaging device 115 or the output of a distance measuring sensor (not shown) to perform AF. I do.
  • step S 2203 the first control circuit 111 performs AE for the first imaging device 115 based on the luminance value of the subject obtained from the first imaging device 115.
  • step S2204 the first control circuit 111 determines whether or not S21 in the shutter switch is turned on by fully pressing the shutter switch included in the operation member 130, and continues steps S2202 and S2203 until it is turned on. repeat.
  • step S2204 When SW2 is turned on in step S2204, the first control circuit 111 starts exposure of the first image sensor 115 in step S2205.
  • step S2206 the first control circuit 111 stands by until the exposure time of the first image sensor 115 reaches the exposure time obtained from the result of AE in step S2203, and when it reaches, the process advances to step S2207. Since the high-speed shooting mode is selected as the exposure time at this time, it is desirable to use a program chart in which it is prioritized that the exposure time (shutter speed) is shorter than the ISO sensitivity and the aperture value.
  • step S2207 the first control circuit 111 stops the exposure of the first image sensor 115.
  • step S2208 the first control circuit 111 determines whether the shooting mode is still selected. If the shooting mode remains, the process returns to step S306. If another mode is selected, the process returns to step S302. .
  • the exposure of the first imaging element 115 by stopping the exposure of the first imaging element 115 according to the exposure end timing signal transmitted from the second imaging system 120, image data with reduced blurring can be obtained. If it is possible, the imaging process in the high-speed imaging mode 1 is performed. On the other hand, if the movement of the subject is fast and it is not possible to obtain image data with reduced blur even using the second imaging system 120, the exposure of the first imaging element 115 is stopped according to a predetermined exposure time. . At this time, if the moving speed of the subject is known using the second imaging system 120, the imaging process in the high-speed shooting mode 2 is performed to determine the exposure time of the first imaging element 115 based on this speed. .
  • high-speed shooting mode 1 may be selected, and it may be configured to switch to high-speed shooting mode 2 or high-speed shooting mode 3 when it is determined that the subject's movement is fast or the subject's movement can not be accurately detected. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、ぶれの少ない画像を撮像することができる撮像装置を提供する。この撮像装置は、第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、複数のフレームの画像データにおける被写体の動き量を算出し、その結果に基づいて、第一の撮像手段による第一のフレームの画像データのための露光を制御する。

Description

撮像装置、撮像装置の制御方法、および、プログラム
　本発明は、ぶれを抑制した画像を撮像するための技術に関するものである。
　近年、スマートフォンに搭載されたカメラやデジタルカメラなどの撮像装置において、シャッタスピードを優先する撮影モードを搭載するものが知られている。この撮影モードは、撮像者が所望のシャッタスピードを設定し、絞り値やＩＳＯ感度といったシャッタスピード以外の露出設定値を撮像装置が自動で設定する撮影モードである。撮像者は、この撮影モードを用いることにより、好みのシャッタスピードで撮像することができる。例えば、露光時間の短いシャッタスピードを設定することで、滝の水しぶきやレーシングカーといった動きの速い被写体に対しても、被写体ぶれが少ない画像を撮像することができる。特開２００６－１９７１９２号公報には、静止画の撮像前に撮像した画像から被写体の動き量を検出し、その検出結果に基づいて、シャッタスピードを決定する撮像装置が開示されている。
　被写体ぶれが少ない画像を撮像するためには、露光時間の短い高速のシャッタスピードにて撮像する必要がある。しかしながら、撮像前に高速なシャッタスピードを設定して撮像したとしても、被写体がぶれた画像が撮像されてしまうことがある。
　例えば、撮像者あるいは撮像装置は、撮像前に移動体の動く速さを予測し、被写体のぶれが少なくなると予想されるシャッタスピードを設定して撮像する。ところが、記録用の画像の撮像時に、予想外に被写体の動きが速くなってしまうと、撮像前に設定したシャッタスピードで撮像を行ったとしても、被写体がぶれて撮像されてしまうことがある。
　本発明の一つの側面は、撮像装置であって、第一の撮像手段と、第二の撮像手段と、前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を制御する制御手段を、
　有することを特徴とするものである。
　本発明の別の一つの側面は、第一の撮像手段を有する外部の撮像装置に着脱可能な撮像装置であって、第二の撮像手段と、前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を制御するための信号を出力する制御手段を、有することを特徴とするものである。
本発明の第一の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の第一の実施形態に係る撮像装置の一例としてのスマートフォンを示す図である。 本発明の第一の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 撮像装置と被写体の位置関係を説明するための図である。 本発明の第一の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の第一の実施形態の動きベクトル算出回路による動きベクトルおよび動きベクトルの信頼度の算出処理のフローチャートである。 Ｍ番目フレームの画像データを示す図である。 Ｍ＋１番目フレームの画像データを示す図である。 Ｍ番目フレームとＭ＋１番目フレームの間における動きベクトルを示す図である。 ブロックマッチング法による動きベクトルの算出方法を説明するための図である。 ３点内挿の計算方法を説明するための図である。 複数のフレーム間の動きベクトルを示す図である。 本発明の第一の実施形態における第一の撮像素子と第二の撮像素子の構成を比較した表である。 本発明の第二の実施形態における第一の撮像素子と第二の撮像素子の構成を比較した表である。 本発明の第四の実施形態における第一の撮像素子と第二の撮像素子の構成を比較した表である。 本発明の第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第三の実施形態に係るタイミング生成回路の構成例を示すブロック図である。 本発明の第三の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第一の実施形態の第一の撮像素子、第二の撮像素子、および、タイミング生成回路による動作を説明するための図である。 本発明の第四の実施形態の高速撮影モードにおける撮像処理のフローチャートである。 本発明の第四の実施形態の高速撮影モードの判定処理を示すフローチャートである。 本発明の第四の実施形態の高速撮影モード１の撮像処理を示すフローチャートである。 本発明の第四の実施形態の高速撮影モード２の撮像処理を示すフローチャートである。 本発明の第四の実施形態の高速撮影モード３の撮像処理を示すフローチャートである。
　以下、本発明の実施形態について、添付図面を用いて詳細に説明する。ここでは、本発明の実施形態に係る撮像装置として、所謂、デジタルカメラを取り上げることとするが、本発明はこれに限定されるものではない。撮像機能を有する他の装置、例えば、デジタルビデオカメラ、携帯電話、スマートフォン、その他の携帯型電子機器等として実施されても良い。
　（第一の実施形態）
　本発明の第一の実施形態では、露光中の期間における動きベクトルを用いた動き解析結果に基づき、露光終了のタイミングを決めることにより、ぶれの少ない画像を撮像する撮像装置の説明を行う。以下、本発明の第一の実施形態について説明する。
　図１Ａは、本発明の第一の実施形態に係る撮像装置１００の構成例を示すブロック図である。撮像装置１００は、第一の撮像システム１１０、第二の撮像システム１２０、および、操作部材１３０より構成される。
　まず、第一の撮像システム１１０について説明する。第一の制御回路１１１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第一の制御回路１１１は、第一の撮像システム１１０が備える各ブロックの動作プログラムを後述の第一のＲＯＭ１１２より読み出し、後述の第一のＲＡＭ１１３に展開して実行することにより第一の撮像システム１１０が備える各ブロックの動作を制御する。また、第一の制御回路１１１は、第一の撮像システム１１０および第二の撮像システム１２０の全体の動作を統括し、制御する。第一のＲＯＭ１１２は、電気的に消去および記録が可能な不揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第一のＲＡＭ１１３は、書き換え可能な揮発性メモリであり、第一の撮像システム１１０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
　第一の光学系１１４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第一の撮像素子１１５に結像する。第一の撮像素子１１５は、例えば複数色のカラーフィルタを備えたＣＣＤやＣＭＯＳセンサ等で構成されている。第一の撮像素子１１５は、第一の光学系１１４により第一の撮像素子１１５に結像された光学像を光電変換し、得られたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。また、第一の撮像素子１１５は、操作部材１３０に含まれるシャッタボタンが全押しされたタイミングに基づき露光を開始し、後述の露光終了のタイミング生成回路２００より出力された露光終了のタイミングを指示する信号に基づき露光を終了する。第一のＡ／Ｄ変換回路１１６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像データを第一のＲＡＭ１１３に出力する。
　第一の画像処理回路１１７は、第一のＲＡＭ１１３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ノイズ補正、ガンマ処理、輝度／色差信号への変換、および、収差補正など、様々な画像処理を適用する。画像出力回路１１８は、第一の画像処理回路１１７で処理された画像データを、第一のＲＡＭ１１３を介して受け取り、外部装置に出力するための回路である。具体的には、撮像装置１００に着脱可能な記録メディアに対して画像データの読み出しや書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどと画像の送受信を行ったりする。表示装置１１９は、ＬＣＤや有機ＥＬディスプレイ等の表示デバイスであり、第一のＲＡＭ１１３に記録した画像を表示する。
　次に、第二の撮像システム１２０について説明する。第二の制御回路１２１は、例えばＣＰＵやＭＰＵなどのプロセッサである。第二の制御回路１２１は、第二の撮像システム１２０が備える各ブロックの動作プログラムを後述の第二のＲＯＭ１２２より読み出し、後述の第二のＲＡＭ１２３に展開して実行することにより第二の撮像システム１２０が備える各ブロックの動作を制御する。第二のＲＯＭ１２２は、電気的に消去および記録が可能な不揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。第二のＲＡＭ１２３は、書き換え可能な揮発性メモリであり、第二の撮像システム１２０が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
　第二の光学系１２４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の第二の撮像素子１２５に結像する。第二の撮像素子１２５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、第二の光学系１２４により第二の撮像素子１２５に結像された光学像を光電変換し、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力する。第二の撮像素子１２５は、動きやぶれを検出するために用いる素子であるため、必ずしも複数色のカラーフィルタを備えている必要はなく、単色（ホワイト）のフィルタや赤外フィルタを備えた構成としてもよい。第二のＡ／Ｄ変換回路１２６は、入力されたアナログ画像信号にデジタル画像信号に変換し、得られたデジタル画像データを第二のＲＡＭ１２３に出力する。
　第二の画像処理回路１２７は、第二のＲＡＭ１２３に記憶されている画像データに対して、簡易的なノイズ補正やガンマ処理など、様々な画像処理を適用する。第二の撮像素子１２５が複数色のカラーフィルタを備えているのであれば、色補間、あるいは輝度信号への変換処理も行う。また、第二の画像処理回路１２７は、タイミング生成回路２００を具備しており、第二のＲＡＭ１２３に記憶されている画像データを用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを指示する信号を生成する。なお、露光終了のタイミングを指示する信号は、第二の制御回路１２１を介して第一の撮像システム１１０に出力される。第一の撮像システム１１０ではこの信号を受け取ると、第一の制御回路１１１が第一の撮像素子１１５の露光を終了させるよう制御する。
　操作部材１３０は、ユーザからの指示を受け付ける操作部材であり、シャッタボタンやダイヤルキーを含む。また、表示装置１１９がタッチパネル機能を備えるようにしてもよい。ユーザがこれらの操作部材を操作することで生成される信号は、第一の撮像システム１１０と第二の撮像システム１２０の駆動制御に反映される。
　なお、ここでは第一の撮像システム１１０と第二の撮像システム１２０が、撮像装置１００として一体的に構成されている例を上げて説明を行ったが、これに限られるものではない。例えば、第一の撮像システム１１０と操作部材１３０がカメラ本体であり、第二の撮像システム１２０は、カメラ本体と着脱可能な撮像装置としてもよい。つまり、第二の撮像システム１２０は、外部の撮像装置に着脱可能な撮像装置であってもよい。また、第一の撮像システム１１０が一眼レフカメラであるとするならば、第一の光学系１１４を含む交換レンズ装置は、第一の撮像素子１１５乃至表示装置１１９、および、操作部材１３０を含むカメラ本体に対して着脱可能な構成となる。図１Ｂは、撮像装置１００の一例としてのスマートフォン（あるいはタブレット端末）を示す図である。スマートフォンの前面には、表示装置１１９と操作部材１３０を兼ねるタッチパネルが設けられ、スマートフォンの背面には、第一の撮像システム１１０の第一の光学系１１４と、第二の撮像システム１２０の第二の光学系１２４が配置されている。このようなスマートフォンにおいても、本発明を実施することができる。
　また、第二の制御回路１２１の機能を第一の制御回路１１１が兼用するようにすれば、第二の制御回路１２１を省くことも可能である。また、第二の撮像システム１２０は第二の光学系１２４、第二の撮像素子１２５、第二のＡ／Ｄ変換回路１２６、および、第二のＲＡＭ１２３のみを有し、他の構成要素を第一の撮像システム１１０が兼用するようにしてもよい。こうすることで、第二の撮像システム１２０を別のカメラ装置とした場合に、その構成を簡素化することが可能となる。
　ここで、第一の撮像素子１１５が記録用の画像を生成することを目的とするのに対して、第二の撮像素子１２５は素早く移動する被写体の動きを検出することを目的としており、必要とされるフレームレートが互いに異なる。図１２Ａに、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。本実施形態では、第一の撮像素子１１５のフレームレートが２０ｆｐｓ（フレーム／秒）であるのに対し、第二の撮像素子１２５のフレームレートは１０００ｆｐｓであるものとする。
　そのため、第二の撮像素子１２５は、第一の撮像素子１１５よりも、より短い露光時間となるシャッタスピードを設定することができる。そして、このシャッタスピードを実現可能とするため、第二の撮像素子１２５は第一の撮像素子１１５よりも感度を高くする必要がある。そこで、第二の撮像素子１２５は、第一の撮像素子１１５に対して、画素数を減らす代わりに、画素ピッチが大きくなるように構成されている。具体的には、図１２Ａに示すように、撮像部の水平サイズは第一の撮像素子１１５が３６ｍｍであるのに対して、第二の撮像素子１２５は４ｍｍである。水平画素数は第一の撮像素子１１５が６４００画素であるのに対して、第二の撮像素子１２５は６４０画素である。画素ピッチは第一の撮像素子１１５が５．６２μｍであるのに対して、第二の撮像素子１２５は６．２５μｍである。
　次に、第二の撮像システム１２０の第二の画像処理回路１２７が具備する、タイミング生成回路２００の構成について図２を用いて説明する。このタイミング生成回路２００は、第二の撮像素子１２５が高速のフレームレートで撮像して第二のＲＡＭ１２３に記憶した画像データの動きベクトルを検出することで、動きの解析を行う。この画像データは、第二の撮像素子１２５が複数色のカラーフィルタを備えた構成であるならば、色補間や輝度信号への変換処理が先に行われており、各画素が同じ成分の信号を備えているものとする。そして、この動きの解析結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを決定し、第一の撮像素子１１５の露光を終了させるための信号を、第一の撮像システム１１０に出力する。
　図２は、第一の実施形態に係るタイミング生成回路２００の構成例を示すブロック図である。図２において、タイミング生成回路２００は、動きベクトル算出回路２０１、累積量算出回路２０２、代表累積量算出回路２０３およびタイミング決定回路２０４より構成する。
　次に、本発明の第一の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図３および図４のフローチャートを用いて説明する。図３および図４は、第一の実施形態の高速撮影モードにおける撮像処理のフローチャートである。図３のフローチャートは撮像装置１００の電源がオンになると開始される。
　ステップＳ３０１において、第一の制御回路１１１は撮影モードが設定されているかを判定し、設定されていなければステップＳ３０２に進み、設定されていればステップＳ３０５に進む。
　ステップＳ３０２において、第一の制御回路１１１はぶれレベルの設定メニューが選択されているかを判定し、他の処理が選択されていればステップＳ３０３に進み、ステップＳ３０３において他の処理を行う。第一の制御回路１１１はぶれレベルの設定メニューが選択されていれば、ステップＳ３０４に進む。
　ステップＳ３０４において、第一の制御回路１１１は表示装置１１９にぶれレベル設定のための画面の表示し、ユーザによる操作部材１３０の操作結果に応じて、ぶれのレベルを設定する。例えば、第一の表示装置１１９にぶれレベルが「標準」から「低」に向けて段階的なレベルが表示され、ユーザが選択できるようになっている。ユーザが「低」に近い段階のぶれレベルを選択するほど、撮像した画像に含まれるぶれが小さくなるように、後述する閾値が設定される。本実施形態では、ユーザが最もぶれが小さくなるぶれレベル「低」を選択したものとして説明を行う。
　ぶれレベルが選択されると、第一の制御回路１１１は、第一の撮像システム１１０におけるぶれ許容値を決定し、第二の制御回路１２１は、このぶれ許容値に基づいて後述のステップＳ３２２で用いる閾値を設定する。ぶれレベル「低」の場合、ぶれ許容値は許容錯乱円径に設定されるものとする。ここで許容錯乱円径とは、明視距離２５０ｍｍで写真を観察するときに、視力１．０の観察者が解像可能な限界値を表し、３６×２４ｍｍの撮像素子上では約２０μｍになる。本発明の第一の実施形態では第一の撮像素子１１５の４画素分のピッチ２２．４８μｍ（５．６２×４）を許容錯乱円径とする。ぶれレベルおよび閾値の設定を終えると、ステップＳ３０１に戻る。
　ステップＳ３０５において、第一の制御回路１１１は第一の撮像素子１１５を起動する。
　ステップＳ３０６において、第一の制御回路１１１は撮影モードとして高速撮影モードが選択されているかを判定し、選択されていなければステップＳ３０７に進み、ステップＳ３０７においてその他の撮影モードの処理を行う。第一の制御回路１１１は、高速撮影モードが選択されていればステップＳ３０８に進む。
　ステップＳ３０８において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体のコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動して自動フォーカス制御（ＡＦ）を行う。
　ステップＳ３０９において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のための自動露出制御（ＡＥ）を行う。
　ステップＳ３１０において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが半押しされることによって、シャッタスイッチ内のＳＷ１がオンになったかを判定し、オンになるまでステップＳ３０８およびＳ３０９を繰り返す。
　ステップＳ３１０においてＳＷ１がオンになると、ステップＳ３１１において、第二の制御回路１２１は第二の撮像素子１２５を起動する。
　ステップＳ３１２において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して、第一の光学系１１４を用いたＡＦを行う。
　ステップＳ３１３において、第一の制御回路１１１は、ＳＷ１がオンになった際に選択された主被写体に対して第一の撮像素子１１５のためのＡＥを行う。
　ステップＳ３１４において、第二の制御回路１２１は、第一の制御回路１１１から第一の光学系１１４のズーム情報を受信し、第二の光学系１２４のズーム状態を制御する。この第二の光学系１２４のズーム状態を制御について、図５を用いて説明する。
　図５は、ＳＷ１がオンされたときの撮像装置１００と被写体５００の位置関係を説明するための図である。図５において、撮像装置１００の第一の光学系１１４は焦点距離３００ｍｍであり、４０ｍ先を０．３ｍ／ｓｅｃ（３００ｍｍ／ｓｅｃ）で移動する被写体５００を撮像しようとしている。なお、被写体５００は第一の光学系１１４の光軸近傍を移動しているものとする。以降の説明において、４０ｍ先を物面と呼ぶ。また、被写体５００の移動速度は、被写体５００までの距離情報と、フレーミング中に得られる画像から後述の動きベクトルを算出することで計測することができる。
　また、本実施形態における第一の光学系１１４の結像倍率は、被写体までの距離÷焦点距離で求められるため、４０×１０００÷３００＝１３３．３となる。
　第一の撮像素子１１５の全体が捉えている物面での被写体の画角は、１３３．３×５．６２×６４００／１０００＝４７９５．７ｍｍである。
　ここで、ＳＷ１がオンになる前は、第一の撮像システム１１０と第二の撮像システム１２０で得られる画像の画角が同じであるとする。このとき、第二の光学系１２４の結像倍率は４７９５．７×１０００÷６．２５÷６４０＝１１９８．９であり、焦点距離は４０×１０００÷１１９８．９＝３３．３ｍｍである。また、このとき第二の撮像素子１２５における単位画素あたりの物面での被写体サイズは、１１９８．９×６．２５÷１０００＝７．５ｍｍである。この値に後述する動きベクトルの算出の分解能を掛け合わせた値が第二の撮像素子１２５で捉えることができる動きの分解能となる。動きベクトルの算出の分解能を０．５画素とすると、動きの分解能は７．５×０．５＝３．７５ｍｍとなる。
　一方、第一の撮像素子１１５における単位画素あたりの物面での被写体サイズは、１３３．３×５．６２÷１０００＝０．７５ｍｍとなり、ぶれ許容値は４画素分なので０．７５×４＝３．０ｍｍとなる。そのため、このままでは第二の撮像素子１２５の動きの分解能よりもぶれ許容値のほうが小さいので、第二の撮像素子１２５を用いたとしても、第一の撮像素子１１５のぶれが許容値以下であるかを判定することができない。
　そこで、第二の制御回路１２１は第二の光学系１２４の焦点距離を望遠側に移動してズームを行い、第二の撮像素子１２５における動き検知の分解能を高くする。
　３００ｍｍ／ｓｅｃで移動する被写体４００がぶれ許容値３．０ｍｍに達する時間は３．０÷３００×１０００＝１０．０ｍｓｅｃである。
　そのため、第二の撮像システム１２０における単位フレーム（１ｍｓｅｃ）あたりに求められる動きの分解能は３．０÷１０．０÷０．５＝０．６ｍｍとなる。
　そこで、第二の制御回路１２１は、第二の光学系１２４の結像倍率を０．６×１０００÷６．２５＝９６．０、焦点距離を４０×１０００÷９６．０＝４１６．６ｍｍに移動すれば、動きの分解能がぶれ許容値よりも細かくなる。こうすることで、第二の撮像素子１２５で得られた画像データを用いて動き検知結果に基づいて、第一の撮像素子１１５の露光終了のタイミングを制御し、被写体４００を許容錯乱円径以下のぶれで撮像することが可能となる。
　なお、第二の光学系１２４を望遠側にズームしているので、第二の撮像素子１２５の画角は第一の撮像素子１１５と異なっており、第二の撮像素子１２５の画角は、９６．０×６．２５×６４０／１０００＝３８４．０ｍｍである。このように焦点距離を大きくし、ズーム位置を望遠側に移動すると画角が狭くなるため、光軸近傍以外に被写体が存在する場合には、被写体が視野外になってしまう可能性がある。その場合、公知の光軸や撮像素子の位置を移動する技術を用いて、光軸から外れた領域に視野を移動することができる構成とするのがよい。
　図３に戻り、ステップＳ３１５において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の光学系１２４を用いたＡＦを行う。
　ステップＳ３１６において、第二の制御回路１２１は、ＳＷ１がオンになった際に選択された主被写体の情報に基づいて第二の撮像素子１１５のためのＡＥを行う。
　ステップＳ３１７において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが全押しされることによって、シャッタスイッチ内のＳＷ２がオンになったかを判定し、オンになるまでステップＳ３１２乃至Ｓ３１６を繰り返す。
　ステップＳ３１７においてＳＷ２がオンになると、図４のステップＳ３１８において、第一の制御回路１１１は、ステップＳ３１３にて行ったＡＥの結果に基づいて露光期間を設定し、第一の撮像素子の露光を開始する。
　ステップＳ３１９において、第二の制御回路１２１は、１０００ｆｐｓ、あるいは、第一の撮像素子１１５に対して設定されたフレームレートの所定倍（例えば、５０倍）となるフレームレートを設定し、第二の撮像素子１２５の露光を開始する。第二の撮像素子１２５は設定したフレームレートに応じた露光時間に達すると、得られたアナログ画像信号を第二のＡ／Ｄ変換回路１２６に出力するとともに、すぐさま次の露光を開始する処理を繰り返す。すなわち、第一の撮像素子１１５の１回の露光期間の間に、それよりも早いフレームレートで、第二の撮像素子１２５の露光が繰り返し行われる。
　ここで、図６は、第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路２００による動作を説明するための図である。図６の時刻Ｔ０において、ユーザによりシャッタボタンが全押しされてＳＷ２がオンになると、すぐさま第一の撮像システム１１０における第一の撮像素子１１５は露光を開始する。さらに、第二の撮像システム１２０における第二の撮像素子１２５は高速フレームレートで画像の撮像を開始する。第二の撮像素子１２５は、ＳＷ２がオンになった時刻Ｔ０の後は、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３・・・において短い露光時間で連続して撮像を行う。
　ステップＳ３２０において、タイミング生成回路２００内の動きベクトル算出回路２０１が、第二の撮像素子１２５で得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。動きベクトルとは、フレーム間における被写体の水平方向の移動量と垂直方向の移動量をベクトルとして表したものである。動きベクトルの算出方法について、図７乃至図９を用いて詳しく説明する。
　図７は、動きベクトル算出回路２０１による動きベクトルおよび動きベクトルの信頼度の算出処理を示すフローチャートである。図８は動きベクトルの算出方法を説明するための図であり、図８ＡはＭ番目フレームの画像データを示す図であり、図８ＢはＭ＋１番目フレームの画像データを示す図である。また、図８Ｃは、Ｍ番目フレームとＭ＋１番目フレームの間における動きベクトルを示す図である。図８Ｃの動きベクトルは、簡略化のため、代表的な動きベクトルのみを記載している。なお、Ｍは正の整数である。図９は、ブロックマッチング法による動きベクトルの算出方法を説明するための図である。なお、本実施形態では、動きベクトルの算出手法として、ブロックマッチング法を例に挙げて説明するが、動きベクトルの算出手法はこの例に限定されず、例えば勾配法でもよい。
　図７のステップ７０１において、動きベクトル算出回路２０１には、時間的に隣接する２つのフレームの画像データが入力される。そして、動きベクトル算出回路２０１は、Ｍ番目フレームを基準フレームに設定し、Ｍ＋１番目フレームを参照フレームに設定する。
　図７のステップ７０２において、動きベクトル算出回路２０１は、図９のように、基準フレーム９０１において、Ｎ×Ｎ画素の基準ブロック９０２を配置する。
　図７のステップ７０３において、動きベクトル算出回路２０１は、図９のように、参照フレーム９０３に対し、基準フレーム９０１の基準ブロック９０２の中心座標と同座標９０４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を、探索範囲９０５として設定する。
　図７のステップ７０４において、動きベクトル算出回路２０１は、基準フレーム９０１の基準ブロック９０２と、参照フレーム９０３の探索範囲９０５内に存在する異なる座標のＮ×Ｎ画素の参照ブロック９０６との相関演算を行い、相関値を算出する。相関値は、基準ブロック９０２および参照ブロック９０６の画素に対するフレーム間の差分絶対値の和に基づき算出する。つまり、フレーム間の差分絶対値の和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、フレーム間の差分絶対値の和を求める方法に限定されず、例えばフレーム間の差分二乗和や正規相互相関値に基づく相関値を算出する方法でもよい。図９の例では、参照ブロック９０６が最も相関が高いことを示しているとする。なお、公知の技術を用いて動きベクトルをサブピクセル単位で算出することができる。具体的には、図１０に示す連続した相関値データＣ（ｋ）において、下記（１）～（４）式による３点内挿の手法を用いる。
　ｘ＝ｋ＋Ｄ÷ＳＬＯＰ・・・（１）
　Ｃ（ｘ）＝Ｃ（ｋ）－｜Ｄ｜・・・（２）
　Ｄ＝｛Ｃ（ｋ－１）－Ｃ（ｋ＋１）｝÷２・・・（３）
　ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋ＋１）－Ｃ（ｋ）、Ｃ（ｋ－１）－Ｃ（ｋ）｝・・・（４）
　ただし、図１０ではｋ＝２である。
　なお、本発明の第一の実施形態ではサブピクセル単位の分解能を０．５画素とする。また、（１）はｘ成分に関する式だが、同様にしてｙ成分も算出できる。
　図７のステップ７０５において、動きベクトル算出回路２０１は、ステップ７０４で求めた最も高い相関値を示す参照ブロックの座標に基づいて動きベクトルを算出し、その動きベクトルの相関値を動きベクトルの信頼度とする。図９の例の場合、参照フレーム９０３の探索範囲９０５の中で、基準フレーム９０１の基準ブロック９０２の中心座標に対応した同座標９０４と、参照ブロック９０６の中心座標に基づき動きベクトルが求められる。つまり、同座標９０４から参照ブロック９０６の中心座標までの座標間距離と方向が動きベクトルとして求められる。また、その動きベクトル算出時における参照ブロック９０６との相関演算結果である相関値が動きベクトルの信頼度として求められる。なお、動きベクトルの信頼度は、基準ブロックと参照ブロックとの相関値が高いほど高くなる。
　図７のステップ７０６において、動きベクトル算出回路２０１は、基準フレーム７０１の全画素について動きベクトルを算出したか否か判定する。動きベクトル算出回路２０１は、ステップ７０６において全画素の動きベクトルを算出していないと判定した場合には、ステップ７０２に処理を戻す。そして、ステップ７０２では、動きベクトルが算出されていない画素を中心として前述した基準フレーム７０１にＮ×Ｎ画素の基準ブロック９０２が配置され、以下前述同様に、ステップ７０３からステップ７０５の処理が行われる。すなわち、動きベクトル算出回路２０１は、図９の基準ブロック９０２を移動させながら、ステップ７０２からステップ７０５までの処理を繰り返して、基準フレーム９０１の全画素の動きベクトルを算出する。この動きベクトルの例を図８Ｃに示す。図８の例では、図８ＡのＭ番目のフレームと図８ＢのＭ＋１番目のフレームの間で、人が左から右に移動している例を示している。このように被写体が移動している場合の動きベクトルの代表例を図８Ｃに示している。図８Ｃに示す動きベクトルは、Ｍ番目のフレームに存在している被写体位置を動きベクトルの始点とし、それに対応するＭ＋１番目のフレームの被写体位置を動きベクトルの終点としている。なお、動きベクトル算出回路２０１は、全画素の動きベクトルを算出するのではなく、全画素よりも少ない所定画素において動きベクトルを算出してもよい。
　以上のような処理により、時間的に隣接する２枚の高速撮像フレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。
　なお、被写体の移動速度が変化する場合もある。そのため、時間的に隣接する２つのフレーム間における動きベクトルの大きさから物面における移動速度に換算し、前述の計算方法で、第一の撮像素子１１５の露光中に第二の光学系の焦点距離、結像倍率、画角を適宜変更する構成とするのがよい。
　次に、動きベクトル算出回路２０１が、第二の撮像素子１２５から得られた画像データに対して動きベクトルおよび動きベクトルの信頼度を算出する時系列動作について、図６を参照して説明する。
　動きベクトル算出回路２０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を前述の図７のフローチャートの処理に基づき算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データのフレーム間の動きベクトルおよび動きベクトルの信頼度を算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。
　以上が、図４のステップＳ３２０における動きベクトルの算出方法についての説明である。
　図４に戻り、ステップＳ３２１において、累積量算出回路２０２は、ステップ３２０において算出した動きベクトルを複数フレームにおいて追跡し、動きベクトルの累積量を算出する。そして、代表累積量算出回路２０３は、算出した動きベクトルの累積量に基づき、フレーム全体を代表する代表累積量を決定する。
　まず動きベクトルの累積量の算出方法について、図１１を用いて説明する。図１１は、ステップＳ３２０において算出した複数のフレーム間の動きベクトルを示す図である。なお、説明の簡略化のため、時刻Ｔ０から時刻Ｔ３までの期間における動きベクトルの累積量の算出方法について説明するが、それ以降の期間に関しても同様の方法で動きベクトルの累積量を算出するものとする。
　図１１において、動きベクトル１１０１は、図６の時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０２は、図６の時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された動きベクトルを示す。動きベクトル１１０３は、図６の時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された動きベクトルを示す。
　累積量算出回路２０２は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の終点座標Ｑを始点座標とする動きベクトルを、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０２を、動きベクトル１１０１と連結する。また、累積量算出回路２０２は、時刻１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の終点座標Ｒを始点座標とする動きベクトルを、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトルの中から検索する。そして、条件を満たす動きベクトル１１０３を、動きベクトル１１０２と連結する。これ以降の期間においても同様の処理により、動きベクトルを連結していく。
　このような複数フレームにおける動きベクトルの連結処理を時刻Ｔ０で算出した全ての動きベクトルに対して行うことにより、全画素の追跡動きベクトルを算出する。なお、算出した追跡動きベクトルにより、時刻Ｔ０において座標Ｐに存在した被写体が、時刻Ｔ１では座標Ｑに移動し、時刻Ｔ２では座標Ｒに移動し、時刻Ｔ３では座標Ｓに移動したことが分かる。
　次に、累積量算出回路２０２が、追跡動きベクトルに基づき、動きベクトルの累積量を算出する方法について説明する。
　累積量算出回路２０２は、式（５）のように追跡動きベクトルの長さを動きベクトルの累積量（ＶｅｃＬｅｎ）として算出する。
　ＶｅｃＬｅｎ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋ＶｅｃＬｅｎ３・・・（５）
　ＶｅｃＬｅｎ１は、時刻Ｔ０と時刻Ｔ１のフレーム間で算出した動きベクトル１１０１の動きベクトルの長さを示す。ＶｅｃＬｅｎ２は、時刻Ｔ１と時刻Ｔ２のフレーム間で算出した動きベクトル１１０２の動きベクトルの長さを示す。ＶｅｃＬｅｎ３は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出した動きベクトル１１０３の動きベクトルの長さを示す。累積量算出回路２０２は、式（５）に基づき、追跡動きベクトルを構成する動きベクトルの長さの総和を動きベクトルの累積量として算出する。以上のような動きベクトルの累積量の算出処理を全画素の追跡動きベクトルに対して行い、全画素の動きベクトルの累積量を算出する。
　なお、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。また、累積量算出回路２０２は、動きベクトルの信頼度が所定値よりも低い動きベクトルおよび時間的にそれ以降の動きベクトルに関しては、式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、動きベクトルの信頼度が高い動きベクトルのみを用いた動きベクトルの累積量を算出することができる。また、それぞれの動きベクトルをＸ方向の成分とＹ方向の成分に分離し、それぞれの方向毎に動きベクトルの長さの総和を求めるようにしてもよい。
　次に、代表累積量の算出方法について説明する。代表累積量算出回路２０３は、フレーム内の全画素から得られた動きベクトルの累積量のうちの最大値を選択し、選択した最大の動きベクトルの累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図６に示すように、フレーム毎に１つの代表累積量を算出する。
　なお、代表累積量算出回路２０３による代表累積量は、フレーム内の全画素の動きベクトルの累積量のうちの最大値に基づくものに限られるものではなく、フレーム内の全画素の動きベクトルの累積量の平均値や中央値でも良い。また、動きベクトルの累積量をＸ方向の成分とＹ方向の成分に分離した場合には、それぞれの方向における代表累積量を決定するようにしてもよい。
　図４に戻り、ステップＳ３２２において、タイミング決定回路２０４は、代表累積量が閾値以上になったかを判定し、閾値以上になっていなければステップＳ３２３に進む。
　ステップＳ３２３において、第一の撮像システム１１０の第一の制御回路１１１は、第一の撮像素子１１５の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達したかを判定し、達していなければステップＳ３２２に戻る。第一の撮像素子の露光時間がステップＳ３１３で行ったＡＥに基づいて設定された露光時間に達していれば、ステップＳ３２５に進む。
　ステップＳ３２５において、第一の制御回路１１１は第一の撮像素子１１５の露光を停止する。
　ステップＳ３２２において、タイミング決定回路２０４は、代表累積量が閾値以上になっていればステップＳ３２４に進む。
　ステップＳ３２４において、タイミング決定回路２０４は、第一の撮像システム１１０に露光終了を指示するための信号を出力する。この処理は、代表累積量が閾値以上になったことが判定されるとすぐに行われる。図６に示す例では、時刻Ｔ８までの各フレーム間で算出した動きベクトルに基づく代表累積量が閾値以上になっている。そのため、この時点でタイミング決定回路２０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。なお、Ｘ方向とＹ方向で別々に代表累積量を求めた場合には、いずれか一方の代表累積量が閾値以上となった場合に、露光終了を指示するための信号を出力する。
　つまり、代表累積量が閾値以上になったことが判定されるとすぐにステップＳ３２５に進み、第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも第一の撮像素子１１５の露光を停止する。そして、第一の制御回路１１１は、第一の撮像素子１１５によって生成されたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。そして、Ａ／Ｄ変換回路１１６で生成されたデジタル画像データは第一の画像処理回路１１７で所定の処理が施され、記録用の画像データとして画像出力回路１１８に出力される。画像出力回路１１８は、撮像装置１００に着脱可能な記録メディアに対して記録用の画像データの書き込みを行ったり、無線あるいは有線通信機能を用いてスマートフォンやサーバーなどの外部装置に記録用の画像データを送信したりする。
　図６に示す例では、第一の制御回路１１１は、時刻Ｔ８よりわずかに後のタイミングで第一の撮像素子１１５の露光を停止することになる。実際には、第二の撮像素子１２５において時刻Ｔ８のフレーム画像が生成されてから代表累積量が得られるまでの算出時間や、タイミング決定回路２０４から出力された信号が第一の制御回路１１１に到達するまでの時間がタイムラグとして生じる。しかしながら、これらのタイムラグを考慮して閾値を設定するようにすれば、タイムラグによる影響を抑えることができる。
　ステップＳ３２６において、第二の撮像システム１２０の第二の制御回路１２１は、第二の撮像素子１２５の露光を停止する。
　ステップＳ３２７において、第一の撮像システム１１０の第一の制御回路１１１は、撮影モードが選択されたままであるかを判定し、撮影モードのままであればステップＳ３０６に戻り、別のモードが選択されていればステップＳ３０２に戻る。
　以上説明したように、第一の実施形態においては、第一の撮像素子１１５の露光期間中の被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。
　なお、ステップＳ３２２において代表累積量と比較される閾値を調整することによって、ぶれの大きさを調整することができる。例えば、この閾値をぶれの無い移動量相当の値に設定することにより、ぶれが発生する前に第一の撮像素子１１５の露光を終了させることができる。
　また、図３のステップ３０２において、ユーザがぶれレベル「標準」を選択した場合の閾値を、例えば許容錯乱円径の３倍に相当する値に設定すれば、それに応じたぶれの含まれる画像を撮像することが可能である。その場合、ステップ３１４において、焦点距離を望遠側に移動する量も少なくなり、第二の撮像システム１２０はより広い画角の画像を参照し、動きベクトルの算出を行うことになる。
　また、第一の実施形態では、タイミング決定回路２０４は、代表累積量が閾値以上になったタイミングで露光終了を指示する例について説明を行ったが、これに限られるものではない。例えば、タイミング決定回路２０４は、得られた最新の代表累積量が閾値以上になっていない場合だとしても、次フレームで代表累積量が閾値を大きく超えることが予想される場合は、現フレームに基づき露光終了を指示しても良い。次フレームにおいて代表累積量が閾値を大きく超える場合は、次フレームのタイミングで露光終了を指示したとしても、ぶれが発生してしまう。そのため、次フレームにおいて代表累積量が閾値を大きく超えることが予想される場合は、現フレームにおいて露光終了を指示する。なお、閾値を大きく超えるか否かの判定としては、上述した閾値より十分に値の大きな第二の閾値を設定し、次フレームにおける代表累積量の予測値がこの第二の閾値以上となるか否かを判定すればよい。
　次フレームにおける代表累積量の予測値（ＶｅｃＬｅｎ＿ＰＲＥＤ）は、例えば、式（６）のように最新の動きベクトル長を２倍した動きベクトルの累積量に基づき算出すればよい。
　ＶｅｃＬｅｎ＿ＰＲＥＤ＝ＶｅｃＬｅｎ１＋ＶｅｃＬｅｎ２＋２×ＶｅｃＬｅｎ３・・・（６）
　式（６）では、最新の動きベクトル長は、時刻Ｔ２と時刻Ｔ３のフレーム間で算出したＶｅｃＬｅｎ３としている。このように次に得られる動きベクトルの累積量の予測値を全画素に対して算出し、そのフレームの最大値を代表累積量とする。
　また、第一の実施形態では、タイミング決定回路２０４から出力された信号に基づいて、撮像素子１１５のフレーム全体の露光を終了する例について説明したが、これに限られるものではない。例えば第一の撮像素子１１５が、ライン、領域、あるいは、画素毎に露光時間を制御できる構成であれば、タイミング決定回路２０４は、第一の撮像素子１１５のこれらの部分毎の累積量に基づいて露光終了の信号を出力するようにしてもよい。また、フレーム全体を分割ブロックに分割し、分割ブロックを代表する累積量に基づき、分割ブロック毎に露光終了の信号を出力しても良い。
　また、第一の実施形態では、累積量算出回路２０２は、追跡動きベクトルの長さとして、連結した動きベクトル各々の長さの総和を動きベクトルの累積量として算出する例について説明したが、これに限られるものではない。図９のような追跡動きベクトルを構成する各動きベクトル、または、各動きベクトルの一部が同一座標を通過する場合は、同一座標を通過する長さを式（５）による動きベクトルの長さの総和処理から除外しても良い。これにより、例えば、隣接座標を行き来するような微小な周期的動き（反復運動）の被写体に対して、動きベクトル長を過分に加算してしまうことを抑制することができる。
　また、第一の実施形態によれば、第二の撮像システム１２０の焦点距離、結像倍率、および、画角を変更して得た画像を用いた動き解析結果に基づき、第一の撮像素子１１５の露光終了のタイミングを決めている。そのため、第一の撮像素子１１５と第二の撮像素子１２５で解像度が異なる仕様であっても、ぶれの少ない画像を撮像することができる。
　なお、第一の実施形態では、第二の光学系１２４の焦点距離を望遠側に移動することで動きの分解能を上げたが、一般的なレンズにおいて焦点距離を望遠側に移動するとＦ値が大きくなり、画像が暗くなる。その分、明るくするために感度を上げるとノイズが多くなり、動きベクトルの算出精度が悪化してしまう。そこで、第二の撮像素子１２５で得られる画像のノイズ成分の大きさに応じて、焦点距離の最大移動量に制限を設ける構成としてもよい。
　（第二の実施形態）
　次に、本発明の第二の実施形態について説明を行う。第二の実施形態では、サンプリングピッチに基づき、累積量算出回路２０２が、動きベクトル算出回路２０１で算出された動きベクトルを、第一の撮像システム１１０に適した値に換算するための処理を行う。なお、本実施形態において、サンプリングピッチとは、タイミング生成回路２００において動きを解析する際に参照する画像の画素間隔のことを指し、画素を間引かずに参照すれば、画素ピッチがサンプリングピッチとなる。反対に、第二の撮像素子１２５における画素の読み出し時に加算や間引きを行ったり、画素間の補間処理を行ったりすることで、サンプリングピッチは画素ピッチと異なる値となる。また、読み出す画素の数は同じであっても、ローパスフィルタを適用して画像データの周波数帯域を制限することで、実質的なサンプリングピッチを変更することも可能である。
　また、第二の実施形態では、第一の実施形態に対して、第二の撮像素子１２５の構成が一部異なる。図１２Ｂに、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。
　この図１２Ｂより、第二の撮像素子１２５は第一の撮像素子１１５と、撮像部の水平サイズ、水平画素数、画素ピッチは同じであるが、高速のフレームレートで画像を取得するために、読み出す画素数が少なくなっている。なお、読み出す画素数を変えることで、フレームレートを変更することも可能である。
　さらに、第一の実施形態では、第二の光学系１２４の焦点距離は変更できる構成であったが、第二の実施形態では、第二の光学系１２４の焦点距離は固定されている。ここで、第二の撮像素子１２５から得た画像における動き解析結果に基づき、第一の撮像システム１１０の露光終了のタイミングを決める。そのため、第二の撮像システム１２０の動きの分解能のほうが、第一の撮像システム１１０の動きの分解能よりも高い必要がある。そのため第二の光学系１２４の焦点距離は、第一の光学系１１４の最大焦点距離よりも長い焦点距離で固定されることが望ましい。
　次に、本発明の第二の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図１３および図１４のフローチャートを用いて説明する。図１３および図１４は、第二の実施形態の高速撮影モードにおける撮像処理のフローチャートである。なお、第一の実施形態の図３および図４のフローチャートと同じ処理を行うステップについては、図３および図４と同じステップ番号を付与している。ここでは、第一の実施形態と異なる処理について説明を行う。
　なお、第二の実施形態において、撮像装置１００と被写体の関係は図５と同じ状態であり、第二の光学系１２４の焦点距離は、第一の光学系１１４の焦点距離は３００ｍｍよりも長い６００ｍｍに固定されているものとする。
　図１３のステップ３０１乃至ステップＳ３１３の処理は、図３のステップＳ３０１乃至ステップＳ３１３と同様である。
　図１３のステップ１３１４において、第二の制御回路１２１は、第二の撮像素子１２５における読み出し位置を決定する。第二の制御回路１２１は、図５における被写体５００が視野内に含まれるように、第二の撮像素子１２５の撮像部において信号を読み出す領域を設定する。読み出す位置を変更することで、被写体が光軸近傍以外に移動したとしても、視野内に被写体を捉え続けることが可能である。また、本発明の第一の実施形態と同様に光軸や撮像素子を移動することで更に視野を移動することも可能である。
　図１３のステップＳ３１５乃至図１４のステップＳ３２０の処理は、図３のステップＳ３１５乃至図４のステップＳ３２０と同様である。
　図１４のステップＳ１４２１において、累積量算出回路２０２がステップＳ３２０で算出された動きベクトルに対し、サンプリングピッチに基づく換算処理を行う。この換算処理の方法について詳しく説明する。
　まず、４０ｍ先の被写体を焦点距離６００ｍｍで撮像する際の結像倍率は４０×１０００÷６００＝６６．６である。また、第一の撮像素子１１５においてぶれが許容値以下となる画像を撮像するめに、第二の撮像システム１２０に求められる単位フレーム（１ｍｓｅｃ）あたりの動きの分解能は、第一の実施形態と同じく０．６ｍｍである。これを満たすサンプリングピッチは、０．６×１０００÷６６．６＝９．０μｍである。図１２Ｂより第二の撮像素子の画素ピッチは５．６２μｍなので、９．０μｍ相当になるように動きベクトルを換算する。例えばステップＳ３２０で算出した動きベクトルが１．２画素であった場合、換算後の動きベクトルは１．２×９．０÷５．６２＝１．９２画素となる。この加算後の動きベクトルを用いて、ステップＳ３２１で代表的な累積量を算出し、ステップＳ３２２で代表累積量が閾値以上になったかを判定する。
　ここで、第一の撮像システム１１０と第二の撮像システム１２０において、動き解析の分解能を示す結像倍率とサンプリングピッチ（ここでは画素ピッチ）の積の値を計算する。第一の撮像システム１１０は５．６２×１３３．３＝７４９．１μｍであり、第二の撮像システム１２０は９．０×６６．６＝５９９．４μｍであるので、第二の撮像システム１２０の方が、細かい動きを分解できる（分解能が高い）ことがわかる。また、第一の光学系１１４の焦点距離が可変であると、結像倍率とサンプリングピッチの積の値も焦点距離に応じて変化する。その場合、第二の撮像システム１２０における結像倍率とサンプリングピッチの積が、第一の撮像システム１１０における結像倍率とサンプリングピッチの積の最小値以下となるように第二の光学系１２４の焦点距離などを設計すればよい。
　図１４のステップＳ３２１乃至ステップＳ３２７の処理は、図４のステップＳ３２１乃至ステップＳ３２７の処理と同様である。
　なお、被写体の移動速度が途中で変化する場合もある。そのため、連続するフレームから算出した動きベクトルの大きさに基づいて、第一の撮像素子１１５の露光中に動きベクトルを換算するためのサンプリングピッチや、第二の撮像素子１２５の読み出し解像度を適宜変更してもよい。
　このように、第二の実施形態では、サンプリングピッチに基づき、第二の撮像システム１２０において算出した動きベクトルを第一の撮像システム１１０に沿うように換算することで、正確な露光終了のタイミングを決めることができる。また、第二の撮像システムの光学系の焦点距離が固定されている場合であっても、第一の撮像システム１１０に得られた画像における被写体の動き量を精度良く検出することができる。なお、本実施形態では動きベクトルを第一の撮像システム１１０に沿うように換算する例をあげて説明を行ったが、ステップＳ３２２で代表累積量と比較する閾値を、第二の撮像システム１２０に沿うように換算する構成としてもよい。
　（第三の実施形態）
　次に、本発明の第三の実施形態について説明を行う。第三の実施形態は、動きベクトルではなく、フレーム間の差分絶対値を用いた動き解析結果に基づいて露光終了のタイミングを決める点が、第一の実施形態とは異なる。
　具体的には、第三の実施形態では、第二の撮像システム１２０の第二の画像処理回路１２７が、図２におけるタイミング生成回路２００の代わりに、タイミング生成回路１５００を有している。
　まず、第二の画像処理回路１２７が具備するタイミング生成回路１５００の構成について、図１５を用いて説明する。
　図１５は、第三の実施形態に係るタイミング生成回路１５００の構成例を示すブロック図である。図１５において、タイミング生成回路１５００は、差分絶対値算出回路１５０１、累積量算出回路１５０２、代表累積量算出回路１５０３およびタイミング決定回路１５０４より構成する。
　次に、本発明の第三の実施形態の撮像装置１００における高速撮影モードにおける撮像処理について、図１６のフローチャートを用いて説明する。図１６は、第三の実施形態の高速撮影モードにおける撮像処理のフローチャートである。
　第一の実施形態では図３および図４を用いて高速撮影モードにおける撮像処理を説明したが、第三の実施形態では図４に替えて図１６に示すフローチャートを用いる。図３に示す処理は第一の実施形態と共通であるため、説明を省略する。また、図１６のうち、第一の実施形態の図４のフローチャートと同じ処理を行うステップについては、図４と同じステップ番号を付与している。ここでは、第一の実施形態と異なる処理について説明を行う。
　図１６のステップ１６２０において、タイミング生成回路１５００内の差分絶対値算出回路１５０１が、第二の撮像素子１２５で得られた画像データのフレーム間の差分絶対値を算出する。フレーム間の差分絶対値とは、第二の撮像素子１２５から得られたフレーム間で同一座標における画素の値の差分絶対値を、画素ごとに求めた値である。
　この差分絶対値算出回路１５０１が、第二の撮像素子１２５から得られた画像データに対して差分絶対値を算出する時系列動作について、図１７を参照して説明する。図１７は、第一の撮像素子１１５、第二の撮像素子１２５、および、タイミング生成回路１５００による動作を説明するための図である。
　差分絶対値算出回路１５０１は、時刻Ｔ１において、時刻Ｔ０と時刻Ｔ１で得られた画像データのフレーム間の差分絶対値を画素ごとに算出する。その後、時刻Ｔ２において、時刻Ｔ１と時刻Ｔ２で得られた画像データのフレーム間の差分絶対値を画素ごとに算出する。時刻Ｔ３以後、同様の処理を繰り返し、第二の撮像素子１２５から得られた画像データのフレーム間における画素ごとの差分絶対値を算出する。
　ステップＳ１６２１において、累積量算出回路１５０２は、式（７）のようにステップ１６２０において算出した画素ごとの差分絶対値を複数フレームに渡って累積し、差分絶対値累積量（ＡＤ）として算出する。
　ＡＤ＝ＡＤ１＋ＡＤ２＋ＡＤ３・・・（７）
　ＡＤ１は、時刻Ｔ０のフレームと時刻Ｔ１のフレームとの間で算出された１つの画素の差分絶対値を示す。ＡＤ２は、時刻Ｔ１のフレームと時刻Ｔ２のフレームとの間で算出された同じ１つの画素の差分絶対値を示す。ＡＤ３は、時刻Ｔ２のフレームと時刻Ｔ３のフレームとの間で算出された同じ１つの画素の差分絶対値を示す。
　以上のようなフレーム間の差分絶対値累積量の算出処理を全画素に対して行い、フレーム内の全画素のフレーム間差分絶対値累積量を算出する。
　さらに代表累積量算出回路１５０３が、画素毎に算出したフレーム間差分絶対値累積量に基づき、フレーム全体を代表する累積量を算出する。具体的には、代表累積量算出回路１５０３は、全画素の差分絶対値累積量の最大値を選択し、選択した最大の差分絶対値累積量を代表累積量として決定する。このような処理をフレーム毎に行うことにより、図１１のようにフレーム毎に１つの代表累積量を算出する。
　なお、代表累積量算出回路１５０３による代表累積量は、フレーム内の全画素の差分絶対値累積量のうちの最大値に基づくものに限られるものではなく、フレーム内の全画素の差分絶対値累積量の平均値や中央値でも良い。
　ステップＳ１６２２において、タイミング決定回路１５０４は、代表累積量が閾値以上になったかを判定し、閾値以上になっていなければステップＳ３２３に進み、閾値以上になっていればステップＳ３２４に進む。ステップＳ３２４以降の処理は、図３のステップＳ３２４以降の処理と同様である。
　つまり、代表累積量が閾値以上になったことが判定されると、タイミング決定回路１５０４は、第二の制御回路１２１を介して、第一の撮像システム１１０に露光終了を指示するための信号を出力する。第一の制御回路１１１は、第一の撮像素子１１５の露光時間が適正時間に達していなくとも、第一の撮像素子１１５の露光を停止する。そして、第一の制御回路１１１は、第一の撮像素子１１５によって生成されたアナログ画像信号を第一のＡ／Ｄ変換回路１１６に出力する。
　このように、第三の実施形態においても、第一の撮像素子１１５の露光期間中の被写体の動き量に基づいて、第一の撮像素子１１５の露光を終了させるため、ぶれの少ない画像を撮像することができる。動きベクトルの代わりに差分絶対値を用いて被写体の動き量を判定することで、動きベクトルを用いた場合よりも演算量を減らすことができ、演算負荷の軽減や演算処理の時間短縮といった効果を見込むことができる。
　（第四の実施形態）
　次に、本発明の第四の実施形態について説明を行う。第四の実施形態は、高速撮影モードが複数用意されており、事前に被写体の動きを解析した結果に基づいて、いずれかの高速撮影モードを設定する点が、第一乃至第三の実施形態とは異なる。
　第四の実施形態の撮像装置１００の構成は、第一の実施形態と同じである。第四の実施形態の撮像装置１００における高速撮像モードにおける撮像処理について、図１８のフローチャートを用いて説明する。
　図１８のうち、第一の実施形態の図３のフローチャートと同じ処理を行うステップについては、図３と同じステップ番号を付与している。
　図１８のステップＳ３０６において、第一の制御回路１１１が撮影モードとして高速撮影モードが選択されていることを判定すると、ステップＳ１８０１に進む。
　ステップＳ１８０１において、第二の制御回路１２１は第二の撮像素子１２５を起動する。第一の実施形態ではＳＷ１がオンになってから第二の撮像素子１２５を起動していたが、本実施形態では、高速撮影モードが設定されていることを判定したら、すぐに第二の撮像素子１２５を起動する。このときの第二の撮像素子１２５のフレームレートは１０００ｆｐｓであるものとする。
　ステップＳ３０８において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体のコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動して自動フォーカス制御（ＡＦ）を行う。
　ステップＳ３０９において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のための自動露出制御（ＡＥ）を行う。
　次のステップＳ１８０２において、第一の制御回路１１１は、高速撮影モードの判定処理を行う。この高速撮影モードの判定処理について、図１９を用いて説明する。
　図１９は、第一の制御回路１１１が行う高速撮影モードの判定処理を示すフローチャートである。
　ステップＳ１９０１において、第一の制御回路１１１は、ノイズ評価値を取得する。第一のＲＯＭ１１２には、予め、ＩＳＯ感度および輝度レベルごとに、第二の撮像素子１２５におけるノイズの測定結果をノイズ評価値に換算した値が格納されている。そして、第一の制御回路１１１が、ステップＳ１８０２に進んだ際に設定されているＩＳＯ感度、および、図１８のステップＳ３０９にて得られた被写体の輝度情報から、対応するノイズ評価値を読み出す。このノイズ評価値は、測定されたノイズのレベルが小さいほど、高い値となるものとする。なお、第一の制御回路１１１は、ノイズ評価値をテーブルから読み出す代わりに、第二の制御回路１２１が算出した第二の撮像素子１２５の遮光領域における信号レベルの分散の値に基づいて、ノイズ評価値を算出するようにしても構わない。第二の撮像素子１２５の遮光領域における信号レベルの分散の値が小さいほど、ノイズ評価値は高い値となる。
　ステップＳ１９０２において、第二の制御回路１２１が第二の撮像素子１２５に含まれる飽和画素および黒潰れ画素の数をカウントし、第一の制御回路１１１は、このカウントに対応する輝度評価値をテーブルから取得する。飽和画素および黒潰れ画素の数が小さいほど輝度評価値は高くなる。
　ステップＳ１９０３において、第二の制御回路１２１が第二の画像処理回路１２７を用いて、第二の撮像素子１２５から得られた画像データからエッジを抽出する。第一の制御回路１１１はこのエッジの抽出結果に基づいて、この画像データのコントラストが高く、かつ、折り返しを含まないかを判定する。具体的には、第二の画像処理回路１２７は、例えばソーベルフィルタやハイパスフィルタを用いて、エッジ成分を抽出する。第二の画像処理回路１２７は、抽出されたエッジ成分の分散の値を求め、第一の制御回路１１１は、この分散の値が所定の基準値よりも高ければ、第二の撮像素子１２５から得られた画像データには高いコントラストが含まれると判断する。さらに、第二の画像処理回路１２７が、抽出したエッジ成分の領域間での比較を行い、第一の制御回路１１１は、類似するエッジ成分が複数存在する場合には、画像データに繰り返しパターンが存在する可能性が高いと判断する。
　ステップＳ１９０４において、第一の制御回路１１１は、ノイズ評価値が、ノイズ評価値のための基準値よりも大きければステップＳ１９０５に進み、大きくなければステップＳ１９１１に進む。ノイズ評価値が小さい、すなわち、ノイズレベルが大きい場合には、第二の撮像素子１２５を用いた動き量の検出精度が十分ではないため、後述する高速撮影モード３を選択するためにステップＳ１９１１に進む。
　ステップＳ１９０５において、第一の制御回路１１１は、輝度評価値が、輝度評価値のための基準値よりも大きければステップＳ１９０６に進み、大きくなければステップＳ１９１１に進む。輝度評価値が小さい、すなわち、飽和画素および黒潰れ画素の数が多い場合には、第二の撮像素子１２５を用いた動き量の検出精度が十分ではないため、後述する高速撮影モード３を選択するためにステップＳ１９１１に進む。
　ステップＳ１９０６において、第一の制御回路１１１は、第二の撮像素子１２５から得られた画像データのコントラストが高く、かつ、繰り返しパターンを含んでいなければステップＳ１９０７に進む。画像データのコントラストが低い、および、繰り返しパターンを含むことの少なくともいずれかを満たしていれば、第二の撮像素子１２５を用いた動き量の検出精度が十分ではないため、後述する高速撮影モード３を選択するためにステップＳ１９１１に進む。
　ステップＳ１９０７において、第二の制御回路１２１は、第二の画像処理回路１２７の動きベクトル算出回路２０１を用いて、第二の撮像素子１２５で得られた画像データのフレーム間における動きベクトルおよび動きベクトルの信頼度を算出する。
　ステップＳ１９０８において、第一の制御回路１１１は、第二の制御回路１２１よりステップＳ１９０７で算出した動きベクトルおよび動きベクトルの信頼度を受け取り、信頼度の高い動きベクトルが示す動き量が閾値未満であるかを判定する。この処理について、詳しく説明する。
　図１２Ｃに、本実施形態における第一の撮像素子１１５と第二の撮像素子１２５の構成を比較した表を示す。撮像部の水平サイズは、第一の撮像素子１１５が３６ｍｍであるのに対して、第二の撮像素子１２５は３．６ｍｍである。撮像部の水平画素数は、第一の撮像素子１１５が７２００画素であるのに対して、第二の撮像素子１２５は７２０画素である。画素ピッチは、第一の撮像素子１１５も第二の撮像素子１２５も、ともに５μｍである。フレームレートは、第一の撮像素子１１５が２０ｆｐｓであるのに対して、第二の撮像素子１２５は１０００ｆｐｓである。
　本実施形態においても、許容錯乱円径は２０μｍであるものとし、第一の撮像素子１１５の４画素分のピッチに相当する。
　ステップＳ１９０８において動き量と比較される閾値の値は、第一の撮像素子１１５と第二の撮像素子１２５の解像度の比によって決まる。本実施形態における閾値は、４×７２０÷７２００＝０．４画素となる。つまり、第二の撮像素子１２５で検出した動きベクトルが示す動き量が０．４画素未満であれば、第二の撮像システム１２０から送信された露光終了タイミング信号に従って第一の撮像素子１１５の露光を停止することで、ぶれの少ない画像を撮像することができる。この場合は、ステップＳ１９０９に進む。
　一方、被写体の動きが速く、第二の撮像素子１２５で検出された動き量が０．４画素より大きい２画素であった場合には、第一の撮像素子１１５における動き量は２０画素に相当することになる。この場合、第二の撮像システム１２０から送信された露光終了タイミング信号に従って第一の撮像素子１１５の露光を停止したとしても、ぶれの少ない画像を撮像することができない。そのため、この場合は、ステップＳ１９１０に進む。
　ステップＳ１９０９において、第一の制御回路１１１は、後述する高速撮影モード１を選択し、図１９に示すフローチャートを終了する。
　ステップＳ１９１０において、第一の制御回路１１１は、後述する高速撮影モード２を選択し、図１９に示すフローチャートを終了する。
　ステップＳ１９１１において、第一の制御回路１１１は、後述する高速撮影モード３を選択し、図１９に示すフローチャートを終了する。
　図１８に戻り、ステップＳ１８０３において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが半押しされることによって、シャッタスイッチ内のＳＷ１がオンになったかを判定し、オンになるまでステップＳ３０８乃至Ｓ１８０２を繰り返す。
　ステップＳ１８０３においてＳＷ１がオンになると、第一の制御回路１１１は、ステップＳ１８０４において、高速撮影モード１が選択されているかを判定する。第一の制御回路１１１は、高速撮影モード１が選択されていると、図２０に示す高速撮影モード１の撮像処理を行う。
　図２０は、第一の制御回路１１１が行う高速撮影モード１の撮像処理を示すフローチャートである。図２０におけるステップＳ３１２乃至ステップＳ３２７は、図３のステップＳ３１２乃至図４のステップＳ３２７と同じ処理である。つまり、高速撮影モード１では、第一の実施形態と同様に、第二の撮像システム１２０から送信された露光終了タイミング信号に従って第一の撮像素子１１５の露光を停止する処理を行う。
　図１８に戻り、第一の制御回路１１１は、ステップＳ１８０４において高速撮影モード１が選択されていないと判定した場合には、ステップＳ１８０５において、高速撮影モード２が選択されているかを判定する。第一の制御回路１１１は、高速撮影モード２が選択されていると、図２１に示す高速撮影モード２の撮像処理を行い、高速撮影モード２が選択されていないと、図２２に示す高速撮影モード３の撮像処理を行う。
　図２１は、第一の制御回路１１１が行う高速撮影モード２の撮像処理を示すフローチャートである。高速撮影モード２では、ぶれの少ない画像を撮像するため、ステップＳ１９０７で算出した動きベクトルに基づいて第一の撮像素子１１５の露光時間を算出し、この露光時間に従って第一の撮像素子１１５による撮像を行う。
　ステップＳ２１０１において、第一の制御回路１１１は、第二の制御回路１２１を介して、第二の撮像素子１２５の駆動を停止する。
　ステップＳ２１０２において、第一の制御回路１１１は、ステップＳ１９０７で算出した信頼度の高い動きベクトルが示す動き量に基づいて、第一の撮像素子１１５の露光時間を算出する。例えば、第二の撮像素子１２５のフレームレートが１０００ｆｐｓであって、検出した動き量が２画素であり、第一の撮像素子１１５における許容錯乱円径が４画素に相当するとする。このとき、動き量が第一の撮像素子１１５における許容錯乱円径に収まるための、第一の撮像素子１１５の露光時間は、１÷（２×７２００÷７２０÷４×１０００）＝１／５０００秒となる。このように、事前に求めた被写体の動き量から第一の撮像素子１１５の露光時間を設定することで、第二の撮像システム１２０から送信された露光終了タイミング信号に従わずとも、ぶれの少ない画像を撮像することができるようになる。
　ステップＳ２１０３において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体のコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動してＡＦを行う。
　ステップＳ２１０４において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のためのＡＥを行う。
　ステップＳ２１０５において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが全押しされることによって、シャッタスイッチ内のＳＷ２がオンになったかを判定し、オンになるまでステップＳ２１０３およびＳ２１０４を繰り返す。なお、本実施形態ではＳＷ２がオンになったかを判定する前に、ステップＳ２１０２において露光時間の算出を行ったが、露光時間の算出はＳＷ２がオンになったと判定した直後であっても構わない。
　ステップＳ２１０５においてＳＷ２がオンになると、第一の制御回路１１１は、ステップＳ２１０６において、第一の撮像素子１１５の露光を開始する。
　ステップＳ２１０７において、第一の制御回路１１１は、第一の撮像素子１１５の露光時間がステップＳ２１０２で設定した値に達するまで待機し、達した場合にはステップＳ２１０８に進む。
　ステップＳ２１０８において、第一の制御回路１１１は、第一の撮像素子１１５の露光を停止する。
　ステップＳ２１０９において、第一の制御回路１１１は、撮影モードが選択されたままであるかを判定し、撮影モードのままであればステップＳ３０６に戻り、別のモードが選択されていればステップＳ３０２に戻る。
　図２２は、第一の制御回路１１１が行う高速撮影モード３の撮像処理を示すフローチャートである。高速撮影モード３では、第二の撮像素子１２５から精度の高い動きベクトルの検出ができないため、一般的な撮影処理と同じように、ＡＥの結果に基づいて設定した露光時間に従って第一の撮像素子１１５による撮像を行う。
　ステップＳ２１０１において、第一の制御回路１１１は、第二の制御回路１２１を介して、第二の撮像素子１２５の駆動を停止する。
　ステップＳ２２０２において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体のコントラスト値、あるいは、不図示の測距センサの出力に基づいて、第一の光学系１１４を駆動してＡＦを行う。
　ステップＳ２２０３において、第一の制御回路１１１は第一の撮像素子１１５から得られる被写体の輝度値に基づいて、第一の撮像素子１１５のためのＡＥを行う。
　ステップＳ２２０４において、第一の制御回路１１１は操作部材１３０に含まれるシャッタスイッチが全押しされることによって、シャッタスイッチ内のＳ２１がオンになったかを判定し、オンになるまでステップＳ２２０２およびＳ２２０３を繰り返す。
　ステップＳ２２０４においてＳＷ２がオンになると、第一の制御回路１１１は、ステップＳ２２０５において、第一の撮像素子１１５の露光を開始する。
　ステップＳ２２０６において、第一の制御回路１１１は、第一の撮像素子１１５の露光時間がステップＳ２２０３のＡＥの結果から求められる露光時間に達するまで待機し、達した場合にはステップＳ２２０７に進む。なお、このときの露光時間は、高速撮影モードが選択されているため、ＩＳＯ感度や絞り値よりも、露光時間（シャッター速度）が短くなることが優先されるプログラム線図を用いることが望ましい。
　ステップＳ２２０７において、第一の制御回路１１１は、第一の撮像素子１１５の露光を停止する。
　ステップＳ２２０８において、第一の制御回路１１１は、撮影モードが選択されたままであるかを判定し、撮影モードのままであればステップＳ３０６に戻り、別のモードが選択されていればステップＳ３０２に戻る。
　以上説明したように、本実施形態によれば、第二の撮像システム１２０から送信された露光終了タイミング信号に従って第一の撮像素子１１５の露光を停止することで、ぶれを抑えた画像データを得ることができるならば、高速撮影モード１による撮像処理を行う。反対に、被写体の動きが速く、第二の撮像システム１２０を用いてもぶれを抑えた画像データを得ることができないならば、予め定めた露光時間に従って第一の撮像素子１１５の露光を停止する。この際、第二の撮像システム１２０を用いて被写体の動く速さがわかるのであれば、この速さに基づいて第一の撮像素子１１５の露光時間を決定する高速撮影モード２による撮像処理を行う。さらに、第二の撮像素子１２５で得られた画像データから被写体の動きを精度良く得られないと判定された場合には、第一の撮像素子１１５を用いたＡＥ処理に基づいて露光時間を決定する高速撮影モード３による撮像処理を行う。このような構成とすることで、第二の撮像システム１２０から送信された露光終了タイミング信号に従って第一の撮像素子１１５の露光を停止する処理が有効に作用しないケースであっても、ぶれを抑制した画像データを得ることができるようになる。なお、まずは高速撮影モード１を選択し、被写体の動きが速い、あるいは、被写体の動きを精度良く検出できないことが判定された場合に、高速撮影モード２あるいは高速撮影モード３に切り替える構成としてもよい。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１７年１０月２７日提出の日本国特許出願特願２０１７－２０８３６７と特願２０１７－２０８３６８と２０１８年１０月５日提出の日本国特許出願特願２０１８－１８９９８７を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (30)

  1. 　第一の撮像手段と、
    　第二の撮像手段と、
    　前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、
    　前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を制御する制御手段を、
    　有することを特徴とする撮像装置。
  2. 　前記制御手段は、前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項１に記載の撮像装置。
  3. 　前記算出手段は、複数の画像データのフレーム間における前記被写体の動き量の累積量を算出する累積量算出手段を有し、
    　前記制御手段は、前記累積量と閾値を比較した結果に応じて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項２に記載の撮像装置。
  4. 　前記累積量算出手段は、前記第二の撮像手段にて新たなフレームの画像データが撮像されると、それまで撮像された複数の画像データのフレーム間における前記被写体の動き量の累積量を新たに算出し、
    　前記制御手段は、前記累積量が前記閾値以上となった場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項３に記載の撮像装置。
  5. 　前記制御手段は、前記累積量が前記閾値以上でなくとも、前記第二の撮像手段で撮像される次のフレームにおいて予測される累積量が前記閾値より大きな値の第二の閾値以上である場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項４に記載の撮像装置。
  6. 　前記算出手段は、前記被写体の動き量として、動きベクトルを算出することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
  7. 　前記累積量算出手段は、前記複数の画像データにおいて算出された複数の動きベクトルを追跡し、追跡した動きベクトルの長さの総和に基づいて、前記累積量を算出することを特徴とする請求項６に記載の撮像装置。
  8. 　前記累積量算出手段は、複数の画素のそれぞれにおいて、前記複数の画像データにおいて算出された複数の動きベクトルを追跡し、追跡した複数の動きベクトルのうち、いずれか１つの動きベクトルの長さの総和に基づいて前記累積量を算出することを特徴とする請求項７に記載の撮像装置。
  9. 　前記算出手段は、算出した動きベクトルの信頼度を算出し、
    　前記累積量算出手段は、前記複数の画像データにおいて算出された複数の動きベクトルのうち、信頼度が所定値より低い動きベクトルを除外して、前記累積量を算出することを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
  10. 　前記算出手段は、前記被写体の動き量として、画像データのフレーム間における画素の値の差分絶対値を算出することを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
  11. 　前記累積量算出手段は、前記複数の画像データのフレーム間において算出された画素の値の差分絶対値の和を、前記累積量を算出することを特徴とする請求項１０に記載の撮像装置。
  12. 　前記算出手段は、前記第一の撮像手段が前記第一のフレームの画像データのための露光を行うよりも前に、前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出し、
    　前記制御手段は、前記算出手段が算出した前記被写体の動き量が第三の閾値以上である場合には、前記予め算出した露光時間に従って、前記第一のフレームの画像データのための露光を停止することを特徴とする請求項２乃至１１のいずれか１項に記載の撮像装置。
  13. 　前記制御手段は、前記算出手段が算出した前記被写体の動き量が第三の閾値以上である場合には、前記被写体の動き量に基づいて前記露光時間を算出することを特徴とする請求項１２に記載の撮像装置。
  14. 　前記第一の撮像手段で生成される画像データの分解能、前記第二の撮像手段で生成される画像データの分解能、および、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定する設定手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
  15. 　前記設定手段は、前記第二の撮像手段で生成される画像データの分解能が、前記第一の撮像手段におけるぶれの許容値以下となるように、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定することを特徴とする請求項１４に記載の撮像装置。
  16. 　前記設定手段は、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の焦点距離を変更することを特徴とする請求項１５に記載の撮像装置。
  17. 　前記設定手段は、前記第二の撮像手段で生成される画像データの分解能が、前記第一の撮像手段におけるぶれの許容値より低い場合には、前記第二の撮像手段が備える光学系の焦点距離を望遠側に移動することを特徴とする請求項１６に記載の撮像装置。
  18. 　前記第二の撮像手段は、前記第一の撮像手段が備える光学系の焦点距離と前記第二の撮像手段が備える光学系の焦点距離に応じて、前記第二の撮像手段における撮像素子の読み出し位置を変更することを特徴とする請求項１６または１７に記載の撮像装置。
  19. 　前記第二の撮像手段は、前記第一の撮像手段が備える光学系の焦点距離と前記第二の撮像手段が備える光学系の焦点距離に応じて、前記第二の撮像手段における光学系の光軸の位置と撮像素子の位置の関係を変更することを特徴とする請求項１６または１７に記載の撮像装置。
  20. 　第一の撮像手段を有する外部の撮像装置に着脱可能な撮像装置であって、
    　第二の撮像手段と、
    　前記第一の撮像手段が第一のフレームの画像データのための露光を行っている間に前記第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出する算出手段と、
    　前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を制御するための信号を出力する制御手段を、
    　有することを特徴とする撮像装置。
  21. 　前記制御手段は、前記算出手段が算出した結果に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止することを特徴とする請求項２０に記載の撮像装置。
  22. 　前記算出手段は、複数の画像データのフレーム間における前記被写体の動き量の累積量を算出する累積量算出手段を有し、
    　前記制御手段は、前記累積量と閾値を比較した結果に応じて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止するための信号を出力することを特徴とする請求項２１に記載の撮像装置。
  23. 　前記累積量算出手段は、前記第二の撮像手段にて新たなフレームの画像データが撮像されると、それまで撮像された複数の画像データのフレーム間における前記被写体の動き量の累積量を新たに算出し、
    　前記制御手段は、前記累積量が前記閾値以上となった場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止するための信号を出力することを特徴とする請求項２２に記載の撮像装置。
  24. 　前記制御手段は、前記累積量が前記閾値以上でなくとも、前記第二の撮像手段で撮像される次のフレームにおいて予測される累積量が前記閾値より大きな値の第二の閾値以上である場合に、前記第一の撮像手段による前記第一のフレームの画像データのための露光を停止するための信号を出力することを特徴とする請求項２２に記載の撮像装置。
  25. 　前記第一の撮像手段で生成される画像データの分解能、前記第二の撮像手段で生成される画像データの分解能、および、前記第一の撮像手段におけるぶれの許容値に応じて、前記第二の撮像手段が備える光学系の結像倍率と、前記第二の撮像手段における信号のサンプリングピッチの少なくとも一方を設定する設定手段を有することを特徴とする請求項２０乃至２４のいずれか１項に記載の撮像装置。
  26. 　前記第二の撮像手段が備える光学系の結像倍率とサンプリングピッチの積が、前記第一の撮像手段が備える光学系の結像倍率とサンプリングピッチの積の最小値より小さいことを特徴とする請求項２０乃至２４のいずれか１項に記載の撮像装置
  27. 　前記第二の撮像手段が備える光学系の結像倍率とサンプリングピッチの積が、前記第一の撮像手段が備える光学系の結像倍率とサンプリングピッチの積の最小値より小さいことを特徴とする請求項２０乃至２４のいずれか１項に記載の撮像装置。
  28. 　撮像装置の制御方法であって、
    　第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出し、
    　前記被写体の動き量に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を制御するための信号を出力する、
    　ことを特徴とする撮像装置の制御方法。
  29. 　撮像装置で用いられるプログラムであって、前記撮像装置に備えられたコンピュータに、
    　第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出するステップと
    　前記被写体の動き量に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を制御するための信号を出力するステップを、
    　実行させることを特徴とするプログラム。
  30. 　撮像装置のコンピュータに実行されるプログラムを記憶する、不揮発性のコンピュータ読み取り可能な記憶媒体であって、前記プログラムは前記撮像装置に備えられたコンピュータに、
    　第一の撮像手段が第一のフレームの画像データのための露光を行っている間に第二の撮像手段にて撮像された複数のフレームの画像データを用いて、前記複数のフレームの画像データにおける被写体の動き量を算出するステップと
    　前記被写体の動き量に基づいて、前記第一の撮像手段による前記第一のフレームの画像データのための露光を制御するための信号を出力するステップを、
    　実行させることを特徴とする記憶媒体。
PCT/JP2018/039129 2017-10-27 2018-10-22 撮像装置、撮像装置の制御方法、および、プログラム WO2019082831A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/850,698 US11258948B2 (en) 2017-10-27 2020-04-16 Image pickup apparatus, control method of image pickup apparatus, and storage medium

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2017208367 2017-10-27
JP2017-208368 2017-10-27
JP2017208368A JP7123544B2 (ja) 2017-10-27 2017-10-27 撮像装置、撮像装置の方法、および、プログラム
JP2017-208367 2017-10-27
JP2018-189987 2018-10-05
JP2018189987A JP7321691B2 (ja) 2017-10-27 2018-10-05 撮像装置、撮像装置の制御方法、および、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/850,698 Continuation US11258948B2 (en) 2017-10-27 2020-04-16 Image pickup apparatus, control method of image pickup apparatus, and storage medium

Publications (1)

Publication Number Publication Date
WO2019082831A1 true WO2019082831A1 (ja) 2019-05-02

Family

ID=66247468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039129 WO2019082831A1 (ja) 2017-10-27 2018-10-22 撮像装置、撮像装置の制御方法、および、プログラム

Country Status (2)

Country Link
US (1) US11258948B2 (ja)
WO (1) WO2019082831A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822412A (zh) * 2020-12-28 2021-05-18 维沃移动通信有限公司 曝光方法和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7286294B2 (ja) * 2017-10-27 2023-06-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2020136774A (ja) * 2019-02-14 2020-08-31 キヤノン株式会社 動きベクトルを検出する画像処理装置およびその制御方法ならびにプログラム
US20220138964A1 (en) * 2020-10-30 2022-05-05 Qualcomm Incorporated Frame processing and/or capture instruction systems and techniques
WO2023177245A1 (en) * 2022-03-17 2023-09-21 Samsung Electronics Co., Ltd. A method and system for long exposure photography in a multi camera device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040506A (ja) * 2000-07-25 2002-02-06 Ricoh Co Ltd 撮像装置
JP2009077272A (ja) * 2007-09-21 2009-04-09 Casio Comput Co Ltd 撮像装置及びそのプログラム
WO2017090458A1 (ja) * 2015-11-26 2017-06-01 ソニー株式会社 撮影装置、および撮影方法、並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4277216B2 (ja) 2005-01-13 2009-06-10 ソニー株式会社 撮像装置及び撮像結果の処理方法
JP2017069927A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002040506A (ja) * 2000-07-25 2002-02-06 Ricoh Co Ltd 撮像装置
JP2009077272A (ja) * 2007-09-21 2009-04-09 Casio Comput Co Ltd 撮像装置及びそのプログラム
WO2017090458A1 (ja) * 2015-11-26 2017-06-01 ソニー株式会社 撮影装置、および撮影方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822412A (zh) * 2020-12-28 2021-05-18 维沃移动通信有限公司 曝光方法和电子设备
CN112822412B (zh) * 2020-12-28 2023-04-07 维沃移动通信有限公司 曝光方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
US11258948B2 (en) 2022-02-22
US20200244886A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
WO2019082831A1 (ja) 撮像装置、撮像装置の制御方法、および、プログラム
US10674093B2 (en) Imaging device and flicker determination method
JP6727791B2 (ja) 追尾制御装置および追尾制御方法、撮像装置
KR101625893B1 (ko) 노출 조건을 주기적으로 변화시키는 촬상장치, 촬상장치의 제어방법, 및 기억매체
US8300137B2 (en) Image sensing apparatus providing driving direction of focus lens for attaining in-focus state and control method therefor
WO2013021767A1 (ja) 動体検出装置及び方法
US8994783B2 (en) Image pickup apparatus that automatically determines shooting mode most suitable for shooting scene, control method therefor, and storage medium
CN108737696B (zh) 摄像设备、控制方法和非暂时性存储介质
US20190289191A1 (en) Imaging device and flicker detection method
JP5750551B2 (ja) 複数被写体の距離計測装置及び方法
KR20100023056A (ko) 적응형 옵틱을 구비한 이미징 시스템
KR101004914B1 (ko) 촬상장치 및 촬상방법
JP6851854B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2015106116A (ja) 撮像装置
JP2020017807A (ja) 画像処理装置および画像処理方法、ならびに撮像装置
JP2009302794A (ja) 撮像装置
JP7286294B2 (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP2020167626A (ja) 撮像装置およびその制御方法
JP7321691B2 (ja) 撮像装置、撮像装置の制御方法、および、プログラム
KR20100115574A (ko) 디지털 카메라 및 그 제어방법
JP2019216398A (ja) 撮像装置、撮像装置の制御方法、および、プログラム
WO2019082832A1 (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP7123544B2 (ja) 撮像装置、撮像装置の方法、および、プログラム
JP2016006940A (ja) コントラストａｆ機能を備えたカメラ
JP2019220889A (ja) 撮像装置、撮像装置の制御方法、および、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18870159

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18870159

Country of ref document: EP

Kind code of ref document: A1