WO2018179710A1 - 撮像装置、および画像撮影制御方法、並びにプログラム - Google Patents

撮像装置、および画像撮影制御方法、並びにプログラム Download PDF

Info

Publication number
WO2018179710A1
WO2018179710A1 PCT/JP2018/001783 JP2018001783W WO2018179710A1 WO 2018179710 A1 WO2018179710 A1 WO 2018179710A1 JP 2018001783 W JP2018001783 W JP 2018001783W WO 2018179710 A1 WO2018179710 A1 WO 2018179710A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
synchronization signal
processing
image sensor
exposure
Prior art date
Application number
PCT/JP2018/001783
Other languages
English (en)
French (fr)
Inventor
亮介 鳥田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880020139.9A priority Critical patent/CN110431836A/zh
Priority to JP2019508608A priority patent/JP7014221B2/ja
Priority to US16/495,155 priority patent/US11095811B2/en
Publication of WO2018179710A1 publication Critical patent/WO2018179710A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/665Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders

Definitions

  • the present disclosure relates to an imaging apparatus, an image capturing control method, and a program.
  • the present invention relates to an image capturing apparatus, an image capturing control method, and a program capable of capturing and recording an image according to image capturing timing.
  • the photographer When taking an image using a camera (imaging device), for example, the photographer confirms an image displayed on a display unit such as an LCD display unit or EVF (electric viewfinder) of the camera, determines the shooting timing, Press the release button (shutter button).
  • a display unit such as an LCD display unit or EVF (electric viewfinder) of the camera
  • the subject image intended by the photographer is used as the recorded image.
  • the subject at the timing when the release button (shutter button) is pressed may differ greatly from the subject after the release lag has elapsed. In such a case, an image different from the subject image intended by the photographer is recorded in the camera memory.
  • professional photographers often perform shooting processing in consideration of the release lag of the camera used. That is, a display image on a display unit such as an LCD display unit or an EVF (electric viewfinder) of the camera is confirmed, and the release button (shutter button) is pressed down in consideration of the release lag.
  • a display image on a display unit such as an LCD display unit or an EVF (electric viewfinder) of the camera is confirmed, and the release button (shutter button) is pressed down in consideration of the release lag.
  • the display image of the display unit of the camera is confirmed, and further, the image after the release lag has been estimated, and the release button (shutter is released at the timing immediately before the estimated image so that the estimated image can be captured.
  • a shooting process such as pressing a button is performed.
  • the condition is that the release lag time is always constant.
  • the release lag time may vary depending on the pressing timing of the release button. This is due to the fact that, for example, the processing timing of the image sensor is defined by a synchronization signal at a constant interval.
  • an imaging apparatus and an image capturing control method capable of capturing an image that reliably reflects the pressing timing of a release button (shutter button). It aims at providing a program. That is, an object of the present invention is to provide an imaging apparatus, an image capturing control method, and a program that can reliably start an exposure process after a fixed period of time has elapsed from the pressing timing of a release button (shutter button).
  • the first aspect of the present disclosure is: An image sensor; A control unit that performs output control of a synchronization signal that defines processing timing of the image sensor;
  • the controller is At the end timing of the exposure preparation process started in response to the shooting operation, control is performed to output the first additional synchronization signal to the image sensor,
  • the imaging element is in an imaging apparatus that starts exposure processing of a captured image corresponding to the imaging operation in response to an input of the first additional synchronization signal.
  • the second aspect of the present disclosure is: An image shooting control method executed in the imaging device,
  • the imaging device An image sensor;
  • a control unit that performs output control of a synchronization signal that defines processing timing of the image sensor;
  • the control unit is At the end timing of the exposure preparation process started in response to the shooting operation, control is performed to output the first additional synchronization signal to the image sensor,
  • the image pickup device is in an image shooting control method for starting exposure processing of a shot image corresponding to the shooting operation in response to an input of the first additional synchronization signal.
  • the third aspect of the present disclosure is: A program for executing an image capturing control process in an imaging device;
  • the imaging device An image sensor;
  • a control unit that performs output control of a synchronization signal that defines processing timing of the image sensor;
  • the program is stored in the control unit.
  • control is performed to output the first additional synchronization signal to the image sensor,
  • the program of the present disclosure is a program that can be provided by, for example, a storage medium or a communication medium provided in a computer-readable format to an information processing apparatus or a computer system that can execute various program codes.
  • a program in a computer-readable format, processing corresponding to the program is realized on the information processing apparatus or the computer system.
  • system is a logical set configuration of a plurality of devices, and is not limited to one in which the devices of each configuration are in the same casing.
  • an apparatus and a method that can shoot an image according to the timing of a shooting operation with a constant release time lag are realized.
  • an imaging device and a control unit that performs output control of a synchronization signal that defines the processing timing of the imaging device are included, and the control unit finishes the exposure preparation process that is started in response to a shooting operation.
  • the first additional synchronization signal is output to the image sensor.
  • the imaging device starts exposure processing of the captured image corresponding to the imaging operation.
  • control unit outputs the second additional synchronization signal to the image sensor at the end timing of the exposure period of the exposure processing of the captured image, and the image sensor performs the exposure process according to the input of the second additional synchronization signal. Output of the obtained photoelectric conversion signal is started.
  • FIG. 1 It is a figure explaining the data processing sequence in imaging
  • FIG. 1 shows the following processing example in the imaging apparatus.
  • Data processing example when shooting process is not executed live view image (LV) display process is executed
  • CAP capture image
  • the live view image (LV) is an image displayed on a display unit of the imaging apparatus, such as an LCD or EVF, which can be confirmed by the photographer. It is also called a through image, and is an image that is continuously displayed on the display unit regardless of whether or not shooting processing is performed.
  • the captured image (CAP) is an image that is captured when the photographer operates a release button (shutter button) of the imaging apparatus.
  • the captured image (CAP) is recorded in the recording unit (media) of the imaging measure.
  • a capture image is acquired and recorded as a high-resolution image having a high pixel count that reflects the number of pixels of the image sensor, but a live view image (LV) can be displayed on a display unit. It is acquired and displayed as a low pixel image that matches the number of pixels. That is, the live view image (LV) is an image having a lower pixel than the capture image (CAP).
  • FIG. 1 An example of data processing when (1) shooting processing is not executed (when live view image (LV) display processing is executed) shown in FIG. 1 will be described.
  • an image sensor 12 constituted by an imaging unit, for example, a CMOS image sensor, and outputs image data by photoelectric conversion.
  • the output image in this case is a display image (LV image) to be displayed on the display unit 21.
  • an image to be displayed on the display unit is referred to as a display image or an LV image
  • an image for shooting and recording is referred to as a recording image, a capture image, or a CAP image.
  • the image sensor 12 When outputting an image for display (LV image) to be displayed on the display unit, the image sensor 12 outputs an image with a low number of pixels obtained by thinning a part without outputting all the pixel data of the image sensor. Do. When the photographing process is executed, since it is necessary to generate a recording image with a high number of pixels, almost all pixel data of the image sensor is output.
  • the image sensor 12 When (1) shooting processing is not executed (when live view image (LV) display processing is executed) shown in FIG. 1, the image sensor 12 inputs an output image (LV image) having a low pixel count to the AD converter 13. .
  • the AD conversion unit 13 performs A / D conversion of the input signal, that is, processing for converting an analog signal into a digital signal, and inputs the converted digital value to the signal processing unit (signal processing LSI) 14.
  • the signal processing unit 14 performs signal processing in a general camera such as white balance (WB) adjustment and gamma correction, for example, and generates an output image, that is, an image (LV image) to be displayed on the display unit 21. And stored in the memory 15.
  • WB white balance
  • gamma correction for example
  • the display unit 21 displays the LV image stored in the memory 15.
  • the display unit 21 is configured by, for example, an LCD or EVF, and can be confirmed by a photographer.
  • a release button When a photographer operates (presses) a release button (shutter button), light incident through the optical lens 11 enters an image pickup device 12 constituted by an image pickup unit, for example, a CMOS image sensor, and exposure processing starts. Is done.
  • release lag release time lag
  • the release lag is about 15 msec to 30 msec in many cameras, although there are some differences depending on the camera.
  • the image sensor 12 When the exposure process in the image sensor 12 is completed, the image sensor 12 outputs image data obtained by photoelectric conversion to the AD converter 13. Note that the output image in this case is a recording image (CAP image) to be recorded and stored in the recording unit 22.
  • CAP image recording image
  • the recording image is a high pixel image reflecting the number of pixels of the image sensor 12. This is a high pixel image having a larger number of pixels than the display image (LV image) described with reference to (1).
  • the arrow of the LV image shown in (1) is thinned
  • the arrow of the CAP image shown in (2) is shown thick
  • the height of the number of pixels is shown by the thickness of the arrow.
  • the AD conversion unit 13 performs A / D conversion of the input signal, that is, processing for converting an analog signal into a digital signal, and inputs the converted digital value to the signal processing unit (signal processing LSI) 14.
  • the signal processing unit 14 performs signal processing in a general camera, such as white balance (WB) adjustment and gamma correction, and generates an output image.
  • the signal processing unit 14 generates a high-pixel recording image (CAP image) to be stored in the recording unit 22, and also displays a display image (LV image) to be displayed on the display unit 21. At the same time, it is generated and stored in the memory 15.
  • CAP image high-pixel recording image
  • LV image display image
  • the recording unit 22 stores a high-pixel recording image (CAP image) stored in the memory 15.
  • the display unit 21 displays a low-pixel display image (LV image) stored in the memory 15.
  • FIG. 2 illustrates a processing sequence when a display image (LV image) is displayed on the display unit of the imaging apparatus, a shooting process is performed during that time, and a recording image (CAP image) is recorded. It is a chart. Time passes from left to right.
  • LV image display image
  • CAP image recording image
  • FIG. 2 the following processing timings (a) to (g) are individually shown.
  • A) Image sensor input synchronization signal (b) Exposure process (c) AD conversion process (d) Display image generation process (e) Recorded image generation process (f) Display unit input synchronization signal (g) Display unit display image
  • the imaging element input synchronization signal is a synchronization signal input to the imaging element 12 under the control of the control unit of the imaging apparatus.
  • the setting is such that a synchronization signal every 8.3 msec is input to the image sensor 12.
  • the image sensor 12 starts execution of various processes and updates execution processes such as process switching.
  • the synchronization signal serves as a trigger for starting or ending the exposure processing of the display image (LV image) in the image sensor 12, and further triggers the start of AD conversion processing and display image generation processing.
  • LV image display image
  • the exposure processing of the display image (LV image) in the image sensor 12 is not set to start when the synchronization signal (ta2, ta4,...) Is input, but is predetermined from the synchronization signal input. This setting starts after the clock has elapsed.
  • the exposure process indicates an exposure process in the image sensor 12.
  • LV1, LV2, LV3,... Shown in each triangle indicate exposure processing of a display image (LV image) displayed on the display unit 21.
  • CAP indicates exposure processing of a recording image (CAP image) to be recorded in the recording unit 22.
  • the left end of each triangle corresponds to the exposure start time, and the right end corresponds to the exposure end time.
  • the AD conversion process is an AD conversion process executed by the AD conversion unit 13 that inputs an image that has been exposed in the image sensor 12 from the image sensor 11.
  • the display image generation process is a display image (LV image) generation process executed by the signal processing unit 14 that inputs a digital signal as a result of the AD conversion process in the AD conversion unit 13.
  • (c) AD conversion processing and (d) display image generation processing are shown as settings executed in parallel in the timing chart shown in FIG. For example, two boxes are shown side by side at the same timing as processing boxes for LV1. This is because data AD-converted by the AD converter 13 is sequentially input to the signal processor 14, and display image generation is sequentially performed on the input data from the AD converter 13 by the signal processor 14. Is shown. Actually, (c) the AD conversion process is started slightly earlier, and (d) the display image generation process is started slightly later, and is ended.
  • the recording image generation process is a recording image (CAP image) generation process executed by the signal processing unit 14 that inputs a digital signal as a result of the AD conversion process in the AD conversion unit 13.
  • CAP image recording image
  • the display unit input synchronization signal is a synchronization signal input to the display unit 21 under the control of the control unit of the imaging apparatus.
  • the setting is such that a synchronization signal every 16.6 msec is input to the display unit 21.
  • the display unit 21 performs processing such as display image switching in response to the input of the synchronization signal.
  • Display part display image shows the image displayed on the display part 21.
  • LV1, LV2,... Corresponds to the image frames 1 and 2 of the display image, and means that the display frame is switched at intervals of 16.6 msec. That is, the moving image is displayed on the display unit 21 as a live view image (through image).
  • the exposure process is an exposure process in the image sensor 12.
  • the image sensor 12 performs an exposure process for a display image (LV image) to be displayed on the display unit 21.
  • the first display image frame (LV1) is completed by the time (a) the input of the image sensor input synchronization signal (ta1), and thereafter, ta3, ta5, ta7 ... 16.6 msec intervals.
  • the exposure image is switched.
  • the exposure of the recording image (CAP image) is completed when the synchronization signal (ta5) is input. This is a process performed by the photographer pressing the release button. When the photographer does not press the release button, the exposure of the display image (LV3) is completed even when the synchronization signal (ta5) is input. Become.
  • a sequence from exposure of the display image (LV) to display processing will be described.
  • the processing sequence will be described according to the dotted line shown in the second display image frame (LV2) shown in FIG.
  • the second display image frame (LV2) is completed in the image sensor 12 by (a) input of the image sensor input synchronization signal (ta3).
  • the image sensor 12 outputs a photoelectric conversion signal obtained as an exposure result of the image sensor 12 to the AD converter 13 in accordance with (a) the input of the image sensor input synchronization signal (ta3).
  • the display image (LV2) is stored in the memory 16 and then output to the display unit 21.
  • the display unit 21 updates the display image in accordance with the input of the (f) display unit input synchronization signal.
  • the earliest (f) display unit input synchronization signal after completion of the display image (LV2) generation processing shown in (d) display image generation processing is the synchronization signal (tb2).
  • the display unit 21 uses the input of the synchronization signal (tb2) as a trigger to switch the display image from the display image (LV1) corresponding to the previous frame to the display image (LV2) corresponding to the next frame.
  • the display unit 21 executes this display image switching process periodically, in the example shown in the figure, at intervals of 16.6 msec. By this processing, the display unit 21 displays a moving image in which an image frame is switched every 16.6 msec.
  • a recording image (CAP image) process in which the exposure process is completed when the image sensor input synchronization signal (ta5) is input.
  • a recording image (CAP image) for which exposure processing is completed when an image sensor input synchronization signal (ta5) is input is for recording performed by operating the release button before the previous image sensor input synchronization signal (ta4). This is exposure processing of an image (CAP image).
  • the display image generation process is performed.
  • the (c) AD conversion process (capAD) in the AD conversion unit 13 is a process for a high pixel recording image (CAP image), and the processing time is longer than that of a low pixel display image (LV image).
  • the signal processing unit 14 uses the digital data corresponding to the high pixel recording image (CAP image) that is the AD conversion result data in the AD conversion unit 13 to generate a high pixel recording image (CAP image), A low-pixel display image (LV image) is executed.
  • This processing is processing between (a) image sensor input synchronization signals (ta5 to ta6) shown in FIG. (D) (LV3) shown as display image generation processing (E) As a recorded image generation process (CAP) These processes.
  • (E) (CAP) shown as the recording image generation process is a high-pixel recording image generation process, and the processing time becomes long.
  • (d) (LV3) shown as display image generation processing performs processing such as pixel thinning from a high-pixel recording image (CAP image), which is AD conversion result data in the AD conversion unit 13, for display. This is executed as a process for generating a low-pixel image. As understood from the figure, this processing is set to be completed by the display unit input synchronization signal (tb3), and processing is performed in time for frame switching of the display image at intervals of 16.6 msec.
  • FIG. 3 shows a display image (LV image) on the display unit of the imaging apparatus, as in FIG. 2 described above, during which a shooting process is performed and a recording image (CAP image) is recorded.
  • LV image display image
  • CAP image recording image
  • FIG. 3 shows the following processing timings (a) to (e) individually as in FIG. (A) Image sensor input synchronization signal (b) Exposure process (c) AD conversion process (d) Display image generation process (e) Recorded image generation process
  • FIG. 3 further shows (a) photographing operations at two different timings performed during the period of the image sensor input synchronization signals (ta1) to (ta2).
  • Shooting operation 1 release operation 1) (ts1)
  • Shooting operation 2 release operation 2) (ts2)
  • Two photographing operations at different timings are shown. This corresponds to the timing when the photographer presses the release button.
  • release lag release time lag
  • the release lag is about 15 msec to 30 msec in many cameras, although there are some differences depending on the camera.
  • a professional photographer or the like confirms the display image on the display unit of the camera, estimates the image after the release lag elapses, and shoots the estimated image (shutter button).
  • the process of pressing the pressing timing of is performed.
  • the condition is that the release lag is always constant.
  • the release lag may differ depending on the timing of pressing the release button. This is due to the fact that, for example, the processing timing of the image sensor is defined by a synchronization signal at a constant interval. A specific example will be described with reference to FIG.
  • This exposure preparation process is, for example, a time required for a control signal output process from the control unit to the image sensor or signal processing unit, a setting process based on a control signal in the image sensor or signal processing unit, and the like. is there.
  • the exposure preparation processing time is 20 msec.
  • the exposure preparation processing time of 20 msec corresponds to the minimum value of the release lag, and the release lag cannot be less than the exposure preparation processing time (20 msec).
  • the exposure preparation process is started, and the exposure preparation process ends after 20 msec from the time (ts1).
  • the exposure preparation process ends at the time (ts1e) shown at the right end of the [exposure preparation process 1 (20 msec)] box shown in FIG.
  • the image sensor 12 is configured to start and switch the process with the input of the image sensor input synchronization signal as a trigger, and the first (a) after the end time (ts1e) of [exposure preparation process 1 (20 msec)]. )
  • the exposure process is started after the input of the synchronization signal (ta4) which is the imaging element input synchronization signal.
  • the image sensor 12 sets the exposure period so that the exposure process is completed by (ta5) next to the synchronization signal (ta4).
  • the exposure period is determined based on, for example, the shutter speed set by the user (photographer).
  • (CAP) shown in the exposure process that is, the exposure period is set so that the exposure is completed in the synchronization signal (ta5), and the exposure process of the captured image 201 is performed.
  • the exposure process in the image sensor 12 is not started immediately.
  • the image pickup device 12 is configured to start and switch processing using (a) the input of the image pickup device input synchronization signal as a trigger, and after the end time (ts2e) of [Exposure preparation processing 2 (20 msec)].
  • (A) The exposure process is started after the input of the synchronization signal (ta4) which is the imaging element input synchronization signal.
  • the imaging device 12 sets the exposure period so that the exposure process is completed by (ta5) next to the synchronization signal (ta4).
  • the exposure period is determined based on, for example, the shutter speed set by the user (photographer).
  • (CAP) shown in the exposure process that is, the exposure period is set so that the exposure is completed in the synchronization signal (ta5), and the exposure process of the captured image 201 is performed.
  • the exposure period of the image sensor is up to (ta5) next to the synchronization signal (ta4).
  • the exposure period is set so that the exposure process is completed.
  • the image to be shot and recorded is in the case of shooting operation 1 (release operation 1) and in the case of shooting operation 2 (release operation 2). The same image.
  • the shooting timing that is, the operation timing of the release button is shifted
  • the shot image (recorded image) becomes the same.
  • the user tries to take a shot. This causes a problem that it is impossible to take an image at the specified timing.
  • FIG. 4 includes an optical lens 101, an image sensor 102, an AD conversion unit 103, a signal processing unit (signal processing LSI) 104, a memory 105, a display unit (LCD / EVF) 106, a recording unit 107, and an operation unit. 108 and a control unit 110.
  • the operation unit 108 is an operation unit for performing user input such as a release button (shutter button), a shooting mode, a shooting mode setting, and a display image setting on the display unit 106.
  • the display unit 106 can be used as a user operation unit in a touch panel format.
  • the control unit 110 inputs control signals and synchronization signals for the image sensor 102 to the recording unit 107, and executes various processing controls such as control of execution timing of processing of each component unit. For example, output control of a synchronization signal that defines the processing timing of the image sensor 102, output control of a synchronization signal that defines the switching timing of the display image on the display unit 106, and the like are executed.
  • the control unit 110 is configured by a CPU or the like that executes processing according to a program stored in a storage unit (not shown).
  • the program is configured by, for example, image shooting, image recording, image display processing control program, synchronization signal output control program, and the like.
  • the light incident through the optical lens 101 is incident on an image sensor 102 constituted by an imaging unit, for example, a CMOS image sensor, and outputs image data by photoelectric conversion.
  • the output image of the image sensor 102 is a low-pixel display image (LV image) for display on the display unit 106 when the shooting process is not executed, and when the shooting process is executed, A high-pixel recording image (CAP image) to be stored in the recording unit 107 is obtained.
  • LV image low-pixel display image
  • CAP image high-pixel recording image
  • An output image from the image sensor 102 is input to the AD conversion unit 103.
  • the AD conversion unit 103 performs A / D conversion of the input signal, that is, processing to convert an analog signal into a digital signal, and inputs the converted digital value to the signal processing unit (signal processing LSI) 104.
  • the signal processing unit 104 performs signal processing in a general camera such as white balance (WB) adjustment and gamma correction, for example, and outputs an image, that is, a display image (LV image) to be displayed on the display unit 106, Alternatively, at least one of recording images (CAP images) to be stored in the recording unit 107 is generated and stored in the memory 105.
  • WB white balance
  • CAP images recording images
  • the display unit 106 displays a display image (LV image) stored in the memory 105.
  • the display unit 106 is configured by, for example, an LCD or EVF, and can be confirmed by a photographer.
  • the recording unit 107 stores a recording image (CAP image) stored in the memory 105.
  • FIGS. 5 and 6 are diagrams for explaining the exposure processing of an image recorded when the two different photographing operations described above with reference to FIG. 3 are performed.
  • FIG. 5 is a diagram for explaining the exposure processing and the recording image generation processing of the recorded image (CAP image) when the photographing operation 1 (release operation 1) at the time (ts1) described with reference to FIG. 3 is performed.
  • FIG. 6 is a diagram for explaining the recording image (CAP image) exposure processing and the recording image generation processing when the photographing operation 2 (release operation 2) at the time (ts2) described with reference to FIG. 3 is performed. .
  • FIG. 5 displays a display image (LV image) on the display unit of the imaging apparatus, as in FIG. 3 described above, during which shooting processing is performed and recording image (CAP image) recording processing is performed.
  • 6 is a timing chart in the processing sequence in the case of Time passes from left to right.
  • FIG. 5 shows the following processing timings (a) to (e) individually as in FIG. (A) Image sensor input synchronization signal (b) Exposure process (c) AD conversion process (d) Display image generation process (e) Recorded image generation process
  • FIG. 5 further shows a shooting operation 1 (release operation 1) (ts1) performed during the period of (a) the image sensor input synchronization signals (ta1) to (ta2). That is, time ts1 is the timing when the photographer presses the release button.
  • the exposure preparation process is, for example, a time required for a control signal output process from the control unit to the image sensor or signal processing unit, a setting process based on the control signal in the image sensor or signal processing unit, and the like.
  • the exposure preparation processing time is 20 msec.
  • the exposure preparation processing time of 20 msec corresponds to the minimum value of the release lag, and the release lag cannot be less than the exposure preparation processing time (20 msec).
  • the exposure preparation process is started, and the exposure preparation process ends after 20 msec from the time (ts1).
  • the exposure preparation process ends at the time (ts1e) shown at the right end of the [exposure preparation process 1 (20 msec)] box shown in FIG.
  • the exposure process in the image sensor 102 is immediately started.
  • the control unit 110 outputs a first additional synchronization signal (ta ⁇ x4) 211 to the image sensor 102.
  • the image sensor 102 is configured to start and switch the process using (a) the input of the image sensor input synchronization signal as a trigger, and after the end time (ts1e) of [exposure preparation process 1 (20 msec)].
  • the exposure processing of the recording image CAP image
  • the image sensor 102 starts an exposure process for the recording image (CAP image).
  • the exposure period is determined based on, for example, the shutter speed set by the user (photographer).
  • the control unit 110 determines the end timing of the exposure period according to the exposure period determined based on the shutter speed set by the user (photographer), and further adds the second addition at the end timing of the exposure period.
  • a synchronization signal (ta-x5) 212 is output to the image sensor 102.
  • the control unit 110 switches to the synchronization signal output process at a specified interval and continues the synchronization signal output process. That is, after the output of the second additional synchronization signal (ta-x5) 212, the control unit 110 captures the synchronization signals (ta-x5, ta-x6, ta-x7,%) At regular 8.3 msec intervals. Output to the element 102.
  • the period from the first additional synchronization signal (ta-x4) 211 to the second additional synchronization signal (ta-x5) 212 is the exposure period of the captured image corresponding to the shooting operation 1 (release operation 1) at time (ts1), That is, the photographed image exposure period 210 shown in FIG.
  • the first additional synchronization signal (ta-x4) 211 which is the start position of the photographed image exposure period 210, is a time after the lapse of 20 msec which is the exposure process preparation period from the execution time (ts1) of the photographing operation 1 (release operation 1). It becomes.
  • the image sensor 102 outputs a photoelectric conversion signal obtained as an exposure result of the image sensor 102 to the AD converter 103 in response to the input of the second additional synchronization signal (ta-x5) 212. Thereafter, after the second additional synchronization signal (ta-x5) 212, AD conversion processing in the AD conversion unit 103, A recording image (CAP image) generation process and a display image (LV image) generation process in the signal processing unit 104 are executed. Note that the display image (LV image) generation processing in the signal processing unit 104 is from the second additional synchronization signal (ta-x5) 212 to the synchronization signal (ta-x6) after a specified synchronization signal interval (8.3 msec). It is set to be completed during
  • the control unit 110 When shooting operation 1 (release operation 1) is executed at time (ts1), exposure preparation processing is started, and after 20 msec from time (ts1), the exposure preparation processing ends, and this [exposure preparation processing 1 (20 msec) ] End point (ts1e), the control unit 110 outputs the first additional synchronization signal (ta-x4) 211 to the image sensor 102. With this process, the image sensor 102 can immediately start the exposure process. That is, according to this configuration, the release time lag becomes the shortest time corresponding to the exposure preparation processing time of 20 msec.
  • FIG. 6 a photographed image when photographing operation 2 (release operation 2) is executed at time (ts2), which is a timing delayed from time (ts1) described with reference to FIG. 5. Will be described.
  • FIG. 6 shows the following processing timings (a) to (e) individually as in FIG. (A) Image sensor input synchronization signal (b) Exposure process (c) AD conversion process (d) Display image generation process (e) Recorded image generation process
  • FIG. 6 further shows (a) the shooting operation 2 (release operation 2) (ts2) performed during the period of the image sensor input synchronization signals (ta1) to (ta2).
  • the execution timing (ts2) of the shooting operation 2 (release operation 2) (ts2) is later than the execution timing (ts1) of the shooting operation 1 (release operation 1) (ts1) described with reference to FIG. is there.
  • These operation times ts1 and ts2 are the same as the operation times ts1 and ts2 described with reference to FIG.
  • the exposure preparation processing time is 20 msec.
  • the exposure preparation processing time of 20 msec corresponds to the minimum value of the release lag, and the release lag cannot be less than the exposure preparation processing time (20 msec).
  • the exposure preparation process is started, and the exposure preparation process ends after 20 msec from the time (ts2).
  • the exposure preparation process ends at the time (ts2e) shown at the right end of the [exposure preparation process 2 (20 msec)] box shown in FIG.
  • the exposure process in the image sensor 102 is immediately started.
  • the control unit 110 outputs a first additional synchronization signal (ta-y4) 221 to the image sensor 102.
  • the image sensor 102 is configured to start and switch processing with the input of the image sensor input synchronization signal as a trigger, and after the end time (ts2e) of [exposure preparation process 2 (20 msec)].
  • the exposure process for the recording image CAP image
  • the output timing of the first additional synchronization signal (ta-y4) 221 is a timing delayed from the output timing of the first additional synchronization signal (ta-x4) 211 described above with reference to FIG.
  • This time difference is equal to the time difference between the shooting operation 2 (release operation 2) shown in FIG. 6 and the shooting operation 1 (release operation 1) shown in FIG. 5, that is, ts2-ts1. That is, the exposure period is set to be shifted in accordance with the shift in the timing of the photographing operation.
  • the image sensor 102 starts the exposure process for the recording image (CAP image) in accordance with the first additional synchronization signal (ta-y4) 221 input from the control unit 110.
  • the exposure period is determined based on, for example, the shutter speed set by the user (photographer).
  • the controller 110 further controls the second additional synchronization signal (ta ⁇ y5) 222 at the end timing of the exposure period according to the exposure period determined based on the shutter speed set by the user (photographer). Is output to the image sensor 102.
  • the control unit 110 switches to the synchronization signal output process at a specified interval and continues the synchronization signal output process. That is, after outputting the second additional synchronization signal (ta ⁇ y5) 222, the control unit 110 outputs a synchronization signal having a specified 8.3 msec interval to the image sensor 102.
  • the period from the first additional synchronization signal (ta-y4) 221 to the second additional synchronization signal (ta-y5) 222 is the exposure period of the captured image corresponding to the imaging operation 2 (release operation 2) at time (ts2), That is, the captured image exposure period 220 shown in FIG.
  • the first additional synchronization signal (ta-y4) 221 that is the start position of the photographed image exposure period 220 is a time after the lapse of 20 msec that is the exposure process preparation period from the execution time (ts2) of the photographing operation 2 (release operation 2). It becomes.
  • the image sensor 102 In response to the input of the second additional synchronization signal (ta ⁇ y5) 222, the image sensor 102 outputs a photoelectric conversion signal obtained as an exposure result of the image sensor 102 to the AD conversion unit 103. Thereafter, after the second additional synchronization signal (ta-y5) 222, AD conversion processing in the AD conversion unit 103, A recording image (CAP image) generation process and a display image (LV image) generation process in the signal processing unit 104 are executed. Note that the display image (LV image) generation processing in the signal processing unit 104 is from the second additional synchronization signal (ta-y5) 222 to the synchronization signal (ta-y6) after a specified synchronization signal interval (8.3 msec). It is set to be completed during
  • the exposure start time of the recording image (CAP image) in the image sensor 102 is controlled to the time when the exposure preparation process (20 msec) for a certain period is completed after the photographing operation (release operation) is executed.
  • the timing of the shooting operation (release operation) is slightly different, the exposure start time of the recording image (CAP image) corresponding to the shooting operation is also different.
  • this configuration solves the problem that the same exposure image is generated and recorded even when the timing of the photographing operation (release operation) is different, as described above with reference to FIG.
  • the photographer can reliably capture and record an image at a target timing by performing an image taking a certain release lag (20 msec in this example) into consideration.
  • FIGS. 5 and 6 show the image display sequence on the display unit 106 omitted. However, even if the processing described with reference to FIGS. 5 and 6 is performed, the display image on the display unit 106 is displayed. Will not disturb the display sequence.
  • FIG. 7 is a diagram illustrating the shooting process described with reference to FIG. 5, that is, the process when the shooting operation 1 (release operation 1) is executed at time (ts1).
  • the image sensor 102 outputs a photoelectric conversion signal obtained as an exposure result of the image sensor 102 to the AD converter 103 in response to the input of the second additional synchronization signal (ta-x5) 212. Thereafter, after the second additional synchronization signal (ta-x5) 212, AD conversion processing in the AD conversion unit 103, A recording image (CAP image) generation process and a display image (LV image) generation process in the signal processing unit 104 are executed.
  • CAP image recording image
  • LV image display image
  • the display image (LV image) generation processing in the signal processing unit 104 is performed from the second additional synchronization signal (ta-x5) 212 to the synchronization signal (ta-x6) after the specified synchronization signal interval (8.3 msec).
  • the image sensor synchronization signal (ta ⁇ x6) is a timing before (f) the display unit input synchronization signal (tb3), and the display image (LV2) on the display unit 106 is displayed.
  • the signal processing unit 104 Before the display end timing (tb3), the signal processing unit 104 has completed generation of the next display image (LV3). Therefore, the display unit 106 can update the display image from LV2 to LV3 at time (tb3), and can display a normal image display sequence, that is, a moving image display by switching display image frames every 16.6 msec. It can be carried out.
  • FIG. 8 is a diagram illustrating the shooting process described with reference to FIG. 6, that is, the process when the shooting operation 2 (release operation 2) is executed at time (ts2).
  • the image sensor 102 In response to the input of the second additional synchronization signal (ta ⁇ y5) 222, the image sensor 102 outputs a photoelectric conversion signal obtained as an exposure result of the image sensor 102 to the AD conversion unit 103. Thereafter, after the second additional synchronization signal (ta-y5) 222, AD conversion processing in the AD conversion unit 103, A recording image (CAP image) generation process and a display image (LV image) generation process in the signal processing unit 104 are executed.
  • CAP image recording image
  • LV image display image
  • the display image (LV image) generation process in the signal processing unit 104 is performed from the second additional synchronization signal (ta-y5) 222 to the synchronization signal (ta-y6) after the specified synchronization signal interval (8.3 msec).
  • the image sensor synchronization signal (ta ⁇ y6) is the timing before (f) the display unit input synchronization signal (tb3), and the display image (LV2) on the display unit 106 is displayed.
  • the signal processing unit 104 Before the display end timing (tb3), the signal processing unit 104 has completed generation of the next display image (LV3). Therefore, the display unit 106 can update the display image from LV2 to LV3 at time (tb3), and can display a normal image display sequence, that is, a moving image display by switching display image frames every 16.6 msec. It can be carried out.
  • each component such as an image sensor and a display unit controls various processing timings based on a synchronization signal input to each component. Therefore, if the relationship of the synchronization signal input to each component is broken, it is necessary to have many variations of processing control, which may be disadvantageous in terms of management cost and quality.
  • processing control for example, after the generation process of the recording image (CAP image) is completed, (a) the image sensor input synchronization signal and (f) the display unit input synchronization signal are converted to the original. It is preferable to perform control to return to the relationship.
  • FIG. 9 is a diagram showing processing corresponding to FIG. 7, that is, processing when the photographing operation 1 (release operation 1) is executed at time (ts1).
  • the imaging device input synchronization signal (ta-x10) after the generation process of the recording image (CAP image) is completed (f) the display unit input synchronization signal (tb5). Change to match. This is the synchronization signal (ta-x10) 251 shown in FIG.
  • FIG. 10 is a diagram illustrating a process corresponding to FIG. 8, that is, a process when the photographing operation 2 (release operation 2) is executed at time (ts2).
  • the imaging device input synchronization signal (ta-y10) after the generation of the recording image (CAP image) is completed
  • tb5 the display unit input synchronization signal
  • the control unit 110 (a) shifts the timing of the image sensor input synchronization signal to shift the image sensor input synchronization signal. 251 and 261 are input to the image sensor. By performing such processing, the timing of (a) the image sensor input synchronization signal and (f) the display unit input synchronization signal is maintained in the same relationship as before the recording image (CAP image) is captured. become.
  • (a) the process of controlling the timing of the image sensor input synchronization signal is performed.
  • the display unit input synchronization signal may be set to be controlled.
  • the control timing of the synchronization signal is not limited to after the recording image (CAP image) generation process is completed, but after the recording image (CAP image) is completely exposed even during the recording image (CAP image) generation process. Any timing may be used.
  • a flow shown in FIG. 11 is a flow for explaining a synchronization signal output control sequence for the image sensor 102 executed in the control unit 110 of the imaging apparatus 100 shown in FIG.
  • a program stored in advance in the memory of the imaging apparatus 100 is executed by the control unit 110 having a processor having a program execution function to execute processing according to the flow.
  • the processing of each step will be described sequentially.
  • Step S101 First, in step S ⁇ b> 101, the control unit 110 of the imaging apparatus 100 determines whether shooting processing has been executed, that is, whether the release button has been pressed by the user (photographer). This is performed as input detection processing from the operation unit 108 in the control unit 110.
  • step S102 If it is determined that the photographing process (pressing the release button) has been performed, the process proceeds to step S102, and if it is determined that the photographing process (pressing the release button) has not been performed, the process proceeds to step S105.
  • Step S102 If it is determined in step S101 that the photographing process (release button has been pressed) has been executed, the process proceeds to step S102, and in step S102, the control unit 110 executes an exposure preparation process.
  • This exposure preparation process is, for example, the time required for control signal output processing from the control unit 110 to the image sensor 102 and the signal processing unit 104, setting processing based on the control signal in the image sensor 102 and signal processing unit 104, and the like. It is almost constant time. In this embodiment, this exposure preparation processing time is 20 msec.
  • Step S103 Next, in step S ⁇ b> 103, the control unit 110 outputs a first additional synchronization signal to the image sensor 102 when the exposure preparation process ends.
  • the first additional synchronization signal corresponds to the first additional synchronization signal (ta-x4) (ta-y4) described with reference to FIGS.
  • the image sensor 102 starts the exposure process for the recording image (CAP image) in response to the input of the first additional synchronization signal from the control unit 110.
  • Step S104 the control unit 110 outputs the second additional synchronization signal to the image sensor after the exposure processing for the exposure time corresponding to the user-set shutter speed is completed, and then after a predetermined output interval (for example, 8.3 msec). A synchronization signal is output to the image sensor.
  • a predetermined output interval for example, 8.3 msec
  • the control unit 110 acquires an exposure time corresponding to the user-set shutter speed in advance.
  • the exposure time corresponding to the user-set shutter speed is stored in the memory.
  • the second additional synchronization signal output from the control unit 110 to the image sensor 102 in step S104 corresponds to the second additional synchronization signal (ta-x5) (ta-y5) described with reference to FIGS.
  • the image sensor 102 In response to the input of the second additional synchronization signal, the image sensor 102 outputs a photoelectric conversion signal obtained as an exposure result of the image sensor 102 to the AD converter. After that, as a process after the second additional synchronization signal is output, AD conversion processing in the AD conversion unit 103, A recording image (CAP image) generation process and a display image (LV image) generation process in the signal processing unit 104 are executed.
  • CAP image recording image
  • LV image display image
  • the controller 110 continuously outputs a synchronization signal at a specified output interval (for example, 8.3 msec) to the image sensor after the second additional synchronization signal is output to the image sensor.
  • a specified output interval for example, 8.3 msec
  • Step S105 On the other hand, if it is determined in step S101 that the photographing process (pressing the release button) has not been executed, the process proceeds to step S105.
  • the control unit 110 continuously outputs a synchronization signal at a specified output interval (for example, 8.3 msec) to the image sensor.
  • the exposure start time of the recording image (CAP image) in the image sensor 102 is set at the end of the exposure preparation process (20 msec) for a certain period after the photographing operation (release operation). Therefore, the photographer can reliably capture and record an image at a target timing by performing an image taking a certain release lag (20 msec in this example) into consideration.
  • FIG. 12 illustrates a configuration example of the imaging apparatus 200 having a configuration different from the configuration illustrated in FIG. 4 that can execute the processing of the present disclosure.
  • An imaging apparatus 200 illustrated in FIG. 12 includes an optical lens 101, an imaging element device 210, a signal processing unit (signal processing LSI) 104, a memory 105, a display unit (LCD / EVF) 106, a recording unit 107, an operation unit 108, and a control unit. 110.
  • the configuration other than the image sensor device 210 is the same as the configuration described above with reference to FIG.
  • An imaging element device 210 of the imaging apparatus 200 illustrated in FIG. 12 includes an imaging element 211, an AD conversion unit 212, and a memory 213.
  • Light incident through the optical lens 101 enters an image sensor 211 of the image sensor device 210, for example, an image sensor 211 constituted by a CMOS image sensor or the like.
  • the image sensor 211 receives image data obtained by photoelectric conversion using the same image sensor.
  • the data is output to the AD conversion unit 212 configured in 210.
  • the AD conversion unit 212 in the imaging device 210 executes A / D conversion of an input signal, that is, processing for converting an analog signal into a digital signal, and the converted digital value is configured in the same imaging device 210. Store in the memory 213.
  • a signal processing unit (signal processing LSI) 104 inputs digital data stored in the memory 213 of the imaging device 210 and performs signal processing. The following process is the same as the process of the imaging apparatus 100 described above with reference to FIG.
  • An imaging apparatus 200 illustrated in FIG. 12 is characterized by including an imaging device 210 having an imaging element 211, an AD conversion unit 212, and a memory 213.
  • the imaging device 210 receives a control signal and a synchronization signal from the control unit 110, and performs update processing such as start, change, and end of processing based on the synchronization signal.
  • the exposure process (b) in the timing charts shown in FIGS. 5 to 8 is a process executed by the imaging device 211 of the imaging device 210 shown in FIG. Further, (c) AD conversion processing is processing executed by the AD conversion unit 212 of the imaging device 210 shown in FIG.
  • the technology disclosed in this specification can take the following configurations.
  • the controller is At the end timing of the exposure preparation process started in response to the shooting operation, control is performed to output the first additional synchronization signal to the image sensor,
  • the image pickup device starts exposure processing of a shot image corresponding to the shooting operation in response to an input of the first additional synchronization signal.
  • control unit At the end timing of the exposure period of the exposure processing of the captured image, control to output a second additional synchronization signal to the image sensor, The imaging device according to (1), wherein the imaging device starts outputting a photoelectric conversion signal obtained by an exposure process in response to the input of the second additional synchronization signal.
  • control unit The image pickup apparatus according to (1) or (2), wherein before outputting the first additional synchronization signal, control is performed to output the synchronization signal to the image sensor at a specified output interval.
  • control unit The imaging apparatus according to (2), wherein after the second additional synchronization signal is output, control is performed to output the synchronization signal to the imaging element at a specified output interval.
  • control unit The imaging apparatus according to any one of (1) to (4), wherein an end timing of the exposure period is determined based on user setting information.
  • the image sensor The imaging apparatus according to any one of (2) to (6), wherein processing for outputting a photoelectric conversion signal obtained by exposure processing to an AD conversion unit is started in response to input of the second additional synchronization signal.
  • the control unit The exposure preparation process is started in response to detection of a photographing operation on the operation unit, and control is performed to output a first additional synchronization signal to the image sensor at the end timing of the exposure preparation process (1) to (7).
  • the imaging device according to any one of the above.
  • the imaging device includes: A signal processing unit that generates a recording image and a display image for the display unit based on an output signal of the imaging element; The signal processing unit When the shooting operation is not executed, the display image generation process is executed, The imaging apparatus according to any one of (1) to (8), wherein when the photographing operation is executed, the recording image and the display image are generated.
  • the imaging device includes: A display unit for displaying a display image based on an output signal of the image sensor;
  • the controller is The imaging apparatus according to any one of (1) to (9), wherein output control of a synchronization signal that defines display image switching timing is performed on the display unit.
  • the control unit After the exposure period of the exposure processing of the captured image, An image sensor input synchronization signal that defines the processing timing of the image sensor; The control according to any one of (1) to (10), wherein the relationship of the input timing with the display unit input synchronization signal that defines the display image switching timing of the display unit is returned to the relationship before the photographing processing of the photographed image.
  • Imaging device After the exposure period of the exposure processing of the captured image, An image sensor input synchronization signal that defines the processing timing of the image sensor; The control according to any one of (1) to (10), wherein the relationship of the input timing with the display unit input synchronization signal that defines the display image switching timing of the display unit is returned to the relationship before the photographing processing of the photographed image.
  • the image sensor An AD conversion unit that performs an AD conversion process on an output signal of the image sensor;
  • the imaging apparatus according to any one of (1) to (11), configured in an imaging device including a memory that stores a digital signal generated by the AD conversion unit as a component.
  • An image capturing control method executed in the imaging apparatus The imaging device An image sensor; A control unit that performs output control of a synchronization signal that defines processing timing of the image sensor; The control unit is At the end timing of the exposure preparation process started in response to the shooting operation, control is performed to output the first additional synchronization signal to the image sensor, The image pickup control method, wherein the image pickup device starts exposure processing of a shot image corresponding to the shooting operation in response to an input of the first additional synchronization signal.
  • a program for executing an image capturing control process in the imaging apparatus The imaging device An image sensor; A control unit that performs output control of a synchronization signal that defines processing timing of the image sensor; The program is stored in the control unit. At the end timing of the exposure preparation process started in response to the shooting operation, control is performed to output the first additional synchronization signal to the image sensor, A program for causing the image sensor to start exposure processing of a photographed image corresponding to the photographing operation in response to the input of the first additional synchronization signal.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • the program recording the processing sequence is installed in a memory in a computer incorporated in dedicated hardware and executed, or the program is executed on a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in advance on a recording medium.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet and installed on a recording medium such as a built-in hard disk.
  • the various processes described in the specification are not only executed in time series according to the description, but may be executed in parallel or individually according to the processing capability of the apparatus that executes the processes or as necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to being in the same casing.
  • an apparatus and a method that can capture an image according to the timing of a shooting operation with a constant release time lag are realized.
  • an imaging device and a control unit that performs output control of a synchronization signal that defines the processing timing of the imaging device are included, and the control unit finishes the exposure preparation process that is started in response to a shooting operation.
  • the first additional synchronization signal is output to the image sensor.
  • the imaging device starts exposure processing of the captured image corresponding to the imaging operation.
  • control unit outputs the second additional synchronization signal to the image sensor at the end timing of the exposure period of the exposure processing of the captured image, and the image sensor performs the exposure process according to the input of the second additional synchronization signal. Output of the obtained photoelectric conversion signal is started.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法を提供する。撮像素子と、撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、制御部は、撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を撮像素子に出力する。撮像素子は、第1追加同期信号の入力に応じて、撮影操作に対応する撮影画像の露光処理を開始する。さらに、制御部は、記撮影画像の露光処理の露光期間の終了タイミングにおいて、第2追加同期信号を撮像素子に出力し、撮像素子は、第2追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する。

Description

撮像装置、および画像撮影制御方法、並びにプログラム
 本開示は、撮像装置、および画像撮影制御方法、並びにプログラムに関する。特に、画像撮影タイミングに応じた画像を撮影し記録可能とする撮像装置、および画像撮影制御方法、並びにプログラムに関する。
 カメラ(撮像装置)を用いて画像撮影を行う場合、例えば、撮影者はカメラのLCD表示部やEVF(electric viewfinder)等の表示部に表示された画像を確認し、撮影タイミングを決定して、レリーズボタン(シャッターボタン)を押下する。
 しかし、レリーズボタン(シャッターボタン)を押下して、実際にカメラの撮像素子の露光処理が開始されるまでには、一定のタイムラグ(時間遅れ)がある。
 このタイムラグは、レリーズタイムラグ、あるいはレリーズラグと呼ばれる。
 レリーズラグは、カメラによって多少の差はあるが、多くのカメラにおいて、レリーズラグは、約15msec~30msecの時間範囲にある。
 なお、レリーズラグについて開示した従来技術として、例えば特許文献1(特開2008-141236号公報)がある。
 移動しない静止被写体を撮影する場合には、レリーズボタン(シャッターボタン)を押下したタイミングと、レリーズラグ経過後の被写体に大きな変化が発生しないため、撮影者が意図した被写体画像を記録画像としてカメラのメモリに記録することができる。
 しかし、例えば、高速で移動する被写体を撮影する場合、レリーズボタン(シャッターボタン)を押下したタイミングの被写体と、レリーズラグ経過後の被写体は、大きく異なる場合がある。このような場合には、撮影者が意図した被写体画像と異なる画像がカメラのメモリに記録されることになる。
 一般的なユーザは、このレリーズラグを気にすることなく撮影を行っているが、例えばプロのカメラマン等は、使用するカメラのレリーズラグを考慮した上で撮影処理を行うことが多い。すなわち、カメラのLCD表示部やEVF(electric viewfinder)等の表示部の表示画像を確認し、さらに、レリーズラグを考慮して、レリーズボタン(シャッターボタン)の押下タイミングを押下する。
 具体的には、カメラの表示部の表示画像を確認し、さらに、レリーズラグ経過後の画像を推定して、その推定画像が撮影できるように、推定画像の直前のタイミングで、レリーズボタン(シャッターボタン)を押下するといった撮影処理を行う。
 しかし、このようにレリーズボタン(シャッターボタン)の押下タイミングを制御して、撮影者の想定した画像を撮影するためには、レリーズラグの時間が常に一定であるということが条件となる。
 ところが、実際には、レリーズラグの時間は、レリーズボタンの押下タイミングによって異なってしまう場合がある。
 これは、例えば撮像素子の処理タイミングが、一定間隔の同期信号によって規定されてしまうことに起因する。
特開2008-141236号公報
 本開示は、例えば、上記の問題点に鑑みてなされたものであり、レリーズボタン(シャッターボタン)の押下タイミングを確実に反映した画像を撮影することを可能とした撮像装置、および画像撮影制御方法、並びにプログラムを提供することを目的とする。
 すなわち、レリーズボタン(シャッターボタン)の押下タイミングから一定の固定期間経過後に露光処理を確実に開始させる撮像装置、および画像撮影制御方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 撮像素子と、
 前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
 前記制御部は、
 撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行い、
 前記撮像素子は、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する撮像装置にある。
 さらに、本開示の第2の側面は、
 撮像装置において実行する画像撮影制御方法であり、
 前記撮像装置は、
 撮像素子と、
 前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
 前記制御部が、
 撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行い、
 前記撮像素子は、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する画像撮影制御方法にある。
 さらに、本開示の第3の側面は、
 撮像装置において画像撮影制御処理を実行させるプログラムであり、
 前記撮像装置は、
 撮像素子と、
 前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
 前記プログラムは、前記制御部に、
 撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行わせ、
 前記撮像素子に、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。
 具体的には、例えば、撮像素子と、撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、制御部は、撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を撮像素子に出力する。撮像素子は、第1追加同期信号の入力に応じて、撮影操作に対応する撮影画像の露光処理を開始する。さらに、制御部は、記撮影画像の露光処理の露光期間の終了タイミングにおいて、第2追加同期信号を撮像素子に出力し、撮像素子は、第2追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する。
 これらの処理により、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
撮像装置における画像の撮影、表示処理、および記録処理におけるデータ処理シーケンスについて説明する図である。 撮像装置の表示部に表示用画像(LV画像)を表示し、その間に、撮影処理を行い、記録用画像(CAP画像)の記録処理を行った場合の処理シーケンスを説明するタイミングチャートを示す図である。 撮影タイミングによりレリーズラグが変化してしまう問題について説明する図である。 撮像装置の構成例について説明する図である。 撮影処理が実行された場合の記録用画像(CAP画像)の生成シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像(CAP画像)の生成シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像(CAP画像)の生成と画像表示シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像(CAP画像)の生成と画像表示シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像(CAP画像)の生成と画像表示シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像(CAP画像)の生成と画像表示シーケンスについて説明する図である。 撮像装置の実行する処理シーケンスを説明するフローチャートを示す図である。 撮像装置の構成例について説明する図である。
 以下、図面を参照しながら本開示の撮像装置、および画像撮影制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
 1.撮像装置における画像の撮影、表示処理、および記録処理の概要について
 2.撮影タイミングによりレリーズラグが変化してしまう問題について
 3.撮影実行タイミングに応じた撮影画像を取得可能とした実施例について
 4.撮像装置の実行する処理のシーケンスについて
 5.その他の実施例について
 6.本開示の構成のまとめ
  [1.撮像装置における画像の撮影、表示処理、および記録処理の概要について]
 まず、図1以下を参照して、撮像装置における画像の撮影、表示処理、および記録処理の概要について説明する。
 図1には、撮像装置における以下の処理例を示している。
 (1)撮影処理非実行時(ライブビュー画像(LV)表示処理実行時)のデータ処理例
 (2)撮影処理実行時(キャプチャ画像(CAP)記録処理実行時)のデータ処理例
 なお、ライブビュー画像(LV)とは、撮像装置の表示部、例えばLCDや、EVF等、撮影者が確認可能な表示部に表示される画像である。スルー画とも呼ばれ、撮影処理の実行、非実行に関わらず、継続的に表示部に表示される画像である。
 一方、キャプチャ画像(CAP)とは、撮影者が、撮像装置のレリーズボタン(シャッターボタン)を操作することで撮影される画像である。キャプチャ画像(CAP)は、撮像措置の記録部(メディア)に記録される。
 なお、一般的に、キャプチャ画像(CAP)は、撮像素子の画素数を反映した高画素数の高解像度画像として取得され、記録されるが、ライブビュー画像(LV)は、表示部の表示可能な画素数に合わせた低画素の画像として取得されて表示される。
 すなわち、ライブビュー画像(LV)は、キャプチャ画像(CAP)より低画素の画像となる。
 図1に示す(1)撮影処理非実行時(ライブビュー画像(LV)表示処理実行時)のデータ処理例について説明する。
 光学レンズ11を介して入射される光は撮像部、例えばCMOSイメージセンサなどによって構成される撮像素子12に入射し、光電変換による画像データを出力する。なお、この場合の出力画像は、表示部21に表示するための表示用画像(LV画像)である。
 以下において、表示部に表示するための画像を、表示用画像、またはLV画像と呼び、一方、撮影記録用の画像を記録用画像、またはキャプチャ画像、またはCAP画像と呼ぶ。
 撮像素子12は、表示部に表示するための表示用画像(LV画像)を出力する際は、撮像素子の全画素データの出力を行うことなく、一部を間引いた低画素数の画像出力を行う。
 撮影処理が実行された場合には、高画素数の記録用画像を生成する必要があるため、撮像素子のほぼ全画素データの出力を行う。
 図1に示す(1)撮影処理非実行時(ライブビュー画像(LV)表示処理実行時)には、撮像素子12は、低画素数の出力画像(LV画像)をAD変換部13に入力する。
 AD変換部13は、入力信号のA/D変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を信号処理部(信号処理LSI)14に入力する。
 信号処理部14は、例えばホワイトバランス(WB)調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像、すなわち、表示部21に表示するための画像(LV画像)を生成してメモリ15に格納する。
 表示部21は、メモリ15に格納されたLV画像を表示する。
 表示部21は、例えばLCDやEVF等によって構成され、撮影者が確認することができる。
 次に、図1に示す(2)撮影処理実行時(キャプチャ画像(CAP)記録処理実行時)のデータ処理例について説明する。
 撮影者が、レリーズボタン(シャッターボタン)を操作(押下)すると、この(2)の処理が行われることになる。
 撮影者が、レリーズボタン(シャッターボタン)を操作(押下)すると、光学レンズ11を介して入射される光は撮像部、例えばCMOSイメージセンサなどによって構成される撮像素子12に入射し露光処理が開始される。
 ただし、前述したように、レリーズボタン(シャッターボタン)を押下後、撮像素子12における露光処理が開始されるまでには一定の時間間隔、すなわち、レリーズラグ(レリーズタイムラグ)がある。
 前述したように、レリーズラグは、カメラによって多少の差はあるが、多くのカメラにおいて、約15msec~30msecの時間となる。
 撮像素子12における露光処理が終了すると、撮像素子12は、光電変換による画像データをAD変換部13に出力する。なお、この場合の出力画像は、記録部22に記録、保存するための記録用画像(CAP画像)である。
 記録用画像(CAP画像)は、撮像素子12の画素数を反映した高画素の画像である。(1)を参照して説明した表示用画像(LV画像)より画素数の多い高画素画像となる。
 図1では、(1)に示すLV画像の矢印を細く、(2)に示すCAP画像の矢印を太く示し、画素数の高低を矢印の太さで示している。
 AD変換部13は、入力信号のA/D変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を信号処理部(信号処理LSI)14に入力する。
 信号処理部14は、例えばホワイトバランス(WB)調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像を生成する。
 この場合、信号処理部14は、記録部22に格納するための高画素の記録用画像(CAP画像)を生成するとともに、さらに、表示部21に表示するための表示用画像(LV画像)も併せて生成してメモリ15に格納する。
 記録部22には、メモリ15に格納された高画素の記録用画像(CAP画像)を格納する。
 一方、表示部21は、メモリ15に格納された低画素の表示用画像(LV画像)を表示する。
 以上が、撮像装置における撮影実行時と非実行時の処理の概要である。
 次に、これらの処理の時間的な流れについて、図2以下に示すタイミングチャートを参照して説明する。
 図2は、撮像装置の表示部に表示用画像(LV画像)を表示し、その間に、撮影処理を行い、記録用画像(CAP画像)の記録処理を行った場合の処理シーケンスを説明するタイミングチャートである。
 左から右に時間が経過する。
 図2には、以下の(a)~(g)の処理タイミングを個別に示している。
 (a)撮像素子入力同期信号
 (b)露光処理
 (c)AD変換処理
 (d)表示画像生成処理
 (e)記録画像生成処理
 (f)表示部入力同期信号
 (g)表示部表示画像
 (a)撮像素子入力同期信号は、撮像装置の制御部の制御によって撮像素子12に入力される同期信号である。本例では8.3msecごとの同期信号が、撮像素子12に入力される設定である。
 撮像素子12は、この同期信号の入力に応じて、様々な処理の開始や、処理の切り換え等の実行処理の更新を行う。例えば、同期信号は、撮像素子12における表示用画像(LV画像)の露光処理開始、または終了処理のトリガとなり、さらにAD変換処理開始や、表示画像生成処理開始のトリガとなる。
 なお、図2に示す例では、撮像素子12における表示用画像(LV画像)の露光処理は、同期信号(ta2,ta4,・・・)の入力時に開始する設定ではなく、同期信号入力から所定クロック経過後に開始する設定である。
 (b)露光処理は、撮像素子12における露光処理を示す。各三角形に示すLV1、LV2、LV3・・は、表示部21に表示する表示用画像(LV画像)の露光処理を示している。CAPは、記録部22に記録するための記録用画像(CAP画像)の露光処理を示している。
 各三角形の左端が露光開始時間、右端が露光終了時間に相当する。
 (c)AD変換処理は、撮像素子12において露光が完了した画像を撮像素子11から入力するAD変換部13の実行するAD変換処理である。
 (d)表示画像生成処理は、AD変換部13におけるAD変換処理結果としてのデジタル信号を入力する信号処理部14が実行する表示用画像(LV画像)の生成処理である。
 なお、(c)AD変換処理と、(d)表示画像生成処理については、図2に示すタイミングチャートにおいて並列に実行される設定で示してある。
 例えばLV1に対する処理ボックスとして2つのボックスを同一のタイミングに並べて示してある。
 これは、AD変換部13においてAD変換されたデータが、順次、信号処理部14に入力され、信号処理部14においてAD変換部13からの入力データについて、順次、表示画像生成が実行されることを示しているものである。実際は、(c)AD変換処理が、やや先行して開始され、(d)表示画像生成処理がやや遅れて開始され、終了する。
 (e)記録画像生成処理は、AD変換部13におけるAD変換処理結果としてのデジタル信号を入力する信号処理部14が実行する記録用画像(CAP画像)の生成処理である。
 図2には、(a)撮像素子入力同期信号=ta5以降に横長の矩形ボックスとして示している。
 これは、高画素の記録画像(CAP画像)の生成に時間を要することを意味するものである。
 (f)表示部入力同期信号は、撮像装置の制御部の制御によって表示部21に入力される同期信号である。本例では16.6msecごとの同期信号が、表示部21に入力される設定である。
 表示部21は、この同期信号の入力に応じて、表示画像の切り換え等の処理を行う。
 (g)表示部表示画像は、表示部21に表示される画像を示したものである。
 LV1,LV2・・は、表示画像の画像フレーム1,2に対応し、16.6msec間隔で表示フレームが切り換えられることを意味する。すなわち、表示部21には、ライブビュー画像(スルー画像)による動画像の表示がなされる。
 次に、(b)露光処理の詳細について説明する。
 (b)露光処理は、撮像素子12における露光処理である。
 撮影者によるレリーズボタンが押下されず、撮影処理が実行されていない場合は、撮像素子12は、表示部21に表示するための表示用画像(LV画像)の露光処理を行う。
 図の(b)露光処理に示す各三角形のLV1、LV2、LV3・・が、表示部21に表示する表示用画像(LV画像)の各画像フレームの露光処理を示している。
 図に示す例において、第1の表示用画像フレーム(LV1)は、(a)撮像素子入力同期信号(ta1)の入力までに完了し、その後、ta3,ta5,ta7・・・16.6msec間隔で、露光画像を切り換える設定となっている。
 なお、図に示す例では、同期信号(ta5)入力時に記録用画像(CAP画像)の露光が完了する設定となっている。
 これは、撮影者によるレリーズボタンの押下によって行われる処理であり、撮影者によるレリーズボタン押下がない場合は、この同期信号(ta5)入力時にも表示用画像(LV3)の露光が完了する設定となる。
 表示用画像(LV)の露光から、表示処理までのシーケンスについて説明する。
 一例として、図2に示す第2の表示用画像フレーム(LV2)に示す点線に従って処理シーケンスを説明する。
 図2の(b)露光処理に示すように、第2の表示用画像フレーム(LV2)は、撮像素子12において、(a)撮像素子入力同期信号(ta3)の入力までに完了する。
 撮像素子12は、(a)撮像素子入力同期信号(ta3)の入力に応じて、撮像素子12の露光結果として得られる光電変換信号をAD変換部13に出力する。
 (a)撮像素子入力同期信号(ta3)以後は、図の(c)AD変換処理、(d)表示画像生成処理に示すように、AD変換部13におけるAD変換処理と、信号処理部14における表示画像生成処理が行われる。
 (d)表示画像生成処理に示す表示用画像(LV2)の生成処理が完了すると、表示用画像(LV2)はメモリ16に格納され、その後、表示部21に出力される。
 先に説明したように、表示部21は、(f)表示部入力同期信号の入力に応じて表示画像を更新する。
 図から理解されるように、(d)表示画像生成処理に示す表示用画像(LV2)の生成処理の完了後の最も早い(f)表示部入力同期信号は、同期信号(tb2)である。
 表示部21は、この同期信号(tb2)の入力をトリガとして、表示画像を先行フレーム対応の表示用画像(LV1)から次フレーム対応の表示用画像(LV2)に切り換えて表示を行う。
 表示部21は、この表示画像切り換え処理を定期的、図に示す例では16.6msec間隔で実行する。この処理により、表示部21には、16.6msecごとに画像フレームが切り替わる動画像の表示が行われることになる。
 次に、図に示す(a)撮像素子入力同期信号(ta5)入力時に露光処理が完了する記録用画像(CAP画像)の処理について説明する。
 (a)撮像素子入力同期信号(ta5)入力時に露光処理が完了する記録用画像(CAP画像)は、1つ前の撮像素子入力同期信号(ta4)以前のレリーズボタンの操作によって行われる記録用画像(CAP画像)の露光処理である。
 具体的には、撮像素子入力同期信号(ta4)以前のレリーズボタンの操作から、所定のレリーズタイムラグ経過後の最初の(a)撮像素子入力同期信号の入力後に記録用画像(CAP画像)の露光処理が開始される。
 この処理タイミングについては、図3を参照して後段で説明する。
 まず、図2を参照して、(a)撮像素子入力同期信号(ta5)入力時に露光処理が完了する記録用画像(CAP画像)のその後の処理について説明する。
 記録用画像(CAP画像)については、図2に示すように、(b)露光処理が、(a)撮像素子入力同期信号(ta5)入力までに完了する。
 (a)撮像素子入力同期信号(ta5)以後は、図2の(c)AD変換処理、(d)表示画像生成処理に示すように、AD変換部13におけるAD変換処理と、信号処理部14における表示画像生成処理が行われる。
 AD変換部13における(c)AD変換処理(capAD)は、高画素の記録用画像(CAP画像)に対する処理となり、低画素の表示用画像(LV画像)より、処理時間が長くなる。
 信号処理部14は、AD変換部13におけるAD変換結果データである高画素の記録用画像(CAP画像)対応のデジタルデータを用いて、高画素の記録用画像(CAP画像)の生成処理と、低画素の表示用画像(LV画像)を実行する。
 この処理が、図2に示す(a)撮像素子入力同期信号(ta5~ta6)の間の処理である。
 (d)表示画像生成処理として示す(LV3)、
 (e)記録画像生成処理として示す(CAP)
 これらの処理である。
 (e)記録画像生成処理として示す(CAP)は高画素の記録用画像生成処理であり、処理時間が長くなる。
 また、(d)表示画像生成処理として示す(LV3)は、AD変換部13におけるAD変換結果データである高画素の記録用画像(CAP画像)から、画素間引き等の処理を行い、表示用の低画素の画像を生成する処理として実行される。
 この処理は、図から理解されるように、表示部入力同期信号(tb3)までに完了する設定とされ、16.6msec間隔の表示画像のフレーム切り換えに間に合うように処理が行われる。
  [2.撮影タイミングによりレリーズラグが変化してしまう問題について]
 次に、撮影タイミングによりレリーズラグが変化してしまう問題について説明するる。
 図3を参照して、この問題点について説明する。
 図3は、先に説明した図2と同様、撮像装置の表示部に表示用画像(LV画像)を表示し、その間に、撮影処理を行い、記録用画像(CAP画像)の記録処理を行った場合の処理シーケンスにおけるタイミングチャートである。
 左から右に時間が経過する。
 図3には、図2と同様、以下の(a)~(e)の処理タイミングを個別に示している。
 (a)撮像素子入力同期信号
 (b)露光処理
 (c)AD変換処理
 (d)表示画像生成処理
 (e)記録画像生成処理
 図3には、さらに、(a)撮像素子入力同期信号(ta1)~(ta2)の期間に行われた2つの異なるタイミングの撮影操作として、
 撮影操作1(レリーズ操作1)(ts1)、
 撮影操作2(レリーズ操作2)(ts2)、
 これら異なるタイミングの2つの撮影操作を示している。
 これは、撮影者がレリーズボタンを押下したタイミングに相当する。
 時間(ts1)において撮影操作1(レリーズ操作1)が実行され、その後、時間(ts2)において撮影操作2(レリーズ操作2)が行われている。
 撮影者は、それぞれのタイミングに応じた異なるタイミングの異なる画像が撮影、記録できていると考える。
 しかし、結果として撮影、記録される画像は、撮影操作1(レリーズ操作1)の場合と、撮影操作2(レリーズ操作2)の場合とで同じ画像になってしまう。
 この要因について、図3を参照して説明する。
 前述したように、レリーズボタン(シャッターボタン)を押下後、撮像素子12における露光処理が開始されるまでには一定の時間遅れ、すなわち、レリーズラグ(レリーズタイムラグ)がある。
 前述したように、レリーズラグは、カメラによって多少の差はあるが、多くのカメラにおいて、約15msec~30msecの時間となる。
 前述したように、プロのカメラマン等は、カメラの表示部の表示画像を確認し、さらに、レリーズラグ経過後の画像を推定して、その推定画像を撮影するように、レリーズボタン(シャッターボタン)の押下タイミングを押下するといった処理を行う。
 しかし、このようにレリーズボタン(シャッターボタン)の押下タイミングを制御して、撮影者の想定した画像を撮影するためには、レリーズラグが常に一定であるということが条件となる。
 ところが、実際には、レリーズラグは、レリーズボタンの押下タイミングによって異なってしまう場合がある。
 これは、例えば撮像素子の処理タイミングが、一定間隔の同期信号によって規定されてしまうことに起因する。
 この具体例について、図3を参照して説明する。
 時間(ts1)において撮影操作1(レリーズ操作1)が実行されると、所定の露光準備処理が開始される。
 この露光準備処理は、例えば制御部から、撮像素子や信号処理部に対する制御信号の出力処理や、撮像素子や信号処理部における制御信号に基づく設定処理等に要する時間であり、ほぼ一定の時間である。
 本実施例では、この露光準備処理時間を20msecとする。
 この露光準備処理時間を20msecは、レリーズラグの最小値に相当し、レリーズラグは露光準備処理時間(20msec)以下にすることはできない。
 時間(ts1)において撮影操作1(レリーズ操作1)が実行されると、露光準備処理が開始され、時間(ts1)から20msec経過後に露光準備処理が終了する。
 図3に示す[露光準備処理1(20msec)]のボックスの右端に示す時間(ts1e)に露光準備処理が終了する。
 しかし、この[露光準備処理1(20msec)]の終了時点(ts1e)において、即座に撮像素子12における露光処理は開始されない。
 撮像素子12は、(a)撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、[露光準備処理1(20msec)]の終了時点(ts1e)以後の最初の(a)撮像素子入力同期信号である同期信号(ta4)の入力以後に露光処理が開始される。
 なお、撮像素子12は、同期信号(ta4)の次の(ta5)までに露光処理を完了させるように露光期間を設定する。
 露光期間は、例えば、ユーザ(撮影者)の設定したシャッタースピード等に基づいて決定される。
 図3に示す例では、(b)露光処理に示す(CAP)、すなわち同期信号(ta5)において露光完了となるように露光期間が設定されて撮影画像201の露光処理が行われることになる。
 次に、時間(ts1)より遅れたタイミングである、時間(ts2)において撮影操作2(レリーズ操作2)が実行された場合の撮影画像について説明する。
 時間(ts2)において撮影操作2(レリーズ操作2)が実行されると、露光準備処理が開始され、時間(ts2)から20msec経過後に露光準備処理が終了する。
 図3に示す[露光準備処理2(20msec)]のボックスの右端に示す時間(ts2e)に露光準備処理が終了する。
 しかし、この[露光準備処理2(20msec)]の終了時点(ts2e)において、即座に撮像素子12における露光処理は開始されない。
 前述したように、撮像素子12は、(a)撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、[露光準備処理2(20msec)]の終了時点(ts2e)以後の最初の(a)撮像素子入力同期信号である同期信号(ta4)の入力以後に露光処理が開始される。
 前述したと同様、撮像素子12は、同期信号(ta4)の次の(ta5)までに露光処理を完了させるように露光期間を設定する。
 露光期間は、例えば、ユーザ(撮影者)の設定したシャッタースピード等に基づいて決定される。
 図3に示す例では、(b)露光処理に示す(CAP)、すなわち同期信号(ta5)において露光完了となるように露光期間が設定されて撮影画像201の露光処理が行われることになる。
 このように、異なるタイミングの撮影操作1(レリーズ操作1)と、撮影操作2(レリーズ操作2)のいずれの場合も、撮像素子の露光期間は、同期信号(ta4)の次の(ta5)までに露光処理が完了するように設定された露光期間となり、結果として、撮影、記録される画像は、撮影操作1(レリーズ操作1)の場合と、撮影操作2(レリーズ操作2)の場合とで同じ画像になる。
 これは、撮影タイミング、すなわちレリーズボタンの操作タイミングをずらしても撮影画像(記録画像)が同じになってしまうことを意味し、例えば、高速で移動する被写体を撮影する場合、ユーザが撮影しようとしたタイミングの画像の撮影が不可能になるという問題を発生させることになる。
  [3.撮影実行タイミングに応じた撮影画像を取得可能とした実施例について]
 次に、上述した問題点を解決し、撮影実行タイミングに応じた撮影画像を取得可能とした実施例について説明する。
 まず、図4を参照して本実施例に係る撮像装置100の構成例について説明する。
 図4に示す撮像装置100は、光学レンズ101、撮像素子102、AD変換部103、信号処理部(信号処理LSI)104、メモリ105、表示部(LCD/EVF)106、記録部107、操作部108、制御部110を有する。
 操作部108は、例えばレリーズボタン(シャッターボタン)や、撮影態様、撮影モードの設定、表示部106の表示画像の設定などのユーザ入力を行うための操作部である。
 なお、表示部106をタッチパネル形式としてユーザ操作部として利用することも可能である。
 制御部110は、撮像素子102~記録部107に対する制御信号や同期信号を入力し、各構成部の処理の実行タイミングの制御等、様々な処理制御を実行する。
 例えば、撮像素子102の処理タイミングを規定する同期信号の出力制御や、表示部106の表示画像の切り換えタイミングを規定する同期信号の出力制御等を実行する。
 制御部110は、具体的には、図示しない記憶部に格納されたプログラムに従った処理を実行するCPU等によって構成される。
 プログラムは、例えば、画像撮影、画像記録、画像表示処理の制御プログラム、同期信号出力制御プログラム等によって構成される。
 光学レンズ101を介して入射される光は撮像部、例えばCMOSイメージセンサなどによって構成される撮像素子102に入射し、光電変換による画像データを出力する。なお、撮像素子102の出力画像は、撮影処理が実行されていない場合は、表示部106に表示するための低画素の表示用画像(LV画像)であり、撮影処理が実行された場合は、記録部107に格納するための高画素の記録用画像(CAP画像)となる。
 撮像素子102からの出力画像はAD変換部103に入力される。
 AD変換部103は、入力信号のA/D変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を信号処理部(信号処理LSI)104に入力する。
 信号処理部104は、例えばホワイトバランス(WB)調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像、すなわち、表示部106に表示するための表示用画像(LV画像)、または、記録部107に格納するための記録用画像(CAP画像)の少なくともいずれかを生成してメモリ105に格納する。
 表示部106は、メモリ105に格納された表示用画像(LV画像)を表示する。
 表示部106は、例えばLCDやEVF等によって構成され、撮影者が確認することができる。
 また、記録部107は、メモリ105に格納された記録用画像(CAP画像)を格納する。
 次に、図5、図6を参照して、撮影処理が実行された場合の記録用画像(CAP画像)の生成シーケンスについて説明する。
 図5、図6は、先に図3を参照して説明した2つの異なる撮影操作を行った場合に記録される画像の露光処理を説明する図である。
 図5は、図3を参照して説明した時間(ts1)の撮影操作1(レリーズ操作1)を行った場合の記録画像(CAP画像)の露光処理と記録画像生成処理を説明する図である。
 図6は、図3を参照して説明した時間(ts2)の撮影操作2(レリーズ操作2)を行った場合の記録画像(CAP画像)の露光処理と記録画像生成処理を説明する図である。
 まず、図5を参照して、時間(ts1)の撮影操作1(レリーズ操作1)を行った場合の(CAP画像)の露光処理と記録画像生成処理を説明する。
 図5は、先に説明した図3と同様、撮像装置の表示部に表示用画像(LV画像)を表示し、その間に、撮影処理を行い、記録用画像(CAP画像)の記録処理を行った場合の処理シーケンスにおけるタイミングチャートである。
 左から右に時間が経過する。
 図5には、図3と同様、以下の(a)~(e)の処理タイミングを個別に示している。
 (a)撮像素子入力同期信号
 (b)露光処理
 (c)AD変換処理
 (d)表示画像生成処理
 (e)記録画像生成処理
 図5には、さらに、(a)撮像素子入力同期信号(ta1)~(ta2)の期間に行われた撮影操作1(レリーズ操作1)(ts1)を示している。
 すなわち、時間ts1は、撮影者がレリーズボタンを押下したタイミングである。
 時間(ts1)において撮影操作1(レリーズ操作1)が実行されると、所定の露光準備処理が開始される。
 前述したように、露光準備処理は、例えば制御部から、撮像素子や信号処理部に対する制御信号の出力処理や、撮像素子や信号処理部における制御信号に基づく設定処理等に要する時間であり、ほぼ一定の時間であり、本実施例では、この露光準備処理時間を20msecとする。
 この露光準備処理時間を20msecは、レリーズラグの最小値に相当し、レリーズラグは露光準備処理時間(20msec)以下にすることはできない。
 時間(ts1)において撮影操作1(レリーズ操作1)が実行されると、露光準備処理が開始され、時間(ts1)から20msec経過後に露光準備処理が終了する。
 図5に示す[露光準備処理1(20msec)]のボックスの右端に示す時間(ts1e)に露光準備処理が終了する。
 本実施例では、この[露光準備処理1(20msec)]の終了時点(ts1e)において、即座に撮像素子102における露光処理を開始させる。
 即座に撮像素子102における露光処理を開始させるため、制御部110は、撮像素子102に対して第1追加同期信号(ta-x4)211を出力する。
 前述したように、撮像素子102は、(a)撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、[露光準備処理1(20msec)]の終了時点(ts1e)以後の最初の(a)撮像素子入力同期信号である第1追加同期信号(ta-x4)211に応じて、記録用画像(CAP画像)の露光処理を開始することができる。
 撮像素子102は、制御部110から入力した第1追加同期信号(ta-x4)211に従って、記録用画像(CAP画像)の露光処理を開始する。
 露光期間は、例えば、ユーザ(撮影者)の設定したシャッタースピード等に基づいて決定される。
 制御部110は、このユーザ(撮影者)の設定したシャッタースピード等に基づいて決定される露光期間に応じて露光期間の終了タイミングを判定し、この露光期間の終了タイミングで、さらに、第2追加同期信号(ta-x5)212を撮像素子102に出力する。
 制御部110は、この第2追加同期信号(ta-x5)212の出力後は、規定の間隔の同期信号出力処理に切り換えて同期信号出力処理を継続する。すなわち、制御部110は、第2追加同期信号(ta-x5)212の出力後は、規定の8.3msec間隔の同期信号(ta-x5,ta-x6,ta-x7・・・)を撮像素子102に出力する。
 図に示すように、
 第1追加同期信号(ta-x4)211から、第2追加同期信号(ta-x5)212の期間が、時間(ts1)における撮影操作1(レリーズ操作1)に応じた撮影画像の露光期間、すなわち、図に示す撮影画像露光期間210となる。
 この撮影画像露光期間210の開始位置である第1追加同期信号(ta-x4)211は、撮影操作1(レリーズ操作1)の実行時間(ts1)から露光処理準備期間である20msec経過後の時間となる。
 撮像素子102は、第2追加同期信号(ta-x5)212の入力に応じて、撮像素子102の露光結果として得られる光電変換信号をAD変換部103に出力する。
 その後、第2追加同期信号(ta-x5)212以後において、
 AD変換部103におけるAD変換処理、
 信号処理部104における記録用画像(CAP画像)生成処理と、表示用画像(LV画像)生成処理が実行される。
 なお、信号処理部104における表示用画像(LV画像)生成処理は、第2追加同期信号(ta-x5)212から規定の同期信号間隔(8.3msec)後の同期信号(ta-x6)までの間に完了する設定とされる。
 このように、本実施例においては、
 時間(ts1)において撮影操作1(レリーズ操作1)が実行されると、露光準備処理が開始され、時間(ts1)から20msec経過後に露光準備処理が終了し、この[露光準備処理1(20msec)]の終了時点(ts1e)で、制御部110が、第1追加同期信号(ta-x4)211を撮像素子102に出力する。
 この処理により、撮像素子102は即座に露光処理を開始させることか可能となる。
 すなわち、本構成により、レリーズタイムラグは露光準備処理時間20msecに一致した最短時間となる。
 次に、図6を参照して、図5を参照して説明した時間(ts1)より遅れたタイミングである、時間(ts2)において撮影操作2(レリーズ操作2)が実行された場合の撮影画像について説明する。
 図6には、図5と同様、以下の(a)~(e)の処理タイミングを個別に示している。
 (a)撮像素子入力同期信号
 (b)露光処理
 (c)AD変換処理
 (d)表示画像生成処理
 (e)記録画像生成処理
 図6には、さらに、(a)撮像素子入力同期信号(ta1)~(ta2)の期間に行われた撮影操作2(レリーズ操作2)(ts2)を示している。
 なお、撮影操作2(レリーズ操作2)(ts2)の実行タイミング(ts2)は、図5を参照して説明した撮影操作1(レリーズ操作1)(ts1)の実行タイミング(ts1)より遅いタイミングである。
 これらの操作時間ts1,ts2は、図3を参照して説明した操作時間ts1,ts2と同じである。
 時間(ts2)において撮影操作2(レリーズ操作2)が実行されると、所定の露光準備処理が開始される。
 図5を参照して説明した処理の場合と同様、露光準備処理時間を20msecとする。
 この露光準備処理時間を20msecは、レリーズラグの最小値に相当し、レリーズラグは露光準備処理時間(20msec)以下にすることはできない。
 時間(ts2)において撮影操作2(レリーズ操作2)が実行されると、露光準備処理が開始され、時間(ts2)から20msec経過後に露光準備処理が終了する。
 図6に示す[露光準備処理2(20msec)]のボックスの右端に示す時間(ts2e)に露光準備処理が終了する。
 本実施例では、この[露光準備処理1(20msec)]の終了時点(ts2e)において、即座に撮像素子102における露光処理を開始させる。
 即座に撮像素子102における露光処理を開始させるため、制御部110は、撮像素子102に対して第1追加同期信号(ta-y4)221を出力する。
 前述したように、撮像素子102は、(a)撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、[露光準備処理2(20msec)]の終了時点(ts2e)以後の最初の(a)撮像素子入力同期信号である第1追加同期信号(ta-y4)221に応じて、記録用画像(CAP画像)の露光処理を開始することができる。
 なお、第1追加同期信号(ta-y4)221の出力タイミングは、先に図5を参照して説明した第1追加同期信号(ta-x4)211の出力タイミングより遅れたタイミングである。
 この時間差は、図6に示す撮影操作2(レリーズ操作2)と、図5に示す撮影操作1(レリーズ操作1)の時間差、すなわちts2-ts1に等しくなる。
 すなわち、撮影操作のタイミングのずれに応じて、露光期間もずれて設定されることになる。
 撮像素子102は、制御部110から入力した第1追加同期信号(ta-y4)221に従って、記録用画像(CAP画像)の露光処理を開始する。
 露光期間は、例えば、ユーザ(撮影者)の設定したシャッタースピード等に基づいて決定される。
 制御部110は、このユーザ(撮影者)の設定したシャッタースピード等に基づいて決定される露光期間に応じて、この露光期間の終了タイミングで、さらに、第2追加同期信号(ta-y5)222を撮像素子102に出力する。
 制御部110は、この第2追加同期信号(ta-y5)222の出力後は、規定の間隔の同期信号出力処理に切り換えて同期信号出力処理を継続する。すなわち、制御部110は、第2追加同期信号(ta-y5)222の出力後は、規定の8.3msec間隔の同期信号を撮像素子102に出力する。
 図に示すように、
 第1追加同期信号(ta-y4)221から、第2追加同期信号(ta-y5)222の期間が、時間(ts2)における撮影操作2(レリーズ操作2)に応じた撮影画像の露光期間、すなわち、図に示す撮影画像露光期間220となる。
 この撮影画像露光期間220の開始位置である第1追加同期信号(ta-y4)221は、撮影操作2(レリーズ操作2)の実行時間(ts2)から露光処理準備期間である20msec経過後の時間となる。
 撮像素子102は、第2追加同期信号(ta-y5)222の入力に応じて、撮像素子102の露光結果として得られる光電変換信号をAD変換部103に出力する。
 その後、第2追加同期信号(ta-y5)222以後において、
 AD変換部103におけるAD変換処理、
 信号処理部104における記録用画像(CAP画像)生成処理と、表示用画像(LV画像)生成処理が実行される。
 なお、信号処理部104における表示用画像(LV画像)生成処理は、第2追加同期信号(ta-y5)222から規定の同期信号間隔(8.3msec)後の同期信号(ta-y6)までの間に完了する設定とされる。
 このように、本実施例においては、
 撮像素子102における記録用画像(CAP画像)の露光開始時間を、撮影操作(レリーズ操作)が実行されてから、一定期間の露光準備処理(20msec)が終了した時間に制御する構成としている。
 この結果、撮影操作(レリーズ操作)のタイミングが、わずかでも異なれば、その撮影操作対応の記録用画像(CAP画像)の露光開始時間も異なることになる。
 すなわち、本構成により、先に図3を参照して説明したように、撮影操作(レリーズ操作)のタイミングが異なっても同一の露光画像が生成されて記録されるという問題が解消する。
 撮影者は、一定のレリーズラグ(本例では20msec)を考慮する撮影を行うことで、目的のタイミングの画像を確実に撮影し記録することが可能となる。
 なお、図5、図6には、表示部106に対する画像表示のシーケンスを省略して示しているが、図5、図6を参照して説明した処理を行っても、表示部106の表示画像の表示シーケンスを乱すことはない。
 図7、図8を参照して、図5、図6を参照して説明した処理を実行した場合の表示部106の画像表示のシーケンスについて説明する。
 図7は、図5を参照して説明した撮影処理、すなわち、時間(ts1)において撮影操作1(レリーズ操作1)が実行された場合の処理を示す図である。
 撮像素子102は、第2追加同期信号(ta-x5)212の入力に応じて、撮像素子102の露光結果として得られる光電変換信号をAD変換部103に出力する。
 その後、第2追加同期信号(ta-x5)212以後において、
 AD変換部103におけるAD変換処理、
 信号処理部104における記録用画像(CAP画像)生成処理と、表示用画像(LV画像)生成処理が実行される。
 信号処理部104における表示用画像(LV画像)生成処理は、第2追加同期信号(ta-x5)212から規定の同期信号間隔(8.3msec)後の同期信号(ta-x6)までの間に完了する設定とされる。
 図7から理解されるように、(a)撮像素子同期信号(ta-x6)は、(f)表示部入力同期信号(tb3)より以前のタイミングであり、表示部106における表示用画像(LV2)の表示終了タイミングである(tb3)以前に、信号処理部104は、次の表示用画像(LV3)の生成を完了している。
 従って、表示部106は、時間(tb3)において表示用画像をLV2からLV3に更新することができ、通常の画像表示シーケンス、すなわち16.6msecごとの表示画像フレームの切り換えによる動画像表示を支障なく行うことができる。
 図8は、図6を参照して説明した撮影処理、すなわち、時間(ts2)において撮影操作2(レリーズ操作2)が実行された場合の処理を示す図である。
 撮像素子102は、第2追加同期信号(ta-y5)222の入力に応じて、撮像素子102の露光結果として得られる光電変換信号をAD変換部103に出力する。
 その後、第2追加同期信号(ta-y5)222以後において、
 AD変換部103におけるAD変換処理、
 信号処理部104における記録用画像(CAP画像)生成処理と、表示用画像(LV画像)生成処理が実行される。
 信号処理部104における表示用画像(LV画像)生成処理は、第2追加同期信号(ta-y5)222から規定の同期信号間隔(8.3msec)後の同期信号(ta-y6)までの間に完了する設定とされる。
 図8から理解されるように、(a)撮像素子同期信号(ta-y6)は、(f)表示部入力同期信号(tb3)より以前のタイミングであり、表示部106における表示用画像(LV2)の表示終了タイミングである(tb3)以前に、信号処理部104は、次の表示用画像(LV3)の生成を完了している。
 従って、表示部106は、時間(tb3)において表示用画像をLV2からLV3に更新することができ、通常の画像表示シーケンス、すなわち16.6msecごとの表示画像フレームの切り換えによる動画像表示を支障なく行うことができる。
 このように、図5、図6を参照して説明したように、撮像素子102における露光開始時間を撮影操作から一定の露光準備処理時間(20msec)経過後、即座に実行する構成としても、表示部106の表示画像の表示シーケンスを乱すことはない。
 なお、図7、図8を参照して説明した表示部106の画像表示シーケンスにおいて、
 (a)撮像素子入力同期信号
 (f)表示部入力同期信号
 これら2つの同期信号のタイミングが、記録用画像(CAP画像)の撮影前と撮影後で、ずれが発生している。
 例えば、図7において、記録用画像(CAP画像)の撮影前は、
 (a)撮像素子入力同期信号(ta2)と、(f)表示部入力同期信号(tb1)のタイミングが一致しているが、
 記録用画像(CAP画像)の撮影後では、
 (a)撮像素子入力同期信号(ta10)と、(f)表示部入力同期信号(tb5)とタイミングが一致していない。
 これは、記録用画像(CAP画像)の撮影前と撮影前後で、
 表示用画像(LV画像)の撮影から表示部への表示までの時間の間隔に差が発生していることを意味する。
 このように、表示用画像(LV画像)の撮影、生成処理から実際に表示部において表示画像が表示されるまでの時間が異なるとユーザに対して違和感を与える可能性がある。
 また、撮像素子や、表示部等の各構成部は、各構成部に入力する同期信号に基づいて、様々な処理のタイミングを制御している。従って、各構成部に対して入力する同期信号の関係性が崩れると、処理制御のバリエーションを多く持つ必要があり、管理コストや品質面で不利になる可能性がある。
 このような問題を発生させないためには、例えば、記録用画像(CAP画像)の生成処理が完了した後に、(a)撮像素子入力同期信号と、(f)表示部入力同期信号を、元の関係に戻す制御を行うことが好ましい。
 具体的な例を図9、図10に示す。
 図9は、図7に対応する処理、すなわち、時間(ts1)において撮影操作1(レリーズ操作1)が実行された場合の処理を示す図である。
 図9に示すように、記録用画像(CAP画像)の生成処理が完了した後の、(a)撮像素子入力同期信号(ta-x10)を、(f)表示部入力同期信号(tb5)に一致させるように変更する。
 図9に示す同期信号(ta-x10)251である。
 図10は、図8に対応する処理、すなわち、時間(ts2)において撮影操作2(レリーズ操作2)が実行された場合の処理を示す図である。
 図10に示すように、記録用画像(CAP画像)の生成処理が完了した後の、(a)撮像素子入力同期信号(ta-y10)を、(f)表示部入力同期信号(tb5)に一致させるように変更する。
 図10に示す同期信号(ta-y10)261である。
 この図9、図10に示すように、制御部110は、記録用画像(CAP画像)の生成処理が完了した後、(a)撮像素子入力同期信号のタイミングをずらして、撮像素子入力同期信号251,261を撮像素子に入力する。
 このような処理を行うことで、(a)撮像素子入力同期信号と、(f)表示部入力同期信号のタイミングが、記録用画像(CAP画像)の撮影前と同様の関係に維持されることになる。
 なお、図9、図10では、(a)撮像素子入力同期信号のタイミングを制御する処理を行っているが、、(f)表示部入力同期信号を制御する設定としてもよい。
 また、同期信号の制御タイミングは、記録用画像(CAP画像)生成処理完了後に限らず、記録用画像(CAP画像)生成処理の途中であっても、記録用画像(CAP画像)の露光完了後であれば、どのタイミングで行ってもよい。
  [4.撮像装置の実行する処理のシーケンスについて]
 次に、図11に示すフローチャートを参照して、撮像装置の制御部において実行する撮像素子に対する同期信号出力制御シーケンスについて説明する。
 図11に示すフローは、図4に示す撮像装置100の制御部110において実行する撮像素子102に対する同期信号の出力制御シーケンスを説明するフローである。
 例えば撮像装置100のメモリに予め格納されたプログラムを、プログラム実行機能を持つプロセッサを有する制御部110が実行してフローに従った処理を実行する。
 以下、順次、各ステップの処理について説明する。
  (ステップS101)
 まず、ステップS101において、撮像装置100の制御部110は、撮影処理が実行されたか、すなわちユーザ(撮影者)によってレリーズボタンが押下されたか否かを判定する。これは、制御部110における操作部108からの入力検出処理として行われる。
 撮影処理(レリーズボタン押下)が実行されたと判定した場合、ステップS102に進み、撮影処理(レリーズボタン押下)が実行されていないと判定した場合は、ステップS105に進む。
  (ステップS102)
 ステップS101において、撮影処理(レリーズボタン押下)が実行されたと判定した場合、ステップS102に進み、ステップS102において、制御部110は、露光準備処理を実行する。
 この露光準備処理は、例えば制御部110から、撮像素子102や信号処理部104に対する制御信号の出力処理や、撮像素子102や信号処理部104における制御信号に基づく設定処理等に要する時間であり、ほぼ一定の時間である。
 本実施例では、この露光準備処理時間を20msecである。
  (ステップS103)
 次に、ステップS103において、制御部110は、露光準備処理終了時点で、撮像素子102に第1追加同期信号を出力する。
 この第1追加同期信号は、図5、図6を参照して説明した第1追加同期信号(ta-x4)(ta-y4)に相当する。
 撮像素子102は、制御部110からの第1追加同期信号の入力に応じて、記録用画像(CAP画像)の露光処理を開始する。
  (ステップS104)
 次に、ステップS104において、制御部110は、ユーザ設定シャッタースピード対応の露光時間の露光処理終了後に、撮像素子に第2追加同期信号を出力し、その後、規定出力間隔(例えば8.3msec)の同期信号を、撮像素子に出力する。
 なお、制御部110は、ユーザ設定シャッタースピード対応の露光時間を予め取得しておく。このユーザ設定シャッタースピード対応の露光時間はメモリに格納されている。
 ステップS104において制御部110が撮像素子102に出力する第2追加同期信号は、図5、図6を参照して説明した第2追加同期信号(ta-x5)(ta-y5)に相当する。
 撮像素子102は、第2追加同期信号の入力に応じて、撮像素子102の露光結果として得られる光電変換信号をAD変換部に出力する。
 その後、第2追加同期信号出力後の処理として、
 AD変換部103におけるAD変換処理、
 信号処理部104における記録用画像(CAP画像)生成処理と、表示用画像(LV画像)生成処理が実行される。
 制御部110は、撮像素子に対する第2追加同期信号の出力後は、規定出力間隔(例えば8.3msec)の同期信号を、撮像素子に継続的に出力する。
  (ステップS105)
 一方、ステップS101において、撮影処理(レリーズボタン押下)が実行されていないと判定した場合f、ステップS105に進む。
 ステップS105において、制御部110は、規定出力間隔(例えば8.3msec)の同期信号を、撮像素子に継続的に出力する。
 この図11に示すフローチャートに従った処理を実行することで、
 撮像素子102における記録用画像(CAP画像)の露光開始時間は、撮影操作(レリーズ操作)後、一定期間の露光準備処理(20msec)終了時点に設定されることになる。
 従って、撮影者は、一定のレリーズラグ(本例では20msec)を考慮する撮影を行うことで、目的のタイミングの画像を確実に撮影し記録することが可能となる。
  [5.その他の実施例について]
 次に、その他の実施例について説明する。
 先に図4を参照して本開示の処理を実行する撮像装置の一例について説明した。
 本開示の処理は、図4に示す撮像装置100の構成と異なる構成を有する撮像装置においても適用可能である。
 図12に本開示の処理を実行可能な図4に示す構成とは異なる構成を有する撮像装置200の構成例を示す。
 図12に示す撮像装置200は、光学レンズ101、撮像素子デバイス210、信号処理部(信号処理LSI)104、メモリ105、表示部(LCD/EVF)106、記録部107、操作部108、制御部110を有する。
 撮像素子デバイス210以外の構成は、先に図4を参照して説明した構成と同様である。
 図12に示す撮像装置200の撮像素子デバイス210は、撮像素子211、AD変換部212、メモリ213を有する。
 光学レンズ101を介して入射される光は撮像素子デバイス210の撮像素子211、例えばCMOSイメージセンサなどによって構成される撮像素子211に入射し、撮像素子211は、光電変換による画像データを同じ撮像デバイス210内に構成されたAD変換部212に出力する。
 撮像デバイス210内のAD変換部212は、入力信号のA/D変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を、同じ撮像デバイス210内に構成されたメモリ213に格納する。
 信号処理部(信号処理LSI)104は、撮像デバイス210のメモリ213に格納されたデジタルデータを入力して信号処理を行う。
 以下の処理は、先に図4を参照して説明した撮像装置100の処理と同様の処理となる。
 図12に示す撮像装置200は、撮像素子211、AD変換部212、メモリ213を有する撮像デバイス210を有する点が特徴である。
 この撮像デバイス210には、制御部110から制御信号、同期信号が入力され、同期信号に基づいて処理の開始、変更、終了等、更新処理が行われる。
 この図12に示す構成においても、先に図5~図8に示すタイミングチャートや、図11を参照して説明したフローチャートに従った処理を行うことが可能である。
 図5~図8に示すタイミングチャートの(b)露光処理は、図12に示す撮像デバイス210の撮像素子211の実行する処理となる。
 また、(c)AD変換処理は、図12に示す撮像デバイス210のAD変換部212の実行する処理となる。
  [6.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 撮像素子と、
 前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
 前記制御部は、
 撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行い、
 前記撮像素子は、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する撮像装置。
 (2) 前記制御部は、
 前記撮影画像の露光処理の露光期間の終了タイミングにおいて、第2追加同期信号を前記撮像素子に出力する制御を行い、
 前記撮像素子は、前記第2追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する(1)に記載の撮像装置。
 (3) 前記制御部は、
 前記第1追加同期信号の出力前は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う(1)または(2)に記載の撮像装置。
 (4) 前記制御部は、
 前記第2追加同期信号の出力後は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う(2)に記載の撮像装置。
 (5) 前記制御部は、
 ユーザの設定情報に基づいて、前記露光期間の終了タイミングを判定する(1)~(4)いずれかに記載の撮像装置。
 (6) 前記設定情報は、シャッタースピードを設定する情報を含む(5)に記載の撮像装置。
 (7) 前記撮像素子は、
 前記第2追加同期信号の入力に応じて、露光処理によって得られる光電変換信号をAD変換部に出力する処理を開始する(2)~(6)いずれかに記載の撮像装置。
 (8) 前記制御部は、
 操作部に対する撮影操作の検出に応じて、前記露光準備処理を開始し、該露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行う(1)~(7)いずれかに記載の撮像装置。
 (9) 前記撮像装置は、
 前記撮像素子の出力信号に基づいて記録用画像、および表示部に対する表示用画像を生成する信号処理部を有し、
 前記信号処理部は、
 前記撮影操作が実行されていない場合は、前記表示用画像の生成処理を実行し、
 前記撮影操作が実行された場合に、前記記録用画像と前記表示用画像の生成処理を実行する(1)~(8)いずれかに記載の撮像装置。
 (10) 前記撮像装置は、
 前記撮像素子の出力信号に基づく表示画像を表示する表示部を有し、
 前記制御部は、
 前記表示部に対して、表示画像切り換えタイミングを規定する同期信号の出力制御を行う(1)~(9)いずれかに記載の撮像装置。
 (11) 前記制御部は、
 前記撮影画像の露光処理の露光期間の終了後に、
 前記撮像素子の処理タイミングを規定する撮像素子入力同期信号と、
 表示部の表示画像切り換えタイミングを規定する表示部入力同期信号との入力タイミングの関係性を、前記撮影画像の撮影処理前の関係性に戻す制御を行う(1)~(10)いずれかに記載の撮像装置。
 (12) 前記撮像素子は、
 前記撮像素子の出力信号に対するAD変換処理を実行するAD変換部と、
 前記AD変換部の生成したデジタル信号を格納するメモリを構成要素とする撮像デバイス内に構成されている(1)~(11)いずれかに記載の撮像装置。
 (13) 撮像装置において実行する画像撮影制御方法であり、
 前記撮像装置は、
 撮像素子と、
 前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
 前記制御部が、
 撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行い、
 前記撮像素子は、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する画像撮影制御方法。
 (14) 撮像装置において画像撮影制御処理を実行させるプログラムであり、
 前記撮像装置は、
 撮像素子と、
 前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
 前記プログラムは、前記制御部に、
 撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行わせ、
 前記撮像素子に、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。
 具体的には、例えば、撮像素子と、撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、制御部は、撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を撮像素子に出力する。撮像素子は、第1追加同期信号の入力に応じて、撮影操作に対応する撮影画像の露光処理を開始する。さらに、制御部は、記撮影画像の露光処理の露光期間の終了タイミングにおいて、第2追加同期信号を撮像素子に出力し、撮像素子は、第2追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する。
 これらの処理により、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。
  11 光学レンズ
  12 撮像素子
  13 AD変換部
  14 信号処理部
  15 メモリ
  21 表示部
  22 記録部
 101 光学レンズ
 102 撮像素子
 103 AD変換部
 104 信号処理部
 105 メモリ
 106 表示部
 107 記録部
 108 操作部
 110 制御部
 200 撮像装置
 210 撮像デバイス
 211 撮像素子
 212 AD変換部
 213 メモリ

Claims (14)

  1.  撮像素子と、
     前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
     前記制御部は、
     撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行い、
     前記撮像素子は、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する撮像装置。
  2.  前記制御部は、
     前記撮影画像の露光処理の露光期間の終了タイミングにおいて、第2追加同期信号を前記撮像素子に出力する制御を行い、
     前記撮像素子は、前記第2追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する請求項1に記載の撮像装置。
  3.  前記制御部は、
     前記第1追加同期信号の出力前は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う請求項1に記載の撮像装置。
  4.  前記制御部は、
     前記第2追加同期信号の出力後は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う請求項2に記載の撮像装置。
  5.  前記制御部は、
     ユーザの設定情報に基づいて、前記露光期間の終了タイミングを判定する請求項2に記載の撮像装置。
  6.  前記設定情報は、シャッタースピードを設定する情報を含む請求項5に記載の撮像装置。
  7.  前記撮像素子は、
     前記第2追加同期信号の入力に応じて、露光処理によって得られる光電変換信号をAD変換部に出力する処理を開始する請求項2に記載の撮像装置。
  8.  前記制御部は、
     操作部に対する撮影操作の検出に応じて、前記露光準備処理を開始し、該露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行う請求項1に記載の撮像装置。
  9.  前記撮像装置は、
     前記撮像素子の出力信号に基づいて記録用画像、および表示部に対する表示用画像を生成する信号処理部を有し、
     前記信号処理部は、
     前記撮影操作が実行されていない場合は、前記表示用画像の生成処理を実行し、
     前記撮影操作が実行された場合に、前記記録用画像と前記表示用画像の生成処理を実行する請求項1に記載の撮像装置。
  10.  前記撮像装置は、
     前記撮像素子の出力信号に基づく表示画像を表示する表示部を有し、
     前記制御部は、
     前記表示部に対して、表示画像切り換えタイミングを規定する同期信号の出力制御を行う請求項1に記載の撮像装置。
  11.  前記制御部は、
     前記撮影画像の露光処理の露光期間の終了後に、
     前記撮像素子の処理タイミングを規定する撮像素子入力同期信号と、
     表示部の表示画像切り換えタイミングを規定する表示部入力同期信号との入力タイミングの関係性を、前記撮影画像の撮影処理前の関係性に戻す制御を行う請求項1に記載の撮像装置。
  12.  前記撮像素子は、
     前記撮像素子の出力信号に対するAD変換処理を実行するAD変換部と、
     前記AD変換部の生成したデジタル信号を格納するメモリを構成要素とする撮像デバイス内に構成されている請求項1に記載の撮像装置。
  13.  撮像装置において実行する画像撮影制御方法であり、
     前記撮像装置は、
     撮像素子と、
     前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
     前記制御部が、
     撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行い、
     前記撮像素子は、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する画像撮影制御方法。
  14.  撮像装置において画像撮影制御処理を実行させるプログラムであり、
     前記撮像装置は、
     撮像素子と、
     前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
     前記プログラムは、前記制御部に、
     撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第1追加同期信号を前記撮像素子に出力する制御を行わせ、
     前記撮像素子に、前記第1追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始させるプログラム。
PCT/JP2018/001783 2017-03-30 2018-01-22 撮像装置、および画像撮影制御方法、並びにプログラム WO2018179710A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880020139.9A CN110431836A (zh) 2017-03-30 2018-01-22 成像装置、图像捕获控制方法和程序
JP2019508608A JP7014221B2 (ja) 2017-03-30 2018-01-22 撮像装置、および画像撮影制御方法、並びにプログラム
US16/495,155 US11095811B2 (en) 2017-03-30 2018-01-22 Imaging apparatus and image-capturing control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017067661 2017-03-30
JP2017-067661 2017-03-30

Publications (1)

Publication Number Publication Date
WO2018179710A1 true WO2018179710A1 (ja) 2018-10-04

Family

ID=63674723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001783 WO2018179710A1 (ja) 2017-03-30 2018-01-22 撮像装置、および画像撮影制御方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11095811B2 (ja)
JP (1) JP7014221B2 (ja)
CN (1) CN110431836A (ja)
WO (1) WO2018179710A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158202A1 (ja) * 2021-01-25 2022-07-28 ソニーグループ株式会社 撮像装置、撮像制御方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0275281A (ja) * 1988-09-09 1990-03-14 Nikon Corp 電子スチルカメラ
JP2002199288A (ja) * 2000-12-26 2002-07-12 Olympus Optical Co Ltd 撮像装置
JP2007300410A (ja) * 2006-04-28 2007-11-15 Samsung Techwin Co Ltd 撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328260B2 (ja) * 2004-04-21 2009-09-09 オリンパス株式会社 デジタル一眼レフレックスカメラ
JP5855862B2 (ja) * 2011-07-07 2016-02-09 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6082274B2 (ja) * 2012-06-08 2017-02-15 キヤノン株式会社 撮像装置、及びその制御方法
JP6399843B2 (ja) * 2014-07-28 2018-10-03 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0275281A (ja) * 1988-09-09 1990-03-14 Nikon Corp 電子スチルカメラ
JP2002199288A (ja) * 2000-12-26 2002-07-12 Olympus Optical Co Ltd 撮像装置
JP2007300410A (ja) * 2006-04-28 2007-11-15 Samsung Techwin Co Ltd 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158202A1 (ja) * 2021-01-25 2022-07-28 ソニーグループ株式会社 撮像装置、撮像制御方法、プログラム

Also Published As

Publication number Publication date
JPWO2018179710A1 (ja) 2020-02-06
US20200021735A1 (en) 2020-01-16
US11095811B2 (en) 2021-08-17
CN110431836A (zh) 2019-11-08
JP7014221B2 (ja) 2022-02-01

Similar Documents

Publication Publication Date Title
US11024342B2 (en) Digital image processing apparatus and method of controlling the same
JP6220225B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
US11272110B2 (en) Imaging apparatus and image processing method
JP2011166397A (ja) 撮像装置および撮像装置の制御方法
JP5909997B2 (ja) 撮像装置および撮像装置の制御方法
US11153516B2 (en) Image capture apparatus and control method therefor
JP7014221B2 (ja) 撮像装置、および画像撮影制御方法、並びにプログラム
JP7176518B2 (ja) 撮像装置、および画像処理方法、並びにプログラム
US11974058B2 (en) Image capturing apparatus and control method thereof
US11356603B2 (en) Image capturing apparatus and control method therefor
JP6012266B2 (ja) 撮像装置、レンズユニット及び絞り制御方法
JP5321108B2 (ja) カメラ、レンズ収差補正プログラム、およびレンズ収差補正プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014150313A (ja) 撮像装置
US11496683B2 (en) Image capturing apparatus and control method thereof, and image capturing system
WO2022255318A1 (ja) 撮像装置および画像処理装置
JP6486132B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP2022128832A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2022171269A (ja) 撮像装置およびその制御方法
JP2021114749A (ja) 撮像制御装置、撮像装置及びその制御方法
JP2019146128A (ja) 撮像装置、その方法およびプログラム
JP2017022542A (ja) 撮像装置、撮像装置の制御方法
JP2015015622A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776187

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508608

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18776187

Country of ref document: EP

Kind code of ref document: A1