WO2020111267A1 - ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 - Google Patents

ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 Download PDF

Info

Publication number
WO2020111267A1
WO2020111267A1 PCT/JP2019/046892 JP2019046892W WO2020111267A1 WO 2020111267 A1 WO2020111267 A1 WO 2020111267A1 JP 2019046892 W JP2019046892 W JP 2019046892W WO 2020111267 A1 WO2020111267 A1 WO 2020111267A1
Authority
WO
WIPO (PCT)
Prior art keywords
correction unit
unit
blur
control device
amount
Prior art date
Application number
PCT/JP2019/046892
Other languages
English (en)
French (fr)
Inventor
毅 潘
杉本　雅彦
智紀 増田
橋本　貴志
哲也 藤川
慶延 岸根
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020557879A priority Critical patent/JP7091474B2/ja
Priority to CN201980076749.5A priority patent/CN113170040B/zh
Publication of WO2020111267A1 publication Critical patent/WO2020111267A1/ja
Priority to US17/324,047 priority patent/US11212448B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the technology of the present disclosure relates to a blur correction control device, a blur correction control device operating method, a blur correction control device operating program, and an imaging device.
  • a correction unit that corrects a blur of a subject image (hereinafter, also referred to as “blurring of the subject image” or simply “blurring”) obtained by forming the subject light indicating the subject by the imaging device.
  • a mechanical correction unit and an electronic correction unit are known.
  • the mechanical correction unit corrects the blur by mechanically moving at least one of the correction optical system and the image sensor.
  • the electronic correction unit corrects the blur by performing image processing on the image obtained by being picked up by the image pickup device.
  • the image pickup device described in Japanese Patent Laid-Open No. 2013-126075 includes a mechanical correction unit and an electronic correction unit.
  • the shutter speed (exposure time) of the electronic shutter in the image pickup element and the amount of blur are acquired.
  • the mechanical correction unit and the electronic correction unit selectively operate according to the exposure time and the amount of blur. Specifically, when the exposure time is longer than the set amount, only the mechanical correction unit of the mechanical correction unit and the electronic correction unit operates, and when the exposure time is less than the set amount, the mechanical correction unit Only the electronic correction unit of the unit and the electronic correction unit operates.
  • the amount of blur is equal to or greater than the set amount, only the mechanical correction unit of the mechanical correction unit and the electronic correction unit operates, and when the amount of blur is smaller than the set amount, the mechanical correction unit And only the electronic correction unit of the electronic correction units operates.
  • An object of the present invention is to provide an operation program of a blur correction control device and an imaging device.
  • the blur correction control device has an operation of a mechanical correction unit that mechanically moves at least one of a correction optical system and an image sensor to correct the blur of a subject image.
  • Image processing is performed on the image obtained by the operation of the acquisition unit that acquires the relation amount related to the recommended operation recommended condition at each predetermined time point, the operation of the mechanical correction unit, and the image pickup device.
  • It is an operation control unit that controls the operation of the electronic correction unit that corrects the blur by applying the motion amount, and the state in which the relation amount acquired by the acquisition unit satisfies the recommended operation condition is defined in a time series of a plurality of consecutive time points.
  • an operation control unit that controls to operate only the electronic correction unit of the mechanical correction unit and the electronic correction unit is provided.
  • the operation control unit performs control to operate only the mechanical correction unit of the mechanical correction unit and the electronic correction unit when the relationship amount acquired by the acquisition unit satisfies the recommended operation condition for the set period. Preferably.
  • the related amount is preferably the exposure time of the subject image on the image sensor.
  • the recommended operation condition is preferably that the exposure time is equal to or longer than the first set amount.
  • the related quantities are the amplitude of the shake and the frequency of the shake.
  • the recommended operation condition is a condition in which the amplitude is greater than or equal to the second set amount and the frequency is greater than or equal to the third set amount.
  • the second set amount is preferably an amount that decreases as the frequency increases.
  • the third set amount is preferably an amount that decreases as the amplitude increases.
  • the related amount is preferably the amount of blurring within the exposure time of the subject image on the image sensor.
  • the recommended operation condition is preferably that the amount of blurring is equal to or greater than the fourth set amount.
  • the acquisition unit acquires the relationship quantity for each successive frame.
  • the imaging device of the present disclosure includes the blur correction control device according to any one of the above.
  • the operation method of the shake correction control device of the present disclosure is recommended to be an operation of a mechanical correction unit that corrects the shake of a subject image by mechanically moving at least one of the correction optical system and the image sensor.
  • the operation control step for controlling the operation of the electronic correction unit that corrects the state in which the relation amount acquired in the acquisition step satisfies the recommended operation condition continues for a set period defined by a time series of a plurality of consecutive time points. If not, an operation control step of performing control to operate only the electronic correction unit of the mechanical correction unit and the electronic correction unit.
  • the operation program of the blur correction control apparatus is recommended to be an operation of a mechanical correction unit that corrects the blur of a subject image by mechanically moving at least one of the correction optical system and the image sensor.
  • the amount of the relation related to the condition is acquired at each predetermined time point, the operation of the mechanical correction unit, and the image obtained by being picked up by the image pickup device is subjected to image blurring.
  • It is a motion control unit that controls the operation of the electronic correction unit that corrects, and the state in which the relation amount acquired by the acquisition unit satisfies the recommended operation condition continues for a set period defined by a time series of a plurality of consecutive time points. If not, the program is for causing the computer to function as an operation control unit that controls the operation of only the electronic correction unit of the mechanical correction unit and the electronic correction unit.
  • the mechanical correction unit and the electronic correction unit are selectively operated, it is possible to reduce the operation time of the mechanical correction unit and the operation of the shake correction control device. It is possible to provide a method, an operation program of a blur correction control device, and an imaging device.
  • FIG. 9 is a diagram showing changes in exposure time of frames F10 to F20. It is a figure for explaining processing of a storage control part. 6 is a table showing settings of processing of the operation control unit. 9 is a graph showing a transition of exposure time from frame F50 to frame F61.
  • FIG. 9A is a diagram showing which correction unit operates with the settings shown in the table of FIG. 7 when the exposure time changes as shown in FIG. 8, and FIG. 9A shows the exposure time of frames F50 to F54.
  • FIG. 10 is a diagram showing which correction unit operates with the settings shown in the table of FIG. 7 when the exposure time changes as shown in FIG. 8, and FIG. 10A shows the exposure time of frames F52 to F56.
  • FIG. 10B shows how to select a correction unit to be operated in frame F57 according to the above, and FIG. 10B shows how to select the correction unit to be operated in frame F58 according to the exposure time of frames F53 to F57.
  • FIG. 11A is a diagram showing which correction unit operates with the settings shown in the table of FIG.
  • FIG. 11A shows the exposure time of frames F54 to F58.
  • 11C shows how to select the correction unit to be operated in the frame F59 according to the above
  • FIG. 11B shows how to select the correction unit to be operated in the frame F60 in accordance with the exposure time of the frame F55 to the frame F59.
  • How to select the correction unit to be operated in the frame F61 is shown according to the exposure time of the frame F56 to the frame F60.
  • 12 is a graph summarizing the description of FIGS. 9 to 11. It is a flow chart which shows a processing procedure of a surveillance camera. 9 is a table showing another example of setting of processing of the operation control unit.
  • FIG. 9 is a table showing another example of setting of processing of the operation control unit.
  • FIG. 15A is a diagram showing an effect in the case of the setting shown in the table of FIG. 14,
  • FIG. 15A is a graph showing a transition of the exposure time of the frame F70 to the frame F80, and
  • FIG. 15B is according to the exposure time of one frame.
  • FIG. 15C is a table showing the correction units that operate in each frame when the correction units to be operated are switched, and
  • FIG. 15C shows the correction units that operate in each frame when the correction units to be operated with the settings shown in the table of FIG. 14 are switched.
  • the tables shown are shown respectively. It is a figure which shows the aspect which changes a setting period.
  • FIG. 15A is a diagram showing an effect in the case of the setting shown in the table of FIG. 14
  • FIG. 15A is a graph showing a transition of the exposure time of the frame F70 to the frame F80
  • FIG. 15B is according to the exposure time of one frame.
  • FIG. 15C is a table showing the correction units that operate in each frame when the
  • FIG. 3 is a diagram conceptually showing how a blur detection signal from a blur detection sensor is subjected to fast Fourier transform and decomposed into a plurality of blurs of different frequencies each having an amplitude. It is a figure which shows the content of the operation recommendation condition of 2nd Embodiment.
  • 6 is a graph showing a mode in which the second set amount is set to be smaller as the frequency is increased and the third set amount is set to be smaller as the amplitude is increased.
  • 20A is a graph showing variations of changes in the second set amount and the third set amount
  • FIG. 20A is an example in which the second set amount and the third set amount are changed in a curve
  • FIG. 20B is a second set amount and the third set amount. Three examples of changing the set amount stepwise are shown below.
  • FIG. 23A is a diagram showing a variation of the location of the blur correction control device
  • FIG. 23A shows a mode in which the management device has a function of the blur correction control device
  • FIG. 23B shows a mode in which the blur correction control device is provided separately from the surveillance camera and the management device. Each of the modes in which is provided is shown.
  • the surveillance camera system 2 includes a surveillance camera 10, a management device 11, and a storage device 12.
  • the monitoring camera 10 is an example of an “imaging device” according to the technique of the present disclosure, and is installed on an indoor or outdoor pillar, a wall, or the like, and images a monitoring target to generate a moving image of the monitoring target.
  • the surveillance camera 10 transmits the generated moving image to the management device 11.
  • the management device 11 is installed in a place different from the surveillance camera 10.
  • the term “another place” as used herein refers to, for example, a management room or the like.
  • the management device 11 receives the moving image from the surveillance camera 10.
  • the management device 11 transmits the received moving image to the storage device 12, and stores the moving image in the storage device 12.
  • the surveillance camera 10 has an imaging optical system 15.
  • the image pickup optical system 15 includes a first optical system 16, a diaphragm 17, a second optical system 18, and a correction optical system 19.
  • the first optical system 16 is an optical system including an objective lens, and forms subject light indicating a subject as a subject image on a light receiving surface of an image pickup device 25 described later.
  • the diaphragm 17 adjusts the light amount of the subject image from the first optical system 16 to the second optical system 18.
  • An actuator 20 is attached to the diaphragm 17.
  • the drive of the actuator 20 is controlled by a driver 21.
  • the opening of the diaphragm 17 is changed by driving the actuator 20 under the control of the driver 21.
  • Vibrations given to the surveillance camera 10 include vibrations due to traffic of a vehicle, vibrations due to wind, vibrations due to road construction, etc. if it is outdoors, and air if it is indoors. There are vibrations due to the operation of the conditioner, vibrations due to people entering and leaving, etc.
  • the correction optical system 19 is an optical system for correcting the shake of the subject image due to vibration.
  • An actuator 22 is attached to the correction optical system 19.
  • the drive of the actuator 22 is controlled by the driver 23. By driving the actuator 22 under the control of the driver 23, the correction optical system 19 mechanically moves with respect to the optical axis OA.
  • “blur” refers to a phenomenon that occurs when the optical axis OA changes with respect to the subject image due to vibration.
  • the “optical axis OA” here means the optical axis of the objective lens of the first optical system 16.
  • the fluctuation of the optical axis OA means, for example, the optical axis OA is tilted due to the blur with respect to the reference axis (for example, the optical axis OA before the blur occurs).
  • the shake correction includes not only the meaning of eliminating the shake but also the meaning of reducing the shake.
  • a mechanical correction unit 24 is realized by the correction optical system 19, the actuator 22, and the driver 23.
  • Various well-known methods can be adopted as the method of correcting the blur by the mechanical correction unit 24.
  • the mechanical correction unit 24 moves the correction optical system 19 in the direction of canceling the blur by the amount of canceling the blur.
  • An image pickup device 25 is arranged in the subsequent stage of the image pickup optical system 15.
  • the image sensor 25 is, for example, a CCD (Charge Coupled Device) image sensor.
  • the image sensor 25 performs imaging based on visible light, for example, light on the short wavelength side of about 700 nm or less.
  • the present embodiment is not limited to this, and the image pickup device 25 may perform image pickup based on infrared light, for example, light having a wavelength longer than about 700 nm.
  • a photoelectric conversion element having sensitivity to infrared light may be used as a pixel of the image pickup element 25.
  • an InGaAs image sensor and/or a type 2 quantum well structure (T2SL; Quantum Well) image sensor etc. may be used.
  • the image pickup device 25 picks up a subject image captured by the image pickup optical system 15 at a predetermined frame rate and outputs an analog image pickup signal.
  • the “predetermined frame rate” here refers to, for example, several frames/second to several tens of frames/second.
  • the surveillance camera 10 includes an AFE (Analog Front End) 30, a DSP (Digital Signal Processor) 31, an image memory 32, an electronic correction unit 33, a communication I/F (Interface) 34, a ROM (Read Only Memory) 35, and a RAM ( It has a Random Access Memory) 36, a CPU (Central Processing Unit) 37, and the like.
  • the AFE 30, DSP 31, image memory 32, electronic correction unit 33, communication I/F 34, ROM 35, RAM 36, and CPU 37 are interconnected via a bus line 38.
  • the ROM 35, the RAM 36, the CPU 37, and the bus line 38 are examples of the “computer” according to the technique of the present disclosure.
  • the AFE 30 receives an analog image pickup signal from the image pickup device 25. After performing analog signal processing such as correlated double sampling and automatic gain adjustment on the analog image pickup signal, the AFE 30 performs A/D (Analog/Digital) conversion to obtain a digital image pickup signal.
  • the image sensor 25 may be a MOS (Metal Oxide Semiconductor) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • MOS Metal Oxide Semiconductor
  • CMOS Complementary Metal Oxide Semiconductor
  • the DSP 31 performs various types of digital signal processing on digital image pickup signals. Various types of digital signal processing refer to, for example, demosaic processing, noise removal processing, gradation correction processing, color correction processing, and the like.
  • the DSP 31 outputs the image pickup signal after digital signal processing to the image memory 32.
  • the image memory 32 stores the image pickup signal from the DSP 31 as an image representing a subject image.
  • the electronic correction unit 33 corrects the blur of the subject image by performing image processing on the image stored in the image memory 32.
  • various well-known methods can be adopted as the method of correcting the blur by the electronic correction unit 33.
  • the method of correcting the blur by the electronic correction unit 33 there are an image output area cutout method and an image comparison method.
  • the image output area cutout method first, the image pickup device 25 makes the image pickup area slightly larger than the area to be finally output as an image (hereinafter, referred to as an image output area).
  • the electronic correction unit 33 cuts out an image corresponding to the image output area from the image stored in the image memory 32. At this time, the electronic correction unit 33 changes the cutout position of the image output area according to the blur.
  • the electronic correction unit 33 acquires images that are temporally preceding and succeeding from the image memory 32, and compares the acquired images that are temporally preceding and succeeding.
  • the electronic correction unit 33 calculates the shift amount and the shift direction of the subsequent image with respect to the preceding image based on the result of comparing the images.
  • the electronic correction unit 33 processes the subsequent image into an image in which the calculated shift amount and shift direction are canceled.
  • the mechanical correction unit 24 and the electronic correction unit 33 will be referred to as “correction unit” without reference numerals.
  • the communication I/F 34 reads an image from the image memory 32 and sends the read image to the management device 11.
  • the communication I/F 34 is, for example, a network interface.
  • the network interface controls transmission of various information with the management device 11 via the network.
  • a WAN Wide Area Network
  • the Internet or a public communication network can be cited.
  • the ROM 35 stores various programs such as a control program for the surveillance camera 10 and various data accompanying the various programs.
  • the RAM 36 is a work memory for the CPU 37 to execute processing.
  • the CPU 37 reads the program stored in the ROM 35 into the RAM 36, and executes processing according to the read program. As a result, the CPU 37 centrally controls the operation of each unit of the surveillance camera 10.
  • a blur detection sensor 40, a photometric sensor 41, and a touch panel display 42 are connected to the CPU 37.
  • the blur detection sensor 40 is, for example, a gyro sensor.
  • the gyro sensor detects rotational shake about each of the pitch axis PA, the yaw axis YA, and the roll axis RA (axis parallel to the optical axis OA) (see FIG. 1).
  • the blur detection sensor 40 is, for example, an acceleration sensor.
  • the acceleration sensor detects shift shake in a plane parallel to the pitch axis PA and the yaw axis YA.
  • the blur detection sensor 40 outputs a blur detection signal to the CPU 37.
  • the meaning of parallel in the present embodiment includes not only the meaning of perfect parallel but also the meaning of substantially parallel including an allowable error in design and manufacturing.
  • the photometric sensor 41 measures the light amount of the subject image for each frame in order to perform AE (Automatic Exposure) control.
  • the photometric sensor 41 outputs a light amount measurement signal to the CPU 37.
  • the touch panel display 42 is a device in which a touch panel is overlaid on the display.
  • the display displays various information including images under the control of the CPU 37.
  • the touch panel is overlaid on the display screen of the display, and receives touch by a user's finger or an indicator such as a touch pen.
  • On the touch panel display 42 a setting screen or the like for making various settings of the surveillance camera 10 is displayed.
  • the touch panel display 42 receives an input of an operation instruction from a user through a setting screen or the like.
  • the operating program 50 is stored in the ROM 35.
  • the operation program 50 is a program for causing the surveillance camera 10 to function as a shake correction control device.
  • the operation program 50 is an example of the “operation program of the blur correction control device” according to the technique of the present disclosure.
  • the operation recommended condition 51 and the set period SP are stored in the ROM 35.
  • the recommended operation condition 51 is a condition under which the operation of the mechanical correction unit 24 is recommended.
  • the set period SP is a period defined by a time series of a plurality of consecutive frames.
  • the CPU 37 By executing the operation program 50, the CPU 37 functions as the AE control unit 60, the acquisition unit 61, the storage control unit 62, and the operation control unit 63 in cooperation with the RAM 36 and the like.
  • the shake correction control device 64 is realized by the acquisition unit 61 and the operation control unit 63 of the AE control unit 60, the acquisition unit 61, the storage control unit 62, and the operation control unit 63.
  • the AE control unit 60 receives a light amount measurement signal from the photometric sensor 41.
  • the AE control unit 60 sets an exposure value according to the received measurement signal of the light amount.
  • the AE control unit 60 sets an exposure value for each frame. More specifically, the AE control unit 60 sets the exposure value of the next frame based on the measurement signal of the light amount of the previous frame.
  • the AE control unit 60 calculates the opening degree of the diaphragm 17 according to the set exposure value.
  • the AE control unit 60 drives the actuator 20 via the driver 21 so that the actual opening of the aperture 17 matches the calculated opening.
  • the AE control unit 60 also calculates the exposure time of the subject image in the image sensor 25 according to the set exposure value.
  • the AE control unit 60 drives the image sensor 25 via the driver 26 so that the actual exposure time matches the calculated exposure time.
  • the AE control unit 60 outputs the calculated exposure time to the acquisition unit 61.
  • the acquisition unit 61 acquires the exposure time from the AE control unit 60.
  • the exposure time acquired by the acquisition unit 61 is an example of the “related amount” according to the technique of the present disclosure, and corresponds to the related amount related to the recommended operation condition 51. Further, as described above, since the AE control unit 60 sets the exposure value for each frame, the exposure time is also calculated for each frame and is output to the acquisition unit 61 for each frame. Therefore, the acquisition unit 61 acquires the exposure time for each continuous frame.
  • the time when the exposure time of each of the continuous frames is acquired by the acquisition unit 61 is an example of the “predetermined time” according to the technique of the present disclosure.
  • the acquisition unit 61 outputs the acquired exposure time to the storage control unit 62.
  • the storage control unit 62 controls the exposure time from the acquisition unit 61 to be stored in the RAM 36.
  • the storage control unit 62 also reads a plurality of exposure times corresponding to a plurality of consecutive frames from the RAM 36 and outputs the read plurality of exposure times to the operation control unit 63.
  • the operation control unit 63 receives a shake detection signal from the shake detection sensor 40.
  • the operation control unit 63 controls the operation of the mechanical correction unit 24 and the electronic correction unit 33 based on the received detection signal so as to cancel the blur of the subject image.
  • the operation control unit 63 reads out the recommended operation condition 51 and the set period SP from the ROM 35. Then, according to the recommended operation condition 51 and the set period SP, and the plurality of exposure times corresponding to the plurality of consecutive frames from the storage control unit 62, the mechanical type is used in the frame next to the plurality of consecutive frames. Control for selectively operating the correction unit 24 and the electronic correction unit 33 is performed.
  • the operation control unit 63 when the exposure time satisfies the recommended operation condition 51 for the set period SP, does not include the electronic correction of the mechanical correction unit 24 and the electronic correction unit 33. Control for operating only the unit 33 is performed. On the other hand, the operation control unit 63 operates only the mechanical correction unit 24 of the mechanical correction unit 24 and the electronic correction unit 33 when the exposure time satisfies the recommended operation condition 51 for the set period SP. ..
  • the recommended operation condition 51 is a condition that the exposure time is equal to or more than the first set amount TH1.
  • FIG. 5 is a graph showing the transition of the exposure time from frame F10 to frame F20.
  • the frame F10, the frame F11, the frame F13, and the frames F15 to F19 satisfy the recommended operation condition 51 because the exposure time is the first set amount TH1 or more.
  • the frame F12, the frame F14, and the frame F20 do not satisfy the recommended operation condition 51 because the exposure time is less than the first set amount TH1.
  • the storage control unit 62 sequentially updates the exposure time of the oldest frame to the exposure time of the newest frame, and simultaneously stores a plurality of exposures corresponding to a plurality of consecutive frames that define the set period SP. The time is stored in the RAM 36. Then, the plurality of sets of exposure times are sequentially output to the operation control unit 63 for each frame.
  • FIG. 6 shows that the set period SP is 5 frames and the exposure times of the frames F10 to F20 shown in FIG. 5 are sequentially stored in the ROM 35.
  • the upper left part of FIG. 6 shows a state in which the exposure times of the frames F10 to F14 are stored in the ROM 35.
  • the exposure time of the oldest frame F10 in the upper left of FIG. 6 is updated to the exposure time of the newest frame F15.
  • the exposure times of the frames F12 to F16 are stored in the ROM 35
  • the exposure times of the frames F13 to F17 are stored in the ROM 35.
  • the operation control unit 63 determines whether Control is performed to operate only the mechanical correction unit 24 of the expression correction unit 24 and the electronic correction unit 33.
  • the operation control unit 63 determines the mechanical correction unit 24 and the electronic correction unit 33 in the next frame. Of these, only the electronic correction unit 33 is controlled to operate.
  • the mechanical correction unit 24 is shown by a circled mark of "M”
  • the electronic correction unit 33 is shown by a circled mark of "E”.
  • the case where the number N of frames satisfying the recommended operation condition 51 is the same as the number of frames defining the set period SP means that the exposure time satisfies the recommended operation condition 51 for the set period SP, and Are synonymous.
  • the case where the number N of frames satisfying the recommended operation condition 51 is different from the number of frames defining the set period SP means that the exposure time satisfies the recommended operation condition 51 for the set period SP. Is synonymous with.
  • FIG. 7 exemplifies the case where the set period SP is the same 5 frames as in the case of FIG.
  • the number N of frames satisfying the recommended operation condition 51 is 5
  • only the mechanical correction unit 24 is operated in the next frame.
  • the number N of frames satisfying the recommended operation condition 51 is 0 to 4
  • only the electronic correction unit 33 is operated in the next frame.
  • FIG. 8 is a graph showing changes in exposure time from frame F50 to frame F61.
  • the frame F50 to frame F54 do not satisfy the recommended operation condition 51 because the exposure time is less than the first set amount TH1.
  • the frame F55 to the frame F61 satisfy the recommended operation condition 51 because the exposure time is the first set amount TH1 or more.
  • FIG. 9A shows a state in which the correction unit to be operated in the frame F55 is selected according to the exposure time of the frame F50 to the frame F54.
  • the exposure times of the frame F50 to the frame F54 do not all satisfy the recommended operation condition 51. That is, the number N of frames satisfying the recommended operation condition 51 is 0, which is different from the number 5 of frames defining the set period SP. Therefore, the operation control unit 63 operates only the electronic correction unit 33 in the frame F55.
  • FIG. 9B shows a state in which the correction unit to be operated in the frame F56 is selected according to the exposure time of the frames F51 to F55.
  • the exposure times of the frame F51 to the frame F55 do not satisfy the recommended operation condition 51 except for the frame F55. That is, the number N of frames satisfying the recommended operation condition 51 is 1, which is different from the number 5 of frames defining the set period SP. Therefore, the operation control unit 63 operates only the electronic correction unit 33 in the frame F56, as in the case of FIG. 9A.
  • FIG. 10A shows how to select a correction unit to be operated in frame F57 according to the exposure time of frame F52 to frame F56.
  • the frames F52 to F54 do not satisfy the recommended operation condition 51, and the frames F55 and F56 satisfy the recommended operation condition 51. That is, the number N of frames satisfying the recommended operation condition 51 is 2, which is different from the number 5 of frames defining the set period SP. Therefore, the operation control unit 63 operates only the electronic correction unit 33 in the frame F57, as in the case of FIGS. 9A and 9B.
  • FIG. 10B shows a state in which the correction unit to be operated in the frame F58 is selected according to the exposure time of the frames F53 to F57.
  • the frame F53 and the frame F54 do not satisfy the recommended operation condition 51, and the frames F55 to F57 satisfy the recommended operation condition 51. That is, the number N of frames satisfying the recommended operation condition 51 is 3, which is different from the number 5 of frames defining the set period SP. Therefore, the operation control unit 63 operates only the electronic correction unit 33 in the frame F58 as in the case of FIGS. 9A, 9B, and 10A.
  • FIG. 11A shows how to select a correction unit to be operated in frame F59 according to the exposure time of frame F54 to frame F58.
  • the exposure times of the frames F54 to F58 satisfy the recommended operating condition 51 except for the frame F54. That is, the number N of frames satisfying the recommended operation condition 51 is 4, which is different from the number 5 of frames defining the set period SP. Therefore, the operation control unit 63 operates only the electronic correction unit 33 in the frame F59, as in the case of FIGS. 9A, 9B, 10A, and 10B.
  • FIG. 11B shows a state in which the correction unit to be operated in the frame F60 is selected according to the exposure time of the frames F55 to F59.
  • the exposure times of the frame F55 to the frame F59 all satisfy the recommended operation condition 51. That is, the number N of frames satisfying the recommended operation condition 51 is 5, which is the same as the number 5 of frames defining the set period SP. Therefore, the operation control unit 63 operates only the mechanical correction unit 24 in the frame F60.
  • FIG. 11C shows a state in which the correction unit to be operated in the frame F61 is selected according to the exposure time of the frames F56 to F60.
  • the exposure times of the frame F56 to the frame F60 all satisfy the recommended operation condition 51. That is, the number N of frames satisfying the recommended operation condition 51 is 5, which is the same as the number 5 of frames defining the set period SP. Therefore, the operation control unit 63 operates only the mechanical correction unit 24 in the frame F61, as in the case of FIG. 11B.
  • FIG. 9 The summary of the explanations of FIGS. 9 to 11 is as shown in FIG. That is, only the electronic correction unit 33 of the mechanical correction unit 24 and the electronic correction unit 33 is operated from frame F55 to frame F59. However, from the frame F60, only the mechanical correction unit 24 of the mechanical correction unit 24 and the electronic correction unit 33 is operated.
  • the blur correction process is a process that causes the CPU 37 to function as the AE control unit 60, the acquisition unit 61, the storage control unit 62, and the operation control unit 63 illustrated in FIG.
  • the AE control unit 60 sets the exposure value according to the measurement signal of the light amount from the photometric sensor 41. Then, the exposure time according to the exposure value is calculated. The exposure time is output from the AE control unit 60 to the acquisition unit 61.
  • the acquisition unit 61 acquires the exposure time from the AE control unit 60 (step ST110).
  • This step ST110 is an example of an “acquisition step” according to the technique of the present disclosure.
  • the exposure time is output from the acquisition unit 61 to the storage control unit 62, and is stored in the RAM 36 by the storage control unit 62 as shown in FIG. 6 (step ST120).
  • the operation control unit 63 causes the mechanical correction unit 24 and the electronic correction unit 33 to select one of them. Only the mechanical correction unit 24 of is operated (step ST140). Note that when the surveillance camera 10 is activated, if the RAM 36 does not store the exposure time for the set period SP, the electronic correction unit 33 may be operated instead of the mechanical correction unit 24.
  • the storage control unit 62 reads the exposure time for the set period SP from the RAM 36 and outputs it to the operation control unit 63. ..
  • the operation control unit 63 compares the exposure time for the setting period SP from the storage control unit 62 with the first setting amount TH1. Then, as shown in FIG. 4, the operation control unit 63 determines that the recommended operation condition 51 is satisfied when the exposure time is the first set amount TH1 or more. In this way, the number N of frames satisfying the recommended operation condition 51 in the set period SP is found.
  • the operation control unit 63 compares the number N of frames satisfying the recommended operation condition 51 with the number of frames defining the set period SP (step ST150).
  • step ST150 When the number N of frames satisfying the operation recommended condition 51 is different from the number of frames defining the set period SP, that is, when the exposure time satisfies the operation recommended condition 51 is not continued for the set period SP (step ST150). 9), as shown in FIG. 9, FIG. 10, and FIG. 11A, by the operation control unit 63, only the electronic correction unit 33 of the mechanical correction unit 24 and the electronic correction unit 33 in the next frame. It is operated (step ST160).
  • Step ST170 if the number N of frames satisfying the recommended operation condition 51 is the same as the number of frames defining the set period SP, that is, if the exposure time satisfies the recommended operation condition 51 for the set period SP ( 11B and 11C, the operation controller 63 causes only the mechanical corrector 24 of the mechanical corrector 24 and the electronic corrector 33 to operate in the next frame, as shown in FIGS. 11B and 11C.
  • Step ST170 Each process from step ST100 to step ST160 or step ST170 is repeated until the power of the surveillance camera 10 is turned off (YES in step ST180). Note that step ST160 and step ST170 are an example of “operation control step” according to the technique of the present disclosure.
  • the blur correction control device 64 includes the acquisition unit 61 and the operation control unit 63.
  • the acquisition unit 61 acquires the exposure time for each continuous frame.
  • the operation control unit 63 operates only the electronic correction unit 33 of the mechanical correction unit 24 and the electronic correction unit 33. Take control.
  • the probability is higher when the exposure time satisfies the recommended operation condition 51 for the set period SP than when the exposure time satisfies the recommended operation condition 51 for the set period SP. Therefore, the operation time of the electronic correction unit 33 increases. Therefore, it is possible to relatively reduce the operation time of the mechanical correction unit 24. As a result, the life of the surveillance camera 10 can be extended.
  • the operation control unit 63 controls to operate only the mechanical correction unit 24 of the mechanical correction unit 24 and the electronic correction unit 33. To do. If the state in which the exposure time satisfies the recommended operation condition 51 continues for the set period SP, it is considered that blurring that is difficult to correct in the electronic correction unit 33 has occurred. Therefore, by performing the control as described above, it is possible to appropriately deal with a blur that is difficult to correct in the electronic correction unit 33.
  • the recommended operation condition 51 is a condition that the exposure time is the first set amount TH1 or more, and has a relatively simple content. Therefore, it is relatively easy to determine whether the recommended operation condition 51 is satisfied.
  • the surveillance camera 10 used in the surveillance camera system 2 is provided with the function of the blur correction control device 64.
  • the surveillance camera 10 is always in operation, and accordingly, higher durability is required as compared with other image pickup devices such as consumer digital cameras. Therefore, it is highly necessary to reduce the operation time of the mechanical correction unit 24. Therefore, if the blur correction control device 64 is used in the surveillance camera system 2, more excellent effects can be exhibited.
  • the settings shown in Table 80 of FIG. 14 may be adopted instead of the settings shown in Table 70 of FIG. 7.
  • the set period SP is 2 frames.
  • the number N of frames satisfying the recommended operation condition 51 is 2, only the mechanical correction unit 24 is operated in the next frame.
  • the number N of frames satisfying the operation recommended condition 51 is 0 and 1, only the electronic correction unit 33 is operated in the next frame.
  • the user may be able to change the setting period SP as shown in FIG.
  • the CPU 37 functions as a changing unit 90 that changes the set period SP.
  • the changing unit 90 displays the set period changing screen 95 on the touch panel display 42 according to the user's request.
  • the setting period change screen 95 includes a spin box 96 for changing the number of frames defining the setting period SP, a setting button 97, and a cancel button 98.
  • the spin box 96 is operated to set the number of frames defining the setting period SP to a desired value, and then the setting button 97 is selected.
  • the changing unit 90 receives an instruction to change the number of frames that define the setting period SP.
  • the changing unit 90 rewrites the number of frames defining the setting period SP of the ROM 35 with the numerical value set in the spin box 96.
  • the changing unit 90 that changes the set period SP since the changing unit 90 that changes the set period SP is provided, it is possible to flexibly respond to any request. Specifically, the operation time of the mechanical correction unit 24 can be set to be shorter than that before setting, or conversely, the operation time of the mechanical correction unit 24 can be set to be longer than that before setting.
  • the number of frames defining the set period SP may be changed according to other factors such as the time zone. For example, in a time zone (such as from 8 am to 5 pm) in which the operation of the mechanical correction unit 24 is likely to cause blurring, the number of frames defining the set period SP is set to a relatively small value. As a result, the operating time of the mechanical correction unit 24 is relatively increased. On the other hand, except for the above time zone, the number of frames defining the set period SP is set to a relatively large value, and the operation time of the mechanical correction unit 24 is relatively reduced.
  • the blur detected by the blur detection sensor 40 is a combination of various blurs having different amplitudes and frequencies. Therefore, in the second embodiment, as conceptually shown in FIG. 17, the blur detection signal from the blur detection sensor 40 is subjected to fast Fourier transform. Then, based on the result of the fast Fourier transform, the blur detected by the blur detection sensor 40 is decomposed into a plurality of blurs of different frequencies each having an amplitude.
  • the acquisition unit 61 acquires the shake amplitude and the shake frequency thus obtained as a relational amount.
  • the shake detection signal applied to the fast Fourier transform is, for example, a detection signal of an acceleration sensor that detects shift shake in a plane parallel to the pitch axis PA and the yaw axis YA.
  • a second set amount TH2 is set for the amplitude
  • a third set amount TH3 is set for the frequency.
  • the recommended operation condition 110 is a condition that the amplitude is greater than or equal to the second set amount TH2 and the frequency is greater than or equal to the third set amount TH3. That is, if there is at least one blur having an amplitude of the second set amount TH2 or more and a frequency of the third set amount TH3 or more among the plurality of blurs decomposed into the amplitude and the frequency by the fast Fourier transform, the operation is performed. This means that the recommended condition 110 is satisfied.
  • the subsequent processing is the same as that of the above-described first embodiment except that the shake amplitude and the shake frequency are adopted as the relational quantities instead of the exposure time, and thus the description thereof is omitted.
  • the shake amplitude and the shake frequency are adopted as the relation quantities.
  • the recommended operation condition 110 there is adopted a condition that the amplitude is equal to or larger than the second set amount TH2 and the frequency is equal to or larger than the third set amount TH3. Therefore, the operation control unit 63 can operate the correction unit adapted to the type of blur that is actually occurring.
  • the second set amount TH2 may be an amount that decreases as the frequency increases. The reason for doing this is that, if there are blurs with the same amplitude but different frequencies, the higher the frequency, the greater the amount of blur within the same exposure time. If the second set amount TH2 is set to be smaller as the frequency becomes higher, the recommended operation condition 110 can be made more appropriate.
  • the third set amount TH3 may be an amount that decreases as the amplitude increases. The reason for doing this is that, when there are blurs having the same frequency but different amplitudes, the larger the amplitude, the larger the amount of blurring within the same exposure time. If the third set amount TH3 is set to be smaller as the amplitude increases, the recommended operation condition 110 can be set to a more appropriate condition.
  • the second set amount TH2 and the third set amount TH3 linearly change, but the present invention is not limited to this. It is sufficient that the second set amount TH2 becomes smaller as the frequency becomes higher and the third set amount TH3 becomes smaller as the amplitude becomes larger.
  • the second set amount TH2 and the second set amount TH2 The three set amounts TH3 may be changed in a curve. Further, it may be changed stepwise as shown in FIG. 20B. Further, these variations may be combined, for example, the second set amount TH2 may be linearly changed, and the third set amount TH3 may be curvedly changed.
  • FIG. 21 is a diagram showing the amount of blurring within the exposure time for the blur BL detected by the blur detection sensor 40 at a certain time.
  • the blur amount is the absolute value ⁇ 1 of the difference between the blur amounts at the start of the exposure time T1 and the end of the exposure time T1.
  • the amount of blur is ⁇ 2, which is the sum of ⁇ A and ⁇ B.
  • ⁇ A is the absolute value of the difference between the amount of blur at the start of the exposure time T2 and the amount of blur at the apex of the waveform of the blur BL.
  • ⁇ B is the absolute value of the difference between the amount of blur at the end of the exposure time T2 and the amount of blur at the apex of the waveform of the blur BL.
  • the acquisition unit 61 acquires the amount of blurring thus obtained within the exposure time as a related amount.
  • the recommended operation condition 115 is that the amount of blurring within the exposure time is equal to or greater than the fourth set amount TH4.
  • the subsequent processing is the same as that of the first embodiment except that the amount of blurring within the exposure time is adopted as the related amount instead of the exposure time, and therefore the description thereof is omitted.
  • the amount of blurring within the exposure time is adopted as the related amount. Then, as the operation recommended condition 115, the condition that the amount of blurring within the exposure time is equal to or larger than the fourth set amount TH4 is adopted. Therefore, the operation control unit 63 can operate the correction unit adapted to the amount of blur that is actually occurring.
  • the recommended operation condition is that the exposure time is greater than or equal to the first set amount TH1, the amplitude is greater than or equal to the second set amount TH2, and the frequency is greater than or equal to the third set amount TH3. ..
  • the surveillance camera 10 is provided with the function of the blur correction control device 64, but the present invention is not limited to this.
  • the management device 151 may be provided with the function of the blur correction control device 152 instead of the monitoring camera 150.
  • a blur correction control device 202 may be provided separately from the surveillance camera 200 and the management device 201.
  • only the mechanical correction unit 24 of the mechanical correction unit 24 and the electronic correction unit 33 is operated when the relation amount such as the exposure time satisfies the recommended operation condition for the set period SP.
  • the control is performed, but not limited to this.
  • the mechanical correction unit 24 is responsible for 80% of the correction
  • the electronic correction unit 33 is responsible for 20% of the correction. In this way, if the electronic correction unit 33 is auxiliary operated, the operation load of the mechanical correction unit 24 is reduced, so that the life of the surveillance camera 10 can be further extended.
  • the mechanical correction unit 24 that mechanically moves the correction optical system 19 is illustrated, but the present invention is not limited to this. It may be a mechanical correction unit that mechanically moves the image pickup device 25, or a mechanical correction unit that mechanically moves both the correction optical system 19 and the image pickup device 25.
  • the predetermined time point for acquiring the relationship quantity need not be the time point specified by the frame.
  • the predetermined time point for acquiring the relation amount may be the time point defined by the sampling interval of the detection signal of the blur detection sensor 40. ..
  • the continuous time points that define the set period may not be continuous frames, and the relationship amount may not be acquired for each continuous frame.
  • the relationship amount may be acquired for each odd frame.
  • the technique of the present disclosure may be applied to not only the case of capturing a moving image but also the so-called interval image capturing of capturing a still image at an interval of seconds.
  • the blur detection sensor 40, the photometric sensor 41, and the CPU 37 are not activated during the still image capturing, and are activated at, for example, 10 frames before the still image capturing timing. May be.
  • the technology of the present disclosure can also be applied to imaging devices other than surveillance cameras, such as consumer digital cameras, smartphones, and tablet terminals.
  • a processing unit that executes various processes such as the AE control unit 60, the acquisition unit 61, the storage control unit 62, the operation control unit 63, and the changing unit 90.
  • various processors are manufactured after manufacturing FPGA (Field Programmable Gate Array) and the like.
  • FPGA Field Programmable Gate Array
  • a programmable logic device that is a processor whose circuit configuration can be changed, and/or a processor having a circuit configuration specifically designed to execute specific processing such as ASIC (Application Specific Integrated Circuit). It includes a dedicated electric circuit and the like.
  • a memory is built in or connected to any of the processors, and any of the processors uses the memory to execute various processes.
  • One processing unit may be configured by one of these various processors, or may be a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs and/or a CPU). Combination with FPGA). Also, the plurality of processing units may be configured by one processor.
  • one processor is configured with a combination of one or more CPUs and software, as represented by computers such as clients and servers.
  • the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • SoC system-on-chip
  • the various processing units are configured by using one or more of the above various processors as a hardware structure.
  • an electric circuit in which circuit elements such as semiconductor elements are combined can be used.
  • a processor A memory connected to or embedded in the processor, The processor is The relational quantity related to the recommended operation condition in which the operation of the mechanical correction unit that corrects the blur of the subject image by mechanically moving at least one of the correction optical system and the image pickup device is predetermined is set in advance. Get at each point in time, The operation of the mechanical correction unit and the operation of the electronic correction unit that corrects the blur by performing image processing on the image obtained by being picked up by the image pickup device are controlled, and the acquired relational amount is obtained. If the state satisfying the operation recommended condition does not continue for a set period defined by a time series of a plurality of consecutive time points, the electronic correction unit of the mechanical correction unit and the electronic correction unit Control to operate only, Image stabilization control device.
  • the technology of the present disclosure can also be appropriately combined with the above-described various embodiments and/or various modified examples. Further, it is needless to say that various configurations can be adopted without departing from the scope of the invention, without being limited to the above-mentioned respective embodiments. Furthermore, the technique of the present disclosure extends to a storage medium that stores the program non-temporarily, in addition to the program.
  • a and/or B is synonymous with “at least one of A and B”. That is, “A and/or B” means that only A may be used, only B may be used, or a combination of A and B may be used.
  • the same concept as “A and/or B” is also applied to a case where three or more matters are linked by “and/or”.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

ぶれ補正制御装置は、取得部と動作制御部とを備える。取得部は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する。動作制御部は、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する。動作制御部は、取得部において取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う。

Description

ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
　本開示の技術は、ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置に関する。
　撮像装置により被写体を示す被写体光が結像されることで得られた被写体像のぶれ（以下、「被写体像のぶれ」、または単に「ぶれ」とも称する）を補正する補正部として、一般的に、機械式補正部と電子式補正部とが知られている。機械式補正部は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることでぶれを補正する。電子式補正部は、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する。
　特開２０１３－１２６０７５号公報に記載の撮像装置は、機械式補正部と電子式補正部とを備えている。特開２０１３－１２６０７５号公報に記載の撮像装置では、撮像素子における電子シャッタのシャッタ速度（露光時間）と、ぶれの量とが取得される。そして、機械式補正部および電子式補正部が、露光時間とぶれの量に応じて、選択的に動作する。具体的には、露光時間が設定量よりも長い場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、露光時間が設定量以下の場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。また、ぶれの量が設定量以上の場合は、機械式補正部および電子式補正部のうちの機械式補正部のみが動作し、ぶれの量が設定量よりも小さい場合は、機械式補正部および電子式補正部のうちの電子式補正部のみが動作する。
　本開示の技術は、機械式補正部および電子式補正部を選択的に動作させる場合に、機械式補正部の動作時間を減らすことが可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することを目的とする。
　上記目的を達成するために、本開示のぶれ補正制御装置は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御部であり、取得部において取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御部と、を備える。
　動作制御部は、取得部において取得した関係量が動作推奨条件を満たす状態が設定期間継続した場合は、機械式補正部および電子式補正部のうちの機械式補正部のみを動作させる制御を行うことが好ましい。
　設定期間を変更する変更部を備えることが好ましい。
　関係量は、撮像素子における被写体像の露光時間であることが好ましい。この場合、動作推奨条件は、露光時間が第１設定量以上であるという条件であることが好ましい。
　関係量は、ぶれの振幅とぶれの周波数であることが好ましい。この場合、動作推奨条件は、振幅が第２設定量以上で、かつ、周波数が第３設定量以上のぶれがあるという条件であることが好ましい。
　第２設定量は、周波数が高くなるにつれて小さくなる量であることが好ましい。また、第３設定量は、振幅が大きくなるにつれて小さくなる量であることが好ましい。
　関係量は、撮像素子における被写体像の露光時間内のぶれの量であることが好ましい。この場合、動作推奨条件は、ぶれの量が第４設定量以上であるという条件であることが好ましい。
　取得部は、連続するフレーム毎に関係量を取得することが好ましい。
　監視カメラシステムに用いられることが好ましい。
　本開示の撮像装置は、上記いずれかに記載のぶれ補正制御装置を備える。
　本開示のぶれ補正制御装置の作動方法は、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得ステップと、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御ステップであり、取得ステップにおいて取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御ステップと、を備える。
　本開示のぶれ補正制御装置の作動プログラムは、補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、機械式補正部の動作、および、撮像素子により撮像されることで得られた画像に画像処理を施すことでぶれを補正する電子式補正部の動作を制御する動作制御部であり、取得部において取得した関係量が動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、機械式補正部および電子式補正部のうちの電子式補正部のみを動作させる制御を行う動作制御部として、コンピュータを機能させるためのプログラムである。
　本開示の技術によれば、機械式補正部および電子式補正部を選択的に動作させる場合に、機械式補正部の動作時間を減らすことが可能なぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置を提供することができる。
監視カメラシステムを示す図である。 監視カメラのブロック図である。 監視カメラのＣＰＵのブロック図である。 動作推奨条件の内容を示す図である。 フレームＦ１０～フレームＦ２０の露光時間の推移を示したグラフである。 記憶制御部の処理を説明するための図である。 動作制御部の処理の設定を示す表である。 フレームＦ５０～フレームＦ６１の露光時間の推移を示したグラフである。 図８のように露光時間が推移した場合に、図７の表で示した設定で、いずれの補正部が動作するかを示した図であり、図９Ａは、フレームＦ５０～フレームＦ５４の露光時間に応じて、フレームＦ５５において動作させる補正部を選択する様子を、図９Ｂは、フレームＦ５１～フレームＦ５５の露光時間に応じて、フレームＦ５６において動作させる補正部を選択する様子を、それぞれ示す。 図８のように露光時間が推移した場合に、図７の表で示した設定で、いずれの補正部が動作するかを示した図であり、図１０Ａは、フレームＦ５２～フレームＦ５６の露光時間に応じて、フレームＦ５７において動作させる補正部を選択する様子を、図１０Ｂは、フレームＦ５３～フレームＦ５７の露光時間に応じて、フレームＦ５８において動作させる補正部を選択する様子を、それぞれ示す。 図８のように露光時間が推移した場合に、図７の表で示した設定で、いずれの補正部が動作するかを示した図であり、図１１Ａは、フレームＦ５４～フレームＦ５８の露光時間に応じて、フレームＦ５９において動作させる補正部を選択する様子を、図１１Ｂは、フレームＦ５５～フレームＦ５９の露光時間に応じて、フレームＦ６０において動作させる補正部を選択する様子を、図１１Ｃは、フレームＦ５６～フレームＦ６０の露光時間に応じて、フレームＦ６１において動作させる補正部を選択する様子を、それぞれ示す。 図９～図１１の説明をまとめたグラフである。 監視カメラの処理手順を示すフローチャートである。 動作制御部の処理の設定の別の例を示す表である。 図１４の表で示した設定の場合の効果を示す図であり、図１５Ａは、フレームＦ７０～フレームＦ８０の露光時間の推移を示したグラフ、図１５Ｂは、１フレーム分の露光時間に応じて動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表、図１５Ｃは、図１４の表で示した設定で動作させる補正部を切り替える場合の、各フレームにおける動作する補正部を示す表を、それぞれ示す。 設定期間を変更する態様を示す図である。 ぶれ検出センサからのぶれの検出信号を高速フーリエ変換にかけ、各々振幅をもつ複数の異なる周波数のぶれに分解する様子を概念的に示す図である。 第２実施形態の動作推奨条件の内容を示す図である。 第２設定量を周波数が高くなるにつれて小さくなる量とし、第３設定量を振幅が大きくなるにつれて小さくなる量とする態様を示すグラフである。 第２設定量および第３設定量の変化のバリエーションを示すグラフであり、図２０Ａは、第２設定量および第３設定量を曲線的に変化させる例、図２０Ｂは、第２設定量および第３設定量を段階的に変化させる例を、それぞれ示す。 ある時間にぶれ検出センサで検出されたぶれに対する露光時間内のぶれの量を示す図である。 第３実施形態の動作推奨条件の内容を示す図である。 ぶれ補正制御装置の所在のバリエーションを示す図であり、図２３Ａは、管理装置にぶれ補正制御装置の機能をもたせた態様を、図２３Ｂは、監視カメラおよび管理装置とは別に、ぶれ補正制御装置を設けた態様を、それぞれ示す。
　以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。
　［第１実施形態］
　図１において、監視カメラシステム２は、監視カメラ１０と、管理装置１１と、記憶装置１２とを備える。監視カメラ１０は、本開示の技術に係る「撮像装置」の一例であり、屋内外の柱、または壁等に設置され、監視対象を撮像することで監視対象の動画を生成する。監視カメラ１０は、生成した動画を管理装置１１に送信する。管理装置１１は、監視カメラ１０とは別の場所に設置される。ここでいう「別の場所」とは、例えば管理室等を指す。管理装置１１は、監視カメラ１０からの動画を受信する。管理装置１１は、受信した動画を記憶装置１２に送信し、動画を記憶装置１２に記憶させる。
　図２において、監視カメラ１０は撮像光学系１５を有する。撮像光学系１５は、第１光学系１６、絞り１７、第２光学系１８、および補正光学系１９を備えている。第１光学系１６は対物レンズを含む光学系であり、被写体を示す被写体光を、被写体像として後述する撮像素子２５の受光面に結像させる。絞り１７は、第１光学系１６から第２光学系１８に至る被写体像の光量を調整する。絞り１７にはアクチュエータ２０が取り付けられている。アクチュエータ２０は、ドライバ２１により駆動制御される。ドライバ２１の制御の下、アクチュエータ２０が駆動することで、絞り１７の開度が変更される。
　監視カメラ１０に与えられる振動（以下、単に「振動」とも称する）には、屋外であれば、自動車の通行による振動、風による振動、および道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、および人の出入りによる振動等がある。補正光学系１９は、振動による被写体像のぶれを補正するための光学系である。補正光学系１９にはアクチュエータ２２が取り付けられている。アクチュエータ２２は、ドライバ２３により駆動制御される。ドライバ２３の制御の下、アクチュエータ２２が駆動することで、補正光学系１９が光軸ＯＡに対して機械的に移動する。
　なお、本実施形態において、「ぶれ」とは、振動に起因して光軸ＯＡが被写体像に対して変動することによって生じる現象を指す。ここでいう「光軸ＯＡ」とは、第１光学系１６の対物レンズの光軸を指す。光軸ＯＡの変動とは、例えば、基準軸（例えば、ぶれが発生する前の光軸ＯＡ）に対して、ぶれにより光軸ＯＡが傾くことを意味する。なお、本実施形態において、ぶれの補正には、ぶれをなくすという意味の他に、ぶれを低減するという意味も含まれる。
　補正光学系１９とアクチュエータ２２とドライバ２３とで、機械式補正部２４が実現される。機械式補正部２４によるぶれの補正方法としては、周知の種々の方法を採用することができる。最も単純には、機械式補正部２４は、ぶれを打ち消す方向に、ぶれを打ち消す量だけ、補正光学系１９を移動させる。
　撮像光学系１５の後段には、撮像素子２５が配置されている。撮像素子２５は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子２５は、可視光、例えば、約７００ｎｍ以下の短波長側の光に基づく撮像を行う。ただし、本実施形態はこれに限定されず、撮像素子２５は、赤外光、例えば、約７００ｎｍよりも長波長側の光）に基づく撮像を行ってもよい。この場合、撮像素子２５の画素としては、赤外光に感度を有する光電変換素子を用いればよい。特に、短波近赤外光（ＳＷＩＲ；Short-wavelength infrared）に基づく撮像に対しては、撮像素子２５として、例えば、ＩｎＧａＡｓイメージセンサおよび／またはタイプ２型量子井戸構造（Ｔ２ＳＬ；Simulation of Type-II Quantum Well）イメージセンサ等を用いればよい。撮像素子２５は、ドライバ２６の制御の下、所定のフレームレートで、撮像光学系１５で取り込まれた被写体像を撮像し、アナログの撮像信号を出力する。なお、ここでいう「所定のフレームレート」とは、例えば、数フレーム／秒から数十フレーム／秒を指す。
　監視カメラ１０は、ＡＦＥ（Analog Front End）３０、ＤＳＰ（Digital Signal Processor）３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ（Interface）３４、ＲＯＭ（Read Only Memory）３５、ＲＡＭ（Random Access Memory）３６、およびＣＰＵ（Central Processing Unit）３７等を有する。ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式補正部３３、通信Ｉ／Ｆ３４、ＲＯＭ３５、ＲＡＭ３６、およびＣＰＵ３７は、バスライン３８を介して相互に接続されている。なお、ＲＯＭ３５、ＲＡＭ３６、ＣＰＵ３７、およびバスライン３８は、本開示の技術に係る「コンピュータ」の一例である。
　ＡＦＥ３０は、撮像素子２５からのアナログの撮像信号を受信する。ＡＦＥ３０は、アナログの撮像信号に対して、相関二重サンプリング、および自動ゲイン調整等のアナログ信号処理を施した後、Ａ／Ｄ（Analog/Digital）変換を行ってデジタルの撮像信号とする。なお、撮像素子２５はＭＯＳ（Metal Oxide Semiconductor）イメージセンサ、またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサでもよい。撮像素子２５がＣＭＯＳイメージセンサであった場合は、ＡＦＥ３０およびＤＳＰ３１は、その一部または全部がＣＭＯＳイメージセンサ内に一体的に組み込まれていてもよい。この場合、ＡＦＥ３０は、Ａ／Ｄ変換機能のみで構成されていてもよい。
　ＤＳＰ３１は、デジタルの撮像信号に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、および色補正処理等を指す。ＤＳＰ３１は、デジタル信号処理後の撮像信号を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からの撮像信号を、被写体像を表す画像として記憶する。
　電子式補正部３３は、画像メモリ３２に記憶された画像に画像処理を施すことで、被写体像のぶれを補正する。機械式補正部２４の場合と同様に、電子式補正部３３によるぶれの補正方法としては、周知の種々の方法を採用することができる。
　電子式補正部３３によるぶれの補正方法としては、例えば、画像出力領域切り出し方法と、画像比較方法とが挙げられる。画像出力領域切り出し方法では、まず、撮像素子２５は、撮像領域を、最終的に画像として出力する領域（以下、画像出力領域）よりも一回り大きくしておく。電子式補正部３３は、画像メモリ３２に記憶された画像から、画像出力領域に該当する画像を切り出す。この際、電子式補正部３３は、ぶれに応じて、画像出力領域の切り出し位置を変更する。
　画像比較方法では、まず、電子式補正部３３は、画像メモリ３２から、時系列的に前後する画像を取得し、取得した時系列的に前後する画像を比較する。次に、電子式補正部３３は、画像を比較した結果を元に、先行の画像に対する後続の画像のずれ量およびずれ方向を算出する。そして、電子式補正部３３は、後続の画像を、算出したずれ量およびずれ方向が打ち消された画像に加工する。なお、以下では、機械式補正部２４および電子式補正部３３を区別して説明する必要がない場合、符号を付さずに「補正部」と称する。
　通信Ｉ／Ｆ３４は、画像メモリ３２から画像を読み出し、読み出した画像を管理装置１１に送信する。通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースである。ネットワークインターフェースは、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネットあるいは公衆通信網等のＷＡＮ（Wide Area Network）が挙げられる。
　ＲＯＭ３５は、監視カメラ１０の制御プログラムといった各種プログラム、並びに各種プログラムに付随する各種データを記憶する。ＲＡＭ３６は、ＣＰＵ３７が処理を実行するためのワークメモリである。ＣＰＵ３７は、ＲＯＭ３５に記憶されたプログラムをＲＡＭ３６へ読み出し、読み出したプログラムにしたがった処理を実行する。これにより、ＣＰＵ３７は、監視カメラ１０の各部の動作を統括的に制御する。
　ＣＰＵ３７には、ぶれ検出センサ４０、測光センサ４１、およびタッチパネルディスプレイ４２が接続されている。ぶれ検出センサ４０は、例えば、ジャイロセンサである。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、およびロール軸ＲＡ（光軸ＯＡに平行な軸）の各軸（図１参照）回りの回転ぶれを検出する。また、ぶれ検出センサ４０は、例えば、加速度センサである。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡとに平行な平面内のシフトぶれを検出する。ぶれ検出センサ４０は、ぶれの検出信号をＣＰＵ３７に出力する。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上および製造上において許容される誤差を含む略平行の意味も含まれる。
　測光センサ４１は、ＡＥ（Automatic Exposure）制御を行うために、１フレーム毎に被写体像の光量を測定する。測光センサ４１は、光量の測定信号をＣＰＵ３７に出力する。
　タッチパネルディスプレイ４２は、ディスプレイに対してタッチパネルが重ねられたデバイスである。ディスプレイは、ＣＰＵ３７の制御下で、画像を含む各種情報を表示する。タッチパネルは、ディスプレイの表示画面に重ねられており、ユーザの指またはタッチペン等の指示体による接触を受け付ける。タッチパネルディスプレイ４２には、監視カメラ１０の各種設定を行うための設定画面等が表示される。タッチパネルディスプレイ４２は、設定画面等を通じて、ユーザからの操作指示の入力を受け付ける。
　図３において、ＲＯＭ３５には、作動プログラム５０が記憶されている。作動プログラム５０は、監視カメラ１０をぶれ補正制御装置として機能させるためのプログラムである。なお、作動プログラム５０は、本開示の技術に係る「ぶれ補正制御装置の作動プログラム」の一例である。
　また、ＲＯＭ３５には、動作推奨条件５１と設定期間ＳＰが記憶されている。動作推奨条件５１は、機械式補正部２４の動作が推奨される条件である。設定期間ＳＰは、連続する複数のフレームの時系列で画定された期間である。
　ＣＰＵ３７は、作動プログラム５０を実行することで、ＲＡＭ３６等と協働して、ＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３として機能する。ＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３のうちの取得部６１と動作制御部６３とで、ぶれ補正制御装置６４が実現される。
　ＡＥ制御部６０は、測光センサ４１からの光量の測定信号を受信する。ＡＥ制御部６０は、受信した光量の測定信号に応じた露出値を設定する。ＡＥ制御部６０は、１フレーム毎に露出値を設定する。より詳しくは、ＡＥ制御部６０は、前のフレームの光量の測定信号に基づいて、次のフレームの露出値を設定する。
　ＡＥ制御部６０は、設定した露出値に応じた絞り１７の開度を算出する。ＡＥ制御部６０は、算出した開度に絞り１７の実際の開度を合わせるように、ドライバ２１を介してアクチュエータ２０を駆動させる。
　また、ＡＥ制御部６０は、設定した露出値に応じた、撮像素子２５における被写体像の露光時間を算出する。ＡＥ制御部６０は、算出した露光時間に実際の露光時間を合わせるように、ドライバ２６を介して撮像素子２５を駆動させる。ＡＥ制御部６０は、算出した露光時間を取得部６１に出力する。
　取得部６１は、ＡＥ制御部６０からの露光時間を取得する。取得部６１により取得された露光時間は、本開示の技術に係る「関係量」の一例であり、動作推奨条件５１に関係する関係量に相当する。また、前述のように、ＡＥ制御部６０は、１フレーム毎に露出値を設定するので、露光時間も１フレーム毎に算出して、１フレーム毎に取得部６１に出力する。このため、取得部６１は、連続するフレーム毎に露光時間を取得する。この連続するフレームの各々の露光時間が取得部６１によって取得される時点が、本開示の技術に係る「予め定められた時点」の一例である。取得部６１は、取得した露光時間を記憶制御部６２に出力する。
　記憶制御部６２は、取得部６１からの露光時間をＲＡＭ３６に記憶する制御を行う。また、記憶制御部６２は、連続する複数のフレームに対応する複数の露光時間をＲＡＭ３６から読み出し、読み出した複数の露光時間を動作制御部６３に出力する。
　動作制御部６３は、ぶれ検出センサ４０からのぶれの検出信号を受信する。動作制御部６３は、受信した検出信号に基づいて、被写体像のぶれを打ち消すよう、機械式補正部２４および電子式補正部３３の動作を制御する。
　動作制御部６３は、ＲＯＭ３５から、動作推奨条件５１および設定期間ＳＰを読み出す。そして、これら動作推奨条件５１および設定期間ＳＰと、記憶制御部６２からの、連続する複数のフレームに対応する複数の露光時間とに応じて、連続する複数のフレームの次のフレームにおいて、機械式補正部２４および電子式補正部３３を選択的に動作させる制御を行う。
　より具体的には、動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合は、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。一方、動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合は、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる。
　図４に示すように、動作推奨条件５１は、露光時間が第１設定量ＴＨ１以上であるという条件である。
　図５は、フレームＦ１０～フレームＦ２０の露光時間の推移を示したグラフである。各フレームＦ１０～フレームＦ２０のうち、フレームＦ１０、フレームＦ１１、フレームＦ１３、フレームＦ１５～フレームＦ１９は、露光時間が第１設定量ＴＨ１以上であるため、動作推奨条件５１を満たしている。これに対して、フレームＦ１２、フレームＦ１４、フレームＦ２０は、露光時間が第１設定量ＴＨ１未満であるため、動作推奨条件５１を満たしていない。
　図６に示すように、記憶制御部６２は、最も古いフレームの露光時間を、最も新しいフレームの露光時間に順次更新しつつ、設定期間ＳＰを画定する連続する複数のフレームに対応する複数の露光時間をＲＡＭ３６に記憶させる。そして、この複数の露光時間のセットを、１フレーム毎に順次動作制御部６３に出力する。
　図６では、設定期間ＳＰが５フレームであり、図５で示したフレームＦ１０～フレームＦ２０の露光時間がＲＯＭ３５に順次記憶されていく様子を示している。図６の左上は、フレームＦ１０～フレームＦ１４の露光時間がＲＯＭ３５に記憶されている状態である。この状態から１フレーム分の取得時間が経過した図６の右上では、図６の左上において最も古かったフレームＦ１０の露光時間が、最も新しいフレームＦ１５の露光時間に更新されている。以下同様に、図６の左下ではフレームＦ１２～フレームＦ１６の露光時間がＲＯＭ３５に記憶され、図６の右下ではフレームＦ１３～フレームＦ１７の露光時間がＲＯＭ３５に記憶される。
　図７の表７０に示すように、動作制御部６３は、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と同じである場合、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行う。一方、動作制御部６３は、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と異なる場合、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。なお、以下の図では、「Ｍ」を円で囲んだマークで機械式補正部２４が示されており、「Ｅ」を円で囲んだマークで電子式補正部３３が示されている。
　動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と同じである場合、とは、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合、と同義である。また、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と異なる場合、とは、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合、と同義である。
　図７では、設定期間ＳＰが図６の場合と同じ５フレームの場合を例示している。この例では、動作推奨条件５１を満たしたフレームの数Ｎが５の場合に、次のフレームにおいて機械式補正部２４のみが動作される。一方、動作推奨条件５１を満たしたフレームの数Ｎが０～４の場合に、次のフレームにおいて電子式補正部３３のみが動作される。
　図８は、フレームＦ５０～フレームＦ６１の露光時間の推移を示したグラフである。各フレームＦ５０～フレームＦ６１のうち、フレームＦ５０～フレームＦ５４は、露光時間が第１設定量ＴＨ１未満であるため、動作推奨条件５１を満たしていない。対して、フレームＦ５５～フレームＦ６１は、露光時間が第１設定量ＴＨ１以上であるため、動作推奨条件５１を満たしている。
　図９～図１１は、図８のように露光時間が推移した場合に、図７の表７０で示した設定で、具体的にいずれの補正部が動作するかを示した図である。まず、図９Ａは、フレームＦ５０～フレームＦ５４の露光時間に応じて、フレームＦ５５において動作させる補正部を選択する様子を示している。フレームＦ５０～フレームＦ５４の露光時間は、全て動作推奨条件５１を満たしていない。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが０であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、フレームＦ５５において電子式補正部３３のみを動作させる。
　続いて図９Ｂは、フレームＦ５１～フレームＦ５５の露光時間に応じて、フレームＦ５６において動作させる補正部を選択する様子を示している。フレームＦ５１～フレームＦ５５の露光時間は、フレームＦ５５を除いて、動作推奨条件５１を満たしていない。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが１であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａの場合と同じく、フレームＦ５６において電子式補正部３３のみを動作させる。
　図１０Ａは、フレームＦ５２～フレームＦ５６の露光時間に応じて、フレームＦ５７において動作させる補正部を選択する様子を示している。フレームＦ５２～フレームＦ５６の露光時間は、フレームＦ５２～フレームＦ５４が動作推奨条件５１を満たさず、フレームＦ５５、フレームＦ５６が動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが２であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａ、図９Ｂの場合と同じく、フレームＦ５７において電子式補正部３３のみを動作させる。
　続いて図１０Ｂは、フレームＦ５３～フレームＦ５７の露光時間に応じて、フレームＦ５８において動作させる補正部を選択する様子を示している。フレームＦ５３～フレームＦ５７の露光時間は、フレームＦ５３、フレームＦ５４が動作推奨条件５１を満たさず、フレームＦ５５～フレームＦ５７が動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが３であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａ、図９Ｂ、図１０Ａの場合と同じく、フレームＦ５８において電子式補正部３３のみを動作させる。
　図１１Ａは、フレームＦ５４～フレームＦ５８の露光時間に応じて、フレームＦ５９において動作させる補正部を選択する様子を示している。フレームＦ５４～フレームＦ５８の露光時間は、フレームＦ５４を除いて、動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが４であり、設定期間ＳＰを画定するフレームの数５と異なる。このため、動作制御部６３は、図９Ａ、図９Ｂ、図１０Ａ、図１０Ｂの場合と同じく、フレームＦ５９において電子式補正部３３のみを動作させる。
　続いて図１１Ｂは、フレームＦ５５～フレームＦ５９の露光時間に応じて、フレームＦ６０において動作させる補正部を選択する様子を示している。フレームＦ５５～フレームＦ５９の露光時間は、全て動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが５であり、設定期間ＳＰを画定するフレームの数５と同じである。このため、動作制御部６３は、フレームＦ６０において機械式補正部２４のみを動作させる。
　さらに図１１Ｃは、フレームＦ５６～フレームＦ６０の露光時間に応じて、フレームＦ６１において動作させる補正部を選択する様子を示している。フレームＦ５６～フレームＦ６０の露光時間は、全て動作推奨条件５１を満たしている。すなわち、動作推奨条件５１を満たしたフレームの数Ｎが５であり、設定期間ＳＰを画定するフレームの数５と同じである。このため、動作制御部６３は、図１１Ｂの場合と同じく、フレームＦ６１において機械式補正部２４のみを動作させる。
　図９～図１１の説明をまとめると、図１２に示すようになる。すなわち、フレームＦ５５～フレームＦ５９までは、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみが動作される。しかし、フレームＦ６０からは、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される。
　次に、上記構成による作用について、図１３のフローチャートを参照して説明する。まず、ぶれを補正する指示がタッチパネルディスプレイ４２等によって受け付けられたことを条件に、作動プログラム５０にしたがってＣＰＵ３７によって実行されるぶれ補正処理について説明する。ぶれ補正処理は、図３に示すＡＥ制御部６０、取得部６１、記憶制御部６２、および動作制御部６３としてＣＰＵ３７を機能させる処理である。
　図１３のステップＳＴ１００に示すように、ＡＥ制御部６０において、測光センサ４１からの光量の測定信号に応じた露出値が設定される。そして、露出値に応じた露光時間が算出される。露光時間はＡＥ制御部６０から取得部６１に出力される。
　取得部６１では、ＡＥ制御部６０からの露光時間が取得される（ステップＳＴ１１０）。このステップＳＴ１１０は、本開示の技術に係る「取得ステップ」の一例である。露光時間は取得部６１から記憶制御部６２に出力され、図６で示したように、記憶制御部６２によってＲＡＭ３６に記憶される（ステップＳＴ１２０）。
　監視カメラ１０の起動時において、ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていない場合（ステップＳＴ１３０でＮＯ）は、動作制御部６３により、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される（ステップＳＴ１４０）。なお、監視カメラ１０の起動時において、ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていない場合に、機械式補正部２４ではなく、電子式補正部３３を動作させてもよい。
　ＲＡＭ３６に設定期間ＳＰ分の露光時間が記憶されていた場合（ステップＳＴ１３０でＹＥＳ）、記憶制御部６２により、設定期間ＳＰ分の露光時間がＲＡＭ３６から読み出され、動作制御部６３に出力される。
　動作制御部６３では、記憶制御部６２からの設定期間ＳＰ分の露光時間と、第１設定量ＴＨ１との大小が比較される。そして、図４で示したように、動作制御部６３では、露光時間が第１設定量ＴＨ１以上の場合は、動作推奨条件５１を満たしたと判定される。こうして、設定期間ＳＰにおいて、動作推奨条件５１を満たしたフレームの数Ｎが判明する。
　動作制御部６３では、動作推奨条件５１を満たしたフレームの数Ｎと設定期間ＳＰを画定するフレームの数が比較される（ステップＳＴ１５０）。
　動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と異なる場合、すなわち、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合（ステップＳＴ１５０でＹＥＳ）、図９、図１０、図１１Ａで示したように、動作制御部６３により、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみが動作される（ステップＳＴ１６０）。一方、動作推奨条件５１を満たしたフレームの数Ｎが、設定期間ＳＰを画定するフレームの数と同じである場合、すなわち、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合（ステップＳＴ１５０でＮＯ）、図１１Ｂ、図１１Ｃで示したように、動作制御部６３により、次のフレームにおいて、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみが動作される（ステップＳＴ１７０）。ステップＳＴ１００から、ステップＳＴ１６０、ステップＳＴ１７０のいずれかまでの各処理は、監視カメラ１０の電源がオフされる（ステップＳＴ１８０でＹＥＳ）まで繰り返し続けられる。なお、ステップＳＴ１６０およびステップＳＴ１７０は、本開示の技術に係る「動作制御ステップ」の一例である。
　以上説明したように、ぶれ補正制御装置６４は、取得部６１と動作制御部６３とを備えている。取得部６１は、連続するフレーム毎に露光時間を取得する。動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続していない場合は、機械式補正部２４および電子式補正部３３のうちの電子式補正部３３のみを動作させる制御を行う。露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続する場合よりも、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続しない場合のほうが、確率としては高い。このため、電子式補正部３３の動作時間が増える。したがって、相対的に機械式補正部２４の動作時間を減らすことが可能となる。結果として、監視カメラ１０の寿命を延ばすことができる。
　動作制御部６３は、露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合は、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行う。露光時間が動作推奨条件５１を満たす状態が設定期間ＳＰ継続した場合は、電子式補正部３３では補正が難しいぶれが発生していると考えられる。したがって、上記のような制御を行うことで、電子式補正部３３では補正が難しいぶれが発生している場合でも、適切に対処することができる。
　動作推奨条件５１は、露光時間が第１設定量ＴＨ１以上であるという条件で、比較的単純な内容である。したがって、動作推奨条件５１を満たしているか否かの判断が比較的容易である。
　監視カメラシステム２に用いられる監視カメラ１０に、ぶれ補正制御装置６４の機能をもたせている。監視カメラ１０は常時稼働している場合が多く、その分、民生用のデジタルカメラといった他の撮像装置と比べて、高い耐久性が求められる。このため、機械式補正部２４の動作時間を減らす必要性が高い。したがって、ぶれ補正制御装置６４を監視カメラシステム２に用いれば、より優れた効果を発揮することができる。
　なお、図７の表７０で示した設定に代えて、図１４の表８０に示す設定を採用してもよい。図１４では、設定期間ＳＰが２フレームとなっている。この例では、動作推奨条件５１を満たしたフレームの数Ｎが２の場合に、次のフレームにおいて機械式補正部２４のみが動作される。一方、動作推奨条件５１を満たしたフレームの数Ｎが０および１の場合に、次のフレームにおいて電子式補正部３３のみが動作される。
　ここで、図１５ＡのフレームＦ７０～フレームＦ７７のように、露光時間が第１設定量ＴＨ１の前後を１フレーム毎に変動する状況を考える。図１５Ａに示す状況において、１フレーム分の露光時間に応じて、動作させる補正部を切り替える場合、図１５Ｂの表８２に示すように、フレームＦ７５～フレームＦ８０において、フレームＦ７６、フレームＦ７８～８０の計４フレームで機械式補正部２４が動作する。対して、図１４の表８０で示した設定で、動作させる補正部を切り替える場合、図１５Ｃの表８４に示すように、機械式補正部２４が動作するのはフレームＦ７９、フレームＦ８０の計２フレームだけとなる。このように、設定期間ＳＰを画定するフレームの数を２とした場合においても、機械式補正部２４の動作時間を減らすことが可能となる。
　なお、図１６に示すように、設定期間ＳＰをユーザが設定変更可能としてもよい。
　図１６において、ＣＰＵ３７は、設定期間ＳＰを変更する変更部９０として機能する。変更部９０は、ユーザの求めに応じて、設定期間変更画面９５をタッチパネルディスプレイ４２に表示させる。設定期間変更画面９５は、設定期間ＳＰを画定するフレームの数を変更するためのスピンボックス９６、設定ボタン９７、およびキャンセルボタン９８を備えている。
　スピンボックス９６が操作されて、設定期間ＳＰを画定するフレームの数が所望の数値とされた後、設定ボタン９７が選択される。これにより、設定期間ＳＰを画定するフレームの数の設定変更指示が変更部９０で受け付けられる。変更部９０は、設定変更指示を受けて、ＲＯＭ３５の設定期間ＳＰを画定するフレームの数を、スピンボックス９６で設定された数値に書き換える。
　このように、設定期間ＳＰを変更する変更部９０を備えるので、あらゆる要望に臨機応変に対応することができる。具体的には、機械式補正部２４の動作時間を設定前よりも減らす設定にしたり、逆に機械式補正部２４の動作時間を設定前よりも増やす設定にしたりすることができる。
　設定期間ＳＰを画定するフレームの数は、大きい値とする程、機械式補正部２４の動作時間を減らすことが可能となる。ただし、設定期間ＳＰを画定するフレームの数をあまりに大きな値にしすぎると、電子式補正部３３では補正が難しいぶれが発生している場合に、適切に機械式補正部２４に動作が切り替わらなくなるおそれがある。このため、設定期間ＳＰを画定するフレームの数には、上限値を設けることが好ましい。
　設定期間ＳＰを画定するフレームの数を、時間帯といった他の要素に応じて変更してもよい。例えば、機械式補正部２４の動作が推奨されるぶれが発生しやすいと考えられる時間帯（午前８時から午後５時まで等）は、設定期間ＳＰを画定するフレームの数を比較的小さい値として、機械式補正部２４の動作時間を相対的に増やす。対して、上記の時間帯以外は、設定期間ＳＰを画定するフレームの数を比較的大きい値として、機械式補正部２４の動作時間を相対的に減らす。
　［第２実施形態］
　図１７～図２０に示す第２実施形態では、本開示の技術に係る「関係量」の一例として、ぶれの振幅とぶれの周波数とが採用された場合について説明する。なお、以下では、ぶれの振幅を単に「振幅」と称する場合がある。同じく、ぶれの周波数を単に「周波数」と称する場合がある。
　前述のように、監視カメラ１０に与えられる振動には様々な種類がある。このため、ぶれ検出センサ４０で検出されるぶれは、振幅および周波数が異なる様々なぶれを合成したものであると考えられる。そこで、第２実施形態においては、図１７に概念的に示すように、ぶれ検出センサ４０からのぶれの検出信号を高速フーリエ変換にかける。そして、高速フーリエ変換の結果に基づき、ぶれ検出センサ４０で検出されるぶれを、各々振幅をもつ複数の異なる周波数のぶれに分解する。第２実施形態では、こうして得られたぶれの振幅とぶれの周波数とを、関係量として取得部６１が取得する。なお、高速フーリエ変換にかけるぶれの検出信号は、例えば、ピッチ軸ＰＡとヨー軸ＹＡとに平行な平面内のシフトぶれを検出する加速度センサの検出信号である。
　振幅に対しては第２設定量ＴＨ２が設定され、周波数に対しては第３設定量ＴＨ３が設定される。図１８に示すように、動作推奨条件１１０は、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがあるという条件である。すなわち、高速フーリエ変換によって振幅と周波数とに分解された複数のぶれのうち、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれが１つでもあれば、動作推奨条件１１０を満たしたことになる。なお、以降の処理は、関係量として、露光時間に代えてぶれの振幅とぶれの周波数とが採用されている以外は、上記第１実施形態と同じであるため、説明を省略する。
　このように、第２実施形態では、関係量として、ぶれの振幅とぶれの周波数とが採用されている。そして、動作推奨条件１１０として、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがあるという条件が採用されている。したがって、実際に発生しているぶれの種類に適応した補正部を、動作制御部６３が動作させることができる。
　図１９に示すように、第２設定量ＴＨ２は、周波数が高くなるにつれて小さくなる量であってもよい。このようにする理由は、振幅が同じで周波数が異なるぶれがあった場合、周波数が高いぶれ程、同じ露光時間内のぶれの量が多くなるためである。第２設定量ＴＨ２を、周波数が高くなるにつれて小さくなる量とすれば、動作推奨条件１１０を、より適切な条件とすることができる。
　また、第３設定量ＴＨ３は、振幅が大きくなるにつれて小さくなる量であってもよい。このようにする理由は、周波数が同じで振幅が異なるぶれがあった場合、振幅が大きいぶれ程、同じ露光時間内のぶれの量が多くなるためである。第３設定量ＴＨ３を、振幅が大きくなるにつれて小さくなる量とすれば、動作推奨条件１１０を、より適切な条件とすることができる。
　なお、図１９では、第２設定量ＴＨ２および第３設定量ＴＨ３が直線的に変化しているが、これに限定されない。第２設定量ＴＨ２が、周波数が高くなるにつれて小さくなる量となり、第３設定量ＴＨ３が、振幅が大きくなるにつれて小さくなる量となればよく、図２０Ａに示すように第２設定量ＴＨ２および第３設定量ＴＨ３を曲線的に変化させてもよい。また、図２０Ｂに示すように段階的に変化させてもよい。また、これらのバリエーションを組み合わせて、例えば、第２設定量ＴＨ２を直線的に変化させ、かつ、第３設定量ＴＨ３を曲線的に変化させる等してもよい。
　［第３実施形態］
　図２１および図２２に示す第３実施形態では、本開示の技術に係る「関係量」の一例として、露光時間内のぶれの量が採用された場合について説明する。
　図２１は、ある時間にぶれ検出センサ４０で検出されたぶれＢＬに対する露光時間内のぶれの量を示す図である。ぶれＢＬの波形の頂点を跨がない露光時間Ｔ１の場合、ぶれの量は、露光時間Ｔ１の開始時と露光時間Ｔ１の終了時とのそれぞれのぶれの量の差分の絶対値Δ１である。対して、ぶれＢＬの波形の頂点を跨ぐ露光時間Ｔ２の場合、ぶれの量は、δＡとδＢを加算したΔ２である。ここで、δＡは、露光時間Ｔ２の開始時のぶれの量と、ぶれＢＬの波形の頂点のぶれの量との差分の絶対値である。また、δＢは、露光時間Ｔ２の終了時のぶれの量と、ぶれＢＬの波形の頂点のぶれの量との差分の絶対値である。第３実施形態では、こうして得られた露光時間内のぶれの量を、関係量として取得部６１が取得する。
　図２２に示すように、動作推奨条件１１５は、露光時間内のぶれの量が第４設定量ＴＨ４以上であるという条件である。なお、以降の処理は、関係量として、露光時間に代えて露光時間内のぶれの量が採用されている以外は、上記第１実施形態と同じであるため、説明を省略する。
　このように、第３実施形態では、関係量として、露光時間内のぶれの量が採用されている。そして、動作推奨条件１１５として、露光時間内のぶれの量が第４設定量ＴＨ４以上であるという条件が採用されている。したがって、実際に発生しているぶれの量に適応した補正部を、動作制御部６３が動作させることができる。
　第１実施形態と第２実施形態とを複合して実施してもよい。この場合、動作推奨条件は、露光時間が第１設定量ＴＨ１以上であって、振幅が第２設定量ＴＨ２以上で、かつ、周波数が第３設定量ＴＨ３以上のぶれがある、という条件になる。
　上記各実施形態では、監視カメラ１０にぶれ補正制御装置６４の機能をもたせているが、これに限らない。図２３Ａに示すように、監視カメラ１５０ではなく、管理装置１５１にぶれ補正制御装置１５２の機能をもたせてもよい。または図２３Ｂに示すように、監視カメラ２００および管理装置２０１とは別に、ぶれ補正制御装置２０２を設けてもよい。
　上記各実施形態では、露光時間等の関係量が動作推奨条件を満たす状態が設定期間ＳＰ継続した場合、機械式補正部２４および電子式補正部３３のうちの機械式補正部２４のみを動作させる制御を行っているが、これに限らない。露光時間等の関係量が動作推奨条件を満たす状態が設定期間ＳＰ継続した場合に、機械式補正部２４だけでなく、電子式補正部３３も補助的に動作させてもよい。例えば、機械式補正部２４が補正の８割を担い、電子式補正部３３が補正の２割を担うよう動作させる。こうして電子式補正部３３を補助的に動作させれば、機械式補正部２４の動作負担が減るため、より監視カメラ１０の寿命を延ばすことができる。
　上記各実施形態では、補正光学系１９を機械的に移動させる機械式補正部２４を例示したが、これに限らない。撮像素子２５を機械的に移動させる機械式補正部でもよいし、補正光学系１９および撮像素子２５の両方を機械的に移動させる機械式補正部でもよい。
　関係量を取得する予め定められた時点は、フレームで規定される時点でなくてもよい。例えば、関係量をぶれの振幅と周波数とする第２実施形態の場合は、関係量を取得する予め定められた時点を、ぶれ検出センサ４０の検出信号のサンプリング間隔で規定される時点としてもよい。
　同様に、設定期間を画定する連続する複数の時点も、連続する複数のフレームでなくてもよく、また、連続するフレーム毎に関係量を取得しなくてもよい。例えば奇数フレーム毎に関係量を取得してもよい。
　動画を撮像する場合だけでなく、秒単位の間隔で静止画を撮像する、いわゆるインターバル撮像に、本開示の技術を適用してもよい。この場合、消費電力を抑えるために、ぶれ検出センサ４０、測光センサ４１、およびＣＰＵ３７は、静止画の撮像の合間は起動させないでおき、静止画の撮像タイミングの例えば１０フレーム前となったら起動させてもよい。
　本開示の技術は、監視カメラ以外の撮像装置、例えば民生用のデジタルカメラ、スマートフォン、あるいはタブレット端末等に対しても適用することが可能である。
　上記各実施形態において、例えば、ＡＥ制御部６０、取得部６１、記憶制御部６２、動作制御部６３、変更部９０といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。各種のプロセッサには、上述したように、ソフトウェア（作動プログラム５０）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :ＰＬＤ）、および／またはＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。いずれのプロセッサにもメモリが内蔵または接続されており、いずれのプロセッサもメモリを使用することで各種の処理を実行する。
　１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、および／または、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
　複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。
　以上の記載から、以下の付記項１および付記項２に記載の発明を把握することができる。
　［付記項１］
　補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得プロセッサと、
　前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御プロセッサであり、前記取得プロセッサにおいて取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御プロセッサと、
を備えるぶれ補正制御装置。
　［付記項２］
　プロセッサと、
　前記プロセッサに接続又は内蔵されたメモリと、を含み、
　前記プロセッサは、
　補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得し、
　前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御し、取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う、
ぶれ補正制御装置。
　本開示の技術は、上述の種々の実施形態および／または種々の変形例を適宜組み合わせることも可能である。また、上記各実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
　以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａおよび／またはＢ」は、「ＡおよびＢのうちの少なくとも１つ」と同義である。つまり、「Ａおよび／またはＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、ＡおよびＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「および／または」で結び付けて表現する場合も、「Ａおよび／またはＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (16)

  1. 　補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、
    　前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御部であり、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御部と、
    を備えるぶれ補正制御装置。
  2. 　前記動作制御部は、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が前記設定期間継続した場合は、前記機械式補正部および前記電子式補正部のうちの前記機械式補正部のみを動作させる制御を行う請求項１に記載のぶれ補正制御装置。
  3. 　前記設定期間を変更する変更部を備える請求項１または請求項２に記載のぶれ補正制御装置。
  4. 　前記関係量は、前記撮像素子における前記被写体像の露光時間である請求項１から請求項３のいずれか１項に記載のぶれ補正制御装置。
  5. 　前記動作推奨条件は、前記露光時間が第１設定量以上であるという条件である請求項４に記載のぶれ補正制御装置。
  6. 　前記関係量は、前記ぶれの振幅と前記ぶれの周波数である請求項１から請求項５のいずれか１項に記載のぶれ補正制御装置。
  7. 　前記動作推奨条件は、前記振幅が第２設定量以上で、かつ、前記周波数が第３設定量以上のぶれがあるという条件である請求項６に記載のぶれ補正制御装置。
  8. 　前記第２設定量は、前記周波数が高くなるにつれて小さくなる量である請求項７に記載のぶれ補正制御装置。
  9. 　前記第３設定量は、前記振幅が大きくなるにつれて小さくなる量である請求項７または請求項８に記載のぶれ補正制御装置。
  10. 　前記関係量は、前記撮像素子における前記被写体像の露光時間内の前記ぶれの量である請求項１から請求項３のいずれか１項に記載のぶれ補正制御装置。
  11. 　前記動作推奨条件は、前記ぶれの量が第４設定量以上であるという条件である請求項１０に記載のぶれ補正制御装置。
  12. 　前記取得部は、連続するフレーム毎に前記関係量を取得する請求項１から請求項１１のいずれか１項に記載のぶれ補正制御装置。
  13. 　監視カメラシステムに用いられる請求項１から請求項１２のいずれか１項に記載のぶれ補正制御装置。
  14. 　請求項１から請求項１３のいずれか１項に記載のぶれ補正制御装置を備える撮像装置。
  15. 　補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得ステップと、
    　前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御ステップであり、前記取得ステップにおいて取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御ステップと、
    を備えるぶれ補正制御装置の作動方法。
  16. 　補正光学系および撮像素子のうちの少なくとも一方を機械的に移動させることで被写体像のぶれを補正する機械式補正部の動作が推奨される動作推奨条件に関係する関係量を、予め定められた時点毎に取得する取得部と、
    　前記機械式補正部の動作、および、前記撮像素子により撮像されることで得られた画像に画像処理を施すことで前記ぶれを補正する電子式補正部の動作を制御する動作制御部であり、前記取得部において取得した前記関係量が前記動作推奨条件を満たす状態が、連続する複数の時点の時系列で画定された設定期間継続していない場合は、前記機械式補正部および前記電子式補正部のうちの前記電子式補正部のみを動作させる制御を行う動作制御部として、
    コンピュータを機能させるためのぶれ補正制御装置の作動プログラム。
PCT/JP2019/046892 2018-11-29 2019-11-29 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置 WO2020111267A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020557879A JP7091474B2 (ja) 2018-11-29 2019-11-29 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
CN201980076749.5A CN113170040B (zh) 2018-11-29 2019-11-29 抖动校正控制装置、抖动校正控制装置的工作方法、存储介质及摄像装置
US17/324,047 US11212448B2 (en) 2018-11-29 2021-05-18 Shake correction control device, operation method of shake correction control device, operation program of shake correction control device, and imaging apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-224228 2018-11-29
JP2018224228 2018-11-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/324,047 Continuation US11212448B2 (en) 2018-11-29 2021-05-18 Shake correction control device, operation method of shake correction control device, operation program of shake correction control device, and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2020111267A1 true WO2020111267A1 (ja) 2020-06-04

Family

ID=70852936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046892 WO2020111267A1 (ja) 2018-11-29 2019-11-29 ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置

Country Status (4)

Country Link
US (1) US11212448B2 (ja)
JP (1) JP7091474B2 (ja)
CN (1) CN113170040B (ja)
WO (1) WO2020111267A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170039B (zh) 2018-11-29 2022-12-16 富士胶片株式会社 抖动校正控制装置及摄像装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126075A (ja) * 2011-12-14 2013-06-24 Jvc Kenwood Corp 撮像装置及び画像ぶれ補正方法
JP2016024235A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置およびその制御方法
JP2017129785A (ja) * 2016-01-21 2017-07-27 オリンパス株式会社 撮像装置、像ブレ補正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0656725B1 (en) * 1993-12-02 2000-03-15 Canon Kabushiki Kaisha Image-shake correcting device
JP2006126667A (ja) * 2004-10-29 2006-05-18 Canon Inc カメラシステム、カメラおよび交換レンズ
JP6614810B2 (ja) * 2015-05-29 2019-12-04 キヤノン株式会社 ブレ補正装置、撮像装置、ブレ補正方法
KR102639757B1 (ko) * 2017-01-09 2024-02-23 엘지이노텍 주식회사 카메라 모듈 및 이를 포함하는 광학기기
JP2019117977A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 防振制御装置、撮像装置、撮像システム、制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013126075A (ja) * 2011-12-14 2013-06-24 Jvc Kenwood Corp 撮像装置及び画像ぶれ補正方法
JP2016024235A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置およびその制御方法
JP2017129785A (ja) * 2016-01-21 2017-07-27 オリンパス株式会社 撮像装置、像ブレ補正方法

Also Published As

Publication number Publication date
US11212448B2 (en) 2021-12-28
CN113170040B (zh) 2023-08-08
JPWO2020111267A1 (ja) 2021-10-14
US20210274099A1 (en) 2021-09-02
JP7091474B2 (ja) 2022-06-27
CN113170040A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
US9350905B2 (en) Image signal processing apparatus, image signal processing method, and image capturing apparatus
CN105828003B (zh) 摄像设备和摄像设备的控制方法
JP7113911B2 (ja) ぶれ補正制御装置、撮像装置、撮像装置のぶれ補正方法、及びプログラム
JP5188453B2 (ja) カメラ装置および露光制御方法
JP2013195741A5 (ja)
US8982250B2 (en) Image processing apparatus
JP2007093306A (ja) 空間情報の検出装置
JP5749224B2 (ja) カメラモジュール
US20200092458A1 (en) Image processing system with led flicker mitigation
US11343434B2 (en) Image processing apparatus and control method for same
WO2020111267A1 (ja) ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
JP5063881B2 (ja) ラインスキャン方式のイメージセンサシャッタモジュール及びそのシャッタ制御方法
JP2023002656A (ja) 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム
JP7091473B2 (ja) ぶれ補正制御装置、ぶれ補正制御装置の作動方法、ぶれ補正制御装置の作動プログラム、および撮像装置
JP5882759B2 (ja) 撮像装置、その制御方法、および制御プログラム
WO2023074452A1 (ja) カメラ装置、および、カメラ装置の制御方法
JP5621335B2 (ja) 画像処理装置及び画像処理方法、並びに画像撮像装置
JP6090565B2 (ja) 撮像装置、撮像方法及びプログラム
JP2014165621A (ja) 監視装置及び監視装置の制御方法
KR101635071B1 (ko) 카메라 모듈
JP2021164112A (ja) 撮像装置、画像処理装置、および画像処理プログラム
US20230326164A1 (en) Image capturing apparatus capable of recognizing recognition target with high accuracy, method of controlling same, and storage medium
JP2022114260A (ja) 画像形成装置
JP2014165505A (ja) 画像処理装置および画像処理方法
JP2009010840A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891542

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020557879

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19891542

Country of ref document: EP

Kind code of ref document: A1