WO2020171015A1 - ぶれ補正装置、撮像装置、監視システム、及びプログラム - Google Patents

ぶれ補正装置、撮像装置、監視システム、及びプログラム Download PDF

Info

Publication number
WO2020171015A1
WO2020171015A1 PCT/JP2020/006047 JP2020006047W WO2020171015A1 WO 2020171015 A1 WO2020171015 A1 WO 2020171015A1 JP 2020006047 W JP2020006047 W JP 2020006047W WO 2020171015 A1 WO2020171015 A1 WO 2020171015A1
Authority
WO
WIPO (PCT)
Prior art keywords
blur
image
blur correction
exposure
correction
Prior art date
Application number
PCT/JP2020/006047
Other languages
English (en)
French (fr)
Inventor
哲也 藤川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021501980A priority Critical patent/JP7152588B2/ja
Publication of WO2020171015A1 publication Critical patent/WO2020171015A1/ja
Priority to US17/403,890 priority patent/US11503210B2/en
Priority to JP2022152893A priority patent/JP7356557B2/ja
Priority to US18/045,459 priority patent/US11889191B2/en
Priority to JP2023158823A priority patent/JP2023171834A/ja
Priority to US18/533,188 priority patent/US20240129631A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the technology of the present disclosure relates to a blur correction device, an imaging device, a monitoring system, and a program.
  • blue refers to a subject image obtained by forming the subject light on the light-receiving surface in an imaging device in which the subject light representing the subject is formed on the light-receiving surface via the optical system.
  • the subject image formed on the image forming surface of the image pickup device is roughly divided into an optical image and an image that is an electronic image.
  • the blur of the optical image is corrected by a mechanical correction unit, and the blur of the image is electronically corrected. Corrected by the department.
  • the blur correction amount derived based on the detected blur amount is used.
  • the mechanical correction unit corrects the blur by mechanically moving the optical system and/or the image sensor based on the blur correction amount.
  • the electronic correction unit corrects the blur by cutting out an image obtained by being imaged according to the blur (for example, Japanese Patent Laid-Open Nos. 2013-135442 and 2017-152995, And JP-A-9-163215).
  • the turbulence that appears in the image due to the blurring that occurs during exposure cannot be removed by electronic blur correction.
  • the electronic blur correction is a process of cutting out a part of the image area from the image and does not correspond to the blur occurring during exposure.
  • a method for suppressing the turbulence appearing in an image due to a blur generated during exposure a method of performing mechanical blur correction during exposure and a method of applying a filter to an image are known (for example, (See Japanese Patent Laid-Open No. 2008-124728).
  • One embodiment according to the technology of the present disclosure is a disturbance that appears in an image due to a blur occurring during exposure when a mechanical blur correction unit and an electronic blur correction unit share and perform blur correction.
  • a blur correction device an imaging device, a monitoring system, and a program capable of removing the image without relying on the mechanical blur correction unit.
  • a first aspect according to the technique of the present disclosure is a mechanical shake correction that corrects a shake by moving a detection unit that detects a shake amount of an image pickup device and an optical element included in the image pickup device based on the shake amount. Section and an image obtained by being picked up by the image pickup device, by performing image processing based on the operation state information regarding the operation state of the optical element during exposure in the image pickup device and the amount of shake,
  • the electronic blur correction unit that corrects the motion blur, and the operation state information, the ratio, the blur amount, and the imaging device when the mechanical blur correction unit and the electronic blur correction unit are operated in a predetermined ratio during exposure.
  • the blurring correction apparatus includes a supplementary blurring correction unit that corrects blurring by applying a filter that is determined according to the exposure period to the image.
  • a supplementary blurring correction unit that corrects blurring by applying a filter that is determined according to the exposure period to the image.
  • a second aspect according to the technique of the present disclosure is the blur correction device according to the first aspect, in which the filter is a filter that removes a turbulence appearing in an image due to a blur generated during exposure.
  • the filter is a filter that removes a turbulence appearing in an image due to a blur generated during exposure.
  • a third aspect according to the technique of the present disclosure is the blur correction device according to the first aspect or the second aspect, in which the exposure is performed within one frame.
  • the operation state information includes at least one of a period during which the optical element is moving during the exposure period and a period during which the optical element is not moving during the exposure period. It is the blurring correction apparatus which concerns on any one of the 1st aspect thru
  • the operation state information is information including information that can specify the movement trajectory of the optical element during the exposure period
  • the operation state information is any one of the first to fourth aspects. It is a blurring correction device which concerns on a mode. As a result, it is possible to remove the turbulence in the image with high accuracy, as compared with the case where the turbulence in the image is removed using information irrelevant to the movement trajectory of the optical element during the exposure period.
  • the image processing is a process including a process of cutting out an image in accordance with a cutout position determined according to operation state information, a ratio, and a blur amount
  • the blur correction device according to any one of the fifth aspect. This makes it possible to correct the blur with higher accuracy than in the case where the process of cutting out the image is performed according to the cut-out position determined regardless of the operation state information, the predetermined ratio, and the blur amount.
  • the optical element is the first aspect to the sixth aspect, in which the optical element is at least one of an image sensor and an optical member on which subject light representing an object is formed by the optical member.
  • a blur correction device according to any one of the aspects.
  • the detection unit detects a blur amount for each of a plurality of blur frequencies, and the ratio is determined according to the frequency.
  • the blur correction device according to any one of the aspects.
  • the detection unit detects the blur amount in each of the pair of axial directions, and the ratio is determined according to the axial direction.
  • the blur correction device according to any one of the aspects. Accordingly, it is possible to correct the blur with high accuracy as compared with the case where the blur is corrected using only the blur amount in one axial direction.
  • a tenth aspect according to the technique of the present disclosure includes a blur correction device according to any one of the first to ninth aspects, and an image capturing unit that generates an image by capturing an image.
  • An eleventh aspect according to the technique of the present disclosure includes: the image pickup apparatus according to the tenth aspect; control for displaying an image on which the correction result of the supplementary blur correction unit is reflected on the display unit; And a control device that performs at least one of controls for storing image data indicating a captured image in a storage unit.
  • a twelfth aspect according to the technology of the present disclosure is a computer that includes a mechanical blur correction unit, an electronic blur correction unit included in the blur correction device according to any one of the first to ninth aspects. And a program for functioning as a supplementary shake correction unit.
  • the mechanical blur correction unit and the electronic blur correction unit share the blur correction function, the mechanical blur correction unit relies on the disturbance appearing in the image due to the blur generated during exposure. Can be removed without.
  • a thirteenth aspect according to the technique of the present disclosure includes a sensor that detects a blur amount of an image pickup apparatus and a processor, and the processor moves an optical element included in the image pickup apparatus based on the blur amount, thereby causing a blur.
  • a mechanical shake correction process for correcting the image blur is performed, and an image obtained by being picked up by the image pickup apparatus is based on the operation state information regarding the operation state of the optical element during exposure in the image pickup apparatus and the blur amount.
  • image processing to perform electronic blur correction processing to correct blur, and operating state information when mechanical blur correction processing and electronic blur correction processing are shared by a predetermined ratio during operation.
  • a blurring amount, and a blurring correction device that performs supplementary blurring correction processing that corrects blurring by applying a filter that is determined according to the blurring amount and the exposure period of the imaging device to the image.
  • FIG. 1 It is a schematic block diagram which shows an example of a structure of the monitoring system which concerns on embodiment. It is a block diagram showing an example of composition of an optical system and an electric system of a surveillance camera concerning an embodiment. It is a block diagram showing an example of composition of an electric system of a controlling device concerning an embodiment. It is a functional block diagram which shows an example of the function of CPU contained in the surveillance camera which concerns on embodiment. It is a conceptual diagram which shows an example of the processing content of the electronic blurring correction
  • 6 is a conceptual diagram for explaining the processing content in the management device of the supplementary correction image transmitted from the surveillance camera to the management device according to the embodiment.
  • 6 is a flowchart showing an example of the flow of a correction control process according to the embodiment.
  • 9 is a continuation of the flowchart shown in FIG.
  • It is a functional block diagram which shows the modification of the function of CPU contained in the surveillance camera which concerns on embodiment.
  • It is a conceptual diagram which shows the modification of the ratio information used with the surveillance camera which concerns on embodiment.
  • It is a conceptual diagram which shows an example of the aspect in which a correction control program is installed in the computer in a surveillance camera from the storage medium in which the correction control program which concerns on embodiment is stored.
  • CPU is an abbreviation for "Central Processing Unit”.
  • RAM is an abbreviation for “Random Access Memory”.
  • ROM is an abbreviation for “Read Only Memory”.
  • ASIC is an abbreviation of "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for “Programmable Logic Device”.
  • FPGA is an abbreviation for “Field-Programmable Gate Array”.
  • AFE is an abbreviation for “Analog Front End”.
  • DSP is an abbreviation of "Digital Signal Processor”.
  • SoC is an abbreviation for "System-on-a-chip”.
  • SSD is an abbreviation for “Solid State Drive”.
  • DVD-ROM is an abbreviation for “Digital Versatile Disc Read Only Memory”.
  • USB is an abbreviation for “Universal Serial Bus”.
  • HDD is an abbreviation for “Hard Disk Drive”.
  • the EEPROM is an abbreviation of "Electrically Erasable and Programmable Read Only Memory”.
  • CCD is an abbreviation for “Charge Coupled Device”.
  • CMOS is an abbreviation of “Complementary Metal Oxide Semiconductor”.
  • EL is an abbreviation for "Electro-Luminescence”.
  • A/D is an abbreviation for “Analog/Digital”.
  • the I/F is an abbreviation for “Interface”.
  • the UI is an abbreviation of “User Interface”.
  • WAN is an abbreviation for “Wide Area Network”.
  • FIR Finite Impulse Response
  • IIR Infinite Impulse Response
  • SNR Signal-to-Noise-Ratio
  • the surveillance system 2 includes a surveillance camera 10 and a management device 11.
  • the monitoring system 2 is an example of a “monitoring system” according to the technology of the present disclosure
  • the monitoring camera 10 is an example of an “imaging device” according to the technology of the present disclosure.
  • the monitoring camera 10 is installed indoors or outdoors on a pillar or a wall, and captures an image of a monitoring target, which is a subject, to generate a moving image.
  • the moving image includes images of a plurality of frames obtained by capturing the image.
  • the monitoring camera 10 transmits the moving image obtained by capturing the image to the management device 11 via the communication line 12.
  • the management device 11 includes a display 13 and a secondary storage device 14.
  • Examples of the display 13 include a liquid crystal display and an organic EL display.
  • the display 13 is an example of a “display unit (display)” according to the technique of the present disclosure.
  • a HDD is an example of the secondary storage device 14.
  • the secondary storage device 14 may be a non-volatile memory such as a flash memory, an SSD, or an EEPROM, instead of the HDD.
  • the secondary storage device 14 is an example of a “storage unit (memory)” according to the technology of the present disclosure.
  • the management device 11 receives the moving image transmitted by the surveillance camera 10, and the received moving image is displayed on the display 13 or stored in the secondary storage device 14.
  • the surveillance camera 10 includes an optical system 15 and an image sensor 25.
  • the image pickup device 25 is located in the subsequent stage of the optical system 15.
  • the optical system 15 includes an objective lens 15A and a lens group 15B.
  • the objective lens 15A and the lens group 15B are arranged in this order from the monitoring target side to the light receiving surface 25A side of the image sensor 25 along the optical axis OA of the optical system 15 in the order of the objective lens 15A and the lens group 15B.
  • the lens group 15B includes a focusing lens, a zoom lens, and the like that are each movable along the optical axis OA.
  • the focusing lens and the zoom lens move along the optical axis OA according to the applied power.
  • the lens group 15B includes an anti-vibration lens 15B1.
  • the image stabilizing lens 15B1 fluctuates in the direction perpendicular to the optical axis of the image stabilizing lens 15B1 according to the applied power.
  • the anti-vibration lens 15B1 is an example of an “optical element” and an “optical member” according to the technology of the present disclosure. Note that the vertical meaning in the present embodiment includes not only the perfect vertical meaning but also a substantially vertical meaning including an allowable error in design and manufacturing.
  • the monitoring target light indicating the monitoring target is imaged on the light receiving surface 25A by the optical system 15 configured as described above.
  • the imaging element 25 is an example of an “imaging unit (image sensor)” according to the technology of the present disclosure. Although a CCD image sensor is adopted as the image pickup device 25 here, this is merely an example, and the image pickup device 25 may be another image sensor such as a CMOS image sensor.
  • the vibrations given to the surveillance camera 10 include vibrations due to traffic of a car, vibrations due to wind, vibrations due to road construction, etc. if it is outdoors, and vibrations due to the operation of an air conditioner if it is indoors and humans. There is vibration, etc. Therefore, in the surveillance camera 10, a shake occurs due to the vibration (hereinafter, also simply referred to as “vibration”) given to the surveillance camera 10.
  • “blur” refers to a phenomenon in the surveillance camera 10 in which a digital image changes due to a change in the positional relationship between the optical axis OA and the light receiving surface 25A.
  • “blur” can be said to be a phenomenon in which the optical image obtained by forming an image on the light receiving surface 25A fluctuates as the optical axis OA tilts due to vibration.
  • the fluctuation of the optical axis OA means, for example, that the optical axis OA is tilted with respect to the reference axis (for example, the optical axis OA before blurring).
  • the surveillance camera 10 is provided with a mechanical shake correction unit 29 in order to correct the shake. That is, the mechanical blur correction unit 29 is used for blur correction.
  • the mechanical blur correction unit 29 and the operation control unit 37A (see FIG. 4) described later are examples of the “mechanical blur correction unit (mechanical blur correction device)” according to the technology of the present disclosure.
  • the mechanical shake correction unit is a device that performs mechanical shake correction processing, that is, a device that performs so-called OIS (Optical Image Stabilization). Although OIS is illustrated here, a device that performs BIS (Body Image Stabilization) instead of OIS may be used, or a device that performs OIS and BIS may be used. It should be noted that in the present embodiment, “correction of blurring” includes not only eliminating blurring but also reducing blurring.
  • the mechanical blur correction unit 29 includes an anti-vibration lens 15B1, an actuator 17, a driver 23, and a position detection sensor 39.
  • the anti-vibration lens 15B1 is an example of an “optical element” according to the technique of the present disclosure.
  • a method for correcting the shake by the mechanical shake correction unit 29 various known methods can be adopted.
  • a method for correcting the blur by moving the image stabilizing lens 15B1 based on the blur amount detected by the blur amount detection sensor 40 (described later) is adopted as the blur correction method.
  • the shake is corrected by moving the image stabilizing lens 15B1 in the direction of canceling the shake by the amount of canceling the shake.
  • An actuator 17 is attached to the anti-vibration lens 15B1.
  • the actuator 17 is a shift mechanism in which a voice coil motor is mounted. By driving the voice coil motor, the actuator 17 fluctuates the anti-vibration lens 15B1 in a direction perpendicular to the optical axis of the anti-vibration lens 15B1.
  • a shift mechanism in which a voice coil motor is mounted is adopted, but the technique of the present disclosure is not limited to this, and instead of the voice coil motor, a stepping motor, a piezo element, or the like is used. Other power sources may be applied.
  • the actuator 17 is controlled by the driver 23.
  • the position of the anti-vibration lens 15B1 mechanically changes with respect to the optical axis OA.
  • the position detection sensor 39 detects the current position of the image stabilizing lens 15B1 and outputs a position signal indicating the detected current position.
  • a device including a Hall element is adopted as an example of the position detection sensor 39.
  • the current position of the image stabilizing lens 15B1 refers to the current position in the two-dimensional plane of the image stabilizing lens.
  • the anti-vibration lens two-dimensional plane refers to a two-dimensional plane perpendicular to the optical axis of the anti-vibration lens 15B1.
  • a device including a hall element is adopted as an example of the position detection sensor 39, but the technique of the present disclosure is not limited to this, and a magnetic sensor or a photo sensor instead of the hall element. May be adopted.
  • the surveillance camera 10 includes a computer 19, a driver 26, an AFE 30, a DSP 31, an image memory 32, an electronic blur correction unit 33, a communication I/F 34, a blur amount detection sensor 40, a secondary storage device 42, and a UI device 43.
  • the computer 19 includes a RAM 35, a ROM 36, and a CPU 37.
  • the computer 19 is an example of a “computer” according to the technology of the present disclosure.
  • the electronic blur correction unit 33 and the operation control unit 37A (see FIG. 4) described later are examples of the “electronic blur correction unit (electronic blur correction circuit)” according to the technology of the present disclosure.
  • the electronic blur correction unit is a processor that performs electronic blur correction processing, that is, a processor (EIS processor) that performs so-called “EIS (Electric Image Stabilization)”.
  • the driver 26, the AFE 30, the DSP 31, the image memory 32, the electronic blur correction unit 33, the communication I/F 34, the RAM 35, the ROM 36, the CPU 37, the blur amount detection sensor 40, the secondary storage device 42, and the UI device 43 are bus lines. 38.
  • the driver 23 is also connected to the bus line 38.
  • Various programs for the surveillance camera 10 are stored in the ROM 36.
  • the CPU 37 reads various programs from the ROM 36 and expands the read various programs in the RAM 35.
  • the CPU 37 controls the entire surveillance camera 10 according to various programs developed in the RAM 35.
  • a driver 26 and an AFE 30 are connected to the image sensor 25. Under the control of the driver 26, the image pickup device 25 picks up an image of the monitoring target at a predetermined frame rate.
  • the "predetermined frame rate" here means, for example, several frames/second to several tens of frames/second.
  • the light receiving surface 25A is formed by a plurality of photosensitive pixels (not shown) arranged in a matrix.
  • each photosensitive pixel is exposed and photoelectric conversion is performed for each photosensitive pixel.
  • the electric charge obtained by photoelectrically converting each photosensitive pixel is an analog image pickup signal indicating a monitoring target, and is accumulated in the image pickup device 25 as an analog image.
  • Each photosensitive pixel is reset by the driver 26 under the control of the CPU 37 at a timing before and after the reading of the analog image.
  • the exposure period for each photosensitive pixel is determined according to the shutter speed, and the shutter speed is adjusted by controlling the reset timing and the analog image reading timing for each photosensitive pixel.
  • a vertical synchronization signal and a horizontal synchronization signal are input from the driver 26 to the image pickup device 25.
  • the vertical synchronization signal is a signal that defines the timing to start transmitting one frame of analog image.
  • the horizontal synchronization signal is a signal that defines the timing at which the output of an analog image for one horizontal line is started.
  • the image pickup device 25 starts outputting an analog image in frame units to the AFE 30 in accordance with a vertical synchronizing signal input from the driver 26, and outputs an analog image in AFE 30 in horizontal line units in accordance with a horizontal synchronizing signal input from the driver 26. Start the output of.
  • the AFE 30 receives the analog image from the image sensor 25.
  • the analog image is read from the image sensor 25 by the AFE 30.
  • the AFE 30 performs analog signal processing such as correlated double sampling and gain adjustment on the analog image, and then performs A/D conversion to generate a digital image which is a digital image pickup signal. That is, in the surveillance camera 10, a digital image showing the surveillance target is obtained by imaging the surveillance target with the image sensor 25.
  • the digital image is an example of an “image” according to the technique of the present disclosure.
  • the AFE 30 is provided outside the image sensor 25, but the technique of the present disclosure is not limited to this, and the AFE 30 may be integrally incorporated in the image sensor 25. Good.
  • the DSP 31 performs various types of digital signal processing on digital images.
  • the various types of digital signal processing refer to, for example, demosaic processing, noise removal processing, gradation correction processing, color correction processing, and the like.
  • the DSP 31 outputs the digital image after digital signal processing to the image memory 32 for each frame.
  • the image memory 32 stores the digital image from the DSP 31.
  • the shake amount detection sensor 40 is, for example, a device including a gyro sensor, and detects the shake amount of the surveillance camera 10. In other words, the blur amount detection sensor 40 detects the blur amount in each of the pair of axial directions.
  • the gyro sensor detects the amount of rotational shake about each of the pitch axis PA, the yaw axis YA, and the roll axis RA (axis parallel to the optical axis OA) (see FIG. 1).
  • the shake amount detection sensor 40 detects the amount of rotational shake about the pitch axis PA and the amount of rotational shake about the yaw axis YA detected by the gyro sensor in a two-dimensional plane parallel to the pitch axis PA and the yaw axis YA.
  • the blur amount of the surveillance camera 10 is detected by converting the blur amount into the blur amount.
  • the blur amount detection sensor 40 is an example of a “detection unit (sensor)” according to the technique of the present disclosure.
  • the direction of the pitch axis PA and the direction of the yaw axis YA are examples of “a pair of axial directions” according to the technique of the present disclosure.
  • the meaning of parallel in the present embodiment includes not only the meaning of perfect parallel but also the meaning of substantially parallel including an allowable error in design and manufacturing.
  • a gyro sensor is given as an example of the blur amount detection sensor 40, but this is merely an example, and the blur amount detection sensor 40 may be an acceleration sensor.
  • the acceleration sensor detects a shake amount in a two-dimensional plane parallel to the pitch axis PA and the yaw axis YA.
  • the blur amount detection sensor 40 outputs the detected blur amount to the CPU 37.
  • the blur amount detection sensor 40 an example of a form in which the amount of blur is detected by a physical sensor called the blur amount detection sensor 40 is given, but the technique of the present disclosure is not limited to this.
  • the motion vector obtained by comparing the digital images stored in the image memory 32 in time series may be used as the blur amount.
  • the blur amount finally used may be derived based on the blur amount detected by the physical sensor and the motion vector obtained by the image processing.
  • the CPU 37 acquires the blur amount detected by the blur amount detection sensor 40, and controls the mechanical blur correction unit 29 and the electronic blur correction unit 33 based on the acquired blur amount.
  • the blur amount detected by the blur amount detection sensor 40 is used for blur correction by each of the mechanical blur correction unit 29 and the electronic blur correction unit 33.
  • the electronic blur correction unit 33 is a device including an ASIC.
  • the electronic blur correction unit 33 corrects the blur by performing image processing on the digital image in the image memory 32 based on the blur amount detected by the blur detection sensor 40.
  • the electronic blur correction unit 33 exemplifies a device including an ASIC, but the technique of the present disclosure is not limited to this, and for example, a device including an FPGA or a PLD may be used. Good. Further, for example, the electronic blur correction unit 33 may be a device including a plurality of ASICs, FPGAs, and PLDs. A computer including a CPU, a ROM, and a RAM may be adopted as the electronic blur correction unit 33. The CPU may be singular or plural. Moreover, the electronic blur correction unit 33 may be realized by a combination of a hardware configuration and a software configuration.
  • the communication I/F 34 is, for example, a network interface, and controls transmission of various information with the management device 11 via the network.
  • networks include WANs such as the Internet or public communication networks. It manages communication between the monitoring camera 10 and the management device 11.
  • the secondary storage device 42 is a non-volatile memory and stores various information under the control of the CPU 37.
  • the secondary storage device 42 may be, for example, a flash memory, SSD, EEPROM, HDD, or the like.
  • the UI device 43 includes a reception device 43A and a display 43B.
  • the reception device 43A is, for example, a hard key or a touch panel, and receives various instructions from the user.
  • the CPU 37 acquires various instructions accepted by the acceptance device 43A and operates according to the obtained instructions.
  • the display 43B displays various information under the control of the CPU 37.
  • the various information displayed on the display 43B includes, for example, the contents of various instructions accepted by the accepting device 43A, digital images, and the like.
  • the management device 11 includes a display 13, a secondary storage device 14, a control device 60, a reception device 62, and a communication I/F 66.
  • the control device 60 includes a CPU 60A, a ROM 60B, and a RAM 60C.
  • Each of the reception device 62, the display 13, the secondary storage device 14, the CPU 60A, the ROM 60B, the RAM 60C, and the communication I/F 66 is connected to the bus line 70.
  • the ROM 60B stores various programs for the management device 11 (hereinafter simply referred to as "management device program").
  • the CPU 60A reads the management device program from the ROM 60B and expands the read management device program in the RAM 60C.
  • the CPU 60A controls the entire management device 11 according to the management device program loaded in the RAM 60C.
  • the communication I/F 66 is, for example, a network interface.
  • the communication I/F 66 is communicably connected to the communication I/F 34 of the management device 11 via a network, and controls transmission of various information with the management device 11. For example, the communication I/F 66 requests the management apparatus 11 to transmit a digital image, and receives the digital image transmitted from the communication I/F 34 of the management apparatus 11 in response to the request to transmit the digital image.
  • the reception device 62 is, for example, a keyboard, a mouse, a touch panel, or the like, and receives various instructions from the user.
  • the CPU 60A acquires various instructions accepted by the acceptance device 62 and operates according to the obtained instructions.
  • the display 13 displays various information under the control of the CPU 60A. Examples of the various information displayed on the display 13 include the contents of various instructions accepted by the accepting device 62, the digital image received by the communication I/F 66, and the like.
  • the secondary storage device 14 is a non-volatile memory and stores various information under the control of the CPU 60A. Examples of various information stored in the secondary storage device 14 include digital images received by the communication I/F 66.
  • control device 60 controls the display 13 to display the digital image received by the communication I/F 66 and stores the digital image received by the communication I/F 66 in the secondary storage device 14. Control.
  • the technique of the present disclosure is not It is not limited to this. For example, either displaying the digital image on the display 13 or storing the digital image in the secondary storage device 14 may be performed.
  • the ROM 36 stores a correction control program 36A.
  • the CPU 37 reads the correction control program 36A from the ROM 36 and expands the read correction control program 36A in the RAM 35.
  • the CPU 37 operates as the operation control unit 37A, the supplementary blur correction unit 37B, and the transmission unit 37C by executing the correction control program 36A loaded in the RAM 35.
  • the supplementary blurring correction unit 37B is an example of the “complementary blurring correction unit (complementary blurring correction circuit)” according to the technique of the present disclosure.
  • the complementary blur correction unit 37B is a processor that performs complementary blur correction processing (complementary blur correction processing).
  • Ratio information 42A is stored in the secondary storage device 42.
  • the ratio information 42A is a predetermined ratio (hereinafter, simply referred to as “ratio”) used when the mechanical shake correction unit 29 and the electronic shake correction unit 33 are operated at a predetermined ratio while the image pickup device 25 is exposed. It is also referred to as).
  • the term “during exposure” as used herein means that exposure is being performed within one frame.
  • the term “ratio” as used herein means what percentage of “10” when the degree of correction capable of completely canceling the blur amount detected by the blur amount detection sensor 40 is “10”. It indicates a ratio indicating whether to allocate to the mechanical blur correction unit 29 and the electronic blur correction unit 33.
  • Rations are set according to each of the pair of axial directions. That is, the ratio is determined according to each of the pitch axis PA direction and the yaw axis YA direction.
  • the ratio in the yaw axis YA direction is “mechanical blur correction unit”.
  • Blur correction unit 29: Electronic blur correction unit 33 X2:Y2′′. If there is a limit to the range of motion of the anti-vibration lens 15B1 in the direction of the pitch axis PA, it is difficult for the mechanical shake correction unit 29 to correct all of the shake amount.
  • X1 is set within the range of motion. It is set to “6” indicating the degree of correction that can be corrected, and “X2” is set to “4”.
  • X2 and “Y2”, which are the ratios in the yaw axis YA direction, can be determined in the same manner as “X1” and “X2”.
  • the operation control unit 37A acquires the ratio information 42A from the secondary storage device 42. Further, the operation control unit 37A acquires the blur amount from the blur amount detection sensor 40. Furthermore, the operation control unit 37A acquires a position signal from the position detection sensor 39.
  • the operation control unit 37A shares the operation of the mechanical shake correction unit 29 and the electronic shake correction unit 33 at the ratio indicated by the ratio information 42A.
  • the image stabilization lens is based on the shake amount determined according to the ratio of the shake amounts detected by the shake amount detection sensor 40 in each of the pitch axis PA direction and the yaw axis YA direction.
  • 15B1 is moved within the two-dimensional plane of the anti-vibration lens described above. The shake is corrected by moving the image stabilizing lens 15B1 within the two-dimensional plane of the image stabilizing lens.
  • the operation control unit 37A acquires the position signal from the position detection sensor 39 a plurality of times during the exposure of the image sensor 25, and based on the acquired plurality of position signals, relates to the operation state of the image stabilizing lens 15B1 during the exposure of the image sensor 25.
  • Generate operating state information for example, information including information capable of specifying the movement locus of the optical axis of the image stabilizing lens 15B1 within the two-dimensional plane of the image stabilizing lens during exposure of the image sensor 25 can be cited.
  • Examples of the information that can specify the movement trajectory include two-dimensional coordinates that can specify the position within the two-dimensional plane of the anti-vibration lens.
  • the operation state information is generated for each of the pitch axis PA direction and the yaw axis YA direction.
  • the above “movement locus” is an example of the “movement locus of the optical element during the exposure period” according to the technique of the present disclosure.
  • the movement locus of the optical axis of the image stabilizing lens 15B1 in the two-dimensional plane of the image stabilizing lens is illustrated, but the technique of the present disclosure is not limited thereto.
  • the movement locus of the optical axis of the image stabilization lens 15B1 it may be a movement locus such as the center of the upper end surface or the center of the lower end surface of the vibration reduction lens 15B1, and can be specified as the movement locus of the vibration reduction lens 15B1. It is sufficient if it is a movement locus of a different place.
  • the electronic blur correction unit 33 acquires a digital image for one frame from the image memory 32.
  • the electronic blur correction unit 33 of the digital image of one frame, in each of the pitch axis PA direction and the yaw axis YA direction, of the operation state information and the blur amount detected by the blur amount detection sensor 40.
  • Image processing is performed based on the amount of blur determined according to the ratio. In this way, the blurring is corrected by performing image processing (details will be described later) on the digital image for one frame.
  • the corrected image obtained by correcting the blur of the digital image for one frame by the electronic blur correction unit 33 is output to the supplementary blur correction unit 37B.
  • the supplementary blur correction unit 37B acquires a position signal from the position detection sensor 39 multiple times and generates motion state information from the acquired multiple position signals. Further, similarly to the operation control unit 37A, the supplementary blur correction unit 37B acquires the ratio information 42A from the secondary storage device 42. Further, as with the operation control unit 37A, the supplementary blur correction unit 37B acquires the blur amount from the blur amount detection sensor 40. Further, the supplementary blur correction unit 37B acquires the exposure period of the image sensor 25 (hereinafter, also simply referred to as “exposure period”). The exposure period is a period during which the image sensor 25 is exposed, and is obtained by measuring the time from the exposure start timing to the exposure end timing of the image sensor 25. In the following, the exposure start timing for the image sensor 25 is simply referred to as “exposure start timing”, and the exposure end timing for the image sensor 25 is simply referred to as “exposure end timing”.
  • the supplementary blur correction unit 37B acquires a corrected image from the electronic blur correction unit 33.
  • the supplementary blur correction unit 37B corrects the blur by applying a filter that is determined according to the operation state information, the ratio indicated by the ratio information 42A, the blur amount, and the exposure period to the corrected image.
  • the supplementary correction image obtained by performing the blurring correction on the correction image by the supplementary blur correction unit 37B is output to the transmission unit 37C.
  • the transmission unit 37C transmits the supplementary corrected image to the management device 11.
  • the electronic blur correction unit 33 employs a process including an image cutting process as an example of image processing for a digital image.
  • the image cutout process refers to a process of cutting out a digital image according to the cutout position determined according to the motion state information, the ratio indicated by the ratio information 42A, and the blur amount. That is, the image cutout process is a process of cutting out a part of the image area from the digital image stored in the image memory 32 as a corrected image based on the operation state information, the ratio indicated by the ratio information 42A, and the amount of blur. ..
  • the image pickup area 25B1 of the image pickup element 25 is an area 25B2 (hereinafter, simply referred to as an “image output area 25B2”) that is output as a digital image in which blurring is corrected.
  • the image pickup is performed after the setting is wider than that of (referred to).
  • the electronic blur correction unit 33 generates cut-out area identification information based on the operation state information, the ratio indicated by the ratio information 42A, and the blur amount.
  • the cut-out area specifying information is information that specifies an image area cut out as a corrected image in the digital image. Then, in the electronic blur correction unit 33, the image area specified by the cut-out area specifying information is cut out as a corrected image from the digital image stored in the image memory 32.
  • a disturbance N appears in the corrected image obtained by performing the image processing on the digital image by the electronic blur correction unit 33.
  • the turbulence N is caused by a blur during the exposure of the image sensor 25.
  • the image cutout process performed by the electronic blur correction unit 33 is a process of cutting out a part of the image region (a part of the digital image) from the digital image as a corrected image and does not correspond to the blurring that occurs during exposure.
  • a turbulence N appears in the corrected image due to a blur during exposure.
  • the supplement blur correction unit 37B performs supplementary processing for removing the disturbance N from the corrected image. That is, the supplementary blur correction unit 37B generates a filter according to the operation state information, the ratio indicated by the ratio information 42A, the amount of blur, and the exposure period.
  • the “filter” here is a filter that removes the turbulence N that appears in the supplementary image due to the blurring that occurs during exposure.
  • the filter is, for example, an FIR filter.
  • the FIR filter itself is a series of real-valued numbers including positive and negative, the number of rows in the series is called the number of taps, and the real-valued values themselves are called tap coefficients.
  • a tap coefficient determination arithmetic expression in which each of the ratio indicated by the operation state information, the ratio information 42A, the blur amount, and the exposure period is an independent variable and the tap coefficient is a dependent variable is predetermined. Therefore, the tap coefficient is determined using an arithmetic expression for determining the tap coefficient.
  • the tap coefficient determination calculation formula is a calculation formula derived in advance as a calculation formula for removing the disturbance N appearing in the corrected image based on the result of the test and/or simulation by the actual machine.
  • the term "removal of the turbulence N" referred to here means, for example, a digital image in which the signal-to-noise ratio (SNR) becomes infinite, that is, a digital image which does not include a blur including the turbulence N is obtained. Means that.
  • the turbulence N is removed from the corrected image by applying the FIR filter having the tap coefficient determined by using the tap coefficient determination arithmetic expression to the corrected image. That is, the disturbance N is removed from the corrected image by performing a convolution operation (sum of products) on the corrected image with the tap coefficient determined using the tap coefficient determination arithmetic expression. In this way, the correction image is filtered by the FIR filter to generate the supplemental correction image in which the disturbance N is removed from the correction image.
  • the tap coefficient is determined by using the tap coefficient determination arithmetic expression
  • the operating state information, the ratio indicated by the ratio information 42A, the blur amount, and the exposure amount may be determined using a tap coefficient determination table in which the period and the tap coefficient are associated with each other.
  • the FIR filter is illustrated here, the technique of the present disclosure is not limited to this, and an IIR filter may be used, for example.
  • the parameter used in the IIR filter may be determined from the operating state information, the ratio indicated by the ratio information 42A, the blur amount, and the exposure period using an arithmetic expression or a table. Good.
  • the supplementary blurring correction unit 37B In the monitoring camera 10, the supplementary blurring correction unit 37B generates a supplementary correction image for each digital image obtained by capturing an image of the monitoring target with the image sensor 25 at a predetermined frame rate. As an example, as shown in FIG. 7, the supplementary correction images obtained by reflecting the correction result of the supplementary blurring correction unit 37B on the digital image are sequentially input to the transmitting unit 37C.
  • the transmission unit 37C transmits each supplementary correction image input from the supplementary blur correction unit 37B to the management device 11.
  • the supplemental correction images transmitted from the transmission unit 37C are sequentially input to the control device 60.
  • the display 13 displays the supplementary correction images sequentially input to the control device 60 as a live view image under the control of the control device 60
  • the secondary storage device 14 controls under the control of the control device 60.
  • the supplementary corrected images sequentially input to the device 60 are stored.
  • the technique of the present disclosure is not limited to this, and the display of the supplemental correction image and the storage of the supplemental correction image are performed. Either of the above may be performed.
  • the control device 60 is an example of the “control device” according to the technique of the present disclosure.
  • FIGS. 8 and 9. 8 and 9 show an example of the flow of correction control processing executed by the CPU 37.
  • step ST10 the operation control unit 37A starts the operation of the mechanical shake correction unit 29 and the operation of the electronic shake correction unit 33 in a predetermined ratio. After that, the correction control process moves to step ST12.
  • the mechanical blur correction unit 29 corrects the blur by moving the image stabilizing lens 15B1 based on the blur amount detected by the blur detection sensor 40. Further, the electronic blur correction unit 33 corrects the blur by performing image processing on the digital image for one frame based on the latest operation state information and the blur amount detected by the blur amount detection sensor 40. Then, a corrected image is generated.
  • step ST12 the supplementary blur correction unit 37B determines whether or not the exposure start timing has come. If the exposure start timing has not come in step ST12, the determination is negative, and the correction control process proceeds to step ST36 shown in FIG. If the exposure end timing has come in step ST12, the determination is affirmative, and the correction control process proceeds to step ST14.
  • step ST14 the supplementary blur correction unit 37B starts measuring the exposure period, and then the correction control process proceeds to step ST16.
  • step ST16 the supplementary blur correction unit 37B starts generating operation state information based on the position signal from the position detection sensor 39, and then the correction control process proceeds to step ST18.
  • step ST18 the supplementary blur correction unit 37B acquires the blur amount from the blur amount detection sensor 40, and then the correction control process proceeds to step ST20.
  • step ST20 the supplementary blur correction unit 37B determines whether or not the exposure end timing has come. If the exposure end timing has not come in step ST20, the determination is negative, and the determination in step ST20 is performed again. If the exposure end timing has come in step ST20, the determination is affirmative, and the correction control process proceeds to step ST22.
  • step ST22 the supplementary blur correction unit 37B finishes the measurement of the exposure period, and then the correction control process proceeds to step ST24.
  • step ST24 the supplementary blur correction unit 37B ends the generation of the operation state information based on the position signal from the position detection sensor 39, and then the correction control process proceeds to step ST26.
  • step ST26 the supplementary blurring correction unit 37B acquires the ratio information 42A from the secondary storage device 42, and then the correction control process proceeds to step ST28.
  • step ST28 the supplementary blur correction unit 37B generates a filter (for example, the above-described FIR filter) based on the operation state information, the ratio indicated by the ratio information 42A, the amount of blur, and the exposure period.
  • a filter for example, the above-described FIR filter
  • the operation state information used in this step ST28 is the operation state information obtained in step ST24.
  • the ratio information 42A used in this step ST28 is the ratio information 42A acquired in step ST26.
  • the blur amount used in this step ST28 is the blur amount acquired in step ST18.
  • the exposure period used in this step ST28 is the exposure period measured in step ST22.
  • step ST30 shown in FIG. 9 the supplementary blur correction unit 37B acquires the correction image generated by the electronic blur correction unit 33 during the exposure period, and then the correction control process proceeds to step ST32.
  • step ST32 the supplementary blur correction unit 37B corrects the blur by applying the filter generated in step ST28 to the corrected image acquired in step ST30. That is, the supplementary blur correction unit 37B removes the turbulence N in the corrected image by applying the filter generated in step ST28 to the corrected image acquired in step ST30.
  • the correction control process proceeds to step ST34.
  • step ST34 the transmitting unit 37C transmits the supplementary correction image obtained by removing the disturbance N in the correction image by executing the process of step ST32 to the management device 11, and then performs the correction control process. Moves to step ST36.
  • step ST36 the operation control unit 37A determines whether or not the condition for ending the correction control process (hereinafter, referred to as “correction control process end condition”) is satisfied.
  • the correction control process end condition include a condition that an instruction to end the correction control process is received by the reception device 43A.
  • step ST36 when the correction control process end condition is not satisfied, the determination is negative and the correction control process proceeds to step ST12 shown in FIG.
  • step ST36 when the correction control process end condition is satisfied, the determination is affirmative, and the correction control process proceeds to step ST38.
  • step ST38 the operation control unit 37A ends the operation of the mechanical shake correction unit 29 and the operation of the electronic shake correction unit 33, and then the correction control process ends.
  • the blur is corrected by moving the image stabilizing lens 15B1 based on the blur amount detected by the blur amount detection sensor 40. Further, the electronic blur correction unit 33 corrects the blur by performing image processing on the digital image based on the operation state information and the blur amount.
  • the blur correction method performed by the electronic blur correction unit 33 is a correction method realized by cutting out a digital image according to the blur amount, and is not a correction method corresponding to blur occurring during exposure.
  • the mechanical camera shake compensating unit 29 and the electronic camera shake compensating unit 33 are operated at a predetermined ratio to operate during exposure.
  • a filter is generated according to the information, the predetermined ratio, the blur amount, and the exposure period.
  • the supplementary blur correction unit 37B applies the filter to the corrected image to correct the blur. That is, the disturbance N in the corrected image is removed by applying the filter to the corrected image.
  • the mechanical blur correction unit 29 and the electronic blur correction unit 33 share and correct the blur, the blur appearing in the corrected image due to the blur occurring during exposure. N can be removed without relying on the mechanical shake correction unit 29.
  • the filter applied to the corrected image by the electronic blur correction unit 33 a filter that removes the turbulence N appearing in the corrected image due to the blur generated during exposure is adopted. Therefore, as compared with the case where the disturbance N is removed without using a filter, the disturbance N appearing in the corrected image due to the blur occurring during exposure can be easily removed.
  • the operation state information is information on the operation state of the image stabilizing lens 15B1 during exposure within one frame.
  • the filter is operated according to the operating state information, the ratio, the blur amount, and the exposure period when the mechanical blur correction unit 29 and the electronic blur correction unit 33 are operated in a predetermined ratio by sharing during exposure within one frame. Determined. Therefore, when the mechanical shake correction unit 29 and the electronic shake correction unit 33 share the shake correction, the shake appears during the exposure in one frame and appears in the corrected image for one frame.
  • the turbulence N can be removed without depending on the mechanical shake correction unit 29.
  • the turbulence N in the corrected image can be removed with high accuracy as compared with the case where the turbulence N in the corrected image is removed by using information irrelevant to the movement trajectory of the image stabilizing lens 15B1 during the exposure period.
  • a corrected image is generated by performing an image cutout process of cutting out a digital image according to the cutout position determined according to the operation state information, the predetermined ratio, and the blur amount. Therefore, the blurring can be corrected with high accuracy as compared with the case where the process of cutting out the digital image is performed according to the cutout position determined regardless of the operation state information, the predetermined ratio, and the blurring amount.
  • the blur is corrected by moving the anti-vibration lens 15B1. Therefore, the shake can be corrected within the range of the movable range of the image stabilizing lens 15B1.
  • the amount of blur is detected in each of the pitch axis PA direction and the yaw axis YA, and a predetermined ratio is determined according to each of the pitch axis PA direction and the yaw axis YA. Therefore, as compared with the case where the shake is corrected using only the shake amount in one axial direction, the shake can be corrected with high accuracy.
  • the technology of the present disclosure is not limited to this.
  • the blur instead of the anti-vibration lens 15B1, the blur may be corrected by moving the image sensor 25 in a plane parallel to the two-dimensional plane of the anti-vibration lens. In this case, the blur can be corrected within the range of the movable range of the image sensor 25. Further, in this case, since the anti-vibration lens 15B1 is not necessary, the optical system 15 can be downsized.
  • the blur may be corrected by moving both the image stabilizing lens 15B1 and the image pickup device 25.
  • the shake can be corrected within the range of each movable range of the image stabilizing lens 15B1 and the image pickup device 25.
  • the supplementary blurring correction unit 37B measures the exposure period in real time
  • the technique of the present disclosure is not limited to this.
  • the exposure period is calculated in advance. You may do it.
  • the CPU 37 has an exposure period calculation unit 37D.
  • the exposure period calculation unit 37D calculates the exposure period based on the shutter speed instructed by the shutter speed instruction information.
  • the supplementary blur correction unit 37B generates a filter based on the exposure period calculated by the exposure period calculation unit 37D, the operation state information, the predetermined ratio, and the blur amount.
  • the blur amount is detected in each of the pair of axial directions, and the ratio is determined according to the axial direction, but the technique of the present disclosure is not limited to this.
  • the ratio may be set according to the frequency of shake.
  • the shake frequency is divided into low frequency and high frequency.
  • the blur amount is detected for each of the low frequency and the high frequency.
  • the low-frequency shake amount is extracted from the shake amount detected by the shake amount detection sensor 40 using a low-pass filter
  • the high-frequency shake amount is extracted from the shake amount detected by the shake amount detection sensor 40 using a high-pass filter. May be used for extraction.
  • the threshold for distinguishing the low frequency from the high frequency may be a fixed value or a variable value that can be changed according to an instruction received by the receiving device 43A.
  • the blur can be more accurately compared to the case where the blur is corrected using only the blur amount for one frequency. Can be corrected.
  • the low frequency and the high frequency are classified, but the present invention is not limited to this, and even when the frequency is classified into three or more frequencies, the blur amount is detected by the same method and the ratio is determined. do it.
  • the operation state information the information including the information capable of specifying the movement locus of the image stabilizing lens 15B1 is illustrated, but the technology of the present disclosure is not limited to this.
  • the operation state information may be information including at least one of a period during which the image stabilizing lens 15B1 is moving during the exposure period and a period during which the image stabilizing lens 15B1 is not moving during the exposure period.
  • a filter is generated for each frame, and the generated filter is applied to the corresponding corrected image of one frame.
  • the technique of the present disclosure is not limited to this. Not limited to.
  • one filter may be used over a plurality of frames.
  • the same filter may be continuously used only in a predetermined time zone.
  • the "predetermined time zone" here may be, for example, a time zone determined according to an instruction received by the reception device 43A, or a fixed time zone.
  • a filter may be generated every multiple frames.
  • a filter is generated for each frame in a time period in which the frequency of vibration is relatively high, and a filter is generated in every plural frames in a time period in which the frequency of vibration is relatively low. May be generated.
  • the "relatively high time zone” and “relatively low time zone” referred to here are obtained by analyzing a plurality of past digital images accumulated by the surveillance camera 10 capturing an image of the surveillance target. It may be determined based on statistical data.
  • the “relatively high time zone” and the “relatively low time zone” may be fixed or may be changeable time zones according to an instruction received by the reception device 43A or the like.
  • the correction control program 36A may be stored in the storage medium 100.
  • the correction control program 36A stored in the storage medium 100 is installed in the computer 19, and the CPU 37 executes the above-described correction control process according to the correction control program 36A.
  • the storage medium 100 is a non-transitory storage medium.
  • An example of the storage medium 100 is any portable storage medium such as an SSD or a USB memory.
  • the CPU 37 is a single CPU, but the technique of the present disclosure is not limited to this, and a plurality of CPUs may be adopted.
  • the correction control program 36A is stored in a storage unit such as another computer or a server device connected to the computer 19 via a communication network (not shown), and the correction control is performed in response to the request from the monitoring camera 10 described above.
  • the program 36A may be downloaded to the computer 19.
  • the downloaded correction control program 36A is executed by the CPU 37 of the computer 19.
  • CPU 37 is exemplified in the above embodiment, the technique of the present disclosure is not limited to this, and a plurality of CPUs may be used.
  • the operation control unit 37A, the supplementary shake correction unit 37B, and the transmission unit 37C have been described by taking the example of the form realized by the software configuration of the computer 19, but the technique of the present disclosure is not limited thereto. Not done.
  • the operation control unit 37A, the supplementary blur correction unit 37B, and the transmission unit 37C may be realized by a device including, for example, an ASIC, an FPGA, and/or a PLD.
  • the operation control unit 37A, the supplementary blur correction unit 37B, and the transmission unit 37C may be realized by a combination of hardware configuration and software configuration.
  • processors can be used as the hardware resources that execute the above correction control processing.
  • the processor include a CPU, which is a general-purpose processor that functions as a hardware resource that executes correction control processing by executing software, that is, a program as described above.
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as FPGA, PLD, or ASIC, can be mentioned.
  • the hardware resource that executes the correction control process may be configured by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs, or Combination of CPU and FPGA). Further, the hardware resource that executes the correction control process may be one processor.
  • one processor is configured with a combination of one or more CPUs and software, and this processor controls operation.
  • SoC and the like there is a mode in which a processor that realizes the function of the entire system including a plurality of hardware resources for executing correction control processing is realized by one IC chip. In this way, each processing of the operation control unit 37A, the supplementary blur correction unit 37B, and the transmission unit 37C is realized by using one or more of the above various processors as a hardware resource.
  • the monitoring camera 10 has been described as an example of the imaging device according to the technology of the present disclosure, but the technology of the present disclosure is not limited to this.
  • the technology of the present disclosure may be applied to various electronic devices such as a portable lens interchangeable camera, a portable lens fixed camera, a personal computer, a smart device, or a wearable terminal device instead of the surveillance camera 10. Is applicable. Even with these electronic devices, the same actions and effects as those of the surveillance camera 10 described in the above embodiments can be obtained.
  • a and/or B is synonymous with “at least one of A and B”. That is, “A and/or B” means that only A may be used, only B may be used, or a combination of A and B may be used. Further, in the present specification, the same concept as “A and/or B” is also applied to the case where three or more matters are connected by “and/or”.

Abstract

ぶれ補正装置は、センサと、機械式ぶれ補正装置と、撮像装置により撮像されることで得られた画像に対して、撮像装置での露光中の光学素子の動作状態に関する動作状態情報とぶれ量とに基づいて画像処理を行うことで、ぶれを補正する電子式ぶれ補正回路と、露光中に機械式ぶれ補正装置と電子式ぶれ補正回路とを既定の比率で分担して動作させた場合に動作状態情報、比率、ぶれ量、及び撮像装置での露光期間に応じて定まるフィルタを画像に対して適用することでぶれを補正する補足ぶれ補正回路と、を含む。

Description

ぶれ補正装置、撮像装置、監視システム、及びプログラム
　本開示の技術は、ぶれ補正装置、撮像装置、監視システム、及びプログラムに関する。
　以下の説明において、「ぶれ」とは、被写体を示す被写体光が光学系を介して受光面に結像される撮像装置において、被写体光が受光面に結像されることで得られる被写体像が、撮像装置に与えられた振動に起因して光学系の光軸と受光面との位置関係が変化することで変動する現象を指す。
　撮像装置の結像面に結像される被写体像は、光学像と、電子像である画像とに大別され、光学像のぶれは機械式補正部によって補正され、画像のぶれは電子式補正部によって補正される。被写体像のぶれを補正するには、検出されたぶれ量に基づいて導出されたぶれ補正量が用いられる。機械式補正部は、ぶれ補正量に基づいて光学系及び／又は撮像素子を機械的に移動させることでぶれを補正する。電子式補正部は、撮像されることで得られた画像に対してぶれに応じた切り出しを行うことでぶれを補正する（例えば、特開２０１３－１３５４４２号公報、特開２０１７－１５２９９５号公報、及び特開平９－１６３２１５号公報参照）。
　ところで、露光中に生じるぶれが原因で画像内に現れる乱れは電子式ぶれ補正では除去することができない。なぜならば、電子式ぶれ補正は、画像から一部の画像領域を切り出す処理であり、露光中に生じるぶれに対応していないからである。露光中に生じるぶれが原因で画像内に現れる乱れを抑制する方法としては、露光中に機械式ぶれ補正を行う方法、及び画像に対してフィルタを適用する方法が知られている（例えば、特開２００８－１２４７２８号公報参照）。
　本開示の技術に係る一つの実施形態は、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができるぶれ補正装置、撮像装置、監視システム、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、撮像装置のぶれ量を検出する検出部と、撮像装置に含まれる光学素子をぶれ量に基づいて移動させることで、ぶれを補正する機械式ぶれ補正部と、撮像装置により撮像されることで得られた画像に対して、撮像装置での露光中の光学素子の動作状態に関する動作状態情報とぶれ量とに基づいて画像処理を行うことで、ぶれを補正する電子式ぶれ補正部と、露光中に機械式ぶれ補正部と電子式ぶれ補正部とを既定の比率で分担して動作させた場合に動作状態情報、比率、ぶれ量、及び撮像装置での露光期間に応じて定まるフィルタを画像に対して適用することでぶれを補正する補足ぶれ補正部と、を含むぶれ補正装置である。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
　本開示の技術に係る第２の態様は、フィルタは、露光中に生じるぶれが原因で画像内に現れる乱れを除去するフィルタである第１の態様に係るぶれ補正装置である。これにより、フィルタを用いずに画像内の乱れを除去する場合に比べ、露光中に生じるぶれが原因で画像内に現れる乱れを簡便に除去することができる。
　本開示の技術に係る第３の態様は、露光は１フレーム内での露光である第１の態様又は第２の態様に係るぶれ補正装置である。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、１フレーム内の露光中に生じるぶれが原因で１フレーム分の画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
　本開示の技術に係る第４の態様は、動作状態情報は、露光期間中の光学素子が移動している期間と露光期間中の光学素子が移動していない期間とのうちの少なくとも一方を含む情報である第１の態様から第３の態様の何れか１つの態様に係るぶれ補正装置である。これにより、露光期間中の光学素子が移動している期間及び露光期間中の光学素子が移動していない期間の何れもが動作状態情報に含まれていない場合に比べ、電子式ぶれ補正部及び補足ぶれ補正部の各々によるぶれの補正精度を高めることができる。
　本開示の技術に係る第５の態様は、動作状態情報は、露光期間中の光学素子の移動軌跡を特定可能な情報を含む情報である第１の態様から第４の態様の何れか１つの態様に係るぶれ補正装置である。これにより、露光期間中の光学素子の移動軌跡とは無関係な情報を用いて画像内の乱れを除去する場合に比べ、画像内の乱れを高精度に除去することができる。
　本開示の技術に係る第６の態様は、画像処理は、動作状態情報、比率、及びぶれ量に応じて定められた切出位置に従って画像を切り出す処理を含む処理である第１の態様から第５の態様の何れか１つの態様に係るぶれ補正装置である。これにより、動作状態情報、既定の比率、及びぶれ量とは無関係に定められた切出位置に従って画像を切り出す処理が行われる場合に比べ、ぶれを高精度に補正することができる。
　本開示の技術に係る第７の態様は、光学素子は、被写体を示す被写体光が光学部材により結像される撮像素子と光学部材とのうちの少なくとも一方である第１の態様から第６の態様の何れか１つの態様に係るぶれ補正装置である。これにより、光学素子が撮像素子の場合は撮像素子の可動域の範囲内でぶれを補正することができ、光学素子が光学部材の場合は光学部材の可動域の範囲内でぶれを補正することができ、光学素子が撮像素子及び光学部材の場合は撮像素子及び光学部材の各々の可動式の範囲内でぶれを補正することができる。
　本開示の技術に係る第８の態様は、検出部は、ぶれの複数の周波数の各々についてぶれ量を検出し、比率は、周波数に応じて定められている第１の態様から第７の態様の何れか１つの態様に係るぶれ補正装置である。これにより、複数の周波数の各々についてぶれ量が検出されるようにすることで、１つの周波数についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
　本開示の技術に係る第９の態様は、検出部は、一対の軸方向の各々についてぶれ量を検出し、比率は、軸方向に応じて定められている第１の態様から第７の態様の何れか１つの態様に係るぶれ補正装置である。これにより、１つの軸方向についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
　本開示の技術に係る第１０の態様は、第１の態様から第９の態様の何れか１つの態様に係るぶれ補正装置と、撮像することで画像を生成する撮像部と、を含む。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
　本開示の技術に係る第１１の態様は、第１０の態様に係る撮像装置と、補足ぶれ補正部での補正結果が反映された画像を表示部に対して表示させる制御、及び補正結果が反映された画像を示す画像データを記憶部に対して記憶させる制御のうちの少なくとも一方を行う制御装置と、を含む監視システムである。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
　本開示の技術に係る第１２の態様は、コンピュータを、第１の態様から第９の態様の何れか１つの態様に係るぶれ補正装置に含まれる機械式ぶれ補正部、電子式ぶれ補正部、及び補足ぶれ補正部として機能させるためのプログラムである。これにより、機械式ぶれ補正部と電子式ぶれ補正部とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で画像内に現れる乱れを機械式ぶれ補正部に依拠することなく除去することができる。
　本開示の技術に係る第１３の態様は、撮像装置のぶれ量を検出するセンサと、プロセッサとを含み、プロセッサは、撮像装置に含まれる光学素子をぶれ量に基づいて移動させることで、ぶれを補正する機械式ぶれ補正処理を行い、撮像装置により撮像されることで得られた画像に対して、撮像装置での露光中の光学素子の動作状態に関する動作状態情報とぶれ量とに基づいて画像処理を行うことで、ぶれを補正する電子式ぶれ補正処理を行い、露光中に機械式ぶれ補正処理と電子式ぶれ補正処理とを既定の比率で分担して動作させた場合に動作状態情報、比率、ぶれ量、及び撮像装置での露光期間に応じて定まるフィルタを画像に対して適用することでぶれを補正する補足ぶれ補正処理を行うぶれ補正装置である。
実施形態に係る監視システムの構成の一例を示す概略構成図である。 実施形態に係る監視カメラの光学系及び電気系の構成の一例を示すブロック図である。 実施形態に係る管理装置の電気系の構成の一例を示すブロック図である。 実施形態に係る監視カメラに含まれるＣＰＵの機能の一例を示す機能ブロック図である。 実施形態に係る監視カメラに含まれる電子式ぶれ補正部の処理内容の一例を示す概念図である。 実施形態に係る監視カメラに含まれるＣＰＵにより実現される補足ぶれ補正部の処理内容の一例を示す概念図である。 実施形態に係る監視カメラから管理装置に送信された補足補正画像の管理装置での処理内容の説明に供する概念図である。 実施形態に係る補正制御処理の流れの一例を示すフローチャートである。 図８に示すフローチャートの続きである。 実施形態に係る監視カメラに含まれるＣＰＵの機能の変形例を示す機能ブロック図である。 実施形態に係る監視カメラで用いられる比率情報の変形例を示す概念図である。 実施形態に係る補正制御プログラムが記憶された記憶媒体から、補正制御プログラムが監視カメラ内のコンピュータにインストールされる態様の一例を示す概念図である。
　添付図面に従って本開示の技術に係る実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称を指す。ＲＡＭとは、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。ＲＯＭとは、“Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。
　ＡＳＩＣとは、“Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。ＰＬＤとは、“Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ”の略称を指す。ＦＰＧＡとは、“Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ”の略称を指す。ＡＦＥとは、“Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ”の略称を指す。ＤＳＰとは、“Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ”の略称を指す。ＳｏＣとは、“Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ”の略称を指す。
　ＳＳＤとは、“Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ”の略称を指す。ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ”の略称を指す。ＨＤＤとは、“Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ”の略称を指す。ＥＥＰＲＯＭとは、“Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。
　ＣＣＤとは、“Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ”の略称を指す。ＣＭＯＳとは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。ＥＬとは、“Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ”の略称を指す。Ａ／Ｄとは、“Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ”の略称を指す。Ｉ／Ｆとは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＵＩとは、“Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ”の略称を指す。ＷＡＮとは、“Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ”の略称を指す。
　ＦＩＲとは、“Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ”の略称を指す。ＩＩＲとは、“Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅａｐｏｎｓｅ”の略称を指す。ＳＮＲとは、例えば、“Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ－Ｒａｔｉｏ”の略称を指す。また、以下の説明において、ディスプレイに表示される「画像」以外で、「画像」と表現されている場合、「画像」には「画像を示すデータ」の意味も含まれる。
　図１において、監視システム２は、監視カメラ１０及び管理装置１１を備えている。監視システム２は、本開示の技術に係る「監視システム」の一例であり、監視カメラ１０は、本開示の技術に係る「撮像装置」の一例である。
　監視カメラ１０は、屋内外の柱又は壁等に設置され、被写体である監視対象を撮像し、撮像することで動画像を生成する。動画像には、撮像することで得られた複数フレームの画像が含まれている。監視カメラ１０は、撮像することで得た動画像を、通信ライン１２を介して管理装置１１に送信する。
　管理装置１１は、ディスプレイ１３及び二次記憶装置１４を備えている。ディスプレイ１３としては、例えば、液晶ディスプレイ又は有機ＥＬディスプレイ等が挙げられる。なお、ディスプレイ１３は、本開示の技術に係る「表示部（ディスプレイ）」の一例である。
　二次記憶装置１４の一例としては、ＨＤＤが挙げられる。二次記憶装置１４は、ＨＤＤではなく、フラッシュメモリ、ＳＳＤ、又はＥＥＰＲＯＭなどの不揮発性のメモリであればよい。なお、二次記憶装置１４は、本開示の技術に係る「記憶部（メモリ）」の一例である。
　管理装置１１では、監視カメラ１０によって送信された動画像が受信され、受信された動画像がディスプレイ１３に表示されたり、二次記憶装置１４に記憶されたりする。
　一例として図２に示すように、監視カメラ１０は、光学系１５及び撮像素子２５を備えている。撮像素子２５は、光学系１５の後段に位置している。光学系１５は、対物レンズ１５Ａ及びレンズ群１５Ｂを備えている。対物レンズ１５Ａ及びレンズ群１５Ｂは、監視対象側から撮像素子２５の受光面２５Ａ側にかけて、光学系１５の光軸ＯＡに沿って、対物レンズ１５Ａ及びレンズ群１５Ｂの順に配置されている。レンズ群１５Ｂには、光軸ＯＡに沿って各々移動可能なフォーカス用のレンズ及びズーム用のレンズ等が含まれている。フォーカス用のレンズ及びズーム用のレンズは、与えられた動力に応じて光軸ＯＡに沿って移動する。また、レンズ群１５Ｂには、防振レンズ１５Ｂ１が含まれている。防振レンズ１５Ｂ１は、与えられた動力に応じて防振レンズ１５Ｂ１の光軸に対して垂直方向に変動する。防振レンズ１５Ｂ１は、本開示の技術に係る「光学素子」及び「光学部材」の一例である。なお、本実施形態での垂直の意味には、完全な垂直の意味の他に、設計上及び製造上において許容される誤差を含む略垂直の意味も含まれる。
　このように構成された光学系１５によって、監視対象を示す監視対象光は、受光面２５Ａに結像される。なお、撮像素子２５は、本開示の技術に係る「撮像部（イメージセンサ）」の一例である。なお、ここでは、撮像素子２５として、ＣＣＤイメージセンサが採用されているが、これはあくまでも一例に過ぎず、撮像素子２５は、ＣＭＯＳイメージセンサ等の他のイメージセンサであってもよい。
　ところで、監視カメラ１０に与えられる振動には、屋外であれば、自動車の通行による振動、風による振動、及び道路工事による振動等があり、屋内であれば、エアコンディショナーの動作による振動、及び人の出入りによる振動等がある。そのため、監視カメラ１０では、監視カメラ１０に与えられた振動（以下、単に「振動」とも称する）に起因してぶれが生じる。
　なお、本実施形態において、「ぶれ」とは、監視カメラ１０において、デジタル画像が光軸ＯＡと受光面２５Ａとの位置関係が変化することで変動する現象を指す。換言すると、「ぶれ」とは、振動に起因して光軸ＯＡが傾くことによって、受光面２５Ａに結像されることで得られた光学像が変動する現象とも言える。光軸ＯＡの変動とは、例えば、基準軸（例えば、ぶれが発生する前の光軸ＯＡ）に対して光軸ＯＡが傾くことを意味する。
　そこで、監視カメラ１０は、ぶれを補正するため、機械式ぶれ補正部２９を備えている。すなわち、機械式ぶれ補正部２９は、ぶれの補正に供される。機械式ぶれ補正部２９及び後述の動作制御部３７Ａ（図４参照）は、本開示の技術に係る「機械式ぶれ補正部（機械式ぶれ補正装置）」の一例である。機械式ぶれ補正部は、機械式ぶれ補正処理を行うデバイス、いわゆるＯＩＳ（Ｏｐｔｉｃａｌ　Ｉｍａｇｅ　Ｓｔａｂｉｌｉｚａｔｉｏｎ）を行うデバイスである。ここでは、ＯＩＳを例示しているが、ＯＩＳに代えてＢＩＳ（Ｂｏｄｙ　Ｉｍａｇｅ　Ｓｔａｂｉｌｉｚａｔｉｏｎ）を行うデバイスであってもよいし、ＯＩＳ及びＢＩＳを行うデバイスであってもよい。なお、本実施形態において、「ぶれの補正」には、ぶれを無くすという意味の他に、ぶれを低減するという意味も含まれる。
　機械式ぶれ補正部２９は、防振レンズ１５Ｂ１、アクチュエータ１７、ドライバ２３、及び位置検出センサ３９を備えている。防振レンズ１５Ｂ１は、本開示の技術に係る「光学素子」の一例である。
　機械式ぶれ補正部２９によるぶれの補正方法としては、周知の種々の方法を採用することができる。本実施形態では、ぶれの補正方法として、ぶれ量検出センサ４０（後述）によって検出されたぶれ量に基づいて防振レンズ１５Ｂ１を移動させることでぶれを補正する方法が採用されている。具体的には、ぶれを打ち消す方向に、ぶれを打ち消す量だけ防振レンズ１５Ｂ１を移動させることでぶれの補正が行われるようにしている。
　防振レンズ１５Ｂ１にはアクチュエータ１７が取り付けられている。アクチュエータ１７は、ボイスコイルモータが搭載されたシフト機構であり、ボイスコイルモータを駆動させることで防振レンズ１５Ｂ１を、防振レンズ１５Ｂ１の光軸に対して垂直方向に変動させる。なお、ここでは、アクチュエータ１７としては、ボイスコイルモータが搭載されたシフト機構が採用されているが、本開示の技術はこれに限定されず、ボイスコイルモータに代えて、ステッピングモータ又はピエゾ素子等の他の動力源を適用してもよい。
　アクチュエータ１７は、ドライバ２３により制御される。アクチュエータ１７がドライバ２３の制御下で駆動することで、防振レンズ１５Ｂ１の位置が光軸ＯＡに対して機械的に変動する。
　位置検出センサ３９は、防振レンズ１５Ｂ１の現在位置を検出し、検出した現在位置を示す位置信号を出力する。ここでは、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されている。ここで、防振レンズ１５Ｂ１の現在位置とは、防振レンズ二次元平面内の現在位置を指す。防振レンズ二次元平面とは、防振レンズ１５Ｂ１の光軸に対して垂直な二次元平面を指す。なお、本実施形態では、位置検出センサ３９の一例として、ホール素子を含むデバイスが採用されているが、本開示の技術はこれに限定されず、ホール素子に代えて、磁気センサ又はフォトセンサなどを採用してもよい。
　監視カメラ１０は、コンピュータ１９、ドライバ２６、ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式ぶれ補正部３３、通信Ｉ／Ｆ３４、ぶれ量検出センサ４０、二次記憶装置４２、及びＵＩ系デバイス４３を備えている。コンピュータ１９は、ＲＡＭ３５、ＲＯＭ３６、及びＣＰＵ３７を備えている。コンピュータ１９は、本開示の技術に係る「コンピュータ」の一例である。また、電子式ぶれ補正部３３及び後述の動作制御部３７Ａ（図４参照）は、本開示の技術に係る「電子式ぶれ補正部（電子式ぶれ補正回路）」の一例である。電子式ぶれ補正部は、電子式ぶれ補正処理を行うプロセッサ、いわゆる「ＥＩＳ（Ｅｌｅｃｔｒｉｃ　Ｉｍａｇｅ　Ｓｔａｂｉｌｉｚａｔｉｏｎ）」を行うプロセッサ（ＥＩＳプロセッサ）である。
　ドライバ２６、ＡＦＥ３０、ＤＳＰ３１、画像メモリ３２、電子式ぶれ補正部３３、通信Ｉ／Ｆ３４、ＲＡＭ３５、ＲＯＭ３６、ＣＰＵ３７、ぶれ量検出センサ４０、二次記憶装置４２、及びＵＩ系デバイス４３は、バスライン３８に接続されている。また、ドライバ２３もバスライン３８に接続されている。
　ＲＯＭ３６には、監視カメラ１０用の各種プログラムが記憶されている。ＣＰＵ３７は、ＲＯＭ３６から各種プログラムを読み出し、読み出した各種プログラムをＲＡＭ３５に展開する。ＣＰＵ３７は、ＲＡＭ３５に展開した各種プログラムに従って監視カメラ１０の全体を制御する。
　撮像素子２５には、ドライバ２６及びＡＦＥ３０の各々が接続されている。撮像素子２５は、ドライバ２６の制御の下、既定のフレームレートで監視対象を撮像する。ここで言う「既定のフレームレート」とは、例えば、数フレーム／秒から数十フレーム／秒を指す。
　受光面２５Ａは、マトリクス状に配置された複数の感光画素（図示省略）によって形成されている。撮像素子２５では、各感光画素が露光され、感光画素毎に光電変換が行われる。感光画素毎に光電変換が行われることで得られた電荷は、監視対象を示すアナログの撮像信号であり、アナログ画像として撮像素子２５に蓄積される。各感光画素は、アナログ画像が読み出される前後等のタイミングで、ＣＰＵ３７の制御の下、ドライバ２６によってリセットされる。各感光画素に対する露光期間は、シャッタスピードに従って定められ、シャッタスピードは、各感光画素に対するリセットのタイミング及びアナログ画像の読み出しのタイミングが制御されることで調節される。
　撮像素子２５には、ドライバ２６から垂直同期信号及び水平同期信号が入力される。垂直同期信号は、１フレーム分のアナログ画像の送信を開始するタイミングを規定する信号である。水平同期信号は、１水平ライン分のアナログ画像の出力を開始するタイミングを規定する信号である。撮像素子２５は、ドライバ２６から入力された垂直同期信号に従ってフレーム単位でのアナログ画像のＡＦＥ３０への出力を開始し、ドライバ２６から入力された水平同期信号に従って水平ライン単位でのアナログ画像のＡＦＥ３０への出力を開始する。
　ＡＦＥ３０は、撮像素子２５からのアナログ画像を受信する。換言すると、アナログ画像は、ＡＦＥ３０によって撮像素子２５から読み出される。ＡＦＥ３０は、アナログ画像に対して、相関二重サンプリング及びゲイン調整等のアナログ信号処理を施した後、Ａ／Ｄ変換を行うことで、デジタルの撮像信号であるデジタル画像を生成する。すなわち、監視カメラ１０では、撮像素子２５により監視対象が撮像されることで、監視対象を示すデジタル画像が得られる。ここで、デジタル画像は、本開示の技術に係る「画像」の一例である。
　なお、図２に示す例では、ＡＦＥ３０が撮像素子２５の外部に設けられているが、本開示の技術はこれに限定されず、ＡＦＥ３０は、撮像素子２５内に一体的に組み込まれていてもよい。
　ＤＳＰ３１は、デジタル画像に対して、各種デジタル信号処理を施す。各種デジタル信号処理とは、例えば、デモザイク処理、ノイズ除去処理、階調補正処理、及び色補正処理等を指す。ＤＳＰ３１は、１フレーム毎に、デジタル信号処理後のデジタル画像を画像メモリ３２に出力する。画像メモリ３２は、ＤＳＰ３１からのデジタル画像を記憶する。
　ぶれ量検出センサ４０は、例えば、ジャイロセンサを含むデバイスであり、監視カメラ１０のぶれ量を検出する。換言すると、ぶれ量検出センサ４０は、一対の軸方向の各々についてぶれ量を検出する。ジャイロセンサは、ピッチ軸ＰＡ、ヨー軸ＹＡ、及びロール軸ＲＡ（光軸ＯＡに平行な軸）の各軸（図１参照）周りの回転ぶれの量を検出する。ぶれ量検出センサ４０は、ジャイロセンサによって検出されたピッチ軸ＰＡ周りの回転ぶれの量及びヨー軸ＹＡ周りの回転ぶれの量をピッチ軸ＰＡ及びヨー軸ＹＡに平行な２次元状の面内でのぶれ量に変換することで、監視カメラ１０のぶれ量を検出する。ぶれ量検出センサ４０は、本開示の技術に係る「検出部（センサ）」の一例である。ピッチ軸ＰＡの方向及びヨー軸ＹＡの方向は、本開示の技術に係る「一対の軸方向」の一例である。なお、本実施形態での平行の意味には、完全な平行の意味の他に、設計上及び製造上において許容される誤差を含む略平行の意味も含まれる。
　ここでは、ぶれ量検出センサ４０の一例としてジャイロセンサを挙げているが、これはあくまでも一例であり、ぶれ量検出センサ４０は、加速度センサであってもよい。加速度センサは、ピッチ軸ＰＡとヨー軸ＹＡに平行な２次元状の面内でのぶれ量を検出する。ぶれ量検出センサ４０は、検出したぶれ量をＣＰＵ３７に出力する。
　また、ここでは、ぶれ量検出センサ４０という物理的なセンサによってぶれ量が検出される形態例を挙げているが、本開示の技術はこれに限定されない。例えば、画像メモリ３２に記憶された時系列的に前後するデジタル画像を比較することで得た動きベクトルをぶれ量として用いてもよい。また、物理的なセンサによって検出されたぶれ量と、画像処理によって得られた動きベクトルとに基づいて最終的に使用されるぶれ量が導出されるようにしてもよい。
　ＣＰＵ３７は、ぶれ量検出センサ４０によって検出されたぶれ量を取得し、取得したぶれ量に基づいて機械式ぶれ補正部２９及び電子式ぶれ補正部３３を制御する。ぶれ量検出センサ４０によって検出されたぶれ量は、機械式ぶれ補正部２９及び電子式ぶれ補正部３３の各々によるぶれの補正に用いられる。
　電子式ぶれ補正部３３は、ＡＳＩＣを含むデバイスである。電子式ぶれ補正部３３は、ぶれ量検出センサ４０によって検出されたぶれ量に基づいて、画像メモリ３２内のデジタル画像に対して画像処理を施すことでぶれを補正する。
　なお、ここでは、電子式ぶれ補正部３３として、ＡＳＩＣを含むデバイスを例示しているが、本開示の技術はこれに限定されるものではなく、例えば、ＦＰＧＡ又はＰＬＤを含むデバイスであってもよい。また、例えば、電子式ぶれ補正部３３は、ＡＳＩＣ、ＦＰＧＡ、及びＰＬＤのうちの複数を含むデバイスであってもよい。また、電子式ぶれ補正部３３として、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、電子式ぶれ補正部３３は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　通信Ｉ／Ｆ３４は、例えば、ネットワークインターフェースであり、ネットワークを介して、管理装置１１との間で各種情報の伝送制御を行う。ネットワークの一例としては、インターネット又は公衆通信網等のＷＡＮが挙げられる。監視カメラ１０と管理装置１１との間の通信を司る。
　二次記憶装置４２は、不揮発性のメモリであり、ＣＰＵ３７の制御下で、各種情報を記憶する。二次記憶装置４２としては、例えば、フラッシュメモリ、ＳＳＤ、ＥＥＰＲＯＭ、又はＨＤＤ等が挙げられる。
　ＵＩ系デバイス４３は、受付デバイス４３Ａ及びディスプレイ４３Ｂを備えている。受付デバイス４３Ａは、例えば、ハードキー及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ３７は、受付デバイス４３Ａによって受け付けられた各種指示を取得し、取得した指示に従って動作する。
　ディスプレイ４３Ｂは、ＣＰＵ３７の制御下で、各種情報を表示する。ディスプレイ４３Ｂに表示される各種情報としては、例えば、受付デバイス４３Ａによって受け付けられた各種指示の内容、及びデジタル画像等が挙げられる。
　一例として図３に示すように、管理装置１１は、ディスプレイ１３、二次記憶装置１４、制御装置６０、受付デバイス６２、及び通信Ｉ／Ｆ６６を備えている。制御装置６０は、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、及びＲＡＭ６０Ｃを備えている。受付デバイス６２、ディスプレイ１３、二次記憶装置１４、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、ＲＡＭ６０Ｃ、及び通信Ｉ／Ｆ６６の各々は、バスライン７０に接続されている。
　ＲＯＭ６０Ｂには、管理装置１１用の各種プログラム（以下、単に「管理装置用プログラム」と称する）が記憶されている。ＣＰＵ６０Ａは、ＲＯＭ６０Ｂから管理装置用プログラムを読み出し、読み出した管理装置用プログラムをＲＡＭ６０Ｃに展開する。ＣＰＵ６０Ａは、ＲＡＭ６０Ｃに展開した管理装置用プログラムに従って管理装置１１の全体を制御する。
　通信Ｉ／Ｆ６６は、例えば、ネットワークインターフェースである。通信Ｉ／Ｆ６６は、ネットワークを介して、管理装置１１の通信Ｉ／Ｆ３４に対して通信可能に接続されており、管理装置１１との間で各種情報の伝送制御を行う。例えば、通信Ｉ／Ｆ６６は、管理装置１１に対してデジタル画像の送信を要求し、デジタル画像の送信の要求に応じて管理装置１１の通信Ｉ／Ｆ３４から送信されたデジタル画像を受信する。
　受付デバイス６２は、例えば、キーボード、マウス、及びタッチパネル等であり、ユーザからの各種指示を受け付ける。ＣＰＵ６０Ａは、受付デバイス６２によって受け付けられた各種指示を取得し、取得した指示に従って動作する。
　ディスプレイ１３は、ＣＰＵ６０Ａの制御下で、各種情報を表示する。ディスプレイ１３に表示される各種情報としては、例えば、受付デバイス６２によって受け付けられた各種指示の内容、及び通信Ｉ／Ｆ６６によって受信されたデジタル画像等が挙げられる。
　二次記憶装置１４は、不揮発性のメモリであり、ＣＰＵ６０Ａの制御下で、各種情報を記憶する。二次記憶装置１４に記憶される各種情報としては、例えば、通信Ｉ／Ｆ６６によって受信されたデジタル画像等が挙げられる。
　このように、制御装置６０は、通信Ｉ／Ｆ６６によって受信されたデジタル画像をディスプレイ１３に対して表示させる制御、及び通信Ｉ／Ｆ６６によって受信されたデジタル画像を二次記憶装置１４に対して記憶させる制御を行う。
　なお、ここでは、デジタル画像をディスプレイ１３に対して表示させ、かつ、通信Ｉ／Ｆ６６によって受信されたデジタル画像を二次記憶装置１４に対して記憶させるようにしているが、本開示の技術はこれに限定されない。例えば、デジタル画像のディスプレイ１３に対する表示とデジタル画像の二次記憶装置１４に対する記憶との何れかが行われるようにしてもよい。
　一例として図４に示すように、ＲＯＭ３６には、補正制御プログラム３６Ａが記憶されている。ＣＰＵ３７は、ＲＯＭ３６から補正制御プログラム３６Ａを読み出し、読み出した補正制御プログラム３６ＡをＲＡＭ３５に展開する。ＣＰＵ３７は、ＲＡＭ３５に展開した補正制御プログラム３６Ａを実行することで、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃとして動作する。補足ぶれ補正部３７Ｂは、本開示の技術に係る「補足ぶれ補正部（補足ぶれ補正回路）」の一例である。補足ぶれ補正部３７Ｂは、補足的なぶれ補正処理（補足ぶれ補正処理）を行うプロセッサである。
　二次記憶装置４２には、比率情報４２Ａが記憶されている。比率情報４２Ａは、撮像素子２５の露光中に機械式ぶれ補正部２９と電子式ぶれ補正部３３とを既定の比率で分担して作動させる場合に用いられる既定の比率（以下、単に「比率」とも称する）を示す情報である。ここで言う「露光中」とは、１フレーム内での露光中を指す。また、ここで言う「比率」とは、ぶれ量検出センサ４０により検出されたぶれ量を完全に打ち消すことができる補正の度合いを“１０”とした場合、“１０”のうちの何割ずつを機械式ぶれ補正部２９と電子式ぶれ補正部３３とに割り当てるかを示す比率を指す。
　比率は、一対の軸方向の各々に応じて定められている。すなわち、比率は、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々に応じて定められている。図３に示す例では、ピッチ軸ＰＡ方向についての比率が、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ１：Ｙ１”であり、ヨー軸ＹＡ方向についての比率が、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ２：Ｙ２”である。ピッチ軸ＰＡ方向についての防振レンズ１５Ｂ１の可動域に限度がある場合、機械式ぶれ補正部２９に対してぶれ量の全てを補正させることは困難なので、例えば、“Ｘ１”を、可動域内で補正可能な補正の度合いを示す“６”とし、“Ｘ２”を“４”とする。ヨー軸ＹＡ方向についての比率である“Ｘ２”及び“Ｙ２”についても“Ｘ１”及び“Ｘ２”と同様の方法で定めることが可能である。
　動作制御部３７Ａは、二次記憶装置４２から比率情報４２Ａを取得する。また、動作制御部３７Ａは、ぶれ量検出センサ４０からぶれ量を取得する。更に、動作制御部３７Ａは、位置検出センサ３９から位置信号を取得する。
　動作制御部３７Ａは、撮像素子２５の露光中に、機械式ぶれ補正部２９と電子式ぶれ補正部３３とを比率情報４２Ａにより示される比率で分担して作動させる。機械式ぶれ補正部２９では、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々について、ぶれ量検出センサ４０によって検出されたぶれ量のうちの比率に応じて定められたぶれ量に基づいて防振レンズ１５Ｂ１を上述の防振レンズ二次元平面内で移動させる。防振レンズ１５Ｂ１を防振レンズ二次元平面内で移動させることで、ぶれが補正される。
　動作制御部３７Ａは、撮像素子２５の露光中に、位置検出センサ３９から位置信号を複数回取得し、取得した複数の位置信号から、撮像素子２５の露光中の防振レンズ１５Ｂ１の動作状態に関する動作状態情報を生成する。動作状態情報としては、例えば、撮像素子２５の露光中の防振レンズ二次元平面内での防振レンズ１５Ｂ１の光軸の移動軌跡を特定可能な情報を含む情報が挙げられる。移動軌跡を特定可能な情報としては、防振レンズ二次元平面内での位置を特定可能な二次元座標が挙げられる。動作状態情報は、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々について生成される。なお、上記の「移動軌跡」は、本開示の技術に係る「露光期間中の光学素子の移動軌跡」の一例である。
　また、ここでは、防振レンズ二次元平面内での防振レンズ１５Ｂ１の光軸の移動軌跡を例示しているが、本開示の技術はこれに限定されない。例えば、防振レンズ１５Ｂ１の光軸の移動軌跡に代えて、防振レンズ１５Ｂ１の上端面の中心又は下端面の中心等の移動軌跡であってもよく、防振レンズ１５Ｂ１の移動軌跡として特定可能な箇所の移動軌跡であればよい。
　電子式ぶれ補正部３３は、画像メモリ３２から１フレーム分のデジタル画像を取得する。電子式ぶれ補正部３３は、１フレーム分のデジタル画像に対して、ピッチ軸ＰＡ方向及びヨー軸ＹＡ方向の各々について、動作状態情報と、ぶれ量検出センサ４０によって検出されたぶれ量のうちの比率に応じて定められたぶれ量とに基づいて画像処理を行う。このように１フレーム分のデジタル画像に対して画像処理（詳しくは後述）が行われることで、ぶれが補正される。電子式ぶれ補正部３３によって１フレーム分のデジタル画像に対してぶれが補正されることで得られた補正画像は補足ぶれ補正部３７Ｂに出力される。
　動作制御部３７Ａと同様に、補足ぶれ補正部３７Ｂは、位置検出センサ３９から位置信号を複数回取得し、取得した複数の位置信号から動作状態情報を生成する。また、動作制御部３７Ａと同様に、補足ぶれ補正部３７Ｂは、二次記憶装置４２から比率情報４２Ａを取得する。また、動作制御部３７Ａと同様に、補足ぶれ補正部３７Ｂは、ぶれ量検出センサ４０からぶれ量を取得する。更に、補足ぶれ補正部３７Ｂは、撮像素子２５の露光期間（以下、単に「露光期間」とも称する）を取得する。露光期間は、撮像素子２５に対して露光が行われている期間であり、撮像素子２５に対する露光の開始タイミングから露光の終了タイミングまでの時間が測定されることによって得られる。なお、以下では、撮像素子２５に対する露光の開始タイミングを単に「露光開始タイミング」と称し、撮像素子２５に対する露光の終了タイミングを単に「露光終了タイミング」と称する。
　補足ぶれ補正部３７Ｂは、電子式ぶれ補正部３３から補正画像を取得する。補足ぶれ補正部３７Ｂは、補正画像に対して、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間に応じて定まるフィルタを適用することでぶれを補正する。補足ぶれ補正部３７Ｂによって補正画像に対してぶれの補正が行われることで得られた補足補正画像は送信部３７Ｃに出力される。送信部３７Ｃは、補足補正画像を管理装置１１に送信する。
　電子式ぶれ補正部３３では、デジタル画像に対する画像処理の一例として、画像切出処理を含む処理が採用されている。画像切出処理とは、動作状態情報、比率情報４２Ａにより示される比率、及びぶれ量に応じて定められた切出位置に従ってデジタル画像を切り出す処理を指す。すなわち、画像切出処理は、動作状態情報、比率情報４２Ａにより示される比率、及びぶれ量に基づいて、画像メモリ３２に記憶されたデジタル画像から一部の画像領域を補正画像として切り出す処理である。
　画像切出処理が行われる場合、一例として図５に示すように、撮像素子２５の撮像領域２５Ｂ１が、ぶれが補正されたデジタル画像として出力する領域２５Ｂ２（以下、単に「画像出力領域２５Ｂ２」と称する）よりも広く設定された上で撮像が行われる。電子式ぶれ補正部３３では、動作状態情報、比率情報４２Ａにより示される比率、及びぶれ量に基づいて切出領域特定情報が生成される。切出領域特定情報とは、デジタル画像内において補正画像として切り出す画像領域を特定する情報を指す。そして、電子式ぶれ補正部３３では、画像メモリ３２に記憶されたデジタル画像から、切出領域特定情報により特定された画像領域が補正画像として切り出される。
　ところで、一例として図６に示すように、電子式ぶれ補正部３３によってデジタル画像に対して画像処理が行われることで得られた補正画像内には乱れＮが現れる。乱れＮは、撮像素子２５の露光中のぶれに起因して生じる。電子式ぶれ補正部３３によって行われる画像切出処理は、デジタル画像から一部の画像領域（デジタル画像の一部）を補正画像として切り出す処理であり、露光中に生じるぶれに対応していないので、補正画像内に、露光中のぶれが原因で乱れＮが現れる。
　そこで、本実施形態では、ぶれの補正について、補足ぶれ補正部３７Ｂが、補正画像内から乱れＮを除去する補足的な処理を行う。すなわち、補足ぶれ補正部３７Ｂは、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間に応じてフィルタを生成する。ここで言う「フィルタ」は、露光中に生じるぶれが原因で補足画像内に現れる乱れＮを除去するフィルタである。
　フィルタは、例えば、ＦＩＲフィルタである。ＦＩＲフィルタ自体は、正負を含む実数値の系列であり、系列の行数はタップ数と称され、実数値自体はタップ係数と称される。補足ぶれ補正部３７Ｂでは、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間の各々を独立変数とし、タップ係数を従属変数とするタップ係数決定用演算式が予め定められており、タップ係数決定用演算式を用いてタップ係数が決定される。
　タップ係数決定用演算式は、例えば、実機による試験及び／又はシミュレーションが実施された結果に基づいて、補正画像内に現れる乱れＮが除去される演算式として予め導き出された演算式である。なお、ここで言う「乱れＮが除去される」とは、例えば、信号対ノイズ比（ＳＮＲ）が無限大になるデジタル画像、すなわち、乱れＮを含むぶれが含まれていないデジタル画像が得られることを意味する。
　補足ぶれ補正部３７Ｂでは、タップ係数決定用演算式を用いて決定されたタップ係数を有するＦＩＲフィルタが補正画像に対して適用されることで補正画像から乱れＮが除去される。すなわち、補正画像に対して、タップ係数決定用演算式を用いて決定されたタップ係数が畳み込み演算（積和算）されることで補正画像から乱れＮが除去される。このように、補正画像に対してＦＩＲフィルタによるフィルタリングが行われることで、補正画像から乱れＮが除去された補足補正画像が生成される。
　なお、本実施形態では、タップ係数決定用演算式を用いてタップ係数が決定される形態例を挙げて説明しているが、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間とタップ係数とを対応付けたタップ係数決定用テーブルを用いてタップ係数が決定されるようにしてもよい。また、ここでは、ＦＩＲフィルタを例示しているが、本開示の技術はこれに限定されず、例えば、ＩＩＲフィルタを用いてもよい。この場合、タップ係数に代えて、ＩＩＲフィルタで用いられるパラメータが、演算式又はテーブルを用いて、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、及び露光期間から決定されるようにすればよい。
　監視カメラ１０では、既定のフレームレートで監視対象が撮像素子２５によって撮像されることで得られた各デジタル画像について、補足ぶれ補正部３７Ｂによって補足補正画像が生成される。一例として図７に示すように、送信部３７Ｃには、補足ぶれ補正部３７Ｂでの補正結果がデジタル画像に反映されることで得られた補足補正画像が順次に入力される。送信部３７Ｃは、補足ぶれ補正部３７Ｂから入力された各補足補正画像を管理装置１１に送信する。
　管理装置１１では、送信部３７Ｃから送信された補足補正画像が制御装置６０に順次に入力される。そして、ディスプレイ１３は、制御装置６０の制御下で、制御装置６０に順次に入力された補足補正画像をライブビュー画像として表示し、二次記憶装置１４は、制御装置６０の制御下で、制御装置６０に順次に入力された補足補正画像を記憶する。ここでは、補足補正画像の表示と補足補正画像の記憶との双方が行われる形態例を挙げているが、本開示の技術はこれに限定されず、補足補正画像の表示と補足補正画像の記憶との何れかが行われるようにしてもよい。なお、制御装置６０は、本開示の技術に係る「制御装置」の一例である。
　次に、監視システム２の本開示の技術に係る部分の作用について図８及び図９を参照しながら説明する。なお、図８及び図９には、ＣＰＵ３７によって実行される補正制御処理の流れの一例が示されている。
　図８に示す補正制御処理では、先ず、ステップＳＴ１０で、動作制御部３７Ａは、機械式ぶれ補正部２９の作動と電子式ぶれ補正部３３の作動とを既定の比率で分担して開始させ、その後、補正制御処理はステップＳＴ１２へ移行する。
　本ステップＳＴ１０の処理が実行されることにより、機械式ぶれ補正部２９では、ぶれ量検出センサ４０によって検出されたぶれ量に基づいて防振レンズ１５Ｂ１を移動させることでぶれの補正が行われる。また、電子式ぶれ補正部３３では、最新の動作状態情報とぶれ量検出センサ４０によって検出されたぶれ量とに基づいて１フレーム分のデジタル画像に対して画像処理が行われることでぶれが補正され、補正画像が生成される。
　ステップＳＴ１２で、補足ぶれ補正部３７Ｂは、露光開始タイミングが到来したか否かを判定する。ステップＳＴ１２において、露光開始タイミングが到来していない場合は、判定が否定されて、補正制御処理は図９に示すステップＳＴ３６へ移行する。ステップＳＴ１２において、露光終了タイミングが到来した場合は、判定が肯定されて、補正制御処理はステップＳＴ１４へ移行する。
　ステップＳＴ１４で、補足ぶれ補正部３７Ｂは、露光期間の測定を開始し、その後、補正制御処理はステップＳＴ１６へ移行する。
　ステップＳＴ１６で、補足ぶれ補正部３７Ｂは、位置検出センサ３９からの位置信号に基づく動作状態情報の生成を開始し、その後、補正制御処理はステップＳＴ１８へ移行する。
　ステップＳＴ１８で、補足ぶれ補正部３７Ｂは、ぶれ量検出センサ４０からぶれ量を取得し、その後、補正制御処理はステップＳＴ２０へ移行する。
　ステップＳＴ２０で、補足ぶれ補正部３７Ｂは、露光終了タイミングが到来したか否かを判定する。ステップＳＴ２０において、露光終了タイミングが到来していない場合は、判定が否定されて、ステップＳＴ２０の判定が再び行われる。ステップＳＴ２０において、露光終了タイミングが到来した場合は、判定が肯定されて、補正制御処理はステップＳＴ２２へ移行する。
　ステップＳＴ２２で、補足ぶれ補正部３７Ｂは、露光期間の測定を終了し、その後、補正制御処理はステップＳＴ２４へ移行する。
　ステップＳＴ２４で、補足ぶれ補正部３７Ｂは、位置検出センサ３９からの位置信号に基づく動作状態情報の生成を終了し、その後、補正制御処理はステップＳＴ２６へ移行する。
　ステップＳＴ２６で、補足ぶれ補正部３７Ｂは、二次記憶装置４２から比率情報４２Ａを取得し、その後、補正制御処理はステップＳＴ２８へ移行する。
　ステップＳＴ２８で、補足ぶれ補正部３７Ｂは、動作状態情報、比率情報４２Ａにより示される比率、ぶれ量、露光期間に基づいてフィルタ（例えば、上述したＦＩＲフィルタ）を生成し、その後、補正制御処理は図９に示すステップＳＴ３０へ移行する。
　本ステップＳＴ２８で用いられる動作状態情報は、ステップＳＴ２４で得られた動作状態情報である。また、本ステップＳＴ２８で用いられる比率情報４２Ａは、ステップＳＴ２６で取得された比率情報４２Ａである。また、本ステップＳＴ２８で用いられるぶれ量は、ステップＳＴ１８で取得されたぶれ量である。更に、本ステップＳＴ２８で用いられる露光期間は、ステップＳＴ２２で測定された露光期間である。
　図９に示すステップＳＴ３０で、補足ぶれ補正部３７Ｂは、露光期間において電子式ぶれ補正部３３によって生成された補正画像を取得し、その後、補正制御処理はステップＳＴ３２へ移行する。
　ステップＳＴ３２で、補足ぶれ補正部３７Ｂは、ステップＳＴ３０で取得した補正画像に対して、ステップＳＴ２８で生成したフィルタを適用することでぶれを補正する。すなわち、補足ぶれ補正部３７Ｂは、ステップＳＴ３０で取得した補正画像に対して、ステップＳＴ２８で生成したフィルタを適用することで補正画像内の乱れＮを除去する。ステップＳＴ３２の処理が実行された後、補正制御処理はステップＳＴ３４へ移行する。
　ステップＳＴ３４で、送信部３７Ｃは、ステップＳＴ３２の処理が実行されることによって補正画像内の乱れＮが除去されることで得られた補足補正画像を管理装置１１に送信し、その後、補正制御処理はステップＳＴ３６へ移行する。
　ステップＳＴ３６で、動作制御部３７Ａは、補正制御処理を終了する条件（以下、「補正制御処理終了条件」と称する）を満足したか否かを判定する。補正制御処理終了条件としては、例えば、補正制御処理を終了させる指示が受付デバイス４３Ａによって受け付けられた、との条件が挙げられる。ステップＳＴ３６において、補正制御処理終了条件を満足していない場合は、判定が否定されて、補正制御処理は図８に示すステップＳＴ１２へ移行する。ステップＳＴ３６において、補正制御処理終了条件を満足した場合は、判定が肯定されて、補正制御処理はステップＳＴ３８へ移行する。
　ステップＳＴ３８で、動作制御部３７Ａは、機械式ぶれ補正部２９の作動と電子式ぶれ補正部３３の作動とを終了させ、その後、補正制御処理が終了する。
　以上説明したように、監視カメラ１０では、ぶれ量検出センサ４０によって検出されたぶれ量に基づいて防振レンズ１５Ｂ１を移動させることでぶれが補正される。また、電子式ぶれ補正部３３によって、デジタル画像に対して、動作状態情報とぶれ量とに基づいて画像処理が行われることでぶれが補正される。電子式ぶれ補正部３３によるぶれの補正方法は、ぶれ量に応じてデジタル画像を切り出すことで実現される補正方法であり、露光中に生じるぶれに対応する補正方法ではない。
　そこで、監視カメラ１０では、露光中に生じるぶれを補正するために、露光中に機械式ぶれ補正部２９と電子式ぶれ補正部３３とを既定の比率で分担して作動させた場合に動作状態情報、既定の比率、ぶれ量、及び露光期間に応じてフィルタが生成される。そして、補足ぶれ補正部３７Ｂによって、フィルタが補正画像に対して適用されることでぶれが補正される。すなわち、フィルタが補正画像に対して適用されることで補正画像内での乱れＮが除去される。
　従って、監視カメラ１０によれば、機械式ぶれ補正部２９と電子式ぶれ補正部３３とで分担してぶれの補正を行った場合に、露光中に生じるぶれが原因で補正画像内に現れる乱れＮを機械式ぶれ補正部２９に依拠することなく除去することができる。
　また、監視カメラ１０では、電子式ぶれ補正部３３によって補正画像に対して適用されるフィルタとして、露光中に生じるぶれが原因で補正画像内に現れる乱れＮを除去するフィルタが採用されている。従って、フィルタを用いずに乱れＮを除去する場合に比べ、露光中に生じるぶれが原因で補正画像内に現れる乱れＮを簡便に除去することができる。
　また、監視カメラ１０では、動作状態情報は、１フレーム内の露光中の防振レンズ１５Ｂ１の動作状態に関する情報である。フィルタは、１フレーム内の露光中に機械式ぶれ補正部２９と電子式ぶれ補正部３３と既定の比率で分担して作動させた場合の動作状態情報、比率、ぶれ量、及び露光期間に応じて定められる。従って、機械式ぶれ補正部２９と電子式ぶれ補正部３３とで分担してぶれの補正を行った場合に、１フレーム内の露光中に生じるぶれが原因で１フレーム分の補正画像内に現れる乱れＮを機械式ぶれ補正部２９に依拠することなく除去することができる。
　また、監視カメラ１０では、動作状態情報として、露光期間中の防振レンズ１５Ｂ１の移動軌跡を特定可能な情報を含む情報が採用されている。従って、露光期間中の防振レンズ１５Ｂ１の移動軌跡とは無関係な情報を用いて補正画像内の乱れＮを除去する場合に比べ、補正画像内の乱れＮを高精度に除去することができる。
　また、監視カメラ１０では、動作状態情報、既定の比率、及びぶれ量に応じて定められた切出位置に従ってデジタル画像を切り出す画像切出処理が行われることによって補正画像が生成される。従って、動作状態情報、既定の比率、及びぶれ量とは無関係に定められた切出位置に従ってデジタル画像を切り出す処理が行われる場合に比べ、ぶれを高精度に補正することができる。
　また、監視カメラ１０では、防振レンズ１５Ｂ１を移動させることでぶれが補正される。従って、防振レンズ１５Ｂ１の可動域の範囲内でぶれを補正することができる。
　更に、監視カメラ１０では、ピッチ軸ＰＡ方向及びヨー軸ＹＡの各々についてぶれ量が検出され、既定の比率がピッチ軸ＰＡ方向及びヨー軸ＹＡの各々に応じて定められている。従って、１つの軸方向についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
　なお、上記実施形態では、防振レンズ１５Ｂ１を移動させることでぶれが補正される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、防振レンズ１５Ｂ１に代えて、撮像素子２５を防振レンズ二次元平面と平行な面内で移動させることでぶれが補正されるようにしてもよい。この場合、撮像素子２５の可動域の範囲内でぶれを補正することができる。また、この場合、防振レンズ１５Ｂ１が不要となるので、光学系１５の小型化を図ることができる。
　また、防振レンズ１５Ｂ１及び撮像素子２５の双方を移動させることでぶれが補正されるようにしてもよい。この場合、防振レンズ１５Ｂ１及び撮像素子２５の各々の可動域の範囲内でぶれを補正することができる。また、この場合、防振レンズ１５Ｂ１の可動域によって防振レンズ１５Ｂ１の移動が制限されることで補正し切れなかったぶれを、撮像素子２５を移動させることで補正することが可能となる。
　また、上記実施形態では、補足ぶれ補正部３７Ｂによって露光期間がリアルタイムで測定される形態例を挙げて説明したが、本開示の技術はこれに限定されず、例えば、事前に露光期間が算出されるようにしてもよい。この場合、一例として図１０に示すように、ＣＰＵ３７は、露光期間算出部３７Ｄを有する。露光期間算出部３７Ｄは、受付デバイス４３Ａによってシャッタスピードを指示するシャッタスピート指示情報が受け付けられた場合に、シャッタスピート指示情報により指示されたシャッタスピードに基づいて露光期間を算出する。補足ぶれ補正部３７Ｂでは、露光期間算出部３７Ｄによって算出された露光期間と、動作状態情報、既定の比率、及びぶれ量に基づいてフィルタが生成される。
　また、上記実施形態では、一対の軸方向の各々についてぶれ量が検出され、比率が軸方向に応じて定められているが、本開示の技術はこれに限定されない。例えば、図１１に示すように、比率がぶれの周波数に応じて定められるようにしてもよい。
　図１１に示す例では、ぶれの周波数が低周波数と高周波数とに区分されている。低周波数についての比率は、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ１：Ｙ１”であり、高周波数についての比率は、“機械式ぶれ補正部２９：電子式ぶれ補正部３３＝Ｘ２：Ｙ２”である。この場合、低周波数と高周波数との各々についてぶれ量が検出される。低周波数のぶれ量は、ぶれ量検出センサ４０によって検出されたぶれ量から、ローパスフィルタを用いて抽出され、高周波数のぶれ量は、ぶれ量検出センサ４０によって検出されたぶれ量から、ハイパスフィルタを用いて抽出されるようにすればよい。なお、低周波数と高周波数とを区分する閾値は、固定値であってもよいし、受付デバイス４３Ａによって受け付けられた指示に応じて変更可能な可変値であってもよい。
　このように、低周波数と高周波数との各々についてぶれ量が検出されるようにすることで、１つの周波数についてのぶれ量のみを用いてぶれが補正される場合に比べ、ぶれを高精度に補正することができる。
　なお、ここでは、低周波数と高周波数とに区分けしたが、これに限らず、３つ以上の周波数に区分けした場合であっても、同様の方法でぶれ量を検出し、比率を定めるようにすればよい。
　また、上記実施形態では、動作状態情報として、防振レンズ１５Ｂ１の移動軌跡を特定可能な情報を含む情報を例示したが本開示の技術はこれに限定されない。動作状態情報には、露光期間中の防振レンズ１５Ｂ１が移動している期間と露光期間中の防振レンズ１５Ｂ１が移動していない期間のうちの少なくとも一方を含む情報であってもよい。これにより、露光期間中の防振レンズ１５Ｂ１が移動している期間及び露光期間中の防振レンズ１５Ｂ１が移動していない期間の何れもが動作状態情報に含まれていない場合に比べ、電子式ぶれ補正部３３及び補足ぶれ補正部３７Ｂの各々によるぶれの補正精度を高めることができる。
　また、上記実施形態では、１フレーム毎にフィルタが生成され、生成されたフィルタが、対応する１フレームの補正画像に対して適用される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、１つのフィルタが、複数のフレームに渡って使用されるようにしてもよい。また、予め定められた時間帯に限って、同一のフィルタが使用され続けるようにしてもよい。ここで言う「予め定められた時間帯」は、例えば、受付デバイス４３Ａによって受け付けられた指示に従って定められた時間帯であってもよいし、固定された時間帯であってもよい。
　また、複数フレームおきにフィルタが生成されるようにしてもよい。この場合、例えば、振動の発生頻度が比較的高い時間帯に対しては１フレーム毎にフィルタが生成されるようにし、振動の発生頻度が比較的低い時間帯に対しては複数フレーム毎にフィルタが生成されるようにしてもよい。
　ここで言う「比較的高い時間帯」及び「比較的低い時間帯」は、監視カメラ１０によって監視対象が撮像されることで蓄積された過去の複数のデジタル画像が解析されることによって得られた統計的なデータに基づいて定められるようにすればよい。また、「比較的高い時間帯」及び「比較的低い時間帯」は固定化されていてもよいし、受付デバイス４３Ａ等によって受け付けられた指示に従って変更可能な時間帯であってもよい。
　また、上記実施形態では、ＲＯＭ３６に補正制御プログラム３６Ａが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１２に示すように、補正制御プログラム３６Ａを記憶媒体１００に記憶させておいてもよい。この場合、記憶媒体１００に記憶されている補正制御プログラム３６Ａは、コンピュータ１９にインストールされ、ＣＰＵ３７は、補正制御プログラム３６Ａに従って、上述した補正制御処理を実行する。なお、記憶媒体１００は、非一時的記憶媒体である。記憶媒体１００の一例としては、ＳＳＤ又はＵＳＢメモリなどの任意の可搬型の記憶媒体が挙げられる。
　図１２に示す例では、ＣＰＵ３７は、単数のＣＰＵであるが、本開示の技術はこれに限定されず、複数のＣＰＵを採用してもよい。
　また、通信網（図示省略）を介してコンピュータ１９に接続される他のコンピュータ又はサーバ装置等の記憶部に補正制御プログラム３６Ａを記憶させておき、上述の監視カメラ１０の要求に応じて補正制御プログラム３６Ａがコンピュータ１９にダウンロードされるようにしてもよい。この場合、ダウンロードされた補正制御プログラム３６Ａがコンピュータ１９のＣＰＵ３７によって実行される。
　また、上記実施形態では、ＣＰＵ３７を例示したが、本開示の技術はこれに限らず、複数のＣＰＵを用いても良い。
　また、上記実施形態では、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃとして、コンピュータ１９によるソフトウェア構成により実現される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃは、例えば、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスによって実現されるようにしてもよい。また、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃは、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。
　上記の補正制御処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、補正制御処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。
　補正制御処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、補正制御処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃの各々の処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、補正制御処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、動作制御部３７Ａ、補足ぶれ補正部３７Ｂ、及び送信部３７Ｃの各々の処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。
　また、上記実施形態では、本開示の技術に係る撮像装置の一例として監視カメラ１０を挙げたが、本開示の技術はこれに限定されない。例えば、監視カメラ１０に代えて、携帯型のレンズ交換式カメラ、携帯型のレンズ固定式カメラ、パーソナル・コンピュータ、スマートデバイス、又はウェアラブル端末装置等の各種の電子機器に対しても本開示の技術は適用可能である。これらの電子機器であっても、上記各実施形態で説明した監視カメラ１０と同様の作用及び効果が得られる。
　また、上記の補正制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

  1. 　撮像装置のぶれ量を検出するセンサと、
    　前記撮像装置に含まれる光学素子を前記ぶれ量に基づいて移動させることで、ぶれを補正する機械式ぶれ補正装置と、
    　前記撮像装置により撮像されることで得られた画像に対して、前記撮像装置での露光中の前記光学素子の動作状態に関する動作状態情報と前記ぶれ量とに基づいて画像処理を行うことで、前記ぶれを補正する電子式ぶれ補正回路と、
    　前記露光中に前記機械式ぶれ補正装置と前記電子式ぶれ補正回路とを既定の比率で分担して動作させた場合に前記動作状態情報、前記比率、前記ぶれ量、及び前記撮像装置での露光期間に応じて定まるフィルタを前記画像に対して適用することで前記ぶれを補正する補足ぶれ補正回路と、
    　を含むぶれ補正装置。
  2. 　前記フィルタは、前記露光中に生じるぶれが原因で前記画像内に現れる乱れを除去するフィルタである請求項１に記載のぶれ補正装置。
  3. 　前記露光は１フレーム内での露光である請求項１又は請求項２に記載のぶれ補正装置。
  4. 　前記動作状態情報は、前記露光期間中の前記光学素子が移動している期間と前記露光期間中の前記光学素子が移動していない期間とのうちの少なくとも一方を含む情報である請求項１から請求項３の何れか一項に記載のぶれ補正装置。
  5. 　前記動作状態情報は、前記露光期間中の前記光学素子の移動軌跡を特定可能な情報を含む情報である請求項１から請求項４の何れか一項に記載のぶれ補正装置。
  6. 　前記画像処理は、前記動作状態情報、前記比率、及び前記ぶれ量に応じて定められた切出位置に従って前記画像を切り出す処理を含む処理である請求項１から請求項５の何れか一項に記載のぶれ補正装置。
  7. 　前記光学素子は、被写体を示す被写体光が光学部材により結像される撮像素子と前記光学部材とのうちの少なくとも一方である請求項１から請求項６の何れか一項に記載のぶれ補正装置。
  8. 　前記センサは、前記ぶれの複数の周波数の各々について前記ぶれ量を検出し、
    　前記比率は、前記周波数に応じて定められている請求項１から請求項７の何れか一項に記載のぶれ補正装置。
  9. 　前記センサは、一対の軸方向の各々について前記ぶれ量を検出し、
    　前記比率は、前記軸方向に応じて定められている請求項１から請求項７の何れか一項に記載のぶれ補正装置。
  10. 　請求項１から請求項９の何れか一項に記載のぶれ補正装置と、
    　撮像することで前記画像を生成するイメージセンサと、
    　を含む撮像装置。
  11. 　請求項１０に記載の撮像装置と、
    　前記補足ぶれ補正回路での補正結果が反映された前記画像をディスプレイに対して表示させる制御、及び前記補正結果が反映された前記画像を示す画像データをメモリに対して記憶させる制御のうちの少なくとも一方を行う制御装置と、
    　を含む監視システム。
  12. 　コンピュータに、
    　撮像装置のぶれ量を検出するセンサによって検出された前記ぶれ量に基づいて、前記撮像装置に含まれる光学素子を移動させることで、ぶれを補正する機械式ぶれ補正処理と、
    　前記撮像装置により撮像されることで得られた画像に対して、前記撮像装置での露光中の前記光学素子の動作状態に関する動作状態情報と前記ぶれ量とに基づいて画像処理を行うことで、前記ぶれを補正する電子式ぶれ補正処理と、
    　前記露光中に前記機械式ぶれ補正処理と前記電子式ぶれ補正処理とを既定の比率で分担して動作させた場合に前記動作状態情報、前記比率、前記ぶれ量、及び前記撮像装置での露光期間に応じて定まるフィルタを前記画像に対して適用することで前記ぶれを補正する補足ぶれ補正処理と、を含む処理を実行させるためのプログラム。
PCT/JP2020/006047 2019-02-20 2020-02-17 ぶれ補正装置、撮像装置、監視システム、及びプログラム WO2020171015A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2021501980A JP7152588B2 (ja) 2019-02-20 2020-02-17 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US17/403,890 US11503210B2 (en) 2019-02-20 2021-08-17 Blur correction device, imaging apparatus, monitoring system, and program
JP2022152893A JP7356557B2 (ja) 2019-02-20 2022-09-26 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US18/045,459 US11889191B2 (en) 2019-02-20 2022-10-10 Blur correction device, imaging apparatus, monitoring system, and program
JP2023158823A JP2023171834A (ja) 2019-02-20 2023-09-22 ぶれ補正装置、撮像装置、監視システム、及びプログラム
US18/533,188 US20240129631A1 (en) 2019-02-20 2023-12-08 Blur correction device, imaging apparatus, monitoring system, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-028843 2019-02-20
JP2019028843 2019-02-20

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/403,890 Continuation US11503210B2 (en) 2019-02-20 2021-08-17 Blur correction device, imaging apparatus, monitoring system, and program

Publications (1)

Publication Number Publication Date
WO2020171015A1 true WO2020171015A1 (ja) 2020-08-27

Family

ID=72144473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006047 WO2020171015A1 (ja) 2019-02-20 2020-02-17 ぶれ補正装置、撮像装置、監視システム、及びプログラム

Country Status (3)

Country Link
US (3) US11503210B2 (ja)
JP (3) JP7152588B2 (ja)
WO (1) WO2020171015A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170039B (zh) * 2018-11-29 2022-12-16 富士胶片株式会社 抖动校正控制装置及摄像装置
WO2020171015A1 (ja) 2019-02-20 2020-08-27 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128781A (ja) * 2004-10-26 2006-05-18 Konica Minolta Photo Imaging Inc 撮影装置
JP2009111773A (ja) * 2007-10-30 2009-05-21 Kyocera Corp 画像処理装置およびその方法
JP2011102992A (ja) * 2010-12-17 2011-05-26 Casio Computer Co Ltd 撮像装置及びそのプログラム
JP2016024235A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09163215A (ja) 1995-10-05 1997-06-20 Sony Corp 撮像装置
JP4383379B2 (ja) 2005-03-30 2009-12-16 三洋電機株式会社 手ぶれ補正装置
JP4420921B2 (ja) 2006-11-10 2010-02-24 三洋電機株式会社 撮像装置
JP2008271529A (ja) * 2007-03-26 2008-11-06 Sanyo Electric Co Ltd 撮像装置
JP5720556B2 (ja) * 2011-12-14 2015-05-20 株式会社Ｊｖｃケンウッド 撮像装置及び画像ぶれ補正方法
JP5959850B2 (ja) 2011-12-27 2016-08-02 キヤノン株式会社 撮像装置及びその制御方法
JP6074298B2 (ja) 2013-03-18 2017-02-01 キヤノン株式会社 撮像装置、画像処理装置、及びそれらの制御方法
US9432575B2 (en) * 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
US20150195457A1 (en) * 2014-01-03 2015-07-09 Samsung Electro-Mechanics Co., Ltd. Apparatus and method for image correction
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
JP6659086B2 (ja) * 2015-03-16 2020-03-04 キヤノン株式会社 像ブレ補正装置、光学機器、撮像装置および制御方法
JP6635825B2 (ja) 2016-02-26 2020-01-29 キヤノン株式会社 撮像システムおよびその制御方法、撮像装置、レンズ装置
WO2018025659A1 (ja) * 2016-08-05 2018-02-08 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
KR102608782B1 (ko) * 2016-12-30 2023-12-04 삼성전자주식회사 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치
US10477107B2 (en) * 2017-01-27 2019-11-12 Invensense, Inc. Electronic image stabilization of a captured image
US10462370B2 (en) * 2017-10-03 2019-10-29 Google Llc Video stabilization
JP2019117977A (ja) * 2017-12-26 2019-07-18 キヤノン株式会社 防振制御装置、撮像装置、撮像システム、制御方法及びプログラム
US10771700B2 (en) * 2018-01-15 2020-09-08 Canon Kabushiki Kaisha Image blur correction apparatus, interchangeable lens, camera body, image blur correction method, and storage medium
KR102452564B1 (ko) * 2018-02-07 2022-10-11 삼성전자주식회사 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
JP7191599B2 (ja) * 2018-09-07 2022-12-19 キヤノン株式会社 光学機器
WO2020171015A1 (ja) 2019-02-20 2020-08-27 富士フイルム株式会社 ぶれ補正装置、撮像装置、監視システム、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006128781A (ja) * 2004-10-26 2006-05-18 Konica Minolta Photo Imaging Inc 撮影装置
JP2009111773A (ja) * 2007-10-30 2009-05-21 Kyocera Corp 画像処理装置およびその方法
JP2011102992A (ja) * 2010-12-17 2011-05-26 Casio Computer Co Ltd 撮像装置及びそのプログラム
JP2016024235A (ja) * 2014-07-16 2016-02-08 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JP7356557B2 (ja) 2023-10-04
US11889191B2 (en) 2024-01-30
JP2023171834A (ja) 2023-12-05
US20240129631A1 (en) 2024-04-18
JP2022180569A (ja) 2022-12-06
JP7152588B2 (ja) 2022-10-12
US20230061583A1 (en) 2023-03-02
US11503210B2 (en) 2022-11-15
US20210377445A1 (en) 2021-12-02
JPWO2020171015A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP5011387B2 (ja) 撮像装置
JP4518197B2 (ja) 撮像装置、及び像振れ補正方法並びにプログラム
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP7356557B2 (ja) ぶれ補正装置、撮像装置、監視システム、及びプログラム
KR101594300B1 (ko) Ｐ ｓ ｆ를 추정하기 위한 장치 및 방법
US8760526B2 (en) Information processing apparatus and method for correcting vibration
JP6906947B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP4307430B2 (ja) 手ぶれ検出装置
JP2011029735A (ja) 画像処理装置、撮像装置及び画像処理方法
WO2007119680A1 (ja) 撮像装置
JP2011119802A (ja) 画像処理装置、画像処理方法
JP2015022027A (ja) 撮像装置およびその制御方法
CN107306337B (zh) 图像处理装置、摄像装置及图像处理方法
US20190045127A1 (en) Image pick-up apparatus and control method thereof
JP2006279807A (ja) 手ぶれ補正装置
JP2007081477A (ja) 撮像装置及びその制御方法
JP7314204B2 (ja) 撮像装置、撮像方法、及びプログラム
KR20110075366A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체
JP2019145958A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2012247544A (ja) 撮像装置、プログラム及び撮像装置のブレ補正方法
JP4740008B2 (ja) 手ぶれ検出装置およびデジタルカメラ
WO2020170904A1 (ja) ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP2015095670A (ja) 撮像装置、その制御方法、および制御プログラム
JP2006279808A (ja) 手ぶれ補正装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20759019

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501980

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20759019

Country of ref document: EP

Kind code of ref document: A1