WO2020004018A1 - 像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラム - Google Patents

像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラム Download PDF

Info

Publication number
WO2020004018A1
WO2020004018A1 PCT/JP2019/023132 JP2019023132W WO2020004018A1 WO 2020004018 A1 WO2020004018 A1 WO 2020004018A1 JP 2019023132 W JP2019023132 W JP 2019023132W WO 2020004018 A1 WO2020004018 A1 WO 2020004018A1
Authority
WO
WIPO (PCT)
Prior art keywords
rotation
blur correction
rotation axis
imaging
image blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/023132
Other languages
English (en)
French (fr)
Inventor
田中　康一
史憲 入江
潤也 北川
亘平 粟津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020527372A priority Critical patent/JP6839788B2/ja
Publication of WO2020004018A1 publication Critical patent/WO2020004018A1/ja
Priority to US17/133,517 priority patent/US11128800B2/en
Anticipated expiration legal-status Critical
Priority to US17/401,075 priority patent/US11765458B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Definitions

  • the present invention relates to an image blur correction device, an imaging device, an image blur correction method, and an image blur correction program.
  • An image pickup apparatus provided with an image pickup element for picking up an image of a subject through an image pickup optical system has an image blur correction function for correcting a blur (hereinafter also referred to as an image blur) of a captured image signal caused by vibration of the apparatus.
  • Image blur includes shift blur, angle blur, and rotational blur.
  • Shift blur is blur (hereinafter, also referred to as translational blur) of a captured image signal caused by vibration (translational motion) of the device in a direction along each of two orthogonal sides of the light receiving surface of the image sensor.
  • the angle blur is a blur of a captured image signal caused by the apparatus rotating (pitch rotation and yaw rotation) around each of two rotation axes perpendicular to the optical axis of the imaging optical system and orthogonal to each other.
  • Rotation blur is a blur of a captured image signal generated when the apparatus rotates (also called roll rotation) around a rotation axis parallel to the optical axis of the imaging optical system.
  • Patent Document 1 describes a camera that performs image blur correction by moving a lens or an image sensor. This camera calculates the attitude of the camera using a three-axis acceleration sensor and a three-axis angular velocity sensor, and calculates and removes the gravitational acceleration component included in the output of the acceleration sensor, thereby obtaining the acceleration generated by the translational motion of the camera. By calculating only the components, it is possible to accurately correct the blur of the captured image signal in the translation direction.
  • the acceleration sensor detects the acceleration due to the roll rotation of the imaging device in addition to the acceleration due to the translational motion of the imaging device. I will.
  • the present invention has been made in view of the above circumstances, and has an image blur correction apparatus capable of correcting blur of a captured image signal caused by translational movement of an image capturing apparatus with high accuracy, and an image capturing apparatus including the image blur correction apparatus It is an object to provide an image blur correction method and an image blur correction program.
  • An image blur correction device is an image blur correction device that corrects a blur of a captured image signal output from an image sensor that captures an image of a subject through an imaging optical system.
  • An acceleration sensor for detecting accelerations in two directions orthogonal to the optical axis of the system and orthogonal to each other; an angular velocity sensor for detecting the angular velocity of the imaging device around a rotation axis parallel to the optical axis;
  • a rotation acceleration component calculation unit that calculates a rotation acceleration component caused by the imaging device rotating around the rotation axis, the acceleration being obtained by subtracting the rotation acceleration component from the acceleration.
  • a shake correction unit that corrects the shake of the captured image signal in the two directions based on the rotation acceleration component calculation unit.
  • An imaging device includes the above-described image blur correction device and the above-described imaging device.
  • An image blur correction method is an image blur correction method for correcting a blur of a captured image signal output from an image sensor that captures an object through an imaging optical system. Included in the acceleration detected by an acceleration sensor that detects acceleration in two directions orthogonal to the optical axis of the system and orthogonal to each other, is caused by the imaging device rotating around a rotation axis parallel to the optical axis. A rotational acceleration component calculating step of calculating a rotational acceleration component, and a blur correction step of correcting blur in the two directions of the captured image signal based on an acceleration obtained by subtracting the rotational acceleration component from the acceleration.
  • one of a plurality of predetermined rotation axes is determined based on a use state of the imaging device.
  • the rotation axis is selected, and the rotation acceleration component generated by the imaging device rotating around the selected rotation axis is detected by an angular velocity sensor that detects an angular velocity of the imaging device around the rotation axis.
  • the calculation is based on the angular velocity and the distance in the two directions from the selected rotation axis to the acceleration sensor.
  • An image blur correction program is an image blur correction program that corrects a blur of a captured image signal output from an image sensor that captures an object through an image capturing optical system, wherein the image blur correction program includes an image capturing device including the image sensor. Included in the acceleration detected by an acceleration sensor that detects acceleration in two directions orthogonal to the optical axis of the system and orthogonal to each other, is caused by the imaging device rotating around a rotation axis parallel to the optical axis. A rotational acceleration component calculating step of calculating a rotational acceleration component, and a blur correction step of correcting blur in the two directions of the captured image signal based on an acceleration obtained by subtracting the rotational acceleration component from the acceleration.
  • One of the rotation axes is selected from the rotation axes based on a use state of the imaging device, and the rotation acceleration component generated by the rotation of the imaging device around the selected rotation axis is determined by the rotation.
  • the calculation is based on an angular velocity detected by an angular velocity sensor that detects an angular velocity of the imaging device around an axis, and a distance in the two directions from the selected rotation axis to the acceleration sensor.
  • an image blur correction device capable of correcting a blur of a captured image signal caused by a translational movement of an image capturing device with high accuracy, an image capturing device including the image blur correcting device, an image blur correcting method, and an image blur correcting method A correction program can be provided.
  • FIG. 1 is a front view illustrating a schematic configuration of a digital camera 100 which is an embodiment of an imaging device of the present invention.
  • FIG. 2 is a rear view illustrating a schematic configuration of the digital camera 100 illustrated in FIG. 1.
  • FIG. 2 is a block diagram illustrating a hardware configuration of the digital camera 100 illustrated in FIG. 1.
  • FIG. 4 is a functional block diagram of a system control unit 1 shown in FIG.
  • FIG. 2 is a diagram illustrating a setting example of a rotation axis in the digital camera 100 illustrated in FIG. 1.
  • 2 is a flowchart for explaining an operation of the digital camera 100 shown in FIG. 1 in a still image capturing mode.
  • 9 is a flowchart for explaining a modification of the operation of the digital camera 100 shown in FIG. FIG.
  • FIG. 9 is a front view illustrating a schematic configuration of the smartphone 200 illustrated in FIG. 8.
  • FIG. 9 is a functional block diagram of a system control unit 1A shown in FIG. 9 is a flowchart for explaining an operation of the smartphone 200 shown in FIG. 8 in a still image capturing mode.
  • FIG. 9 is a diagram illustrating a hardware configuration of a smartphone 200A that is a modification example of the smartphone 200 illustrated in FIG. 8.
  • 13 is a flowchart for describing an operation of the smartphone 200A shown in FIG. 12 in a still image capturing mode.
  • FIG. 13 is a diagram illustrating a state in which the smartphone 200A illustrated in FIG. 12 is gripped by vertical shooting.
  • FIG. 1 is a front view showing a schematic configuration of a digital camera 100 which is an embodiment of the imaging apparatus of the present invention.
  • FIG. 2 is a rear view showing a schematic configuration of the digital camera 100 shown in FIG.
  • FIG. 3 is a block diagram showing a hardware configuration of the digital camera 100 shown in FIG.
  • the digital camera 100 includes a lens barrel 101 and a finder window 108a (see FIG. 1) provided on the front of the housing, a shutter button 102a (see FIGS. 1 and 2) provided on a side surface of the housing, and a housing.
  • An image sensor driving unit 105, angular velocity sensor 106, acceleration sensor 107, image processing unit 108, memory 109, and system control unit 1 are provided.
  • the lens barrel 101 has an imaging optical system 101a inside.
  • the imaging optical system 101a includes at least an imaging lens such as a focus lens or a zoom lens.
  • the imaging optical system 101a includes an aperture mechanism or a mechanical shutter mechanism as needed.
  • the lens barrel 101 may be fixed to the digital camera 100 main body, or may be detachable from the digital camera 100 main body.
  • the imaging device 20 captures an image of a subject through the imaging optical system 101a, and includes a CCD (Charge Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. As shown in FIGS. 1 and 2, the light receiving surface of the image sensor 20 is rectangular.
  • the shutter button 102a is an operation member for instructing the imaging device 20 to start capturing an image of a subject.
  • an imaging instruction signal is input to the system control unit 1.
  • the system control unit 1 performs control to cause the imaging device 20 to image the subject.
  • the operation unit 102b is a jog dial, a cross key, or a jog dial for performing various operations such as switching between a still image imaging mode for performing still image imaging and a moving image imaging mode for performing moving image imaging, setting of imaging conditions, or selection of an imaging menu. It is composed of buttons and the like.
  • various instruction signals are input to the system control unit 1.
  • the finder window 108a and the eyepiece window 108b constitute a part of the optical finder.
  • an electronic viewfinder may be used instead of the optical viewfinder.
  • the finder window 108a is deleted, and the image on the display unit for observing the subject installed inside the housing of the digital camera 100 can be visually recognized by looking through the eyepiece window 108b.
  • the digital camera 100 may include a hybrid finder having both functions of an optical finder and an electronic view finder. Regardless of the finder, an eyepiece window 108b for a user to observe a subject is provided on the back of the housing of the digital camera 100.
  • the display unit 103 is configured by an LCD (liquid crystal display), an organic EL (Electro Luminescence) display, or the like.
  • the display unit 103 displays a live view image.
  • the subject can be observed not only by the finder described above but also by the display unit 103.
  • the image blur correction mechanism 3 moves the light receiving surface of the image pickup device 20 to a plane perpendicular to the optical axis K of the image pickup optical system 101a, so that the image pickup device 20 picks up an image of a subject and outputs an image output from the image pickup device 20. Corrects image signal blur.
  • a state where the light receiving surface of the image sensor 20 is perpendicular to the vertical direction (a state where the optical axis K is parallel to the vertical direction) and a state where the center of the light receiving surface is located on the optical axis K is referred to as a reference state.
  • the longitudinal direction of the light receiving surface of the image sensor 20 is defined as a direction X
  • the lateral direction of the light receiving surface of the image sensor 20 is defined as a direction Y
  • the direction in which the optical axis of the optical system 101a extends is defined as a direction Z (see FIGS. 1 and 2).
  • the image blur correction mechanism 3 corrects at least shift blur among image blurs by moving the image sensor 20 in the directions X and Y, respectively.
  • the shift blur is a blur of a captured image signal caused by the digital camera 100 vibrating (translating) in the direction X and the direction Y.
  • the acceleration sensor 107 detects at least the acceleration in each of the directions X and Y, which are two directions orthogonal to the optical axis K of the imaging optical system 101a and orthogonal to each other.
  • the direction X is one of the two directions.
  • the direction Y is the other of the two directions.
  • a three-axis acceleration sensor that detects each acceleration in the direction X, the direction Y, and the direction Z is used.
  • acceleration Tx the acceleration in the direction X detected by the acceleration sensor 107
  • acceleration Ty the acceleration in the direction Y detected by the acceleration sensor 107
  • the accelerations Tx and Ty detected by the acceleration sensor 107 are input to the system control unit 1.
  • the angular velocity sensor 106 detects at least an angular velocity ⁇ r about a rotation axis parallel to the optical axis K of the imaging optical system 101a (parallel to the direction Z).
  • the angular velocity ⁇ r detected by the angular velocity sensor 106 is input to the system control unit 1.
  • the angular velocity sensor 106 for example, a three-axis angular velocity sensor that detects an angular velocity about a rotation axis extending in the direction X, an angular velocity about a rotation axis extending in the direction Y, and an angular velocity about a rotation axis extending in the direction Z is used.
  • the AFE 104 illustrated in FIG. 3 includes a signal processing circuit that performs correlated double sampling processing, digital conversion processing, and the like on a captured image signal output from the image sensor 20.
  • the image processing unit 108 shown in FIG. 3 performs digital signal processing on the captured image signal processed by the AFE 104 to generate captured image data in a JPEG (Joint Photographic Experts Group) format or the like.
  • JPEG Joint Photographic Experts Group
  • the system control unit 1 shown in FIG. 3 controls the image sensor driving unit 105 and the AFE 104 to cause the image sensor 20 to image a subject, and to output a captured image signal corresponding to the subject image from the image sensor 20. Further, the system control unit 1 controls the image blur correction mechanism 3 based on the motion information of the digital camera 100 detected by the acceleration sensor 107 and the angular velocity sensor 106. The system control unit 1 corrects a shift blur of a captured image signal output from the image sensor 20 by moving the light receiving surface of the image sensor 20 in at least one of the directions X and Y.
  • the system controller 1, the acceleration sensor 107, and the angular velocity sensor 106 constitute an image blur correction device.
  • the system control unit 1 controls the entire digital camera 100 and includes various processors that execute a program including an image blur correction program to perform processing.
  • a programmable logic (CPU) Central Processing Unit
  • CPU Central Processing Unit
  • FPGA Field Programmable Gate Array
  • a dedicated electric circuit or the like which is a processor having a circuit configuration designed to execute a specific process such as a device (Programmable Logic Device: PLD) or an ASIC (Application Specific Integrated Circuit), is included.
  • the structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the system control unit 1 may be configured with one of various processors, or configured with a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). May be done.
  • the memory 109 includes a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the ROM stores programs (including an image blur correction program) necessary for the operation of the system control unit 1 and various data.
  • FIG. 4 is a functional block diagram of the system control unit 1 shown in FIG.
  • the system control unit 1 functions as the rotational acceleration component calculation unit 11 and the shake correction unit 12 by executing a program including the image shake correction program stored in the ROM of the memory 109.
  • the rotation acceleration component calculation unit 11 calculates a rotation acceleration component included in the accelerations Tx and Ty detected by the acceleration sensor 107 and generated by the digital camera 100 rotating around a rotation axis parallel to the optical axis K (roll rotation). Is calculated.
  • the rotational acceleration component includes a rotational acceleration component Rx that is an acceleration component generated in the direction X and a rotational acceleration component Ry that is an acceleration component generated in the direction Y.
  • the rotation acceleration component calculation unit 11 selects one rotation axis from a plurality of rotation axes determined in advance based on the use state of the digital camera 100, and performs digital rotation around the selected rotation axis.
  • the rotational acceleration components R x and R y generated by the roll rotation of the camera 100 are represented by the angular velocity ⁇ r detected by the angular velocity sensor 106 and the distance in the directions X and Y from the selected rotation axis to the acceleration sensor 107. Is calculated based on
  • a rotation axis R1 and a rotation axis R2 are preset as rotation axes when the digital camera 100 rolls.
  • the rotation axis R1 is an axis extending in the direction Z set at the same position as the optical axis K of the imaging optical system 101a.
  • the rotation axis R2 is an axis extending in the direction Z set at the position of the eyepiece window 108b.
  • the position of the rotation axis R2 is set at the center of the eyepiece window 108b in the example of FIG. 5, but this position may be anywhere within a range overlapping the eyepiece window 108b.
  • the rotation axis R1 is set at the same position as the optical axis K of the imaging optical system 101a.
  • the rotation axis R2 is set at the position of the eyepiece window 108b.
  • the rotation acceleration component calculation unit 11 selects one of the rotation axis R1 and the rotation axis R2 shown in FIG. 5 based on the usage state of the digital camera 100, and rotates around the selected rotation axis R1 (or the rotation axis R2).
  • the rotational acceleration components Rx and Ry generated by the roll rotation of the digital camera 100 are calculated by the following equation (A).
  • “p x ” indicates a distance in the direction X from the selected rotation axis to the acceleration sensor 107.
  • “ py ” indicates a distance in the direction Y from the selected rotation axis to the acceleration sensor 107.
  • the distance p x when the rotational axes R1 is selected is x1
  • the distance p y when the rotational axes R1 is selected is y1.
  • the distance p x when the rotating shaft R2 is selected is x2
  • the distance p y when the rotating shaft R2 is selected is y2.
  • “ ⁇ rr ” indicates angular acceleration.
  • ⁇ r1 is the angular velocity detected by the angular velocity sensor 106 at the current time
  • ⁇ r2 is the angular velocity detected by the angular velocity sensor 106 t seconds before the current time.
  • T is a sampling interval of the angular velocity by the angular velocity sensor 106.
  • the shake correction unit 12 calculates accelerations Sx and Sy obtained by subtracting the rotational acceleration components Rx and Ry calculated by the rotational acceleration component calculation unit 11 from the accelerations Tx and Ty detected by the acceleration sensor 107 as follows.
  • the amount of shift blurring (the amount of translational blurring) in the direction X and the direction Y of the captured image signal output from the image sensor 20 is calculated based on the accelerations Sx and Sy obtained by the calculation of Expression (B).
  • the image blur correction mechanism 3 By driving the image blur correction mechanism 3 so as to cancel out, the shift blur (translation blur) in the directions X and Y of the captured image signal is corrected.
  • the use state indicates how the digital camera 100 is used when an imaging instruction for instructing the start of imaging of a subject is issued in a state where the digital camera 100 is set to the imaging mode.
  • the use state includes a use state in which the subject is observed using the eyepiece window 108b, and a use state in which the subject is observed without the eyepiece window 108b. .
  • FIG. 6 is a flowchart for explaining the operation of the digital camera 100 shown in FIG. 1 in the still image capturing mode.
  • the shutter button 102a is pressed while the still image capturing mode is set, the operation illustrated in FIG. 6 is started.
  • the rotational acceleration component calculation unit 11 of the system control unit 1 determines whether or not the subject is being observed using the eyepiece window 108b (step S1). For example, a contact sensor is provided in the eyepiece window 108b. Then, when the contact of the object is detected by the contact sensor, the rotational acceleration component calculation unit 11 determines that the observation of the subject is being performed using the eyepiece window 108b. On the other hand, when the contact of the object is not detected by the contact sensor, the rotational acceleration component calculation unit 11 determines that the observation of the subject is being performed without using the eyepiece window 108b.
  • a switch for turning on / off the function of the electronic viewfinder is provided in the operation unit 102b instead of the contact sensor. It may be included. Then, when the function of the electronic viewfinder is turned on by this switch, the rotation acceleration component calculation unit 11 determines that the observation of the subject is being performed using the eyepiece window 108b, and by this switch, the electronic acceleration is calculated. When the function of the viewfinder is turned off, it may be determined that the observation of the subject is being performed without using the eyepiece window 108b.
  • step S1 When it is determined that the subject is being observed using the eyepiece window 108b (step S1: YES), the rotation acceleration component calculation unit 11 sets the rotation shown in FIG. 5 set at the position of the eyepiece window 108b.
  • the axis R2 is selected (Step S2).
  • Step S1: NO When it is determined that the observation of the subject is being performed while the eyepiece window 108b is not used (Step S1: NO), the rotational acceleration component calculation unit 11 sets the position at the same position as the optical axis K in FIG.
  • the rotation axis R1 shown is selected (step S3).
  • rotational acceleration component calculating unit 11 obtains the acceleration Tx, the Ty from the acceleration sensor 107, it obtains the angular velocity omega r from the angular velocity sensor 106 (step S4).
  • the rotational acceleration component calculating unit 11 the direction X, the distance in the Y p x between the rotating shaft and the acceleration sensor 107 selected in step S2 or step S3, and p y, the angular velocity acquired in step S4 and omega r, and the angular velocity omega r which has been detected immediately before the angular velocity omega r into equation (a), the rotational acceleration components R x, it calculates the R y (step S5).
  • the direction X, the distance in the Y p x, information p y between the rotation shaft R1, R2 and the acceleration sensor 107 is previously stored in the ROM of the memory 109.
  • the shake correction unit 12 of the system control unit 1 subtracts the rotational acceleration components Rx and Ry calculated in step S5 from the accelerations Tx and Ty obtained in step S4, and performs the roll rotation.
  • the accelerations Sx and Sy from which the resulting rotational acceleration components have been removed are calculated, and the shift blur amount is calculated based on the accelerations Sx and Sy (step S6).
  • the blur correcting unit 12 controls the image blur correcting mechanism 3 to cancel the shift blur amount, and corrects the shift blur of the captured image signal output from the image sensor 20 (Step S7).
  • the rotational acceleration component changes depending on where the rotation center is.
  • the digital camera 100 when the shutter button 102a is pressed while the eyepiece window 108b is used, it is determined that the digital camera 100 can roll around the rotation axis R2, and the rotational acceleration component is determined.
  • Rx and Ry are calculated, and when the shutter button 102a is pressed while the eyepiece window 108b is not used, it is determined that the digital camera 100 can roll around the rotation axis R1 and the rotational acceleration is determined.
  • the components R x and R y are calculated. For this reason, the rotational acceleration components Rx and Ry can be accurately calculated according to the usage state, and shift blurring of the captured image signal can be corrected with high accuracy.
  • FIG. 7 is a flowchart for explaining a modification of the operation of the digital camera 100 shown in FIG.
  • the flowchart illustrated in FIG. 7 illustrates an operation after the shutter button 102a is pressed in a state where the still image capturing mode or the moving image capturing mode is set.
  • the flowchart shown in FIG. 7 is the same as FIG. 6 except that step S11 is added. In FIG. 7, the same processes as those in FIG.
  • step S11 the rotation acceleration component calculation unit 11 of the system control unit 1 determines whether the imaging mode is the moving image imaging mode.
  • the rotation acceleration component calculation unit 11 shifts the processing to step S3, and when the imaging mode is the still image imaging mode (step S11: (NO), the process proceeds to step S1.
  • the rotation axis R1 is selected and the rotation acceleration components Rx and Ry are calculated regardless of the use state of the digital camera 100.
  • the influence on the accelerations Tx and Ty due to the roll rotation that can be caused by the pressing of the shutter button 102a of the digital camera 100 becomes large in the still image capturing mode in which the exposure is performed only once immediately after the pressing of the shutter button 102a.
  • the moving image capturing mode continuous image capturing is performed after the shutter button 102a is pressed, so that when the shutter button 102a is pressed, roll rotation occurs, and calculation accuracy of a rotational acceleration component due to the roll rotation is calculated. Is low, the effect on the captured image is slight.
  • the digital camera 100 is often held with both hands to perform image capturing. Therefore, it is considered that the digital camera 100 easily rolls around the rotation axis R1. For this reason, shift blur correction can be performed with high accuracy by selecting the rotation axis R1 when capturing a moving image.
  • FIG. 8 is a block diagram showing a hardware configuration of a smartphone 200 which is an embodiment of the imaging device of the present invention.
  • FIG. 9 is a front view showing a schematic configuration of smartphone 200 shown in FIG. 8, the same components as those in FIG. 3 are denoted by the same reference numerals.
  • the communication unit 202 is a functional unit for performing short-range wireless communication or data communication via a mobile phone network.
  • the display unit 103 is formed on the front of the housing of the smartphone 200, and the display unit 103 is integrally formed with the touch panel 201.
  • An imaging optical system 101a is formed on the rear surface of the housing of the smartphone 200 (the surface opposite to the front surface on which the display unit 103 is formed).
  • a state in which the light receiving surface of the imaging element 20 is perpendicular to the vertical direction (a state in which the optical axis K is parallel to the vertical direction) and a state in which the center of the light receiving surface is located on the optical axis K is referred to as a reference state.
  • the longitudinal direction of the light receiving surface of the image sensor 20 is defined as a direction X
  • the lateral direction of the light receiving surface of the image sensor 20 is defined as a direction Y
  • a direction orthogonal to the direction X and the direction Y ( The direction in which the optical axis of the imaging optical system 101a extends) is defined as a direction Z.
  • the planar shape of the display unit 103 viewed from the direction Z is a rectangle.
  • the longitudinal direction of the display unit 103 is the direction Y, and the short direction of the display unit 103 is the direction X.
  • buttons 202a and 202b are formed at the upper end in the direction Y of the housing of the smartphone 200.
  • a button 202b is formed at the right end of the housing of the smartphone 200 in the direction X.
  • Each of the buttons 202a and 202b functions as a shutter button for instructing the start of imaging of a subject when the camera application of the smartphone 200 is activated and the smartphone 200 shifts to the imaging mode.
  • the button 202a and the button 202b each constitute an operation member provided at a different position from the display unit 103.
  • a rotation axis R3, a rotation axis R4, and a rotation axis R5 are used as the rotation axis when the smartphone 200 rotates (rolls) around a rotation axis parallel to the optical axis K. It is set in advance.
  • the rotation axis R5 is an axis extending in the direction Z set at the center of the display unit 103.
  • the rotation axis R3 is an axis extending in the direction Z set near the upper end in the direction Y among the left ends in the direction X of the housing of the smartphone 200.
  • the rotation axis R4 is an axis extending in the direction Z set near the left end in the direction X of the lower end in the direction Y of the housing of the smartphone 200.
  • the rotation axis R3 and the rotation axis R4 constitute two rotation axes located at positions different from the optical axis K.
  • the rotation axis R3 is one of the two rotation axes, and the rotation axis R4 is the other of the two rotation axes.
  • the smartphone 200 does not have an eyepiece window unlike the digital camera 100 of FIG. Therefore, when the smartphone 200 shifts to the imaging mode, a live view image obtained by imaging with the imaging device 20 is displayed on the display unit 103.
  • the posture of the smartphone 200 is determined such that the longitudinal direction (that is, the direction Y) of the display unit 103 and the vertical direction are substantially parallel.
  • the posture of the smartphone 200 is determined such that the short direction (that is, the direction X) of the display unit 103 and the vertical direction are substantially parallel.
  • the user holds the vicinity of the button 202a with the right finger and the rotation axis R4. Compose the shot while supporting the area with your left finger. Then, the user images the subject by pressing the button 202a in the direction Y. In this way, assuming a case in which vertical shooting is performed using the button 202a, there is a high possibility that the smartphone 200 rolls around the vicinity of the left finger supporting the smartphone 200.
  • the rotation axis R4 is set at a position substantially diagonal to the button 202a assuming such a case.
  • the user holds the vicinity of the button 202b with the right finger and rotates the rotation axis.
  • the composition is determined while supporting the vicinity of R3 with the left finger.
  • the user images the subject by pressing the button 202b in the direction X.
  • the rotation axis R3 is set at a position substantially diagonal to the button 202b assuming such a case.
  • the imaging instruction can be issued to the system control unit 1A by operating the touch panel 201 without using the buttons 202a and 202b.
  • the housing of the smartphone 200 is often firmly held with both hands. Therefore, in this case, there is a high possibility that the smartphone 200 rolls around the center of the display unit 103.
  • the rotation axis R5 is set at the center of the display unit 103 assuming such a case.
  • FIG. 10 is a functional block diagram of the system control unit 1A shown in FIG.
  • the system control unit 1A functions as a rotational acceleration component calculation unit 11A and a shake correction unit 12A by executing a program including an image shake correction program stored in the ROM of the memory 109.
  • the system control unit 1A of the smartphone 200, the acceleration sensor 107, and the angular velocity sensor 106 constitute an image blur correction device.
  • the function of the rotation acceleration component calculation unit 11A is almost the same as that of the rotation acceleration component calculation unit 11, except that the rotation axes selected when calculating the rotation acceleration components Rx and Ry are the rotation axes R3 and R3 shown in FIG. The point which is either R4 or R5 and the method of selecting the rotation axis are different from the rotation acceleration component calculation unit 11.
  • the rotation acceleration component calculation unit 11A selects the rotation axis R5 in a use state in which imaging is performed by operating the touch panel 201 (so-called touch imaging), and imaging is performed by operating the button 202a.
  • the rotation axis R4 is selected, an image is taken by operating the button 202b, and the direction X is a vertical direction (a so-called horizontal state).
  • the rotation axis R3 is selected.
  • the usage state of the smartphone 200 indicates how the smartphone 200 is being used when the imaging mode is set.
  • the use state includes a state in which touch imaging is performed, a state in which a button operation is performed in vertical shooting, and a state in which a button operation is performed in horizontal shooting.
  • the function of the shake correction unit 12A is the same as that of the shake correction unit 12 except that the rotational acceleration components Rx and Ry used for obtaining the accelerations Sx and Sy are calculated by the rotational acceleration component calculation unit 11A. Is the same.
  • FIG. 11 is a flowchart for describing the operation of smartphone 200 shown in FIG. 8 in the still image capturing mode.
  • step S21: YES When the imaging instruction is given by operating the touch panel 201 (step S21: YES), the rotation acceleration component calculation unit 11A of the system control unit 1A selects the rotation axis R5 set at the center of the display unit 103 (step S21: YES). Step S22).
  • step S21 If an instruction to capture an image has not been made by operating the touch panel 201 (step S21: NO), the rotational acceleration component calculation unit 11A determines whether an instruction to capture an image has been made by operating either the button 202a or the button 202b. (Step S23).
  • the rotational acceleration component calculation unit 11A returns the process to step S21 when the imaging instruction has not been issued by operating one of the buttons 202a and 202b (step S23: NO).
  • the rotation acceleration component calculation unit 11A changes the attitude of the smartphone 200 based on the detection signal of the acceleration sensor 107. It is determined which of the horizontal shooting posture in which the direction X is the vertical direction and the vertical shooting posture in which the direction Y is the vertical direction (step S24).
  • step S24 If the result of the determination in step S24 indicates that it is not possible to determine the vertical shooting posture and the horizontal shooting posture (step S25: YES), the rotation acceleration component calculation unit 11A selects the rotation axis R5 in step S22.
  • step S24 when it is determined that the camera is in the vertical shooting posture (step S26: vertical shooting), the rotation acceleration component calculation unit 11A sets the rotation axis set to a position assuming the vertical shooting case. R4 is selected (step S27).
  • step S24 when it is determined that the camera is in the horizontal shooting posture (step S26: horizontal shooting), the rotation acceleration component calculation unit 11A determines that the rotation axis set to the position assuming the horizontal shooting case. R3 is selected (step S28).
  • the rotation acceleration component calculation unit 11A After selecting the rotation axis in any one of steps S22, S27, and S28, the rotation acceleration component calculation unit 11A acquires the accelerations Tx and Ty from the acceleration sensor 107 and the angular velocity ⁇ r from the angular velocity sensor 106. Is acquired (step S29).
  • the shake correction unit 12A of the system control unit 1A subtracts the rotational acceleration components Rx and Ry calculated in step S30 from the accelerations Tx and Ty obtained in step S29, and performs roll rotation.
  • the accelerations Sx and Sy from which the resulting rotational acceleration components have been removed are calculated, and the shift blur amount is calculated based on the accelerations Sx and Sy (step S31).
  • the blur correction unit 12A controls the image blur correction mechanism 3 so as to cancel the shift blur amount, and corrects the shift blur of the captured image signal output from the image sensor 20 (step S32).
  • the rotational acceleration component changes depending on where the rotation center is.
  • the smartphone 200 when an image is captured by operating the touch panel 201, it is determined that the roll can be rotated around the rotation axis R5, and the rotational acceleration components Rx and Ry are calculated, and the operation of the button 202a is performed.
  • the rotation acceleration components Rx and Ry are calculated by determining that the roll can be rotated around the rotation axis R4, and the horizontal shooting is performed by operating the button 202b.
  • the rotational acceleration components Rx and Ry can be accurately calculated according to the usage state, and shift blurring of the captured image signal can be corrected with high accuracy.
  • the rotation axis R5 set at the center of the display unit 103 is selected. You.
  • the distance between the rotation axis R3 and the acceleration sensor 107 (the above-described px , py ). Is larger than the correct distance (the distance between the rotation axis R4 and the acceleration sensor 107).
  • the rotation axis R5 when the rotation axis R5 is selected, the distance between the rotation axis R5 and the acceleration sensor 107 approaches the correct distance. For this reason, even in a situation in which the posture cannot be determined, it is possible to prevent the calculation accuracy of the rotational acceleration components Rx and Ry from being reduced, and it is possible to accurately correct the shift blur of the captured image signal.
  • step S21 is not essential and may be a deleted operation.
  • the rotation axis set in the smartphone 200 may be only the rotation axis R3 and the rotation axis R4.
  • the operation of the smartphone 200 in the still image capturing mode is such that when Step S21 and Step S22 are deleted in FIG. 11 and the determination in Step S25 is YES, for example, the translation is performed without obtaining the rotational acceleration component. The amount of shake may be calculated and this correction may be performed.
  • the smartphone 200 or the smartphone 200A is in the moving image capturing mode, whether or not it is touch imaging, whether or not it is button imaging, regardless of whether it is portrait shooting or landscape shooting, when an imaging instruction is given, It is preferable that the rotation acceleration component calculation unit 11A calculates the rotation acceleration components Rx and Ry by selecting the rotation axis R5.
  • the smartphones 200 and 200A are often held while being held with both hands to perform the image capturing. Therefore, it is considered that the smartphones 200 and 200A easily roll around the rotation axis R5. For this reason, the shift blur correction can be performed with high accuracy by selecting the rotation axis R5 when capturing a moving image.
  • An image blur correction device that corrects a blur of a captured image signal output from an imaging element that captures an object through an imaging optical system, An acceleration sensor that detects acceleration in two directions orthogonal to the optical axis of the imaging optical system of the imaging device including the imaging element and orthogonal to each other; An angular velocity sensor for detecting an angular velocity of the imaging device around a rotation axis parallel to the optical axis; A rotation acceleration component calculation unit that calculates a rotation acceleration component that is included in the acceleration detected by the acceleration sensor and is generated by the imaging device rotating around the rotation axis; A blur correction unit configured to correct blur in the two directions of the captured image signal based on an acceleration obtained by subtracting the rotational acceleration component from the acceleration, The rotation acceleration component calculation unit selects one of the plurality of rotation axes based on a use state of the imaging device from among a plurality of predetermined rotation axes, and performs the imaging around the selected rotation axis.
  • Image blur correction that calculates the rotational acceleration component caused by the rotation
  • the plurality of rotation axes include two rotation axes at positions different from the optical axis,
  • the rotational acceleration component calculating step in the use state where one of the two directions is a vertical direction, one of the two rotation axes is selected, and the other of the two directions is a vertical direction.
  • the image blur correction method selects the other of the two rotation axes.
  • the image blur correction method described in (16), The rotational acceleration component calculating step includes the step of: determining whether the one of the directions is a vertical direction and the other of the directions is a vertical direction.
  • Rotation acceleration component calculation step of calculating a rotation acceleration component generated by rotating around a rotation axis A blur correction step of correcting blur in the two directions of the captured image signal based on an acceleration obtained by subtracting the rotational acceleration component from the acceleration,
  • one rotation axis is selected from a plurality of predetermined rotation axes based on a use state of the imaging device, and the imaging is performed around the selected rotation axis.
  • the rotational acceleration component generated by the rotation of the device, the angular velocity detected by the angular velocity sensor that detects the angular velocity of the imaging device around the rotation axis, and the two of the two from the selected rotation axis to the acceleration sensor An image blur correction program calculated based on the distance in the direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

撮像装置の並進運動によって生じる撮像画像信号のブレを高精度に補正することのできる像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラムを提供する。　像ブレ補正装置は、加速度センサ１０７と、角速度センサ１０６と、検出された加速度に含まれる、デジタルカメラ１００が光軸Ｋに平行な回転軸の回りに回転することにより生じる回転加速度成分を算出し、上記加速度から上記回転加速度成分を減算して得た加速度に基づいて、撮像画像信号の方向Ｘ，Ｙにおけるブレを補正するシステム制御部１とを備える。システム制御部１は、回転軸Ｒ１，Ｒ２からデジタルカメラ１００の使用状態に基づいて１つを選択し、選択した回転軸の回りにデジタルカメラ１００が回転することにより生じる回転加速度成分を、角速度と、選択した回転軸から加速度センサ１０７までの方向Ｘ，Ｙにおける距離とに基づいて算出する。

Description

像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラム
　本発明は、像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラムに関する。
　撮像光学系を通して被写体を撮像する撮像素子を備えた撮像装置には、装置が振動することによって生じる撮像画像信号のブレ（以下、像ブレともいう）を補正するための像ブレ補正機能を有するものがある。像ブレには、シフトブレと、角度ブレと、回転ブレと、がある。
　シフトブレは、撮像素子の受光面の直交する２辺のそれぞれに沿った方向に装置が振動（並進運動）することで生じる撮像画像信号のブレ（以下、並進ブレともいう）である。角度ブレは、撮像光学系の光軸に垂直且つ互いに直交する２つの回転軸のそれぞれの回りに装置が回転（ピッチ回転及びヨー回転という）することで生じる撮像画像信号のブレである。
　回転ブレは、撮像光学系の光軸に平行な回転軸の回りに装置が回転（ロール回転ともいう）することで生じる撮像画像信号のブレである。
　特許文献１には、レンズ又は撮像素子を移動させることによって像ブレ補正を行うカメラが記載されている。このカメラは、３軸の加速度センサと３軸の角速度センサを用いてカメラの姿勢を演算し、加速度センサ出力に含まれる重力加速度成分を演算し除去することで、カメラの並進運動により発生する加速度成分のみを演算して、並進方向の撮像画像信号のブレを高精度に補正することを可能にしている。
日本国特開２０１４－１６４２９０号公報
　撮像装置が並進運動しているのと同時にロール回転している場合を想定すると、加速度センサは、撮像装置の並進運動に起因する加速度に加え、撮像装置のロール回転に起因した加速度を検出してしまう。
　撮像装置がロール回転するときの回転中心の位置が予め決まっていれば、角速度センサの出力と加速度センサの出力とから、撮像装置の並進運動に起因する加速度成分のみを検出することは可能である。しかし、実際の利用シーンにおいては、この回転中心の位置が一定ではなく変化することがある。特許文献１では、こういった回転中心の位置が変化することについて考慮されていない。
　本発明は、上記事情に鑑みてなされたものであり、撮像装置の並進運動によって生じる撮像画像信号のブレを高精度に補正することのできる像ブレ補正装置、この像ブレ補正装置を備える撮像装置、像ブレ補正方法、及び像ブレ補正プログラムを提供することを目的とする。
　本発明の像ブレ補正装置は、撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正装置であって、上記撮像素子を含む撮像装置の上記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサと、上記光軸に平行な回転軸回りの上記撮像装置の角速度を検出する角速度センサと、上記加速度センサにより検出された加速度に含まれる、上記撮像装置が上記回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出部と、上記加速度から上記回転加速度成分を減算して得た加速度に基づいて、上記撮像画像信号の上記２つの方向におけるブレを補正するブレ補正部と、を備え、上記回転加速度成分算出部は、予め決められた複数の上記回転軸の中から、上記撮像装置の使用状態に基づいて１つの上記回転軸を選択し、上記選択した上記回転軸の回りに上記撮像装置が回転することにより生じる上記回転加速度成分を、上記角速度センサにより検出された角速度と、上記選択した上記回転軸から上記加速度センサまでの上記２つの方向における距離とに基づいて算出するものである。
　本発明の撮像装置は、上記像ブレ補正装置と、上記撮像素子と、を備えるものである。
　本発明の像ブレ補正方法は、撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正方法であって、上記撮像素子を含む撮像装置の上記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサにより検出された加速度に含まれる、上記撮像装置が上記光軸に平行な回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出ステップと、上記加速度から上記回転加速度成分を減算して得た加速度に基づいて、上記撮像画像信号の上記２つの方向におけるブレを補正するブレ補正ステップと、を備え、上記回転加速度成分算出ステップでは、予め決められた複数の上記回転軸の中から、上記撮像装置の使用状態に基づいて１つの上記回転軸を選択し、上記選択した上記回転軸の回りに上記撮像装置が回転することにより生じる上記回転加速度成分を、上記回転軸回りの上記撮像装置の角速度を検出する角速度センサにより検出された角速度と、上記選択した上記回転軸から上記加速度センサまでの上記２つの方向における距離とに基づいて算出するものである。
　本発明の像ブレ補正プログラムは、撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正プログラムであって、上記撮像素子を含む撮像装置の上記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサにより検出された加速度に含まれる、上記撮像装置が上記光軸に平行な回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出ステップと、上記加速度から上記回転加速度成分を減算して得た加速度に基づいて、上記撮像画像信号の上記２つの方向におけるブレを補正するブレ補正ステップと、をコンピュータに実行させるためのプログラムであり、上記回転加速度成分算出ステップでは、予め決められた複数の上記回転軸の中から、上記撮像装置の使用状態に基づいて１つの上記回転軸を選択し、上記選択した上記回転軸の回りに上記撮像装置が回転することにより生じる上記回転加速度成分を、上記回転軸回りの上記撮像装置の角速度を検出する角速度センサにより検出された角速度と、上記選択した上記回転軸から上記加速度センサまでの上記２つの方向における距離とに基づいて算出するものである。
　本発明によれば、撮像装置の並進運動によって生じる撮像画像信号のブレを高精度に補正することのできる像ブレ補正装置、この像ブレ補正装置を備える撮像装置、像ブレ補正方法、及び像ブレ補正プログラムを提供することができる。
本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す正面図である。 図１に示すデジタルカメラ１００の概略構成を示す背面図である。 図１に示すデジタルカメラ１００のハードウェア構成を示すブロック図である。 図３に示すシステム制御部１の機能ブロック図である。 図１に示すデジタルカメラ１００における回転軸の設定例を示す図である。 図１に示すデジタルカメラ１００の静止画撮像モード時の動作を説明するためのフローチャートである。 図１に示すデジタルカメラ１００の動作の変形例を説明するためのフローチャートである。 本発明の撮像装置の一実施形態であるスマートフォン２００のハードウェア構成を示すブロック図である。 図８に示すスマートフォン２００の概略構成を示す正面図である。 図８に示すシステム制御部１Ａの機能ブロック図である。 図８に示すスマートフォン２００の静止画撮像モード時の動作を説明するためのフローチャートである。 図８に示すスマートフォン２００の変形例であるスマートフォン２００Ａのハードウェア構成を示す図である。 図１２に示すスマートフォン２００Ａの静止画撮像モード時の動作を説明するためのフローチャートである。 図１２に示すスマートフォン２００Ａが縦撮りでグリップされている状態を示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
　図１は、本発明の撮像装置の一実施形態であるデジタルカメラ１００の概略構成を示す正面図である。図２は、図１に示すデジタルカメラ１００の概略構成を示す背面図である。図３は、図１に示すデジタルカメラ１００のハードウェア構成を示すブロック図である。
　デジタルカメラ１００は、筐体の正面に設けられたレンズ鏡胴１０１及びファインダ窓１０８ａ（図１参照）と、筐体の側面に設けられたシャッタボタン１０２ａ（図１，２参照）と、筐体の背面に設けられた表示部１０３、接眼窓１０８ｂ、及び操作部１０２ｂ（図２参照）と、筐体内部に設けられた撮像素子２０、像ブレ補正機構３、アナログフロントエンド（ＡＦＥ）１０４、撮像素子駆動部１０５、角速度センサ１０６、加速度センサ１０７、画像処理部１０８、メモリ１０９、及びシステム制御部１と、を備える。
　レンズ鏡胴１０１は撮像光学系１０１ａを内部に有する。撮像光学系１０１ａは、フォーカスレンズ又はズームレンズ等の撮像レンズを少なくとも含む。撮像光学系１０１ａには、必要に応じて、絞り機構又はメカニカルシャッタ機構等が含まれる。レンズ鏡胴１０１は、デジタルカメラ１００本体に固定されていてもよいし、デジタルカメラ１００本体に着脱可能であってもよい。
　撮像素子２０は、撮像光学系１０１ａを通して被写体を撮像するものであり、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等によって構成される。図１及び図２に示すように、撮像素子２０の受光面は矩形となっている。
　シャッタボタン１０２ａは、撮像素子２０による被写体の撮像開始を指示するための操作部材である。シャッタボタン１０２ａが操作されると、撮像指示信号がシステム制御部１に入力される。システム制御部１は、この撮像指示信号を受けると、撮像素子２０により被写体を撮像させる制御を行う。
　操作部１０２ｂは、静止画撮像を行う静止画撮像モードと動画撮像を行う動画撮像モードとの切替、撮像条件の設定、又は撮像メニューの選択等の各種操作を行うためのジョグダイヤル、十字キー、又はボタン等により構成される。操作部１０２ｂが操作されると、各種の指示信号がシステム制御部１に入力される。
　ファインダ窓１０８ａと接眼窓１０８ｂは光学ファインダの一部を構成している。接眼窓１０８ｂを使用者が覗くことで、ファインダ窓１０８ａを通して被写体を観察できるようになっている。なお、デジタルカメラ１００においては、光学ファインダの代わりに、電子ビューファインダが用いられてもよい。この場合には、ファインダ窓１０８ａは削除された構成となり、接眼窓１０８ｂを覗くことで、デジタルカメラ１００の筐体の内部に設置された被写体観察用の表示部の画像が視認可能となる。デジタルカメラ１００は、光学ファインダと電子ビューファインダの機能を併せ持つハイブリッド型のファインダを有していてもよい。いずれのファインダであっても、デジタルカメラ１００の筐体の背面には、使用者が被写体を観察するための接眼窓１０８ｂが設けられる。
　表示部１０３は、ＬＣＤ（ｌｉｑｕｉｄ　ｃｒｙｓｔａｌ　ｄｉｓｐｌａｙ）又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等により構成される。デジタルカメラ１００では、被写体を撮像するための撮像モードが設定されている場合には、表示部１０３にライブビュー画像を表示させる。これにより、上述したファインダだけでなく、表示部１０３によっても被写体を観察可能となっている。
　像ブレ補正機構３は、撮像素子２０の受光面を撮像光学系１０１ａの光軸Ｋに垂直な面内に移動させることで、撮像素子２０によって被写体を撮像して撮像素子２０から出力される撮像画像信号のブレを補正する。
　デジタルカメラ１００では、撮像素子２０の受光面が鉛直方向に垂直な状態（光軸Ｋが鉛直方向に平行な状態）、且つ、光軸Ｋ上に受光面の中心が位置する状態を基準状態という。
　上記の基準状態において、撮像素子２０の受光面の長手方向を方向Ｘと定義し、撮像素子２０の受光面の短手方向を方向Ｙと定義し、方向Ｘと方向Ｙに直交する方向（撮像光学系１０１ａの光軸の延びる方向）を方向Ｚと定義する（図１，２参照）。
　像ブレ補正機構３は、方向Ｘと方向Ｙとにそれぞれ撮像素子２０を移動させることで、像ブレのうちの少なくともシフトブレを補正するものである。シフトブレは、デジタルカメラ１００が方向Ｘと方向Ｙに振動（並進運動）することで生じる撮像画像信号のブレである。
　加速度センサ１０７は、撮像光学系１０１ａの光軸Ｋに直交し且つ互いに直交する２つの方向である方向Ｘ及び方向Ｙの各々の加速度を少なくとも検出する。方向Ｘは、この２つの方向の一方の方向である。方向Ｙは、この２つの方向の他方の方向である。加速度センサ１０７は、例えば、方向Ｘ、方向Ｙ、及び方向Ｚの各々の加速度を検出する３軸加速度センサが用いられる。
　以下では、加速度センサ１０７により検出される方向Ｘの加速度を加速度Ｔｘといい、加速度センサ１０７により検出される方向Ｙの加速度を加速度Ｔｙという。加速度センサ１０７により検出される加速度Ｔｘ，Ｔｙはシステム制御部１に入力される。
　角速度センサ１０６は、撮像光学系１０１ａの光軸Ｋに平行（方向Ｚに平行）な回転軸回りの角速度ωｒを少なくとも検出する。角速度センサ１０６により検出される角速度ωｒはシステム制御部１に入力される。角速度センサ１０６は、例えば、方向Ｘに延びる回転軸回りの角速度、方向Ｙに延びる回転軸回りの角速度、及び方向Ｚに延びる回転軸回りの角速度を検出する３軸角速度センサが用いられる。
　図３に示すＡＦＥ１０４は、撮像素子２０から出力される撮像画像信号に対し相関二重サンプリング処理及びデジタル変換処理等を行う信号処理回路を含む。
　図３に示す画像処理部１０８は、ＡＦＥ１０４にて処理後の撮像画像信号をデジタル信号処理してＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式等の撮像画像データを生成する。
　図３に示すシステム制御部１は、撮像素子駆動部１０５とＡＦＥ１０４を制御して、撮像素子２０によって被写体を撮像させ、被写体像に応じた撮像画像信号を撮像素子２０から出力させる。また、システム制御部１は、加速度センサ１０７及び角速度センサ１０６によって検出されたデジタルカメラ１００の動き情報に基づいて、像ブレ補正機構３を制御する。システム制御部１は、撮像素子２０の受光面を方向Ｘ及び方向Ｙの少なくとも１つの方向に移動させることにより、撮像素子２０から出力される撮像画像信号のシフトブレを補正する。システム制御部１と、加速度センサ１０７と、角速度センサ１０６とによって像ブレ補正装置が構成されている。
　システム制御部１は、デジタルカメラ１００全体を統括制御するものであり、像ブレ補正プログラムを含むプログラムを実行して処理を行う各種のプロセッサによって構成されている。
　各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｓｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　システム制御部１は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。
　メモリ１０９は、ＲＡＭ（Ｒａｍｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）を含む。ＲＯＭには、システム制御部１の動作に必要なプログラム（像ブレ補正プログラムを含む）と各種データが記憶されている。
　図４は、図３に示すシステム制御部１の機能ブロック図である。システム制御部１は、メモリ１０９のＲＯＭに記憶された像ブレ補正プログラムを含むプログラムを実行することにより、回転加速度成分算出部１１及びブレ補正部１２として機能する。
　回転加速度成分算出部１１は、加速度センサ１０７により検出された加速度Ｔｘ，Ｔｙに含まれる、デジタルカメラ１００が光軸Ｋに平行な回転軸の回りに回転（ロール回転）することにより生じる回転加速度成分を算出する。この回転加速度成分には、方向Ｘに生じる加速度成分である回転加速度成分Ｒｘと、方向Ｙに生じる加速度成分である回転加速度成分Ｒｙとが含まれる。
　具体的には、回転加速度成分算出部１１は、予め決められた複数の回転軸の中から、デジタルカメラ１００の使用状態に基づいて１つの回転軸を選択し、選択した回転軸の回りにデジタルカメラ１００がロール回転することにより生じる回転加速度成分Ｒｘ，Ｒｙを、角速度センサ１０６により検出された角速度ωｒと、上記の選択した回転軸から加速度センサ１０７までの方向Ｘと方向Ｙにおける距離とに基づいて算出する。
　デジタルカメラ１００では、デジタルカメラ１００がロール回転する場合の回転軸として、図５に示すように、回転軸Ｒ１と回転軸Ｒ２が予め設定されている。
　回転軸Ｒ１は、撮像光学系１０１ａの光軸Ｋと同じ位置に設定された方向Ｚに延びる軸である。回転軸Ｒ２は、接眼窓１０８ｂの位置に設定された方向Ｚに延びる軸である。回転軸Ｒ２の位置は、図５の例では、接眼窓１０８ｂの中心に設定されているが、この位置は接眼窓１０８ｂと重なる範囲であればどこでもよい。
　デジタルカメラ１００の使用者が、表示部１０３に表示されるライブビュー画像を見て被写体の観察を行いながらシャッタボタン１０２ａを押して被写体を撮像するケースを想定する。このケースでは、デジタルカメラ１００がロール回転する場合のその回転中心は、撮像光学系１０１ａの光軸Ｋの位置にほぼ一致すると考えられる。そのため、撮像光学系１０１ａの光軸Ｋと同じ位置に回転軸Ｒ１が設定されている。
　また、デジタルカメラ１００の使用者が、接眼窓１０８ｂに片目をあてて被写体の観察を行いながらシャッタボタン１０２ａを押して被写体を撮像するケースを想定する。このケースでは、デジタルカメラ１００がロール回転する場合のその回転中心は、接眼窓１０８ｂの位置にほぼ一致すると考えられる。そのため、接眼窓１０８ｂの位置に回転軸Ｒ２が設定されている。
　回転加速度成分算出部１１は、デジタルカメラ１００の使用状態に基づいて、図５に示す回転軸Ｒ１と回転軸Ｒ２のいずれかを選択し、選択した回転軸Ｒ１（又は回転軸Ｒ２）の回りにデジタルカメラ１００がロール回転することにより生じる回転加速度成分Ｒｘ，Ｒｙを以下の式（Ａ）により算出する。
　式（Ａ）において、“ｐｘ”は、選択された回転軸から加速度センサ１０７までの方向Ｘにおける距離を示す。また、式（Ａ）において、“ｐｙ”は、選択された回転軸から加速度センサ１０７までの方向Ｙにおける距離を示す。図５の例では、回転軸Ｒ１が選択された場合の距離ｐｘはｘ１であり、回転軸Ｒ１が選択された場合の距離ｐｙはｙ１である。また、回転軸Ｒ２が選択された場合の距離ｐｘはｘ２であり、回転軸Ｒ２が選択された場合の距離ｐｙはｙ２である。”ωrr”は角加速度を示している。”ωr1”は、現在の時刻にて角速度センサ１０６により検出された角速度であり、”ωr2”は、現在の時刻のｔ秒前にて角速度センサ１０６により検出された角速度である。“ｔ”は、角速度センサ１０６による角速度のサンプリング間隔である。
Figure JPOXMLDOC01-appb-M000001
　ブレ補正部１２は、加速度センサ１０７により検出された加速度Ｔｘ，Ｔｙから、回転加速度成分算出部１１により算出された回転加速度成分Ｒｘ，Ｒｙを減算して得た加速度Ｓｘ，Ｓｙを以下の式（Ｂ）の演算により求め、この加速度Ｓｘ，Ｓｙに基づいて、撮像素子２０から出力される撮像画像信号の方向Ｘと方向Ｙにおけるシフトブレ量（並進ブレのブレ量）を求め、このシフトブレ量を打ち消すように像ブレ補正機構３を駆動することで、撮像画像信号の方向Ｘと方向Ｙにおけるシフトブレ（並進ブレ）を補正する。
Figure JPOXMLDOC01-appb-M000002
　回転加速度成分算出部１１が、どの回転軸を選択するかは、デジタルカメラ１００の使用状態によって予め決められている。使用状態とは、デジタルカメラ１００が撮像モードに設定された状態で被写体の撮像の開始を指示する撮像指示がなされたときに、デジタルカメラ１００がどのように使用されているかを示すものである。デジタルカメラ１００では、この使用状態として、接眼窓１０８ｂを使用して被写体の観察が行われている使用状態と、接眼窓１０８ｂが未使用にて被写体の観察が行われている使用状態とがある。
　図６は、図１に示すデジタルカメラ１００の静止画撮像モード時の動作を説明するためのフローチャートである。静止画撮像モードが設定された状態にて、シャッタボタン１０２ａが押下されることで、図６に示す動作が開始される。
　まず、システム制御部１の回転加速度成分算出部１１は、接眼窓１０８ｂを使用して被写体の観察が行われているか否かを判定する（ステップＳ１）。例えば、接眼窓１０８ｂに接触センサを設けておく。そして、この接触センサによって物体の接触が検知されている場合には、回転加速度成分算出部１１は、接眼窓１０８ｂを使用して被写体の観察が行われていると判定する。一方、この接触センサによって物体の接触が検知されていない場合には、回転加速度成分算出部１１は、接眼窓１０８ｂが未使用にて被写体の観察が行われていると判定する。
　なお、デジタルカメラ１００の接眼窓１０８ｂが電子ビューファインダの一部を構成している場合には、上記の接触センサの代わりに、電子ビューファインダの機能のオンオフを行うためのスイッチを操作部１０２ｂに含ませておいてもよい。そして、回転加速度成分算出部１１は、このスイッチによって電子ビューファインダの機能がオンされている場合には、接眼窓１０８ｂを使用して被写体の観察が行われていると判定し、このスイッチによって電子ビューファインダの機能がオフされている場合には、接眼窓１０８ｂが未使用にて被写体の観察が行われていると判定すればよい。
　回転加速度成分算出部１１は、接眼窓１０８ｂを使用して被写体の観察が行われていると判定した場合（ステップＳ１：ＹＥＳ）には、接眼窓１０８ｂの位置に設定された図５に示す回転軸Ｒ２を選択する（ステップＳ２）。回転加速度成分算出部１１は、接眼窓１０８ｂが未使用にて被写体の観察が行われていると判定した場合（ステップＳ１：ＮＯ）には、光軸Ｋと同じ位置に設定された図５に示す回転軸Ｒ１を選択する（ステップＳ３）。
　ステップＳ２又はステップＳ３の後、回転加速度成分算出部１１は、加速度センサ１０７から加速度Ｔｘ，Ｔｙを取得し、角速度センサ１０６から角速度ωｒを取得する（ステップＳ４）。
　次に、回転加速度成分算出部１１は、ステップＳ２又はステップＳ３にて選択した回転軸と加速度センサ１０７との間の方向Ｘ，Ｙにおける距離ｐｘ，ｐｙと、ステップＳ４にて取得した角速度ωｒと、この角速度ωｒの直前に検出されていた角速度ωｒとを式（Ａ）に代入して、回転加速度成分Ｒｘ，Ｒｙを算出する（ステップＳ５）。なお、回転軸Ｒ１，Ｒ２と加速度センサ１０７との間の方向Ｘ，Ｙにおける距離ｐｘ，ｐｙの情報はメモリ１０９のＲＯＭに予め記憶されている。
　次に、システム制御部１のブレ補正部１２は、ステップＳ４にて取得された加速度Ｔｘ，Ｔｙから、ステップＳ５にて算出された回転加速度成分Ｒｘ，Ｒｙを減算して、ロール回転に起因する回転加速度成分を除去した加速度Ｓｘ，Ｓｙを算出し、この加速度Ｓｘ，Ｓｙに基づいてシフトブレ量を算出する（ステップＳ６）。ブレ補正部１２は、このシフトブレ量を打ち消すように像ブレ補正機構３を制御し、撮像素子２０から出力される撮像画像信号のシフトブレを補正する（ステップＳ７）。
　デジタルカメラ１００がロール回転する際には、その回転中心がどこにあるかによって回転加速度成分は変化する。デジタルカメラ１００によれば、接眼窓１０８ｂが使用されている状態でシャッタボタン１０２ａが押された場合には、回転軸Ｒ２の回りにデジタルカメラ１００がロール回転し得るものと判断して回転加速度成分Ｒｘ，Ｒｙを算出し、接眼窓１０８ｂが未使用の状態でシャッタボタン１０２ａが押された場合には、回転軸Ｒ１の回りにデジタルカメラ１００がロール回転し得るものと判断して回転加速度成分Ｒｘ，Ｒｙを算出する。このため、回転加速度成分Ｒｘ，Ｒｙを使用状態に合わせて正確に算出することができ、撮像画像信号のシフトブレを高精度に補正することができる。
　図７は、図１に示すデジタルカメラ１００の動作の変形例を説明するためのフローチャートである。図７に示すフローチャートは、静止画撮像モードと動画撮像モードのいずれかに設定された状態にてシャッタボタン１０２ａが押下された後の動作を示している。図７に示すフローチャートは、ステップＳ１１が追加された点を除いては図６と同じである。図７において図６と同じ処理には同一符号を付して説明を省略する。
　シャッタボタン１０２ａが押下された後、ステップＳ１１において、システム制御部１の回転加速度成分算出部１１は、撮像モードが動画撮像モードであるか否かを判定する。回転加速度成分算出部１１は、撮像モードが動画撮像モードであった場合（ステップＳ１１：ＹＥＳ）には、ステップＳ３に処理を移行し、撮像モードが静止画撮像モードであった場合（ステップＳ１１：ＮＯ）には、ステップＳ１に処理を移行する。
　以上の変形例の動作によれば、動画撮像モード時には、デジタルカメラ１００の使用状態によらずに、回転軸Ｒ１が選択されて、回転加速度成分Ｒｘ，Ｒｙの算出が行われる。デジタルカメラ１００のシャッタボタン１０２ａが押下されることで生じ得るロール回転による加速度Ｔｘ，Ｔｙへの影響は、シャッタボタン１０２ａの押下後すぐに１回だけ露光を行う静止画撮像モードにおいて大きくなる。動画撮像モードにおいては、シャッタボタン１０２ａの押下がなされてから継続的に撮像が行われるため、シャッタボタン１０２ａが押下されたことでロール回転が生じ、このロール回転に起因する回転加速度成分の算出精度が低かったとしても、撮像画像への影響は軽微である。また、動画撮像中は、両手でデジタルカメラ１００が保持されて撮像が行われることが多いため、デジタルカメラ１００は回転軸Ｒ１の回りにロール回転しやすいと考えられる。このため、動画撮像時には回転軸Ｒ１を選択することで、シフトブレ補正を高精度に行うことができる。
　図８は、本発明の撮像装置の一実施形態であるスマートフォン２００のハードウェア構成を示すブロック図である。図９は、図８に示すスマートフォン２００の概略構成を示す正面図である。図８において図３と同じ構成要素には同一符号を付してある。
　図８に示すスマートフォン２００は、タッチパネル２０１と、通信部２０２と、ボタン２０２ａと、ボタン２０２ｂとが追加され、シャッタボタン１０２ａ及び操作部１０２ｂが削除され、システム制御部１がシステム制御部１Ａに変更された点を除いては、図３のデジタルカメラ１００と同じである。通信部２０２は、近距離無線通信又は携帯電話ネットワークを介したデータ通信等を行うための機能部である。
　図９に示すように、スマートフォン２００の筐体の正面には表示部１０３が形成され、表示部１０３にはタッチパネル２０１が一体的に形成されている。スマートフォン２００の筐体の背面（表示部１０３が形成される正面の反対側の面）には、撮像光学系１０１ａが形成されている。
　スマートフォン２００においても、撮像素子２０の受光面が鉛直方向に垂直な状態（光軸Ｋが鉛直方向に平行な状態）、且つ、光軸Ｋ上に受光面の中心が位置する状態を基準状態という。そして、この基準状態において、撮像素子２０の受光面の長手方向を方向Ｘと定義し、撮像素子２０の受光面の短手方向を方向Ｙと定義し、方向Ｘと方向Ｙに直交する方向（撮像光学系１０１ａの光軸の延びる方向）を方向Ｚと定義する。
　表示部１０３の方向Ｚから見た平面形状は長方形となっている。表示部１０３の長手方向は方向Ｙであり、表示部１０３の短手方向は方向Ｘとなっている。
　図９に示すように、スマートフォン２００の筐体の方向Ｙの上側の端部にはボタン２０２ａが形成されている。また、スマートフォン２００の筐体の方向Ｘの右側の端部にはボタン２０２ｂが形成されている。ボタン２０２ａとボタン２０２ｂは、それぞれ、スマートフォン２００のカメラアプリが起動してスマートフォン２００が撮像モードに移行した状態では、被写体の撮像開始を指示するためのシャッタボタンとして機能する。ボタン２０２ａとボタン２０２ｂは、それぞれ、表示部１０３とは異なる位置に設けられた操作部材を構成する。
　スマートフォン２００では、スマートフォン２００が光軸Ｋに平行な回転軸の回りに回転（ロール回転）する場合のこの回転軸として、図９に示すように、回転軸Ｒ３と回転軸Ｒ４と回転軸Ｒ５が予め設定されている。
　回転軸Ｒ５は、表示部１０３の中心に設定された方向Ｚに延びる軸である。回転軸Ｒ３は、スマートフォン２００の筐体の方向Ｘの左側の端部のうちの方向Ｙの上側の端部近傍に設定された方向Ｚに延びる軸である。回転軸Ｒ４は、スマートフォン２００の筐体の方向Ｙの下側の端部のうちの方向Ｘの左側の端部近傍に設定された方向Ｚに延びる軸である。回転軸Ｒ３と回転軸Ｒ４は、光軸Ｋと異なる位置にある２つの回転軸を構成する。回転軸Ｒ３は、この２つの回転軸の一方の回転軸であり、回転軸Ｒ４は、この２つの回転軸の他方の回転軸である。
　スマートフォン２００では、図１のデジタルカメラ１００と異なって接眼窓は存在しない。そのため、スマートフォン２００が撮像モードに移行すると、撮像素子２０により撮像して得られるライブビュー画像が表示部１０３に表示されることになる。
　スマートフォン２００によっていわゆる縦撮りを行う場合には、表示部１０３の長手方向（つまり方向Ｙ）と鉛直方向とが略平行となるように、スマートフォン２００の姿勢が決められる。スマートフォン２００によっていわゆる横撮りを行う場合には、表示部１０３の短手方向（つまり方向Ｘ）と鉛直方向とが略平行となるように、スマートフォン２００の姿勢が決められる。
　表示部１０３の長手方向（方向Ｙ）と鉛直方向とが略平行となるようにスマートフォン２００の姿勢が決められた状態では、使用者は、ボタン２０２ａの付近を右指でおさえ、且つ回転軸Ｒ４付近を左指で支えながら構図決めを行う。そして、使用者は、ボタン２０２ａを方向Ｙに押し込むことで被写体の撮像を行う。このように、ボタン２０２ａを使用して縦撮りを行うケースを想定すると、スマートフォン２００を支えている左指の近傍を中心にしてスマートフォン２００がロール回転する可能性が高い。回転軸Ｒ４は、このようなケースを想定してボタン２０２ａのほぼ対角線上の位置に設定されている。
　表示部１０３の短手方向（方向Ｘ）と鉛直方向とが略平行となるようにスマートフォン２００の姿勢が決められた状態では、使用者は、ボタン２０２ｂの付近を右指でおさえ、且つ回転軸Ｒ３付近を左指で支えながら構図決めを行う。そして、使用者は、ボタン２０２ｂを方向Ｘに押し込むことで被写体の撮像を行う。このように、ボタン２０２ｂを使用して横撮りを行うケースを想定すると、スマートフォン２００を支えている左指の近傍を中心にしてスマートフォン２００がロール回転する可能性が高い。回転軸Ｒ３は、このようなケースを想定してボタン２０２ｂのほぼ対角線上の位置に設定されている。
　なお、スマートフォン２００が撮像モードに移行した状態では、ボタン２０２ａとボタン２０２ｂを使用せずに、タッチパネル２０１を操作することでも、撮像指示をシステム制御部１Ａに行うことができる。このように、タッチパネル２０１を操作して撮像を行う場合には、スマートフォン２００の筐体が両手でしっかりと握られている場合が多い。そのため、この場合には、表示部１０３の中心を中心にしてスマートフォン２００がロール回転する可能性が高い。回転軸Ｒ５は、このようなケースを想定して表示部１０３の中心に設定されている。
　図１０は、図８に示すシステム制御部１Ａの機能ブロック図である。システム制御部１Ａは、メモリ１０９のＲＯＭに記憶された像ブレ補正プログラムを含むプログラムを実行することにより、回転加速度成分算出部１１Ａ及びブレ補正部１２Ａとして機能する。スマートフォン２００のシステム制御部１Ａと加速度センサ１０７と角速度センサ１０６によって像ブレ補正装置が構成されている。
　回転加速度成分算出部１１Ａの機能は、回転加速度成分算出部１１とほぼ同様であるが、回転加速度成分Ｒｘ，Ｒｙを算出する際に選択する回転軸が図９に示した回転軸Ｒ３，Ｒ４，Ｒ５のいずれかである点と、この回転軸の選択の方法とが回転加速度成分算出部１１とは異なる。
　具体的には、回転加速度成分算出部１１Ａは、タッチパネル２０１の操作によって撮像が行われた使用状態（いわゆるタッチ撮像）の場合には回転軸Ｒ５を選択し、ボタン２０２ａの操作によって撮像が行われ且つ方向Ｙが鉛直方向となる使用状態（いわゆる縦撮りの状態）の場合には回転軸Ｒ４を選択し、ボタン２０２ｂの操作によって撮像が行われ且つ方向Ｘが鉛直方向となる使用状態（いわゆる横撮りの状態）の場合には回転軸Ｒ３を選択する。
　スマートフォン２００の使用状態とは、撮像モードに設定されているときに、スマートフォン２００がどのように使用されているかを示すものである。スマートフォン２００では、この使用状態として、タッチ撮像が行われた状態と、縦撮りにてボタン操作が行われた状態と、横撮りにてボタン操作が行われた状態と、がある。
　ブレ補正部１２Ａの機能は、加速度Ｓｘ，Ｓｙを求める際に用いる回転加速度成分Ｒｘ，Ｒｙが回転加速度成分算出部１１Ａにより算出されたものである点を除いては、ブレ補正部１２と同じである。
　図１１は、図８に示すスマートフォン２００の静止画撮像モード時の動作を説明するためのフローチャートである。
　システム制御部１Ａの回転加速度成分算出部１１Ａは、タッチパネル２０１の操作によって撮像の指示がなされた場合（ステップＳ２１：ＹＥＳ）には、表示部１０３の中心に設定された回転軸Ｒ５を選択する（ステップＳ２２）。
　回転加速度成分算出部１１Ａは、タッチパネル２０１の操作によって撮像の指示がなされていない場合（ステップＳ２１：ＮＯ）には、ボタン２０２ａとボタン２０２ｂのいずれかの操作によって撮像の指示がなされたかを判定する（ステップＳ２３）。
　回転加速度成分算出部１１Ａは、ボタン２０２ａとボタン２０２ｂのいずれかの操作によって撮像の指示がなされていない場合（ステップＳ２３：ＮＯ）にはステップＳ２１に処理を戻す。回転加速度成分算出部１１Ａは、ボタン２０２ａとボタン２０２ｂのいずれかの操作によって撮像の指示がなされた場合（ステップＳ２３：ＹＥＳ）には、加速度センサ１０７の検出信号に基づいて、スマートフォン２００の姿勢が、方向Ｘが鉛直方向となる横撮り姿勢と、方向Ｙが鉛直方向となる縦撮り姿勢とのどちらであるかを判定する（ステップＳ２４）。
　ステップＳ２４の判定の結果、縦撮り姿勢と横撮り姿勢の判別が不能であった場合（ステップＳ２５：ＹＥＳ）には、回転加速度成分算出部１１Ａは、ステップＳ２２にて回転軸Ｒ５を選択する。
　ステップＳ２４の判定の結果、縦撮り姿勢であると判定できた場合（ステップＳ２６：縦撮り）には、回転加速度成分算出部１１Ａは、縦撮りのケースを想定した位置に設定されている回転軸Ｒ４を選択する（ステップＳ２７）。
　ステップＳ２４の判定の結果、横撮り姿勢であると判定できた場合（ステップＳ２６：横撮り）には、回転加速度成分算出部１１Ａは、横撮りのケースを想定した位置に設定されている回転軸Ｒ３を選択する（ステップＳ２８）。
　ステップＳ２２、ステップＳ２７、及びステップＳ２８のいずれかにて回転軸の選択を行った後、回転加速度成分算出部１１Ａは、加速度センサ１０７から加速度Ｔｘ，Ｔｙを取得し、角速度センサ１０６から角速度ωｒを取得する（ステップＳ２９）。
　次に、回転加速度成分算出部１１Ａは、ステップＳ２２、ステップＳ２７、及びステップＳ２８のいずれかにて選択した回転軸と加速度センサ１０７との間の方向Ｘ，Ｙにおける距離ｐｘ，ｐｙと、ステップＳ２９にて取得した角速度ωｒと、この角速度ωｒの直前に検出されていた角速度ωｒとを上記の式（Ａ）に代入して、回転加速度成分Ｒｘ，Ｒｙを算出する（ステップＳ３０）。
　次に、システム制御部１Ａのブレ補正部１２Ａは、ステップＳ２９にて取得された加速度Ｔｘ，Ｔｙから、ステップＳ３０にて算出された回転加速度成分Ｒｘ，Ｒｙを減算して、ロール回転に起因する回転加速度成分を除去した加速度Ｓｘ，Ｓｙを算出し、この加速度Ｓｘ，Ｓｙに基づいてシフトブレ量を算出する（ステップＳ３１）。ブレ補正部１２Ａは、このシフトブレ量を打ち消すように像ブレ補正機構３を制御し、撮像素子２０から出力される撮像画像信号のシフトブレを補正する（ステップＳ３２）。
　スマートフォン２００がロール回転する際には、その回転中心がどこにあるかによって回転加速度成分は変化する。スマートフォン２００によれば、タッチパネル２０１が操作されて撮像がなされた場合には、回転軸Ｒ５の回りにロール回転し得ると判断して回転加速度成分Ｒｘ，Ｒｙを算出し、ボタン２０２ａの操作によって縦撮りの撮像がなされた場合には、回転軸Ｒ４の回りにロール回転し得ると判断して回転加速度成分Ｒｘ，Ｒｙを算出し、ボタン２０２ｂの操作によって横撮りの撮像がなされた場合には、回転軸Ｒ３の回りにロール回転し得ると判断して回転加速度成分Ｒｘ，Ｒｙを算出する。このため、回転加速度成分Ｒｘ，Ｒｙを使用状態に合わせて正確に算出することができ、撮像画像信号のシフトブレを高精度に補正することができる。
　また、スマートフォン２００では、撮像が行われているときのスマートフォン２００の姿勢が縦撮り姿勢なのか横撮り姿勢なのか判別できない場合には、表示部１０３の中心に設定された回転軸Ｒ５が選択される。
　例えば、縦撮り姿勢であるにもかかわらず横撮り姿勢であると誤判定され、回転軸Ｒ３が選択されてしまうと、回転軸Ｒ３と加速度センサ１０７との距離（上記のｐｘ，ｐｙ）は、正しい距離（回転軸Ｒ４と加速度センサ１０７との距離）よりも大きくなる。このような場合に、回転軸Ｒ５を選択すると、回転軸Ｒ５と加速度センサ１０７との距離は正しい距離に近づくことになる。このため、姿勢の判別ができない状況であっても、回転加速度成分Ｒｘ，Ｒｙの算出精度が低下するのを防ぐことができ、撮像画像信号のシフトブレを高精度に補正することができる。
　なお、図１１の動作において、ステップＳ２１は必須ではなく削除した動作としてもよい。また、スマートフォン２００において設定される回転軸は、回転軸Ｒ３と回転軸Ｒ４のみとしてもよい。この場合のスマートフォン２００の静止画撮像モード時の動作は、図１１においてステップＳ２１及びステップＳ２２が削除され、ステップＳ２５の判定がＹＥＳとなった場合には、例えば、回転加速度成分を求めずに並進ブレ量が算出されてこの補正が行われるようにすればよい。
　図２に示すデジタルカメラ１００において、例えば、筐体の左側面にシャッタボタン１０２ａとは別の縦撮り専用のボタンを設けておく構成も考えられる。このような構成の場合には、図５の回転軸Ｒ１，Ｒ２とは異なる位置に、縦撮りを想定した回転軸と横撮りを想定した回転軸とを設定すればよい。この構成のデジタルカメラ１００の動作は、図１１においてステップＳ２１が削除され、ステップＳ２２の処理が、回転軸Ｒ１を選択する処理に変更されたものとなる。
　図１２は、図８に示すスマートフォン２００の変形例であるスマートフォン２００Ａのハードウェア構成を示す図である。図１２に示すスマートフォン２００Ａは、グリップセンサ２１１が追加された点を除いてはスマートフォン２００と同じである。
　グリップセンサ２１１は、スマートフォン２００Ａの筐体が手によって握られていることを検出するためのセンサであり、例えば圧電センサ等によって構成される。スマートフォン２００Ａの外観はスマートフォン２００と同じである。
　図１３は、図１２に示すスマートフォン２００Ａの静止画撮像モード時の動作を説明するためのフローチャートである。図１３に示すフローチャートは、ステップＳ２６とステップＳ２７の間にステップＳ４０が追加された点を除いては図１１に示すフローチャートと同じである。
　ステップＳ２４の姿勢判定の結果、縦撮りであると判定されると（ステップＳ２６：縦撮り）、スマートフォン２００Ａのシステム制御部１Ａの回転加速度成分算出部１１Ａは、グリップセンサ２１１の出力信号に基づいて、スマートフォン２００Ａが握られている状態か否かを判定する（ステップＳ４０）。
　回転加速度成分算出部１１Ａは、スマートフォン２００Ａが握られている状態であると判定した場合（ステップＳ４０：ＹＥＳ）には、ステップＳ２２にて表示部１０３の中心に設定された回転軸Ｒ５を選択する。
　回転加速度成分算出部１１Ａは、スマートフォン２００Ａが握られていない状態であると判定した場合（ステップＳ４０：ＮＯ）には、ステップＳ２７にて回転軸Ｒ４を選択する。
　スマートフォン２００Ａの姿勢が、方向Ｙが鉛直方向となる縦撮り姿勢であっても、図１４に示すように、使用者が左手Ｈでスマートフォン２００Ａを握って固定し、その状態にて右指でボタン２０２ａを押下して撮像を行う場合がある。このような場合（つまり、ステップＳ４０の判定がＹＥＳとなる場合）には、回転軸Ｒ４を中心にスマートフォン２００Ａがロール回転する可能性は低くなるため、回転軸Ｒ５を選択することで、像ブレ補正の精度をより高めることが可能である。
　スマートフォン２００又はスマートフォン２００Ａは、動画撮像モード時においては、タッチ撮像であるかどうか、ボタン撮像であるかどうか、縦撮りと横撮りのどちらであるかに関係なく、撮像指示がなされた場合に、回転加速度成分算出部１１Ａが回転軸Ｒ５を選択して回転加速度成分Ｒｘ，Ｒｙの算出を行うことが好ましい。動画撮像中は、両手でスマートフォン２００，２００Ａが保持されて撮像が行われることが多いため、スマートフォン２００，２００Ａは回転軸Ｒ５の回りにロール回転しやすいと考えられる。このため、動画撮像時には回転軸Ｒ５を選択することで、シフトブレ補正を高精度に行うことができる。
　ここまで説明してきたデジタルカメラ１００、スマートフォン２００、及びスマートフォン２００Ａでは、像ブレ補正機構３によって撮像素子２０を移動させることでシフトブレの補正を行うものとしたが、これに限らない。像ブレ補正機構３としては、撮像光学系１０１ａに含まれる補正用のレンズを移動させることでシフトブレの補正を行うものであってもよいし、撮像素子２０と撮像光学系１０１ａに含まれる補正用のレンズの両方を移動させることでシフトブレの補正を行うものであってもよい。また、像ブレ補正機構３のように光学的にブレ補正を行わずに、電子的にブレ補正を行う構成であってもよい。
　以上説明してきたように、本明細書には以下の事項が開示されている。
（１）
　撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正装置であって、
　上記撮像素子を含む撮像装置の上記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサと、
　上記光軸に平行な回転軸回りの上記撮像装置の角速度を検出する角速度センサと、
　上記加速度センサにより検出された加速度に含まれる、上記撮像装置が上記回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出部と、
　上記加速度から上記回転加速度成分を減算して得た加速度に基づいて、上記撮像画像信号の上記２つの方向におけるブレを補正するブレ補正部と、を備え、
　上記回転加速度成分算出部は、予め決められた複数の上記回転軸の中から、上記撮像装置の使用状態に基づいて１つの上記回転軸を選択し、上記選択した上記回転軸の回りに上記撮像装置が回転することにより生じる上記回転加速度成分を、上記角速度センサにより検出された角速度と、上記選択した上記回転軸から上記加速度センサまでの上記２つの方向における距離とに基づいて算出する像ブレ補正装置。
（２）
　（１）記載の像ブレ補正装置であって、
　上記撮像装置は、被写体を観察するための接眼窓を備え、
　上記複数の上記回転軸は、上記接眼窓の位置に設定された回転軸と、上記光軸と同じ位置に設定された回転軸と、を含み、
　上記回転加速度成分算出部は、上記接眼窓を使用して被写体の観察が行われている上記使用状態の場合には、上記接眼窓の位置に設定された上記回転軸を選択し、上記接眼窓が未使用にて被写体の観察が行われている上記使用状態の場合には、上記光軸と同じ位置に設定された上記回転軸を選択する像ブレ補正装置。
（３）
　（１）記載の像ブレ補正装置であって、
　上記複数の上記回転軸は、上記光軸と異なる位置にある２つの回転軸を含み、
　上記回転加速度成分算出部は、上記２つの方向の一方の方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の一方を選択し、上記２つの方向の他方の方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の他方を選択する像ブレ補正装置。
（４）
　（３）記載の像ブレ補正装置であって、
　上記複数の上記回転軸は、上記光軸と同じ位置にある回転軸を含み、
　上記回転加速度成分算出部は、上記一方の上記方向が鉛直方向となる状態と、上記他方の上記方向が鉛直方向となる状態との判別が不能となる上記使用状態の場合には、上記光軸と同じ位置にある上記回転軸を選択する像ブレ補正装置。
（５）
　（１）から（４）のいずれか１つに記載の像ブレ補正装置であって、
　上記複数の上記回転軸は、上記光軸と同じ位置にある回転軸を含み、
　上記回転加速度成分算出部は、上記撮像装置が動画撮像モードに設定されている場合には、上記光軸と同じ位置にある上記回転軸を選択し、上記撮像装置が静止画撮像モードに設定されている場合には、上記使用状態に基づいて上記回転軸を選択する像ブレ補正装置。
（６）
　（３）記載の像ブレ補正装置であって、
　上記撮像装置は、上記撮像光学系とは反対側の面に設けられた表示部と、上記表示部に形成されたタッチパネルと、上記表示部とは異なる位置に設けられた撮像指示を行うための操作部材と、を備え、
　上記複数の上記回転軸は、上記２つの回転軸とは異なり且つ上記表示部の中心位置に設定された回転軸を更に含み、
　上記回転加速度成分算出部は、上記タッチパネルの操作によって撮像が行われた上記使用状態の場合には、上記中心位置に設定された上記回転軸を選択し、上記操作部材の操作によって撮像が行われ且つ上記一方の上記方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の上記一方を選択し、上記操作部材の操作によって撮像が行われ且つ上記他方の上記方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の上記他方を選択する像ブレ補正装置。
（７）
　（６）記載の像ブレ補正装置であって、
　上記回転加速度成分算出部は、上記一方の上記方向が鉛直方向となる状態と、上記他方の上記方向が鉛直方向となる状態との判別が不能となる上記使用状態の場合には、上記中心位置に設定された上記回転軸を選択する像ブレ補正装置。
（８）
　（６）又は（７）記載の像ブレ補正装置であって、
　上記撮像装置は、握られていることを検出するグリップセンサを備え、
　上記表示部の長手方向と上記他方の上記方向とが一致し、上記表示部の短手方向と上記一方の上記方向とが一致しており、
　上記回転加速度成分算出部は、上記操作部材の操作によって撮像が行われ且つ上記他方の上記方向が鉛直方向となっており、上記グリップセンサによって上記撮像装置が握られていることが検出されている上記使用状態の場合には、上記中心位置に設定された上記回転軸を選択する像ブレ補正装置。
（９）
　（６）から（８）のいずれか１つに記載の像ブレ補正装置であって、
　上記回転加速度成分算出部は、上記撮像装置が動画撮像モードに設定されている場合には、上記中心位置に設定された上記回転軸を選択し、上記撮像装置が静止画撮像モードに設定されている場合には、上記使用状態に基づいて上記回転軸を選択する像ブレ補正装置。
（１０）
　（１）から（９）のいずれか１つに記載の像ブレ補正装置と、
　上記撮像素子と、を備える撮像装置。
（１１）
　撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正方法であって、
　上記撮像素子を含む撮像装置の上記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサにより検出された加速度に含まれる、上記撮像装置が上記光軸に平行な回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出ステップと、
　上記加速度から上記回転加速度成分を減算して得た加速度に基づいて、上記撮像画像信号の上記２つの方向におけるブレを補正するブレ補正ステップと、を備え、
　上記回転加速度成分算出ステップでは、予め決められた複数の上記回転軸の中から、上記撮像装置の使用状態に基づいて１つの上記回転軸を選択し、上記選択した上記回転軸の回りに上記撮像装置が回転することにより生じる上記回転加速度成分を、上記回転軸回りの上記撮像装置の角速度を検出する角速度センサにより検出された角速度と、上記選択した上記回転軸から上記加速度センサまでの上記２つの方向における距離とに基づいて算出する像ブレ補正方法。
（１２）
　（１１）記載の像ブレ補正方法であって、
　上記撮像装置は、被写体を観察するための接眼窓を備え、
　上記複数の上記回転軸は、上記接眼窓の位置に設定された回転軸と、上記光軸と同じ位置に設定された回転軸と、を含み、
　上記回転加速度成分算出ステップは、上記接眼窓を使用して被写体の観察が行われている上記使用状態の場合には、上記接眼窓の位置に設定された上記回転軸を選択し、上記接眼窓が未使用にて被写体の観察が行われている上記使用状態の場合には、上記光軸と同じ位置に設定された上記回転軸を選択する像ブレ補正方法。
（１３）
　（１１）記載の像ブレ補正方法であって、
　上記複数の上記回転軸は、上記光軸と異なる位置にある２つの回転軸を含み、
　上記回転加速度成分算出ステップは、上記２つの方向の一方の方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の一方を選択し、上記２つの方向の他方の方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の他方を選択する像ブレ補正方法。
（１４）
　（１３）記載の像ブレ補正方法であって、
　上記複数の上記回転軸は、上記光軸と同じ位置にある回転軸を含み、
　上記回転加速度成分算出ステップは、上記一方の上記方向が鉛直方向となる状態と、上記他方の上記方向が鉛直方向となる状態との判別が不能となる上記使用状態の場合には、上記光軸と同じ位置にある上記回転軸を選択する像ブレ補正方法。
（１５）
　（１１）から（１４）のいずれか１つに記載の像ブレ補正方法であって、
　上記複数の上記回転軸は、上記光軸と同じ位置にある回転軸を含み、
　上記回転加速度成分算出ステップは、上記撮像装置が動画撮像モードに設定されている場合には、上記光軸と同じ位置にある上記回転軸を選択し、上記撮像装置が静止画撮像モードに設定されている場合には、上記使用状態に基づいて上記回転軸を選択する像ブレ補正方法。
（１６）
　（１３）記載の像ブレ補正方法であって、
　上記撮像装置は、上記撮像光学系とは反対側の面に設けられた表示部と、上記表示部に形成されたタッチパネルと、上記表示部とは異なる位置に設けられた撮像指示を行うための操作部材と、を備え、
　上記複数の上記回転軸は、上記２つの回転軸とは異なり且つ上記表示部の中心位置に設定された回転軸を更に含み、
　上記回転加速度成分算出ステップは、上記タッチパネルの操作によって撮像が行われた上記使用状態の場合には、上記中心位置に設定された上記回転軸を選択し、上記操作部材の操作によって撮像が行われ且つ上記一方の上記方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の上記一方を選択し、上記操作部材の操作によって撮像が行われ且つ上記他方の上記方向が鉛直方向となる上記使用状態の場合には上記２つの回転軸の上記他方を選択する像ブレ補正方法。
（１７）
　（１６）記載の像ブレ補正方法であって、
　上記回転加速度成分算出ステップは、上記一方の上記方向が鉛直方向となる状態と、上記他方の上記方向が鉛直方向となる状態との判別が不能となる上記使用状態の場合には、上記中心位置に設定された上記回転軸を選択する像ブレ補正方法。
（１８）
　（１６）又は（１７）記載の像ブレ補正方法であって、
　上記撮像装置は、握られていることを検出するグリップセンサを備え、
　上記表示部の長手方向と上記他方の上記方向とが一致し、上記表示部の短手方向と上記一方の上記方向とが一致しており、
　上記回転加速度成分算出ステップは、上記操作部材の操作によって撮像が行われ且つ上記他方の上記方向が鉛直方向となっており、上記グリップセンサによって上記撮像装置が握られていることが検出されている上記使用状態の場合には、上記中心位置に設定された上記回転軸を選択する像ブレ補正方法。
（１９）
　（１６）から（１８）のいずれか１つに記載の像ブレ補正方法であって、
　上記回転加速度成分算出ステップは、上記撮像装置が動画撮像モードに設定されている場合には、上記中心位置に設定された上記回転軸を選択し、上記撮像装置が静止画撮像モードに設定されている場合には、上記使用状態に基づいて上記回転軸を選択する像ブレ補正方法。
（２０）
　撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正プログラムであって、
　上記撮像素子を含む撮像装置の上記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサにより検出された加速度に含まれる、上記撮像装置が上記光軸に平行な回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出ステップと、
　上記加速度から上記回転加速度成分を減算して得た加速度に基づいて、上記撮像画像信号の上記２つの方向におけるブレを補正するブレ補正ステップと、をコンピュータに実行させるためのプログラムであり、
　上記回転加速度成分算出ステップでは、予め決められた複数の上記回転軸の中から、上記撮像装置の使用状態に基づいて１つの上記回転軸を選択し、上記選択した上記回転軸の回りに上記撮像装置が回転することにより生じる上記回転加速度成分を、上記回転軸回りの上記撮像装置の角速度を検出する角速度センサにより検出された角速度と、上記選択した上記回転軸から上記加速度センサまでの上記２つの方向における距離とに基づいて算出する像ブレ補正プログラム。
　以上、図面を参照しながら各種の実施の形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
　なお、本出願は、２０１８年６月２７日出願の日本特許出願（特願２０１８－１２２３６６）に基づくものであり、その内容は本出願の中に参照として援用される。
　本発明は、デジタルカメラ又はスマートフォン等に適用して利便性が高く、有効である。
３　像ブレ補正機構
２０　撮像素子
１００　デジタルカメラ
１０１　レンズ鏡胴
１０１ａ　撮像光学系
１０２ａ　シャッタボタン
１０２ｂ　操作部
１０３　表示部
１０４　ＡＦＥ
１０５　撮像素子駆動部
１０６　角速度センサ
１０７　加速度センサ
１０８　画像処理部
１０９　メモリ
１０８ａ　ファインダ窓
１０８ｂ　接眼窓
１，１Ａ　システム制御部
１１，１１Ａ　回転加速度成分算出部
１２，１２Ａ　ブレ補正部
Ｋ　光軸
Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５　回転軸
２００，２００Ａ　スマートフォン
２０１　タッチパネル
２０２　通信部
２０２ａ、２０２ｂ　ボタン
２１１　グリップセンサ
Ｈ　左手

Claims (20)

  1. 　撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正装置であって、
    　前記撮像素子を含む撮像装置の前記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサと、
    　前記光軸に平行な回転軸回りの前記撮像装置の角速度を検出する角速度センサと、
    　前記加速度センサにより検出された加速度に含まれる、前記撮像装置が前記回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出部と、
    　前記加速度から前記回転加速度成分を減算して得た加速度に基づいて、前記撮像画像信号の前記２つの方向におけるブレを補正するブレ補正部と、を備え、
    　前記回転加速度成分算出部は、予め決められた複数の前記回転軸の中から、前記撮像装置の使用状態に基づいて１つの前記回転軸を選択し、前記選択した前記回転軸の回りに前記撮像装置が回転することにより生じる前記回転加速度成分を、前記角速度センサにより検出された角速度と、前記選択した前記回転軸から前記加速度センサまでの前記２つの方向における距離とに基づいて算出する像ブレ補正装置。
  2. 　請求項１記載の像ブレ補正装置であって、
    　前記撮像装置は、被写体を観察するための接眼窓を備え、
    　前記複数の前記回転軸は、前記接眼窓の位置に設定された回転軸と、前記光軸と同じ位置に設定された回転軸と、を含み、
    　前記回転加速度成分算出部は、前記接眼窓を使用して被写体の観察が行われている前記使用状態の場合には、前記接眼窓の位置に設定された前記回転軸を選択し、前記接眼窓が未使用にて被写体の観察が行われている前記使用状態の場合には、前記光軸と同じ位置に設定された前記回転軸を選択する像ブレ補正装置。
  3. 　請求項１記載の像ブレ補正装置であって、
    　前記複数の前記回転軸は、前記光軸と異なる位置にある２つの回転軸を含み、
    　前記回転加速度成分算出部は、前記２つの方向の一方の方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の一方を選択し、前記２つの方向の他方の方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の他方を選択する像ブレ補正装置。
  4. 　請求項３記載の像ブレ補正装置であって、
    　前記複数の前記回転軸は、前記光軸と同じ位置にある回転軸を含み、
    　前記回転加速度成分算出部は、前記一方の前記方向が鉛直方向となる状態と、前記他方の前記方向が鉛直方向となる状態との判別が不能となる前記使用状態の場合には、前記光軸と同じ位置にある前記回転軸を選択する像ブレ補正装置。
  5. 　請求項１から４のいずれか１項記載の像ブレ補正装置であって、
    　前記複数の前記回転軸は、前記光軸と同じ位置にある回転軸を含み、
    　前記回転加速度成分算出部は、前記撮像装置が動画撮像モードに設定されている場合には、前記光軸と同じ位置にある前記回転軸を選択し、前記撮像装置が静止画撮像モードに設定されている場合には、前記使用状態に基づいて前記回転軸を選択する像ブレ補正装置。
  6. 　請求項３記載の像ブレ補正装置であって、
    　前記撮像装置は、前記撮像光学系とは反対側の面に設けられた表示部と、前記表示部に形成されたタッチパネルと、前記表示部とは異なる位置に設けられた撮像指示を行うための操作部材と、を備え、
    　前記複数の前記回転軸は、前記２つの回転軸とは異なり且つ前記表示部の中心位置に設定された回転軸を更に含み、
    　前記回転加速度成分算出部は、前記タッチパネルの操作によって撮像が行われた前記使用状態の場合には、前記中心位置に設定された前記回転軸を選択し、前記操作部材の操作によって撮像が行われ且つ前記一方の前記方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の前記一方を選択し、前記操作部材の操作によって撮像が行われ且つ前記他方の前記方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の前記他方を選択する像ブレ補正装置。
  7. 　請求項６記載の像ブレ補正装置であって、
    　前記回転加速度成分算出部は、前記一方の前記方向が鉛直方向となる状態と、前記他方の前記方向が鉛直方向となる状態との判別が不能となる前記使用状態の場合には、前記中心位置に設定された前記回転軸を選択する像ブレ補正装置。
  8. 　請求項６又は７記載の像ブレ補正装置であって、
    　前記撮像装置は、握られていることを検出するグリップセンサを備え、
    　前記表示部の長手方向と前記他方の前記方向とが一致し、前記表示部の短手方向と前記一方の前記方向とが一致しており、
    　前記回転加速度成分算出部は、前記操作部材の操作によって撮像が行われ且つ前記他方の前記方向が鉛直方向となっており、前記グリップセンサによって前記撮像装置が握られていることが検出されている前記使用状態の場合には、前記中心位置に設定された前記回転軸を選択する像ブレ補正装置。
  9. 　請求項６から８のいずれか１項記載の像ブレ補正装置であって、
    　前記回転加速度成分算出部は、前記撮像装置が動画撮像モードに設定されている場合には、前記中心位置に設定された前記回転軸を選択し、前記撮像装置が静止画撮像モードに設定されている場合には、前記使用状態に基づいて前記回転軸を選択する像ブレ補正装置。
  10. 　請求項１から９のいずれか１項記載の像ブレ補正装置と、
    　前記撮像素子と、を備える撮像装置。
  11. 　撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正方法であって、
    　前記撮像素子を含む撮像装置の前記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサにより検出された加速度に含まれる、前記撮像装置が前記光軸に平行な回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出ステップと、
    　前記加速度から前記回転加速度成分を減算して得た加速度に基づいて、前記撮像画像信号の前記２つの方向におけるブレを補正するブレ補正ステップと、を備え、
    　前記回転加速度成分算出ステップでは、予め決められた複数の前記回転軸の中から、前記撮像装置の使用状態に基づいて１つの前記回転軸を選択し、前記選択した前記回転軸の回りに前記撮像装置が回転することにより生じる前記回転加速度成分を、前記回転軸回りの前記撮像装置の角速度を検出する角速度センサにより検出された角速度と、前記選択した前記回転軸から前記加速度センサまでの前記２つの方向における距離とに基づいて算出する像ブレ補正方法。
  12. 　請求項１１記載の像ブレ補正方法であって、
    　前記撮像装置は、被写体を観察するための接眼窓を備え、
    　前記複数の前記回転軸は、前記接眼窓の位置に設定された回転軸と、前記光軸と同じ位置に設定された回転軸と、を含み、
    　前記回転加速度成分算出ステップは、前記接眼窓を使用して被写体の観察が行われている前記使用状態の場合には、前記接眼窓の位置に設定された前記回転軸を選択し、前記接眼窓が未使用にて被写体の観察が行われている前記使用状態の場合には、前記光軸と同じ位置に設定された前記回転軸を選択する像ブレ補正方法。
  13. 　請求項１１記載の像ブレ補正方法であって、
    　前記複数の前記回転軸は、前記光軸と異なる位置にある２つの回転軸を含み、
    　前記回転加速度成分算出ステップは、前記２つの方向の一方の方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の一方を選択し、前記２つの方向の他方の方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の他方を選択する像ブレ補正方法。
  14. 　請求項１３記載の像ブレ補正方法であって、
    　前記複数の前記回転軸は、前記光軸と同じ位置にある回転軸を含み、
    　前記回転加速度成分算出ステップは、前記一方の前記方向が鉛直方向となる状態と、前記他方の前記方向が鉛直方向となる状態との判別が不能となる前記使用状態の場合には、前記光軸と同じ位置にある前記回転軸を選択する像ブレ補正方法。
  15. 　請求項１１から１４のいずれか１項記載の像ブレ補正方法であって、
    　前記複数の前記回転軸は、前記光軸と同じ位置にある回転軸を含み、
    　前記回転加速度成分算出ステップは、前記撮像装置が動画撮像モードに設定されている場合には、前記光軸と同じ位置にある前記回転軸を選択し、前記撮像装置が静止画撮像モードに設定されている場合には、前記使用状態に基づいて前記回転軸を選択する像ブレ補正方法。
  16. 　請求項１３記載の像ブレ補正方法であって、
    　前記撮像装置は、前記撮像光学系とは反対側の面に設けられた表示部と、前記表示部に形成されたタッチパネルと、前記表示部とは異なる位置に設けられた撮像指示を行うための操作部材と、を備え、
    　前記複数の前記回転軸は、前記２つの回転軸とは異なり且つ前記表示部の中心位置に設定された回転軸を更に含み、
    　前記回転加速度成分算出ステップは、前記タッチパネルの操作によって撮像が行われた前記使用状態の場合には、前記中心位置に設定された前記回転軸を選択し、前記操作部材の操作によって撮像が行われ且つ前記一方の前記方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の前記一方を選択し、前記操作部材の操作によって撮像が行われ且つ前記他方の前記方向が鉛直方向となる前記使用状態の場合には前記２つの回転軸の前記他方を選択する像ブレ補正方法。
  17. 　請求項１６記載の像ブレ補正方法であって、
    　前記回転加速度成分算出ステップは、前記一方の前記方向が鉛直方向となる状態と、前記他方の前記方向が鉛直方向となる状態との判別が不能となる前記使用状態の場合には、前記中心位置に設定された前記回転軸を選択する像ブレ補正方法。
  18. 　請求項１６又は１７記載の像ブレ補正方法であって、
    　前記撮像装置は、握られていることを検出するグリップセンサを備え、
    　前記表示部の長手方向と前記他方の前記方向とが一致し、前記表示部の短手方向と前記一方の前記方向とが一致しており、
    　前記回転加速度成分算出ステップは、前記操作部材の操作によって撮像が行われ且つ前記他方の前記方向が鉛直方向となっており、前記グリップセンサによって前記撮像装置が握られていることが検出されている前記使用状態の場合には、前記中心位置に設定された前記回転軸を選択する像ブレ補正方法。
  19. 　請求項１６から１８のいずれか１項記載の像ブレ補正方法であって、
    　前記回転加速度成分算出ステップは、前記撮像装置が動画撮像モードに設定されている場合には、前記中心位置に設定された前記回転軸を選択し、前記撮像装置が静止画撮像モードに設定されている場合には、前記使用状態に基づいて前記回転軸を選択する像ブレ補正方法。
  20. 　撮像光学系を通して被写体を撮像する撮像素子から出力される撮像画像信号のブレを補正する像ブレ補正プログラムであって、
    　前記撮像素子を含む撮像装置の前記撮像光学系の光軸に直交し且つ互いに直交する２つの方向の加速度を検出する加速度センサにより検出された加速度に含まれる、前記撮像装置が前記光軸に平行な回転軸の回りに回転することにより生じる回転加速度成分を算出する回転加速度成分算出ステップと、
    　前記加速度から前記回転加速度成分を減算して得た加速度に基づいて、前記撮像画像信号の前記２つの方向におけるブレを補正するブレ補正ステップと、をコンピュータに実行させるためのプログラムであり、
    　前記回転加速度成分算出ステップでは、予め決められた複数の前記回転軸の中から、前記撮像装置の使用状態に基づいて１つの前記回転軸を選択し、前記選択した前記回転軸の回りに前記撮像装置が回転することにより生じる前記回転加速度成分を、前記回転軸回りの前記撮像装置の角速度を検出する角速度センサにより検出された角速度と、前記選択した前記回転軸から前記加速度センサまでの前記２つの方向における距離とに基づいて算出する像ブレ補正プログラム。
PCT/JP2019/023132 2018-06-27 2019-06-11 像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラム Ceased WO2020004018A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020527372A JP6839788B2 (ja) 2018-06-27 2019-06-11 像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラム
US17/133,517 US11128800B2 (en) 2018-06-27 2020-12-23 Image blur correction device, imaging apparatus, image blur correction method, and image blur correction program
US17/401,075 US11765458B2 (en) 2018-06-27 2021-08-12 Image blur correction device, imaging apparatus, image blur correction method, and image blur correction program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018122366 2018-06-27
JP2018-122366 2018-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/133,517 Continuation US11128800B2 (en) 2018-06-27 2020-12-23 Image blur correction device, imaging apparatus, image blur correction method, and image blur correction program

Publications (1)

Publication Number Publication Date
WO2020004018A1 true WO2020004018A1 (ja) 2020-01-02

Family

ID=68986404

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023132 Ceased WO2020004018A1 (ja) 2018-06-27 2019-06-11 像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラム

Country Status (3)

Country Link
US (2) US11128800B2 (ja)
JP (1) JP6839788B2 (ja)
WO (1) WO2020004018A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003719A (ja) * 2003-06-09 2005-01-06 Olympus Corp 撮影装置
JP2013246401A (ja) * 2012-05-29 2013-12-09 Olympus Corp ブレ量検出装置、撮像装置、ブレ量検出方法
WO2018070468A1 (ja) * 2016-10-13 2018-04-19 富士フイルム株式会社 ブレ補正装置、撮像装置、及びブレ補正方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4667052B2 (ja) * 2005-01-27 2011-04-06 キヤノン株式会社 撮像装置並びにそのカメラ本体及び交換レンズ
US8330824B2 (en) * 2007-11-09 2012-12-11 Panasonic Corporation Camera, camera system, and camera body
JP5913960B2 (ja) * 2011-12-21 2016-05-11 キヤノン株式会社 防振制御装置及びその制御方法、及び撮像装置
EP2806308B1 (en) 2012-01-19 2016-09-07 Olympus Corporation Shaking amount detecting apparatus, image pickup apparatus, and shaking amount detecting method
JP2014164290A (ja) 2013-02-28 2014-09-08 Nikon Corp ブレ補正装置及び光学機器
JP7057628B2 (ja) * 2017-01-26 2022-04-20 Ｏｍデジタルソリューションズ株式会社 撮像装置、及び、その像ぶれ量算出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005003719A (ja) * 2003-06-09 2005-01-06 Olympus Corp 撮影装置
JP2013246401A (ja) * 2012-05-29 2013-12-09 Olympus Corp ブレ量検出装置、撮像装置、ブレ量検出方法
WO2018070468A1 (ja) * 2016-10-13 2018-04-19 富士フイルム株式会社 ブレ補正装置、撮像装置、及びブレ補正方法

Also Published As

Publication number Publication date
JPWO2020004018A1 (ja) 2021-02-15
JP6839788B2 (ja) 2021-03-10
US20210120177A1 (en) 2021-04-22
US11128800B2 (en) 2021-09-21
US11765458B2 (en) 2023-09-19
US20210377443A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
CN110462507B (zh) 抖动校正装置、可换镜头及摄像装置
CN106488116B (zh) 摄像装置
US20090128638A1 (en) Imaging apparatus
US10440273B2 (en) Imaging apparatus that displays an overlay setting screen for inputting focal length information for interchangeable lens and for quantitatively indicating a magnitude of a blur
JP2018173632A (ja) 撮像装置
CN108377322B (zh) 具有自动图像显示模式的摄像装置
JP7198976B2 (ja) 撮像装置
US8749688B2 (en) Portable device, operating method, and computer-readable storage medium
JP2016225799A (ja) 撮像装置、及び撮像装置の制御方法
US11483477B2 (en) Image blur correction device, imaging apparatus, image blur correction method, and image blur correction program
JP6839788B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法、及び像ブレ補正プログラム
WO2018230316A1 (ja) ブレ検出装置、撮像装置、レンズ装置、撮像装置本体、ブレ検出方法及びブレ検出プログラム
JP7292145B2 (ja) 回転半径演算装置および回転半径演算方法
CN116018816A (zh) 摄像装置、驱动方法及摄像程序
JP5957117B2 (ja) 携帯機器、表示方法およびプログラム
JP6061972B2 (ja) 携帯機器および制御方法
JP7734074B2 (ja) 制御装置、撮像装置、制御方法、制御プログラム
JP2020170074A (ja) 撮像装置、レンズ装置、撮像装置の制御方法およびレンズ装置の制御方法
JP2020095071A (ja) 交換レンズおよび撮像装置
JP2020095070A (ja) 撮像装置
JP7119678B2 (ja) 交換レンズ及びカメラボディ
JP6289547B2 (ja) 携帯機器、表示方法およびプログラム
JP6752634B2 (ja) 撮像装置およびその制御方法
JP5830972B2 (ja) 撮像装置、プログラム及び撮影方法
JP5750740B2 (ja) 携帯機器、プログラムおよび表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19826164

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020527372

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19826164

Country of ref document: EP

Kind code of ref document: A1