WO2010098228A2 - 撮像装置と撮像方法 - Google Patents

撮像装置と撮像方法 Download PDF

Info

Publication number
WO2010098228A2
WO2010098228A2 PCT/JP2010/052241 JP2010052241W WO2010098228A2 WO 2010098228 A2 WO2010098228 A2 WO 2010098228A2 JP 2010052241 W JP2010052241 W JP 2010052241W WO 2010098228 A2 WO2010098228 A2 WO 2010098228A2
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
image
unit
control unit
movement
Prior art date
Application number
PCT/JP2010/052241
Other languages
English (en)
French (fr)
Other versions
WO2010098228A3 (ja
Inventor
淳司 島田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2011501554A priority Critical patent/JPWO2010098228A1/ja
Priority to BRPI1008620A priority patent/BRPI1008620A2/pt
Priority to EP10746109A priority patent/EP2403232A4/en
Priority to US13/202,000 priority patent/US9942476B2/en
Priority to CN201080008509.0A priority patent/CN102326381B/zh
Publication of WO2010098228A2 publication Critical patent/WO2010098228A2/ja
Publication of WO2010098228A3 publication Critical patent/WO2010098228A3/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet

Definitions

  • the present invention relates to an imaging apparatus and an imaging method. Specifically, a plurality of captured images for generating a panoramic image can be easily obtained.
  • Imaging is performed by moving an imaging region little by little, and frame (or field) images are continuously recorded from the imaging start point. To do. Then, overlapping portions of the captured images that are adjacent to each other are extracted from the recorded captured images, and a predetermined calculation is performed on the overlapping portions, so that the respective captured images are seamlessly combined and panoramic. An image is generated.
  • the user performs imaging while moving the imaging direction in the horizontal direction, and records a plurality of captured images.
  • a horizontally long panoramic image can be obtained by seamlessly connecting the captured images while applying appropriate processing to the overlapped portions of the captured images.
  • the optical axis variable element is changed in the direction opposite to the moving direction of the imaging direction at the time of imaging, and the shutter is opened while the optical axis is linearly moved, and the optical axis is quickly changed while the shutter is closed.
  • a plurality of captured images are recorded by repeating the operation of restoring the original. In this way, even if the imaging apparatus is moved quickly, the resolution is not deteriorated, and a good panoramic image can be generated without increasing the shutter speed.
  • the imaging apparatus is provided with a camera shake correction function for changing the optical axis according to camera shake to prevent image blur due to camera shake.
  • the camera shake correction function is a function for preventing image blur due to camera shake, and is not a function for generating a captured image used for a panoramic image.
  • an object is to provide an imaging apparatus and an imaging method that can easily obtain a plurality of captured images for generating a panoramic image.
  • a drive unit that displaces at least one of the lens unit and the image sensor with respect to the optical axis, and at least one of the lens unit and the image sensor according to the movement of the imaging device.
  • Each of the imaging units when generating the plurality of captured images while moving the imaging direction to generate a panoramic image from the plurality of captured images.
  • the position of the lens unit and / or the imaging element at the start of image exposure is displaced in a direction corresponding to the moving direction of the imaging direction.
  • the shake correction range is widened by displacing in the direction corresponding to the moving direction of the imaging direction within the plane perpendicular to the optical axis from the position, and using the displaced position as the start operation for shake correction. . Further, the position at the start of exposure is displaced in accordance with the displacement of the correction operation start position, and at least one of the lens unit or the image sensor is displaced from the position centered on the optical axis, and the opposite position is set as the exposure start position.
  • the displaced lens unit and / or the imaging device is moved according to the movement of the imaging device, and the movement of the imaging device with respect to the optical image formed on the imaging surface of the imaging device.
  • the shake is corrected according to.
  • the imaging mode is different from the imaging mode for generating a plurality of captured images in order to generate a panoramic image
  • exposure is started with the positions of the lens unit and the imaging element as the center of the optical axis.
  • a step of displacing at least one of the lens unit and the image sensor with respect to the optical axis by the driving unit, and an imaging of the lens unit and the imaging unit by the control unit according to the movement of the imaging device A step of displacing at least one of the elements by the drive unit, and the generation of the plurality of captured images while moving the imaging direction to generate a panoramic image from the plurality of captured images.
  • the imaging method includes a step of displacing the position of the lens unit and / or the imaging element at the start of exposure of each captured image in a direction corresponding to the moving direction of the imaging direction.
  • At least one of the lens unit and the image sensor is displaced with respect to the optical axis by the drive unit.
  • the lens unit and / or the image sensor at the start of exposure of each captured image The position is displaced by the drive unit in the direction corresponding to the moving direction of the imaging direction by the control unit.
  • the control unit controls the displacement of the displaced lens unit and / or image sensor by the drive unit in accordance with the movement of the image capturing apparatus, and corrects the shake caused by the movement in the image capturing direction. Is called. Therefore, shake correction suitable for generating a panoramic image can be performed, and a plurality of captured images for generating a panoramic image can be easily obtained.
  • First embodiment 1-1 Configuration of imaging apparatus 1-2. Appearance of imaging apparatus 1-3. Operation of imaging apparatus 1-4. Example of panorama image generation (in right sweep mode) 2. Second embodiment 2-1. Configuration of imaging apparatus 2-2. Configuration of pan head 2-3. Operation of the imaging device
  • FIG. 1 is a diagram illustrating the configuration of the first embodiment.
  • the imaging apparatus 10 includes an imaging optical system block 11, a driver 12, an imaging optical system sensor unit 13, an imaging element 21, a timing signal generation (TG) unit 22, an analog front end (AFE) unit 23, a signal processing unit 24, and a detection unit. 25. Furthermore, the imaging apparatus 10 includes an image output unit 31, a display unit 32, a recording / playback unit 33, an operation unit 41, a motion detection unit 42, and a control unit 50.
  • the imaging optical system block 11 includes a lens unit 11a and a diaphragm mechanism 11b that adjusts the amount of light of an optical image formed on the imaging surface of the imaging element 21.
  • the lens unit 11a is, for example, a zoom lens 111 that performs zooming, a focus lens 112 that performs focusing, and a correction lens unit 113 that moves the position of an optical image formed on the imaging surface of the imaging device 21 described later on the imaging surface. It is configured.
  • the correction lens unit 113 includes, for example, a correction lens provided so that the optical axis coincides with the optical axis of the imaging optical system, and an actuator that moves the correction lens in a direction orthogonal to the optical axis of the imaging optical system. It is configured.
  • the correction lens unit 113 having such a configuration displaces the correction lens from a position around the optical axis in a plane perpendicular to the optical axis of the imaging optical system by an actuator.
  • the correction lens unit 113 may use a variable apex angle prism unit.
  • the variable apex angle prism unit is provided with a translucent entrance end plate and an exit end plate on the end face of a bendable cylinder such as a bellows, and a translucent liquid having a desired refractive index is enclosed in the cylinder. Is.
  • a bendable cylinder such as a bellows
  • a translucent liquid having a desired refractive index is enclosed in the cylinder.
  • the lens unit 11a is configured to form an optical image on the imaging surface, and images the position of the optical image formed on the imaging surface by displacing in a plane perpendicular to the optical axis. Other configurations may be used as long as they can move on the surface. Accordingly, the lens unit 11 a is not limited to the case where the zoom lens 111, the focus lens 112, and the correction lens unit 113 are configured.
  • the driver 12 drives the actuators of the zoom lens 111, the focus lens 112, and the correction lens unit 113 based on a lens control signal from the control unit 50 described later.
  • the driver 12 drives the aperture mechanism 11b based on the aperture control signal from the control unit 50.
  • the imaging optical system sensor unit 13 detects the lens positions of the zoom lens 111 and the focus lens 112, the displacement state of the correction lens unit 113 (equivalent to the displacement position and correction angle of the correction lens unit 113), and the set position of the aperture mechanism 11b. Then, the position signal is supplied to the control unit 50.
  • the image sensor 21 is an image sensor such as a CCD (Charge Coupled Devices) or CMOS (Complementary Metal Oxide Semiconductor) type image sensor.
  • the imaging element 21 converts the optical image formed on the imaging surface by the imaging optical system block 11 into an electrical signal and outputs the electrical signal to the AFE unit 23.
  • the TG unit 22 generates various drive pulses necessary for outputting an electrical signal indicating a captured image by the image sensor 21, an electronic shutter pulse that controls the charge accumulation time of the image sensor 21, and the like.
  • the AFE unit 23 performs noise removal processing such as CDS (Correlated Double Sampling) processing on the electrical signal (image signal) output from the image sensor 21, or AGC (Automatic Gain Control) using the imaging signal as a desired signal level. Process. Further, the AFE unit 23 converts an analog image pickup signal subjected to noise removal processing and gain control into a digital signal and outputs the digital signal to the signal processing unit 24.
  • CDS Correlated Double Sampling
  • AGC Automatic Gain Control
  • the signal processing unit 24 performs camera signal preprocessing, camera signal processing, resolution conversion processing, compression / decompression processing, and the like.
  • the image signal supplied from the AFE unit 23 is subjected to a defect correction process for correcting a signal of a defective pixel in the image sensor 21, a shading correction process for correcting a peripheral light loss of the lens, and the like.
  • processing such as white balance adjustment and brightness correction is performed.
  • a digital camera or the like is configured to obtain a red, green, and blue signal with a single image sensor by providing a color filter array on the front surface of the image sensor. is there.
  • a demosaic process is performed in the camera signal process, and a missing color signal is generated in each pixel by interpolation or the like using signals of surrounding pixels.
  • the image signal that has undergone camera signal processing or the image signal that has been subjected to decompression decoding is converted to a predetermined resolution.
  • an image signal after camera signal processing or an image signal subjected to resolution conversion processing is compression-encoded to generate, for example, a JPEG encoded signal.
  • a JPEG encoded signal is decompressed and decoded.
  • the compression / decompression process may be performed by compressing and encoding the image signal of a still image by a method different from the JPEG method.
  • a moving image signal may be compressed and encoded by a moving image compression method.
  • the signal processing unit 24 calculates a motion vector using the captured image, and a plurality of images of the same subject are overlapped using the calculated motion vector.
  • a panoramic image is generated by combining the captured images.
  • a motion detection signal from the motion detection sensor may be used for the synthesis of the captured image. In this case, even if the motion vector is not obtained correctly, it is possible to synthesize a plurality of captured images so that the images of the same subject overlap using the motion detection signal.
  • the captured image used for generating the panoramic image is written to a recording medium by a memory (not shown) or a recording / reproducing unit 33 described later. Further, the generation of the panoramic image may be performed at the time of imaging or reproduction.
  • the panorama image may be generated by an external device different from the imaging device 10, such as a computer.
  • identification information that enables generation of the panoramic image during playback or with the external device (for example, information indicating a series of captured images or information indicating the imaging order) are provided for a captured image used for generating a panoramic image.
  • the detection unit 25 detects the brightness level and focus state of the subject using the imaging signal and the like supplied to the signal processing unit 24, generates a detection signal indicating the brightness level and focus state, and generates the detection signal. To supply.
  • the image output unit 31 converts the image signal processed by the signal processing unit 24 into an image signal having a format corresponding to an external device connected to the imaging device 10 and outputs the image signal.
  • the display unit 32 displays an image captured by the imaging device 10 and a captured image reproduced by the recording / reproducing unit 33.
  • the display unit 32 also displays a menu for setting the imaging device 10 and the like.
  • the recording / reproducing unit 33 for example, a recording medium such as a flash memory, an optical disk, or a magnetic tape is used.
  • the recording / reproducing unit 33 records the image signal and the encoded signal of the captured image output from the signal processing unit 24 on a recording medium.
  • the recording / reproducing unit 33 reads the image signal recorded on the recording medium and supplies the image signal to the image output unit 31 or the display unit 32, or reads the encoded signal recorded on the recording medium to read the signal processing unit.
  • the process which supplies to 24 is performed.
  • the recording / reproducing unit 33 is not limited to the configuration in which the recording medium is detachable. For example, a hard disk device or the like may be incorporated as the recording / reproducing unit 33.
  • the operation unit 41 includes operation buttons, a touch panel provided on the screen of the display unit 32, and the like.
  • the operation unit 41 generates an operation signal corresponding to a user operation and supplies the operation signal to the control unit 50.
  • the motion detection unit 42 is configured using, for example, a gyro sensor that detects the motion of the imaging device 10.
  • the motion detection sensor includes a yawing angular velocity detection sensor that detects, for example, an angular velocity according to a shake in the yawing direction, and a pitching angular velocity detection sensor that detects, for example, an angular velocity according to a shake in the pitching direction.
  • the motion detection unit 42 is provided with a processing circuit that performs signal processing of the detection signal. In the processing circuit, for example, unnecessary signal components such as a noise component and a frequency component higher than the signal component of the angular velocity value, a resonance frequency component, etc. are removed from the detection signal.
  • the processing circuit performs correction of drift caused by temperature change and time change, processing for converting the detection signal into a digital signal and supplying it to the control unit 50, and the like.
  • the control unit 50 may be configured to convert the motion detection signal into a digital signal.
  • the motion detection unit 42 is not limited to being configured using an angular velocity detection sensor.
  • motion detection may be performed using an acceleration detection sensor or the like.
  • the speed can be calculated by integrating the output of the acceleration detection sensor.
  • the motion can be calculated by integrating the speed.
  • the control unit 50 includes a CPU (Central Processing Unit), a memory, and the like.
  • the memory stores programs executed by the CPU and various data.
  • a nonvolatile memory such as an EEPROM (ElectronicallynErasable and Programmable ROM) or a flash memory is used.
  • the CPU of the control unit 50 executes a program stored in the memory, and the operation of the imaging device 10 corresponds to a user operation based on various data stored in the memory and operation signals supplied from the operation unit 41. Each part is controlled so that it becomes operation.
  • the control unit 50 controls the operation of the TG unit 22 and the like, and an encoded signal of a still image captured at a desired shutter speed is recorded on the recording medium of the recording / reproducing unit 33.
  • an encoded signal of a still image captured at a desired shutter speed is recorded on the recording medium of the recording / reproducing unit 33.
  • control unit 50 performs an imaging operation or the like in the mode selected by the user.
  • control unit 50 generates a lens control signal and an aperture control signal based on the position signal supplied from the imaging optical system sensor unit 13 and the detection signal supplied from the detection unit 25 and supplies the lens control signal and the aperture control signal to the driver 12. Accordingly, the focus lens 112 and the aperture mechanism 11b are driven by the driver 12 so that a captured image with a desired brightness is obtained.
  • control unit 50 when the user performs a zoom operation, the control unit 50 generates a lens control signal and supplies it to the driver 12, thereby driving the zoom lens 111 so that a captured image with a desired zoom ratio is obtained.
  • the control unit 50 displaces at least one of the correction lens of the correction lens unit 113 and the imaging device 21 according to the movement of the imaging device 10 detected by the motion detection unit 42. .
  • the control unit 50 displaces at least one of the correction lens and the image pickup device, so that the optical image formed on the image pickup surface of the image pickup device 21 may be shaken according to the movement of the image pickup apparatus. Correct the shake so that it does not occur. That is, the control unit 50 corrects the shake of the captured image caused by the movement of the imaging device by displacing at least one of the correction lens and the imaging element according to the movement of the imaging device 10.
  • FIG. 2 is a diagram for explaining the relationship between the movement of the imaging device and the position of the optical image formed on the imaging surface of the imaging device.
  • the position of the imaging device 80 is set so that the optical image OBb of the subject OBa is at the center position of the imaging surface of the imaging element 82.
  • the position of the optical image OBb formed on the imaging surface is set on the imaging surface. Move from the center position.
  • FIG. 2A the position of the imaging device 80 is set so that the optical image OBb of the subject OBa is at the center position of the imaging surface of the imaging element 82.
  • the optical image OBb is formed at the center position of the imaging surface. Can be made. Further, as shown in FIG. 2D, when the image sensor 82 is moved in the direction of the arrow FC, which is the same direction as the movement direction of the imaging device 80, the optical image OBb is formed at the center position of the imaging surface. Can do. That is, the shake of the captured image caused by the movement of the imaging device 80 can be corrected by displacing at least one of the lens unit 81 and the imaging element 82 according to the movement of the imaging device 80.
  • the displacement direction when the lens unit 81 and the image sensor 82 are displaced in accordance with the movement of the imaging device 80 may be any direction that corrects the movement of the optical image OBb caused by the movement of the imaging device 80, as shown in FIG. It is not restricted to the direction shown to (C) or (D) of FIG.
  • the control unit 50 in FIG. 1 performs lens control for displacing the correction lens of the correction lens unit 113 based on the detection signal from the motion detection unit 42 so that the shake of the captured image does not occur.
  • a signal is generated and supplied to the driver 12.
  • the driver 12 generates a drive signal based on the lens control signal and outputs it to the correction lens unit 113.
  • the correction lens unit 113 displaces the correction lens by an actuator based on the drive signal. In this way, by driving the correction lens unit 113 based on the motion detection signal from the motion detection unit 42, the correction lens of the correction lens unit 113 is displaced with respect to the optical axis to perform shake correction.
  • the image pickup apparatus 10 when shake correction is performed by displacing the image pickup device 21, the image pickup apparatus 10 is provided with an actuator 21a that moves the image pickup device 21 in a direction orthogonal to the optical axis, as shown by a dotted line in FIG. Furthermore, the control unit 50 generates a position control signal for displacing the image sensor 21 so as not to cause a shake of the captured image based on the detection signal from the motion detection unit 42 and supplies the position control signal to the driver 12.
  • the driver 12 generates a drive signal based on the position control signal and outputs it to the actuator 21a.
  • the actuator 21a displaces the image sensor 21 based on the drive signal. In this way, by driving the actuator 21a based on the motion detection signal from the motion detection unit 42, the image pickup device 21 is displaced with respect to the optical axis, and an optical image formed on the image pickup surface of the image pickup device. Perform shake correction.
  • control unit 50 shifts the correction lens and / or the imaging element when generating each image of the plurality of captured images while moving the imaging direction in order to generate a panoramic image from the plurality of captured images.
  • the correction operation start position is displaced from a position around the optical axis in a direction corresponding to the moving direction of the imaging direction. Therefore, the correction possible range of shake correction with respect to movement in the imaging direction is wider than when the correction operation start position is a position centered on the optical axis.
  • control unit 50 drives the correction lens and / or the image sensor in accordance with the movement of the imaging device from the correction operation start position, the control unit 50 corrects the movement when there is no delay with respect to the movement of the imaging device. Exposure is started with the position at the start of operation as the position at the start of exposure. In addition, when the movement of the correction lens and / or the imaging element is delayed with respect to the movement of the imaging apparatus at the start of driving, the control unit 50 follows the movement of the correction lens and / or the imaging element with respect to the movement of the imaging apparatus. The exposure is started after entering the state.
  • the time required for the movement of the correction lens and / or the image sensor to follow the movement of the imaging device is short, and the position at the start of exposure is in the vicinity of the correction operation start position and is centered on the optical axis. The position displaced in the direction corresponding to the moving direction of the imaging direction from the position.
  • the control unit 50 moves the correction lens and / or the image sensor in accordance with the movement of the imaging device during the exposure period, thereby setting a shake correction operation for correcting the shake according to the movement of the imaging device as an operating state. A captured image that does not cause movement blur is generated.
  • FIG. 3 illustrates the appearance of the imaging device 10.
  • a display unit 32 is provided on the back surface of the casing of the imaging apparatus 10, and an operation unit 41 is provided in the vicinity of the display unit 32.
  • the operation unit 41 includes a plurality of operation keys and the like.
  • the menu key 411 is an operation key for displaying a menu on the display unit 32.
  • the direction keys 412a to 412d are operation keys that are operated when selecting a menu item or the like.
  • a determination key 413 provided at the center of the direction keys 412a to 412d is an operation key that is operated when performing a determination operation or the like of a selected item.
  • a shutter key 415 provided on the upper surface of the housing is an operation key for performing a shutter operation.
  • operation unit 41 illustrated in FIG. 3 is an example, and the position and type of the key are not limited to this example. Further, a touch panel may be provided on the screen of the display unit 32 so that various operations can be set and instructions for execution can be performed by touching a predetermined position of the display unit 32.
  • FIG. 4 is a flowchart showing the operation of the first embodiment. 4 shows a first imaging mode (hereinafter referred to as “panoramic imaging”) in which the imaging apparatus 10 generates a plurality of captured images while moving the imaging direction in order to generate a panoramic image from a plurality of captured images. Mode ”) and a second imaging mode (hereinafter referred to as“ normal imaging mode ”) different from the first imaging mode.
  • the second imaging mode is, for example, an imaging mode for generating one captured image, or an exposure amount so that a captured image with a desired brightness can be obtained for the person and the background when imaging is performed at night or the like.
  • This is an imaging mode that is different from the first imaging mode, such as an imaging mode (so-called night view mode) in which a plurality of captured images having different image sizes are overlapped with each other by increasing the ratio of any image.
  • step ST1 the control unit 50 determines whether or not the imaging mode is the panoramic imaging mode.
  • the control unit 50 performs the menu display GA on the display unit 32.
  • FIG. 5 illustrates a state in which menu display is performed on the display unit 32.
  • the control unit 50 switches modes in accordance with the operation of the direction key 412a indicating the upward direction or the direction key 412c indicating the downward direction, and displays the selected imaging mode in an identifiable manner.
  • the control unit 50 provides a cursor display GB, and moves the position of the cursor display GB up and down in accordance with the operation of the direction keys 412a and 412c, so that the selected imaging mode can be identified.
  • control unit 50 sets the imaging mode selected when the enter key 413 is operated to the imaging mode of the imaging device 10.
  • control unit 50 proceeds to step ST2 when the panorama imaging mode MP is selected as the imaging mode, and proceeds to step ST14 when the imaging mode is set to an imaging mode different from the panorama imaging mode.
  • step ST2 the control unit 50 determines whether or not the right sweep mode is set.
  • the control unit 50 displays the sweep mode selection image GC as shown in FIG.
  • the control unit 50 switches the sweep mode in accordance with the operation of the direction key 412b indicating the left direction or the direction key 412d indicating the right direction, and displays the selected sweep mode in an identifiable manner.
  • the selected sweep mode can be easily identified by displaying the arrow of the selected sweep mode in a color, brightness, or the like different from the arrow display of the other sweep modes.
  • the control unit 50 determines that the right sweep mode is selected when the direction key 412d indicating the right direction is operated after the sweep mode selection image GC is displayed.
  • the control unit 50 makes the arrow display indicating the right direction different from the arrow display indicating the other direction in the sweep mode selection image GC as shown in FIG. .
  • the control unit 50 determines that the left sweep mode has been selected.
  • the control unit 50 displays the arrow display indicating the left direction in the sweep mode selection image GC different from the arrow display in the other sweep modes, as shown in FIG. To do.
  • the control unit 50 determines that the upward sweep mode is selected.
  • the control unit 50 displays the arrow display indicating the upward direction in the sweep mode selection image GC different from the arrow display in the other sweep modes, as shown in FIG. To do.
  • the control unit 50 determines that the downward sweep mode has been selected.
  • the control unit 50 displays the arrow indicating the downward direction in the sweep mode selection image GC as a display different from the arrows displayed in the other sweep modes. To do.
  • the control unit 50 switches the sweep mode to the sweep mode located on the left side.
  • control unit 50 switches the sweep mode according to the operation of the direction keys 412b and 412d, and sets the sweep mode selected when the enter key 413 is operated to the sweep mode in the panoramic imaging mode. To do.
  • the control unit 50 proceeds to step ST3 when determining that the right sweep mode is set, and proceeds to step ST4 when determining that the other sweep mode is set.
  • step ST3 the control unit 50 performs the right sweep mode optical position setting.
  • the right sweep mode optical position setting when the imaging direction of the imaging device 10 is moved to the right, at least one of the lens unit and the imaging element is displaced with respect to the optical axis in a direction corresponding to the moving direction of the imaging direction. Let it be the correction operation start position.
  • the control unit 50 sets the correction operation start position in this way, thereby widening the correction range of shake correction for the rightward sweep.
  • the control unit 50 sets the lens unit and the imaging device to predetermined positions, for example, the center position of the lens unit and the imaging device as the optical axis position.
  • the control unit 50 displaces at least one of the lens unit and the imaging device with respect to the optical axis according to the sweep mode. For example, when a right sweep is performed during imaging and the imaging direction is moved to the right, the imaging apparatus 10 moves the correction lens to the left so that the position of the subject in the optical image on the imaging surface is in the right direction. It can be corrected so as not to move in accordance with the sweep. In this case, the control unit 50 displaces the correction lens 113a of the correction lens unit 113 from the position of the optical axis to the right as shown in FIG. Therefore, the range in which correction can be performed by moving the correction lens is wider than the state before displacement. Further, the process proceeds to step ST9 with the position after displacement as the correction operation start position. In FIG. 6B, the position indicated by the dotted line AR indicates the position of the correction control end of the correction lens 113a.
  • step ST4 the control unit 50 determines whether or not the left sweep mode is set. When it is determined that the left sweep mode has been set, the control unit 50 proceeds to step ST5, and when it is determined that another sweep mode (upward sweep mode or downward sweep mode) has been set, the control unit 50 proceeds to step ST6.
  • step ST5 the control unit 50 performs the left sweep mode optical position setting.
  • the left sweep mode optical position setting when the imaging direction of the imaging device 10 is moved to the left, at least one of the lens unit and the imaging element is displaced with respect to the optical axis in a direction corresponding to the moving direction of the imaging direction. Let it be the correction operation start position.
  • the control unit 50 sets the correction operation start position in this manner, thereby widening the correction range for shake correction with respect to the left sweep. For example, when a left sweep is performed during imaging and the imaging direction is moved to the left, the imaging apparatus 10 moves the correction lens to the right so that the position of the subject in the optical image on the imaging surface is swept to the left. It can be corrected so as not to move in accordance with.
  • control unit 50 moves the correction lens to widen the range that can be corrected, so that the correction lens 113a is moved to the center position by the actuator 113b as shown in FIG. Displace leftward (position around the optical axis). Further, the process proceeds to step ST9 with the position after displacement as the correction operation start position.
  • step ST6 the control unit 50 determines whether or not the upward sweep mode is set. When it is determined that the upward sweep mode has been set, the control unit 50 proceeds to step ST7, and when it is determined that another sweep mode (downward sweep mode) has been set, the control unit 50 proceeds to step ST8.
  • step ST7 the control unit 50 performs the upward sweep mode optical position setting.
  • the upward sweep mode optical position setting when the imaging direction of the imaging device 10 is moved upward, at least one of the lens unit and the imaging element is displaced with respect to the optical axis in a direction corresponding to the moving direction of the imaging direction. Let it be the correction operation start position.
  • the control unit 50 sets the correction operation start position in this manner, thereby widening the correction range for shake correction with respect to the upward sweep. For example, when the imaging direction is moved upward by performing an upward sweep during imaging, the imaging device 10 moves the correction lens downward so that the position of the subject in the optical image on the imaging surface is upward. It can be corrected so as not to move in accordance with the sweep.
  • control unit 50 moves the correction lens to widen the range in which correction can be performed, so that the correction lens 113a of the correction lens unit 113 is moved according to the lens control signal as shown in FIG.
  • the actuator 113b is displaced upward from the center position. Further, the process proceeds to step ST9 with the position after displacement as the correction operation start position.
  • step ST8 the control unit 50 performs the downward sweep mode optical position setting.
  • the downward sweep mode optical position setting when the imaging direction of the imaging device 10 is moved downward, at least one of the lens unit and the imaging element is displaced with respect to the optical axis in a direction corresponding to the moving direction of the imaging direction. Let it be the correction operation start position.
  • the control unit 50 sets the correction operation start position in this manner, thereby widening the correction range of shake correction for the downward sweep. For example, when performing a downward sweep during imaging to move the imaging direction downward, the imaging apparatus 10 moves the correction lens upward so that the position of the subject in the optical image on the imaging surface is swept downward. It can be corrected so as not to move in accordance with.
  • control unit 50 moves the correction lens to widen the range in which correction can be performed, so that the correction lens 113a of the correction lens unit 113 is moved according to the lens control signal as shown in FIG.
  • the actuator 113b is displaced downward from the center position. Further, the process proceeds to step ST9 with the position after displacement as the correction operation start position.
  • step ST9 the control unit 50 gives a sweep direction instruction.
  • the control unit 50 displays the sweep instruction image indicating the sweep direction on the display unit 32 so that the imaging direction is moved in the direction corresponding to the sweep mode, notifies the user of the movement direction, and proceeds to step ST10.
  • step ST10 the control unit 50 starts a shutter operation and proceeds to step ST11.
  • the shutter operation is started based on the operation of the shutter key 415 or a motion detection signal. For example, when the control unit 50 detects that the shutter key 415 has been pressed, the control unit 50 starts the shutter operation.
  • the shutter operation can be automatically started.
  • the control unit 50 starts the shutter operation when detecting based on the motion detection signal that the direction of the imaging device 10 has moved in the moving direction notified in step ST9. In this way, the user can start the shutter operation only by moving the direction of the imaging device 10 in the notified direction without operating the shutter key 415.
  • the shutter operation is started when it is detected that the shutter key 415 has been pressed, if the camera apparatus shakes due to the operation of the shutter key 415, the influence of the shake may appear in the panoramic image. is there.
  • the shutter operation is started using the motion detection signal, it is not necessary to operate the shutter key 415. Therefore, it is possible to easily obtain a panoramic image that is not affected by the blur due to the shutter operation.
  • step ST11 the control unit 50 performs a captured image generation process.
  • the control unit 50 drives the correction lens 113a, which is the correction operation start position, according to the motion detection signal, and performs correction (sweep correction) for shake caused by the sweep operation.
  • the control unit 50 starts exposure with the correction operation start position as the position at the start of exposure. Further, the control unit 50 exposes a position where the movement of the correction lens 113a follows the movement of the imaging device when the movement of the correction lens 113a is delayed with respect to the movement of the imaging device at the start of the correction operation. Exposure is started as a starting position.
  • the position at the start of exposure is in the vicinity of the correction operation start position, and is a position displaced in a direction corresponding to the moving direction of the imaging direction from the position around the optical axis.
  • the control unit 50 sets the shake correction operation to the operation state during the exposure period, thereby generating a captured image that is not blurred by the sweep operation even when the imaging device 10 is swept, and proceeds to step ST12.
  • the control unit 50 widens the correctable range by displacing the correction operation start position in the moving direction of the imaging direction.
  • the position at the start of exposure is displaced with the displacement of the correction operation start position, and the position at the start of exposure is in accordance with the movement of the imaging device 10 as compared with the case where the position at the start of exposure is a position centered on the optical axis.
  • the period during which shake correction is possible can be lengthened. In other words, since the period during which shake correction can be performed in accordance with the movement of the imaging device 10 can be extended, even if the exposure period is increased because the subject is dark, the captured image in which no blurring due to the movement of the imaging device 10 occurs. Can be generated.
  • step ST12 the control unit 50 determines whether or not the shutter operation has been completed.
  • the controller 50 returns to step ST11 when determining that the shutter operation has not been completed, and proceeds to step ST13 when determining that the shutter operation has been completed.
  • the control unit 50 returns the correction lens 113a to the correction operation start position between the exposure period of the captured image and the exposure period of the next captured image. Thereafter, the control unit 50 drives the correction lens 113a again according to the motion detection signal, and generates an image that is not blurred even when the imaging device 10 is swept.
  • the control unit 50 ends the shutter operation when the movement amount reaches a predetermined amount set in advance, for example.
  • the amount of movement can be calculated using, for example, a motion vector. Further, the control unit 50 may determine the sweep amount from the motion detection signal, and end the shutter operation when the sweep amount reaches a predetermined amount. Further, when it is detected that the shutter key 415 has been pressed and the shutter operation is started, the shutter operation may be terminated when it is detected that the shutter key 415 has not been pressed. it can. Further, when the control unit 50 detects that the direction of the imaging device 10 has moved in the notified movement direction based on the motion detection signal and starts the shutter operation, the direction of the imaging device 10 moves in the notified movement direction. When it stops, the shutter operation can be ended.
  • step ST13 the control unit 50 performs a captured image composition process.
  • the control unit 50 controls the signal processing unit 24 to calculate a motion vector using a plurality of captured images generated by the processes of step ST11 and step ST12 in the generation order. Further, the control unit 50 combines a plurality of captured images so that the images of the same subject overlap based on the calculated motion vector, and generates a plurality of panoramic images having a wider imaging range than one captured image. It produces
  • step ST1 when it is determined in step ST1 that the imaging mode is set to a mode different from the panorama imaging mode and the process proceeds to step ST14, the control unit 50 performs a captured image generation process.
  • the control unit 50 drives the correction lens 113a, which is the correction operation start position, that is, the position centered on the optical axis, according to the motion detection signal, and corrects camera shake at the time of imaging (camera shake correction).
  • the control unit 50 generates an image that is not blurred due to camera shake according to the operation of the shutter key 415, and proceeds to step ST15.
  • FIG. 10B shows the correction operation start position of the correction lens unit 113 when the normal imaging mode MN is set.
  • the correction operation start position is set to a predetermined position so that the camera shake can be corrected regardless of which direction the camera shake occurs.
  • the center position of the movable range of the correction lens unit 113 that is, the position around the optical axis is set as the correction operation start position. In this way, by not displacing the correction operation start position, it is possible to correct camera shake regardless of which direction the camera shake is.
  • the control unit 50 generates a predetermined number of captured images according to the operation of the shutter key 415.
  • step ST15 the control unit 50 causes the recording / playback unit 33 to record the panoramic image generated in step ST13 or the captured image generated in step ST14 on a recording medium.
  • the control unit 50 records the captured image as described above, and the operation mode is switched to another mode, for example, a playback mode for reproducing the recorded captured image, or when the operation of the image capturing apparatus is ended. Then, the imaging mode is terminated.
  • the control unit 50 determines the correction operation start position when generating each captured image, and the direction in which at least one of the lens unit and the image sensor moves in the imaging direction with respect to the optical axis. Displace in the direction according to. Further, the control unit 50 displaces the correction operation start position to set a wide correction range for shake correction with respect to movement in the imaging direction. In addition, the control unit 50 moves the displaced lens unit and / or imaging device in accordance with the movement of the imaging device. Further, the position at the start of exposure is displaced with the displacement of the correction operation start position. Therefore, the exposure period during which a captured image without blurring can be generated can be made longer than when the image is not displaced.
  • shake correction with respect to the imaging direction is improved, and shake correction suitable for generating a panoramic image is performed.
  • generation of a captured image that is not blurred even when the exposure time is extended Even if the sweep speed is high, it is possible to generate a captured image that is not blurred.
  • restrictions such as the brightness of the subject and the sweep speed are reduced, and a plurality of captured images for generating a panoramic image can be easily obtained.
  • the imaging apparatus 10 can reduce the processing in the imaging apparatus 10 by not performing the captured image synthesis process in step ST13.
  • the imaging mode of the imaging device 10 is the panoramic imaging mode and the right sweep mode
  • the user sweeps the orientation (imaging direction) of the imaging device 10 to the right as shown by an arrow A as shown in FIG. .
  • FIG. 12 is a diagram for explaining the operation when the right sweep mode is set.
  • the control unit 50 displays a sweep direction instruction GE indicating a right sweep operation, as shown in FIG. By displaying on the unit 32, the user is notified of the sweep direction. Since the right sweep mode is set, the control unit 50 changes the position of the correction lens 113a to the right from the center position that is centered on the optical axis, as shown in FIG. To the correction operation start position. Further, the control unit 50 starts shake correction from the correction operation start position.
  • FIG. 13 shows captured image generation processing.
  • FIG. 13A shows the movement of the correction lens 113a.
  • the control unit 50 drives the correction lens 113a, which is the correction operation start position, according to the motion detection signal. Therefore, the correction lens 113a moves to the left from the correction operation start position in order to prevent image shake due to the right sweep.
  • control unit 50 starts exposure at the start of the correction operation or after the start of the correction operation, and generates a captured image. Further, the control unit 50 drives the correction lens 113a according to the motion detection signal and moves the correction lens 113a according to the movement of the imaging device by setting the shake correction operation as an operating state during the exposure period, thereby moving the correction lens 113a according to the movement of the imaging device.
  • the shake of the optical image formed on the image pickup surface 21 is corrected. Therefore, as shown in FIG. 13B, the imaging device 10 can generate a captured image PG1 that is not blurred even when a right sweep is performed.
  • the correction operation start position of the correction lens 113a is displaced rightward from the center position, the correction range for shake correction with respect to movement in the imaging direction is wider than when the correction operation start position is not displaced. Become. Therefore, when the sweep speed is the same in the case where the correction operation start position is displaced and in the case where the correction operation start position is not displaced, the captured image without blur is generated by displacing the position at the start of exposure along with the displacement of the correction operation start position. Can be made longer than the case where the exposure period during which the image can be generated is not displaced.
  • the exposure time is the same when the position at the start of exposure is displaced and when the position at the start of exposure is not displaced, the position at the start of exposure is displaced to generate a captured image without blurring.
  • the possible sweep speed can be made faster than when no displacement is present.
  • the control unit 50 When the control unit 50 generates one captured image and the shutter operation has not been completed, the control unit 50 starts correcting the correction lens 113a between the exposure period of the captured image PG1 and the exposure period of the next captured image. Return to position. Thereafter, the control unit 50 drives the correction lens 113a again from the correction operation start position according to the motion detection signal.
  • a period during which processing for returning the correction lens 113a to the correction operation start position is performed is indicated as a period RP. In this way, by returning the correction lens 113a to the correction operation start position and then driving again according to the motion detection signal, it is possible to generate a captured image PG2 that is not blurred even when the imaging device 10 is swept.
  • the sequentially generated captured images PG1 to PG5 are images in which the imaging directions are sequentially switched to the right as shown in FIG.
  • the signal processing unit 24 calculates a motion vector from the sequentially generated captured images PG1 to PG5 or detects a motion vector based on a motion detection signal. In addition, the signal processing unit 24 aligns the captured images PG1 to PG5 so that the images of the subject overlap each other based on the motion vector, and synthesizes the captured images PG1 to PG5 so that the captured image is more than one captured image.
  • a panoramic image shown in FIG. 13C with a wide imaging range can be generated.
  • the control unit 50 displaces the correction lens 113a to the right as shown in FIG.
  • the correction range becomes wider.
  • the control unit 50 displaces at least one of the lens unit and the image sensor in accordance with the motion detected by the motion detection sensor from this state. For this reason, for example, since the subject is dark, it is possible to generate a captured image that is not blurred even if the exposure time is increased. Further, it is possible to generate a captured image that is not blurred even when the sweep speed in the right direction is high. Furthermore, restrictions such as the brightness of the subject and the sweep speed are reduced, and a panoramic image can be easily generated.
  • the second embodiment shows a case where the movement of the imaging device is clear.
  • the imaging direction of the imaging apparatus is automatically moved by the pan / tilt head.
  • movement control information indicating which direction the imaging direction is moved (or rotated) and at what speed is used for imaging. If the apparatus has, it is possible to determine the movement of the imaging apparatus without using a movement detection signal from the movement detection sensor.
  • the imaging apparatus generates a lens control signal and a position control signal based on the movement control information, thereby correcting shake due to the movement of the imaging apparatus and generating a panoramic image, as in the first embodiment.
  • a plurality of captured images to be used can be generated.
  • FIG. 15 is a diagram illustrating a configuration of the second embodiment, and illustrates a case where the imaging direction is moved using a pan head.
  • parts corresponding to those in FIG. 15 are corresponding to those in FIG.
  • the imaging device 10a includes an imaging optical system block 11, a driver 12, an imaging optical system sensor unit 13, an imaging element 21, a timing signal generation (TG) unit 22, an analog front end (AFE) unit 23, a signal processing unit 24, and a detection unit. 25. Furthermore, the imaging apparatus 10a includes an image output unit 31, a display unit 32, a recording / reproducing unit 33, an operation unit 41, a pan-head communication unit 43, and a control unit 50a.
  • the imaging optical system block 11 includes the lens unit 11a and the diaphragm mechanism 11b as described above.
  • the lens unit 11a includes a zoom lens 111, a focus lens 112, and a correction lens unit 113.
  • the driver 12 drives actuators of the zoom lens 111, the focus lens 112, and the correction lens unit 113 based on a lens control signal from the control unit 50a described later.
  • the driver 12 drives the aperture mechanism 11b based on the aperture control signal from the control unit 50a.
  • the imaging optical system sensor unit 13 detects the lens positions of the zoom lens 111 and the focus lens 112, the displacement state of the correction lens unit 113 (equivalent to the displacement position and correction angle of the correction lens unit 113), and the set position of the aperture mechanism 11b. Then, the position signal is supplied to the control unit 50a.
  • the imaging element 21 converts the optical image formed on the imaging surface by the imaging optical system block 11 into an electrical signal and outputs the electrical signal to the AFE unit 23.
  • the TG unit 22 generates various drive pulses necessary for outputting an electrical signal indicating a captured image by the image sensor 21, an electronic shutter pulse that controls the charge accumulation time of the image sensor 21, and the like.
  • the AFE unit 23 performs processing for converting an analog image pickup signal subjected to noise removal processing, gain control, noise removal processing, and gain control into a digital signal with respect to the electrical signal (image signal) output from the image pickup device 21. Etc.
  • the signal processing unit 24 performs camera signal preprocessing, camera signal processing, resolution conversion processing, compression / decompression processing, and the like. Further, when the panorama image is generated by the imaging device 10a, the signal processing unit 24 calculates a motion vector using the captured image, and uses the calculated motion vector to overlap a plurality of images of the same subject. A panoramic image is generated by combining the captured images. In addition, for the synthesis of the captured image, information indicating the moving speed or direction in the imaging direction may be used. In this case, even if the motion vector cannot be obtained correctly, a plurality of captured images can be combined so that the images of the same subject overlap.
  • the detection unit 25 detects the brightness level and focus state of the subject using the imaging signal supplied to the signal processing unit 24, generates a detection signal indicating the brightness level and focus state, and sends it to the control unit 50a. Supply.
  • the image output unit 31 converts the image signal processed by the signal processing unit 24 into an image signal having a format corresponding to an external device connected to the imaging device 10a and outputs the image signal.
  • the display unit 32 displays an image captured by the imaging device 10a and a captured image reproduced by the recording / reproducing unit 33.
  • the display unit 32 also displays a menu for setting the imaging device 10a and the like.
  • the recording / reproducing unit 33 records the image signal and the encoded signal of the captured image output from the signal processing unit 24 on a recording medium.
  • the recording / reproducing unit 33 reads the image signal recorded on the recording medium and supplies the image signal to the image output unit 31 or the display unit 32, or reads the encoded signal recorded on the recording medium to read the signal processing unit. The process which supplies to 24 is performed.
  • the operation unit 41 generates an operation signal corresponding to a user operation and supplies the operation signal to the control unit 50a.
  • the pan-head communication unit 43 is configured to enable transmission / reception of wired or wireless communication signals to / from the pan / tilt head communication unit when the imaging device 10a is attached to the pan head 60, for example. have.
  • the camera platform compatible communication unit 43 executes communication with the imaging apparatus 10a according to a predetermined communication method.
  • the control unit 50a includes a CPU (Central Processing Unit), a memory, and the like.
  • the memory stores programs executed by the CPU and various data.
  • a nonvolatile memory such as an EEPROM (ElectronicallynErasable and Programmable ROM) or a flash memory is used.
  • the CPU of the control unit 50a executes a program stored in the memory, and the operation of the imaging device 10a corresponds to a user operation based on various data stored in the memory and operation signals supplied from the operation unit 41. Each part is controlled so that it becomes operation.
  • the control unit 50a controls the operation of the TG unit 22 and the like, and an encoded signal of a still image captured at a desired shutter speed is recorded on the recording medium of the recording / reproducing unit 33.
  • an encoded signal of a still image captured at a desired shutter speed is recorded on the recording medium of the recording / reproducing unit 33.
  • the control unit 50a when the user performs a mode selection operation, the control unit 50a performs an imaging operation or the like in the mode selected by the user. Further, the control unit 50 a generates a lens control signal and an aperture control signal based on the position signal supplied from the imaging optical system sensor unit 13 and the detection signal supplied from the detection unit 25 and supplies the lens control signal and the aperture control signal to the driver 12. Accordingly, the focus lens 112 and the aperture mechanism 11b are driven by the driver 12 so that a captured image with a desired brightness is obtained. Further, when the user performs a zoom operation, the control unit 50a generates a lens control signal and supplies it to the driver 12, thereby driving the zoom lens 111 so that a captured image with a desired zoom ratio is obtained.
  • the control unit 50a determines the position at the start of exposure of each captured image in the correction lens and / or the image sensor to be displaced.
  • the imaging direction is displaced in a direction corresponding to the moving direction.
  • the control unit 50a displaces at least one of the correction lens and the image sensor in accordance with the movement of the image pickup device 10a, thereby moving the image pickup device with respect to the optical image formed on the image pickup surface of the image pickup device.
  • the shake is corrected according to.
  • the control unit 50a displaces the correction operation start position of each captured image in the correction lens and / or the image sensor to be displaced, and widens the correction range for the movement in the imaging direction.
  • FIG. 16 is a block diagram illustrating the configuration of the pan head.
  • the pan / tilt head 60 includes a pan / tilt mechanism, and includes a pan motor 64, a pan mechanism unit 65, a tilt motor 67, and a tilt mechanism unit 68 corresponding to the pan / tilt mechanism.
  • the communication unit 61 is configured to correspond to the camera platform compatible communication unit 43, and performs wired or wireless communication with the camera platform compatible communication unit 43 of the imaging device 10a attached to the camera platform 60 according to a predetermined communication method. Execute.
  • the pan head control unit 62 is configured using a CPU, a memory, and the like.
  • the CPU of the pan head control unit 62 executes a program stored in the memory, and causes the pan head 60 to perform a pan operation and a tilt operation.
  • the pan head control unit 62 outputs a pan operation control signal to the pan driving unit 63 when performing the pan operation.
  • the pan head control unit 62 outputs a tilt operation control signal to the tilt drive unit 66 when performing a tilt operation.
  • the pan drive unit 63 generates a motor drive signal based on the pan operation control signal and outputs the motor drive signal to the pan motor 64.
  • the tilt drive unit 66 generates a motor drive signal based on the tilt operation control signal and outputs the motor drive signal to the tilt motor 67.
  • the pan motor 64 is provided in a pan mechanism unit 65 for giving a motion in the pan (horizontal) direction to the imaging device 10a attached to the pan head 60.
  • the pan motor 64 rotates in the forward direction or the reverse direction based on the motor drive signal, so that the pan mechanism unit 65 causes the image pickup apparatus 10a to move in the pan direction.
  • the tilt motor 67 is provided in a tilt mechanism 68 for giving a motion in the tilt (vertical) direction to the imaging device 10a attached to the pan head 60.
  • the tilt motor 67 rotates in the forward direction or the reverse direction based on the motor drive signal, so that the tilt mechanism unit 68 causes the imaging device 10a to move in the tilt direction.
  • FIG. 17 is a flowchart showing the operation of the second embodiment.
  • the control unit 50a acquires movement control information of the imaging device 10a.
  • the control unit 50a acquires movement control information indicating which direction the imaging direction is to be moved (or rotated) and at what speed to perform imaging, and the process proceeds to step ST22.
  • the same information is stored in advance in each of the imaging device 10a and the pan head 60. Moreover, you may make it produce
  • the moving speed in the imaging direction may be automatically determined by the imaging device 10a or the pan head 60. For example, when a captured image having a desired brightness is generated by varying the exposure period of the image sensor, the exposure period becomes longer when the captured image becomes darker. In addition, when the exposure period is long, when performing shake correction by displacing at least one of the correction lens and the image sensor according to the movement of the imaging device, the position of the correction lens or the image sensor is likely to reach the correction control end. End up. Therefore, when the exposure period is long, the moving speed in the imaging direction is decreased so that the positions of the correction lens and the image sensor do not reach the correction control end during the exposure period.
  • the detected brightness level is detected because the detection unit 25 of the image capturing apparatus 10a detects the brightness level of the subject.
  • the moving speed in the imaging direction can be set according to the above.
  • a brightness detection unit 69 is provided on the camera platform 60, and the camera platform 60 or the imaging device 10a changes the imaging direction in accordance with the brightness of the subject detected by the brightness detection unit 69. It is good also as a structure which sets a moving speed.
  • the imaging device 10a and the pan head 60 control the movement speed of the imaging device according to the detected brightness.
  • step ST22 the control unit 50a determines whether or not the right sweep mode is set.
  • the control unit 50a determines that the right sweep mode has been set, and proceeds to step ST23 to perform another sweep mode.
  • step ST24 the process proceeds to step ST24.
  • step ST23 the control unit 50a performs right direction sweep mode optical position setting.
  • the optical position setting when the imaging direction of the imaging device 10a is moved in the right direction, at least one of the lens unit and the imaging element is displaced in a direction corresponding to the moving direction in the imaging direction to be a correction operation start position.
  • the control unit 50a sets the correction operation start position in this way, thereby widening the correction range of shake correction for the rightward sweep, and proceeds to step ST29.
  • step ST24 the controller 50a determines whether or not the left sweep mode is set.
  • the control unit 50a determines that the left sweep mode has been set, and proceeds to step ST25 to perform another sweep mode.
  • step ST26 the process proceeds to step ST26.
  • step ST25 the control unit 50a performs the left sweep mode optical position setting.
  • the optical position setting when the imaging direction of the imaging apparatus 10a is moved in the left direction, at least one of the lens unit and the imaging element is displaced in a direction corresponding to the moving direction in the imaging direction to be a correction operation start position.
  • the control unit 50a widens the correction range of shake correction for the left sweep, and proceeds to step ST29.
  • step ST26 the control unit 50a determines whether or not the upward sweep mode is set.
  • the control unit 50a determines that the upward sweep mode has been set, and proceeds to step ST27. If it is determined that another sweep mode (downward sweep mode) is set, the process proceeds to step ST28.
  • step ST27 the control unit 50a performs the upward sweep mode optical position setting.
  • the optical position setting when the imaging direction of the imaging apparatus 10a is moved upward, at least one of the lens unit and the imaging element is displaced in a direction corresponding to the moving direction of the imaging direction to be a correction operation start position.
  • the controller 50a sets the correction operation start position in this way, thereby widening the correction range of shake correction for the upward sweep, and proceeds to step ST29.
  • step ST28 the control unit 50a performs the downward sweep mode optical position setting.
  • the optical position setting when the imaging direction of the imaging apparatus 10a is moved downward, at least one of the lens unit and the imaging element is displaced in a direction corresponding to the moving direction of the imaging direction to be a correction operation start position.
  • the controller 50a sets the correction operation start position in this manner, thereby widening the correction range of shake correction for the downward sweep, and proceeds to step ST29.
  • step ST29 the control unit 50a issues an imaging direction movement start instruction. Since the lens unit and the image sensor are set to the correction operation start position, the control unit 50a causes the camera platform 60 to start the movement in the imaging direction of the imaging device 10a with the movement direction and the movement speed indicated by the movement control information. Then, the process proceeds to step ST30.
  • step ST30 the control unit 50a performs a captured image generation process.
  • the controller 50a drives the correction lens 113a, which is the correction operation start position, according to the moving speed in the imaging direction, and performs correction (sweep correction) for shake caused by the sweep operation.
  • the control unit 50a performs exposure with the correction operation start position as the position at the start of exposure. Start. Further, when the movement of the correction lens 113a is delayed with respect to the movement of the imaging device at the start of the correction operation, the position at which the movement of the correction lens 113a follows the movement of the imaging device is set as the position at the start of exposure.
  • the control unit 50a sets the shake correction operation to the operation state during the exposure period, thereby generating a captured image in which no blur is caused by the sweep operation even if the imaging device 10a is swept by the pan head 60. Proceed to ST31.
  • the control unit 50a has the correction operation start position displaced in the moving direction of the image capturing direction to widen the correctable range. Accordingly, the position at the start of exposure is displaced in accordance with the displacement of the correction operation start position, and the position at the start of exposure is in accordance with the movement of the imaging device 10a as compared with the case where the position at the start of exposure is a position centered on the optical axis.
  • the period during which shake correction is possible can be lengthened. That is, since the period during which shake correction can be performed in accordance with the movement of the imaging device 10a can be extended, even if the exposure period is increased because the subject is dark, the captured image in which the blur due to the movement of the imaging device 10a does not occur. Can be generated.
  • step ST31 the control unit 50a determines whether or not the moving operation in the imaging direction has ended.
  • the controller 50a returns to step ST30 when determining that the moving operation in the imaging direction is not completed, and proceeds to step ST32 when determining that the moving operation in the imaging direction is completed.
  • step ST32 the control unit 50a returns the correction lens 113a to the correction operation start position between the exposure period of the captured image and the exposure period of the next captured image. Thereafter, the control unit 50a drives the correction lens 113a again according to the moving speed in the imaging direction, and generates an image that is not blurred even when the imaging device 10a is swept.
  • step ST32 the control unit 50a causes the recording / playback unit 33 to record the captured image generated in step ST30 on a recording medium.
  • the control unit 50a determines the correction operation start position when generating each captured image in the direction in which at least one of the lens unit and the image sensor moves in the imaging direction with respect to the optical axis. Displace in the direction according to. In addition, the control unit 50a displaces the correction operation start position to set a wide correction range for shake correction with respect to movement in the imaging direction. In addition, the control unit 50a moves the displaced lens unit and / or imaging element in accordance with the movement of the imaging device. Further, the position at the start of exposure is displaced with the displacement of the correction operation start position. Therefore, the exposure period during which a captured image without blurring can be generated can be made longer than when the image is not displaced.
  • the performance of shake correction with respect to the imaging direction is improved, and shake correction suitable for generating a panoramic image is performed.
  • generation of a captured image that is not blurred even when the exposure time is extended Even if the sweep speed is high, it is possible to generate a captured image that is not blurred.
  • restrictions such as the brightness of the subject and the sweep speed are alleviated, and even when the imaging direction of the imaging device 10a is moved by the camera platform 60, a panoramic image is generated. A plurality of captured images can be easily obtained. Furthermore, since it is not necessary to detect the motion of the imaging device 10a by a motion detection sensor or the like, the configuration of the imaging device 10a is simplified.
  • a step of performing the captured image composition process may be provided so that the panoramic image generated by the captured image composition process is recorded on the recording medium.
  • the moving direction and the moving speed of the imaging direction are clear in the imaging device 10a. Therefore, when the imaging direction of the imaging device 10a is moved on the camera platform 60, it is possible to generate a captured image that is not blurred only by generating a plurality of captured images.
  • the movement control information is communicated between the imaging device 10a and the pan head 60, for example, even if the moving direction and the moving speed are changed, the changed moving direction and moving speed are changed between the imaging device 10a and the pan head 60. I can grasp. Therefore, when the imaging direction of the imaging device 10a is moved on the camera platform 60, it is possible to generate a captured image that is not blurred only by generating a plurality of captured images.
  • the moving speed in the imaging direction is controlled according to the exposure period, the position of the correction lens and the image sensor can be prevented from reaching the correction control end, so that a captured image with a desired brightness can be obtained. Even if the exposure period is variable, a captured image without blur can be generated.
  • any configuration that can detect the shake of the imaging device is not limited to the configuration using the angular velocity detection sensor or the acceleration detection sensor as described above. For example, you may make it detect the shake of an imaging device from a captured image.
  • the correction lens may be provided on the lens side, or the correction lens may be provided on the main body side of the imaging device. Further, for example, a correction lens or a driving unit that drives the correction lens may be provided on the lens side, and other components may be provided on the main body side of the imaging apparatus. Further, as described above, the image sensor provided on the main body side of the imaging device may be moved according to the movement of the imaging device.
  • At least one of the lens unit and the imaging element is displaced with respect to the optical axis by the driving unit.
  • the lens unit and / or the image sensor at the start of exposure of each captured image Is moved by the drive unit in a direction corresponding to the moving direction of the imaging direction by the control unit.
  • the control unit performs control to displace the lens unit and / or the imaging element that has been displaced by the driving unit according to the movement of the imaging device, and corrects the shake that occurs with the movement in the imaging direction.
  • shake correction suitable for generating a panoramic image can be performed, and a plurality of captured images for generating a panoramic image can be easily obtained, which is suitable for a digital camera or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

　パノラマ画像の生成を容易に行えるようにする。　ドライバ１２は、光軸に対してレンズ部１１ａと撮像素子２１の少なくとも一方を変位させる。制御部５０は、撮像装置１０の動きに応じて、レンズ部１１ａと撮像素子２１の少なくとも一方をドライバ１２によって変位させる。複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、制御部５０は、レンズ部１１ａおよび／または撮像素子２１における各撮像画像の露光開始時の位置を、撮像方向の移動する方向に応じた方向に変位させて、撮像装置の動きによって生じる振れの補正を行う。

Description

撮像装置と撮像方法
　この発明は、撮像装置と撮像方法に関する。詳しくは、パノラマ画像を生成するための複数枚の撮像画像を容易に得られるようにする。
　従来、例えば撮像装置を用いてパノラマ画像を得るためには、特許文献１のように、撮像領域を少しずつ移動させて撮像を行い、撮像開始点から連続的にフレーム（あるいはフィールド）画像を記録する。そして、記録された撮像画像に対して、位置的に隣接する撮像画像の重複部分を抽出し、この重複部分に対して所定の演算を行うことによって、それぞれの撮像画像がシームレスに合成されてパノラマ画像が生成される。
　例えば、ユーザは、撮像方向を水平方向に移動させながら撮像を行い、複数枚の撮像画像を記録する。この撮像画像に対して重複部分に適当な処理を加えながら撮像画像をシームレスに繋ぐことで、横長のパノラマ画像を得ることができる。
　また、撮像時に撮像方向の移動方向と逆方向に光軸可変素子を変化させて、光軸がリニアに移動している間にシャッターを開放して、シャッターが閉じている間に速やかに光軸を元に戻す動作を繰り返して複数枚の撮像画像を記録する。このようにすれば、撮像装置を素早く動かしても解像度が悪くならず、シャッター速度を速くしなくても、良好なパノラマ画像を生成できる。
特開平１１－８８７５４号公報
　ところで、撮像装置では、手振れに応じて光軸を変化させて、手振れによる画像のぼけを防止する手振れ補正機能が設けられている。しかし、手振れ補正機能は、手振れによる画像のぼけを防止する機能であり、パノラマ画像に用いられる撮像画像を生成するための機能ではない。
　そこで、パノラマ画像を生成するための複数枚の撮像画像を容易に得られる撮像装置と撮像方法を提供することを目的とする。
　この発明の第１の側面は、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させる撮像装置にある。
　この発明においては、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の生成を行うとき、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から光軸に対して垂直な面内で撮像方向の移動する方向に応じた方向に変位されて、変位された位置を振れ補正の補正動作開始位置とすることで振れ補正範囲が広くなる。また、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、レンズ部または撮像素子の少なくとも一方が、光軸を中心とした位置から変位され対置が露光開始位置とされる。また、露光期間中は、変位されているレンズ部および／または撮像素子が撮像装置の動きに応じて移動されて、撮像素子の撮像面上に結像される光学像に対して撮像装置の動きに応じた振れの補正が行われる。また、パノラマ画像を生成するために複数枚の撮像画像を生成する撮像モードと異なる撮像モードであるとき、レンズ部と撮像素子の位置を、光軸を中心とした位置として露光が開始される。
　この発明の第２の側面は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させるステップを備える撮像方法にある。
　この発明によれば、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方が変位される。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時におけるレンズ部および／または撮像素子の位置が、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位される。さらに、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御が制御部で行われて、撮像方向の移動に伴って生じる振れの補正が行われる。したがって、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。
第１の実施の形態の構成を示す図である。 撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。 撮像装置の外観を例示した図である。 第１の実施の形態の動作を示すフローチャートである。 メニュー表示が行われた状態を示す図である。 右方向スイープモードが選択された場合を説明するための図である。 左方向スイープモードが選択された場合を説明するための図である。 上方向スイープモードが選択された場合を説明するための図である。 下方向スイープモードが選択された場合を説明するための図である。 通常撮像モードが選択された場合を説明するための図である。 右方向スイープモードでパノラマ画像を生成する場合を示す図である。 右方向スイープモードに設定されているときの動作を説明するための図である。 撮像画像生成処理を説明するための図である。 右方向スイープモードで生成される撮像画像を説明するための図である。 第２の実施の形態の構成を示す図である。 雲台の構成を示す図である。 第２の実施の形態の動作を示すフローチャートである。
　以下、発明を実施するための形態について説明する。なお、説明は以下の順序で行う。
　　１．第１の実施の形態
　　　１－１．撮像装置の構成
　　　１－２．撮像装置の外観
　　　１－３．撮像装置の動作
　　　１－４．パノラマ画像の生成動作例（右方向スイープモードの場合）
　　２．第２の実施の形態
　　　２－１．撮像装置の構成
　　　２－２．雲台の構成
　　　２－３．撮像装置の動作
　＜１．第１の実施の形態＞
　［１－１．撮像装置の構成］
　図１は、第１の実施の形態の構成を示す図である。撮像装置１０は、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０は、画像出力部３１、表示部３２、記録再生部３３、操作部４１、動き検出部４２、制御部５０を備えている。
　撮像光学系ブロック１１は、レンズ部１１ａと撮像素子２１の撮像面上に形成される光学像の光量調節する絞り機構１１ｂを備えている。レンズ部１１ａは、例えば変倍を行うズームレンズ１１１、フォーカシングを行うフォーカスレンズ１１２、後述する撮像素子２１の撮像面上に形成される光学像の位置を撮像面上で移動させる補正レンズ部１１３で構成されている。
　補正レンズ部１１３は、例えば光軸が撮像光学系の光軸と一致するように設けられた補正レンズと、この補正レンズを撮像光学系の光軸に対して直交する方向に移動させるアクチュエータ等で構成されている。このような構成の補正レンズ部１１３は、アクチュエータによって、補正レンズを撮像光学系の光軸に対して垂直な面内で、光軸を中心とした位置から変位させる。
　また、補正レンズ部１１３は、可変頂角プリズムユニットを用いるようにしてもよい。可変頂角プリズムユニットは、ベローズ等の折り曲げ自在な筒の端面に透光性を有する入射端板と出射端板を設け、筒内に所望の屈折率を持った透光性の液体を封入したものである。可変頂角プリズムユニットを用いる場合、入射端板または出射端板の一方を固定して、他方をアクチュエータで駆動して光学楔を形成する。このような構成の補正レンズ部は、例えば入射端板に対する出射端板の傾斜角度を変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。
　さらに、レンズ部１１ａは、撮像面上に光学像を結像させる構成であって、光軸に対して垂直な面内で変位することにより撮像面上に結像される光学像の位置を撮像面上で移動できる構成であれば他の構成であってもよい。したがって、レンズ部１１ａは、ズームレンズ１１１とフォーカスレンズ１１２および補正レンズ部１１３によって構成される場合に限られるものではない。
　ドライバ１２は、後述する制御部５０からのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０からの絞り制御信号に基づき絞り機構１１ｂを駆動する。
　撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０に供給する。
　撮像素子２１は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの撮像素子が用いられている。撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。
　ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
　ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理例えばＣＤＳ（Correlated Double Sampling）処理や、撮像信号を所望の信号レベルとするＡＧＣ（Automatic Gain Control）処理を行う。さらに、ＡＦＥ部２３は、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換して信号処理部２４に出力する。
　信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。カメラ信号前処理では、ＡＦＥ部２３から供給された画像信号に対して、撮像素子２１における欠陥画素の信号を補正する欠陥補正処理、レンズの周辺光量落ちを補正するシェーディング補正処理などを行う。カメラ信号処理では、ホワイトバランス調整や輝度補正等の処理を行う。また、ディジタルカメラ等では、撮像素子の前面にカラー・フィルタ・アレイ（Color Filter Array）を設けることにより、１つの撮像素子で赤色，緑色，青色の各信号を得るように構成されている場合がある。このような場合、カメラ信号処理ではデモザイク（demosaic）処理を行い、周囲の画素の信号を用いた補間等によって、各画素において欠落している色の信号を生成する。解像度変換処理では、カメラ信号処理がなされた画像信号、あるいは伸張復号化された画像信号を所定の解像度に変換する。圧縮伸張処理では、カメラ信号処理後の画像信号や解像度変換処理が行われた画像信号を圧縮符号化して、例えばＪＰＥＧ方式の符号化信号を生成する。また、圧縮伸張処理では、ＪＰＥＧ方式の符号化信号を伸張復号化する。なお、圧縮伸張処理は、ＪＰＥＧ方式とは異なる方式で静止画の画像信号の圧縮符号化を行うようにしてもよい。また、圧縮伸張処理では、動画圧縮方式で動画の画像信号の圧縮符号化を行うようにしてもよい。
　さらに、撮像装置１０でパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、動き検出センサからの動き検出信号を用いてもよい。この場合、動きベクトルが正しく得られなくとも、動き検出信号を利用して同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。なお、パノラマ画像の生成に用いる撮像画像は、例えば図示していないメモリまたは後述する記録再生部３３で記録媒体に書き込むものとする。また、パノラマ画像の生成は、撮像時または再生時のいずれで行ってもよい。また、撮像装置１０とは異なる外部機器、例えばコンピュータ等でパノラマ画像の生成を行うものとしてもよい。パノラマ画像の生成を再生時や外部機器で行う場合、再生時や外部機器でパノラマ画像の生成を可能とする識別情報（例えば一連の撮像画像であることを示す情報や撮像順序を示す情報等）を、パノラマ画像の生成に用いる撮像画像に対して設ける。このように識別情報を設けることで、正しい順序で撮像画像を合成してパノラマ画像を生成できる。
　検波部２５は、信号処理部２４に供給された撮像信号等を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０に供給する。
　画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
　表示部３２は、撮像装置１０によって撮像されている画像や、記録再生部３３で再生された撮像画の表示を行う。また、表示部３２は、撮像装置１０の設定等を行うためのメニュー表示等も行う。
　記録再生部３３では、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体が用いられている。記録再生部３３は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。なお、記録再生部３３は、記録媒体が着脱可能とされている構成に限られない。例えば、記録再生部３３としてハード・ディスク装置等を内蔵させるようにしてもよい。
　操作部４１は、操作ボタンや表示部３２の画面上に設けられたタッチパネル等で構成されている。操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０に供給する。
　動き検出部４２は、撮像装置１０の動きを検出する例えばジャイロセンサを用いて構成されている。動き検出センサは、ヨーイング方向における振れに応じて例えば角速度を検出するヨーイング角速度検出センサと、ピッチング方向における振れに応じて例えば角速度を検出するピッチング角速度検出センサで構成されている。また、動き検出部４２には、検出信号の信号処理を行う処理回路が設けられている。処理回路では例えば検出信号から不要な信号成分、例えばノイズ成分や角速度値の信号成分よりも高い周波数成分および共振周波数成分等を除去する。さらに、処理回路では温度変化や時間変化に伴って生じるドリフトの補正、検出信号をディジタル信号に変換して制御部５０に供給する処理等を行う。動き検出部４２から検出信号がアナログ信号として出力される場合、制御部５０は動き検出信号をディジタル信号に変換して用いる構成としてもよい。
　なお、動き検出部４２は、角速度検出センサを用いて構成する場合に限られない。例えば、加速度検出センサ等を用いて動きの検出を行うようにしてもよい。加速度検出センサを用いる場合、加速度検出センサの出力を積分して速度を算出できる。さらに、その速度を積分して動きを算出することができる。
　制御部５０は、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０のＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０の動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０は、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。
　また、制御部５０は、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。
　さらに、制御部５０は、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０は、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。
　このように構成された撮像装置１０において、制御部５０は、動き検出部４２で検出された撮像装置１０の動きに応じて、補正レンズ部１１３の補正レンズと撮像素子２１の少なくとも一方を変位させる。制御部５０は、このように補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子２１の撮像面上に結像される光学像が、撮像装置の動きに応じて振れを生じることがないように振れの補正を行う。すなわち、制御部５０は、撮像装置１０の動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像装置の動きによって生じる撮像画像の振れを補正する。
　図２は、撮像装置の動きと撮像素子の撮像面上に結像される光学像の位置の関係を説明するための図である。例えば、図２の（Ａ）では、被写体ＯＢａの光学像ＯＢｂが撮像素子８２の撮像面の中央位置となるように撮像装置８０の位置が設定されている。次に、撮像装置８０に動きが生じて、撮像装置８０が図２の（Ｂ）に示す矢印ＦＡの方向に移動すると、撮像面上に結像される光学像ＯＢｂの位置は、撮像面の中央位置から移動してしまう。ここで、図２の（Ｃ）に示すように、レンズ部８１を撮像装置８０の動き方向とは逆方向である矢印ＦＢ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。また、図２の（Ｄ）に示すように、撮像素子８２を撮像装置８０の動き方向と同じ方向である矢印ＦＣ方向に移動させると、光学像ＯＢｂを撮像面の中央位置に結像させることができる。すなわち、撮像装置８０の動きに応じて、レンズ部８１と撮像素子８２の少なくとも一方を変位させることで、撮像装置８０の動きによって生じる撮像画像の振れを補正できる。
　なお、撮像装置８０の動きに応じてレンズ部８１や撮像素子８２を変位させるときの変位方向は、撮像装置８０の動きによって生じる光学像ＯＢｂの移動を補正する方向であればよく、図２の（Ｃ）や図２の（Ｄ）に示す方向に限られるものではない。
　図１の制御部５０は、例えばレンズ部を変位させる場合、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように補正レンズ部１１３の補正レンズを変位させるためのレンズ制御信号を生成してドライバ１２に供給する。ドライバ１２は、レンズ制御信号に基づき駆動信号を生成して補正レンズ部１１３に出力する。補正レンズ部１１３は、駆動信号に基づきアクチュエータで補正レンズを変位させる。このように、動き検出部４２からの動き検出信号に基づいて補正レンズ部１１３を駆動することで、補正レンズ部１１３の補正レンズを光軸に対して変位させて振れ補正を行う。
　また、撮像素子２１を変位させて振れ補正を行う場合、図１の点線で示すように、撮像装置１０には、撮像素子２１を光軸に対して直交する方向に移動させるアクチュエータ２１ａを設ける。さらに、制御部５０は、動き検出部４２からの検出信号に基づき、撮像画像の振れが生じないように撮像素子２１を変位させるための位置制御信号を生成してドライバ１２に供給する。ドライバ１２は、位置制御信号に基づき駆動信号を生成してアクチュエータ２１ａに出力する。アクチュエータ２１ａは、駆動信号に基づき撮像素子２１を変位させる。このように、動き検出部４２からの動き検出信号に基づいてアクチュエータ２１ａを駆動することで、撮像素子２１を光軸に対して変位させて、撮像素子の撮像面上に結像される光学像の振れ補正を行う。
　さらに、制御部５０は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら複数枚の撮像画像の各画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子の補正動作開始位置を、撮像方向の移動する方向に応じた方向に光軸を中心とした位置から変位させる。したがって、撮像方向の移動に対する振れ補正の補正可能範囲は、補正動作開始位置が光軸を中心とした位置とされている場合に比べて広くなる。
　制御部５０は、補正動作開始位置から撮像装置の動きに応じて補正レンズおよび／または撮像素子を駆動するとき、撮像装置の動きに対して遅れを生じることなく移動させることができるときは、補正動作開始時の位置を露光開始時の位置として露光を開始する。また、制御部５０は、駆動開始時に撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が遅れを生じるとき、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となってから露光を開始する。なお、撮像装置の動きに対して補正レンズおよび／または撮像素子の移動が追従する状態となるまでに要する期間は短く、露光開始時の位置は、補正動作開始位置の近傍となり、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置である。
　制御部５０は、露光期間中、撮像装置の動きに応じて補正レンズおよび／または撮像素子を移動させることで撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態として、撮像装置の動きによるぶれが生じていない撮像画像を生成する。
　なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。また、撮像方向の移動では、撮像装置の平行移動やスイープ動作が行われる。したがって、以下の説明では、撮像装置１０をスイープさせて、撮像方向の移動させる場合について説明する。
　［１－２．撮像装置の外観］
　図３は、撮像装置１０の外観を例示している。撮像装置１０の筐体の背面には、表示部３２が設けられ、表示部３２の近傍には操作部４１が設けられている。操作部４１は、複数の操作キー等で構成されている。例えばメニューキー４１１は、表示部３２にメニューを表示するための操作キーである。方向キー４１２ａ～４１２ｄは、メニュー項目の選択等を行うときに操作される操作キーである。方向キー４１２ａ～４１２ｄの中心部分に設けられている決定キー４１３は、選択されている項目の決定操作等を行うときに操作される操作キーである。さらに、筐体の上面に設けられたシャッターキー４１５は、シャッター操作を行うための操作キーである。なお、図３に示した操作部４１は一例であり、キーの位置や種類はこの例に限定されない。また、表示部３２の画面上にタッチパネルを設けて、表示部３２の所定の位置を触れることで各種動作の設定や実行指示等を行うこともできるようにしてもよい。
　［１－３．撮像装置の動作］
　図４は、第１の実施の形態の動作を示すフローチャートである。なお、図４は、撮像装置１０が、複数枚の撮像画像からパノラマ画像を生成するために、撮像方向を移動しながら複数枚の撮像画像の生成を行う第１の撮像モード（以下「パノラマ撮像モード」という）と、第１の撮像モードと異なる第２の撮像モード（以下「通常撮像モード」という）を有している場合を示している。なお、第２の撮像モードは、例えば、１枚の撮像画像を生成する撮像モード、夜間等で撮像を行ったとき人物と背景がそれぞれ所望の明るさの撮像画像を得られるように、露光量の異なる複数枚の撮像画像を領域毎にいずれかの画像の比率を高めて重ね合わせる撮像モード（いわゆる夜景モード）等のように、第１の撮像モードと異なる撮像モードである。
　ステップＳＴ１で制御部５０は、撮像モードがパノラマ撮像モードであるか否か判別する。制御部５０は、操作部４１のメニューキー４１１が操作されたことを判別したとき、表示部３２にメニュー表示ＧＡを行う。図５は、表示部３２でメニュー表示が行われている状態を例示している。その後、制御部５０は、上方向を示す方向キー４１２ａまたは下方向を示す方向キー４１２ｃの操作に応じてモードの切り換えを行い、選択されている撮像モードを識別可能に表示する。例えば、制御部５０は、カーソル表示ＧＢを設けて、カーソル表示ＧＢの位置を、方向キー４１２ａ，４１２ｃの操作に応じて上下に移動させて、選択されている撮像モードを識別可能とする。さらに、制御部５０は、決定キー４１３が操作されたときに選択されている撮像モードを、撮像装置１０の撮像モードに設定する。ここで、制御部５０は、撮像モードとしてパノラマ撮像モードＭＰが選択されているときステップＳＴ２に進み、撮像モードがパノラマ撮像モードと異なる撮像モードに設定されたときステップＳＴ１４に進む。
　ステップＳＴ２で制御部５０は、右方向スイープモードに設定されたか否か判別する。制御部５０は、パノラマ撮像モードＭＰが選択されているとき、図５に示すようにスイープモード選択画ＧＣを表示する。その後、制御部５０は、左方向を示す方向キー４１２ｂまたは右方向を示す方向キー４１２ｄの操作に応じてスイープモードを切り換えて、選択されているスイープモードを識別可能に表示する。例えば、選択されているスイープモードの矢印表示を他のスイープモードの矢印表示と異なる色や輝度等で表示することにより、選択されているスイープモードを容易に識別できるようにする。
　制御部５０は、スイープモード選択画ＧＣの表示後、右方向を示す方向キー４１２ｄが操作されたとき、右方向スイープモードが選択されたと判断する。制御部５０は、右方向スイープモードが選択されたとき、図６の（Ａ）のように、スイープモード選択画ＧＣにおいて右方向を示す矢印表示を他の方向を示す矢印表示と異なる表示とする。さらに、この状態で右方向を示す方向キー４１２ｄが操作されたとき、制御部５０は、左方向スイープモードが選択されたと判断する。制御部５０は、左方向スイープモードが選択されたとき、図７の（Ａ）に示すように、スイープモード選択画ＧＣにおいて左方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。
　また、右方向を示す方向キー４１２ｄがさらに操作されたとき、制御部５０は、上方向スイープモードが選択されたと判断する。制御部５０は、上方向スイープモードが選択されたとき、図８の（Ａ）に示すように、スイープモード選択画ＧＣにおいて上方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。また、右方向を示す方向キー４１２ｄがさらに操作されたとき、制御部５０は、下方向スイープモードが選択されたと判断する。制御部５０は、下方向スイープモードが選択されたとき、図９の（Ａ）に示すように、スイープモード選択画ＧＣにおいて下方向を示す矢印表示を他のスイープモードの矢印表示と異なる表示とする。また、左方向を示す方向キー４１２ｂが操作されたとき、制御部５０は、スイープモードを左側に位置するスイープモードに切り換える。
　このように、制御部５０は方向キー４１２ｂ，４１２ｄの操作に応じてスイープモードの切り換えを行い、決定キー４１３が操作されたときに選択されているスイープモードを、パノラマ撮像モードにおけるスイープモードに設定する。
　制御部５０は、右方向スイープモードに設定されたと判別したときステップＳＴ３に進み、他のスイープモードに設定されたと判別したときステップＳＴ４に進む。
　ステップＳＴ３で制御部５０は、右方向スイープモード光学位置設定を行う。右方向スイープモード光学位置設定では、撮像装置１０の撮像方向を右方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、右方向スイープに対する振れ補正の補正範囲を広くする。制御部５０は、パノラマ撮像モードと異なる撮像モードであるとき、レンズ部と撮像素子を所定位置、例えばレンズ部と撮像素子の中心位置を光軸の位置とする。また、制御部５０は、パノラマ撮像モードであるとき、スイープモードに応じてレンズ部と撮像素子の少なくとも一方を光軸に対して変位させる。例えば、撮像時に右方向スイープを行って撮像方向を右方向に移動させたとき、撮像装置１０は、補正レンズを左方向に移動させることで、撮像面上の光学像における被写体の位置が右方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、レンズ制御信号によって、補正レンズ部１１３の補正レンズ１１３ａを、光軸の位置からアクチュエータ１１３ｂで、図６の（Ｂ）のように右方向に変位させる。したがって、補正レンズを移動させて補正が可能となる範囲は、変位前の状態よりも広くなる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。なお、図６の（Ｂ）において、点線ＡＲで示す位置は、補正レンズ１１３ａの補正制御端の位置を示している。
　ステップＳＴ４で制御部５０は、左方向スイープモードに設定されたか否か判別する。制御部５０は、左方向スイープモードに設定されたと判別したときステップＳＴ５に進み、他のスイープモード（上方向スイープモードまたは下方向スイープモード）に設定されたと判別したときステップＳＴ６に進む。
　ステップＳＴ５で制御部５０は、左方向スイープモード光学位置設定を行う。左方向スイープモード光学位置設定では、撮像装置１０の撮像方向を左方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、左方向スイープに対する振れ補正の補正範囲を広くする。例えば、撮像時に左方向スイープを行って撮像方向を左方向に移動したとき、撮像装置１０は、補正レンズを右方向に移動させることで、撮像面上の光学像における被写体の位置が左方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、補正レンズを移動させて補正が可能となる範囲を広くするため、レンズ制御信号によって、図７の（Ｂ）に示すように、補正レンズ１１３ａをアクチュエータ１１３ｂで中心位置（光軸を中心とした位置）から左方向に変位させる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。
　ステップＳＴ６で制御部５０は、上方向スイープモードに設定されたか否か判別する。制御部５０は、上方向スイープモードに設定されたと判別したときステップＳＴ７に進み、他のスイープモード（下方向スイープモード）に設定されたと判別したときステップＳＴ８に進む。
　ステップＳＴ７で制御部５０は、上方向スイープモード光学位置設定を行う。上方向スイープモード光学位置設定では、撮像装置１０の撮像方向を上方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、上方向スイープに対する振れ補正の補正範囲を広くする。例えば、撮像時に上方向スイープを行って撮像方向を上方向に移動させたとき、撮像装置１０は、補正レンズを下方向に移動させることで、撮像面上の光学像における被写体の位置が上方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、補正レンズを移動させて補正が可能となる範囲を広くするため、レンズ制御信号によって、図８の（Ｂ）に示すように、補正レンズ部１１３の補正レンズ１１３ａをアクチュエータ１１３ｂで中心位置から上方向に変位させる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。
　ステップＳＴ８で制御部５０は、下方向スイープモード光学位置設定を行う。下方向スイープモード光学位置設定では、撮像装置１０の撮像方向を下方向に移動させるとき、撮像方向の移動する方向に応じた方向に、レンズ部と撮像素子の少なくとも一方を光軸に対して変位させて補正動作開始位置とする。制御部５０は、このように補正動作開始位置を設定することで、下方向スイープに対する振れ補正の補正範囲を広くする。例えば、撮像時に下方向スイープを行って撮像方向を下方向に移動させるとき、撮像装置１０は、補正レンズを上方向に移動させることで、撮像面上の光学像における被写体の位置が下方向スイープに応じて移動することのないように補正できるものとする。この場合、制御部５０は、補正レンズを移動させて補正が可能となる範囲を広くするため、レンズ制御信号によって、図９の（Ｂ）に示すように、補正レンズ部１１３の補正レンズ１１３ａをアクチュエータ１１３ｂで中心位置から下方向に変位させる。また、変位後の位置を補正動作開始位置としてステップＳＴ９に進む。
　ステップＳＴ９で制御部５０は、スイープ方向指示を行う。制御部５０は、スイープモードに対応した方向に撮像方向が移動されるように、スイープ方向を示すスイープ指示画像の表示を表示部３２で行い、移動方向をユーザに報知してステップＳＴ１０に進む。
　ステップＳＴ１０で制御部５０は、シャッター操作を開始してステップＳＴ１１に進む。シャッター操作の開始は、シャッターキー４１５の操作や動き検出信号に基づいて行う。例えば、制御部５０は、シャッターキー４１５が押された状態となったことを検出したとき、シャッター操作を開始する。
　また、動き検出信号を利用すれば、自動的にシャッター操作を開始できる。例えば、制御部５０は、ステップＳＴ９で報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出したとき、シャッター操作を開始する。このようにすれば、ユーザはシャッターキー４１５を操作しなくとも、報知された方向に撮像装置１０の向きを移動させるだけで、シャッター操作を開始できる。シャッターキー４１５が押された状態となったことを検出したときシャッター操作を開始する場合、シャッターキー４１５の操作によって撮像装置のぶれが生じると、このぶれの影響がパノラマ画像に現れてしまうおそれがある。しかし、動き検出信号を利用してシャッター操作を開始すれば、シャッターキー４１５の操作が必要ないので、シャッター操作によるぶれの影響がないパノラマ画像を容易に得ることができる。
　ステップＳＴ１１で制御部５０は、撮像画像生成処理を行う。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、スイープ動作によって生じる振れに対する補正（スイープ補正）を行う。制御部５０は、補正動作開始時に撮像装置の動きに対して遅れを生じることなく補正レンズ１１３ａを移動できるとき、補正動作開始位置を露光開始時の位置として露光を開始する。また、制御部５０は、補正動作開始時に撮像装置の動きに対して補正レンズ１１３ａの移動が遅れを生じるとき、撮像装置の動きに対して補正レンズ１１３ａの移動が追従する状態となる位置を露光開始時の位置として露光を開始する。なお、露光開始時の位置は、補正動作開始位置の近傍であり、光軸を中心とした位置から撮像方向の移動する方向に応じた方向に変位した位置である。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０をスイープさせても、スイープ動作によるぼけが生じていない撮像画像を生成させてステップＳＴ１２に進む。また、制御部５０は、スイープ動作時の撮像画像生成処理において、補正動作開始位置を撮像方向の移動する方向に変位させることで、補正可能な範囲を広くしている。したがって、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置が光軸を中心とした位置とされている場合に比べて、撮像装置１０の動きに応じた振れ補正が可能な期間を長くすることができる。すなわち、撮像装置１０の動きに応じた振れ補正が可能な期間を長くできることから、被写体が暗いために露光期間を長くする場合であっても、撮像装置１０の動きによるぶれが生じていない撮像画像を生成できる。
　ステップＳＴ１２で制御部５０は、シャッター操作が終了されたか否か判別する。制御部５０は、シャッター操作が終了されていないと判別したときステップＳＴ１１に戻り、シャッター操作が終了されたと判別したときステップＳＴ１３に進む。制御部５０は、ステップＳＴ１１に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置１０をスイープさせてもぼけの生じていない画像の生成を行う。
　制御部５０は、例えば移動量が予め設定されている所定量に達したときシャッター操作の終了とする。移動量は例えば動きベクトルを用いて算出できる。また、制御部５０は、動き検出信号からスイープ量を判別して、スイープ量が所定量に達したときシャッター操作の終了としてもよい。また、シャッターキー４１５が押された状態となったことを検出してシャッター操作を開始した場合、シャッターキー４１５が押されていない状態となったことを検出したときシャッター操作の終了とすることもできる。さらに、制御部５０は、報知した移動方向に撮像装置１０の向きが移動したことを動き検出信号に基づいて検出してシャッター操作を開始した場合、報知した移動方向に撮像装置１０の向きが移動しなくなったときシャッター操作の終了とすることもできる。
　ステップＳＴ１３で制御部５０は、撮像画像合成処理を行う。制御部５０は、信号処理部２４を制御して、ステップＳＴ１１とステップＳＴ１２の処理によって生成された複数枚の撮像画像を生成順に用いて動きベクトルを算出する。また、制御部５０は、算出した動きベクトルに基づいて、同じ被写体の画像が重なるように複数の撮像画像の合成を行って、１つの撮像画像よりも撮像範囲の広いパノラマ画像を、複数枚の撮像画像から生成してステップＳＴ１５に進む。
　また、ステップＳＴ１で、撮像モードがパノラマ撮像モードと異なるモードに設定されたと判別されてステップＳＴ１４に進むと、制御部５０は撮像画像生成処理を行う。制御部５０は、補正動作開始位置、すなわち光軸を中心とした位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動して、撮像時の手振れに対する補正（手振れ補正）を行う。また、制御部５０は、手振れによるぼけを生じていない画像を、シャッターキー４１５の操作に応じて生成してステップＳＴ１５に進む。
　図１０の（Ａ）は、例えば通常撮像モードＭＮを選択した場合を示している。また、図１０の（Ｂ）は、通常撮像モードＭＮに設定されたときの補正レンズ部１１３の補正動作開始位置を示している。通常撮像モードでは、動き検出信号に基づいて手振れ補正を行う。ここで、手振れ方向は特定の方向に限定されるものではない。したがって、いずれの方向に手振れが生じても手振れ補正が可能となるように、補正動作開始位置は所定位置とする。例えば補正レンズ部１１３の移動可能範囲の中央位置、すなわち光軸を中心とした位置を補正動作開始位置とする。このように、補正動作開始位置を変位させないことで、手振れの方向がいずれの方向であるかにかかわらず、手振れの補正を行うことができる。また、制御部５０は、シャッターキー４１５の操作に応じて所定枚数の撮像画像を生成する。
　ステップＳＴ１５で制御部５０は、ステップＳＴ１３で生成したパノラマ画像またはステップＳＴ１４で生成した撮像画像を記録再生部３３で記録媒体に記録させる。
　制御部５０は以上のようにして撮像画像の記録を行い、動作モードが他のモード例えば記録されている撮像画像を再生する再生モードに切り換えられたり、撮像装置の動作終了操作が行われたとき、撮像モードを終了する。
　このように、制御部５０は、パノラマ撮像モードであるとき、各撮像画像を生成するときの補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０は、補正動作開始位置を変位させることで、撮像方向の移動に対する振れ補正の補正範囲を広く設定する。また、制御部５０は、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。さらに、補正動作開始位置の変位に伴い露光開始時の位置が変位する。したがって、ぼけの生じていない撮像画像を生成できる露光期間を、変位していない場合に比べて長くできる。このため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぼけの生じていない撮像画像の生成や、スイープ速度が速くてもぼけの生じていない撮像画像の生成が可能となる。また、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。
　なお、撮像画像合成処理を外部機器、例えばコンピュータ装置等で行う場合、ステップＳＴ１５では、パノラマ画像を生成するための複数枚の撮像画像を記録媒体に記録させる。さらに、撮像画像合成処理を外部機器で行う場合、撮像装置１０では、ステップＳＴ１３の撮像画像合成処理を行わないようにすることで、撮像装置１０における処理を軽減できる。
　［１－４．パノラマ画像の生成動作例（右方向スイープモードの場合）］
　次に、パノラマ画像の生成動作、例えば右方向スイープモードでパノラマ画像を生成する場合の具体的動作について説明する。
　撮像装置１０の撮像モードをパノラマ撮像モードで右方向スイープモードとした場合、ユーザは、図１１に示すように、撮像装置１０の向き（撮像方向）を矢印Ａで示すように右方向にスイープさせる。
　図１２は、右方向スイープモードに設定されているときの動作を説明するための図である。撮像モードがパノラマ撮像モードで右方向スイープモードに設定されている場合、制御部５０は、図１２の（Ａ）に示すように、右方向のスイープ動作であることを示すスイープ方向指示ＧＥを表示部３２に表示することで、スイープ方向をユーザに報知する。なお、右方向スイープモードに設定されたことから、制御部５０は、図１２の（Ｂ）に示すように、補正レンズ１１３ａの位置を、光軸を中心とした位置である中央位置から右方向に変位して補正動作開始位置とする。さらに、制御部５０は、この補正動作開始位置から振れ補正を開始させる。
　その後、制御部５０は、シャッター操作を開始して撮像画像生成処理を行う。図１３は、撮像画像生成処理を示している。図１３の（Ａ）は、補正レンズ１１３ａの動きを示している。制御部５０は、補正動作開始位置とされている補正レンズ１１３ａを動き検出信号に応じて駆動する。したがって、補正レンズ１１３ａは、右方向のスイープによる画像の振れを防止するため補正動作開始位置から左方向に移動する。
　また、制御部５０は、上述のように補正動作開始時または補正動作開始後に露光を開始して撮像画像の生成を行う。さらに、制御部５０は、露光期間中、振れ補正動作を動作状態として、動き検出信号に応じて補正レンズ１１３ａを駆動して、撮像装置の動きに応じて補正レンズ１１３ａを移動させることで撮像素子２１の撮像面上に結像される光学像の振れを補正する。したがって、撮像装置１０では、図１３の（Ｂ）に示すように、右方向のスイープを行ってもぼけの生じていない撮像画像ＰＧ1を生成できる。また、補正レンズ１１３ａの補正動作開始位置は、中央位置から右方向に変位されているので、補正動作開始位置を変位していない場合に比べて、撮像方向の移動に対する振れ補正の補正範囲が広くなる。したがって、補正動作開始位置を変位した場合と変位していない場合とでスイープ速度が等しいとき、補正動作開始位置の変位に伴い露光開始時の位置を変位することで、ぼけの生じていない撮像画像を生成できる露光期間を変位していない場合に比べて長くできる。また、露光開始時の位置を変位した場合と露光開始時の位置を変位していない場合で露光時間が等しいとき、露光開始時の位置を変位することで、ぼけの生じていない撮像画像の生成が可能なスイープ速度を、変位していない場合に比べて速くできる。
　制御部５０は、１枚の撮像画像を生成したとき、シャッター操作が終了されていない場合、撮像画像ＰＧ1の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０は、再度補正動作開始位置から補正レンズ１１３ａを動き検出信号に応じて駆動する。なお、図１３の（Ａ）では、補正動作開始位置に補正レンズ１１３ａを戻す処理が行われる期間を期間ＲＰとして示している。このように、補正レンズ１１３ａを補正動作開始位置に戻してから、再度、動き検出信号に応じて駆動することで、撮像装置１０をスイープさせてもぼけの生じていない撮像画像ＰＧ2を生成できる。
　このような処理を繰り返して行い、制御部５０は、例えば撮像画像ＰＧ5を生成したときにシャッター操作の終了と判別した場合、撮像画像生成処理を終了する。したがって、順次生成された撮像画像ＰＧ1～ＰＧ5は、図１４に示すように、撮像方向が順次右方向に切り換えられた画像となる。
　信号処理部２４は、順次に生成した撮像画像ＰＧ1～ＰＧ5から動きベクトルを算出して、または動き検出信号に基づき動きベクトルを検出する。また、信号処理部２４は、この動きベクトルに基づいて、被写体の画像が重なり合うように撮像画像ＰＧ1～ＰＧ5の位置あわせを行い、撮像画像ＰＧ1～ＰＧ5を合成して、１枚の撮像画像よりも撮像範囲の広い、図１３の（Ｃ）に示すパノラマ画像を生成できる。
　このように、パノラマ撮像モードで撮像方向を右に移動させる場合、制御部５０は、図１２の（Ｂ）に示すように補正レンズ１１３ａを右方向に変位させるので、撮像方向の移動に対する振れ補正の補正範囲が広くなる。また、制御部５０は、この状態から動き検出センサで検出された動きに応じてレンズ部と撮像素子の少なくとも一方を変位させる。このため、例えば被写体が暗いことから露光時間を長くしてもぼけの生じていない撮像画像を生成できる。また、右方向のスイープ速度が速くてもぼけの生じていない撮像画像を生成できる。さらに、被写体の明るさやスイープ速度等の制約が軽減されて、パノラマ画像の生成を容易に行うことができる。
　＜２．第２の実施の形態＞
　次に、第２の実施の形態について説明する。第２の実施の形態では、撮像装置の動きが明らかである場合を示している。撮像装置を用いて撮像画像の生成を行う場合、手持ち状態で撮像を行う場合だけでなく、雲台を用いた撮像も行われている。また、雲台によって撮像装置の撮像方向を自動的に移動させることも行われている。このように、雲台によって撮像装置の撮像方向を自動的に移動させる場合、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を撮像装置が有していれば、動き検出センサからの動き検出信号を用いることなく撮像装置の動きを判別できる。したがって、撮像装置は、移動制御情報に基づきレンズ制御信号や位置制御信号を生成することで、第１の実施の形態と同様に、撮像装置の動きによる振れを補正して、パノラマ画像の生成に用いる複数枚の撮像画像を生成できる。
　［２－１．撮像装置の構成］
　図１５は、第２の実施の形態の構成を示す図であり、雲台を利用して撮像方向の移動を行う場合を示している。なお、図１５において、図１と対応する部分については同一符号を付している。
　撮像装置１０ａは、撮像光学系ブロック１１、ドライバ１２、撮像光学系センサ部１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部２５を備えている。さらに撮像装置１０ａは、画像出力部３１、表示部３２、記録再生部３３、操作部４１、雲台対応通信部４３、制御部５０ａを備えている。
　撮像光学系ブロック１１は、上述のようにレンズ部１１ａ、絞り機構１１ｂを備えている。レンズ部１１ａは、ズームレンズ１１１、フォーカスレンズ１１２、補正レンズ部１１３で構成されている。
　ドライバ１２は、後述する制御部５０ａからのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０ａからの絞り制御信号に基づき絞り機構１１ｂを駆動する。
　撮像光学系センサ部１３は、ズームレンズ１１１やフォーカスレンズ１１２のレンズ位置、補正レンズ部１１３の変位状態（補正レンズ部１１３の変位位置や補正角と同等）、および絞り機構１１ｂの設定位置を検出して位置信号を制御部５０ａに供給する。
　撮像素子２１は、撮像光学系ブロック１１によって撮像面上に形成された光学像を電気信号に変換してＡＦＥ部２３に出力する。
　ＴＧ部２２は、撮像素子２１で撮像画像を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルス等を生成する。
　ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理や利得制御、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換する処理等を行う。
　信号処理部２４は、カメラ信号前処理やカメラ信号処理、解像度変換処理、圧縮伸張処理等を行う。さらに、撮像装置１０ａでパノラマ画像の生成を行う場合、信号処理部２４は撮像画像を用いて動きベクトルの算出を行い、この算出した動きベクトルを利用して同じ被写体の画像が重なるように複数の撮像画像の合成を行って、パノラマ画像を生成する。また、撮像画像の合成は、撮像方向の移動速度や方向を示す情報を用いてもよい。この場合、動きベクトルが正しく得られなくとも、同じ被写体の画像が重なるように複数の撮像画像を合成することが可能となる。
　検波部２５は、信号処理部２４に供給された撮像信号を用いて、被写体の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０ａに供給する。
　画像出力部３１は、信号処理部２４で処理された画像信号を、撮像装置１０ａと接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
　表示部３２は、撮像装置１０ａによって撮像されている画像や、記録再生部３３で再生された撮像画の表示を行う。また、表示部３２は、撮像装置１０ａの設定等を行うためのメニュー表示等も行う。
　記録再生部３３は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生部３３は、記録媒体に記録されている画像信号を読み出して画像出力部３１や表示部３２に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。
　操作部４１は、ユーザ操作に応じた操作信号を生成して制御部５０ａに供給する。
　雲台対応通信部４３は、例えば撮像装置１０ａが雲台６０に対して取り付けられた状態において、雲台６０の通信部との間で有線若しくは無線による通信信号の送受信を可能とするための構成を有している。雲台対応通信部４３は、撮像装置１０ａとの間で所定の通信方式にしたがった通信を実行する。
　制御部５０ａは、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０ａのＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０ａの動作がユーザ操作に応じた動作となるように各部を制御する。例えば、制御部５０ａは、シャッター操作をユーザが行ったとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生部３３の記録媒体に記録させる。また、動画記録開始操作が行われたときは、動画の符号化信号等を記録再生部３３の記録媒体に記録させる。
　また、制御部５０ａは、モード選択操作をユーザが行ったとき、ユーザによって選択されたモードで撮像動作等を行う。また、制御部５０ａは、撮像光学系センサ部１３から供給された位置信号や、検波部２５から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画像が得られるようにフォーカスレンズ１１２や絞り機構１１ｂが駆動される。また、制御部５０ａは、ズーム操作をユーザが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画像が得られるようにズームレンズ１１１を駆動する。
　さらに、制御部５０ａは、雲台６０によって撮像方向を移動しながら複数枚の撮像画像の生成を行う際に、変位させる補正レンズおよび／または撮像素子における各撮像画像の露光開始時の位置を、撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０ａは、撮像装置１０ａの動きに応じて、補正レンズと撮像素子の少なくとも一方を変位させることで、撮像素子の撮像面上に結像される光学像に対して撮像装置の動きに応じた振れの補正を行う。さらに、制御部５０ａは、変位させる補正レンズおよび／または撮像素子における各撮像画像の補正動作開始位置を変位させて、撮像方向の移動に対する補正範囲を広くする。
　なお、以下の説明では、補正レンズを変位させることで、撮像装置の動きに対する振れ補正を行う場合について説明する。
　［２－２．雲台の構成］
　図１６は、雲台の構成を例示したブロック図である。雲台６０は、パン・チルト機構を備えるものであり、これに対応する部位として、パンモータ６４、パン機構部６５、チルトモータ６７、チルト機構部６８を備える。
　通信部６１は、雲台対応通信部４３と対応して構成されており、雲台６０に取り付けられた撮像装置１０ａの雲台対応通信部４３と所定の通信方式にしたがって有線若しくは無線による通信を実行する。
　雲台制御部６２は、ＣＰＵやメモリ等を用いて構成されている。雲台制御部６２のＣＰＵはメモリに記憶されているプログラムを実行して、パン動作やチルト動作を雲台６０で行わせる。雲台制御部６２は、パン動作を行うとき、パン動作制御信号をパン駆動部６３に出力する。また、雲台制御部６２は、チルト動作を行うとき、チルト動作制御信号をチルト駆動部６６に出力する。
　パン駆動部６３は、パン動作制御信号に基づきモータ駆動信号を生成してパンモータ６４に出力する。また、チルト駆動部６６は、チルト動作制御信号に基づきモータ駆動信号を生成してチルトモータ６７に出力する。
　パンモータ６４は、雲台６０に取り付けられた撮像装置１０ａに対して、パン（水平）方向の動きを与えるためのパン機構部６５に設けられている。パンモータ６４は、モータ駆動信号に基づき正方向または逆方向に回転することで、パン機構部６５によって撮像装置１０ａに対してパン方向の動きを与える。
　チルトモータ６７は、雲台６０に取り付けられた撮像装置１０ａに対して、チルト（垂直）方向の動きを与えるためのチルト機構部６８に設けられている。チルトモータ６７は、モータ駆動信号に基づき正方向または逆方向に回転することで、チルト機構部６８によって撮像装置１０ａに対してチルト方向の動きを与える。
　［２－３．撮像装置の動作］
　図１７は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で制御部５０ａは、撮像装置１０ａの移動制御情報を取得する。制御部５０ａは、撮像方向をどちらの方向にどのような速度で移動（あるいは回転）させて撮像を行うかを示す移動制御情報を取得してステップＳＴ２２に進む。
　移動制御情報は、撮像装置１０ａと雲台６０のそれぞれで等しい情報を予め記憶しておく。また、ユーザ操作に応じて移動制御情報を撮像装置１０ａで生成するようにしてもよい。また、撮像装置１０ａと雲台６０との通信によって、雲台６０に記憶されている移動制御情報や雲台６０で生成した移動制御情報を取得する構成であってもよい。なお、移動制御情報を撮像装置１０ａで生成する場合、生成した移動制御情報を撮像装置１０ａから雲台６０に出力する。
　さらに、撮像方向の移動速度は、撮像装置１０ａまたは雲台６０で自動的に決定するようにしてもよい。例えば、撮像素子の露光期間を可変して所望の明るさの撮像画像を生成する場合、撮像画像が暗くなると露光期間が長くなる。また、露光期間が長くなると、撮像装置の動きに応じて補正レンズと撮像素子の少なくとも一方を変位させて振れ補正を行う場合、補正レンズや撮像素子の位置が補正制御端に到達しやすくなってしまう。そこで、露光期間が長いときには、撮像方向の移動速度を低下させて、露光期間に補正レンズや撮像素子の位置が補正制御端に到達しないようする。また、撮像素子の露光期間を可変して所望の明るさの撮像画像を生成する場合、撮像装置１０ａの検波部２５では被写体の明るさレベルを検出していることから、検出された明るさレベルに応じて撮像方向の移動速度を設定することもできる。また、図１６に示すように、雲台６０に明るさ検出部６９を設けて、明るさ検出部６９で検出された被写体の明るさに応じて、雲台６０あるいは撮像装置１０ａで撮像方向の移動速度を設定する構成としてもよい。このように、撮像装置１０ａや雲台６０は、検出された明るさに応じて撮像装置の動き速度を制御する。
　ステップＳＴ２２で制御部５０ａは、右方向スイープモードに設定されたか否か判別する。制御部５０ａは、撮像方向を右方向に移動させる右方向スイープ動作を行うことが移動制御情報で示されたとき、右方向スイープモードに設定されたと判別してステップＳＴ２３に進み、他のスイープモードに設定されたと判別したときステップＳＴ２４に進む。
　ステップＳＴ２３で制御部５０ａは、右方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を右方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、右方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。
　ステップＳＴ２４で制御部５０ａは、左方向スイープモードに設定されたか否か判別する。制御部５０ａは、撮像方向を左方向に移動させる左方向スイープ動作を行うことが移動制御情報で示されたとき、左方向スイープモードに設定されたと判別してステップＳＴ２５に進み、他のスイープモードに設定されたと判別したときステップＳＴ２６に進む。
　ステップＳＴ２５で制御部５０ａは、左方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を左方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、左方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。
　ステップＳＴ２６で制御部５０ａは、上方向スイープモードに設定されたか否か判別する。制御部５０ａは、撮像方向を上方向に移動させる上方向スイープ動作を行うことが移動制御情報で示されたとき、上方向スイープモードに設定されたと判別してステップＳＴ２７に進む。また、他のスイープモード（下方向スイープモード）に設定されたと判別したときステップＳＴ２８に進む。
　ステップＳＴ２７で制御部５０ａは、上方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を上方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、上方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。
　ステップＳＴ２８で制御部５０ａは、下方向スイープモード光学位置設定を行う。光学位置設定では、撮像装置１０ａの撮像方向を下方向に移動させるとき、レンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させて補正動作開始位置とする。制御部５０ａは、このように補正動作開始位置を設定することで、下方向スイープに対する振れ補正の補正範囲を広くしてステップＳＴ２９に進む。
　ステップＳＴ２９で制御部５０ａは、撮像方向移動開始指示を行う。制御部５０ａは、レンズ部や撮像素子が補正動作開始位置とされたことから、移動制御情報で示された移動方向および移動速度で、撮像装置１０ａの撮像方向の移動を雲台６０によって開始させてステップＳＴ３０に進む。
　ステップＳＴ３０で制御部５０ａは、撮像画像生成処理を行う。制御部５０ａは、補正動作開始位置とされている補正レンズ１１３ａを撮像方向の移動速度に応じて駆動して、スイープ動作によって生じる振れに対する補正（スイープ補正）を行う。なお、上述のように、補正動作開始時に、撮像装置の動きに対して遅れを生じることなく補正レンズ１１３ａを移動できるとき、制御部５０ａは、補正動作開始位置を露光開始時の位置として露光を開始する。また、補正動作開始時に撮像装置の動きに対して補正レンズ１１３ａの移動が遅れを生じるとき、撮像装置の動きに対して補正レンズ１１３ａの移動が追従する状態となる位置を露光開始時の位置として露光を開始する。さらに、制御部５０ａは、露光期間中、振れ補正動作を動作状態とすることで、撮像装置１０ａを雲台６０によってスイープさせても、スイープ動作によるぼけが生じていない撮像画像を生成させてステップＳＴ３１に進む。また、制御部５０ａは、スイープ動作時の撮像画像生成処理において、補正動作開始位置が撮像方向の移動する方向に変位されて補正可能な範囲が広くされている。したがって、補正動作開始位置の変位に伴い露光開始時の位置が変位されて、露光開始時の位置が光軸を中心とした位置とされている場合に比べて、撮像装置１０ａの動きに応じた振れ補正が可能な期間を長くすることができる。すなわち、撮像装置１０ａの動きに応じた振れ補正が可能な期間を長くできることから、被写体が暗いために露光期間を長くする場合であっても、撮像装置１０ａの動きによるぶれが生じていない撮像画像を生成できる。
　ステップＳＴ３１で制御部５０ａは、撮像方向の移動動作が終了したか否か判別する。制御部５０ａは、撮像方向の移動動作が終了していないと判別したときステップＳＴ３０に戻り、撮像方向の移動動作が終了したと判別したときステップＳＴ３２に進む。制御部５０ａは、ステップＳＴ３０に戻ると、撮像画像の露光期間と次の撮像画像の露光期間との間に、補正レンズ１１３ａを補正動作開始位置に戻す。その後、制御部５０ａは、再度撮像方向の移動速度に応じて補正レンズ１１３ａを駆動して、撮像装置１０ａをスイープさせてもぼけの生じていない画像の生成を行う。
　ステップＳＴ３２で制御部５０ａは、ステップＳＴ３０で生成した撮像画像を記録再生部３３で記録媒体に記録させる。
　このように、制御部５０ａは、パノラマ撮像モードであるとき、各撮像画像を生成するときの補正動作開始位置を、光軸に対してレンズ部と撮像素子の少なくとも一方を撮像方向の移動する方向に応じた方向に変位させる。また、制御部５０ａは、補正動作開始位置を変位させることで、撮像方向の移動に対する振れ補正の補正範囲を広く設定する。また、制御部５０ａは、変位されているレンズ部および／または撮像素子を、撮像装置の動きに応じて移動させる。さらに、補正動作開始位置の変位に伴い露光開始時の位置が変位される。したがって、ぼけの生じていない撮像画像を生成できる露光期間を、変位していない場合に比べて長くできる。このため、撮像方向に対する振れ補正の性能が改善されて、パノラマ画像の生成に適した振れ補正が行われることになり、例えば露光時間を長くしてもぼけの生じていない撮像画像の生成や、スイープ速度が速くてもぼけの生じていない撮像画像の生成が可能となる。また、パノラマ画像を生成する際に、被写体の明るさやスイープ速度等の制約が軽減されて、雲台６０によって撮像装置１０ａの撮像方向を移動させる場合であっても、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができる。さらに、動き検出センサ等によって撮像装置１０ａの動きを検出する必要がないことから、撮像装置１０ａの構成が簡単となる。
　なお、撮像画像合成処理を撮像装置で行う場合、撮像画像合成処理を行うステップを設けて、撮像画像合成処理で生成されたパノラマ画像を記録媒体に記録するようにしてもよい。
　また、撮像装置１０ａと雲台６０のそれぞれで等しい移動制御情報を予め記憶しておく場合、撮像装置１０ａでは、撮像方向の移動方向や移動速度が明らかである。したがって、雲台６０で撮像装置１０ａの撮像方向が移動されているときに複数枚の撮像画像の生成を行うだけで、ぼけの生じていない撮像画像を生成できる。
　撮像装置１０ａと雲台６０との間で移動制御情報の通信を行う場合は、例えば移動方向や移動速度を変更しても、撮像装置１０ａと雲台６０で変更後の移動方向や移動速度を把握できる。したがって、雲台６０で撮像装置１０ａの撮像方向が移動されているときに複数枚の撮像画像の生成を行うだけで、ぼけの生じていない撮像画像を生成できる。
　また、撮像方向の移動速度を露光期間に応じて制御すれば、補正レンズや撮像素子の位置が補正制御端に到達しないようにできるので、所望の明るさの撮像画像を得ることができるように露光期間を可変しても、ぼけの生じていない撮像画像を生成できる。
　なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば、撮像装置の振れを検出できる構成であれば、上述のように角速度検出センサや加速度検出センサを用いた構成に限られない。例えば、撮像画像から撮像装置の振れを検出するようにしてもよい。
　さらに、レンズ交換が可能な撮像装置である場合、補正レンズをレンズ側に設けた構成としてもよく、補正レンズを撮像装置の本体側に設けた構成としてもよい。また、例えば補正レンズや補正レンズを駆動する駆動部をレンズ側に設けて、他の構成要素を撮像装置の本体側に設けた構成としてもよい。また、上述のように、撮像装置の本体側に設けた撮像素子を撮像装置の動きに応じて移動させてもよい。
　この発明の実施の形態は、例示という形態で本発明を開示しており、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　この発明の撮像装置および撮像方法は、駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位する。また、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、制御部によって、撮像方向の移動する方向に応じた方向に駆動部で変位させる。さらに、制御部では、変位されているレンズ部および／または撮像素子を、当該撮像装置の動きに応じて駆動部によって変位させる制御を行い、撮像方向の移動に伴って生じる振れが補正される。このように、パノラマ画像の生成に適した振れ補正を行うことが可能となり、パノラマ画像を生成するための複数枚の撮像画像を容易に得ることができるので、ディジタルカメラ等に適している。
　１０，１０ａ・・・撮像装置、１１・・・撮像光学系ブロック、１１ａ・・・レンズ部、１１ｂ・・・絞り機構、１２・・・ドライバ、１３・・・撮像光学系センサ部、２１・・・撮像素子、２１ａ，１１３ｂ・・・アクチュエータ、２２・・・ＴＧ部、２３・・・ＡＦＥ部、２４・・・信号処理部、２５・・・検波部、３１・・・画像出力部、３２・・・表示部、３３・・・記録再生部、４１・・・操作部、４２・・・動き検出部、４３・・・雲台対応通信部、５０，５０ａ・・・制御部、６０・・・雲台、６１・・・通信部、６２・・・雲台制御部、６３・・・パン駆動部、６４・・・パンモータ、６５・・・パン機構部、６６・・・チルト駆動部、６７・・・チルトモータ、６８・・・チルト機構部、６９・・・明るさ検出部、１１１・・・ズームレンズ、１１２・・・フォーカスレンズ、１１３・・・補正レンズ部、１１３ａ・・・補正レンズ、４１１・・・メニューキー、４１２ａ～４１２ｄ・・・方向キー、４１３・・・決定キー、４１５・・・シャッターキー

Claims (13)

  1. 　光軸に対してレンズ部と撮像素子の少なくとも一方を変位させる駆動部と、
    　当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部によって変位させる制御部とを有し、
    　前記制御部は、複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させる撮像装置。
  2. 　前記制御部は、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記光軸を中心とした位置から変位させる請求項１記載の撮像装置。
  3. 　前記駆動部は、光軸に対してレンズ部と撮像素子の少なくとも一方を光軸に対して垂直な面内で変位させる請求項１記載の撮像装置。
  4. 　前記制御部は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで、前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れの補正を行う請求項１記載の撮像装置。
  5. 　前記制御部は、各撮像画像の露光期間中は、前記撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を変位させることで前記撮像素子の撮像面上に結像される光学像の前記撮像装置の動きに応じた振れを補正する振れ補正動作を動作状態とする請求項１記載の撮像装置。
  6. 　前記制御部は、撮像画像の露光期間と次の撮像画像の露光期間との間に、前記レンズ部および／または撮像素子の位置を前記露光開始時の位置に戻す請求項５記載の撮像装置。
  7. 　前記制御部は、前記撮像画像の露光期間中、前記撮像装置の動きに応じた所定の速度で前記レンズ部と撮像素子の少なくとも一方を変位させる請求項５記載の撮像装置。
  8. 　当該撮像装置の撮像方向を移動させる雲台によって撮像装置の撮像方向を移動させるための移動制御情報に基づき前記撮像装置の動きを判別して、前記レンズ部と撮像素子の少なくとも一方を変位させる請求項１記載の撮像装置。
  9. 　前記撮像画像の露光期間中は、前記レンズ部と撮像素子の少なくとも一方を前記撮像装置の動きに応じて変位させることができるように、前記露光期間の長さに応じて前記雲台によって移動される前記撮像装置の撮像方向の移動速度を設定して前記移動制御情報の生成を行う移動制御情報生成部を有する請求項８記載の撮像装置。
  10. 　前記制御部は、前記パノラマ画像を生成するために複数枚の撮像画像の生成を行う第１の撮像モードと、該第１の撮像モードと異なる第２の撮像モードを有し、前記第２の撮像モードでは、前記レンズ部および／または撮像素子における各撮像画像の露光開始時の位置を、前記光軸を中心とした位置とする請求項１記載の撮像装置。
  11. 　表示部を備え、
    　前記制御部は、いずれの方向に前記撮像方向を移動しながら前記複数枚の撮像画像を生成するか選択するためのメニュー表示を前記表示部に表示して、前記メニュー表示から選択された移動方向に応じた方向に、前記レンズ部および／または撮像素子における露光開始時の位置を変位させる請求項１記載の撮像装置。
  12. 　前記制御部は、前記複数枚の撮像画像の生成を行う際に、前記選択されている移動方向の通知を行う請求項１１記載の撮像装置。
  13. 　駆動部によって、光軸に対してレンズ部と撮像素子の少なくとも一方を変位させるステップと、
    　制御部によって、当該撮像装置の動きに応じて、前記レンズ部と撮像素子の少なくとも一方を前記駆動部で変位させるステップと、
    　複数枚の撮像画像からパノラマ画像を生成するために撮像方向を移動しながら前記複数枚の撮像画像の生成を行う際に、前記制御部によって、各撮像画像の露光開始時における前記レンズ部および／または撮像素子の位置を、前記撮像方向の移動する方向に応じた方向に変位させるステップを備える撮像方法。
PCT/JP2010/052241 2009-02-27 2010-02-16 撮像装置と撮像方法 WO2010098228A2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011501554A JPWO2010098228A1 (ja) 2009-02-27 2010-02-16 撮像装置と撮像方法
BRPI1008620A BRPI1008620A2 (pt) 2009-02-27 2010-02-16 aparelho e método de captura de imagem
EP10746109A EP2403232A4 (en) 2009-02-27 2010-02-16 IMAGING DEVICE AND METHOD
US13/202,000 US9942476B2 (en) 2009-02-27 2010-02-16 Image capturing apparatus and image capturing method
CN201080008509.0A CN102326381B (zh) 2009-02-27 2010-02-16 成像装置和成像方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009045495 2009-02-27
JP2009-045495 2009-02-27

Publications (2)

Publication Number Publication Date
WO2010098228A2 true WO2010098228A2 (ja) 2010-09-02
WO2010098228A3 WO2010098228A3 (ja) 2010-10-21

Family

ID=42666011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/052241 WO2010098228A2 (ja) 2009-02-27 2010-02-16 撮像装置と撮像方法

Country Status (7)

Country Link
US (1) US9942476B2 (ja)
EP (1) EP2403232A4 (ja)
JP (1) JPWO2010098228A1 (ja)
CN (1) CN102326381B (ja)
BR (1) BRPI1008620A2 (ja)
TW (1) TW201122713A (ja)
WO (1) WO2010098228A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791669A (zh) * 2014-12-26 2016-07-20 联想(北京)有限公司 电子设备及其控制方法
WO2017088600A1 (zh) * 2015-11-27 2017-06-01 努比亚技术有限公司 增大成像范围的方法、装置、移动终端及计算机存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5853359B2 (ja) * 2010-11-11 2016-02-09 ソニー株式会社 撮像装置、撮像装置の制御方法およびプログラム
JP5965596B2 (ja) * 2011-07-27 2016-08-10 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
JP2013055381A (ja) * 2011-08-31 2013-03-21 Ricoh Co Ltd 撮像装置及び撮像方法並びに携帯情報端末装置
CN102645738B (zh) * 2012-04-23 2014-07-30 南京德朔实业有限公司 激光测距仪及适用其接收光线的聚光镜
IES20120509A2 (en) * 2012-11-27 2014-06-04 Digitaloptics Corp Europe Ltd Digital image capture device having a panorama mode
KR102041647B1 (ko) * 2014-06-30 2019-11-07 삼성전기주식회사 카메라의 보정 시스템 및 그 보정방법
JP6659130B2 (ja) * 2015-12-04 2020-03-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
TWI572206B (zh) * 2016-02-19 2017-02-21 致伸科技股份有限公司 獲得影像的方法以及應用該方法的影像擷取裝置與電子裝置
TWI572209B (zh) * 2016-02-19 2017-02-21 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置與電子裝置
EP3440839A4 (en) * 2016-04-06 2019-08-28 Charles R. Tudor VIDEO BROADCAST VIA SELECTED VIDEO HOSTS
JP2017212698A (ja) * 2016-05-27 2017-11-30 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム
US20170372573A1 (en) * 2016-06-22 2017-12-28 Hanwha Techwin Co., Ltd. Surveillance system and operating method thereof
CN106454130A (zh) * 2016-11-29 2017-02-22 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置
CN109729264B (zh) * 2018-12-11 2021-01-08 维沃移动通信有限公司 一种图像获取方法及移动终端
US20220311941A1 (en) * 2019-05-27 2022-09-29 Sony Group Corporation Composition control device, composition control method, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188754A (ja) 1997-09-09 1999-03-30 Sony Corp 画像信号撮像および記録装置および方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6192196B1 (en) * 1994-10-11 2001-02-20 Keller James Mcneel Panoramic camera
JP2000184265A (ja) * 1998-12-16 2000-06-30 Sony Corp 画像信号撮像装置および方法
US6639596B1 (en) * 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
JP2001285702A (ja) * 2000-03-30 2001-10-12 Toshiba Corp ビデオカメラシステム
JP3925299B2 (ja) * 2002-05-15 2007-06-06 ソニー株式会社 モニタリングシステムおよび方法
JP4293053B2 (ja) * 2004-05-19 2009-07-08 ソニー株式会社 撮像装置及び方法
JP2007214620A (ja) 2006-02-07 2007-08-23 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2008271529A (ja) * 2007-03-26 2008-11-06 Sanyo Electric Co Ltd 撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188754A (ja) 1997-09-09 1999-03-30 Sony Corp 画像信号撮像および記録装置および方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791669A (zh) * 2014-12-26 2016-07-20 联想(北京)有限公司 电子设备及其控制方法
CN105791669B (zh) * 2014-12-26 2019-12-24 联想(北京)有限公司 电子设备及其控制方法
WO2017088600A1 (zh) * 2015-11-27 2017-06-01 努比亚技术有限公司 增大成像范围的方法、装置、移动终端及计算机存储介质

Also Published As

Publication number Publication date
WO2010098228A3 (ja) 2010-10-21
US9942476B2 (en) 2018-04-10
BRPI1008620A2 (pt) 2016-02-23
EP2403232A2 (en) 2012-01-04
US20110298888A1 (en) 2011-12-08
JPWO2010098228A1 (ja) 2012-08-30
CN102326381A (zh) 2012-01-18
TW201122713A (en) 2011-07-01
CN102326381B (zh) 2015-07-01
EP2403232A4 (en) 2012-12-19

Similar Documents

Publication Publication Date Title
JP5493942B2 (ja) 撮像装置と撮像方法
WO2010098228A2 (ja) 撮像装置と撮像方法
JP5574423B2 (ja) 撮像装置、表示制御方法及びプログラム
JP4569389B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5893713B1 (ja) 撮像装置、撮像方法、処理プログラム
JP5163676B2 (ja) 撮像装置、撮像方法及びプログラム
JP4654887B2 (ja) 撮像装置
JP6222514B2 (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2009268037A (ja) 撮像装置及び撮像方法
JP2012222541A (ja) 撮像装置、画像合成方法、及びプログラム
JP4957825B2 (ja) 撮像装置、及びプログラム
WO2016072102A1 (ja) 撮像装置、撮像方法、処理プログラム
JP5105844B2 (ja) 撮像装置及び方法
JP2007259156A (ja) カメラ、カメラの画像処理方法、プログラム、記録媒体
JP2013109034A (ja) 撮像装置と撮像制御方法およびプログラム
JP5889719B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010220002A (ja) 撮像装置と撮像方法
JP2001111879A (ja) 撮像装置
JP5477063B2 (ja) 撮像装置と撮像方法および交換レンズ
JP6381112B2 (ja) 撮像装置、撮像方法、プログラム
JP2009194469A (ja) 撮像装置
JP5637400B2 (ja) 撮像装置、及びプログラム
JP2007201774A (ja) 移動方向検出装置、および撮像装置
JP5115523B2 (ja) 撮像装置、撮影範囲調整方法及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080008509.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10746109

Country of ref document: EP

Kind code of ref document: A2

WWE Wipo information: entry into national phase

Ref document number: 2011501554

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010746109

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13202000

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 6317/DELNP/2011

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: PI1008620

Country of ref document: BR

ENP Entry into the national phase

Ref document number: PI1008620

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110819