WO2004112380A1 - 情報生成装置、撮影装置および撮影方法 - Google Patents

情報生成装置、撮影装置および撮影方法 Download PDF

Info

Publication number
WO2004112380A1
WO2004112380A1 PCT/JP2004/008702 JP2004008702W WO2004112380A1 WO 2004112380 A1 WO2004112380 A1 WO 2004112380A1 JP 2004008702 W JP2004008702 W JP 2004008702W WO 2004112380 A1 WO2004112380 A1 WO 2004112380A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
still image
unit
frame
Prior art date
Application number
PCT/JP2004/008702
Other languages
English (en)
French (fr)
Inventor
Mitsuaki Oshima
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP04746172A priority Critical patent/EP1641246A4/en
Priority to US10/561,384 priority patent/US7782362B2/en
Publication of WO2004112380A1 publication Critical patent/WO2004112380A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1575—Picture signal readout register, e.g. shift registers, interline shift registers

Definitions

  • the present invention relates to an information generating apparatus that generates information indicating a still image, an imaging apparatus that captures a still image during a predetermined exposure period, and an imaging method.
  • a technique using an optical image stabilization method is known as a camera shake correction technique for a shot still image.
  • This technology is effective for taking still images without image quality degradation, but it requires an optical drive unit, so there is a limit to downsizing the device.
  • a technique using an electronic image stabilization method is known as a camera shake correction technique for captured moving images. Since this technology does not require an optical drive unit, the size of the device can be reduced. However, it was thought that it was not effective for image stabilization of still images. This technique only corrects between frames, and it is impossible in principle to correct camera shake of a single frame.
  • the present invention solves the above-described problems, and an object thereof is to provide an information generation apparatus, an imaging apparatus, and an imaging method using an electronic camera shake correction method that can correct camera shake of a captured still image. Disclosure of the invention
  • the information generation apparatus includes a storage unit that stores a plurality of pieces of frame information; Information generating means for generating still image information indicating the still image based on a plurality of pieces of frame information stored in the storage means, wherein the plurality of frame information includes still images taken during a predetermined exposure period.
  • Information generating means for generating still image information indicating the still image based on a plurality of pieces of frame information stored in the storage means, wherein the plurality of frame information includes still images taken during a predetermined exposure period. This is information indicating a plurality of frames to be expressed, and is information corrected according to the amount of rocking between the plurality of frames, thereby achieving the above object.
  • the information generation unit may generate the still image information by collectively calculating a plurality of frame information stored in the storage unit.
  • the information generation unit may generate the still image information by sequentially calculating each of a plurality of frame information stored in the storage unit.
  • the plurality of frame information may be generated based on information generated by adding information indicating a plurality of pixels included in the imaging surface of the imaging element in at least one of the horizontal direction and the vertical direction. Good.
  • the imaging apparatus of the present invention is an imaging apparatus that captures a still image during a predetermined exposure period, and includes a swing amount detection unit that detects a swing amount between a plurality of frames representing the captured still image, and the detection According to the amount of swing performed, swing correction means for correcting a plurality of frame information indicating the plurality of frames, storage means for storing the plurality of frame information corrected for swing, and storage means Information generating means for generating still image information indicating the still image based on a plurality of stored frame information, thereby achieving the object.
  • the information generation unit may generate the still image information by collectively calculating a plurality of frame information stored in the storage unit.
  • the information generation unit may generate the still image information by sequentially calculating each of a plurality of frame information stored in the storage unit.
  • Resolution changing means for changing the resolution of the plurality of frames according to the swing amount may be further provided.
  • Frame rate changing means for changing the frame rate according to the amount of rocking. You may prepare for it.
  • the frame rate indicates the number of a plurality of frames representing a still image taken per unit time.
  • Resolution changing means for changing the resolution of the plurality of frames according to the brightness may be further provided.
  • a resolution changing unit that changes the resolution of the plurality of frames according to a zoom ratio may be further provided.
  • the swing amount detection means detects the swing amount based on information generated by adding information indicating a plurality of pixels included in the imaging surface of the image sensor, and the swing correction means determines the swing amount. Accordingly, the plurality of frame information may be corrected by cutting out a part of the plurality of frame information.
  • the swing amount detecting means may detect the swing amount without being based on information generated based on a plurality of pixels included in the imaging surface of the image sensor.
  • the apparatus further includes a determination unit that determines whether or not the predetermined exposure time is greater than a predetermined value, and when the predetermined exposure time is determined to be greater than a predetermined value, the fluctuation amount detection unit includes imaging.
  • the amount of oscillation may be detected based on information generated by adding information indicating a plurality of pixels included in the imaging surface of the element.
  • the image capturing method of the present invention is an image capturing method for capturing a still image during a predetermined exposure period, the step of detecting a swing amount between a plurality of frames representing the captured still image, and the detected swing amount. And a step of correcting a plurality of pieces of frame information indicating the plurality of frames, a step of storing a plurality of pieces of frame information subjected to the fluctuation correction, and a plurality of pieces of frame information stored in the storage unit. And generating the still image information indicating the still image, thereby achieving the above object.
  • An imaging apparatus is an imaging apparatus that captures a still image during a predetermined exposure period, and includes a swing amount detection unit that detects a swing amount between a plurality of frames representing the captured still image, Display means for displaying the detected swing amount after the exposure period of Thus, the above object is achieved.
  • An imaging apparatus is an imaging apparatus that captures a still image during a predetermined exposure period, and includes a swing amount detection unit that detects a swing amount between a plurality of frames representing the captured still image, and the swinging device.
  • a determination means for determining whether or not the amount of movement is larger than a predetermined value and an output means for outputting the determination result are provided, whereby the above object is achieved.
  • the output means may display the determination result when it is determined that the swing amount is larger than the predetermined value.
  • the output means may generate a sound when it is determined that the swing amount is larger than the predetermined value.
  • the output means may swing when it is determined that the swing amount is larger than the predetermined value.
  • FIG. 1 is a diagram showing a photographing apparatus 100 according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the configuration of the swing detection means 15. '
  • FIG. 3 is a diagram illustrating a camera shake correction operation according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing a masking operation according to the embodiment of the present invention.
  • FIG. 5 is a diagram showing the relationship between the number of pixels and the frame frequency.
  • FIG. 6 is a diagram illustrating a configuration of the imaging unit 5 including a pixel region divided into four.
  • FIG. 7 is an operation diagram when the frame rate is increased in the embodiment of the present invention.
  • FIG. 8 is a flowchart showing the procedure of the imaging process (step 50 0 a to step 5 Of) according to the embodiment of the present invention.
  • FIG. 9 is a flowchart showing a procedure (step 51a to step 51y) of the photographing process according to the embodiment of the present invention.
  • FIG. 10 shows the procedure of the photographing process according to the embodiment of the present invention 5 2 t) is a flowchart.
  • FIG. 11 is a flowchart showing a sequential calculation processing procedure according to the embodiment of the present invention.
  • FIG. 12 is a flowchart showing a batch operation processing procedure according to the embodiment of the present invention.
  • Fig. 13 is a flowchart showing the processing procedure for correcting camera shake by integrating multiple images (divided images) according to the brightness of the shooting location and the shirt evening speed (exposure time).
  • FIG. 14 is a flowchart showing the procedure for changing the resolution by in-plane pixel addition and time-axis pixel addition.
  • FIG. 15 is a diagram illustrating the principle of correcting camera shake by setting a larger number of pixels than the actual number of pixels according to the embodiment of the present invention.
  • Fig. 16 is a diagram showing the in-plane direction addition method.
  • FIG. 17 is a diagram for explaining the shift of the image clipping position.
  • Figure 18 shows the principle of reduced interpolation, the principle of enlarged interpolation, and the principle of high-resolution image stabilization.
  • FIG. 19 is a flowchart showing a procedure for removing an image for which camera shake detection has failed.
  • FIG. 20 is a diagram showing a configuration of the imaging device 20 0 according to the embodiment of the present invention.
  • FIG. 21 is a diagram illustrating an example of the display unit 95 included in the photographing apparatus 200.
  • FIG. 22 is a diagram illustrating another example of the display unit 95 included in the photographing apparatus 200.
  • Figure 23 shows the display of the boundary indicator 97 during panning or panoramic photography.
  • FIG. 24 is a diagram showing detection points for camera shake detection in the frame.
  • FIG. 1 shows a photographing apparatus 100 according to an embodiment of the present invention.
  • the imaging device 100 captures a still image during a predetermined exposure period.
  • the photographing device 100 has a lens unit 2 for entering light from the outside of the photographing device 100, an automatic focusing unit 4 for automatically adjusting the light 3, and a zoom for setting a zoom ratio of the lens unit 2.
  • Part 6 and imaging part 5 are included.
  • An optical image is formed on the imaging unit 5.
  • the imaging unit 5 outputs output data indicating the formed optical image.
  • the imaging unit 5 is, for example, a CCD or MOS type imaging device.
  • the light 3 incident from the lens unit 2 is focus-adjusted by the autofocus unit 4.
  • the zoom unit 6 sets the zoom ratio of the lens unit 2, and the optical image 7 is formed on the imaging unit 5.
  • the photographing apparatus 100 further includes a display switching unit 10, a display circuit 11, a display unit 12, a recording unit 13, and a recording medium 14.
  • a display switching unit 10 When a still image is captured without correcting the fluctuation of the still image representing the still image, the output data output from the imaging unit 5 is sent directly to the display switching unit 10.
  • the output data output from the imaging unit 5 When a still image is displayed, the output data output from the imaging unit 5 is displayed on the display unit 12 by the display circuit 11.
  • the output data output from the imaging unit 5 is recorded on the recording medium 14 by the recording unit 13.
  • the photographing apparatus 100 includes a shirt evening button 25, a sub-image memory 8 for storing data, and a vibration detection means 1 for detecting a swing amount between a plurality of images (frames) representing a captured still image. 5 according to the detected swing amount, a swing correction unit 9 for correcting a plurality of image information indicating a plurality of images (frames), a swing correction control unit 21, and a swing in the evening direction.
  • the trimming unit 2 2 controlled to be removed, the resolution changing unit 24 4 for changing the resolution of the image indicated by the screen data, the thinning control unit 2 5 a, the pixel transfer unit 2 3, and the swing amount And a frame rate changing unit 40 for changing the frame rate in accordance with.
  • the swing detection means 15 is connected to the data input to the swing detection means 15. And a first memory 16 and a second memory 17.
  • the swing correction control unit 21 controls each component to correct the output data output from the imaging unit 5 in accordance with the detected swing amount.
  • the calculation unit 18 receives a plurality of input output data (eg, n—first screen data (ie, previous screen data) and nth image data (ie, current screen data). ))) To calculate swing information.
  • the swing information is the motion vector 19. Even when the photographing apparatus 100 includes the evening vibration gyro and the horizontal vibration gyro, it is possible to detect the evening swing amount and the horizontal swing amount. In this case, the swing information includes the vertical swing amount and the horizontal swing amount.
  • the swing correction control unit 21 controls the trimming unit 2 2 and the pixel transfer unit 23 to remove the vertical swing.
  • the swing correction control unit 21 controls the swing correction unit 9 to remove the horizontal swing. Accordingly, it is possible to correct the vertical fluctuation of the image data and the horizontal fluctuation of the image data, and it is possible to obtain the image data corrected for the fluctuation.
  • the image data that has been subjected to the oscillation correction is sequentially output to the display unit 12 via the display switching unit 10.
  • the user can visually recognize the continuous image corrected for shaking from the display unit 12 at a predetermined frame rate.
  • the display unit 12 can display an image of a part of the entire image indicated by the image data subjected to the shake correction. Therefore, the subject can be accurately framed.
  • the resolution is set by the resolution changing unit 24 and the thinning control unit 25 a to a lower resolution than that at the time of still image shooting. Therefore, the frame rate can be increased and the number of images displayed per second can be increased. Yes. As a result, the user can visually recognize the subject image more smoothly.
  • the recording unit 13 may record a plurality of images with a high frame rate on the recording medium 14 as moving images.
  • the resolution changing unit 24 changes the resolution of the plurality of frames according to at least one of the brightness, the swing amount, and the zoom ratio.
  • the photographing apparatus 10 further includes a clock control means 27, a transfer clock supply unit 32, a processing clock supply unit 28, and a CPU 26.
  • the CPU 26 controls the clock control means so that the processing clock supply unit 28 starts the operation of the clock of the arithmetic unit 29 or the like or increases the clock speed. 2 Give a command to 7.
  • the photographing apparatus 100 generates a still image information indicating a still image based on a main image memory 30 storing a plurality of pieces of image information that has been subjected to oscillation correction, and a plurality of pieces of image information stored in the storage unit. It further includes a calculation unit 29 and a sub calculation unit 29 a. The details of the function of the calculation unit 29, the function of the main image memory 30 and the function of the sub calculation unit 29a will be described later.
  • the photographing apparatus 100 further includes a masking unit 20 and a bright part extraction unit 39. Details of the function of the masking unit 20 and the function of the bright part extraction unit 39 will be described later.
  • the photographing apparatus 100 further includes a vibrator 3 6 and a speaker 3 7. Details of the functions of the vibrator 36 and the speaker 37 will be described later.
  • FIG. 2 shows the configuration of the swing detection means 15.
  • the swing detection means 15 includes a calculation unit 18, a first memory 16 and a second memory 17.
  • Data indicating two images image data indicating an image and an image D n Based on the image data), the fluctuation amount between the images D n i and D n (for example, motion vector (X y y x )) is detected, and the fluctuation amount Is displayed.
  • FIG. 3 shows a camera shake correction operation according to the embodiment of the present invention.
  • a photographed image is shown
  • the corrected image data is added to the data indicating the addition result stored in the main image memory unit 30 by the arithmetic unit 29.
  • Data indicating the addition result is stored in the main image memory unit 30.
  • the corrected image data is added to the data indicating the addition result stored in the main image memory unit 30 by the arithmetic unit 29.
  • Data indicating the addition result is stored in the main image memory unit 30.
  • the main image memory unit 30 stores the image data indicating the four substantially the same images that have been added, and displays the data of one still image. Is generated.
  • the shirt evening time Depending on the degree of camera shake (swing amount) and zoom ratio, for example, the shirt evening time
  • an optimal frame rate can be obtained by increasing the frame rate by increasing the transfer clock or by increasing the frame rate by decreasing the resolution. Therefore, there is an effect that the scope of application is wide.
  • the calculation performed by the calculation unit 29 is not limited to addition. As long as data indicating a single still image can be generated based on a plurality of image data (frame information), the calculation may be integration, for example.
  • FIG. 4 shows the masking operation of the embodiment of the present invention.
  • the flash fires at time n l. Therefore, for example, the person shown in the image 35 e is brighter than the background (for example, a night view).
  • the person shown in the image 35 e is defined as the bright part 38 a.
  • the bright part extracting unit 39 extracts the data indicating the bright part 38a from the data indicating the image 35e, and generates masking data 31 based on the extracted data indicating the bright part a.
  • the image of the bright portion 3 8 c is removed, and data indicating the corrected image 3 3 b in which the camera shake is corrected is generated.
  • Data indicating the corrected image 3 3 b is added to data indicating the integral image 3 5 a to generate data indicating the integral image 3 5 b.
  • the image of the bright part 38 d is removed, and data indicating the corrected image 33c in which the camera shake is corrected is generated.
  • Data indicating the corrected image 3 3 c is added to data indicating the integral image 3 5 b to generate data indicating the integral image 3 5 c.
  • Data representing the integral image 35 c is resized, and data representing the integral image 35 d is generated.
  • the face image of the person exposed during the slow-shirt evening overlaps the face image of the person when the flash fires. Double exposure
  • the image is blurred.
  • the masking operation of the embodiment of the present invention the face of a person who is a bright part is not double-exposed due to camera shake correction. As a result, the bright part can be clearly photographed.
  • Figure 5 shows the relationship between the number of pixels and the frame frequency.
  • the frame rate (f p s) can be increased by reducing the resolution at the imaging unit 5 (see Fig. 1) by the resolution changing unit 2 4 (see Fig. 1).
  • the frame rate (ips) can be increased even when the transfer clock speed is increased by the clock control means 27, the processing clock supply unit 28, and the transfer clock supply unit 32.
  • the frame rate when an image is taken out for the purpose of camera shake correction, By raising the lock or lowering the resolution, the frame rate can be substantially increased, and afterimages (image degradation) that are characteristic of electronic image stabilization can be eliminated.
  • the normal imaging unit has 2 million pixels and the frame rate is about 7.5 fps, so the effect of afterimage remains. If the frame rate is not higher than 20 fps, it is difficult to eliminate the afterimage characteristic of electronic image stabilization.
  • FIG. 6 shows a configuration of the imaging unit 5 including a pixel region divided into four.
  • the imaging unit 5 includes a pixel region 40.
  • the pixel area 40 is divided into four pixel areas (pixel area 40a, pixel area 40b, pixel area 40c, and pixel area 40d).
  • the imaging unit 5 is divided into four horizontal transfer units (horizontal transfer unit 41 a, horizontal transfer unit 41 b, horizontal transfer unit 41 c, and horizontal transfer unit 41 d), and four divided vertical transfer units.
  • the imaging unit 5 may be divided into left and right parts.
  • FIG. 7 is an operation diagram when the frame rate is increased in the embodiment of the present invention.
  • the exposure time is long, make the frame rate faster and get more frames. To. As a result, the amount of camera shake can be detected in detail, and image degradation due to camera shake correction can be reduced.
  • information indicating a plurality of frames can be corrected by swinging, and information indicating a still image can be generated, so that one still image corrected for camera shake is obtained. be able to.
  • the swing amount detecting means 15 corresponds to “a swing amount detecting means for detecting a swing amount between a plurality of frames representing a captured still image”.
  • the swing correction unit 9 corresponds to “swing correction means for correcting a plurality of frame information indicating a plurality of frames according to the detected swing amount”, and the main image memory 30
  • the computing unit 29 corresponds to “information generating means for generating still image information indicating a still image based on a plurality of frame information stored in the storage means”. .
  • each component included in the imaging apparatus includes the above-described “swing amount detection means for detecting the swing amount between a plurality of frames representing a captured still image” and “a plurality of frames according to the detected swing amount”. Based on the plurality of pieces of frame information stored in the storage unit, and the storage unit that stores the plurality of pieces of frame information that have been subjected to the swing correction. As long as each function of the “information generating means for generating still image information” is provided, it may have an arbitrary configuration.
  • FIG. 8 shows a procedure (step 50 0 a to step 50 0 f) of the photographing process according to the embodiment of the present invention.
  • FIG. 9 shows the procedure of the photographing process according to the embodiment of the present invention (Step 5 1 a to Step 5
  • FIG. 10 shows a procedure (steps 5 2 a to 5 2 t) of the photographing process according to the embodiment of the present invention.
  • Step 5 0 a to step 5 0 f will be described with reference to FIG.
  • Step 5 0 a The operator prepares to shoot a still image.
  • Step 5 0 b When the operator presses the shutter button 25 halfway, the processing clock supply unit 28 starts the clock operation of the arithmetic unit 29 or the like or increases the clock speed.
  • the CPU 26 gives a command to the clock control means 27.
  • the processing clock supply unit 28 starts the clock operation of the arithmetic unit 29 or the like or increases the clock speed, the process proceeds to step 50 c.
  • Step 5 0 c The imaging unit 5 takes out an image smaller than the set resolution or a thinned image.
  • n Based on the data indicating the first image and the data indicating the nth image, the difference information of the position of the specific point or specific area between the n ⁇ first image and the nth image is generated. Get rocking information (rocking amount).
  • Step 5 0 d It is determined whether or not the swing information (swing amount) is larger than a predetermined value under the condition that the brightness of the shooting location is dark and the set resolution is a certain value or more. If it is larger than the predetermined value (Y e s), the process proceeds to step 50 e. If it is equal to or smaller than the predetermined value (N o), the process proceeds to step 50 f.
  • Step 5 0 e A “handshake warning” warning is displayed on display section 12 according to the value of the swing information.
  • Step 5 0 f The operator determines whether or not to press the shirt evening button 2 5. If pressed (Y e s), the process proceeds to step 51a (see Fig. 7). If not pressed (N o), the process of step 50 0 f is repeated.
  • Step 5 1 a to Step 5 1 y will be described with reference to FIG.
  • Step 5 1 a Judge whether the shutter speed (exposure time) is longer than t t or not. It is. For example, the CPU 26 determines whether or not the shutter speed (exposure time) is longer.
  • step 51b If the zoom ratio of the zoom unit 6 is less than a certain value and the shirt evening speed (exposure time) is the same as 1 ⁇ or shorter than t i (No), the process proceeds to step 51b. If the shutter speed (exposure time) is longer (Ye s), the process proceeds to step 51d.
  • Step 51 b Take a picture without shake correction (without shake correction).
  • Step 51c Shooting is completed and the process ends.
  • Step 51 d Set the device shake correction priority switch to ON.
  • Step 51 e the shutter speed (exposure time) whether longer than t 2 is determined.
  • step 51 f If the shutter speed (exposure time) is equal to t 2 or shorter than t 2 (No), the process proceeds to step 51 f. If the shutter speed (exposure time) is longer than t 2 (Ye s), the process proceeds to step 51 h.
  • Step 51 f It is determined whether the camera shake is intense and whether the zoom ratio is greater than a certain value.
  • step 51 g If the camera shake is not severe and the zoom ratio is greater than a certain value (No), the process proceeds to step 51 g. If the camera shake is strong and the zoom ratio is below a certain value (Y e s), the process proceeds to step 51 i.
  • Step 51 g Resolution N set in advance. Proceed to the image stabilization routine (step 51r) with the setting set to.
  • Step 51h Set resolution N. It is determined whether or not is higher than a predetermined resolution.
  • Step 51 r When is the predetermined resolution Ni or lower than the predetermined resolution N 1 (N 0), the process proceeds to step 51 r. Set resolution N. If is higher than the predetermined resolution (Yes), the process proceeds to step 51 i. Step 51 i: The transfer clock of the pixel transfer unit 23 is accelerated by the clock control means 27. Thus, the frame rate is increased.
  • Step 51 j Determine whether or not the camera shake is intense.
  • step 51 k If the camera shake is not severe and the zoom ratio is less than the predetermined value, that is, if the camera shake is very small (No), the process proceeds to step 51 k. 'If the camera shake is severe, or if the zoom ratio is larger than the specified value, that is, if there is a certain amount of camera shake (Ye s), the process proceeds to step 5 lm.
  • Step 51 k The processing proceeds to Step 51 r while maintaining the predetermined resolution.
  • Step 5 lm whether the set resolution is higher than the predetermined resolution N 2, or frame Murray Bok whether less than a predetermined value fn is determined.
  • the processing step 51 r Proceed to
  • step 51 n If the set resolution is higher than the predetermined resolution N 2 or if the frame rate is lower than the predetermined value fn (Yes), the process proceeds to step 51 n.
  • Step 51 n In order to set the resolution to a resolution N 2 lower than the predetermined resolution, the process proceeds to Step 51 p.
  • Step 51p The resolution changing unit 24 and the thinning control unit 25a generate information indicating one pixel by adding the power to thin the pixel output from the imaging unit 5 and information indicating a plurality of pixels in the in-plane direction. Reduce the number of pixels (ie resolution) (set to resolution N 2 )
  • Step 51 q As a result of setting the resolution to a resolution N 2 lower than the predetermined resolution, the maximum frame rate is increased. Increase the frame rate.
  • Step 51 r In order to capture a plurality of frames (images) into the photographing apparatus 100, it is determined whether or not to start inputting a photographed image for a camera shake correction routine. If input of the captured image is to be started (Ye s), the process proceeds to step 51 y. Step 5 ly: Calculate the total number n l as t necessary for the divided exposure based on the exposure time (ie shirt evening time), aperture value and frame rate. When camera shake is severe, shorten the shutter time for each still image.
  • Step 5 1 u Capture the nth image, and capture the nth still image from the imaging unit 5 into the sub memory 8 (get the nth still image data).
  • Step 51 V Determine whether the still image data is the first still image data.
  • Step 5 lw If the still image data is the first still image data (Yes), the process proceeds to Step 5 lw. If the still image data is not the first still image data (No), the process proceeds to step 52a (see FIG. 10).
  • Step 5 lw A part of the image of the imaging unit 5 is cut out to obtain image data I i.
  • Step 51 X Image data I is stored in the main image memory 30.
  • step 52a to step 52t will be described with reference to FIG.
  • Step 52 a The movement detection means 15 calculates the movement of a specific point between the first image data and the second image data, and calculates the fluctuation amount Mn (see FIG. 2).
  • a fluctuation amount Mi for example, a motion vector (xl, y 1)
  • Step 52 b Judge whether the integral value of the oscillation amount Mn is greater than a certain value.
  • the integral value of the swing amount Mn is greater than a certain value (Ye s)
  • the shot image is specified. It is determined that the region has overflowed, and the process proceeds to Step 52c. If the integral value of the swing amount Mn is smaller than a certain value (No), the process proceeds to step 52 s.
  • Step 52c 1 is added to the Ela Regis evening. Without saving the nth image in the main image memory 30, the process proceeds to step 52h.
  • Step 52 s It is determined whether or not the integral value of the swing amount Mn is greater than another constant value. If the integral value of the swing amount Mn is greater than or equal to another constant value, 1 is added to the second error register.
  • Step 52 d Of Isseki image de outputted from the image pickup section 5 stores the image de Isseki I n cut out response Ji in the longitudinal direction to the swing weight Mn in the sub-image memory 8.
  • Step 52 e Determine whether or not to turn on the flash. If the strobe is set to ⁇ N (Ye s), the process proceeds to step 52 f. If the flash is not turned on (No), the process proceeds to step 52 g.
  • Step 52 f the masking section 20, in advance Masking the image data I n (see FIG. 4 and (3. Operation masking)).
  • Step 52 g from shaking motion correcting section 9 and the oscillation of the oscillating and vertical direction ® co direction to obtain image data I n corrected.
  • the main image memory 30 e.g., addition, integration
  • Step 52 i The transfer clock of the imaging unit 5 is lowered by the clock control means 27. Or stop the transfer clock of the imaging unit 5 to save power.
  • Step 5 2 j Determine whether the value of the second error register is greater than a certain value.
  • step 5 2 ⁇ If the value of the second error register is less than a certain value (N o), the process proceeds to step 5 2 ⁇ . If the value of the second error register is greater than or equal to a certain value (Y e s), the process proceeds to step 52k.
  • Step 5 2 k Resize the integral image to determine whether the missing part can be eliminated (whether the range of the missing part is within the range that can be eliminated).
  • the corrected image 3 3 c has a missing portion 3 4 a (see FIG. 4).
  • a missing portion 3 4 b is also generated in the integral image 35 c. Therefore, in order to eliminate the missing part 3 4 b, it is necessary to resize the integral image 3 5 c. In this case, it is determined whether or not the missing portion 3 4 b can be eliminated by resizing the integral image 35 c (whether or not the range of the missing portion 3 4 b is within the range that can be eliminated). .
  • step 52 m If it can be eliminated (Y e s), the process proceeds to step 52 m. If it cannot be eliminated (N o), the process proceeds to step 52 p.
  • Step 5 2 m Resize the integral image 35 c to eliminate the missing part 3 4 b and obtain the integral image 35 d without the missing part (see Fig. 4).
  • Step 5 2 n Data indicating the integral image 35 d is recorded on the recording medium 14.
  • Step 5 2 p Since the missing part cannot be removed even if camera shake correction is performed, inform the operator of the camera shake correction failure. For example, the meaning of “camera shake correction error (out of range)” is displayed on the display section 12 (see FIG. 1). Also, an error warning sound is output from the speaker 37. Also vibrate the vibrator.
  • Step 5 2 q Determine whether the main display setting is ON.
  • Step 52 r The integrated image corrected for camera shake stored in the main image memory 30 or the resized image is displayed on the display unit 12.
  • Step 5 2 t An image subjected to camera shake correction is recorded on the recording medium 14. When another image is corrected after a certain period of time, the process returns to the first step 50 a again (see Fig. 8).
  • information indicating a plurality of frames can be corrected by shaking, and information indicating a still image can be generated, so that one still image corrected for camera shake is obtained. be able to.
  • step 5 2 a corresponds to “step of detecting the amount of rocking between a plurality of frames representing a captured still image”.
  • Step 5 2 g corresponds to “Step of correcting multiple frame information indicating multiple frames according to detected swing amount”, and Step 5 2 g is “Multiple frame information with swing correction”
  • Step 5 2 g or Step 5 2 m corresponds to “Step of generating still image information indicating a still image based on a plurality of frame information stored in the storage means”.
  • each step included in the imaging method includes the above-mentioned “step of detecting the swing amount between a plurality of frames representing a captured still image” and “a plurality of frames indicating a plurality of frames according to the detected swing amount”. Step of correcting frame information, Step of storing a plurality of pieces of frame information corrected for oscillation, and Step of generating still image information indicating a still image based on a plurality of pieces of frame information stored in the storage means
  • each of the “steps” has a function, it can have an arbitrary procedure. For example, as described with reference to FIGS.
  • the calculation unit 29 calculates each of a plurality of image data (frame information) stored in the main image memory 30 sequentially. To generate still image information. In addition, the calculation unit 29 calculates a plurality of image data (frame information) stored in the main image memory 30 in a lump. Still image information may be generated.
  • FIG. 11 shows a sequential calculation processing procedure according to the embodiment of the present invention.
  • the sequential calculation processing procedure is a procedure for generating still image information by sequentially calculating each of a plurality of image data (frame information).
  • step 51 s in FIG. 9 the sequential calculation processing procedure after the completion of shooting preparation (after step 51 s in FIG. 9) will be described step by step.
  • Step 10 c Take the nth image and load it into sub memory 8.
  • Step 10d Camera shake correction is performed on the nth image to obtain camera shake-corrected image Pn .
  • Step 10 e The computing unit 29 multiplies the data indicating the image P n subjected to camera shake correction by m (P n Xm).
  • Step 10 f calculating section 29, the data indicating the m times image P n is added to the image data of the main image memory 30 ( ⁇ 11 - 1; ⁇ ( ⁇ ; Xm) + (P n Xm)) .
  • Step 10 g The addition result is stored in the main image memory 30.
  • Step 10 j The generated image data P x is output to the recording unit 13.
  • still image information is generated by sequentially calculating each of a plurality of image data (frame information), so that the generation time of the still image information can be shortened. Can do.
  • the arithmetic unit 29 adds data indicating the image P n multiplied by m to the image data in the main image memory 30, and the sub-operation unit 29 a multiplies the image data that has been multiplied by m and sequentially added by lZs.
  • FIG. 12 shows a batch operation processing procedure according to the embodiment of the present invention.
  • the batch calculation processing procedure is a procedure for generating still image information by collectively calculating a plurality of image data (frame information).
  • step 5 Is in FIG. 9 the batch calculation processing procedure after the completion of shooting preparation (after step 5 Is in FIG. 9) will be described step by step.
  • Step 20 c Take the nth image.
  • Step 20 d Data indicating the nth image is stored in the main image memory 30.
  • Step 20 e: The computing unit 29 determines whether n n last (that is, the last value).
  • Step 20 f Camera shake correction for n images.
  • Each of the n images subjected to camera shake correction is subjected to pixel integration to generate image data P x indicating one still image.
  • Step 20 g The generated image data P x is output to the recording unit 13. After outputting to the recording unit 13, the process ends.
  • still image information is generated by batch calculation of a plurality of image data (frame information), so that the load on the calculation unit 29 can be reduced.
  • the image data can be appropriately multiplied by m times l / s ⁇ (so that a single still image having a desired brightness can be obtained.
  • Figure 13 shows the processing procedure for image stabilization by integrating multiple images (divided images) according to the brightness of the shooting location and the shirt evening speed (exposure time).
  • Step 9 9 a Set the resolution, number of pixels, and number of divided images.
  • Step 9 9 b Judge whether or not the means shake correction priority switch is ON. If it is not ON (No: Resolution priority mode), for example, the process is step 8.
  • Step 9 9 c It is determined whether the brightness of the shooting location is smaller than a predetermined value determined according to the resolution.
  • Step 9 9 d It is determined whether or not the shirt evening opening time (exposure time) S is larger than a predetermined value determined according to the resolution.
  • Step 99 f If it is larger than the predetermined value (Y es), the process proceeds to step 99 f. If it is equal to or smaller than the predetermined value (N o), the process proceeds to Step 99 e. Step 9 9 e: It is determined whether or not the camera shake amount is larger than a predetermined value. If it is larger than the predetermined value (Yes), the process proceeds to Step 99. When it is equal to or smaller than the predetermined value (No), normal photographing (photographing without adding pixels in the time direction) is performed (step 99m).
  • Step 99 f Set a resolution (limit resolution) in which camera shake is not noticeable according to at least one of the brightness of the shooting location, shirt opening time (exposure time), and frame rate.
  • Step 99 g Resolution is initial resolution N. Determine if greater than. If it is larger (Yes), perform normal shooting (shooting without adding pixels in the time direction) (step 99m). If it is the same or smaller (No), the process proceeds to step 99 h.
  • Step 99h Resolution is the initial resolution N. Changing to a smaller resolution N 2.
  • Step 99 i horizontal pixel addition (horizontal addition process) and performing at least one of the vertical pixel addition (vertical addition process) to set the resolution N 2. Details of the horizontal addition process and the vertical addition process will be described later.
  • Step 99 j Raise the frame rate.
  • Step 99 k Perform multiple shooting (time direction, pixel addition mode). Next, the process proceeds to, for example, step 51 y (see FIG. 9).
  • Figure 14 shows the procedure for changing the resolution by in-plane pixel addition and temporal axis pixel addition.
  • Step 70a Data indicating nine pixels (pixel 60a to pixel 60i) in the image sensor are added in the in-plane direction to generate data indicating one pixel 62.
  • Step 7 O b Set more virtual addresses than actual addresses. Set a virtual address by enlarging the amount of dresses). A virtual cutout section 65 is set according to the camera shake correction information (swing information).
  • Step 7 0 c Shift the display showing image 61 on the virtual address according to the image stabilization information.
  • data indicating a new pixel 66 is generated based on the data indicating the original pixel 62 and the data indicating the surrounding pixels.
  • FIG. 15 shows the principle of correcting camera shake by setting a larger number of pixels than the actual number of pixels according to the embodiment of the present invention. Since the camera shake correction amount has a resolution of 110 pixels, a virtual pixel 67 is generated by dividing the pixel 62 by 10 and the virtual pixel 67 is shifted in order to correct it precisely.
  • Step 70 d Cut out the image.
  • Step 7 0 e Get the data showing the clipped image 64. Discard the data showing the protruding part 6 8.
  • Step 70 0 f Data indicating the cut image 64 is recorded in the main image memory 30.
  • the camera shake correction amount at this time is recorded in the main image memory 30.
  • Step 70 0 g When a data indicating a new image 61a is input, the same processing as in Step 70a to Step 70d is performed.
  • Step 7 O h Based on the camera shake correction amount, data indicating the cut-out image 6 4 a is obtained.
  • Step 7 0 i Data indicating the synthesized image 71 is obtained by adding (or integrating) the data indicating the pixel of the clipped image 6 4 and the data indicating the pixel of the clipped image 6 4 a in the time axis direction. .
  • Step 7 0 j Data indicating the composite image 71 is recorded in the main image memory 30.
  • Step 70 k When data indicating a new image 61 b is input, the same processing as Step 70 0 a to Step 70 0 e is performed. Data indicating clipped image 6 4 b is obtained.
  • Step 70m The data indicating the composite image 71a is obtained by adding the data indicating the pixel of the composite image 71 and the data indicating the pixel of the cut-out image 64b in the time axis direction.
  • Step 70 n A camera shake correction amount 72 is generated by calculating the first camera shake correction amount 69, the second camera shake correction amount 69a, and the third camera shake correction amount 69b. Based on the camera shake correction amount 72, an overlap area 73 in which three images are overlapped and added is specified from the composite image 71a.
  • Step 70p A zooming operation is performed on the data indicating the overlapping area 73 to perform enlargement interpolation to obtain data indicating the enlarged image 74. Details of enlargement interpolation and reduction interpolation will be described later.
  • the number of images to be integrated is not limited to three.
  • the number of images to be integrated is not limited to three.
  • more images are integrated. By integrating more images, it is possible to shoot in dark places.
  • Figure 16 shows the in-plane direction addition method.
  • In-plane direction addition includes vertical direction addition and horizontal direction addition.
  • Figure 16 (a) shows the vertical addition method. During vertical readout, R (red) (m, n + 1) and R (m, n) are vertically added to generate R (m, n + 1) + R (m, n).
  • Figure 16 (b) shows the horizontal addition method. Add pixels of the same color in the horizontal direction. For example, G (m, n + 1) + G (m, n) and G (m + l, n + 1) + G (m + l, n) are horizontally added, and G (m, n + 1) + G (m, n) + G (m + 1, n + 1) + G (m + 1, n) is generated.
  • FIG. 17 is a diagram for explaining the shift of the image clipping position.
  • Addition switching means 102a and addition switching means 102b are based on the correction signal or detection signal (swing information) output from swing detection means 15 (see Fig. 1). Switch between B mode 104.
  • the image can be cut out more accurately by shifting the cutout position of the image by one pixel.
  • Figure 18 shows the principles of reduced interpolation, enlarged interpolation, and high-resolution image stabilization.
  • Figure 18 (a) shows the principle of reduced interpolation. It is possible to obtain 6 pixels that are reduced and interpolated from the original pixels (8).
  • Figure 18 (b) shows the principle of enlargement interpolation. From the original pixel (6 pixels), the pixel (8 pixels) subjected to enlargement interpolation can be obtained.
  • Figure 18 (c) shows the principle of high-resolution image stabilization.
  • Fig. 19 shows the procedure for removing images that fail to be detected.
  • Step 80a It is determined whether or not the shutter speed (exposure time) is longer than t ′.
  • step 80b If the shirt evening speed (exposure time) is longer than t '(Yes), the process proceeds to step 80b.
  • Step 80b It is determined whether the camera shake is intense.
  • step 80c If the camera shake is not severe (No), the process proceeds to step 80c. If the camera shake is severe (Ye s), the process proceeds to step 80d.
  • Step 80 c Take a picture while setting the resolution to the preset resolution.
  • Step 80d It is determined whether or not camera shake correction is performed with priority. If the setting for giving priority to camera shake correction is ON (Ye s), the process proceeds to step 80 e. If the setting for giving priority to image stabilization is not ON (No), the process proceeds to step 80c.
  • Step 80 e The image stabilization mode is displayed.
  • Step 80 f determines whether the exposure time t is t E ⁇ t ⁇ t 2.
  • step 81 d the in-plane pixels are added (step 81 d), and the exposure time t is set to t ⁇ t.
  • the setting is made (step 81 e) and shooting starts (step 81 f).
  • step 80 g it is determined whether or not t 2 ⁇ t ⁇ t 3, not t 2 ⁇ t ⁇ t 3 If yes (No), stop processing (step 81g). If t 2 ⁇ t ⁇ t 3 (Y es), the process proceeds to step 80 h.
  • Step 80 Set in-plane pixel addition.
  • Step 80 i Set the exposure time t to t ⁇ t 2 and the number of images to be taken for image stabilization
  • Step 80 n Perform pixel addition in the in-plane direction of the nth image.
  • Step 80 p Camera shake is detected.
  • Step 80 q It is determined whether or not the camera shake is successfully detected.
  • Step 80 u The corrected image is stored in the main image memory 30.
  • Step 80 X Add or integrate multiple corrected images in main image memory 30 in the time axis direction.
  • Step 80 y Generate data indicating one image.
  • Step 80 z The data indicating one generated image is subjected to thinning processing and the like and displayed on the display unit 12.
  • Step 81 a The operator determines whether to turn on the image storage switch.
  • Step 81b Perform compression processing (such as JPEG) on the image that shows the image to reduce the image data capacity.
  • compression processing such as JPEG
  • Step 81c Record on recording medium 14 (eg, IC force).
  • addition (integration) of corrected image data that has failed to detect camera shake can be prevented.
  • an image with corrected camera shake can be obtained.
  • time integration efficiency is good because integration in the time axis direction can be started from the next image after the image that has failed to detect camera shake.
  • FIG. 20 shows a configuration of the imaging apparatus 200 according to the embodiment of the present invention.
  • the photographing apparatus 200 can display the amount of camera shake, as with the photographing apparatus 100.
  • the photographing apparatus 200 includes a camera shake amount calculation unit 92, a locus calculation unit 91, and a display unit 9 5, a speaker 9 7, a vibrator 9 8, a CPU 9 9, a vibration gyro 1 0 la, and a vibration gyro 1 0 1 b.
  • the camera shake amount calculation unit 9 2 calculates the camera shake amount (swing amount) and outputs it to the display unit 95 via the display circuit.
  • the trajectory calculation unit 91 calculates the trajectory of camera shake that could not be corrected even after correcting camera shake, and outputs it to the display unit 95 via the display circuit.
  • the CPU 9 9 determines whether or not the camera shake amount is larger than a predetermined value. If it is larger than the predetermined value, the CPU 9 9 sets to at least one of the display unit 9 5, the speaker 9 7 and the vibrator 9 8. Instruct to output the judgment result.
  • the display unit 95 displays the judgment result in accordance with the instruction of CPU 99.
  • Speaker 9 7 emits a warning sound according to the instructions of C P U 9 9.
  • Vibrator 9 8 vibrates according to the instructions of C P U 9 9.
  • FIG. 21 shows an example of the display unit 95 included in the photographing apparatus 200.
  • the camera shake amount is displayed by the indicators 9 3, 9 3 a, 9 3 b, and 9 3 c.
  • the photographer can confirm the amount of camera shake and the direction of camera shake by viewing this display. By checking the camera shake amount and camera shake direction, the photographer changes the camera fixing method. As a result, a still image with less camera shake than usual can be obtained by human operation.
  • FIG. 22 shows another example of the display unit 95 included in the photographing apparatus 200.
  • the locus of camera shake that could not be corrected even after camera shake correction is displayed as a locus 9 4b and a locus 9 4d.
  • the photographer can check how much the still image is shaking after shooting. Camera failure can be checked on the small display of the camera, so the photographer can check for camera shake correction failure. In the case of panning mode (eg panning, panorama shooting), only the camera shake in the evening direction may be checked.
  • panning mode eg panning, panorama shooting
  • the means shake amount (x, y) is less than the predetermined value (x Q , y 0 ) If it is large ((x> x 0 , or y> y 0 ) or ( ⁇ > ⁇ 0 , and y> y)), a warning may be displayed.
  • the speaker may generate a warning sound.
  • the predetermined value (x., Y 0 ) is set according to the zoom ratio, for example.
  • the means shake amount (x, y) when the means shake amount (x, y) is smaller than a predetermined value (x., Y.) ((X ⁇ x 0 , or y ⁇ y 0 ) or (x ⁇ x., And y ⁇ y.)) May be displayed (eg, “OK”).
  • the speaker may generate sound.
  • the predetermined values ( ⁇ 0 , y 0 ) are set according to the zoom ratio, for example.
  • Figure 23 shows the display of the boundary indicator 97 during panning or panoramic photography.
  • Figure 23 (a) shows the landscape for shooting in three frames.
  • Figure 23 (b) shows the frame 98a.
  • Figure 23 (c) shows the frame 98b.
  • FIG. 23 (d) shows the frame 98c.
  • FIG. 23 (e) shows the frame 98d.
  • detection points 96a, 96b, 96c which are representative points for motion vector detection for camera shake correction (see Fig. 23 (b))
  • the detection point 96a of () moves on the frame and comes to the left end of the frame 98 (see Fig. 23 (c)).
  • the rocking detection means 15 for motion detection detects that the screen has shifted to the right by L1, and the boundary indicator 97a indicating the boundary of the right end of the frame in Fig. 23 (b) is displayed from the right end of the frame.
  • the position is displayed at L 1 (see Fig. 23 (c)).
  • the rocking detection means 15 detects that the screen has shifted to the right by L2, and displays the boundary indicator 97b at the position L2 from the right end of the frame (see Fig. 23 (d)). .
  • the boundary indicator 97c is at the left edge of the screen.
  • the photographer can know that he has come to the next shooting position. If necessary It is possible to notify the photographer by generating a notification sound by one-by-one 3 7 (see Fig. 1). At this time, when the photographer presses the shutter button, almost complete panorama shooting can be performed.
  • panning is detected by a camera shake detection means for correcting camera shake.
  • a camera shake detection means for correcting camera shake.
  • the panning rotation angle of the photographer is detected by the vibration gyro, Rotation angle required for left and right panning. Can also be obtained according to the zoom ratio of the zoom detector.
  • the boundary indicator 97 is displayed on the right end.
  • the photographer takes the first panorama shot.
  • the photographer turns the camera to the right.
  • panned ie, rotated
  • the photographer knows that the camera has come to the shooting position of the second frame.
  • the photographer can easily take a panoramic image with the vertical and horizontal sides aligned. (See Figure 23 (b)).
  • the panning direction is indicated by an arrow on the display screen, and the correct panning direction is displayed, so that the photographer can easily take a panorama by simply pointing the camera as indicated by the arrow.
  • a photographer shoots with a camera in hand, so the shooting direction cannot be determined accurately.
  • the camera shake correction function of the camera to automatically adjust the left, right, top and bottom of the screen, extremely accurate panorama shooting can be performed.
  • Figure 24 shows the detection points for detecting camera shake in the frame.
  • the photographer can check the degree of camera shake.
  • the photographer can change the camera fixing method, and as a result, a still image with less camera shake than usual can be obtained by human operation.
  • the fluctuation detection means 15 displays “amount of fluctuation between a plurality of frames representing a captured still image”.
  • the CPU 9 9 corresponds to the “determination means for determining whether or not the swing amount is larger than a predetermined value”
  • the display unit 95, the speaker 9 7 and Vibrator 9 8 corresponds to “output means for outputting judgment result”.
  • the photographing apparatus of the present invention is not limited to the embodiment shown in FIG. 1 and FIGS. 20 to 23.
  • Each component included in the imaging apparatus includes the above-described “swing amount detecting means for detecting the swing amount between a plurality of frames representing a captured still image” As long as it has the functions of “determination means for determining whether or not the amount of movement is greater than a predetermined value” and “output means for outputting the determination result”, it can have any configuration.
  • An imaging device that captures a still image during a predetermined exposure period, a swing amount detection unit that detects a swing amount between a plurality of frames representing the captured still image, and the detection after the predetermined exposure period has elapsed. And a display means for displaying the amount of rocking performed.
  • An imaging device that captures a still image during a predetermined exposure period, a swing amount detecting unit that detects a swing amount between a plurality of frames representing the captured still image, and the swing amount is greater than a predetermined value.
  • An imaging apparatus comprising: a determination unit that determines whether or not the image is output; and an output unit that outputs the determination result.
  • the output means displays the determination result when it is determined that the swing amount is larger than the predetermined value.
  • the output means generates a sound when it is determined that the swing amount is larger than the predetermined value.
  • the output means vibrates when it is determined that the swing amount is larger than the predetermined value.
  • the present invention captures a plurality of images during a predetermined exposure period and corrects camera shake of each of the plurality of images. By calculating a plurality of corrected images, a single still image can be obtained, and a still image with good S / N corrected for camera shake can be obtained.
  • the present invention increases the frame rate by increasing the clock speed or decreasing the resolution when the frame rate is low during camera shake correction. Therefore, image quality degradation due to electronic image stabilization is small.
  • the photographer can check the degree of camera shake.
  • the photographer can change the camera fixing method, and as a result, a still image with less camera shake than usual can be obtained by human operation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の撮影装置は、所定の露光期間に静止像を撮影する撮影装置であって、前記撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段と、前記検出された揺動量に応じて、前記複数のフレームを示す複数のフレーム情報を補正する揺動補正手段と、前記揺動補正された複数のフレーム情報を記憶する記憶手段と、前記記憶手段に記憶された複数のフレーム情報に基づいて、前記静止像を示す静止画像情報を生成する情報生成手段とを備える。

Description

明 細 書 情報生成装置、 撮影装置および撮影方法 技術分野
本発明は、 静止像を示す情報を生成する情報生成装置、 所定の露光期間に静止 像を撮影する撮影装置および撮影方法に関する。 背景技術
撮影された画像の手振れを補正する方式には、 光学手振れ補正方式と電子手振 れ補正方式とがある （例えば、 日本国特許公開公報 （特開昭 6 0 - 1 4 3 3 3 0 号公報） 参照） 。
光学手振れ補正方式を用いた技術は、 撮影された静止画像の手振れ補正技術と して知られている。 この技術は、 画質が劣化することはなく静止画の撮影に有効 であるが、 光学駆動部を必要とするため、 装置の小型化に限界がある。
電子手振れ補正方式を用いた技術は、 撮影された動画像の手振れ補正技術とし て知られている。 この技術は、 光学駆動部を必要としないため、 装置の小型化が 可能である。 しかし、 静止画像の手振れ補正には、 有効でないと考えられていた。 この技術はフレーム間の補正を行うのみで、 1フレームからなる静止画の手振れ 補正は原理的に不可能だからである。
本発明は、 上記課題を解決するものであり、 撮影された静止画像の手振れの補 正可能な電子手振れ補正方式を用いた情報生成装置、 撮影装置および撮影方法を 提供することを目的とする。 発明の開示
本発明の情報生成装置は、 複数のフレーム情報を記憶する記憶手段と、 前記記 憶手段に記憶された複数のフレーム情報に基づいて、 前記静止像を示す静止画像 情報を生成する情報生成手段とを備え、 前記複数のフレーム情報は、 所定の露光 期間に撮影された静止像を表す複数のフレームを示す情報であって、 前記複数の フレーム間の揺動量に応じて補正された情報であり、 これにより、 上記目的が達 成される。
前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報を一括し て演算することによって、 前記静止画像情報を生成してもよい。
前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報の各々を 順次演算することによって、 前記静止画像情報を生成してもよい。
前記複数のフレーム情報は、 撮像素子の撮像面に含まれる複数の画素を示す情 報を水平方向および垂直方向のうちの少なくとも一方向に加算して生成された情 報に基づいて生成されてもよい。
本発明の撮影装置は、 所定の露光期間に静止像を撮影する撮影装置であって、 前記撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手 段と、 前記検出された揺動量に応じて、 前記複数のフレームを示す複数のフレー ム情報を補正する揺動補正手段と、 前記揺動補正された複数のフレーム情報を記 憶する記憶手段と、 前記記憶手段に記憶された複数のフレーム情報に基づいて、 前記静止像を示す静止画像情報を生成する情報生成手段とを備え、 これにより、 上記目的が達成される。
前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報を一括し て演算することによって、 前記静止画像情報を生成してもよい。
前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報の各々を 順次演算することによって、 前記静止画像情報を生成してもよい。
前記揺動量に応じて、 前記複数のフレームの解像度を変更する解像度変更手段 をさらに備えてもよい。 '
前記揺動量に応じて、 フレームレー卜を変更するフレームレート変更手段をさ らに備えてもよい。 前記フレームレートは、 単位時間当たりに撮影された静止像 を表す複数のフレームの数を示す。
明るさに応じて、 前記複数のフレームの解像度を変更する解像度変更手段をさ らに備えてもよい。
ズ一ム比に応じて、 前記複数のフレームの解像度を変更する解像度変更手段を さらに備えてもよい。
前記揺動量検出手段は、 撮像素子の撮像面に含まれる複数の画素を示す情報を 加算して生成された情報に基づいて前記揺動量を検出し、 前記揺動補正手段は、 前記揺動量に応じて、 前記複数のフレーム情報の一部を切り出すことによつて前 記複数のフレーム情報を補正してもよい。
前記揺動量検出手段は、 撮像素子の撮像面に含まれる複数の画素に基づいて生 成された情報に基づくことなく前記揺動量を検出してもよい。
前記所定の露光時間が所定の値より大きいか否かを判定する判定手段をさらに 備え、 前記所定の露光時間が所定の値より大きいと判定された場合には、 前記揺 動量検出手段は、 撮像素子の撮像面に含まれる複数の画素を示す情報を加算して 生成された情報に基づいて前記揺動量を検出してもよい。
本発明の撮影方法は、 所定の露光期間に静止像を撮影する撮影方法であって、 前記撮影された静止像を表す複数のフレーム間の揺動量を検出するステップと、 前記検出された揺動量に応じて、 前記複数のフレームを示す複数のフレーム情報 を補正するステップと、 前記揺動補正された複数のフレーム情報を記憶するステ ップと、 前記記憶手段に記憶された複数のフレーム情報に基づいて、 前記静止像 を示す静止画像情報を生成するステップとを包含し、 これにより、 上記目的が達 成される。
本発明の撮影装置は、 所定の露光期間に静止像を撮影する撮影装置であって、 前記撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手 段と、 前記所定の露光期間経過後、 前記検出された揺動量を表示する表示手段と を備え、 これにより、 上記目的が達成される。
本発明の撮影装置は、 所定の露光期間に静止像を撮影する撮影装置であって、 前記撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手 段と、 前記揺動量が所定の値より大きいか否かを判定する判定手段と、 前記判定 結果を出力する出力手段とを備え、 これにより、 上記目的が達成される。
前記出力手段は、 前記揺動量が前記所定の値より大きいと判定された場合に前 記判定結果を表示してもよい。
前記出力手段は、 前記揺動量が前記所定の値より大きいと判定された場合に音 を発生してもよい。
前記出力手段は、 前記揺動量が前記所定の値より大きいと判定された場合に振 動してもよい。 図面の簡単な説明
図 1は、 本発明の実施の形態の撮影装置 1 0 0を示す図である。
図 2は、 揺動検出手段 1 5の構成を示す図である。 '
図 3は、 本発明の実施の形態の手振れ補正の動作を示す図である。
図 4は、 本発明の実施の形態のマスキングの動作を示す図である。
図 5は、 画素数とフレーム周波数との関係を示す図である。
図 6は、 4分割された画素領域を含む撮像部 5の構成を示す図である。
図 7は、 本発明の実施の形態におけるフレ一ムレ一卜を速くした場合の動作図 である。
図 8は、 本発明の実施の形態の撮影処理の手順 （ステップ 5 0 a〜ステップ 5 O f ) を示すフローチヤ一卜である。
図 9は、 本発明の実施の形態の撮影処理の手順 （ステップ 5 1 a〜ステップ 5 1 y) を示すフローチャートである。
図 1 0は、 本発明の実施の形態の撮影処理の手順 （ステップ 5 2 a〜ステップ 5 2 t ) を示すフローチャートである。
図 1 1は、 本発明の実施の形態の順次演算処理手順を示すフローチャートであ る。
図 1 2は、 本発明の実施の形態の一括演算処理手順を示すフロ一チャートであ る。
図 1 3は、 撮影場所の明るさや、 シャツ夕一速度 （露光時間） に応じて、 複数 の画像 （分割画像） を積分することによって、 手振れ補正を行うための処理手順 を示すフローチャートである。
図 1 4は、 面内画素加算と時間軸内画素加算とによって解像度を変更する手順 を示すフローチャートである。
図 1 5は、 本発明の実施の形態による実際の画素数より多い画素数を設定して 手振れを補正する原理を示す図である。
図 1 6は、 面内方向の加算方法を示す図である。
図 1 7は、 画像の切り出し位置のシフトを説明するための図である。
図 1 8は、 縮小補間の原理、 拡大補間の原理、 および高分解能の手振れ補正の 原理を示す図である。
図 1 9は、 手振れ検出に失敗した画像を除去する手順を示すフローチャートで ある。
図 2 0は、 本発明の実施の形態の撮影装置 2 0 0の構成を示す図である。 図 2 1は、 撮影装置 2 0 0に含まれる表示部 9 5の一例を示す図である。 図 2 2は、 撮影装置 2 0 0に含まれる表示部 9 5の別の例を示す図である。 図 2 3は、 パンニングまたはパノラマ撮影時の境界インジケーター 9 7の表示 を示す図である。
図 2 4は、 フレーム内の手振れ検出のための検出点を示す図である。 発明を実施するための最良の形態 以下、 図を参照して本発明の実施の形態を説明する。
1 . 撮影装置
図 1は、 本発明の実施の形態の撮影装置 1 0 0を示す。
撮影装置 1 0 0は、 所定の露光期間に静止像を撮影する。 撮影装置 1 0 0は、 撮影装置 1 0 0の外部から光を入射するためのレンズ部 2と、 光 3を自動焦点調 整する自動焦点部 4と、 レンズ部 2のズーム比を設定するズーム部 6と、 撮像部 5とを含む。 撮像部 5には、 光学像が結像される。 撮像部 5は、 結像された光学 像を示す出力データを出力する。 撮像部 5は、 例えば、 C C Dもしくは MO S型 撮像装置である。 レンズ部 2から入射した光 3は、 自動焦点部 4により焦点調整 される。 ズーム部 6により、 レンズ部 2のズーム比が設定され、 撮像部 5上に光 学像 7が結像される。
撮影装置 1 0 0は、 表示切替部 1 0と、 表示回路 1 1と、 表示部 1 2と、 記録 部 1 3と、 記録媒体 1 4とをさらに含む。 静止像を表す静止画の揺動を補正する ことなく静止像を撮影する場合は、 撮像部 5から出力された出力データは表示切 替部 1 0に直接送られる。 静止画像を表示する場合は、 撮像部 5から出力された 出力デ一夕は、 表示回路 1 1によって表示部 1 2に表示される。 静止画像を記録 する場合は、 撮像部 5から出力された出力デ一夕は、 記録部 1 3によって記録媒 体 1 4に記録される。
撮影装置 1 0 0は、 シャツ夕一ポタン 2 5と、 データを記憶する副画像メモリ 8と、 撮影された静止像を表す複数の画像 （フレーム） 間の揺動量を検出する揺 動検出手段 1 5と、 検出された揺動量に応じて、 複数の画像 （フレーム） を示す 複数の画像情報を補正する揺動補正部 9と、 揺動補正制御部 2 1と、 夕テ方向の 揺動を除去するように制御されるトリミング部 2 2と、 画面デ一タによって示さ れる画像の解像度を変更する解像度変更部 2 4と、 間引き制御部 2 5 aと、 画素 転送部 2 3と、 揺動量に応じてフレームレ一トを変更するフレームレート変更部 4 0とをさらに含む。 揺動検出手段 1 5は、 揺動検出手段 1 5に入力されたデ一 タを演算する演算部 1 8と、 第 1メモリ 1 6と、 第 2メモリ 1 7とを含む。 揺動 補正制御部 2 1は、 検出された揺動量に応じて撮像部 5から出力された出力デ一 夕を補正するために、 各構成要素を制御する。
静止像を表す静止画の揺動を補正して静止像を撮影する場合 （揺動補正設定が O Nである場合） には、 シャツ夕ポタン 2 5を押す前に、 撮像部 5から出力され た出力データが一旦副画像メモリ 8に蓄積される。 撮像部 5から出力された出力 データは、 揺動検出手段 1 5に入力される。 演算部 1 8は、 入力された複数の出 力データ （例えば、 n— 1番目の画面デ一タ （即ち、 前の画面のデータ） と n番 目の画像データ （即ち、 現在の画面のデータ） ） を演算し、 揺動情報を求める。 揺動情報は、 動きベクトル 1 9である。 なお、 撮影装置 1 0 0が夕テ用振動ジャ イロとョコ用振動ジャイロとを備える場合にも、 夕テの揺動量とョコの揺動量と を検出することができる。 この場合には、 揺動情報は、 タテの揺動量およびョコ の揺動量である。
揺動補正制御部 2 1が、 トリミング部 2 2と画素転送部 2 3とを制御すること によって、 タテ方向の揺動が除去される。 揺動補正制御部 2 1が揺動補正部 9を 制御することによって、 ョコ方向の揺動が除去される。 したがって、 画像データ のタテの揺動および画像デ一夕のョコの揺動を補正することができ、 揺動補正さ れた画像デ一夕を得ることができる。
揺動補正された画像デ一夕は、 順次、 表示切替部 1 0を介して表示部 1 2に出 力される。 ユーザは、 表示部 1 2から、 揺動補正された連続画像を所定のフレー ムレートで視認できる。
なお、 表示部 1 2に、 揺動補正された画像データによって示された全画像のう ち、 一部の領域の画像を表示することができる。 したがって、 被写体のフレーミ ングを正確にできる。 この場合、 解像度は解像度変更部 2 4および間引き制御部 2 5 aによって、 静止画撮影時より低い解像度に設定される。 したがって、 フレ ームレートを高くすることが可能になり、 1秒間の表示枚数を多くすることがで きる。 その結果、 ユーザは、 よりスムーズに被写体の画像を視認できる。
記録部 1 3は、 フレームレートの高い複数の画像を動画として記録媒体 1 4に 記録してもよい。
解像度変更部 2 4は、 例えば、 明るさ、 揺動量、 ズーム比のうちの少なくとも 1つに応じて、 複数のフレームの解像度を変更する。
撮影装置 1 0ひは、 クロック制御手段 2 7と、 転送クロック供給部 3 2と、 処 理クロック供給部 2 8と、 C P U 2 6とをさらに含む。 ユーザがシャツタ一ポ夕 ン 2 5を半押しにすると、 処理クロック供給部 2 8が演算部 2 9等のクロックの 動作開始又はクロック速度の向上を実行するように、 C P U 2 6はクロック制御 手段 2 7に指令を与える。
撮影装置 1 0 0は、 揺動補正された複数の画像情報を記憶する主画像メモリ 3 0と、 記憶手段に記憶された複数の画像情報に基づいて、 静止像を示す静止画像 情報を生成する演算部 2 9と、 副演算部 2 9 aとをさらに含む。 なお、 演算部 2 9の機能、 主画像メモリ 3 0の機能、 および副演算部 2 9 aの機能の詳細は、 後 述される。
撮影装置 1 0 0は、 マスキング部 2 0と、 明部抽出部 3 9とをさらに含む。 マ スキング部 2 0の機能および明部抽出部 3 9の機能の詳細は、 後述される。
撮影装置 1 0 0は、 バイブレータ 3 6と、 スピーカ 3 7とをさらに含む。 バイ ブレー夕 3 6の機能およびスピーカ 3 7の機能の詳細は、 後述される。
図 2は、 揺動検出手段 1 5の構成を示す。 揺動検出手段 1 5は、 演算部 1 8と 第 1メモリ 1 6と第 2メモリ 1 7とを含む。
第 1メモリ 1 6には、 時刻 t = t に撮影された画像 を示す画像デー 夕が格納されている。 第 2メモリ 1 7には、 時刻 t = t„に撮影された画像 D n を示す画像データが格納されている。 2枚の画像を示すデータ （画像 を示 す画像デ一夕および画像 D nを示す画像データ） に基づいて、 画像 D n iと画像 D nとの間の揺動量 （例えば、 動きベクトル （Xい y x) ) が検出され、 揺動量 を示すデ一夕が出力される。
2. 手振れ補正の動作
図 3は、 本発明の実施の形態の手振れ補正の動作を示す。
画像 Dn = 1は、 時刻 n=lに撮影された画像を示し、 画像 Dn=2は、 時刻 n = 2に撮影された画像を示し、 画像 Dn = 3は、 時刻 n = 3に撮影された画像を示し、 画像 Dn=4は、 時刻 n = 4に撮影された画像を示す。
画像 Dn=1を示す画像デ一夕が主画像メモリ部 30に蓄積される。
画像 Dn = 2を示す画像データは、 揺動量 M2 (M2= (X o + X y o + y
,) ) に応じて補正される。 演算部 29によって、 補正された画像データは、 主 画像メモリ部 30に蓄積されている画像 Dn=1を示す画像データに加算される。 加算結果を示すデ一夕は主画像メモリ一部 30に蓄積される。 補正された画像デ 一夕を画像 Dn = 1を示す画像デ一夕に加算するため、 被写体の静止部は正確に重 なり、 画像の SN比は向上する。
画像 Dn = 3を示す画像データは、 揺動量 M3 (M3= (Xo + Xi + X y o + y ! + y g) ) に応じて補正される。 演算部 29によって、 この補正された画像 データは、 主画像メモリ部 30に蓄積されている加算結果を示すデータに加算さ れる。 加算結果を示すデータは主画像メモリー部 30に蓄積される。
画像 Dn = 4を示す画像データは、 揺動量 M4 (M4= (x0 + x1 + x2 + x3 y o + y i+ y 2 + y 3) ) に応じて補正される。 演算部 29によって、 この補正 された画像データは、 主画像メモリ部 30に蓄積されている加算結果を示すデー 夕に加算される。 加算結果を示すデータは主画像メモリー部 30に蓄積される。 このように、 デ一夕の加算を繰り返すことによって、 主画像メモリ部 30には、 加算された 4枚のほぼ同じ画像を示す画像データが格納され、 1枚の静止画を示 すデ一夕が生成される。 したがって、 露光期間中にシャツ夕一を 100%開けて いた場合には、 時刻 n=lから時刻 n==4の期間中にシャツ夕一を継続して開け ていた場合とほぼ同じ明るさの画像が得られるとともに、 各画面毎に手振れが補 正される。
なお、 手振れの程度 （揺動量） やズーム比に応じて、 例えばシャツ夕開時間
(露光時間） 、 フレームレートを適切に設定することによって、 SNを劣化させ ることなく電子的に手振れを補正することができる。 なお、 各画像を撮影する時 のシャツタ開時間を短くすると手振れ補正に起因する画像劣化は減少するが光量 が減る。 この場合には、 撮影するフレームの枚数を増やす。
本発明の実施の形態では、 転送クロックを上げることによってフレームレート を上げたり、 解像度を下げることによってフレームレートを上げたりして最適な フレームレ一トを得ることができる。 したがって、 適用範囲が広いという効果が ある。
なお、 演算部 29によって為される演算は、 加算に限らない。 複数の画像デ一 夕 （フレーム情報） に基づいて 1枚の静止画を示すデータを生成することができ る限り、 演算は、 例えば積分でもよい。
3. マスキングの動作
図 4は、 本発明の実施の形態のマスキングの動作を示す。
画像 Dn = 1は、 時刻 n= 1に撮影された画像を示し、 画像 Dn=2は、 時刻] 1= 2に撮影された画像を示し、 画像 Dn=3は、 時刻 n= 3に撮影された画像を示し、 画像 Dn=4は、 時刻 n = 4に撮影された画像を示す。
時刻 n=lで、 ストロボが発光する。 したがって、 例えば、 画像 35 eに表さ れた人物は背景 （例えば、 夜景） に比べて明るくなる。 ここで画像 35 eに表さ れた人物を明部 38 aと定義する。 明部抽出部 39は、 画像 35 eを示すデ一夕 から明部 38 aを示すデ一夕を抽出し、 抽出された明部 aを示すデータに基づい て、 マスキングデータ 31を生成する。
時刻 n==2で、 画像 Dn = 2を示す画像デ一夕からマスキングデ一夕 31を切り 出す。 明部 38 bの画像がとり去られ、 かつ手振れが補正された補正画像 33 a を示すデータが生成される。 補正画像 33 aを示すデ一夕が画像 35 eを示すデ 一夕に加算され、 積分画像 3 5 aを示すデータが生成される。
時刻 n = 3で、 画像 D n = 3を示す画像データからマスキングデ一夕 3 1を切り 出す。 明部 3 8 cの画像がとり去られ、 かつ手振れが補正された補正画像 3 3 b を示すデータが生成される。 補正画像 3 3 bを示すデータが積分画像 3 5 aを示 すデータに加算され、 積分画像 3 5 bを示すデータが生成される。
時刻 n = 4で、 画像 D n = 4を示す画像デ一夕からマスキングデータ 3 1を切り 出す。 明部 3 8 dの画像がとり去られ、 かつ手振れが補正された補正画像 3 3 c を示すデータが生成される。 補正画像 3 3 cを示すデータが積分画像 3 5 bを示 すデータに加算され、 積分画像 3 5 cを示すデータが生成される。
積分画像 3 5 cを示すデータがリサイズされ、 積分画像 3 5 dを示すデータが 生成される。
上述したように、 時刻 n = lで、 ストロボの発光により明るくなつた人物等の 明部をとり込み、 時刻 n = 2、 3、 4で、 撮影された画像のうち、 明部以外の領 域の画像をとり込む。 夜景撮影等で人物を対象にスローシャツ夕でストロボ撮影 を行う場合には、 例えば、 ストロボ発光時の人物の顔の画像にスローシャツ夕期 間中に露光された人物の顔の画像が重なり （二重露光） 、 画像がぼける。 しかし 本発明の実施の形態のマスキングの動作によれば、 手振れ補正によって、 明部で ある人物の顔等が二重露光されない。 その結果、 明部を明瞭に撮影できる。
4. フレームレートの変更
図 5は、 画素数とフレーム周波数との関係を示す。
解像度変更部 2 4 (図 1参照） によって、 撮像部 5 (図 1参照） での解像度を 下げると、 フレームレート （f p s ) を上げることができる。 また、 クロック制 御手段 2 7、 処理クロック供給部 2 8および転送クロック供給部 3 2によって、 転送クロック速度を上げた場合にも、 フレームレー卜 （i p s ) を上げることが できる。
本発明の実施の形態では、 手振れ補正を目的として画像をとり出す時に転送ク ロックを上げたり、 解像度を下げることにより、 実質的にフレームレートを上げ て、 電子的手振れ補正に特有の残像 （画像劣化） をなくすことができる。 この場 合、 通常の撮像部は 200万画素であり、 フレームレートは 7. 5 f p s程度で あるため、 残像の影響が残ってしまう。 フレームレートは 20 f p s以上でない と電子的手振れ補正に特有の残像をなくすことは困難である。
図 6は、 4分割された画素領域を含む撮像部 5の構成を示す。
撮像部 5は、 画素領域 40を含む。 画素領域 40は、 4つの画素領域 （画素領 域 40a、 画素領域 40 b、 画素領域 40 cおよび画素領域 40 d) に分割され ている。 撮像部 5は、 4分割された水平方向転送部 （水平方向転送部 41 a、 水 平方向転送部 41 b、 水平方向転送部 41 cおよび水平方向転送部 41 d) と、 4分割された垂直方向転送部 （垂直方向転送部 42 a、 垂直方向転送部 42 b、 垂直方向転送部 42 cおよび垂直方向転送部 42 d) とをさらに含む。 したがつ て、 全画素の掃き出し時間は 1Z4に、 フレームレートは 4倍になり、 210万 画素の C C D型の撮像素子およびク口ック速度 = 18 MHzの条件で、 フレーム レートは 30 f p sになる。 その結果、 手振れ補正に起因する画像劣化を目立た なくできる。 撮像部 5は左右に 2分割してもよい。
図 7は、 本発明の実施の形態におけるフレームレートを速くした場合の動作図 である。
露出時間 =1Z4秒の場合、 1Z8秒毎にフレームを得る。 このとき、 X方向 の手振れ量 = S。 (Xi+xi+1) d t = ( (x 1 + x2) + (x3 + x4) ) ノ2で ある。
露出時間 =1Z2秒の場合、 フレームレートを高くすることにより、 1ノ 16 秒毎にフレームを得る。 このとき、 X方向の手振れ量 = (x 1 + x 2 + x 3 + x4 + x5 + x6 + x7 + x8) / ^= \ X j^ + X^ + Xg + x /2+ (,x5 + x6 + x7 + x8) /2) /4である。
露出時間が長い場合は、 フレームレ一卜を速くし、 多くのフレームを得るよう にする。 その結果、 手振れ量を詳細に検出することが可能になり、 手振れ補正に 起因した画像劣化を減少することが出来る。
このように、 本発明の撮影装置によれば、 複数のフレームを示す情報を揺動補 正し、 静止画を示す情報を生成することができるため、 手ぶれ補正された 1枚の 静止画像を得ることができる。
以上、 （1 . 撮影装置） 〜 （4. フレームレートの変更） において、 図 1〜図 7を参照して本発明の実施の形態の一例を説明した。
例えば、 図 1〜図 7に示される実施の形態では、 揺動量検出手段 1 5が 「撮影 された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」 に対 応し、 揺動補正部 9が 「検出された揺動量に応じて、 複数のフレームを示す複数 のフレーム情報を補正する揺動補正手段」 に対応し、 主画像メモリ 3 0が 「揺動 補正された複数のフレーム情報を記憶する記憶手段」 に対応し、 演算部 2 9が 「記憶手段に記憶された複数のフレーム情報に基づいて、 静止像を示す静止画像 情報を生成する情報生成手段」 に対応する。
しかし、 本発明の撮影装置が図 1〜図 7に示される実施の形態に限定されるわ けではない。 撮影装置が備える各構成要素が、 上述した 「撮影された静止像を表 す複数のフレーム間の揺動量を検出する揺動量検出手段」 、 「検出された揺動量 に応じて、 複数のフレームを示す複数のフレーム情報を補正する揺動補正手段」 、 「揺動補正された複数のフレーム情報を記憶する記憶手段」 および 「記憶手段に 記憶された複数のフレーム情報に基づいて、 静止像を示す静止画像情報を生成す る情報生成手段」 の各々の機能を有する限りは、 任意の構成を有し得る。
5 . 撮影方法 1
図 8は、 本発明の実施の形態の撮影処理の手順 （ステップ 5 0 a〜ステップ 5 0 f ) を示す。
図 9は、 本発明の実施の形態の撮影処理の手順 （ステップ 5 1 a〜ステップ 5
1 y) を示す。 図 1 0は、 本発明の実施の形態の撮影処理の手順 （ステップ 5 2 a〜ステップ 5 2 t ) を示す。
以下、 図 1および図 8〜図 1 0を参照して、 本発明の実施の形態の撮影処理の 手順をステップごとに説明する。
図 8を参照して、 ステップ 5 0 a〜ステップ 5 0 f を説明する。
ステップ 5 0 a ：操作者が、 静止画の撮影を準備する。
ステップ 5 0 b ：操作者が、 シャッターポタン 2 5を半押しにすると、 処理ク 口ック供給部 2 8が演算部 2 9等のクロックの動作開始又はク口ック速度を向上 するように、 C P U 2 6がクロック制御手段 2 7に指令を与える。 処理クロック 供給部 2 8が演算部 2 9等のクロックの動作開始又はクロック速度を向上すると、 処理はステップ 5 0 cに進む。
ステップ 5 0 c ：撮像部 5は、 設定解像度より小さい画像、 または間引きした 画像を取り出す。 n— 1番目の画像を示すデ一夕と n番目の画像を示すデータと に基づいて、 n— 1番目の画像と n番目の画像との特定点または特定領域の位置 の差情報を生成し、 揺動情報 （揺動量） を得る。
ステップ 5 0 d ：撮影場所の明るさが暗く設定解像度が一定値以上の条件下で、 揺動情報 （揺動量） が所定の値より大きいか否かを判定する。 所定の値より大き い場合 （Y e s ) には、 処理はステップ 5 0 eに進む。 所定の値と同じまたは所 定の値より小さい場合 （N o ) には、 処理はステップ 5 0 f に進む。
ステップ 5 0 e ：揺動情報の値に応じて表示部 1 2に "手振れ注意" の警告を 表示する。
ステップ 5 0 f ：操作者はシャツ夕一ポタン 2 5を押すか否かを判断する。 押 す （Y e s ) 場合には、 処理はステップ 5 1 a (図 7参照） に進む。 押さない (N o ) 場合には、 ステップ 5 0 fの処理が繰り返される。
以下、 図 9を参照して、 ステップ 5 1 a〜ステップ 5 1 yを説明する。
ステップ 5 1 a ：シャッター速度 （露光時間） が t tより長いか否かが判定さ れる。 例えば、 CPU26が、 シャッター速度 （露光時間） が より長いか否 かを判定する。
ズーム部 6のズ一ム比が一定値以下で、 シャツ夕一速度 （露光時間） が 1^と 同じまたは t iより短い場合 （No) には、 処理はステップ 51 bに進む。 シャ ッ夕一速度 （露光時間） が より長い場合 （Ye s) には、 処理はステップ 5 1 dに進む。
ステップ 51 b：揺動補正なし （手振れ補正なし） で撮影する。
ステップ 51 c ：撮影が完了し、 処理が終了する。
ステップ 51 d ：手段振れ補正優先スィッチを ONにする。
ステップ 51 e ：シャッター速度 （露光時間） が t 2より長いか否かが判定さ れる。
シャッター速度 （露光時間） が t 2と同じまたは t 2より短い場合 （No) に は、 処理はステップ 51 f に進む。 シャッター速度 （露光時間） が t 2より長い 場合 （Ye s) には、 処理はステップ 51 hに進む。
ステップ 51 f ：手振れが激しいか否か、 ズーム比が一定値より大きいか否か が判定される。
手振れが激しくなく、 ズーム比が一定値より大きい場合 （No) には、 処理は ステップ 51 gに進む。 手振れが激しく、 ズーム比が一定値以下である場合 （Y e s) には、 処理はステップ 51 iに進む。
ステップ 51 g ：解像度を予め設定されている解像度 N。に設定したままで手 振れ補正ルーチン （ステップ 51 r) に進む。
ステップ 51 h ：設定解像度 N。が所定解像度 より高いか否かが判定され る。
設定解像度 N。が所定解像度 N iであるか所定解像度 N 1より低い場合 （N 0 ) には、 処理はステップ 51 rに進む。 設定解像度 N。が所定解像度 より高い 場合 （Ye s) には、 処理はステップ 51 iに進む。 ステップ 51 i ：クロック制御手段 27によって画素転送部 23の転送クロッ クを速くする。 こうしてフレームレートを上げる。
ステップ 51 j ：手振れが激しいか否かを判定する。
手振れが激しくなく、 ズーム比が所定値以下、 つまり手振れが非常に少ない場 合 （No) には、 処理はステップ 51 kに進む。'手振れが激しい時や、 ズーム比 等の値が所定値より大きい場合、 つまり手振れがある程度ある場合 （Ye s) に は、 処理はステップ 5 lmへ進む。
ステップ 51 k：所定解像度 のまま、 処理はステップ 51 rに進む。
ステップ 5 lm：設定解像度が所定解像度 N2より高いか否か、 またはフレー ムレー卜が所定値 f nより低いか否かが判定される。
設定解像度が所定解像度 N2と同じ、 または所定解像度 N2より低い場合、 あ るいは、 フレームレートが所定値 f nと同じ、 または所定値 f nより高い場合 (No) には、 処理はステップ 51 rに進む。
設定解像度が所定解像度 N 2より高い場合、 またはフレームレ一トが所定値 f nより低い場合 （Ye s) には、 処理はステップ 51 nに進む。
ステップ 51 n ：解像度を所定解像度 より低い解像度 N2に設定するため に、 処理はステップ 51 pに進む。
ステップ 51 p ：解像度変更部 24および間引き制御部 25 aによって、 撮像 部 5からの画素出力を間引く力、 面内方向の複数の画素を示す情報を加算して一 つの画素を示す情報を生成し、 画素数 （即ち、 解像度） を下げる （解像度 N2に 設定）
ステップ 51 q ：解像度を所定解像度 より低い解像度 N2に設定した結果、 フレームレートの最高速度の値が上がる。 フレームレートを上げる。
ステップ 51 r ：複数のフレーム （画像） を撮影装置 100にとり込むために、 手振れ補正ルーチンのための撮影画像の入力を開始するか否かを判定する。 撮影 画像の入力を開始する場合 （Ye s) には、 処理はステップ 51 yに進む。 ステップ 5 l y :露出時間 （即ち、 シャツ夕一時間） 、 絞り値およびフレーム レートに基づいて、 分割露光するために必要な総枚数 nl as tを演算する。 手振 れの激しい時は各静止画のシャッター時間を短くする。
ステップ 5 1 s ： n = 0に設定する。
ステップ 51 t ： nを 1つインクリメントする （n = n+ 1) 。
ステップ 5 1 u： n枚目の画像を撮影し、 撮像部 5から n枚目の静止画像を副 メモリ 8にとり込む （n枚目の静止画像デ一夕を得る） 。
ステップ 51 V：静止画像データが 1枚目の静止画像データであるか否かを判 定する。
静止画像データが 1枚目の静止画像データである場合 （Ye s) には、 処理は ステップ 5 lwに進む。 静止画像デ一夕が 1枚目の静止画像デ一夕でない場合 (No) には、 処理はステップ 52 a (図 10参照） に進む。
ステップ 5 lw：撮像部 5の画像の一部を切り出し、 画像データ I iを得る。 ステップ 51 X：画像データ Iェを主画像メモリ 30に保存する。
以下、 図 8を参照して、 ステップ 52 a〜ステップ 52 tを説明する。
ステップ 52 a ：揺動検出手段 15によって、 1枚目の画像データと 2枚目の 画像デ一夕との特定点の動きを演算し、 揺動量 Mnを算出する （図 2参照） 。 揺動検出手段 1 5に含まれる第 1メモリ 16に、 時刻 t = tェに撮影された 1 枚目の画像 を示す画像データが格納されており、 かつ揺動検出手段 15に含 まれる第 2メモリ 1 7に、 時刻 t = t 2に撮影された 2枚目の画像 D2を示す画 像データが格納されている場合には、 揺動検出手段 1 5は、 2枚の画像を示すデ 一夕 （画像 を示す画像データおよび画像 D2を示す画像データ） に基づいて、 画像 D と画像 D2との間の揺動量 Mi (例えば、 動きベクトル （x l、 y 1) ) を検出し、 揺動量を示すデータを出力する。
ステップ 52 b ：揺動量 Mnの積分値が一定値以上か否かを判定する。
揺動量 Mnの積分値が一定値以上である場合 （Ye s) には、 撮影画像が特定 領域をはみ出したと判定され、 処理はステップ 52 cに進む。 揺動量 Mnの積分 値が一定値より小さい場合 （No) には、 処理はステップ 52 sに進む。
ステップ 52 c ：エラ一レジス夕に 1が追加される。 n番目の画像を主画像メ モリ 30に保存しないで、 処理はステップ 52 hに進む。
ステップ 52 s ：揺動量 Mnの積分値が別の一定値以上か否かが判定され、 揺 動量 Mnの積分値が別の一定値以上である場合には、 第 2エラーレジスタに 1が 追加される。
ステップ 52d：撮像部 5から出力された画像デ一夕のうち、 揺動量 Mnに応 じてタテ方向に切り出された画像デ一夕 I nを副画像メモリ 8に保存する。
ステップ 52 e ：ストロボを ONにするか否かを判定する。 ストロボを〇Nに する場合 （Ye s) には、 処理はステップ 52 f に進む。 ストロボを ONにしな い場合 （No) には、 処理はステップ 52 gに進む。
ステップ 52 f ：マスキング部 20によって、 画像データ I nを予めマスキン グする （図 4および （3. マスキングの動作） 参照） 。
ステップ 52 g：揺動補正部 9からョコ方向の揺動とタテ方向の揺動とが補正 された画像データ I nを得る。
例えば、 画像データ I nを演算部 29に送り、 主画像メモリ 30の画像データ と画像データ I nとを演算 （例えば、 加算、 積分） し、 再び、 演算結果を主画像 メモリ 30に保存する。
ステップ 52h ：揺動補正制御部 21は、 n = nl as t (即ち、 最後の値） で あるか否かを判定する。
n = nl as tである場合 （Ye s) には、 処理はステップ 52 iに進む。 n = n i as tでない場合 （No) には、 もう 1枚画像データを取り込むために、 処理 はステツプ 51 t (図 9参照） に進む。
ステップ 52 i ：クロック制御手段 27によって撮像部 5の転送クロックを下 げる。 または、 省電力のために、 撮像部 5の転送クロックを停止させる。 ステップ 5 2 j ：第 2エラーレジス夕の値が一定値以上であるか否かを判定す る。
第 2エラーレジス夕の値が一定値より小さい場合 （N o ) には、 処理はステツ プ 5 2 ηに進む。 第 2エラーレジス夕の値が一定値以上である場合 （Y e s ) に は、 処理はステップ 5 2 kに進む。
ステップ 5 2 k：積分画像をリサイズすることによって、 欠除部を排除可能か 否か （欠除部の範囲が排除可能な範囲内であるか否か） を判定する。
例えば、 補正画像 3 3 cには欠除部 3 4 aが生じている （図 4参照） 。 この場 合には、 積分画像 3 5 cにも欠除部 3 4 bが生じてしまう。 したがって、 欠除部 3 4 bを排除するために、 積分画像 3 5 cをリサイズする必要がある。 この場合 に、 積分画像 3 5 cをリサイズすることによって欠除部 3 4 bを排除可能か否か (欠除部 3 4 bの範囲が排除可能な範囲内であるか否か） を判定する。
排除可能な場合 （Y e s ) には、 処理はステップ 5 2 mに進む。 排除可能でな い場合 （N o ) には、 処理はステップ 5 2 pに進む。
ステップ 5 2 m：積分画像 3 5 cをリサイズすることによって欠除部 3 4 bを 排除し、 欠除部のない積分画像 3 5 dを得る （図 4参照） 。
ステップ 5 2 n ：積分画像 3 5 dを示すデータを記録媒体 1 4に記録する。 ステップ 5 2 p ：手振れ補正しても欠除部を排除不可能であるため、 操作者に 手振れ補正の失敗を伝える。 例えば、 表示部 1 2に "手振れ補正エラ一 （範囲外 である） " との意味の表示をする （図 1参照） 。 また、 スピーカー 3 7からエラ —警告音を出力する。 また、 バイブレータ一 3 6を振動させる。
ステップ 5 2 q ：主表示設定が ONか否か判定する。
主表示設定が O Nである場合 （Y e s ) には、 処理はステップ 5 2 rに進む。 主表示設定が O Nでない場合 （N o ) には、 処理はステップ 5 2 tに進む。 ステップ 5 2 r ：主画像メモリ 3 0に格納されている手振れ補正された積分画 像、 またはリサイズされた画像を表示部 1 2に表示する。 ステップ 5 2 t ：手振れ補正された画像を記録媒体 1 4に記録する。 一定時間 経過後、 別の手振れ補正された画像を撮影する場合には、 再び最初のステップ 5 0 aに戻る （図 8参照） 。
このように、 本発明の撮影方法によれば、 複数のフレームを示す情報を揺動補 正し、 静止画を示す情報を生成することができるため、 手振れ補正された 1枚の 静止画像を得ることができる。
以上、 （5 . 撮影方法 1 ) において、 図 1および図 8〜図 1 0を参照して、 本 発明の実施の形態の一例を説明した。
例えば、 図 8〜図 1 0に示される実施の形態では、 ステップ 5 2 aが 「撮影さ れた静止像を表す複数のフレーム間の揺動量を検出するステップ」 に対応し、 ス テツプ 5 2 b〜ステップ 5 2 gが 「検出された揺動量に応じて、 複数のフレーム を示す複数のフレーム情報を補正するステップ」 に対応し、 ステップ 5 2 gが 「揺動補正された複数のフレーム情報を記憶するステップ」 に対応し、 ステップ 5 2 gまたはステップ 5 2 mが 「記憶手段に記憶された複数のフレーム情報に基 づいて、 静止像を示す静止画像情報を生成するステップ」 に対応する。
しかし、 本発明の撮影方法が図 8〜図 1 0に示される実施の形態に限定される わけではない。 撮影方法に包含される各ステップが、 上述した 「撮影された静止 像を表す複数のフレーム間の揺動量を検出するステップ」 、 「検出された揺動量 に応じて、 複数のフレームを示す複数のフレーム情報を補正するステップ」 、 「揺動補正された複数のフレーム情報を記憶するステップ」 および 「記憶手段に 記憶された複数のフレーム情報に基づいて、 静止像を示す静止画像情報を生成す るステップ」 の各々が有する機能を有する限りは、 任意の手順を有し得る。 例えば、 図 8〜図 1 0を参照して説明したように、 演算部 2 9は、 主画像メモ リ 3 0に記憶された複数の画像デ一夕 （フレーム情報） の各々を順次演算するこ とによって、 静止画像情報を生成する。 また、 演算部 2 9は、 主画像メモリ 3 0 に記憶された複数の画像データ （フレーム情報） を一括して演算することによつ て、 静止画像情報を生成してもよい。
6. 撮影方法 1 (順次演算）
図 11は、 本発明の実施の形態の順次演算処理手順を示す。 順次演算処理手順 は、 複数の画像データ （フレーム情報） の各々を順次演算することによって、 静 止画像情報を生成する手順である。
以下、 図 1と図 11とを参照して、 撮影準備終了後 （図 9のステップ 51 s以 降） の順次演算処理手順をステップごとに説明する。
ステップ 10 a ： n=0に設定する。
ステップ 10 b ： nを 1つインクリメントする （n = n + 1) 。
ステップ 10 c ： n枚目の画像を撮影し、 副メモリ 8にとり込む。
ステップ 10 d ： n枚目の画像を手振れ補正し、 手振れ補正された画像 Pnを 得る。
ステップ 10 e ：演算部 29は、 手振れ補正された画像 Pnを示すデ一夕を m 倍する （PnXm) 。
ステップ 10 f ：演算部 29は、 m倍された画像 Pnを示すデータを主画像メ モリ 30の画像データに加算する （Σ11-1;^ (Ρ； Xm) + (PnXm) ) 。
ステップ 10 g ：加算結果を主画像メモリ 30に蓄積する。
ステップ 1 Oh ： n = nl as t (即ち、 最後の値） であるか否かを判定する。 n = nl as tである場合 （Ye s) には、 処理はステップ 10 iに進む。 n = nl as tでない場合 （No) には、 もう 1枚の画像データを取り込むために、 処 理はステップ 10 bに進む。
ステップ 10 i ：副演算部 29 aは、 m倍され、 順次加算された画像データを lZs倍し、 静止画を示す画像デ一夕 Pxを生成する （Px= (∑n i = 1 (Ρ5Χ m) ) /s) 。
ステップ 10 j ：生成された画像データ Pxを記録部 13に出力する。
記録部 13に出力した後、 処理は終了する。 . このように、 順次演算処理手順によれば、 複数の画像デ一夕 （フレーム情報） の各々を順次演算することによって、 静止画像情報を生成するため、 静止画像情 報の生成時間を短縮することができる。
また、 演算部 29が、 m倍された画像 Pnを示すデータを主画像メモリ 30の 画像データに加算し、 副演算部 29 aが、 m倍され、 順次加算された画像データ を lZs倍し、 静止画を示す画像デ一タ？^^を生成するため、 mの値と sの値と を任意に設定することによって、 所望の明るさを有する 1枚の静止画を得ること ができる。
7. 撮影方法 1 (一括演算）
図 12は、 本発明の実施の形態の一括演算処理手順を示す。 一括演算処理手順 は、 複数の画像データ （フレーム情報） を一括して演算することによって、 静止 画像情報を生成する手順である。
以下、 図 1と図 12とを参照して、 撮影準備終了後 （図 9のステップ 5 I s以 降） の一括演算処理手順をステップごとに説明する。
ステップ 20 a： n = 0に設定する。
ステップ 20 b： nを 1つインクリメントする （n = n+ 1) 。
ステップ 20 c ： n枚目の画像を撮影する。
ステップ 20 d： n枚目の画像を示すデータを主画像メモリ 30に蓄積する。 ステップ 20 e ：演算部 29は、 n = nlast (即ち、 最後の値） であるか否 かを判定する。
n = nlas tである場合 （Ye s) には、 処理はステップ 20 f に進む。 n== nl as tでない場合 （No) には、 もう 1枚の画像デ一夕を取り込むために、 処 理はステップ 20 bに進む。
ステップ 20 f ： n枚の画像を手振れ補正する。 手振れ補正された n枚の画像 の各々を画素積分し、 1枚の静止画を示す画像データ Pxを生成する。
ステップ 20 g：生成された画像データ Pxを記録部 13に出力する。 記録部 1 3に出力した後、 処理は終了する。
このように、 一括演算処理手順によれば、 複数の画像データ （フレーム情報） を一括演算することによって、 静止画像情報を生成するため、 演算部 2 9の負荷 を低減することができる。
なお、 上述の （6 . 撮影方法 1 (順次演算） ） で説明したように、 副演算部 2
9 aによって、 画像データを適宜 m倍、 l / s ^ (咅することができるため、 所望の 明るさを有する 1枚の静止画を得ることができる。
8 . 撮影方法 2
図 1 3は、 撮影場所の明るさや、 シャツ夕一速度 （露光時間） に応じて、 複数 の画像 （分割画像） を積分することによって、 手振れ補正を行うための処理手順 を示す。
以下、 この処理手順をステップごとに説明する。
ステップ 9 9 a ：解像度、 画素数および分割画像数を設定する。
ステップ 9 9 b ：手段振れ補正優先スィッチが O Nであるか否かを判定する。 ONでない場合 （N o ：解像度優先モ一ド） には、 例えば、 処理はステップ 8
0 c (後述される図 1 9参照） に進む。 〇Nである場合 （Y e s ：手段振れ補正 優先モード） には、 処理はステップ 9 9 cに進む。
ステップ 9 9 c ：撮影場所の明るさが、 解像度に応じて定められた所定値より 小さいか否かが判定される。
所定値より小さい場合 （Y e s ) には、 処理はステップ 9 9 f に進む。 所定値 と同じか所定値より大きい場合 （N o ) には、 処理はステップ 9 9 dに進む。 ステップ 9 9 d ：シャツ夕開口時間 （露光時間） Sが、 解像度に応じて定めら れた所定値より大きいか否かが判定される。
所定値より大きい場合 （Y e s ) には、 処理はステップ 9 9 f に進む。 所定値 と同じか所定値より小さい場合 （N o ) には、 処理はステップ 9 9 eに進む。 ステップ 9 9 e ：手振れ量が所定値より大きいか否かが判定される。 所定値より大きい場合 （Ye s) には、 処理はステップ 99 ίに進む。 所定値 と同じか所定値より小さい場合 （No) には、 通常撮影 （時間方向の画素加算を しない撮影） を行う （ステップ 99m) 。
ステップ 99 f ：撮影場所の明るさ、 シャツ夕開口時間 （露光時間） およびフ レームレ一トのうちの少なくとも 1つに応じて、 手振れが目立たない解像度 （限 界解像度） を設定する。
設定後、 処理はステップ 99 gに進む。
ステップ 99 g ：解像度 が初期解像度 N。より大きいか否かを判定する。 大きい場合 （Ye s) には、 通常撮影 （時間方向の画素加算をしない撮影） を 行う （ステップ 99m) 。 同じか小さい場合 （No) には、 処理はステップ 99 hに進む。
ステップ 99 h ：解像度 を初期解像度 N。より小さい解像度 N2に変更する。 ステップ 99 i ：水平方向の画素加算 （水平加算処理） および垂直方向の画素 加算 （垂直加算処理） のうちの少なくとも一方を実施し、 解像度を N2に設定す る。 水平加算処理および垂直加算処理の詳細は、 後述される。
ステップ 99 j ：フレ一ムレ一卜を上げる。
ステップ 99 k ：多重撮影を行う （時間方向、 画素加算モード） 。 次に、 処理 は、 例えば、 ステップ 51 y (図 9参照） に進む。
9. 解像度の変更
図 14は、 面内画素加算と時間軸内画素加算とによって解像度を変更する手順 を示す。
以下、 図 14を参照して面内画素加算と時間軸内画素加算とによって解像度を 変更する手順をステップごとに説明する。
ステップ 70 a ：撮像素子内の 9個の画素 （画素 60 a〜画素 60 i ) を示す データを面内方向に加算して、 1つの画素 62を示すデータを生成する。
ステップ 7 O b ：実際のアドレスより多い仮想アドレスを設定する （実際のァ ドレスの量を拡大することによって、 仮想アドレスを設定する） 。 手振れ補正情 報 （揺動情報） に応じて仮想的な切り出し部 6 5を設定する。
ステップ 7 0 c ：手振れ補正情報に応じて、 仮想アドレス上で、 画像 6 1を示 すデ一夕をシフトする。 この場合、 元の画素 6 2を示すデータと周囲の画素を示 すデータとに基づいて、 新たな画素 6 6を示すデ一夕を生成する。
図 1 5は、 本発明の実施の形態による実際の画素数より多い画素数を設定して 手振れを補正する原理を示す。 手振れ補正量は画素の 1 1 0の分解能をもった め、 精密に補正するために、 画素 6 2を 1 0分割した仮想画素 6 7を生成し、 仮 想画素 6 7をシフトする。
仮想画素 6 7を仮想空間上でシフトした後、 処理はステップ 7 0 dに進む。 ステップ 7 0 d ：画像を切り出す。
ステップ 7 0 e ：切り出し画像 6 4を示すデ一夕を得る。 はみ出した部分 6 8 を示すデータは捨てる。
ステップ 7 0 f ：主画像メモリ 3 0に切り出し画像 6 4を示すデータを記録す る。 この時の手振れ補正量は、 主画像メモリ 3 0に記録される。
ステップ 7 0 g ：新たな画像 6 1 aを示すデ一夕が入力されると、 ステップ 7 0 a〜ステップ 7 0 dと同様の処理を行う。
ステップ 7 O h ：手振れ補正量に基づいて、 切り出し画像 6 4 aを示すデータ を得る。
ステップ 7 0 i ：切り出し画像 6 4の画素を示すデータと切り出し画像 6 4 a の画素を示すデータとを時間軸方向に加算 （または積分） することによって、 合 成画像 7 1を示すデータを得る。
ステップ 7 0 j ：合成画像 7 1を示すデータを主画像メモリ 3 0に記録する。 ステップ 7 0 k ：新たな画像 6 1 bを示すデータが入力されると、 ステップ 7 0 a〜ステップ 7 0 eと同様の処理を行う。 切り出し画像 6 4 bを示すデータを 得る。 ステップ 70m：合成画像 71の画素を示すデータと切り出し画像 64 bの画 素を示すデータを時間軸方向に加算することにより、 合成画像 71 aを示すデー タを得る。
ステップ 70 n ： 1回目の手振れ補正量 69、 2回目の手振れ補正量 69 aお よび 3回目の手振れ補正量 69 bを演算することにより、 手振れ補正量 72を生 成する。 手振れ補正量 72に基づいて、 3枚の画像が重複して加算された重複領 域 73を合成画像 71 aから特定する。
ステップ 70 p ：重複領域 73を示すデータに対してズーミング演算を行うこ とにより、 拡大補間し、 拡大画像 74を示すデータを得る。 拡大補間および縮小 補間の詳細は後述される。
手振れ補正された静止画 74を示すデータを得て、 処理は終了する。
図 14を参照して説明された実施の形態では、 3枚の画像を積分する例を説明 したが、 積分される画像の枚数は 3枚に限らない。 例えば、 露光時間が長くなる と、 より多くの画像を積分する。 より多くの画像を積分することによって、 暗い 場所の撮影が可能となる。
図 16は、 面内方向の加算方法を示す。 面内方向の加算は、 垂直方向の加算と 水平方向の加算とを含む。
図 1 6 (a) は、 垂直方向の加算方法を示す。 垂直方向の読み出し時に R (赤） （m、 n+ 1) と R (m、 n) とを垂直加算処理し、 R (m、 n + 1 ) + R (m、 n) を生成する。
図 16 (b) は、 水平方向の加算方法を示す。 同じ色同志の画素を水平方向に 加算する。 例えば、 G (m、 n+ 1) +G (m、 n) と G (m+ l、 n+1) + G (m+ l、 n) とを水平加算処理し、 G (m、 n+ 1) +G (m、 n) +G (m+ l、 n+ 1) +G (m+l、 n) を生成する。
図 16を参照して説明したように、 面内方向の加算によって、 4画素を示すデ 一夕から 1画素を示すデータを生成することができる。 なお、 以下に説明するように、 面内方向の加算処理において、 画像の切り出し 位置をシフ卜することによって、 さらに正確に画像を切り出すことができる。 図 17は、 画像の切り出し位置のシフトを説明するための図である。
加算切り換え手段 102 aと加算切り換え手段 102 bとは、 揺動検出手段 1 5 (図 1参照） から出力された補正信号または検出信号 （揺動情報） に応じて、 加算モードを Aモード 103と Bモード 104との間で切り替える。 このように、 面内方向の加算処理 （図 16参照） において、 画像の切り出し位置を 1画素分シ フトすることによって、 さらに正確に画像を切り出すことができる。
図 18は、 縮小補間の原理、 拡大補間の原理、 および高分解能の手振れ補正の 原理を示す。 図 18 (a) は、 縮小補間の原理を示す。 元の画素 （8個） から縮 小補間された画素 （6個） を得ることができる。 図 18 (b) は、 拡大補間の原 理を示す。 元の画素 （6個） から拡大補間された画素 （8個） を得ることができ る。 図 18 (c) は、 高分解能の手振れ補正の原理を示す。
10. 手振れ検出に失敗した画像の除去
図 19は、 手振れ検出に失敗した画像を除去する手順を示す。
以下、 図 19を参照して手振れ検出に失敗した画像を除去する手順をステップ ごとに説明する。
ステップ 80 a ：シャッター速度 （露光時間） が t ' より長いか否かが判定さ れる。
シャツ夕一速度 （露光時間） が t ' より長い場合 （Ye s) には、 処理はステ ップ 80 bに進む。
ステップ 80 b ：手振れが激しいか否かが判定される。
手振れが激しくない場合 （No) には、 処理はステップ 80 cに進む。 手振れ が激しい場合 （Ye s) には、 処理はステップ 80 dに進む。
ステップ 80 c ：解像度を予め設定されている解像度に設定したままで、 撮影 を行う。 ステップ 80 d ：手振れ補正を優先的に行うか否かを判定する。 手振れ補正を 優先的に行うための設定が ONである場合 （Ye s) には、 処理はステップ 80 eに進む。 手振れ補正を優先的に行うための設定が ONでない場合 （No) には、 処理はステップ 80 cに進む。
ステップ 80 e ：手振れ補正モードが表示される。
ステップ 80 f ：露光時間 tが tェ< t < t 2であるか否かを判定する。
露光時間 tが tェ< t < t 2である場合 （Ye s) には、 処理はステップ 81 dに進み、 面内画素が加算され （ステップ 81 d) 、 露光時間 tを t< tェに設 定し （ステップ 81 e) 、 撮影が開始される （ステップ 81 f ) 。
露光時間 tが t く tく t 2でない場合 （No) には、 処理はステップ 80 g に進み、 t 2< t < t 3であるか否かを判定し、 t 2< t<t 3でない場合 （N o) には、 処理を停止する （ステップ 81 g) 。 t 2<t<t 3である場合 （Y e s) には、 処理はステップ 80 hに進む。
ステップ 80 ：面内の画素加算の設定を行う。
ステップ 80 i ：露光時間 tを t < t 2にし、 手振れ補正用に撮影する画像数
Pを求める。
ステップ 80 j ：撮影を開始する。 R=0に設定する。
ステップ 80 k： n=0に設定する。
ステップ 80m： n = n+ 1に設定する。
ステップ 80 n ：第 n番目の画像の面内方向の画素加算を行う。
ステップ 80 p ：手振れの検出を行う。
ステップ 80 q ：手振れの検出に成功したか否かを判定する。
手振れの検出に失敗した場合 （No) には、 R = R+ 1とし （ステップ 80 r) 、 R<RQであるか否か （Rが設定値 R0より小さいか否か） を判定し、 R <R0でない場合 （No) には、 処理が停止される （ステップ 80 t) 。 R<R 。である場合 （Ye s) には、 動きベクトルの検出点および動きベクトルの検出 数のうちの少なくとも一方を変更し （ステップ 80 V) 、 最初から補正作業をや り直すために、 処理はステップ 80 kに進む。
手振れの検出に成功した場合 （Ye s) には、 処理はステップ 80 uに進む。 ステップ 80 u ：主画像メモリ 30に補正後の画像を蓄積する。
ステップ 80w： n = Pであるか否かを判定する。
n = Pでない場合 （No) には、 処理はステップ 80mに進む。 n==Pである 場合 （Ye s) には、 手振れ補正用に撮影する全ての画像 （全分割画像） の処理 が終ったと判断され、 処理はステップ 80 Xに進む。
ステップ 80 X：主画像メモリ 30の中の複数の補正画像を時間軸方向に加算 もしくは積分する。
ステップ 80 y： 1枚の画像を示すデータを生成する。
ステップ 80 z ：生成された 1枚の画像を示すデータに対して間引き処理等を 行い、 表示部 12に表示する。
ステップ 81 a ：操作者が画像保存スィッチを ONにするか否かを判断する。 ステップ 81 b ：画像を示すデ一夕に対して圧縮処理 （ J PEG等） を行い、 画像デー夕の容量を小さくする。
ステップ 81 c ：記録媒体 14 (例えば、 I C力一ド） に記録する。
図 19を参照して説明したように、 本発明の実施の形態によれば、 手振れの検 出に失敗した補正画像データの加算 （積分） を防止できる。 例えば、 時間軸方向 に加算 （積分） した検出に失敗するような検出困難な画像の場合でも、 手振れ補 正された画像を得ることができる。 また手振れの検出に失敗した画像の次の画像 から時間軸方向の積分を開始することができるため、 時間利用効率が良い。
11. 手振れ量の表示
図 20は、 本発明の実施の形態の撮影装置 200の構成を示す。
撮影装置 200は、 撮影装置 100と同様に、 手振れ量の表示を行うことがで きる。 撮影装置 200は、 手振れ量演算部 92と、 軌跡演算部 91と、 表示部 9 5と、 スピーカ 9 7と、 バイブレータ 9 8と、 C P U 9 9と、 振動ジャイロ 1 0 l aと、 振動ジャイロ 1 0 1 bとを含む。
手振れ量演算部 9 2 (揺動検出手段 1 5 ：図 1参照） は、 手振れ量 （揺動量） を演算し、 表示回路を介して表示部 9 5に出力する。 軌跡演算部 9 1は、 手振れ 補正しても補正しきれなかった手振れの軌跡を演算し、 表示回路を介して表示部 9 5に出力する。
C P U 9 9は、 手振れ量が所定の値より大きいか否かを判定し、 所定の値より 大きい場合には、 表示部 9 5、 スピーカ 9 7およびバイブレータ 9 8のうちの少 なくとも 1つに、 判定結果を出力するよう指示する。
表示部 9 5は、 C P U 9 9の指示に従って、 判定結果を表示する。 スピーカ 9 7は、 C P U 9 9の指示に従って、 警告音を発生する。 バイブレータ 9 8は、 C P U 9 9の指示に従って、 振動する。
図 2 1は、 撮影装置 2 0 0に含まれる表示部 9 5の一例を示す。
表示部 9 5では、 手振れ量が、 インジケータ一 9 3、 9 3 a、 9 3 b、 9 3 c によって、 表示される。 撮影者がこの表示を目視することによって、 撮影者は手 振れ量と手振れ方向とを確認することができる。 手振れ量と手振れ方向とを確認 することによって、 撮影者はカメラの固定方法を変更する。 その結果、 人間の操 作により通常より手振れの少ない静止画を得ることができる。
図 2 2は、 撮影装置 2 0 0に含まれる表示部 9 5の別の例を示す。
表示部 9 5では、 手振れ補正しても補正しきれなかった手振れの軌跡が、 軌跡 9 4 bおよび軌跡 9 4 dのように表示される。 撮影者がこの表示を目視すること によって、 撮影後に、 その静止画がどの程度手振れしているかを確認することが できる。 手振れの失敗をカメラの小さな表示部で確認できるので、 撮影者は、 手 振れ補正の失敗をチェックできる。 流し撮りモ一ド （例えばパンニング、 パノラ マ撮影） の場合には、 夕テ方向の手振れのみをチェックしてもよい。
なお、 '表示部 9 5では、 手段振れ量 （x、 y ) が所定の値 （x Q、 y 0) より 大きい場合 （ （x>x0、 または y>y0) あるいは （χ>χ0、 かつ y>y 。） ) には、 警告表示を行ってもよい。 また、 スピーカは警告音を発生してもよ い。 所定の値 （x。、 y0) は、 例えば、 ズーム比に応じて設定される。
さらに、 表示部 95では、 手段振れ量 （x、 y) が所定の値 （x。、 y。） よ り小さい場合 （ （x<x0、 または y<y0) あるいは （x<x。、 かつ y<y 。） ） には、 表示 （例えば 「OK」 ） を行ってもよい。 また、 スピーカは音を発 生してもよい。 所定の値 （χ0、 y 0) は、 例えば、 ズーム比に応じて設定され る。
図 23は、 パンニングまたはパノラマ撮影時の境界インジケータ一 97の表示 を示す。
図 23 (a) は、 3つのフレームに分けて撮影するための風景を示す。
図 23 (b) は、 フレ一ム 98 aを示す。 図 23 (c) は、 フレーム 98 bを 示す。 図 23 (d) は、 フレーム 98 cを示す。 図 23 (e) は、 フレーム 98 dを示す。
図 23 (a) に示された風景を右方向へパノラマ撮影する場合、 手振れ補正用 の動きベクトルの検出用の代表点である検出点 96 a、 96 b、 96 c (図 23 (b) 参照） のうちの検出点 96 aは、 フレーム上を移動し、 フレーム 98 の 左端にくる （図 23 (c) 参照） 。 この時、 L 1だけ画面が右にシフトしたこと を動き検出のための揺動検出手段 15が検出し、 図 23 (b) のフレームの右端 の境界を示す境界インジケータ一 97 aをフレーム右端から L 1に位置に表示す る （図 23 (c) 参照） 。
同様にして、 揺動検出手段 15が、 L 2だけ画面が右にシフトしたことを検出 し、 境界インジケータ一 97 bをフレーム右端から L 2に位置に表示する （図 2 3 (d) 参照） 。
同様にして、 図 23 (e) では境界インジケータ一 97 cは画面左端にくる。 この段階で撮影者は次の撮影位置にきたことを知ることができる。 必要ならスピ 一力一 3 7 (図 1参照） により通知音を発生させ撮影者に知らせることができる。 この時、 撮影者がシャッターポタンを押すことにより、 ほぼ完全なパノラマ撮影 をすることができる。
以上、 検出点を画面上に複数個設定し、 その検出点の動きベクトルから撮影者 の移動をフレームの動きと見なして判別する方法を述べた。
この方法では、 手振れ補正のための手振れ検出手段によってパンニング検出を 行う。 しかし、 図 2 0に示すように、 振動ジャイロ 1 0 1 aおよび振動ジャイロ 1 0 1 bを用いて手振れ検出を行う撮影装置では、 振動ジャイロにより撮影者の パンニング回転角を検出し、 1フレーム分の左右方向のパンエングに必要な回転 角 0。をズーム検出部のズーム比に応じて求めることもできる。
まず、 図 2 3 ( b ) の状態では、 右端に境界インジケータ 9 7を表示させる。 この状態で撮影者は、 パノラマ撮影の最初の 1枚目を撮影する。 次に、 撮影者が カメラを右方向に回転角 0。パンニング （つまり回転） した場合、 撮影者はカメ ラが 2枚目のフレームの撮影位置にきたことがわかる。
回転角 S。に達した時点で、 左端に境界ィンジケ一夕 9 7 cを表示する （図 2 3 ( e ) 参照） 。 この時点で、 回転角^。に達したことをスピーカ一もしくは表 示によって撮影者に通知する。 撮影者に次のシャッターを切らせることにより左 右方向に正確なパノラマ撮影ができる。
左右方向だけでなく、 上下方向の境界ィンジケ一夕 9 9 a、 9 9 bを表示部 1 2に表示することにより、 撮影者が容易に、 上下と左右とがー致したパノラマ撮 影をすることができる （図 2 3 ( b ) 参照） 。 この場合、 パンニング方向を表示 画面上に矢印で示し、 正しいパンニング方向を表示することによって、 撮影者は 矢印通りにカメラを向けるだけで容易にパノラマ撮影ができる。 一般に、 撮影者 はカメラを手持ちして撮影するため、 .正確に撮影方向を定めることができない。 しかし、 カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整するこ とによって、 極めて正確なパノラマ撮影が可能となる。 なお、 カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整する場 合でも、 撮影したパノラマ画面と理想的なパノラマ画面との誤差が発生する。 撮 影状態の属性を示す属性データ （E x i f等） に、 この誤差を追加記録すること によって、 複数の画像を合成して 1枚のパノラマ画像に変換する時に左右上下の 位置合わせをより正確に行うことが可能になる。 この誤差情報に基づて、 誤差を 修正できるからである。
以上述べたことは、 手振れ検出方式が電子検出方式である場合でも、 同様に実 現できる。
図 2 4は、 フレーム内の手振れ検出のための検出点を示す。 手振れ検出の失敗 が多い場合、 またはフレームレートが遅い場合に、 フレーム 9 8内での、 検出点 9 6の位置の変更、 または、 検出点 9 6の数の増加によって、 手振れ検出の成功 率を上げることができる。
このように、 本発明の撮影装置によれば、 撮影者は手振れの程度を確認するこ とができる。 手振れの程度を確認することによって、 撮影者はカメラの固定方法 を変更することができ、 その結果、 人間の操作により通常より手振れの少ない静 止画を得ることができる。
以上、 （1 1 . 手振れ量の表示） において、 図 1および図 2 0〜図 2 3を参照 して本発明の実施の形態の一例を説明した。
例えば、 図 1および図 2 0〜図 2 3に示される実施の形態では、 揺動検出手段 1 5 (手振れ量演算部 9 2 ) が 「撮影された静止像を表す複数のフレーム間の揺 動量を検出する揺動量検出手段」 に対応し、 C P U 9 9が 「揺動量が所定の値よ り大きいか否かを判定する判定手段」 に対応し、 表示部 9 5、 スピーカ 9 7およ びバイブレータ 9 8が 「判定結果を出力する出力手段」 に対応する。
しかし、 本発明の撮影装置が図 1および図 2 0〜図 2 3に示される実施の形態 に限定されるわけではない。 撮影装置が備える各構成要素が、 上述した 「撮影さ れた静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」 、 「揺 動量が所定の値より大きいか否かを判定する判定手段」 および 「判定結果を出力 する出力手段」 の各々の機能を有する限りは、 任意の構成を有し得る。
なお、 以下の撮影装置も本発明の範囲である。
所定の露光期間に静止像を撮影する撮影装置であって、 前記撮影された静止像 を表す複数のフレーム間の揺動量を検出する揺動量検出手段と、 前記所定の露光 期間経過後、 前記検出された揺動量を表示する表示手段とを備えた、 撮影装置。 所定の露光期間に静止像を撮影する撮影装置であって、 前記撮影された静止像 を表す複数のフレーム間の揺動量を検出する揺動量検出手段と、 前記揺動量が所 定の値より大きいか否かを判定する判定手段と、 前記判定結果を出力する出力手 段とを備えた、 撮影装置。
例えば、 前記出力手段は、 前記揺動量が前記所定の値より大きいと判定された 場合に前記判定結果を表示する。
例えば、 前記出力手段は、 前記揺動量が前記所定の値より大きいと判定された 場合に音を発生する。
例えば、 前記出力手段は、 前記揺動量が前記所定の値より大きいと判定された 場合に振動する。
以上のように、 本発明の好ましい実施形態を用いて本発明を例示してきたが、 本発明は、 この実施形態に限定して解釈されるべきものではない。 本発明は、 特 許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。 当業者は、 本発明の具体的な好ましい実施形態の記載から、 本発明の記載および 技術常識に基づいて等価な範囲を実施することができることが理解される。 本明 細書において引用した特許、 特許出願および文献は、 その内容自体が具体的に本 明細書に記載されているのと同様にその内容が本明細書に対する参考として援用 されるべきであることが理解される。 産業上の利用可能性 本発明の情報生成装置、 撮影装置および撮影方法によれば、 複数のフレームを 示す情報を揺動補正し、 静止画を示す情報を生成することができるため、 手ぶれ 補正された 1枚の静止画像を得ることができる。
本発明は、 所定の露光期間中に複数の画像を撮影し、 複数の画像の各々の手振 れを補正する。 複数の補正画像を演算処理することによって、 1枚の静止画像を 得ることにより、 手振れを補正した S /Nのよい静止画像を得ることができる。 本発明は、 手振れ補正時にフレームレートが低い場合には、 クロック速度を上 げる、 または解像度を落とすことによって、 フレームレートを上げる。 したがつ て、 電子的な手振れ補正に起因する画質劣化が少ない。
本発明の撮影装置によれば、 撮影者は手振れの程度を確認することができる。 手振れの程度を確認することによって、 撮影者はカメラの固定方法を変更するこ とができ、 その結果、 人間の操作により通常より手振れの少ない静止画像を得る ことができる。

Claims

請求の範囲
1 . 複数のフレーム情報を記憶する記憶手段と、
前記記憶手段に記憶された複数のフレーム情報に基づいて、 前記静止像を示す 静止画像情報を生成する情報生成手段と
を備え、
前記複数のフレーム情報は、 所定の露光期間に撮影された静止像を表す複数の フレームを示す情報であって、 前記複数のフレーム間の揺動量に応じて補正され た情報である、 情報生成装置。
2 . 前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報を一 括して演算することによって、 前記静止画像情報を生成する、 請求項 1に記載の 信号処理装置。
3 . 前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報の 各々を順次演算することによって、 前記静止画像情報を生成する、 請求項 1に記 載の信号処理装置。
4 . 前記複数のフレーム情報は、 撮像素子の撮像面に含まれる複数の画素を示 す情報を水平方向および垂直方向のうちの少なくとも一方向に加算して生成され た情報に基づいて生成される、 請求項 1に記載の信号処理装置。
5 . 所定の露光期間に静止像を撮影する撮影装置であって、
前記撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出 手段と、
前記検出された揺動量に応じて、 前記複数のフレームを示す複数のフレーム情 報を補正する揺動補正手段と、
前記揺動補正された複数のフレーム情報を記憶する記憶手段と、
前記記憶手段に記憶された複数のフレーム情報に基づいて、 前記静止像を示す 静止画像情報を生成する情報生成手段と
を備えた、 撮影装置。
6 . 前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報を一 括して演算することによって、 前記静止画像情報を生成する、 請求項 5に記載の 撮影装置。
7 . 前記情報生成手段は、 前記記憶手段に記憶された複数のフレーム情報の 各々を順次演算することによって、 前記静止画像情報を生成する、 請求項 5に記 載の撮影装置。
8 . 前記揺動量に応じて、 前記複数のフレームの解像度を変更する解像度変更 手段をさらに備えた、 請求項 5に記載の撮影装置。
9 . 前記揺動量に応じて、 フレームレートを変更するフレームレート変更手段 をさらに備え、
前記フレームレートは、 単位時間当たりに撮影された静止像を表す複数のフレ 一ムの数を示す、 請求項 8に記載の撮影装置。
1 0 . 明るさに応じて、 前記複数のフレームの解像度を変更する解像度変更手 段をさらに備えた、 請求項 5に記載の撮影装置。
1 1 . ズーム比に応じて、 前記複数のフレームの解像度を変更する解像度変更 手段をさらに備えた、 請求項 1 0に記載の撮影装置。
1 2 . 前記揺動量検出手段は、 撮像素子の撮像面に含まれる複数の画素を示す 情報を加算して生成された情報に基づいて前記揺動量を検出し、
前記揺動補正手段は、 前記摇動量に応じて、 前記複数のフレーム情報の一部を 切り出すことによつて前記複数のフレーム情報を補正する、 請求項 5に記載の撮 影装置。
1 3 . 前記揺動量検出手段は、 撮像素子の撮像面に含まれる複数の画素に基づ いて生成された情報に基づくことなく前記揺動量を検出する、 請求項 5に記載の 撮影装置。
1 4 . 前記所定の露光時間が所定の値より大きいか否かを判定する判定手段を さらに備え、
前記所定の露光時間が'所定の値より大きいと判定された場合には、 前記揺動量 検出手段は、 撮像素子の撮像面に含まれる複数の画素を示す情報を加算して生成 された情報に基づいて前記揺動量を検出する、 請求項 5に記載の撮影装置。
1 5 . 所定の露光期間に静止像を撮影する撮影方法であって、
前記撮影された静止像を表す複数のフレーム間の揺動量を検出するステップと、 前記検出された揺動量に応じて、 前記複数のフレームを示す複数のフレーム情 報を補正するステップと、
前記揺動補正された複数のフレーム情報を記憶するステップと、
前記記憶手段に記憶された複数のフレーム情報に基づいて、 前記静止像を示す 静止画像情報を生成するステップと
を包含する、 撮影方法。
PCT/JP2004/008702 2003-06-17 2004-06-15 情報生成装置、撮影装置および撮影方法 WO2004112380A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP04746172A EP1641246A4 (en) 2003-06-17 2004-06-15 INFORMATION GENERATOR APPARATUS, VIEWING APPARATUS AND VIEWING METHOD
US10/561,384 US7782362B2 (en) 2003-06-17 2004-06-15 Image pickup device for changing a resolution of frames and generating a static image based on information indicating the frames

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2003172687 2003-06-17
JP2003-172687 2003-06-17
JP2003-435934 2003-12-26
JP2003435934 2003-12-26

Publications (1)

Publication Number Publication Date
WO2004112380A1 true WO2004112380A1 (ja) 2004-12-23

Family

ID=33554435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/008702 WO2004112380A1 (ja) 2003-06-17 2004-06-15 情報生成装置、撮影装置および撮影方法

Country Status (3)

Country Link
US (1) US7782362B2 (ja)
EP (1) EP1641246A4 (ja)
WO (1) WO2004112380A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463284B2 (en) 2004-11-15 2008-12-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method for producing an image from a plurality of images
CN1941851B (zh) * 2005-09-30 2012-07-04 三洋电机株式会社 图像取得装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983835B2 (en) 2004-11-03 2011-07-19 Lagassey Paul J Modular intelligent transportation system
JP4541860B2 (ja) * 2004-12-08 2010-09-08 キヤノン株式会社 画像形成装置及び画像形成方法
US11632498B1 (en) * 2005-06-03 2023-04-18 Craig P. Mowry Multi-dimensional imaging system and method
US10341558B2 (en) * 2005-06-03 2019-07-02 Craig P. Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US7509038B2 (en) * 2005-09-29 2009-03-24 Seiko Epson Corporation Determining maximum exposure time to limit motion blur during image capture
JP4733068B2 (ja) * 2007-05-17 2011-07-27 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP5159189B2 (ja) * 2007-06-29 2013-03-06 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP4948294B2 (ja) * 2007-07-05 2012-06-06 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US8699857B2 (en) * 2007-12-06 2014-04-15 Olympus Imaging Corp. Reproducer, digital camera, slide show reproduction method, program, image display apparatus, image display method, image reproduction method, and image display program
US20090147092A1 (en) * 2007-12-07 2009-06-11 Winbond Electronics Corp. Image capturing system and method for object image of low light intensity
US7800652B2 (en) * 2007-12-12 2010-09-21 Cyberlink Corp. Reducing video shaking
CN102239686B (zh) * 2009-10-07 2016-10-05 松下电器（美国）知识产权公司 摄影装置、方法及电路
US20120007996A1 (en) * 2009-12-30 2012-01-12 Nokia Corporation Method and Apparatus for Imaging
JP2011155361A (ja) * 2010-01-26 2011-08-11 Sony Corp 撮像装置、撮像制御方法、プログラム
JP5764740B2 (ja) * 2010-10-13 2015-08-19 パナソニックＩｐマネジメント株式会社 撮像装置
TW201218761A (en) * 2010-10-27 2012-05-01 Hon Hai Prec Ind Co Ltd Image stabilization system and method
CN102572252A (zh) * 2010-12-28 2012-07-11 华晶科技股份有限公司 电子装置、影像拍摄装置及其控制方法
JP5708097B2 (ja) * 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US20120281126A1 (en) * 2011-04-11 2012-11-08 Fossum Eric R Digital integration sensor
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
JP5911298B2 (ja) 2011-12-27 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
JP5966636B2 (ja) * 2012-06-06 2016-08-10 株式会社ニコン 撮像素子および撮像装置
US9282259B2 (en) 2012-12-10 2016-03-08 Fluke Corporation Camera and method for thermal image noise reduction using post processing techniques
JP6135391B2 (ja) * 2013-08-16 2017-05-31 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
US20150201104A1 (en) * 2014-01-13 2015-07-16 Imaginestics Llc Three-dimensional image searching based on inputs collected by a mobile device
JP6056774B2 (ja) * 2014-01-17 2017-01-11 ソニー株式会社 撮像装置と撮像方法およびプログラム。
CN104240613B (zh) * 2014-09-11 2017-02-15 深圳市奥拓电子股份有限公司 一种基于led显示屏的led箱体定位方法、装置及led显示屏
JP6218787B2 (ja) * 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
WO2017122810A1 (ja) * 2016-01-15 2017-07-20 株式会社モルフォ 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
US11202011B2 (en) 2016-07-25 2021-12-14 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, lens apparatus, image capturing system, control method, and storage medium
DE102016219391A1 (de) 2016-10-06 2018-04-12 Robert Bosch Gmbh Verfahren zu einer Rauschoptimierung einer Kamera, insbesondere einer handgehaltenen Wärmebildkamera
US20220354387A1 (en) * 2019-11-28 2022-11-10 Nippon Telegraph And Telephone Corporation Monitoring System, Monitoring Method, and Monitoring Program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143330A (ja) 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 撮影装置
JPH09261526A (ja) * 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
JPH1175105A (ja) * 1997-08-27 1999-03-16 Toshiba Corp 静止画カメラ
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2000224460A (ja) * 1999-01-28 2000-08-11 Sony Corp 画像信号処理装置
JP2000341577A (ja) * 1999-05-26 2000-12-08 Fuji Photo Film Co Ltd 手振れ補正装置およびその補正方法
JP2001086398A (ja) * 1999-07-15 2001-03-30 Olympus Optical Co Ltd 撮像装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06197257A (ja) * 1992-12-24 1994-07-15 Hitachi Ltd ビデオカメラ装置
EP0611125B1 (en) * 1993-02-12 2000-11-22 Sony Corporation Electronic zoom control and image stabilization
US5825415A (en) * 1993-12-17 1998-10-20 Canon Kabushiki Kaisha Electronic image-movement correcting device with a variable correction step feature
US5523786A (en) * 1993-12-22 1996-06-04 Eastman Kodak Company Color sequential camera in which chrominance components are captured at a lower temporal rate than luminance components
JPH08317293A (ja) * 1995-05-17 1996-11-29 Minolta Co Ltd 撮像装置
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
KR100188116B1 (ko) * 1995-12-28 1999-06-01 김광호 손떨림 영상 안정화 회로
JPH1175106A (ja) * 1997-08-27 1999-03-16 Toshiba Corp 静止画カメラ
US6963361B1 (en) * 1998-02-24 2005-11-08 Canon Kabushiki Kaisha Image sensing method and apparatus capable of performing vibration correction when sensing a moving image
WO2000013407A1 (en) * 1998-08-28 2000-03-09 Sarnoff Corporation Method and apparatus for electronically enhancing images
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
JP3349129B2 (ja) * 2000-02-18 2002-11-20 株式会社東芝 撮像装置
JP2001238190A (ja) 2000-02-25 2001-08-31 Canon Inc 画像処理装置及びその制御処理方法
JP2003087645A (ja) 2001-09-07 2003-03-20 Olympus Optical Co Ltd デジタルカメラ
US20030076408A1 (en) * 2001-10-18 2003-04-24 Nokia Corporation Method and handheld device for obtaining an image of an object by combining a plurality of images
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
JP4015646B2 (ja) 2003-06-17 2007-11-28 松下電器産業株式会社 情報生成装置、撮影装置および撮影方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143330A (ja) 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 撮影装置
JPH09261526A (ja) * 1996-03-19 1997-10-03 Olympus Optical Co Ltd 撮像装置
JPH1175105A (ja) * 1997-08-27 1999-03-16 Toshiba Corp 静止画カメラ
JP2000069352A (ja) * 1998-08-26 2000-03-03 Konica Corp 画像入力方法及び画像入力装置
JP2000224460A (ja) * 1999-01-28 2000-08-11 Sony Corp 画像信号処理装置
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
JP2000341577A (ja) * 1999-05-26 2000-12-08 Fuji Photo Film Co Ltd 手振れ補正装置およびその補正方法
JP2001086398A (ja) * 1999-07-15 2001-03-30 Olympus Optical Co Ltd 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1641246A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7463284B2 (en) 2004-11-15 2008-12-09 Canon Kabushiki Kaisha Image processing apparatus and image processing method for producing an image from a plurality of images
CN1941851B (zh) * 2005-09-30 2012-07-04 三洋电机株式会社 图像取得装置

Also Published As

Publication number Publication date
EP1641246A4 (en) 2010-08-18
US7782362B2 (en) 2010-08-24
US20070098381A1 (en) 2007-05-03
EP1641246A1 (en) 2006-03-29

Similar Documents

Publication Publication Date Title
WO2004112380A1 (ja) 情報生成装置、撮影装置および撮影方法
JP4005098B2 (ja) 撮影装置、製品パッケージおよび半導体集積回路
US7590335B2 (en) Digital camera, composition correction device, and composition correction method
JP4553994B2 (ja) 電子スチルカメラ
US8085333B2 (en) Digital camera
JP2001203930A (ja) 撮像装置
JP4015646B2 (ja) 情報生成装置、撮影装置および撮影方法
JP2000050151A (ja) 撮像装置
JP2009225027A (ja) 撮像装置、撮像制御方法、及びプログラム
JP2006246354A (ja) 撮影装置及び撮影プログラム
JP2004104463A (ja) 撮像装置
JP3937924B2 (ja) 撮像装置及びその制御方法
JP4086166B2 (ja) 電子写真装置
JP2005136760A (ja) デジタルスチルカメラ
JP2006215105A (ja) 撮像装置
JP2005236511A (ja) 電子カメラ
JP4351270B2 (ja) 撮影装置および撮影方法
JPH11224324A (ja) 画像信号処理方法及び装置
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2008067168A (ja) デジタルカメラ
JP2000188705A (ja) 電子スチルカメラ
JP2006208664A (ja) 撮像装置
JP5160155B2 (ja) 撮影装置
JP2004158905A (ja) デジタルカメラの撮影方法
KR101825147B1 (ko) 디지털 촬영이미지의 흔들림 보정 촬영방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480022335.8

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007098381

Country of ref document: US

Ref document number: 10561384

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2004746172

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004746172

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10561384

Country of ref document: US