WO2011043024A1 - 撮影装置、方法、プログラムおよび回路 - Google Patents

撮影装置、方法、プログラムおよび回路 Download PDF

Info

Publication number
WO2011043024A1
WO2011043024A1 PCT/JP2010/005726 JP2010005726W WO2011043024A1 WO 2011043024 A1 WO2011043024 A1 WO 2011043024A1 JP 2010005726 W JP2010005726 W JP 2010005726W WO 2011043024 A1 WO2011043024 A1 WO 2011043024A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
movement
exposure
exposure period
generated
Prior art date
Application number
PCT/JP2010/005726
Other languages
English (en)
French (fr)
Inventor
カン グエン
物部 祐亮
江澤 弘造
真寛 稲田
稲治 利夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10821702.7A priority Critical patent/EP2487894A4/en
Priority to JP2011535266A priority patent/JP5396483B2/ja
Priority to US13/132,656 priority patent/US8823812B2/en
Priority to CN201080003477.5A priority patent/CN102239686B/zh
Publication of WO2011043024A1 publication Critical patent/WO2011043024A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection

Definitions

  • the present invention relates to a photographing apparatus and a method for displaying a subject and movement of the photographing apparatus during photographing.
  • a camera there is a camera that stores shooting conditions when camera shake occurs and compares the shooting conditions with the current shooting conditions. If the current shooting conditions match the stored conditions when the camera shake occurred in the past, it is determined that there is a possibility of camera shake, and the user is warned (for example, Patent Document 1). reference).
  • the present invention solves such a conventional problem, and the degree of camera shake can be confirmed even in the case of long exposure (when the exposure period is long). Preventing camera shake during exposure by preventing the user from shaking the camera voluntarily. Also provided is a photographing apparatus and a photographing method in which a user can voluntarily suppress the amount of camera shake during exposure so that a subsequent camera shake correction process is performed well and a high-quality image is obtained. The purpose is to do.
  • an object of the present invention is to provide a photographing apparatus or the like that can prevent the occurrence of (large) camera shake during the exposure period even when the exposure period is long, and prevent the image quality from being deteriorated due to the camera shake during the exposure period.
  • an imaging apparatus receives an imaging optical system and light incident through the imaging optical system, and shows the received light as an image represented by the light.
  • an image sensor that converts image data
  • a memory that stores the converted image data output from the image sensor (the image sensor)
  • a display unit that displays an image (display image)
  • a motion detection unit that detects motion information indicating the motion of the imaging device, and an image that generates an image that displays the motion of the imaging device during the exposure period, which is indicated by the motion information detected by the motion detection unit
  • the user can confirm the subject by seeing the presented pseudo through image, and voluntarily. Furthermore, image stabilization can be prevented by stabilizing the photographing apparatus.
  • the generated image indicating the degree of movement is an image that displays the movement trajectory of the photographing apparatus.
  • an image of a movement locus may be displayed during exposure (during the exposure period).
  • the user can check the movement trajectory (movement trajectory) of the photographing apparatus, and by stabilizing the photographing apparatus voluntarily, camera shake can be prevented.
  • the generated image indicating the degree of movement is an image indicating the direction and magnitude of the movement of the photographing apparatus (by an arrow or the like).
  • the image generation unit outputs the image indicated by the image data stored in the memory and output by the imaging device immediately before the start of exposure (for exposure in the exposure period).
  • a composite in which an image indicating the degree of motion is superimposed (for example, by the image generation unit or the like) on a displacement-corrected image added with movement due to the motion indicated by the motion information detected by the motion detection unit.
  • An image is generated, and the display control unit displays the generated composite image.
  • the generated composite image is displayed during exposure.
  • the user can confirm the subject, and at the same time, can accurately grasp the movement of the photographing apparatus, and can stabilize the photographing apparatus independently to prevent camera shake.
  • the display control unit displays an enlarged image obtained by enlarging a part of the image generated by the image generation unit during the exposure period.
  • the cost can be reduced without requiring an image sensor having a size larger than the size of the actually captured image.
  • the enlarged display allows the user to confirm even a small blur, and the effect of preventing camera shake can be further enhanced by voluntarily stabilizing the photographing apparatus.
  • the motion detection unit may be an acceleration sensor, an angle sensor, or the like, or may be configured by both of them.
  • the motion detection unit may be a gyro sensor or the like.
  • the display control unit displays the image generated by the image generation unit during exposure (during the exposure period).
  • FIG. 1 is a functional configuration diagram of the photographing apparatus.
  • FIG. 2 is a flowchart of the photographing method.
  • FIG. 3 is a diagram of a display example.
  • FIG. 4 is a diagram of an enlarged display example.
  • FIG. 5 is a functional configuration diagram of the photographing apparatus.
  • FIG. 6 is a flowchart of the photographing method.
  • FIG. 7 is a functional configuration diagram of the photographing apparatus.
  • FIG. 8 is a flowchart of the photographing method.
  • FIG. 9 is a diagram of a trajectory display example.
  • FIG. 10 is a diagram illustrating a display example of a range where camera shake can be corrected.
  • FIG. 11 is a diagram illustrating an example of the movement degree display.
  • FIG. 12 shows an image.
  • FIG. 1 is a functional configuration diagram of the photographing apparatus.
  • FIG. 2 is a flowchart of the photographing method.
  • FIG. 3 is a diagram of a display example.
  • FIG. 13 is a diagram illustrating effects in the embodiment.
  • FIG. 14 is a diagram illustrating processing in camera shake correction.
  • FIG. 15 is a diagram illustrating an image.
  • FIG. 16 is a diagram illustrating an operation in the conventional example and an operation in the imaging apparatus.
  • FIG. 17 is a flowchart of processing in the photographing apparatus.
  • FIG. 18 is a block diagram of the photographing apparatus.
  • the imaging apparatus (imaging apparatus 1: FIG. 1 and the like) of the embodiment receives an imaging optical system (imaging optical system 11) and light incident through the imaging optical system (light 11L), and receives the received light.
  • An image sensor (image sensor 12) that converts the image data (first image data 12D) indicating the image represented by the light (first image 12P), and the image sensor outputs the image sensor (the image sensor).
  • a memory (memory 13) for storing the converted image data (first image data 12D), a display unit (display unit 14) for displaying an image (image (display image) 14P), and an exposure period (exposure).
  • a motion detection unit (motion detection unit 15) that detects motion information (information 15I: FIG. 1, FIG.
  • the movement 1My of the photographing apparatus 1a caused by the camera shake Uy in the exposure period 1y despite the long exposure period 1y (for example, a period longer than 1 / 3.75 second of the second row in FIG. 13).
  • a second image 16P is generated and displayed (see the display image 14P in FIGS. 3, 16, and 1).
  • the user 1U who has viewed the displayed second image 16P is prompted by the photographing apparatus (display unit or the like) to reduce the camera shake Uy.
  • the image 12x (FIG. 1, still image, etc.) generated by exposure can be improved in image quality.
  • the exposure period is an exposure period in exposure that is started by pressing an imaging button (imaging button 1B: FIG. 18), and is 1 / 3.75 seconds ( (Refer to FIG. 13), and the imaging device includes the exposure period and a period before exposure (period 1x before exposure) before the exposure period.
  • the camera shake camera shake Ux: FIG. 16) of the user (user 1U: FIG. 18 etc.) having the photographing apparatus displayed as a through image only during the period before the exposure (the 16th second row).
  • the first image (first image 12P: FIG. 1, FIG. 3, etc.) is generated (S411 in FIG. 17), and during the exposure period (third line in FIG.
  • a second said image (second image 16a) is generated (S13), and the previous The display unit displays the generated first image (first image 12P: FIG. 3, FIG. 16, etc.) as the through image in the period before the exposure (second row in FIG. 16).
  • the image blur (camera shake Uy) during the exposure period may be displayed (S14) by displaying the image 16a: FIG. 3, FIG.
  • the first image 12P may be displayed to display a through image (the image 12z (such as FIG. 18) formed on the image sensor 12).
  • the display unit displays the second image (second image 16a) in the exposure period (the third row in FIG. 16), so that the through image is simulated in the exposure period.
  • an image 12z e.g., FIG. 18 that is imaged (estimated) on the image sensor 12 may be displayed.
  • second image 16a a pseudo through image (second image 16a) is also displayed during the exposure period, and the camera shake Uy can be more easily understood by the user 1U.
  • the pseudo display means that the original (normal) through image is not displayed in the period 1x before the exposure, but the second image generated by adding the change 16aM in the exposure period 1y. 16a means that it is displayed as a pseudo through image.
  • the generated image (second image 16P: FIG. 16, third row, third column, FIG. 3, FIG. 4, FIGS. 9 to 12, etc.) may be displayed.
  • the distance and direction (vector 16cX (FIG. 16), the distance and direction of the change 16aM from the position 12Pe indicated by the position 16Pe in FIG.
  • the direction and the like of the movement 1My of the photographing apparatus may be shown by the indicated distance and direction.
  • the image quality can be improved by performing an operation in an appropriate direction or the like by the user corresponding to the direction or the like of the movement 1My shown.
  • the direction and magnitude (vector 16cX (FIG. 16)) of the movement of the photographing apparatus during the exposure period are shown, and the image quality can be improved.
  • FIG. 1 is a functional configuration diagram of an imaging apparatus (imaging apparatus (camera) 1a) according to Embodiment 1 of the present invention.
  • the photographing apparatus is configured such that an image (second image 16P: FIG. 3, FIG. )) Is displayed.
  • the user can confirm the movement of the subject and the photographing device, and also stabilizes the photographing device independently and prevents camera shake.
  • the photographing apparatus 1a includes a photographing optical system 11, an image sensor 12, a memory 13, a display unit 14, a motion detection unit 15, an image generation unit 16, and a display control unit 17.
  • the photographing optical system 11 is a photographing optical system for receiving light from a subject (for example, the subject 1t) and forming an image on the image sensor 12.
  • the image sensor 12 receives light incident through the photographing optical system 11 and converts it into image data. That is, for example, the received light may be converted into image data (first image data 12D) of an image represented by the light.
  • the memory 13 stores image data (first image 12P, first image data 12D) output from the image sensor 12. Here, there is no output from the image sensor 12 during exposure. In this case, the memory 13 stores the image immediately before the exposure and stores the image immediately before the exposure until the exposure.
  • the display unit 14 displays a subject to be photographed by the user.
  • the motion detection unit 15 detects a motion direction and a motion amount, which are motion information of the photographing apparatus. That is, for example, the information 15I that specifies the movement direction and the amount of movement may be detected.
  • the image generation unit 16 generates an image (second image 16P: FIG. 3 or the like) that displays the motion of the photographing apparatus based on the motion information detected by the motion detection unit 15.
  • FIG. 2 is a flowchart of the first embodiment of the present invention.
  • the image generation unit 16 acquires the image immediately before the start of exposure stored in the memory 13 at the start of exposure (at the same time as the time of S1A, a nearby time, etc.) (S11). Moreover, the detected motion information is also acquired from the motion detection unit 15 (S12). Then, based on the acquired motion information, the image immediately before the start of exposure is shifted to generate an image (second image 16P: see FIG. 3 and the like) in which position correction is performed by the shift (S13).
  • the display control unit 17 displays the position-corrected image on the display unit 14 (S14).
  • the motion information and the position-corrected image are continuously updated and displayed in accordance with the frame rate of the display unit 14 (S15: No, S12 to S14). That is, for example, at each time, an image at that time may be generated, and an image displayed at that time may be updated to the generated image.
  • a through image (second image 16P) can be displayed in a pseudo manner even during a period in which there is no output from the image sensor 12 during exposure (during the exposure period).
  • the user can check the movement of the subject and the photographing apparatus even during exposure, and can independently stabilize the photographing apparatus and suppress camera shake.
  • the image immediately before the start of exposure is shifted.
  • the position-corrected image may have a blank portion.
  • a blank portion may be prevented from being generated by using an image sensor having a size larger than the captured image size.
  • FIG. 3 is a diagram of a display example in the first embodiment of the present invention.
  • a position-corrected image (image 16a (second image 16P)) is displayed, and the user grasps the state of camera shake. Be made possible.
  • FIG. 4 is a diagram of an enlarged display example in the first embodiment of the present invention.
  • the position-corrected image is enlarged and displayed as shown in FIG. 4, for example (image 16b), it becomes easier to grasp the state of camera shake.
  • the above-described blank is further added to the size of the image pickup element (that is, for example, the first image 12P (FIG. 3 and the like) larger than the size of the actually displayed captured image. Therefore, an effect of cost reduction can be obtained.
  • motion detection is performed during shooting, an image immediately before the start of exposure is processed based on motion information obtained by motion detection, and a through image is generated and displayed in a pseudo manner.
  • the user can check the degree of movement of the subject and the photographing device, and can stabilize the photographing device independently to prevent camera shake.
  • FIG. 5 is a functional configuration diagram of the imaging device 1b according to the second embodiment of the present invention.
  • the photographing apparatus of the present invention further includes a mechanical camera shake correction unit 18.
  • a mechanical camera shake correction unit 18 for example, an optical camera shake correction method, a sensor shift camera shake correction method, or the like may be used.
  • FIG. 6 is a flowchart of the second embodiment.
  • the image generation unit 16 acquires the image immediately before the exposure start stored in the memory 13 at the start of exposure (S11). Moreover, the detected motion information is also acquired from the motion detection unit 15 (S12). Further, camera shake correction information (information 18I: FIG. 5) is acquired from the mechanical camera shake correction unit 18 (S3a).
  • the camera shake correction information is a correction direction and a correction amount (information including, etc.) for performing camera shake correction mechanically. That is, for example, a portion (movement 21d) between the correction direction and the correction width (amount) indicated by the acquired camera shake correction information in the movement 211m (FIG. 14) of the photographing apparatus 1b is canceled by the correction. Also good.
  • the correction range of the mechanical camera shake correction unit 18 is subtracted from the motion information of the motion detection unit 15 to calculate a position correction amount (S3b). Then, based on the calculated position correction amount, the image generation unit 16 generates a position correction image (second image 16P) (S13). Then, the display control unit 17 displays the position correction image thus generated based on the position correction amount on the display unit 14 (S14). Before the exposure is completed, the motion information, the camera shake correction information, and the position-corrected image are continuously updated according to the frame rate of the display unit 14, and the generated position-corrected image is displayed. Thus, a through image can be displayed in a pseudo manner even during exposure.
  • the second image 16P corresponding to the motion 212n after the motion 21d is canceled is generated and displayed by the correction, and the second image 16P is displayed with higher accuracy and more accurately. Is avoided and camera shake can be reduced more sufficiently.
  • the position change 16aM shown in FIG. 3 may be a position change in the movement 212n after the correction is canceled.
  • FIG. 7 is a functional configuration diagram of the imaging device 1c according to the third embodiment of the present invention.
  • the same components as those in FIG. 7 are identical to FIG. 7 and the same components as those in FIG. 7;
  • FIG. 8 is a flowchart of the third embodiment.
  • the image generation unit 16 acquires motion information (information 15I) from the motion detection unit 15 at the start of exposure (S31). Then, based on the motion information, a trajectory image of the movement of the photographing apparatus (see a second image 16c in FIG. 9 described later) is generated (S32). Then, the display control unit 17 displays the trajectory image on the display unit 14 (S33). By continuously updating and displaying the motion information and the trajectory image according to the frame rate of the display unit 14 until the end of the exposure (S34: No, S31 to S33), the motion in the photographing apparatus during the exposure Can be displayed.
  • FIG. 9 is a diagram showing a trajectory display example in the third embodiment of the present invention.
  • the trajectory image (second image 16c, trajectory 91) is centered on, for example, the position of the photographing apparatus at the start of exposure (the position is indicated by the center of the second image 16c). ), The locus of movement (trajectory 91) in the photographing apparatus during exposure is displayed.
  • a guide line (line 92) such as a circle may be displayed so that the magnitude of the movement can be easily grasped quantitatively.
  • a line (arc) 92 indicating the movement of the photographing apparatus having a size at the radius may be indicated by the radius from the center (starting point 16cA) of the second image 16c.
  • the ratio between the radius and the distance from the center of the location in the second image 16c indicates the magnitude of the motion at that location, which is easy to understand and the motion at that location.
  • the size of can be displayed.
  • an electronic camera shake correction unit 19 (FIG. 7) is further provided.
  • the electronic camera shake correction unit 19 corrects camera shake of an image after shooting. Note that any correction method may be used as long as camera shake can be corrected from one photographed image.
  • FIG. 10 is a diagram showing a display example of a range in which camera shake correction is possible in the third embodiment of the present invention.
  • the image generation unit 16 acquires from the electronic camera shake correction unit 19 a range of camera shake (range information 19I: FIG. 7) in which the image can be corrected (good). (Range (camera shake correction possible range) 101).
  • a photographing apparatus equipped with an electronic camera shake correction function displays a range (range 101) in which camera shake can be corrected during exposure.
  • range 101 range 101
  • camera shake correction unit 19 displays a range in which camera shake can be corrected during exposure.
  • the motion trajectory (trajectory 91) of the photographing apparatus is displayed.
  • other display methods may be used as long as the direction of motion and the magnitude of motion can be grasped.
  • FIG. 11 is a diagram showing an example of the degree of movement display in the third embodiment of the present invention.
  • the third embodiment is combined with the first and second embodiments, and includes a pseudo-through image (see FIGS. 3 and 4) and a trajectory or arrow (trajectory 91, (See arrow 111) may be displayed (see second image 16f in FIG. 12).
  • a trajectory or arrow trajectory 91, (See arrow 111)
  • the motion information image such as the trajectory is referred to a part of the display area (the upper left part where the video 16fa in FIG. 12 is present. May be displayed at the end, four corners, etc.).
  • the image sensor 12 may specifically be a CCD image sensor (Charge Coupled Device Image Sensor), for example.
  • CCD image sensor Charge Coupled Device Image Sensor
  • this imaging device is a new imaging device that has not yet been manufactured and distributed in the market.
  • the size of camera shake that occurs in each length period when the moving image is not blocked and the displayed moving image is visible to the user Indicated.
  • the second image 16P is not displayed during the exposure period 1y, and the mere black image 14t. It is simulated that is displayed.
  • the second image 16P (such as FIG. 3) is displayed instead of the simple black image 14t in the present photographing apparatus. Is simulated.
  • camera shake in the conventional example is 29 pixels in the horizontal direction and 13 pixels in the vertical direction. Estimated as blurring.
  • camera shake in the present photographing device is 6 pixels in the horizontal direction and 6 in the vertical direction. Estimated to be pixel camera shake.
  • the exposure period may be, for example, 1/3 second or even shorter than 1/3 second.
  • the exposure period may be (1 / 3.75) seconds, for example.
  • the minimum value of the reduction range of the reduction in camera shake in this photographing apparatus is predicted to be 5 pixels or more (in the exposure period of 1 / 3.75 seconds in FIG. 4 columns), vertical reduction width (5 pixels), etc.). Further, the maximum value of the reduction width is predicted to be 23 pixels or more (see the horizontal reduction width (23 pixels) in the exposure period of 1/2 second (fourth row and fourth column)).
  • the following operation may be performed in a certain situation.
  • the following operation is merely an example, for example.
  • the image sensor 12 provided in the camera (photographing device) 1 uses an exposure in the exposure period 1y (FIG. 16) to generate an image 12x (such as FIG. 1) before the exposure period 1y.
  • the first image 12P (FIGS. 1, 3, 16, etc.) showing the camera shake Ux is generated, and in the exposure period 1y, the first image 12P is generated. It may not be performed (S411 in FIG. 17).
  • the generated first image 12P may be stored until the exposure period 1y (memory 13, S412).
  • a change (position change) 16aM (FIG. 3 or the like) due to the detected motion 1My is added to the stored first image 12P (the direction is changed by the direction and distance of the change 16am).
  • the second image 16P may be generated (image generation unit 16, S13).
  • the generated second image 16P is displayed to the user (as an image (display image) 14P (FIG. 1)), and a change 16aM (FIG. 3) applied to the displayed second image 16P.
  • the camera shake Uy (FIG. 3, FIG. 16, etc.) during the exposure period 1y, which is the basis of (), may be displayed (display unit 14, FIG. 2, FIG. 1, etc.).
  • the above-described first image 12P (FIG. 1, FIG. 3, etc.) is displayed in the period 1x before exposure, so that the imaging element 12 in the period 1x before exposure is displayed.
  • An image 12z to be formed (through image, FIG. 1 and the like) may be displayed.
  • the second image 16P after the change 16aM is applied is displayed (FIG. 3, FIG. 16, etc.), and a pseudo-through image (image is formed) Image 12z (FIG. 1 etc.)) may be displayed.
  • the camera shake Uy is displayed in the period 1x before exposure, and the user who has viewed the displayed camera shake Uy is caused to reduce the camera shake Uy. It does not stop only when Uy is reduced (second row and third column in FIG. 16).
  • the second image 16a to which the change 16aM is applied is displayed (third row and third column), and the camera shake Uy in the exposure period 1y is displayed, and exposure is performed. Even in the period 1y, the camera shake Uy can be reduced.
  • the image quality of the image 12x (FIG. 1, etc. mentioned above) produced
  • the exposure period 1y is a relatively long period, such as a period in each row in FIG. It is done.
  • the camera shake Uy is displayed in the exposure period 1y even though the exposure period 1y is long, and the camera shake Uy in the exposure period 1y is also reduced, so that the image quality is improved. Lowering the image quality is avoided and the image quality can be improved.
  • the camera shake Uy is not displayed because, for example, a pure black image 14t is displayed in the exposure period 1y. That is, in the conventional example, when the exposure period 1y is a long period recently (and in the near future), the camera shake Uy becomes large and the image quality becomes low.
  • a through image is displayed in a pseudo manner in the exposure period 1y (see the second image 16a in FIGS. 3, 4, and 16), and the camera shake Uy in the exposure period 1y is determined by the user. Therefore, the camera shake Uy is surely reduced and the image quality can be surely improved.
  • the exposure period 1y is, for example, a period in which the camera 1 starts when the user 1U performs an operation to push down the imaging button 1B (FIG. 18).
  • the applied change 16aM (FIG. 3) is a change in position from the position 12Pe before the movement from the position 12Pe in the first image 12P to the position 16Pe moved by the detected movement 1My. It is.
  • the image 12x (FIG. 1) generated by exposure in the exposure period 1y is, for example, a still image.
  • a second image 16b (FIG. 4) is generated by enlarging a part of the region 31Pc (FIG. 3) in the first image 12P (FIG. 3). May be displayed.
  • a second image 16b is generated in which a change 16bM (FIG. 4) obtained by enlarging the change 16aM (FIG. 3) due to the camera movement 1My due to the camera shake Uy in the exposure period 1y is added. May be. That is, by such an enlarged display, the camera shake Uy may be indicated by an enlarged larger change 16bM. This makes it easier for the user to understand the camera shake Uy.
  • a second image 16c (FIG. 9) including a locus 91 of the movement 1My (FIGS. 3, 16, 18, etc.) of the camera 1 in the exposure period 1y is generated. And may be displayed. That is, the camera shake Uy may be displayed by the locus 91 included in the displayed second image 16c.
  • the start point 16cA of the trajectory 91 indicating the camera shake Uy with a magnitude of 0 at the start time of the exposure period 1y is, for example, the second You may have the center position in the image 16c (FIG. 9).
  • the range 101 is, for example, a range in which the electronic camera shake correction unit 19 (FIG. 7) can appropriately correct the image 12x generated by exposure (see FIG. 7). Narrower range, etc.).
  • a locus 91 (upper left in FIG. 12) is added (synthesized) to the first image 12P (FIG. 3), and the captured first image 12P is added.
  • a second image 16f (FIG. 12) including both the included video 16fx (FIG. 12) and the locus 91 (video 16fa) may be generated and displayed.
  • the second arrow 16eA is displayed, and the direction opposite to the direction of the camera shake Uy that the second arrow 16eA has is shown, thereby indicating the direction of the hand movement that eliminates the camera shake Uy. Then, the movement by the user 1U in the direction of the hand movement shown may be prompted. Thereby, a user's operation can be made easier.
  • the second image 16g includes, for example, both the second arrow 16eA having the opposite direction and the first arrow 111 (not shown) described above. But you can.
  • Second image 16f (video 16fa) in FIG. 12
  • range 101 (second image 16d in FIG. 10)
  • first arrow 111 (second image 16e in FIG. 11)
  • second An arrow 16eA (such as the second image 16g in FIG. 15) may be displayed.
  • a video that does not include the video 16fx (FIG. 12) included in the first image 12P may be generated and displayed (FIG. 9). (See the second image 16c and the like).
  • the exposure period 1y is often made longer.
  • the exposure period may be longer.
  • the resolution of the image sensor 12 is being increased. That is, for example, the resolution may be increased due to spec competition among manufacturers. When the resolution is increased, the exposure period may be longer.
  • the exposure period is longer and is more likely.
  • the above-described configuration can be derived that can improve the image quality even when the exposure period is long.
  • the exposure period 1y in the photographing apparatus 1 may be, for example, a period of about 1/15 seconds or a period of 1/15 seconds or more.
  • a period of 1/15 seconds or more is more preferable because it is predicted that an appropriate operation is relatively easy to perform.
  • one first image 12P may be generated by the image sensor 12 every 1/30 seconds in the period 1x before exposure.
  • the image generation unit 16 generates one first image 12P in the period 1x before exposure.
  • a second image 16P may be generated.
  • one first image 12P may be generated in 1/30 seconds.
  • the interval at which the first image 12P is generated and displayed (1/30 seconds) and the interval at which the second image 16P is generated and displayed (1/30 seconds) may be the same.
  • the second image 16P is generated and displayed at the same interval (1/30 seconds), and the generation and display rates are the same (1/30 seconds).
  • 1U a relatively easy-to-view display is possible.
  • the motion detection unit may detect the direction (angle 1Mt: FIG. 18) and the size (size 1Ms) of the motion (motion 1My) of the imaging apparatus.
  • the image generation unit is stored in the memory that is output by the imaging device (in the period 1x between exposures) immediately before the start of exposure (in the exposure period (exposure period 1y: FIG. 16)).
  • the motion information (information 15I: FIG. 1, FIG. 3, etc.) detected by the motion detector
  • a displacement correction image (second image 16a) to which movement (movement of position in the change 16aM (FIG. 3)) by the movement (movement 1My) shown is added is generated, and the display control unit is generated
  • the misalignment correction image may be displayed on the display unit.
  • the generated images indicating the degree of movement are images that display the locus (trajectory 91) of the movement (movement 1My) of the imaging apparatus. It may be.
  • the generated image (first image 16e: FIG. 11) showing the degree of movement is in the direction (angle 1Mt: FIG. 18) and size of the movement (movement 1My: FIG. 18 and the like) of the photographing apparatus. It may be an image (second image 16e including the first arrow 111 in the direction and the size) representing the height (size 1My).
  • the image generation unit is indicated by the image data (first image data 12D) stored in the memory, which is output by the imaging device immediately before the start of exposure (in the period 1x before exposure).
  • a displacement-corrected image (first image 12P) obtained by adding movement (movement at change 16aM) due to the movement (movement 1My) indicated by the movement information detected by the movement detection unit to the image (first image 12P).
  • a composite image (second image 16f) obtained by superimposing an image (video 16fa: FIG. 12) indicating the degree of movement (trajectory 91, etc .: FIG. 12) on the second image 16a (see FIG. 3).
  • the display control unit may generate and display the generated composite image (second image 16f).
  • the display control unit enlarges an enlarged image (second image 16b: FIG. 3) of a part (for example, the region 31Pc: FIG. 3) of the image (image 12P (FIG. 3)) generated by the image generation unit. 4) may be displayed during the exposure period.
  • the change (position change 16aM: FIG. 3) applied to the stored first image (first image 12P) is mechanically detected from the detected motion (movement 211m: FIG. 14). It may be a change in the movement (movement 212n: FIG. 14) after the part (movement 21d: FIG. 14) to be corrected by the camera shake correction (mechanical camera shake correction unit 18: FIG. 5) is subtracted.
  • the second image 16b to which the position change 16bM from the more accurate movement after the portion to be corrected is subtracted is generated and displayed, and the camera shake Uy is more accurately displayed. (Camera shake due to movement after movement is deducted by correction) can be displayed.
  • the above-described rate in the exposure period 1y may be higher than the rate in the period 1x before exposure.
  • the computer 1J may be configured by a part of the photographing apparatus 1 such as a CPU (Central Processing Unit) or the entire photographing apparatus 1.
  • a CPU Central Processing Unit
  • an integrated circuit or the like on which one or more functions described above are mounted may be constructed, a method including one or more processes described above may be constructed, and one or more functions described above may be configured.
  • a computer program to be implemented on a computer may be constructed, or a data structure of the computer program may be constructed.
  • the camera shake suppression method of the imaging apparatus according to the present invention can prevent camera shake by displaying the movement information of the subject and / or the imaging apparatus during exposure and by the user voluntarily stabilizing the imaging apparatus. . This is useful for preventing camera shake in a photographing apparatus having an electronic display unit.

Abstract

 撮影光学系(11)からの光を、画像(12P)を示す画像データ(12D)に変換する撮像素子(12)と、変換された前記画像データを記憶するメモリ(13)と、露光期間(1y)における、当該撮影装置(1)の動き(1My)を検出する動き検出部(15)と、検出した前記動きを表示する画像(16a)を生成する画像生成部(16)と、生成した前記画像を表示部に表示させる表示制御部(17)とを備えた撮影装置(1)が構築される。

Description

撮影装置、方法、プログラムおよび回路
 本発明は、撮影装置、撮影中に、被写体及び撮影装置の動きを表示する方法に関するものである。
 カメラの高解像度化、撮像素子の微細化の進展にともなって、撮影時の露光量を十分に確保することが困難になってきている。暗い環境で撮影する場合、光量を確保するために、露光時間が長くなっている。これによって、(露光時間(露光期間)中における)手ブレ(が大きくなる)という問題が発生する。
 カメラの手ブレ補正技術として、光学式や電子式の手ブレ補正技術がある。しかし、現状では、ブレ量が多い場合には、補正ができなくなり、また、過剰に補正を行う場合には、画質が劣化するという問題もある。このため、良好な画像を得るために、手ブレ量を抑える必要がある。
 従来では、手ブレを抑制するために、撮影する前に(露光期間の開始前に)、手ブレ状態をユーザに報知することにより、手ブレが少ない安定した状態で撮影を行えるように、ユーザに促すものがある。
 このようなカメラとして、手ブレが発生した時の撮影条件を記憶し、現在の撮影条件との比較を行うカメラがある。そして、現在の撮影条件が、記憶された、過去の、手ブレ発生した時の条件と一致した場合には、手ブレの可能性があると判断し、ユーザに警告する(例えば、特許文献1参照)。
 また、撮影する前に(露光期間の開始前に)、動き検出センサーから情報を取得し、手ブレ状態の時系列グラフを生成する技術がある。そして、スルー画像と共に、手ブレ状態の時系列グラフを画面に表示し、ユーザが、カメラのブレ状態を把握できるようにするカメラがある(例えば、特許文献2参照)。
特開2005-109824号公報 特開2006-166396号公報
 しかしながら、特許文献1では、現在撮影している条件を、過去の、手ブレした時の撮影条件と比較しているため、過去のデータが少ない場合には、手ブレが発生するような撮影条件でも、ユーザに報知することができない。また、報知を受けて、ユーザが、カメラを持ち直すことで、撮影する前に(露光期間が開始する前に)、カメラを安定させることが可能だが、撮影中の手ブレ(露光期間中の手ブレ)を防止することはできないという課題があった。さらに、データを蓄積するために、メモリが必要となり、コストが高くなる課題もあった。
 また、特許文献2では、撮影する前に(露光期間が開始する前に)、時系列の手ブレ度合いを表示することによって、ユーザが、自発的にカメラを安定さることができる。しかし、露光中(露光期間中)においては、撮像素子から画像信号が出力されず、ディスプレイが表示されないため、撮影中に、ユーザが被写体を確認できなくなるという課題があった。
 特許文献1及び特許文献2では、いずれも、撮影する前に手ブレの状態を、ユーザに報知し(図16の第2行第2列(従来例における、露光前の期間1xでの動作)を参照)、ユーザが、自発的にカメラを安定させるように促すことが書かれていた。一方で、実際には、画像のブレは、露光中に発生する(第3行第2列を参照)。このため、撮影前(露光期間が開始する前)に手ブレがなくても、露光中において、特に露光時間が長い場合(近年、多く望まれる、誕生日における部屋などの、暗い環境において、撮影する場合など)には、露光中のブレを防止することができないという課題を有していた。
 本発明は、このような、従来の課題を解決するもので、長時間露光の場合(露光期間が長い場合)でも、手ブレの度合いを確認することができる。ユーザが、自主的に手ブレをしないようにすることによって、露光中の手ブレを防止する。また、ユーザが、露光中に、自主的に、手ブレの量を抑制することによって、後段の、手ブレ補正処理が良好に行われ、高画質の画像が得られる撮影装置及び撮影方法を提供することを目的とする。
 つまり、露光期間が長くても、露光期間中において、(大きな)手ブレが生じず、露光期間中の手ブレにより、画質の劣化が生じてしまうことを防げる撮影装置等を提供することを目的とする。
 従来の課題を解決するために、本発明にかかる撮影装置は、撮影光学系と、前記撮影光学系を介して入射した光を受けて、受けた光を、当該光により表される画像を示す画像データに変換する撮像素子と、前記撮像素子から(当該撮像素子が)出力した、変換された前記画像データを記憶するメモリと、画像(表示画像)を表示する表示部と、露光期間における、当該撮影装置の動きを示す動き情報を検出する動き検出部と、前記動き検出部で検出した前記動き情報により示される、前記露光期間における、当該撮影装置の前記動きを表示する画像を生成する画像生成部と、表示される前記画像として、生成した前記画像を(前記露光期間中において)前記表示部に表示させる表示制御部とを備えた撮影装置である。
 これによれば、撮像素子から画像が出力されない露光期間中においては、動き検出部から検出された動き情報に基づいて、撮影装置の動きを表示する画像を生成する。そして、生成した画像を表示することによって、露光期間中に、表示された画像を見ることにより、ユーザが、手ブレによる、撮影装置の動きを確認することができ、自主的に、撮影装置を安定させる。こうして、撮影装置が安定させられることによって、画像のブレを防止することができる。
 つまり、露光期間が長いにも関わらず(例えば、図13の第2行の1/3.75秒以上の長さなど)、上述された撮像素子~表示制御部を備えており、露光期間中における手ブレが大きくなってしまうことが回避されて、露光期間中の手ブレが小さくでき、画質が高くできる。
 なお、こうして、露光中に、擬似的に、スルー画像や、撮影装置の動き情報などの適切な情報(画像)を表示することで、画質が高くできる。
 また、好ましくは、前記画像生成部は、(前記露光期間における露光の)露光開始直前に前記撮像素子により出力された、前記メモリに記憶されている前記画像データにより示される前記画像に対して、前記動き検出部で検出した前記動き情報により示される前記動きによる移動が加えられた位置ずれ補正画像を生成し、前記表示制御部は、生成された当該位置ずれ補正画像を前記表示部に表示させる。
 これによれば、露光中に、擬似的に、スルー画像をユーザに提示することによって、提示された、擬似的なスルー画像を見ることにより、ユーザが、被写体を確認することができ、自主的に、撮影装置を安定させることによって、画像のブレを防止することができる。
 また、好ましくは、前記画像生成部は、前記動き検出部で検出した前記動き情報に基づいて、当該撮影装置の前記動きの動き度合いを示す前記画像を生成し、前記表示制御部は、生成された、前記動き度合いを示す前記画像を表示させる。
 そして、具体的には、例えば、生成される、前記動き度合いを示す前記画像は、当該撮影装置の前記動きの軌跡を表示する画像である。
 なお、例えば、動きの軌跡の画像が、露光中(露光期間中)に表示されてもよい。
 これによれば、露光中に、ユーザが、撮影装置の動き軌跡(動きの軌跡)を確認することができ、自主的に、撮影装置を安定させることで、手ブレを防止することができる。
 また、具体的には、例えば、生成される、前記動き度合いを示す前記画像は、当該撮影装置の前記動きの方向及び大きさを(矢印等により)表す画像である。
 これによれば、露光中に、ユーザが、撮影装置の動きの方向、及び、動きの量を正確に把握でき、自主的に、撮影装置を安定させることで、手ブレを防止することができる。
 また、好ましくは、前記画像生成部は、(前記露光期間における露光の)露光開始直前に前記撮像素子により出力された、前記メモリに記憶されている前記画像データにより示される前記画像に対して、前記動き検出部で検出した前記動き情報により示される前記動きによる移動が加えられた位置ずれ補正画像に対して、前記動き度合いを示す画像を(例えば、当該画像生成部などが)重ね合わせた合成画像を生成し、前記表示制御部は、生成された前記合成画像を表示させる。
 なお、具体的には、露光中に、生成された合成画像を表示する。
 これによれば、露光中に、ユーザが、被写体を確認できると同時に、撮影装置の動きを正確に把握でき、自主的に、撮影装置を安定させることで、手ブレを防止することができる。
 また、好ましくは、前記表示制御部は、前記画像生成部で生成した前記画像の一部が拡大された拡大画像を、前記露光期間中に表示させる。
 これによれば、手ブレの量が多くても、実際に撮影された画像のサイズよりも大きいサイズの撮像素子を要することなく、コストを削減することができる。また、拡大表示することによって、小さなブレでも、ユーザが確認することができ、自主的に、撮影装置を安定させることで、手ブレ防止の効果を、より高めることができる。
 なお、前記動き検出部は、加速度センサー、または、角度センサーなどでもよいし、これらの両方により構成されてもよい。また、前記動き検出部は、ジャイロセンサー等でもよい。
 また、前記表示制御部は、前記画像生成部で生成した画像を、露光中(露光期間中)などに表示させる。
 なお、こうして、このような撮影装置で実行される表示方法であって、当該撮影装置が備える、露光期間における、当該撮影装置の動きを示す動き情報を検出する動き検出部(上述)で検出した前記動き情報(を取得することにより、取得された前記動き情報)により示される、前記露光期間における、当該撮影装置の前記動きを表示する画像を生成する画像生成ステップと、表示される前記画像として、生成した前記画像を前記表示部に表示させる表示制御ステップとを含む表示方法が構築されてもよい。
 本発明の撮影装置によれば、露光中に、ユーザが、被写体や撮影装置の動きを確認することができ、自主的に、撮影装置を安定させることによって、長時間露光しても、手ブレを抑制することができる(露光期間中における(大きな)手ブレがなくせる)。これによって、手ブレ補正処理を良好に行うことができ、高画質の画像が得られる。
 露光期間が、暗い環境の撮影における露光期間(1/3.75秒以上の期間など(図13を参照))等であるにも関わらず、露光期間での手ブレがなくせて、画質が高くできる。しかも、構成が簡単にできる。しかも、露光期間においても、(擬似的な)スルー画像が表示され、手ブレをなくす、ユーザによる動作が行い易い、分かり易い表示がされて、確実に、手ブレがなくせて、確実に、画質が高くできる。これにより、画質が高いことと、画質が高いことが確実であることと、構成が簡単であることなどが両立できる。
図1は、撮影装置の機能構成図である。 図2は、撮影方法のフローチャートである。 図3は、表示例の図である。 図4は、拡大表示例の図である。 図5は、撮影装置の機能構成図である。 図6は、撮影方法のフローチャートである。 図7は、撮影装置の機能構成図である。 図8は、撮影方法のフローチャートである。 図9は、軌跡表示例の図である。 図10は、手ブレ補正可能範囲の表示例の図である。 図11は、動き度合い表示例の図である。 図12は、画像を示す図である。 図13は、実施形態における効果を示す図である。 図14は、手ブレ補正での処理を示す図である。 図15は、画像を示す図である。 図16は、従来例での動作と、本撮影装置での動作を示す図である。 図17は、撮影装置における処理のフローチャートである。 図18は、撮影装置のブロック図である。
 以下、本発明の実施の形態について、図面を参照しながら説明する。
 実施形態の撮影装置(撮影装置1:図1など)は、撮影光学系(撮影光学系11)と、前記撮影光学系を介して入射した光(光11L)を受けて、受けた光を、当該光により表される画像(第1の画像12P)を示す画像データ(第1の画像データ12D)に変換する撮像素子(撮像素子12)と、前記撮像素子から(当該撮像素子が)出力した、変換された前記画像データ(第1の画像データ12D)を記憶するメモリ(メモリ13)と、画像(画像(表示画像)14P)を表示する表示部(表示部14)と、露光期間(露光期間1y:図16など)における、当該撮影装置の動き(動き1My)を示す動き情報(情報15I:図1、図3など)を検出する動き検出部(動き検出部15)と、前記動き検出部で検出した前記動き情報により示される、前記露光期間(露光期間1y)における、当該撮影装置の前記動き(動き1My)を表示する画像(第2の画像16P:図1、図3など)を生成する画像生成部(画像生成部16)と、表示される前記画像(表示画像14P)として、生成した前記画像(第2の画像16P:図1、図3など)を前記表示部に表示させる表示制御部(表示制御部17)とを備える。
 これにより、露光期間1yが長い(例えば図13の第2行の1/3.75秒以上に長い期間など)にも関わらず、露光期間1yにおける手ブレUyより生じる、撮影装置1aの動き1Myを示す第2の画像16Pが生成されて、表示される(図3、図16、図1の表示画像14Pなどを参照)。これにより、表示された第2の画像16Pを見たユーザ1U(図1)が、手ブレUyを小さくするように、当該撮影装置(表示部など)により促される。これにより、露光期間1yが長いにも関わらず、露光期間1yにおける手ブレUyが大きくなるのが回避され、手ブレUyが小さくされ、(大きな)手ブレがなくせて(図13の第4列などを参照)、露光により生成される画像12x(図1、静止画など)の画質が高くできる。
 しかも、単に、第2の画像16Pが表示されるだけで済み、複雑な処理等が不要にされて、構成が簡単にできる。
 これにより、手ブレがなくて、画質が高いことと、構成が簡単なこととが両立できる。
 つまり、例えば、前記露光期間(露光期間1y:図16)は、撮像ボタン(撮像ボタン1B:図18)が押されることにより開始される露光での露光期間であり、1/3.75秒(の期間)以上に長い期間であり(図13を参照)、前記撮像素子は、前記露光期間と、前記露光期間よりも前の、露光前の期間(露光前の期間1x)とのうちで、前記露光前の期間にのみ(第16の第2行)、スルー画像として表示される、当該撮影装置を持つユーザ(ユーザ1U:図18など)の手ブレ(手ブレUx:図16)を示す第1の前記画像(第1の画像12P:図1、図3など)を生成し(図17のS411)、前記露光期間には(図16の第3行)、手ブレ(手ブレUy)を示す前記第1の画像(第1の画像12P)を生成せず、前記メモリは、前記露光前の期間(露光前の期間1x、図16の第2行)に生成された前記第1の画像(第1の画像12P)を、前記露光期間(露光期間1y、第3行)まで記憶し(S412)、前記動き検出部は、前記露光期間(露光期間1y)における、前記ユーザの前記手ブレ(手ブレUy)により生じる、記憶される前記第1の画像(第1の画像12P:図3など)が生成されてからの、当該撮影装置の前記動き(動き1My:図16、図3など)を検出し(図2のS12)、前記画像生成部は、記憶された前記第1の画像(第1の画像12P:図3)に対して、検出された前記動き(動き1My)による変化(位置の変化16aM(図3)、位置の移動、位置のずれ)が加えられた第2の前記画像(第2の画像16a)を生成し(S13)、前記表示部は、前記露光前の期間(図16の第2行)に、前記スルー画像として、生成された第1の前記画像(第1の画像12P:図3、図16など)を表示することにより、前記露光前の期間における前記手ブレ(手ブレUx)を表示すると共に、前記露光期間(第3行)にも、生成された、前記変化が加えられた第2の前記画像(第2の画像16a:図3、図16など)を表示することにより、当該露光期間における前記手ブレ(手ブレUy)を表示(S14)してもよい。
 つまり、前記露光前の期間1xにおいて、第1の画像12Pが表示されることにより、スルー画像(撮像素子12に結像する画像12z(図18など))が表示されてもよい。
 そして、前記表示部は、前記露光期間(図16の第3行)に、第2の前記画像(第2の画像16a)を表示することにより、当該露光期間にも、擬似的に、スルー画像(露光期間1yにおいて、撮像素子12に結像する(と推定される)画像12z(図18など))を表示してもよい。
 これにより、露光期間にも、擬似的なスルー画像(第2の画像16a)が表示されて、手ブレUyが、ユーザ1Uに対して、より分かり易くできる。
 なお、擬似的に表示するとは、露光前の期間1xにおいて、本来(通常)のスルー画像が表示されるのではなく、露光期間1yにおいて、変化16aMが加えられることにより生成された第2の画像16aが、擬似的なスルー画像として表示されることを意味する。
 なお、こうして、擬似的なスルー画像が表示されることにより、その表示がユーザに見られることなどにより、既知または未知である、様々な派生的効果が生じる。
 つまり、こうして、例えば、生成された前記画像(第2の画像16P:図16第3行第3列、図3、図4、図9~図12など)が表示されてもよい。そして、これにより、表示された前記画像上における(前記画像に表れる)、距離および方向(ベクトル16cX(図16)、図3の位置16Peにより示される、位置12Peからの、変化16aMの距離および方向、図9の軌跡91の始点16cAから終点16cBまでの距離および方向など))が示され、示される距離および方向により、撮影装置の動き1Myの方向等が示されてもよい。つまり、これにより、示された、動き1Myの方向等に対応する、ユーザによる、適切な方向等での動作がされることにより、画質が高くできる。
 なお、こうして、撮影装置の動き1Myが示されることにより、露光期間1yにおいて、(大きな)動き1Myがあるか否かが示されてもよい。
 これにより、動き1Myがなくて、露光により生成される画像12xの画質が高いか、動き1Myがあって、画質が低いかがユーザに示されて、示される情報から、撮り直しをするか否かがユーザにより判断されるなどして、適切な情報がユーザに報知できる。
 なお、こうして、例えば、本撮影装置では、露光期間の全体(略全体)で、手ブレが表示され、画質が高くできる。
 なお、こうして、例えば、本撮影装置では、露光期間における、当該撮影装置の動きの方向および大きさ(ベクトル16cX(図16))が示されて、画質が高くできる。
 これに対して、知られる従来例においては、このような暗い環境での撮影がされず、露光期間が比較的短いなどで、上述された構成により、上述の作用・効果(画質が高くできる、十分高くできる、確実に高くできるなど)を得るアイデアには到達していない。このため、本撮影装置は、従来例に対して、先進性を有すると考えられる。
 (実施の形態1)
 図1は、本発明の実施の形態1における撮影装置(撮影装置(カメラ)1a)の機能構成図である。
 本発明の実施の形態1における撮影装置は、露光中に、メモリにある、露光直前の画像(に対して、所定の補正が加えられた画像(第2の画像16P:図3、図16など))を表示する。このことで、ユーザが、被写体、及び、撮影装置の動きを確認できるとともに、自主的に撮影装置を安定させ、手ブレを防止する。同図に示すように、撮影装置1aは、撮影光学系11、撮像素子12、メモリ13、表示部14、動き検出部15、画像生成部16、表示制御部17を備える。
 撮影光学系11は、被写体(例えば、被写体1t)からの光を受け、撮像素子12に結像するための撮影光学系である。
 撮像素子12は、撮影光学系11を介して入射する光を受け、画像データに変換する。つまり、例えば、受けた光が、その光により表される画像の画像データ(第1の画像データ12D)へと変換されてもよい。
 メモリ13は、撮像素子12から出力される画像データ(第1の画像12P、第1の画像データ12D)を記憶する。そして、ここで、露光中には、撮像素子12から出力がない。メモリ13は、この場合、露光直前の画像を保存し、露光直前の画像を、露光中まで記憶する。
 表示部14は、ユーザが撮影する被写体を表示する。
 動き検出部15は、撮影装置の動き情報である、動き方向と、動きの量とを検出する。つまり、例えば、それら、動き方向と動きの量とをそれぞれ特定する情報15Iが検出されてもよい。
 画像生成部16は、動き検出部15で検出した動き情報に基づいて、撮影装置の動きを表示する画像(第2の画像16P:図3など)を生成する。
 表示制御部17は、画像生成部16で生成した画像を、表示部14に表示させる。なお、この表示は、撮影装置が露光を行い、撮像素子12が出力をしない露光期間中に行われる。
 図2は、本発明の実施の形態1のフローチャートである。
 画像生成部16は、露光開始時に(S1Aの時刻と同時の時刻、近傍の時刻などにおいて)、メモリ13に保存されている、露光開始直前の画像を取得する(S11)。また、動き検出部15から、検出された動き情報も取得する(S12)。そして、取得した動き情報に基づいて、露光開始直前の画像をシフトして、シフトによる位置補正をした画像(第2の画像16P:図3等を参照)を生成する(S13)。
 次に、表示制御部17は、位置補正した画像を表示部14に表示する(S14)。露光終了までに、表示部14のフレームレートにあわせて、動き情報、及び、位置補正した画像を、連続的に更新して、表示する(S15:No、S12~S14)。つまり、例えば、それぞれの時刻において、その時刻における画像が生成されて、その時刻に表示される画像が、生成された画像へと更新されてもよい。このことで、露光中で、撮像素子12による出力がない期間中(露光期間中)にも、擬似的にスルー画像(第2の画像16P)を表示することができる。
 かかる構成によれば、露光中にも、ユーザが、被写体及び撮影装置の動きを確認することができ、自主的に、撮影装置を安定させ、手ブレを抑制することができる。
 なお、本実施の形態1では、露光開始直前の画像をシフトする。そして、このことによって、位置補正した画像には、空白の部分があってもよい。一方、例えば、実際に実施がされる際には、撮影画像サイズよりも、サイズの大きい撮像素子を利用して、空白の部分が発生しないようにされてもよい。
 なお、本実施の形態1では、動き検出部15としては、撮影装置の動きを検出できるものであれば、加速度センサー、または、角速度センサーなどを利用しても良い。
 図3は、本発明の実施の形態1における表示例の図である。
 なお、本実施の形態1では、図3のように、露光中に、例えば、位置補正した画像(画像16a(第2の画像16P))を表示して、ユーザが、手ブレの状態を把握できるようにされる。
 図4は、本発明の実施の形態1における拡大表示例の図である。
 一方、位置補正した画像を、例えば、図4に示すように、拡大して表示すると(画像16b)、より手ブレの状態を把握しやすくなる。また、これによって、実際に表示される撮影画像のサイズよりも、サイズの大きい撮像素子(つまり、例えば、第1の画像12P(図3等)のサイズに対して、更に、上述された、空白の部分のサイズが加えられたサイズの撮像素子など)が必要ないため、コスト削減の効果も得られる。
 このようにして、要するに、例えば、撮影中に動き検出を行い、動き検出で得られる動き情報に基づいて、露光開始直前の画像を加工し、擬似的に、スルー画像を生成し、表示する。このことによって、露光期間中でも、ユーザが、被写体及び撮影装置の動き度合いを確認でき、自主的に撮影装置を安定させることで、手ブレを防止できる。
 (実施の形態2)
 図5は、本発明の実施の形態2における撮影装置1bの機能構成図である。図5において、図1と同じ構成要素については適宜、同じ符号を用い、説明を省略する。
 図5において、本発明の撮影装置は、さらに、機械的な手ブレ補正部18を備える。機械的な手ブレ補正部18における方式としては、具体的には、例えば、光学式手ブレ補正の方式や、センサーシフト手ブレ補正方式などを利用しても良い。
 図6は、本実施の形態2のフローチャートである。
 画像生成部16は、露光開始時に、メモリ13に保存されている、露光開始直前の画像を取得する(S11)。また、動き検出部15から、検出された動き情報も取得する(S12)。さらに、機械的な手ブレ補正部18から、手ブレ補正情報(情報18I:図5)を取得する(S3a)。手ブレ補正情報は、機械的に手ブレ補正を行う、補正方向と補正量と(を含んでなる情報など)である。つまり、例えば、撮影装置1bの動き211m(図14)のうちの、取得される手ブレ補正情報により示される補正方向と補正幅(量)との部分(動き21d)が、補正により打ち消されてもよい。
 次に、動き検出部15の動き情報から、機械的な手ブレ補正部18の補正範囲を減算し、位置補正量を算出する(S3b)。そして、算出された位置補正量に基づいて、画像生成部16では、位置補正画像(第2の画像16P)を生成する(S13)。そして、表示制御部17は、こうして、位置補正量に基づいて生成された位置補正画像を、表示部14に表示させる(S14)。そして、露光終了までに、表示部14のフレームレートにあわせて、動き情報、手ブレ補正情報、及び、位置補正した画像を、それぞれ連続的に更新して、生成される位置補正画像を表示することで、露光中でも、擬似的に、スルー画像を表示することができる。
 これによれば、機械的な手ブレ補正部18が備えられた場合でも、正確に、適切な位置補正画像を生成することができる。
 つまり、例えば、補正により、動き21dが打ち消された後の動き212nに応じた第2の画像16Pが生成され、表示されて、より精度のよい表示がされて、より精度よく、ユーザによる手ブレの回避がされて、より十分に、手ブレが小さくできる。
 こうして、例えば、図3に示される、位置の変化16aMが、補正による打ち消しがされた後の動き212nでの、位置の変化でもよい。
 (実施の形態3)
 図7は、本発明の実施の形態3における撮影装置1cの機能構成図である。図7において、図1と同じ構成要素については適宜、同じ符号を用い、説明を省略する。
 図8は、本実施の形態3のフローチャートである。
 画像生成部16は、露光開始時に、動き検出部15から、動き情報(情報15I)を取得する(S31)。そして、動き情報に基づいて、撮影装置の動きの軌跡画像(後述の図9における第2の画像16cを参照)を生成する(S32)。そして、表示制御部17は、軌跡画像を、表示部14に表示する(S33)。露光終了までに、表示部14のフレームレートに合わせて、動き情報及び軌跡画像を連続的に更新して、表示することで(S34:No、S31~S33)、露光中の、撮影装置における動きの軌跡を表示することができる。
 図9は、本発明の実施の形態3における軌跡表示例の図である。
 軌跡画像(第2の画像16c、軌跡91)は、図9に示すように、例えば、露光開始時の撮影装置の位置を中心にして(当該位置が、第2の画像16cの中心により示され)、露光中の撮影装置における動きの軌跡(軌跡91)を表示する。
 これによれば、露光中に、ユーザが、手ブレによる、撮影装置の動き軌跡(軌跡91)を、リアルタイムに把握でき、自主的に撮影装置を安定させ、手ブレを抑制することができる。
 なお、動きの大きさを、定量的に把握しやすくなるように、円などのガイド線(線92)を表示しても良い。なお、つまり、第2の画像16cの中心(始点16cA)からの半径により、その半径における大きさの、撮影装置の動きを示す線(円弧)92が示されてもよい。これにより、その半径と、第2の画像16cにおける箇所が有する、中心からの距離との間の比により、その箇所での動きの大きさが示されて、分かり易く、その箇所での、動きの大きさが表示できる。
 本実施の形態3では、さらに、電子式手ブレ補正部19(図7)を備える。電子式手ブレ補正部19は、撮影後の画像の手ブレを補正するものである。なお、撮影した、1枚の画像から、手ブレを補正できるものであれば、どんな、補正方法を利用しても良い。
 図10は、本発明の実施の形態3における手ブレ補正可能範囲の表示例の図である。
 画像生成部16は、電子式手ブレ補正部19から、画像を(良好に)補正可能な、手ブレの範囲(範囲の情報19I:図7)を取得し、補正可能な範囲を、図10のように表示させる(範囲(手ブレ補正可能範囲)101)。
 これによれば、電子式の手ブレ補正の機能(電子式手ブレ補正部19)を搭載している撮影装置では、露光中に、手ブレを補正可能な範囲(範囲101)を表示する。このことで、補正可能範囲内に、手ブレを抑制するように、撮影装置を安定させ、撮影するように、ユーザに促すことによって、長時間露光の場合(誕生日の部屋での撮影の場合など)にも、手ブレがなく、高画質の画像が得られる。
 なお、本実施の形態3では、撮影装置の動き軌跡(軌跡91)を表示するが、動きの方向と、動きの大きさとが把握できれば、他の表示方法でも良い。
 図11は、本発明の実施の形態3における、動き度合い表示例の図である。
 例えば、図11は、撮影装置の動きを、矢印(矢印111)で表示する図である。動きの方向は、矢印の方向(例えば、予め定められた方向(図11の水平右向きの方向)からの、矢印の方向の角度)で示し、動きの大きさは、矢印の長さで表示する。動き検出部15の検出した動き情報に基づいて、矢印の方向および長さ(の一方または両方)を更新して、表示することで、ユーザは、撮影装置の動きが把握できる。
 なお、本実施の形態3は、実施の形態1、実施の形態2と組み合わせられ、擬似的なスルー画像(図3,図4を参照)と共に、動きの度合いを表す軌跡や矢印(軌跡91,矢印111を参照)を表示しても良い(図12の第2の画像16fを参照)。この場合には、ユーザが、被写体を確認しながら、手ブレによる、撮影装置の動きを、定量的に把握することもできるため、手ブレ防止が、より効果的に行える。また、この場合には、被写体画像の表示の邪魔にならないように、軌跡などの動き情報画像を、表示領域の一部分(図12における、映像16faがある左上の部分を参照。周辺部と端部とのうちの端部、四隅など)に表示しても良い。
 なお、撮像素子12は、具体的には、例えば、CCDイメージセンサ(Charge Coupled Device Image Sensor)などであってもよい。
 なお、動き検出部15は、先述された情報15I(図1など)を生成するジャイロセンサー等でもよい。
 なお、ここで、本撮影装置は、製造されて、市場において流通させることが、まだ、されていない、新しい撮影装置である。
 そこで、以下のような、ムービーカメラによる動作により、本撮影装置の動作をシミュレーションする実験が行われて、この実験を通じて、本撮影装置による効果の程度が見積もられた。
 つまり、図13の第2列においては、ムービーカメラ(図略)において、表示される動画像を塞いで、動画像がユーザに見えないようにした際における、それぞれの長さの期間(第4行の1/2秒、第3行の1/3秒など)で生じる、手ブレの大きさが示される。
 同様に、第3列では、ムービーカメラにおいて、動画像が塞がれず、表示される当該動画像がユーザに見えるようにした際における、それぞれの長さの期間で生じる、手ブレの大きさが示される。
 つまり、表示される動画像が塞がれ、見えなくされることにより(第2列)、従来例において、露光期間中1yに、第2の画像16Pが表示されず、単なる、真っ黒な画像14tが表示されることがシミュレーションされる。
 そして、動画像が塞がれず、見せられることにより(第3列)、本撮影装置における、単なる、真っ黒な画像14tが表示されるのでなく、第2の画像16P(図3など)が表示されることがシミュレーションされる。
 つまり、表示される動画像が塞がれた際における(第2列)、手ブレの大きさにより、第2の画像16Pが表示されない、従来例の撮影装置における、手ブレの大きさが見積もられる。そして、動画像が塞がれない際における(第3列)、手ぶれの大きさにより、第2の画像16Pが表示される、本撮影装置における、手ぶれの大きさが見積もられる。
 そして、第4行第2列に示されるように、露光期間が1/2秒であるときに、従来例での手ブレは、水平方向に29画素で、かつ、垂直方向に13画素の手ブレと見積もられた。
 これに対して、第4行第3列に示されるように、露光期間が1/2秒であるときに、本撮影装置における手ブレは、水平方向に6画素で、かつ、垂直方向に6画素の手ブレと見積もられた。
 すなわち、露光期間が、1/2秒であるときにおいて(第4行)、本撮影装置によれば、水平方向に、29-6=23画素、垂直方向に13-6=7画素だけ(第4列を参照)、それぞれ、手ブレが、より小さくできることが見積もられた。
 同様に、第3行に示されるように、露光期間が、1/3秒である際においては、本撮影装置によれば、水平方向に、21-2=19画素、垂直方向に、10-2=8画素だけ、それぞれ、手ブレが小さくできることが見積もられた。
 なお、露光期間が、1/3秒よりも更に短い際(第2行における、露光期間が、(1/3.75)秒である際等)についても、ある程度、手ブレが小さくできることが確認された。
 つまり、露光期間は、例えば、1/3秒でもよいし、1/3秒よりも更に短くてもよい。
 なお、例えば、第2行に示されるように、露光期間は、例えば、(1/3.75)秒などでもよい。
 この実験により、本撮影装置における、手ブレの減少の減少幅の最小値が、5画素以上などと予測される(図13の、1/3.75秒の露光期間での(第2行第4列)、垂直方向の減少幅(5画素)などを参照)。また、減少幅の最大値として、23画素以上などが予測される(1/2秒の露光期間での(第4行第4列)、水平方向の減少幅(23画素)などを参照)。
 こうして、手ブレが減少される減少幅が、比較的大きくできることが予測される。
 なお、こうして、例えば、ある局面などにおいて、次の動作がされてもよい。なお、次の動作は、例えば、単なる一例である。
 つまり、カメラ(撮影装置)1(図1)に設けられた撮像素子12により、当該露光期間1y(図16)における露光により画像12x(図1など)が生成される露光期間1yよりも前の、露光前の期間1x(図16)において、手ブレUxを示す第1の画像12P(図1、図3、図16など)が生成され、露光期間1yにおいて、当該第1の画像12Pが生成されなくてもよい(図17のS411)。
 そして、露光前の期間1xにおいて、生成された第1の画像12Pが表示されることにより、露光前の期間1xにおける手ブレUxが表示されてもよい(図16第2行を参照)。
 そして、生成された第1の画像12Pが、露光期間1yまで記憶されてもよい(メモリ13、S412)。
 そして、露光期間1yにおいて、露光期間1yにおける手ブレUy(図16、図13など)から生じる、当該カメラ(撮影装置)1の動き1My(図16、図3、図18など)が検出されてもよい(動き検出部15、図12のS12)。
 そして、記憶された第1の画像12Pに対して、検出された動き1Myによる変化(位置の変化)16aM(図3など)が加えられた(変化16amの方向、距離だけ、位置が変更された)第2の画像16Pが生成されてもよい(画像生成部16、S13)。
 そして、生成された第2の画像16Pが(、画像(表示画像)14P(図1)として)ユーザに対して表示されて、表示される第2の画像16Pに加えられた変化16aM(図3)の基となった、露光期間1yにおける手ブレUy(図3、図16など)が表示されてもよい(表示部14、図2、図1など)。
 つまり、具体的には、例えば、露光前の期間1xに、先述された第1の画像12P(図1、図3など)が表示されることにより、露光前の期間1xにおける、撮像素子12に結像する画像12z(スルー画像、図1など)が表示されてもよい。
 そして、露光期間1yにおいても、変化16aMが加えられた後における第2の画像16Pが表示されることにより(図3、図16など)、擬似的に、スルー画像(結像している(ことが推定される)画像12z(図1等))が表示されてもよい。
 これにより、露光前の期間1xにおいて、手ブレUyが表示されて、表示された手ブレUyを見たユーザに、手ブレUyを小さくする動作をさせて、露光前の期間1xにおいて、手ブレUyが小さくされる(図16の第2行第3列)だけに止まらなくなる。
 つまり、露光期間1yにおいても(第3行)、変化16aMが加えられた第2の画像16aが表示されて(第3行第3列)、露光期間1yにおける手ブレUyが表示されて、露光期間1yにおいても、手ブレUyが、小さくできる。
 これにより、露光期間1yの間の露光により、撮像素子12により生成される画像12x(図1など、先述)の画質が高くできる。
 つまり、露光期間1yが、暗い環境での撮影がされるなどのために、図13における各行での期間などのように、比較的長い期間であることが、(最近および近い将来においては)考えられる。
 そして、このように、露光期間1yが長いにも関わらず、本技術のカメラ1においては、露光期間1yにも手ブレUyが表示されて、露光期間1yにおける手ブレUyも小さくされ、画質が低くなってしまうことが回避され、画質が高くできる。
 これに対して、知られた従来例(図16の第2列)においては、露光期間1yにおいて、単なる、真っ黒の画像14tが表示されるなどして、手ブレUyが表示されない。つまり、従来例では、露光期間1yが、最近(および近い将来における)長い期間であるときには、手ブレUyが大きくなり、画質が低くなってしまう。
 こうして、本撮影装置においては、複数の構成(画像生成部16、表示部14など)が組み合わせられて、組み合わせからの相乗効果が生じる。これに対して、従来例では、これらの複数の構成のうちの全部または一部を欠き、相乗効果は生じない。
 本撮影装置は、これらの構成、作用、効果の点において、従来例に対して、先進性を有する。
 しかも、単に、第2の画像16Pが表示されるだけで、画質が高くされて、複雑な処理が不要であり、構成が簡単にできる。
 また、上述のように、露光期間1yにおいて、擬似的に、スルー画像が表示され(図3、図4、図16の第2の画像16aを参照)、露光期間1yにおける手ブレUyが、ユーザに十分に分かり易く表示されるので、確実に、手ブレUyが小さくされ、確実に、画質が高くできる。
 これにより、簡単な構成と、画質が高いことと、そのような、画質の高さが、確実に得られることとが両立できる。
 なお、露光期間1yは、例えば、露光を開始させる、ユーザ1Uによる、撮像ボタン1B(図18)の押し下げの操作がされた場合に、カメラ1が開始させる期間などである。
 なお、例えば、加えられる変化16aM(図3)は、第1の画像12Pにおける位置12Peから、検出された動き1Myによる移動をした位置16Peまでの、移動前における位置12Peからの、位置の変化などである。
 なお、露光期間1yでの露光により生成される画像12x(図1)は、例えば、静止画である。
 なお、より具体的には、例えば、次の通りでもよい。
 つまり、図4に示されるように、例えば、第1の画像12P(図3)における、一部の領域31Pc(図3)が拡大されてなる第2の画像16b(図4)が生成され、表示されてもよい。
 つまり、これにより、例えば、露光期間1yにおける手ブレUyによる、カメラ1aの動き1Myによる変化16aM(図3)が拡大された変化16bM(図4)が加えられた第2の画像16bが生成されてもよい。つまり、このような、拡大がされた表示がされることにより、手ブレUyが、拡大された、より大きな変化16bMにより示されてもよい。これにより、ユーザに対して、より分かり易く、手ブレUyが示せる。
 また、図9に示されるように、例えば、露光期間1yにおける、カメラ1の動き1My(図3、図16、図18など)の軌跡91が含まれる第2の画像16c(図9)が生成され、表示されてもよい。つまり、これにより、表示される第2の画像16cに含まれる軌跡91により、手ブレUyが表示されてもよい。
 そして、具体的には、図9に示されるように、例えば、露光期間1yの開始の時刻における、大きさが0での手ブレUyを示す、軌跡91の始点16cAは、例えば、第2の画像16c(図9)における中心の位置を有してもよい。
 これにより、現在の時刻における、軌跡91の終点16cBが、中心の位置(の近傍)に維持されるようにする、ユーザ1Uによる操作により、手ブレが小さくされて、操作が簡単にできる。
 また、図10に示されるように、例えば、軌跡91と共に、予め定められた、弊害が比較的少ない、手ブレUy(カメラ1aの動き1My)の範囲101を示す第2の画像16dが生成されて、表示されてもよい。
 つまり、例えば、表示される軌跡91における終点16cBにより示される、現在における手ブレUyが、表示される範囲101に含まれるか否かにより、弊害が少ないか否かがユーザ1Uに対して示されてもよい。
 なお、先述のように、範囲101は、例えば、具体的には、露光により生成される画像12xに対して、電子式手ブレ補正部19(図7)により適切な補正が可能である範囲(よりも狭い範囲等)などでもよい。
 なお、図10では、範囲101の形状が、円形である例が示されるが、矩形などの、他の形状でもよい。
 なお、図12に示されるように、例えば、第1の画像12P(図3)に対して、軌跡91(図12の左上)が追加(合成)されて、撮像された第1の画像12Pに含まれる映像16fx(図12)と、軌跡91(映像16fa)とが何れも含まれる第2の画像16f(図12)が生成され、表示されてもよい。
 また、図11に示されるように、例えば、手ブレUy(の大きさ、方向、カメラ1の動き1My(図3,図16など)の大きさ、方向)を示す第1の矢印111が含まれる第2の画像16eが生成され、表示されてもよい。
 また、図15に示されるように、例えば、手ブレUyの方向(図11の第1の矢印111の方向)と180度逆の方向を有する第2の矢印16eAが含まれる第2の画像16gが生成され、表示されてもよい。
 こうして、第2の矢印16eAが表示されて、第2の矢印16eAが有する、手ブレUyの方向と逆の方向が示されることにより、手ブレUyを解消する、手の動作の方向が示されて、示される、手の動きの方向での、ユーザ1Uによる動作が促されてもよい。これにより、ユーザの動作が、より簡単にできる。
 なお、第2の画像16gは、より具体的には、例えば、このような、逆の方向を有する第2の矢印16eAと、上述された第1の矢印111(図略)との両方を含んでもよい。
 このように、第2の画像16Pが生成され、生成された第2の画像16Pが表示されるのに際して、例えば、軌跡91(図9の第2の画像16c、図10の第2の画像16d、図12の第2の画像16f(映像16fa)など)、範囲101(図10の第2の画像16dなど)、第1の矢印111(図11の第2の画像16eなど)、第2の矢印16eA(図15の第2の画像16gなど)などが表示されてもよい。
 そして、例えば、第2の画像16Pとして、撮像された第1の画像12P(図1、図3)に含まれる映像16fx(図12)と共に、これら軌跡91等のうちの1つまたは複数が含まれる映像(図12に示される第2の画像16fなど)が表示されてもよい。
 なお、例えば、第2の画像16Pとして、第1の画像12P(図1、図3)に含まれる映像16fx(図12)が含まれない映像が生成され、表示されてもよい(図9の第2の画像16cなどを参照)。
 なお、先述のように、最近においては、露光期間1yが、より長くされることが多い。
 つまり、例えば、最近においては、いわゆる露光符号化手ブレ補正処理が利用されることがあり、露光符号化手ブレ補正処理が利用されるために、露光期間が、より長くされることがある。
 また、最近においては、誕生日における、照明が消された部屋などの、より暗い環境での撮影が望まれることが多く、より暗い環境での撮影がされるために、露光期間が、より長くされることがある。
 また、最近においては、撮像素子12が、より高解像度化されつつある。つまり、例えば、各メーカーの間での、スペックの競争のために、高解像度化がされることなどがある。そして、高解像度化がされるのに際して、露光期間が、より長くされることがある。
 このように、最近においては、露光期間が、より長くされ勝ちである。このような、最近の事情が考えられることにより、露光期間が長くても、画質が高くできる、上述の構成が導かれる。
 これに対して、過去においては、露光期間は、比較的短く、より長くされることは、比較的少なかった。このため、過去の事情のみに着目した技術からは、上述の構成を導くことは困難と考えられる。
 なお、先述された実験(図13を参照)がされるのに加えて、更に、撮影装置(例えば、図16の第2列における、従来例の撮影装置、先述のムービーカメラなどを参照)において、1/15秒の露光期間で撮影をする実験が行われた。この実験により、撮影における、1/15秒の露光期間は、想像されるよりも、より長い期間に、ユーザにより感じられることが確認された。つまり、1/15秒の露光期間は、その露光期間中において、手ブレを抑制するための操作をすることが可能な程度に、十分に長い露光期間と考えられることが確認された。
 つまり、例えば、本撮影装置1における露光期間1yは、例えば、1/15秒程度の期間でもよいし、1/15秒以上の期間などでもよい。
 なお、1/15秒以上の期間であれば、より、適切な操作が、比較的行い易いことが予測されて、より好ましい。
 なお、例えば、撮像素子12により、露光前の期間1xにおいて、1/30秒ごとに、1つの第1の画像12Pが生成されてもよい。
 そして、例えば、露光期間1yにおいて、画像生成部16により、露光前の期間1xに第1の画像12Pが生成される、1/30秒の間隔と同じ、1/30秒の間隔で、1つの第2の画像16Pが生成されてもよい。
 つまり、例えば、例えば、露光期間1yにおいて、露光前の期間1xにおける間隔(1/30秒)と同じ1/30秒の間隔で、動き検出部15による検出がされて、その検出に基づいた1つの第1の画像12Pが生成されることにより、1/30秒で、1つの第1の画像12Pが生成されてもよい。
 つまり、例えば、露光期間1yが、1/30秒の5倍だけの、1/30秒×5倍=5/30秒(≧1/15)などでもよい。そして、例えば、5/30秒のうちに、1/30秒の間隔が過ぎるごとに、新しい1つの第2の画像16Pが生成され、5つの第2の画像16Pが生成されてもよい。
 こうして、例えば、第1の画像12Pが生成され、表示される間隔(1/30秒)と、第2の画像16Pが生成され、表示される間隔(1/30秒)とが同じでもよい。
 これにより、第2の画像16Pが生成され、表示される間隔が、同じ間隔(1/30秒)にされて、生成および表示のレートが同じ(1/30秒)にされることにより、ユーザ1Uにとり、比較的見易い表示ができる。
 こうして、例えば、前記動き検出部は、当該撮影装置の動き(動き1My)の方向(角度1Mt:図18)及び大きさ(大きさ1Ms)を検出してもよい。
 そして、前記画像生成部は、(前記露光期間(露光期間1y:図16)における露光の)露光開始直前に(露光間の期間1xに)前記撮像素子により出力された、前記メモリに記憶されている前記画像データ(第1の画像データ12D)により示される前記画像(第1の画像12P)に対して、前記動き検出部で検出した前記動き情報(情報15I:図1、図3など)により示される前記動き(動き1My)による移動(変化16aM(図3)における、位置の移動)が加えられた位置ずれ補正画像(第2の画像16a)を生成し、前記表示制御部は、生成された当該位置ずれ補正画像を前記表示部に表示させてもよい。
 そして、前記画像生成は、前記動き検出部で検出した前記動き情報に基づいて、当該撮影装置の前記動き(動き1My)の動き度合い(軌跡91、軌跡91の終点16cB(図16、図9、図10)、矢印111(図11):ベクトル16cX(図16))を示す前記画像(第2の画像16c~16e)を生成し、前記表示制御部は、生成された、前記動き度合い(軌跡91等:ベクトル16cX)を示す前記画像(第2の画像16c等)を表示させてもよい。
 そして、生成される、前記動き度合いを示す前記画像(第2の画像16c、16d:図9、図10)は、当該撮影装置の前記動き(動き1My)の軌跡(軌跡91)を表示する画像であってもよい。
 そして、生成される、前記動き度合いを示す前記画像(第1の画像16e:図11)は、当該撮影装置の前記動き(動き1My:図18など)の方向(角度1Mt:図18)及び大きさ(大きさ1My)を表す画像(当該方向および当該大きさでの第1の矢印111が含まれる第2の画像16e)であってもよい。
 そして、前記画像生成部は、露光開始直前に(露光前の期間1xに)前記撮像素子により出力された、前記メモリに記憶されている前記画像データ(第1の画像データ12D)により示される前記画像(第1の画像12P)に対して、前記動き検出部で検出した前記動き情報により示される前記動き(動き1My)による移動(変化16aMでの移動)が加えられた位置ずれ補正画像(第2の画像16a(図3)を参照)に対して、前記動き度合い(軌跡91など:図12)を示す画像(映像16fa:図12)を重ね合わせた合成画像(第2の画像16f)を生成し、前記表示制御部は、生成された前記合成画像(第2の画像16f)を表示させてもよい。
 そして、前記表示制御部は、前記画像生成部で生成した前記画像(画像12P(図3))の一部(例えば領域31Pc:図3)が拡大された拡大画像(第2の画像16b:図4)を、前記露光期間中に表示させてもよい。
 そして、記憶された第1の前記画像(第1の画像12P)に加えられる前記変化(位置の変化16aM:図3)は、検出された前記動き(動き211m:図14)から、機械的な手ブレ補正(機械的な手ブレ補正部18:図5)により補正される部分(動き21d:図14)が差し引かれた後における動き(動き212n:図14)での変化でもよい。
 これにより、補正される部分が差し引かれた後における、より精度のよい動きからの、位置の変化16bMが加えられた第2の画像16bが生成され、表示されて、より精度よく、手ブレUy(補正で、動きが差し引かれた後における動きでの手ブレ)が表示できる。
 なお、例えば、露光期間1yにおける、上述のレートは、露光前の期間1xでのレートよりも高くてもよい。
 なお、例えば、画像生成部16および表示部17の機能が実装された集積回路1L(図1)が構築されてもよい。また、撮影装置1に設けられたコンピュータ1J(図1)に、これら画像生成部16等の機能を実現するためのコンピュータプログラムが構築されてもよい。
 なお、コンピュータ1Jは、撮影装置1における、CPU(Central Processing Unit)などの一部分から構成されてもよいし、撮影装置1の全体から構成されてもよい。
 なお、複数の実施形態などの、互いに遠く離れた箇所で記載された、複数の技術事項が、適宜組み合わせられてもよい。組み合わせられたものも併せて開示される。
 また、上述の1以上の機能が実装された集積回路等が構築されてもよいし、上述の1以上の工程を含んでなる方法が構築されてもよいし、上述の1以上の機能を、コンピュータに実現するためのコンピュータプログラムが構築されてもよいし、そのコンピュータプログラムのデータ構造などが構築されてもよい。
 本発明にかかる撮影装置の手ブレ抑制方法は、露光中に、被写体および/または撮影装置の動き情報を表示して、ユーザが自主的に、撮影装置を安定させることによって、手ブレを防止できる。電子表示部を有する撮影装置の手ブレ防止として有用である。
 1  撮影装置
 1My  動き
 1y  露光期間
 11  撮影光学系
 12  撮像素子
 13  メモリ
 14  表示部
 15  動き検出部
 16  画像生成部
 16a  画像 
 17  表示制御部
 18  機械的な手ブレ補正部
 19  電子式手ブレ補正部
 91  動き軌跡
 92  ガイド線
 101  手ブレ補正可能範囲
 111  矢印

Claims (14)

  1.  撮影光学系と、
     前記撮影光学系を介して入射した光を受けて、受けた光を、当該光により表される画像を示す画像データに変換する撮像素子と、
     前記撮像素子から出力した、変換された前記画像データを記憶するメモリと、
     画像を表示する表示部と、
     露光期間における、当該撮影装置の動きを示す動き情報を検出する動き検出部と、
     前記動き検出部で検出した前記動き情報により示される、前記露光期間における、当該撮影装置の前記動きを表示する画像を生成する画像生成部と、
     表示される前記画像として、生成した前記画像を前記表示部に表示させる表示制御部とを備えた撮影装置。
  2.  前記動き検出部は、当該撮影装置の動きの方向及び大きさを検出する請求項1記載の撮影装置。
  3.  前記画像生成部は、露光開始直前に前記撮像素子により出力された、前記メモリに記憶されている前記画像データにより示される前記画像に対して、前記動き検出部で検出した前記動き情報により示される前記動きによる移動が加えられた位置ずれ補正画像を生成し、
     前記表示制御部は、生成された当該位置ずれ補正画像を前記表示部に表示させる請求項1記載の撮影装置。
  4.  前記画像生成部は、前記動き検出部で検出した前記動き情報に基づいて、当該撮影装置の前記動きの動き度合いを示す前記画像を生成し、
     前記表示制御部は、生成された、前記動き度合いを示す前記画像を表示させる請求項1記載の撮影装置。
  5.  生成される、前記動き度合いを示す前記画像は、当該撮影装置の前記動きの軌跡を表示する画像である請求項4記載の撮影装置。
  6.  生成される、前記動き度合いを示す前記画像は、当該撮影装置の前記動きの方向及び大きさを表す画像である請求項4記載の撮影装置。
  7.  前記画像生成部は、露光開始直前に前記撮像素子により出力された、前記メモリに記憶されている前記画像データにより示される前記画像に対して、前記動き検出部で検出した前記動き情報により示される前記動きによる移動が加えられた位置ずれ補正画像に対して、前記動き度合いを示す画像を重ね合わせた合成画像を生成し、
     前記表示制御部は、生成された前記合成画像を表示させる請求項1記載の撮影装置。
  8.  前記表示制御部は、前記画像生成部で生成した前記画像の一部が拡大された拡大画像を、前記露光期間中に表示させる請求項1記載の撮影装置。
  9.  前記露光期間は、撮像ボタンが押されることにより開始される露光での露光期間であり、1/3.75秒以上に長い期間であり、
     前記撮像素子は、
     前記露光期間と、前記露光期間よりも前の、露光前の期間とのうちで、
     前記露光前の期間にのみ、スルー画像として表示される、当該撮影装置を持つユーザの手ブレを示す第1の前記画像を生成し、
     前記露光期間には、手ブレを示す前記第1の画像を生成せず、
     前記メモリは、前記露光前の期間に生成された前記第1の画像を、前記露光期間まで記憶し、
     前記動き検出部は、前記露光期間における、前記ユーザの前記手ブレにより生じる、記憶される前記第1の画像が生成されてからの、当該撮影装置の前記動きを検出し、
     前記画像生成部は、記憶された前記第1の画像に対して、検出された前記動きによる変化が加えられた第2の前記画像を生成し、
     前記表示部は、
     前記露光前の期間に、前記スルー画像として、生成された第1の前記画像を表示することにより、前記露光前の期間における前記手ブレを表示すると共に、
     前記露光期間にも、生成された、前記変化が加えられた第2の前記画像を表示することにより、当該露光期間における前記手ブレを表示する請求項1記載の撮影装置。
  10.  前記表示部は、前記露光期間に、第2の前記画像を表示することにより、当該露光期間にも、擬似的に、スルー画像を表示する請求項9記載の撮影装置。
  11.  記憶された第1の前記画像に加えられる前記変化は、検出された前記動きから、機械的な手ブレ補正により補正される部分が差し引かれた後における動きでの変化である請求項9又は10記載の撮影装置。
  12.  撮影光学系と、
     前記撮影光学系を介して入射した光を受けて、受けた光を、当該光により表される画像を示す画像データに変換する撮像素子と、
     前記撮像素子から出力した、変換された前記画像データを記憶するメモリと、
     画像を表示する表示部とを備える撮影装置で実行される表示方法であって、
     当該撮影装置が備える、露光期間における、当該撮影装置の動きを示す動き情報を検出する動き検出部で検出した前記動き情報により示される、前記露光期間における、当該撮影装置の前記動きを表示する画像を生成する画像生成ステップと、
     表示される前記画像として、生成した前記画像を前記表示部に表示させる表示制御ステップとを含む表示方法。
  13.  撮影光学系と、
     前記撮影光学系を介して入射した光を受けて、受けた光を、当該光により表される画像を示す画像データに変換する撮像素子と、
     前記撮像素子から出力した、変換された前記画像データを記憶するメモリと、
     画像を表示する表示部とを備える撮影装置におけるコンピュータに、
     当該撮影装置が備える、露光期間における、当該撮影装置の動きを示す動き情報を検出する動き検出部で検出した前記動き情報により示される、前記露光期間における、当該撮影装置の前記動きを表示する画像を生成する画像生成ステップと、
     表示される前記画像として、生成した前記画像を前記表示部に表示させる表示制御ステップとを実行させるためのコンピュータプログラム。
  14.  撮影光学系と、
     前記撮影光学系を介して入射した光を受けて、受けた光を、当該光により表される画像を示す画像データに変換する撮像素子と、
     前記撮像素子から出力した、変換された前記画像データを記憶するメモリと、
     画像を表示する表示部とを備える撮影装置に設けられる集積回路であって、
     当該撮影装置が備える、露光期間における、当該撮影装置の動きを示す動き情報を検出する動き検出部で検出した前記動き情報により示される、前記露光期間における、当該撮影装置の前記動きを表示する画像を生成する画像生成部と、
     表示される前記画像として、生成した前記画像を前記表示部に表示させる表示制御部とを備えた集積回路。
PCT/JP2010/005726 2009-10-07 2010-09-22 撮影装置、方法、プログラムおよび回路 WO2011043024A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP10821702.7A EP2487894A4 (en) 2009-10-07 2010-09-22 IMAGE CAPTURE DEVICE, METHOD, PROGRAM, AND CIRCUIT
JP2011535266A JP5396483B2 (ja) 2009-10-07 2010-09-22 撮影装置、方法、プログラムおよび回路
US13/132,656 US8823812B2 (en) 2009-10-07 2010-09-22 Image capturing apparatus and method for displaying a subject of image capturing and indicating motion of the image capturing apparatus during the image capturing
CN201080003477.5A CN102239686B (zh) 2009-10-07 2010-09-22 摄影装置、方法及电路

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-233290 2009-10-07
JP2009233290 2009-10-07

Publications (1)

Publication Number Publication Date
WO2011043024A1 true WO2011043024A1 (ja) 2011-04-14

Family

ID=43856509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005726 WO2011043024A1 (ja) 2009-10-07 2010-09-22 撮影装置、方法、プログラムおよび回路

Country Status (5)

Country Link
US (1) US8823812B2 (ja)
EP (1) EP2487894A4 (ja)
JP (1) JP5396483B2 (ja)
CN (1) CN102239686B (ja)
WO (1) WO2011043024A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065817A (ko) * 2012-11-22 2014-05-30 삼성전자주식회사 카메라 촬영 제어장치 및 방법
WO2017086300A1 (ja) * 2015-11-18 2017-05-26 富士フイルム株式会社 撮影装置及びその制御方法、並びに作動プログラム
JP2017201356A (ja) * 2016-05-02 2017-11-09 キヤノン株式会社 像振れ補正装置、撮像装置、像振れ補正装置の制御方法、プログラム、および、記憶媒体

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5780418B2 (ja) * 2011-05-30 2015-09-16 ソニー株式会社 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体
JP5170300B1 (ja) * 2011-12-06 2013-03-27 ソニー株式会社 情報処理端末、情報処理方法、およびプログラム
US10055009B2 (en) * 2014-05-30 2018-08-21 Apple Inc. Dynamic display refresh rate based on device motion
US10148894B2 (en) 2014-07-02 2018-12-04 Sony Corporation Image processing device, image processing method, and program
CN105812663B (zh) * 2016-03-21 2019-01-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
WO2018051629A1 (ja) * 2016-09-14 2018-03-22 富士フイルム株式会社 撮像装置及び撮像制御方法
CN108234873A (zh) 2018-01-10 2018-06-29 北京小米移动软件有限公司 一种获取图像的方法和装置
JP7210256B2 (ja) * 2018-12-07 2023-01-23 キヤノン株式会社 撮像装置及び表示制御方法
CN112333387A (zh) * 2020-10-30 2021-02-05 维沃移动通信有限公司 拍摄方法、装置、电子设备及存储介质
CN112689094B (zh) * 2020-12-28 2022-12-27 维沃移动通信有限公司 摄像头防抖提示方法、装置及电子设备
JP2022145212A (ja) 2021-03-19 2022-10-03 パナソニックIpマネジメント株式会社 撮像装置
WO2023108646A1 (zh) * 2021-12-17 2023-06-22 深圳市大疆创新科技有限公司 拍摄时的交互方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02126253A (ja) * 1988-11-07 1990-05-15 Canon Inc 像ぶれ状態表装置及びそのための制御装置
JPH07110501A (ja) * 1993-10-13 1995-04-25 Nikon Corp ブレ防止カメラ
JPH1062857A (ja) * 1996-08-23 1998-03-06 Olympus Optical Co Ltd 電子ファインダ付銀塩カメラ
JPH10339898A (ja) * 1997-06-06 1998-12-22 Canon Inc カメラ
JP2005033785A (ja) * 2003-06-17 2005-02-03 Matsushita Electric Ind Co Ltd 情報生成装置、撮影装置および撮影方法
JP2005109824A (ja) 2003-09-30 2005-04-21 Casio Comput Co Ltd 電子撮影装置、振動可能性警告方法及びプログラム
JP2006166396A (ja) 2004-11-09 2006-06-22 Casio Comput Co Ltd カメラ、カメラの手ブレ状態報知方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
WO2004112380A1 (ja) * 2003-06-17 2004-12-23 Matsushita Electric Industrial Co., Ltd. 情報生成装置、撮影装置および撮影方法
JP4235510B2 (ja) * 2003-08-12 2009-03-11 富士フイルム株式会社 デジタルカメラ及び固体撮像装置
ATE545275T1 (de) * 2003-12-26 2012-02-15 Panasonic Corp Abbildungseinrichtung, produktpaket und integrierte halbleiterschaltung
US8537224B2 (en) * 2005-01-31 2013-09-17 Hewlett-Packard Development Company, L.P. Image capture device having a shake metter
KR100718124B1 (ko) 2005-02-04 2007-05-15 삼성전자주식회사 카메라의 움직임을 표현하는 방법 및 장치
JP4976293B2 (ja) * 2005-08-04 2012-07-18 パナソニック株式会社 撮像装置
JP4641926B2 (ja) * 2005-10-31 2011-03-02 ルネサスエレクトロニクス株式会社 画像処理用半導体集積回路
JP4887750B2 (ja) * 2005-11-16 2012-02-29 カシオ計算機株式会社 画像処理装置、制御方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02126253A (ja) * 1988-11-07 1990-05-15 Canon Inc 像ぶれ状態表装置及びそのための制御装置
JPH07110501A (ja) * 1993-10-13 1995-04-25 Nikon Corp ブレ防止カメラ
JPH1062857A (ja) * 1996-08-23 1998-03-06 Olympus Optical Co Ltd 電子ファインダ付銀塩カメラ
JPH10339898A (ja) * 1997-06-06 1998-12-22 Canon Inc カメラ
JP2005033785A (ja) * 2003-06-17 2005-02-03 Matsushita Electric Ind Co Ltd 情報生成装置、撮影装置および撮影方法
JP2005109824A (ja) 2003-09-30 2005-04-21 Casio Comput Co Ltd 電子撮影装置、振動可能性警告方法及びプログラム
JP2006166396A (ja) 2004-11-09 2006-06-22 Casio Comput Co Ltd カメラ、カメラの手ブレ状態報知方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2487894A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140065817A (ko) * 2012-11-22 2014-05-30 삼성전자주식회사 카메라 촬영 제어장치 및 방법
KR101983288B1 (ko) * 2012-11-22 2019-05-29 삼성전자주식회사 카메라 촬영 제어장치 및 방법
WO2017086300A1 (ja) * 2015-11-18 2017-05-26 富士フイルム株式会社 撮影装置及びその制御方法、並びに作動プログラム
JPWO2017086300A1 (ja) * 2015-11-18 2018-07-26 富士フイルム株式会社 撮影装置及びその制御方法、並びに作動プログラム
US10523869B2 (en) 2015-11-18 2019-12-31 Fujifilm Corporation Imaging apparatus and control method thereof
JP2017201356A (ja) * 2016-05-02 2017-11-09 キヤノン株式会社 像振れ補正装置、撮像装置、像振れ補正装置の制御方法、プログラム、および、記憶媒体

Also Published As

Publication number Publication date
JPWO2011043024A1 (ja) 2013-02-28
EP2487894A4 (en) 2014-07-09
CN102239686A (zh) 2011-11-09
JP5396483B2 (ja) 2014-01-22
US8823812B2 (en) 2014-09-02
CN102239686B (zh) 2016-10-05
US20110234826A1 (en) 2011-09-29
EP2487894A1 (en) 2012-08-15

Similar Documents

Publication Publication Date Title
JP5396483B2 (ja) 撮影装置、方法、プログラムおよび回路
JP6960238B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
US20120268621A1 (en) Imaging apparatus, azimuth recording method, and program
JP4501994B2 (ja) 撮像装置
JP2010050521A (ja) 撮像装置
JP2008070644A (ja) 防振制御装置および光学機器
US20160165138A1 (en) Image capturing apparatus and control method therefor
JP6377286B2 (ja) 撮影装置及びその制御方法、並びに作動プログラム
JP2008187750A (ja) 撮像装置及びそのプログラム
WO2017104102A1 (ja) 撮像装置
WO2016147957A1 (ja) 撮像装置および撮像方法
JP4641177B2 (ja) カメラおよびその静止画生成方法
JP4893330B2 (ja) 撮像装置
JP4670647B2 (ja) 撮像装置、制御方法および制御プログラム
JP2010010881A (ja) 撮影装置および画像中のモアレ有無の告知方法
JP2013146110A (ja) 撮像装置及び方法、並びにプログラム
JP5603671B2 (ja) 電子機器、撮像方法、及び画像変換プログラム
JP2006121201A (ja) ビデオ撮影装置
JP7336754B2 (ja) 撮像装置
JP5621089B2 (ja) 移動体の振動状態下における画像補正方法
JP2012054899A (ja) 撮像装置及び姿勢検出方法
JP5160155B2 (ja) 撮影装置
JP2007221710A (ja) 画像処理装置、撮影装置、画像処理方法、および、制御プログラム
JP2023036849A (ja) 撮像装置及び表示制御方法
JP2017194531A (ja) 防振制御装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003477.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011535266

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10821702

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13132656

Country of ref document: US

Ref document number: 2010821702

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE