WO2011065000A1 - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
WO2011065000A1
WO2011065000A1 PCT/JP2010/006887 JP2010006887W WO2011065000A1 WO 2011065000 A1 WO2011065000 A1 WO 2011065000A1 JP 2010006887 W JP2010006887 W JP 2010006887W WO 2011065000 A1 WO2011065000 A1 WO 2011065000A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame rate
still image
images
processing unit
Prior art date
Application number
PCT/JP2010/006887
Other languages
English (en)
French (fr)
Inventor
石川忠明
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to CN2010800537596A priority Critical patent/CN102630381A/zh
Priority to MX2012004843A priority patent/MX2012004843A/es
Priority to JP2011543107A priority patent/JP5482799B2/ja
Publication of WO2011065000A1 publication Critical patent/WO2011065000A1/ja
Priority to US13/460,099 priority patent/US20120268617A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to an electronic camera having a video shooting function.
  • Patent Document 1 an electronic camera capable of acquiring a still image for recording during moving image shooting has been proposed (see, for example, Patent Document 1).
  • Patent Document 1 in order to prevent image blurring during still image shooting, the exposure time during still image shooting is set shorter than the exposure time during moving image shooting.
  • Patent Document 1 has a problem that the exposure amount is insufficient because the exposure time during still image shooting is shortened.
  • the present invention provides an electronic camera that can acquire still images with better exposure while suppressing image blur when acquiring still images for recording during moving image shooting. Objective.
  • the electronic camera includes an imaging unit, an imaging control unit, and an image processing unit.
  • the imaging unit captures a subject image.
  • the imaging control unit causes the imaging unit to capture a moving image at the first frame rate during moving image shooting and receives an instruction to record a still image during moving image shooting, the second frame having a frame rate higher than the first frame rate is received.
  • the image processing unit generates a still image for recording by superimposing a plurality of images at the second frame rate.
  • the image processing unit superimposes a plurality of images acquired at the second frame rate in accordance with the time interval of the first frame rate, thereby moving the first frame rate moving image. Convert to an image.
  • the third invention further includes a determination unit and a calculation unit in the first invention.
  • the determination unit determines a shutter time for acquiring a still image based on the brightness of the image acquired at the first frame rate.
  • the calculation unit calculates the number of combined images of the second frame rate necessary for generating a still image based on the shutter time.
  • the image processing unit generates a still image by superimposing the combined number of images acquired at the second frame rate.
  • the electronic camera of the present invention when acquiring a still image for recording during moving image shooting, it is possible to acquire a still image with better exposure while suppressing image blurring.
  • Sectional view of electronic camera 1 The block diagram which shows the internal structure of the electronic camera 1 shown in FIG.
  • a flowchart showing an example of acquiring a still image during movie shooting The figure explaining typically an example in processing of frame composition
  • the figure which illustrates typically another example in the process of frame composition Flow chart showing still image generation subroutine
  • the figure which illustrates typically an example in the process of still image generation The figure which illustrates typically another example in the process of still image generation
  • the “moving image shooting mode” described in the present embodiment is a shooting mode in which a still image for recording can be acquired during moving image shooting (including moving image recording) (details will be described later).
  • FIG. 1 is a cross-sectional view of the electronic camera 1.
  • the electronic camera 1 is, for example, a single-lens reflex electronic camera, and includes a camera body 100 and a photographing lens unit 50.
  • the taking lens unit 50 is detachably attached to a lens mount 100 a formed on the front surface of the camera body 100 in order to guide subject light to the camera body 100.
  • the camera body 100 and the photographic lens unit 50 are electrically connected via the contact points of the lens mount 100.
  • the photographing lens unit 50 has a lens system 51 and a diaphragm 52.
  • the lens system 51 includes a plurality of lenses including a focus lens for focusing on a subject and a zoom lens for zooming the subject image.
  • the lens system 51 is shown as a single lens.
  • the camera body 100 includes a quick return mirror 101, a finder screen 102, a penta roof prism 103, an eyepiece 104, an optical finder 105, a mechanical shutter 106, and an image sensor 10.
  • the quick return mirror 101 is rotatably provided on the optical axis indicated by the dotted line in the figure.
  • the quick return mirror 101 is disposed at a position oblique to the optical axis by a mirror control unit (not shown).
  • the quick return mirror 101 receives subject light incident on the camera body 100 via the lens system 51, reflects the subject light, and guides it to the viewfinder screen 102.
  • the quick return mirror 101 is retracted out of the imaging optical path (position indicated by a dotted line in the figure) by rotation.
  • the subject light incident on the camera body 100 from the subject is guided to the image sensor 10.
  • the finder screen 102 diffuses the subject light guided by the quick return mirror 101 and guides the diffused subject light to the penta roof prism 103 when the imaging device 10 does not perform imaging.
  • the penta roof prism 103 reflects the subject light diffused by the finder screen 102 and guides it to the eyepiece lens 104.
  • the eyepiece 104 forms the subject light guided by the penta roof prism 103 as a subject image.
  • the photographer can determine the composition or frame of the subject by viewing the subject image formed by the eyepiece 104 via the optical viewfinder 105.
  • the mechanical shutter 106 includes an openable / closable shutter curtain, and switches between a light shielding state in which incident light to the image sensor 10 is shielded and a non-shielded state in which incident light reaches the image sensor 10 by opening and closing the shutter curtain.
  • the image sensor 10 captures a subject image and acquires an image.
  • the imaging device 10 may be a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal-Oxide Semiconductor) type imaging device.
  • CMOS Complementary Metal-Oxide Semiconductor
  • a CMOS type image sensor is employed.
  • three types of color filters R (red), G (green), and B (blue) are arranged in a Bayer array on the imaging surface of the imaging element 10.
  • FIG. 2 is a block diagram showing an internal configuration of the electronic camera 1 shown in FIG.
  • the electronic camera 1 includes the camera body 100 and the photographing lens unit 50. 2, illustration of the finder screen 102, the eyepiece 104, the mechanical shutter 106, and the like shown in FIG. 1 is omitted for convenience of explanation.
  • the camera body 100 includes a quick return mirror 101, an image sensor 10, a timing generator (hereinafter referred to as “TG”) 11, a signal processing unit 12, a RAM (Random Access Memory) 13, and an image processing unit 14.
  • ROM Read Only Memory
  • ROM Read Only Memory
  • recording interface section hereinafter referred to as “recording I / F section”
  • display monitor 17
  • operation section 18
  • release button 19
  • video recording switch hereinafter referred to as “recording interface” "Moving image recording SW”
  • CPU Central Processing Unit
  • the signal processing unit 12, the RAM 13, the image processing unit 14, the ROM 15, the recording I / F unit 16, the display monitor 17, and the CPU 21 are connected to each other via a bus 22.
  • the TG 11 sends a drive signal to each of the image sensor 10 and the signal processing unit 12 in accordance with an instruction from the CPU 21, thereby controlling the drive timing of both.
  • the signal processing unit 12 performs an analog front end circuit (AFE) that performs analog signal processing on an image signal output from the image sensor 10, and performs digital signal processing on the image signal that has been subjected to analog signal processing by the AFE.
  • AFE analog front end circuit
  • DFE digital front-end circuit
  • the signal processing unit 12 performs gain adjustment, A / D conversion, and the like of the image signal.
  • the image signal output from the signal processing unit 12 is temporarily recorded in the RAM 13 as image data.
  • the RAM 13 has a function as a frame memory for temporarily recording image data.
  • the image processing unit 14 reads the image data recorded in the RAM 13 and performs various image processing (gradation conversion processing, contour enhancement processing, white balance processing, YC conversion processing, etc.).
  • the image processing unit 14 generates a still image for recording by superimposing a plurality of images acquired at a second frame rate higher than the first frame rate for moving image shooting. Further, the image processing unit 14 converts the plurality of images acquired at the second frame rate into a moving image having the first frame rate by superimposing them in accordance with the time interval of the first frame rate. Details will be described later.
  • the image processing unit 14 performs compression processing (for example, Motion-JPEG (Joint Photographic Experts Group)) on the image data at the time of moving image recording.
  • compression processing for example, Motion-JPEG (Joint Photographic Experts Group)
  • the ROM 15 is a non-volatile memory that stores a program for controlling the electronic camera 1 in advance.
  • the recording I / F unit 16 is formed with a connector (not shown) for connecting a detachable recording medium 30. Then, the recording I / F unit 16 accesses the recording medium 30 connected to the connector according to an instruction from the CPU 21 and performs recording processing of a still image or a moving image.
  • the recording medium 30 is, for example, a non-volatile memory card.
  • FIG. 2 shows the recording medium 30 after being connected to the connector.
  • the display monitor 17 displays, for example, a still image, a moving image, or an operation menu of the electronic camera 1 in accordance with an instruction from the CPU 21.
  • a liquid crystal monitor or the like can be appropriately selected and used.
  • the operation unit 18 includes, for example, a command dial for command selection, a power button, and the like. Then, the operation unit 18 receives an instruction input for operating the electronic camera 1. Further, the operation unit 18 accepts a selection input of “still image shooting mode” or “moving image shooting mode” via, for example, a command dial.
  • the quick return mirror 101 is retracted out of the imaging optical path by rotation.
  • the subject light incident on the camera body 100 from the subject is guided to the image sensor 10 by opening the mechanical shutter 106.
  • the image sensor 10 can acquire one still image.
  • the quick return mirror 101 is retracted out of the shooting optical path by rotation, and the mechanical shutter 106 is opened.
  • the image sensor 10 can continuously acquire a plurality of images at a predetermined frame rate.
  • the release button 19 is a button for receiving an instruction input for a full-press operation (still image recording).
  • the moving image recording SW 20 is a switch for performing moving image recording in the “moving image shooting mode”. When the moving image recording SW 20 is turned on by the photographer, the CPU 21 starts moving image recording.
  • the CPU 21 acquires a still image for recording when receiving an instruction input for a full press operation of the release button 19 during moving image shooting (moving image recording). Details will be described later.
  • the CPU 21 is a processor that performs overall control of the electronic camera 1.
  • the CPU 21 controls various arithmetic processes and each part of the electronic camera 1 by executing a program stored in advance in the ROM 15.
  • the CPU 21 also functions as an imaging control unit 21a, a shutter time determination unit 21b, and a composite number calculation unit 21c.
  • the imaging control unit 21a causes the imaging device 10 to acquire a plurality of images (frames) at the first frame rate used for moving image shooting.
  • the first frame rate is set to 30 fps (frame / second).
  • the imaging control unit 21a switches the frame rate from the first frame rate to the second frame rate. Then, the imaging control unit 21a causes the imaging device 10 to acquire a plurality of images (frames) at the second frame rate for the number of shots.
  • the second frame rate is assumed to be 120 fps (frames / second) as an example.
  • the imaging control unit 21a switches the frame rate from the second frame rate to the first frame rate. Thereby, the imaging control unit 21a again causes the imaging device 10 to acquire a plurality of images at the first frame rate.
  • FIG. 3 is a diagram schematically illustrating the processing of the imaging control unit 21a.
  • the imaging control unit 21a causes the imaging element 10 to acquire images at a time interval of 1/30 (second) via the TG 11 (FIG. 3A).
  • the imaging control unit 21a captures four images (frames) through the TG 11 at an interval of 1/120 (seconds) as an example. (Fig. 3 (b)).
  • the shutter time determination unit 21b determines the shutter time for acquiring a still image based on the brightness of the image acquired at the first frame rate. Specifically, first, the CPU 21 sequentially calculates the exposure amount of appropriate exposure (AE: Auto Exposure) based on the luminance signal of the image acquired at the first frame rate. The CPU 21 overwrites the RAM 13 with the exposure value. Subsequently, the shutter time determination unit 21b determines the shutter time based on the latest exposure amount calculated by the CPU 21. In the present embodiment, the aperture value and the imaging sensitivity are fixed for easy understanding. Further, the shutter time determination unit 21b may determine the shutter time based on the average value of the exposure amount calculated by the CPU 21.
  • AE Auto Exposure
  • the image processing unit 14 converts the four images acquired at the second frame rate (120 fps) to the first frame. By superimposing in accordance with the time interval of the rate (30 fps), the image at the second frame rate is converted to a moving image at the first frame rate.
  • the CPU 21 determines the composite number of the second frame rate to be superimposed from the ratio between the first frame rate and the second frame rate, and the ratio between the exposure amount at the time of moving image shooting and the exposure amount at the time of acquiring the still image. Also good.
  • FIG. 4 is a flowchart showing an example of a case where a still image is acquired during moving image shooting.
  • the CPU 21 receives the selection input of “moving image shooting mode” via the operation unit 18 and retracts the quick return mirror 101 shown in FIG. And CPU21 starts the process of the flowchart shown in FIG.
  • Step S101 The CPU 21 checks whether or not an instruction to start moving image recording is input via the moving image recording SW20. CPU21 repeats the process of step S101, when the instruction
  • Step S102 The CPU 21 starts moving image recording. Specifically, the imaging control unit 21a of the CPU 21 sends a drive signal to each of the imaging element 10 and the signal processing unit 12 via the TG 11. Thereby, the imaging control unit 21a causes the imaging device 10 to acquire a plurality of images at the first frame rate.
  • the signal processing unit 12 performs signal processing on the image signal of the image acquired by the image sensor 10.
  • the image signal output from the signal processing unit 12 is temporarily recorded as image data in the RAM 13.
  • the image processing unit 14 reads the image data recorded in the RAM 13, performs various image processing, and then performs compression processing. Then, the CPU 21 sequentially records the moving image subjected to the image processing and the compression processing on the recording medium 30 via the recording I / F 16.
  • the image processing unit 14 converts an image continuously output by the image sensor 10 into a luminance signal and a color difference signal by YC conversion processing.
  • the CPU 21 sequentially calculates the exposure amount of the appropriate exposure according to the luminance signal of the image read at the first frame rate.
  • the CPU 21 overwrites the RAM 13 with the exposure value.
  • Step S103 The CPU 21 detects the presence / absence of a full-press operation instruction input by the release button 19 in parallel with the process of step S102.
  • step S103: Yes When the instruction input for the full press operation is received (step S103: Yes), the process proceeds to step S104.
  • step S103: No when the instruction input for the full-press operation is not accepted (step S103: No), the CPU 21 proceeds to step S111 described later, and when the moving image recording is not finished (step S111: No), the CPU 21 returns to step S102.
  • Step S104 The shutter time determination unit 21b of the CPU 21 determines the shutter time for acquiring a still image based on the exposure amount calculated by the CPU 21. Further, the composite number calculation unit 21c of the CPU 21 calculates the composite number of images at the second frame rate based on the shutter speed.
  • Step S105 Every time one picture is taken at the second frame rate, the CPU 21 decrements the preset number of pictures and calculates the remaining number of pictures.
  • the composite number calculated by the composite number calculation unit 21c is set as the number of images taken at the second frame rate. Note that the case where the composite number and the number of shots are different will be described in supplementary matters.
  • the CPU 21 determines whether or not the remaining number of shots is the number of frames (reference number) necessary to convert the image into the first frame rate. This is a measure for the still image composition after the image processing unit 14 finishes the frame composition of the moving image.
  • the reference number is four.
  • step S105: Yes When the remaining number of shots at the second frame rate is the reference number (step S105: Yes), the process proceeds to step S108. On the other hand, when the remaining number of shots at the second frame rate is not the reference number (step S105: No), the process proceeds to step S106.
  • the signal processing unit 12 performs signal processing on the image signal of the image acquired by the image sensor 10. The image signal output from the signal processing unit 12 is temporarily recorded as image data in the RAM 13.
  • the converted image is compressed by the image processing unit 14 and then temporarily recorded in the RAM 13.
  • the CPU 21 records the compressed image on the recording medium 30 via the recording I / F 16. At this time, the CPU 21 sequentially records the images of the first frame rate on the recording medium 30 in time series so as not to be lost.
  • the CPU 21 returns to step S105 in order to cause the imaging control unit 21a to perform the process in parallel with the process of causing the image processing unit 14 to perform frame synthesis.
  • step S105 when the remaining number of shots at the second frame rate is the reference number (step S105: Yes), the process proceeds to step S108.
  • Step S108 The imaging control unit 21a of the CPU 21 causes the imaging device 10 to acquire four images at the second frame rate, as in step S106.
  • the signal processing unit 12 performs signal processing on the image signal of the image acquired by the imaging device 10.
  • the image signal output from the signal processing unit 12 is temporarily recorded as image data in the RAM 13.
  • Step S109 Similar to step S107, the image processing unit 14 converts the plurality of images acquired at the second frame rate into a moving image at the first frame rate by superimposing them in accordance with the time interval of the first frame rate. To do.
  • the CPU 21 records the compressed image on the recording medium 30 via the recording I / F 16.
  • the frame composition processing will be described specifically with reference to the drawings.
  • FIG. 5 is a diagram schematically illustrating an example of the frame composition process.
  • FIG. 5 shows a case where the shutter speed is set to 1/30 (second).
  • FIG. 5A is a diagram for explaining frame synthesis, in which sequence numbers 1 to 4 represent a group of images taken at the second frame rate.
  • the image processing unit 14 combines the image groups with the sequence numbers 1 to 4 into one image. Specifically, the image processing unit 14 adds pixel values of the same coordinates of the images in sequence numbers 1 to 4.
  • FIG. 5B shows a state in which a moving image having the first frame rate is interpolated with a synthesized frame in accordance with a time interval of 1/30 (second).
  • FIG. 6 is a diagram schematically illustrating another example in the frame synthesis process.
  • FIG. 6 shows a case where the shutter speed is set to 1/15 (second).
  • FIG. 6A is a diagram for explaining frame synthesis.
  • sequence numbers 1 to 8 represent images taken at the second frame rate.
  • the image processing unit 14 combines the image groups with the sequence numbers 1 to 4 into one image, and combines the image groups with the sequence numbers 5 to 8 into one image.
  • FIG. 6B shows a state in which a moving image having the first frame rate is interpolated by a synthesized frame in accordance with a time interval of 1/30 (second).
  • Step S110 The CPU 21 executes a still image generation subroutine.
  • the CPU 21 starts a still image generation subroutine by parallel processing and proceeds to step S111.
  • Step S111 The CPU 21 determines whether or not an instruction to end moving image recording has been input. When the instruction input for ending the moving image recording is not accepted (step S111: No), the process returns to step S102. On the other hand, when an instruction input for ending moving image recording is received (step S111: Yes), the process proceeds to step S112.
  • Step S112 The CPU 21 records the image data of the still image temporarily recorded in the RAM 13 on the recording medium 30 via the recording I / F 16. Then, the CPU 21 ends the process of the flowchart shown in FIG.
  • FIG. 7 is a flowchart showing a still image generation subroutine in step S110 of FIG. Note that the CPU 21 executes the subroutine shown in FIG. 7 in order to perform parallel processing in the processing of step S110 in FIG. 4, and shifts to the processing in step S111.
  • Step S201 The image processing unit 14 reads out a plurality of images acquired at the second frame rate recorded in the RAM 13.
  • Step S202 The image processing unit 14 adds each pixel value of the same coordinates for a plurality of images to generate one still image.
  • FIG. 8 is a diagram schematically illustrating an example of the still image generation process. For example, as illustrated in FIGS. 8A and 8B, when the CPU 21 sets the shutter time to 1/30 (second), the image processing unit 14 acquires four images acquired at the second frame rate. One still image is generated from
  • FIG. 9 is a diagram schematically illustrating another example of the still image generation process. As shown in FIGS. 9A and 9B, when the CPU 21 sets the shutter speed to 1/15 (seconds), the image processing unit 14 superimposes eight images acquired at the second frame rate. By combining them, one still image is generated.
  • the imaging control unit 21 a of the CPU 21 switches to a second frame rate that is higher than the first frame rate when acquiring a still image, thereby displaying an image with a shorter exposure time. Get it. Thereby, the imaging control unit 21a can suppress image blur. Then, the image processing unit 14 adds the pixel values of the same coordinates in the plurality of images acquired at the second frame rate, and generates a still image with better exposure. That is, the image processing unit 14 can generate a single still image with image blurring suppressed and appropriately exposed.
  • the random noise component included in an image is generally 1 / (n 1/2 ) when a plurality of images are superimposed.
  • Step S203 The CPU 21 records the still image generated by the image processing unit 14 in the RAM 13. Then, the CPU 21 ends the processing of the subroutine shown in FIG.
  • a still image for recording when a still image for recording is acquired during moving image shooting, a still image can be acquired with better exposure while suppressing image blur. Furthermore, in the electronic camera 1 of the present embodiment, even when a still image is acquired during moving image shooting, the moving image is interpolated, so that the moving image is not dropped.
  • the composite number calculation unit 21c calculates the composite number of images at the second frame rate necessary for generating a still image.
  • processing when the composite number calculated for still image generation is not n times the reference number used for frame composition (n is a natural number) will be described.
  • FIG. 10 is a diagram schematically illustrating another example of the still image generation and frame synthesis processing.
  • the shutter time determination unit 21b determines 1/20 (second) as the shutter time.
  • the reference number used for frame composition is four as described above.
  • FIG. 10A is a diagram for explaining frame synthesis.
  • sequence numbers 1 to 8 represent images taken at the second frame rate.
  • the image processing unit 14 combines the image groups with the sequence numbers 1 to 4 into one image, and combines the image groups with the sequence numbers 5 to 8 into one image.
  • FIG. 10B shows a state in which a moving image having the first frame rate is interpolated by a synthesized frame in accordance with a time interval of 1/30 (second).
  • the image processing unit 14 generates one still image by superimposing the image groups of sequence numbers 1 to 6 as shown in FIGS. 10 (c) and 10 (d).
  • the image processing unit 14 may increase the resolution of the still image compared to the resolution of the moving image frame. For example, when recording a moving image, the CPU 21 reads out the image signal by thinning out the pixels of the image sensor 10 in step S102 of FIG.
  • the CPU 21 reads out image signals of all pixels of the image sensor 10 in steps S106 and S108. Then, the image processing unit 14 performs frame synthesis based on the thinned image signal. Further, the image processing unit 14 generates a high-resolution still image based on the image signals of all pixels in the still image generation. Thereby, the image processing unit 14 can increase the resolution of the still image in step S110.
  • the present embodiment may further include a face detection unit that detects a face region from the image and a feature amount extraction unit that extracts a face feature amount from the face region. Thereby, the face detection unit detects the face, and the feature amount extraction unit extracts the feature amount of the face.
  • the image processing unit 14 may generate a still image by correcting the face shift based on the feature amount. Accordingly, even if image blur such as a face occurs between images of the second frame rate, the image blur is suppressed.
  • the single-lens reflex type electronic camera is exemplified as the electronic camera in the present embodiment, a compact type electronic camera may be used.
  • the first frame rate is set to 30 fps and the second frame rate is set to 120 fps. However, this is an example. For example, the first frame rate is set to 30 fps and the second frame rate is set to 240 fps. Also good.
  • the shutter time is taken at 1/30 seconds.
  • a shutter speed within a range that does not exceed the predetermined frame rate can be used as appropriate (any shutter speed faster than 1/30 seconds is arbitrary ( For example, the image may be taken with a shutter speed of 1/60 seconds).
  • the shutter time determination unit 21b described above captures images at the first frame rate so as to determine the shutter time at the time of still image shooting based on the brightness of the image acquired at the first frame rate. The shutter speed at that time is also determined within a range not exceeding the first frame rate based on the brightness information of the subject.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】　本発明は、動画撮影中に記録用の静止画像を取得する場合、像ぶれを抑制しつつ、より良好な露出で静止画像を取得することができる電子カメラを提供する。 【解決手段】　電子カメラは、撮像部と、撮像制御部と、画像処理部とを備える。撮像部は、被写体像を撮像する。撮像制御部は、動画撮影時に第１フレームレートで動画像の撮影を撮像部に行わせると共に、動画撮影時に静止画記録の指示を受け付けると、第１フレームレートよりも高フレームレートの第２フレームレートで撮像部に画像を取得させる。画像処理部は、第２フレームレートの複数の画像を重ね合わせて記録用の静止画像を生成する。

Description

電子カメラ
　本発明は、動画撮影機能を有する電子カメラに関する。
　従来、動画撮影中に記録用の静止画像を取得することができる電子カメラが提案されている（例えば、特許文献１参照）。特許文献１に開示された技術では、静止画像の撮影時における像ぶれ防止のため、静止画撮影時の露出時間を動画撮影時の露出時間よりも短く設定することが行われている。
特開２００６－１０９４０５号公報
　しかしながら、特許文献１に開示された技術では、静止画撮影時の露出時間が短くなる分、露出量が不足する問題が生じる。
　本発明は、上記事情に鑑み、動画撮影中に記録用の静止画像を取得する場合、像ぶれを抑制しつつ、より良好な露出で静止画像を取得することができる電子カメラを提供することを目的とする。
　第１の発明に係る電子カメラは、撮像部と、撮像制御部と、画像処理部とを備える。撮像部は、被写体像を撮像する。撮像制御部は、動画撮影時に第１フレームレートで動画像の撮影を撮像部に行わせると共に、動画撮影時に静止画記録の指示を受け付けると、第１フレームレートよりも高フレームレートの第２フレームレートで撮像部に画像を取得させる。画像処理部は、第２フレームレートの複数の画像を重ね合わせて記録用の静止画像を生成する。
　第２の発明は、第１の発明において、画像処理部は、第２フレームレートで取得された複数の画像を第１フレームレートの時間間隔に合わせて重ね合わせることにより、第１フレームレートの動画像に変換する。
　第３の発明は、第１の発明において、決定部と、算出部とをさらに備える。決定部は、第１フレームレートで取得された画像の明るさに基づいて、静止画像取得のシャッタ秒時を決定する。算出部は、シャッタ秒時に基づいて、静止画像を生成するために必要な第２フレームレートの画像の合成枚数を算出する。画像処理部は、第２フレームレートで取得された合成枚数分の画像を重ね合わせることにより、静止画像を生成する。
　本発明の電子カメラによれば、動画撮影中に記録用の静止画像を取得する場合、像ぶれを抑制しつつ、より良好な露出で静止画像を取得することができる。
電子カメラ１の断面図 図１に示す電子カメラ１の内部構成を示すブロック図 撮像制御部２１ａの処理を模式的に説明する図 動画撮影中に静止画像の取得を行う場合の一例を示すフローチャート フレーム合成の処理における一例を模式的に説明する図 フレーム合成の処理における他の一例を模式的に説明する図 静止画像生成のサブルーチンを示すフローチャート 静止画像生成の処理における一例を模式的に説明する図 静止画像生成の処理における他の一例を模式的に説明する図 静止画像生成及びフレーム合成の処理における他の一例を模式的に説明する図
　以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、本実施形態で説明する「動画撮影モード」は、動画撮影（動画記録も含む）中に記録用の静止画像が取得可能な撮影モードである（詳細は後述する）。
　図１は、電子カメラ１の断面図である。電子カメラ１は、例えば一眼レフレックスタイプの電子カメラであり、カメラ本体１００と撮影レンズユニット５０とを有している。撮影レンズユニット５０は、被写体光をカメラ本体１００に導くために、カメラ本体１００の前面に形成されたレンズマウント１００ａに着脱自在に取り付けられる。なお、撮影レンズユニット５０の装着時には、カメラ本体１００と撮影レンズユニット５０とがレンズマウント１００の接点を介して電気的に接続される。
　撮影レンズユニット５０は、レンズ系５１及び絞り５２を有している。レンズ系５１は、被写体に焦点を合わせるフォーカスレンズや、被写体像をズームするためのズームレンズを含む複数枚のレンズにより構成される。ここでは、説明の便宜上レンズ系５１を１枚のレンズで図示する。
　カメラ本体１００は、クイックリターンミラー１０１、ファインダスクリーン１０２、ペンタダハプリズム１０３、接眼レンズ１０４、光学式ファインダ１０５、機械式シャッタ１０６及び撮像素子１０を有している。
　クイックリターンミラー１０１は、図中点線で示す光軸上に回動自在に設けられる。クイックリターンミラー１０１は、被写体の撮影を行わない場合、ミラー制御部（不図示）により光軸に対して斜めの位置に配置される。この場合、クイックリターンミラー１０１は、レンズ系５１を介してカメラ本体１００に入射された被写体光を受光し、その被写体光を反射させてファインダスクリーン１０２に導く。
　一方、被写体を撮像する撮像時には、クイックリターンミラー１０１は、回動により撮影光路外（図の点線で示す位置）に退避する。そして、被写体からカメラ本体１００に入射された被写体光は、撮像素子１０に導かれる。
　ファインダスクリーン１０２は、撮像素子１０で撮像を行わない場合、クイックリターンミラー１０１により導かれた被写体光を拡散し、拡散させた被写体光をペンタダハプリズム１０３に導く。ペンタダハプリズム１０３は、ファインダスクリーン１０２により拡散された被写体光を反射させて接眼レンズ１０４に導く。
　接眼レンズ１０４は、ペンタダハプリズム１０３により導かれた被写体光を被写体像として結像する。撮影者は、光学式ファインダ１０５を介して、接眼レンズ１０４により結像される被写体像を見ることで、被写体の構図やフレーム等を判断できる。
　機械式シャッタ１０６は、開閉式のシャッタ幕を備え、撮像素子１０への入射光を遮光する遮光状態と、撮像素子１０に入射光を到達させる非遮光状態とをシャッタ幕の開閉により切り替える。
　撮像素子１０は、被写体像を撮像して画像を取得する。ここで、撮像素子１０は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）型又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ－Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子であって良い。本実施形態では、ＣＭＯＳ型の撮像素子を採用する。この撮像素子１０の撮像面には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類のカラーフィルタが、一例としてベイヤー配列で配置されている。
　図２は、図１に示す電子カメラ１の内部構成を示すブロック図である。電子カメラ１は、上述した通り、カメラ本体１００と撮影レンズユニット５０とを有している。なお、図２では、説明の便宜上、図１に示したファインダスクリーン１０２、接眼レンズ１０４及び機械式シャッタ１０６等の図示を省略する。
　カメラ本体１００は、クイックリターンミラー１０１と、撮像素子１０と、タイミングジェネレータ（以下、「ＴＧ」という。）１１と、信号処理部１２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３と、画像処理部１４と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１５と、記録インターフェース部（以下、「記録Ｉ／Ｆ部」という。）１６と、表示モニタ１７と、操作部１８と、レリーズ釦１９と、動画記録スイッチ（以下、「動画記録ＳＷ」という。）２０と、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２１と、バス２２と、レンズマウント１００ａとを備える。
　このうち、信号処理部１２、ＲＡＭ１３、画像処理部１４、ＲＯＭ１５、記録Ｉ／Ｆ部１６、表示モニタ１７及びＣＰＵ２１は、バス２２を介して互いに接続されている。
　ＴＧ１１は、ＣＰＵ２１からの指示に従い撮像素子１０及び信号処理部１２の各々へ向けて駆動信号を送出し、それによって両者の駆動タイミングを制御する。
　信号処理部１２は、撮像素子１０が出力する画像信号に対してアナログ信号処理を施すアナログフロントエンド回路（ＡＦＥ）と、そのＡＦＥでアナログ信号処理が施された画像信号に対して、デジタル信号処理を施すデジタルフロントエンド回路（ＤＦＥ）とを有する。信号処理部１２は、例えば、画像信号のゲイン調整やＡ／Ｄ変換などを行う。この信号処理部１２が出力する画像信号は、画像データとしてＲＡＭ１３に一時的に記録される。ＲＡＭ１３は、画像データを一時的に記録するフレームメモリとしての機能を有する。
　画像処理部１４は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス処理、ＹＣ変換処理等）を施す。
　また、画像処理部１４は、動画撮影用の第１フレームレートよりも高フレームレートの第２フレームレートで取得された複数の画像を重ね合わせて記録用の静止画像を生成する。また、画像処理部１４は、第２フレームレートで取得された複数の画像を第１フレームレートの時間間隔に合わせて重ね合わせることにより、第１フレームレートの動画像に変換する。詳細については後述する。
　また、画像処理部１４は、動画記録時には、画像データに対して所定の画像フォーマットでの圧縮処理（例えば、Ｍｏｔｉｏｎ－ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）等）を施す。
　ＲＯＭ１５は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。記録Ｉ／Ｆ部１６には、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１６は、ＣＰＵ２１からの指示により、そのコネクタに接続された記録媒体３０にアクセスして静止画像や動画像の記録処理等を行う。この記録媒体３０は、例えば、不揮発性のメモリカードである。図２では、コネクタに接続された後の記録媒体３０を示している。
　表示モニタ１７は、ＣＰＵ２１の指示に応じて、例えば、静止画像、動画像、若しくは電子カメラ１の操作メニュー等を表示する。表示モニタ１７には、液晶モニタ等を適宜選択して用いることができる。
　操作部１８は、例えば、コマンド選択用のコマンドダイヤル、電源ボタン等を有している。そして、操作部１８は、電子カメラ１を操作するための指示入力を受け付ける。また、操作部１８は、例えば、コマンドダイヤルを介して、「静止画撮影モード」又は「動画撮影モード」の選択入力を受け付ける。
　ここで、「静止画撮影モード」での撮像時には、クイックリターンミラー１０１は、回動により撮影光路外に退避する。このとき、被写体からカメラ本体１００に入射された被写体光は、機械式シャッタ１０６の開放により撮像素子１０に導かれる。これにより、撮像素子１０は、１枚の静止画像を取得することができる。「動画撮影モード」では、クイックリターンミラー１０１は、回動により撮影光路外に退避すると共に、機械式シャッタ１０６が開状態になる。これにより、撮像素子１０は、所定のフレームレートで複数の画像を連続的に取得することができる。
　レリーズ釦１９は、全押し操作（静止画記録）の指示入力を受け付ける釦である。動画記録ＳＷ２０は、「動画撮影モード」で動画記録を行うためのスイッチである。撮影者により動画記録ＳＷ２０がオンされると、ＣＰＵ２１は動画記録を開始する。
　なお、「動画撮影モード」では、ＣＰＵ２１は、動画撮影（動画記録）中に、レリーズ釦１９の全押し操作の指示入力を受け付けた場合、ＣＰＵ２１は、記録用の静止画像の取得を行う。詳細については、後述する。
　ＣＰＵ２１は、電子カメラ１の統括的な制御を行うプロセッサである。ＣＰＵ２１は、ＲＯＭ１５に予め格納されたプログラムを実行することにより各種の演算処理や電子カメラ１の各部を制御する。
　また、ＣＰＵ２１は、撮像制御部２１ａと、シャッタ秒時決定部２１ｂと、合成枚数算出部２１ｃとしても機能する。
　撮像制御部２１ａは、動画撮影用に用いられる第１フレームレートの複数の画像（フレーム）を撮像素子１０に取得させる。ここで、本実施形態では、一例として第１フレームレートを３０ｆｐｓ（フレーム／秒）とする。また、撮像制御部２１ａは、ＣＰＵ２１が動画撮影（動画記録を含む）中に静止画記録の指示入力を受け付けた場合、フレームレートを第１フレームレートから第２フレームレートに切り替える。そして、撮像制御部２１ａは、第２フレームレートの複数の画像（フレーム）を撮影枚数分だけ撮像素子１０に取得させる。ここで、本実施形態では、説明の便宜上、一例として第２フレームレートを１２０ｆｐｓ（フレーム／秒）とする。なお、第２フレームレートで撮影枚数分の画像の取得が終了すると、撮像制御部２１ａは、フレームレートを第２フレームレートから第１フレームレートに切り替える。これにより、撮像制御部２１ａは、再び、第１フレームレートで複数の画像を撮像素子１０に取得させる。
　図３は、撮像制御部２１ａの処理を模式的に説明する図である。撮像制御部２１ａは、ＴＧ１１を介して１／３０（秒）の時間間隔で画像を撮像素子１０に取得させる（図３（ａ））。この状態で、ＣＰＵ２１がレリーズ釦１９の押下を検出した場合、撮像制御部２１ａは、ＴＧ１１を介して、一例として１／１２０（秒）の時間間隔で４枚の画像（フレーム）を撮像素子１０に取得させる（図３（ｂ））。
　シャッタ秒時決定部２１ｂは、第１フレームレートで取得された画像の明るさに基づいて、静止画像取得のためのシャッタ秒時を決定する。具体的には、先ず、ＣＰＵ２１は、第１フレームレートで取得された画像の輝度信号に基づいて、適正露出（ＡＥ：Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）の露出量を順次算出する。ＣＰＵ２１は、この露出量の値をＲＡＭ１３に上書きする。続いて、シャッタ秒時決定部２１ｂは、ＣＰＵ２１が算出した最新の露出量に基づいて、シャッタ秒時を決定する。なお、本実施形態では、説明をわかりやすくするため、絞り値、撮像感度を固定とする。また、シャッタ秒時決定部２１ｂは、ＣＰＵ２１が算出した露出量の平均値に基づいて、シャッタ秒時を決定しても良い。
　合成枚数算出部２１ｃは、シャッタ秒時に基づいて、静止画像を生成するために必要な第２フレームレートの画像の合成枚数を算出する。例えば、シャッタ秒時が１／３０（秒）であれば、１／１２０（秒）×４＝１／３０（秒）の関係により、合成枚数算出部２１ｃは、合成枚数として４枚を算出する。この場合、画像処理部１４は、合成枚数算出部２１ｃが算出した合成枚数に基づいて、第２フレームレートで取得された４枚の画像を重ね合わせることにより、１枚の静止画像を生成する。或いは、シャッタ秒時が１／１５（秒）であれば、１／１２０（秒）×８＝１／１５（秒）の関係により、合成枚数算出部２１ｃは、合成枚数として８枚を算出する。この場合、画像処理部１４は、合成枚数算出部２１ｃが算出した合成枚数に基づいて、第２フレームレートで取得された８枚の画像を重ね合わせることにより、１枚の記録用の静止画像を生成する。
　なお、本実施形態では１／１２０（秒）×４＝１／３０（秒）の関係により、画像処理部１４は、第２フレームレート（１２０ｆｐｓ）で取得された４枚の画像を第１フレームレート（３０ｆｐｓ）の時間間隔に合わせて重ね合わせることにより、第２フレームレートの画像を第１フレームレートの動画像に変換する。ここで、ＣＰＵ２１は、第１フレームレートと第２フレームレートの比、動画撮影時の露光量と静止画像の取得時の露光量との比から重ね合わせる第２フレームレートの合成枚数を決定しても良い。
　次に、電子カメラ１の動作について説明する。
　図４は、動画撮影中に静止画像の取得を行う場合の一例を示すフローチャートである。以下の説明では、「動画撮影モード」の機能をオンに設定した場合について説明する。先ず、電子カメラ１の電源がオンされた後、ＣＰＵ２１は、操作部１８を介して「動画撮影モード」の選択入力を受け付けると、図１に示すクイックリターンミラー１０１を退避させる。そして、ＣＰＵ２１は、図４に示すフローチャートの処理を開始させる。
　ステップＳ１０１：ＣＰＵ２１は、動画記録ＳＷ２０を介して動画記録開始の指示入力の有無をチェックする。ＣＰＵ２１は、動画記録開始の指示入力をまだ受け付けない場合（ステップＳ１０１：Ｎｏ）、ステップＳ１０１の処理を繰り返す。一方、ＣＰＵ２１は、動画記録開始の指示入力を受け付けた場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。
　ステップＳ１０２：ＣＰＵ２１は、動画記録を開始する。具体的には、ＣＰＵ２１の撮像制御部２１ａは、ＴＧ１１を介して、撮像素子１０及び信号処理部１２の各々へ向けて駆動信号を送出する。これにより、撮像制御部２１ａは、第１フレームレートの複数の画像を撮像素子１０に取得させる。信号処理部１２は、撮像素子１０が取得する画像の画像信号に対して信号処理を施す。信号処理部１２が出力する画像信号は、ＲＡＭ１３に画像データとして一時的に記録される。画像処理部１４は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理を施した後、圧縮処理をする。そして、ＣＰＵ２１は、画像処理及び圧縮処理が施された動画像を記録Ｉ／Ｆ１６を介して記録媒体３０に順次記録していく。
　また、画像処理部１４は、撮像素子１０が連続的に出力する画像をＹＣ変換処理により輝度信号と色差信号とに変換する。ＣＰＵ２１は、一例として、第１フレームレートで読み出された画像の輝度信号に応じて、適正露出の露出量を順次算出する。ＣＰＵ２１は、この露出量の値をＲＡＭ１３に上書きする。
　ステップＳ１０３：ＣＰＵ２１は、ステップＳ１０２の処理と並行して、レリーズ釦１９による全押し操作の指示入力の有無を検出する。全押し操作の指示入力を受け付けた場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４に移行する。一方、全押し操作の指示入力を受け付けない場合（ステップＳ１０３：Ｎｏ）、ＣＰＵ２１は、後述するステップＳ１１１に移行し、動画記録が終了でない場合（ステップＳ１１１：Ｎｏ）、ステップＳ１０２に戻る。
　ステップＳ１０４：ＣＰＵ２１のシャッタ秒時決定部２１ｂは、ＣＰＵ２１が算出した露出量に基づいて、静止画像を取得するためのシャッタ秒時を決定する。また、ＣＰＵ２１の合成枚数算出部２１ｃは、シャッタ秒時に基づいて、第２フレームレートの画像の合成枚数を算出する。
　ステップＳ１０５：ＣＰＵ２１は、第２フレームレートで１枚撮影する毎に予め設定された撮影枚数をデクリメントして残りの撮影枚数を算出する。本実施形態では、合成枚数算出部２１ｃが算出した合成枚数を第２フレームレートでの撮影枚数とする。なお、合成枚数と撮影枚数とが異なる場合については、補足事項で説明する。
　そして、ＣＰＵ２１は、残りの撮影枚数が第１フレームレートの画像に変換するのに必要なフレーム数（基準枚数）であるか否かを判定する。これは、画像処理部１４が動画のフレーム合成を終えた後に静止画像合成を行うための措置である。
　なお、第２フレームレートが１２０ｆｐｓの場合、第１フレームレートが３０ｆｐｓであるので、基準枚数は４枚となる。
　第２フレームレートにおける残りの撮影枚数が基準枚数になっている場合（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０８に移行する。一方、第２フレームレートにおける残りの撮影枚数が基準枚数になっていない場合（ステップＳ１０５：Ｎｏ）、ステップＳ１０６に移行する。
　ステップＳ１０６：ＣＰＵ２１の撮像制御部２１ａは、ＴＧ１１を介して、撮像素子１０及び信号処理部１２の各々へ向けて駆動信号を送出する。これにより、撮像制御部２１ａは、第２フレームレートでｎ（＝４）枚の画像を撮像素子１０に取得させる。信号処理部１２は、撮像素子１０が取得する画像の画像信号に対して信号処理を施す。信号処理部１２が出力する画像信号は、ＲＡＭ１３に画像データとして一時的に記録される。
　ステップＳ１０７：画像処理部１４は、第２フレームレートで取得された複数の画像を第１フレームレートの時間間隔に合わせて重ね合わせることにより、第１フレームレートの動画像に変換する。具体的には、画像処理部１４は、第２フレームレートで取得されたｎ（＝４）枚の画像における同一座標の各画素値を加算して、１枚の画像に変換する処理を行う（フレーム合成）。変換後の画像は、画像処理部１４により圧縮処理された後、ＲＡＭ１３に一時的に記録される。ＣＰＵ２１は、圧縮処理後の画像を記録Ｉ／Ｆ１６を介して記録媒体３０に記録する。この際、ＣＰＵ２１は、第１フレームレートの画像が欠落しないようにして時系列に記録媒体３０に順次記録する。
　なお、ＣＰＵ２１は、画像処理部１４にフレーム合成を行わせる処理と並行して、撮像制御部２１ａの処理を行わせるためステップＳ１０５に戻る。
　ここで、第２フレームレートにおける残りの撮影枚数が基準枚数になっている場合（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０８に移行する。
　ステップＳ１０８：ＣＰＵ２１の撮像制御部２１ａは、ステップＳ１０６と同様、第２フレームレートで４枚の画像を撮像素子１０に取得させる。信号処理部１２は、ステップＳ１０６と同様、撮像素子１０が取得する画像の画像信号に対して信号処理を施す。信号処理部１２が出力する画像信号は、ＲＡＭ１３に画像データとして一時的に記録される。
　ステップＳ１０９：画像処理部１４は、ステップＳ１０７と同様、第２フレームレートで取得された複数の画像を第１フレームレートの時間間隔に合わせて重ね合わせることにより、第１フレームレートの動画像に変換する。ＣＰＵ２１は、圧縮処理後の画像を記録Ｉ／Ｆ１６を介して記録媒体３０に記録する。ここで、具体的に図を用いて、フレーム合成の処理を説明する。
　図５は、フレーム合成の処理における一例を模式的に説明する図である。図５では、シャッタ秒時を１／３０（秒）に設定した場合を示す。図５（ａ）は、フレーム合成を説明する図であり、図中、シーケンス番号１から４が第２フレームレートで撮影された画像群を表している。この場合、画像処理部１４は、シーケンス番号１から４の画像群を１枚の画像に合成する。具体的には、画像処理部１４は、シーケンス番号１から４における各画像の同一座標の画素値を加算する。図５（ｂ）は、１／３０（秒）の時間間隔に合わせて、合成されたフレームにより、第１フレームレートの動画像が補間された状態を表している。これにより、本実施形態では、動画撮影中に静止画像を取得しても動画像のコマ落ちが生じないで済む。
　また、図６は、フレーム合成の処理における他の一例を模式的に説明する図である。図６では、シャッタ秒時を１／１５（秒）に設定した場合を示す。図６（ａ）は、フレーム合成を説明する図であり、図中、シーケンス番号１から８が第２フレームレートで撮影された画像群を表している。この場合、画像処理部１４は、シーケンス番号１から４の画像群を１枚の画像に合成し、かつ、シーケンス番号５から８の画像群を１枚の画像に合成する。
　図６（ｂ）は、１／３０（秒）の時間間隔に合わせて、合成されたフレームにより、第１フレームレートの動画像が補間された状態を表している。これにより、本実施形態では、動画撮影中に静止画像を取得しても、図５（ｂ）に示した場合と同様、静止画像取得による動画像のコマ落ちが生じないで済む。
　ステップＳ１１０：ＣＰＵ２１は、静止画像生成のサブルーチンを実行する。なお、ＣＰＵ２１は、並列処理により静止画像生成のサブルーチンを開始すると共にステップＳ１１１に移行する。
　ステップＳ１１１：ＣＰＵ２１は、動画記録終了の指示入力の有無を判定する。動画記録終了の指示入力を受け付けない場合（ステップＳ１１１：Ｎｏ）、ステップＳ１０２に戻る。一方、動画記録終了の指示入力を受け付けた場合（ステップＳ１１１：Ｙｅｓ）、ステップＳ１１２に移行する。
　ステップＳ１１２：ＣＰＵ２１は、ＲＡＭ１３に一時記録されている静止画像の画像データを記録Ｉ／Ｆ１６を介して記録媒体３０に記録する。そして、ＣＰＵ２１は、図４に示すフローチャートの処理を終了させる。
　次にサブルーチンについて説明する。図７は、図４のステップＳ１１０における静止画像生成のサブルーチンを示すフローチャートである。なお、ＣＰＵ２１は、図４のステップＳ１１０の処理において並列処理を行うため、図７に示すサブルーチンを実行させると共に、ステップＳ１１１の処理に移行する。
　ステップＳ２０１：画像処理部１４は、ＲＡＭ１３に記録されている第２フレームレートで取得された複数の画像を読み出す。
　ステップＳ２０２：画像処理部１４は、複数の画像について、同一座標の各画素値を加算して１枚の静止画像を生成する。図８は、静止画像生成の処理における一例を模式的に説明する図である。例えば、図８（ａ）、（ｂ）に示す通り、ＣＰＵ２１がシャッタ秒時を１／３０（秒）に設定した場合、画像処理部１４は、第２フレームレートで取得された４枚の画像から１枚の静止画像を生成する。
　図９は、静止画像生成の処理における他の一例を模式的に説明する図である。図９（ａ）、（ｂ）に示す通り、ＣＰＵ２１がシャッタ秒時を１／１５（秒）に設定した場合、画像処理部１４は、第２フレームレートで取得された８枚の画像を重ね合わせることにより、１枚の静止画像を生成する。
　図８及び図９に示す通り、ＣＰＵ２１の撮像制御部２１ａは、静止画像取得時に、第１フレームレートよりも高フレームレートの第２フレームレートに切り替えることにより、その分、露出時間の短い画像を取得させる。これにより、撮像制御部２１ａは、像ぶれを抑制することができる。そして、画像処理部１４は、第２フレームレートで取得された複数の画像における同一座標の各画素値を加算して、より良好な露出で静止画像を生成する。つまり、画像処理部１４は、像ぶれが抑制されると共に適正露出の１枚の静止画像を生成することができる。
　また、画像に含まれているランダムノイズの成分は、一般的に複数の画像を重ね合わせると、１／（ｎ１／２）になることが知られている。例えば、画像処理部１４が４枚の画像を重ね合わせて１枚の画像を生成すると、ランダムノイズの成分は、１／（４１／２）＝１／２となり、半分に抑制される。
　ステップＳ２０３：ＣＰＵ２１は、画像処理部１４が生成した静止画像をＲＡＭ１３に記録する。そして、ＣＰＵ２１は、図７に示すサブルーチンの処理を終了させる。
　以上より、本実施形態の電子カメラ１では、動画撮影中に記録用の静止画像を取得する場合、像ぶれを抑制しつつ、より良好な露出で静止画像を取得することができる。さらに、本実施形態の電子カメラ１では、動画撮影中に静止画像を取得した場合であっても、動画像を補間するので動画像のコマ落ちが生じないで済む。
　＜補足事項＞
（１）本実施形態において、合成枚数算出部２１ｃは、静止画像を生成するために必要な第２フレームレートの画像の合成枚数を算出する。ここで、静止画像生成用に算出された合成枚数が、フレーム合成に用いられる基準枚数のｎ倍（ｎは自然数）でない場合の処理について説明する。
　図１０は、静止画像生成及びフレーム合成の処理における他の一例を模式的に説明する図である。例えば、シャッタ秒時決定部２１ｂは、シャッタ秒時として、１／２０（秒）を決定したとする。この場合、１／１２０（秒）×６＝１／２０（秒）の関係により、合成枚数は、６枚となる。また、フレーム合成に用いられる基準枚数は、上述した通り４枚となる。
　そこで、撮像制御部２１ａは、第２フレームレートで８枚（撮影枚数）の画像を撮像素子１０に取得させる。図１０（ａ）は、フレーム合成を説明する図であり、図中、シーケンス番号１から８が第２フレームレートで撮影された画像群を表している。この場合、画像処理部１４は、シーケンス番号１から４の画像群を１枚の画像に合成し、かつ、シーケンス番号５から８の画像群を１枚の画像に合成する。図１０（ｂ）は、１／３０（秒）の時間間隔に合わせて、合成されたフレームにより、第１フレームレートの動画像が補間された状態を表している。
　一方、静止画像生成においては、画像処理部１４は、図１０（ｃ）、（ｄ）に示す通り、シーケンス番号１から６の画像群を重ね合わせることにより、１枚の静止画像を生成する。その理由は、画像処理部１４がシーケンス番号１から８の画像群を１枚の静止画像として生成した場合、露出量がオーバーになるためである。これにより、電子カメラ１は、適正露出の静止画像を取得することができると共に、静止画像取得による動画像のコマ落ちが生じないで済む。
（２）本実施形態では、静止画像生成に際し、画像処理部１４は、動画のフレームの解像度に比べて静止画像の解像度を上げるようにしても良い。例えば、動画記録時には、ＣＰＵ２１は、図４のステップＳ１０２において、撮像素子１０の画素を間引いて画像信号を読み出させる。一方、静止画像の取得時には、ＣＰＵ２１は、ステップＳ１０６及びステップＳ１０８において、撮像素子１０の全画素の画像信号を読み出させる。そして、画像処理部１４は、間引いた画像信号に基づいてフレーム合成を行う。また、画像処理部１４は、静止画像生成において、全画素の画像信号に基づいて高解像度の静止画像を生成する。これにより、画像処理部１４は、ステップＳ１１０において、静止画像の解像度を上げることができる。
（３）本実施形態では、画像から顔の領域を検出する顔検出部と、顔の領域から顔の特徴量を抽出する特徴量抽出部とをさらに備えても良い。これにより、顔検出部が顔を検出し、特徴量抽出部が顔の特徴量を抽出する。そして、画像処理部１４は、特徴量に基づいて顔のずれを補正するようにして静止画像を生成するようにしても良い。これにより、第２フレームレートの画像間で仮に顔などの像ぶれが生じていたとしても、その像ぶれが抑制される。
（４）本実施形態では、電子カメラとして、一眼レフレックスタイプの電子カメラを例示したが、コンパクトタイプの電子カメラであっても良い。
（５）本実施形態では、第１フレームレートを３０ｆｐｓとし、第２フレームレートを１２０ｆｐｓとしたが、これは一例であって、例えば、第１フレームレートを３０ｆｐｓとし、第２フレームレートを２４０ｆｐｓとしても良い。
（６）本実施形態では、第１フレームレート（３０ｆｐｓ）で撮像するときには、シャッタ秒時を１／３０秒で撮影するものとして説明した。しかしながら第１フレームレートで撮像する際に、フレームレートとシャッタ秒時とを必ずしも一致させる必要はない。例えば所定フレームレート（例えば３０ｆｐｓ）で撮像する場合には、その所定フレームレートを超えない範囲のシャッタ秒時を適宜使用できる（１／３０秒よりも高速なシャッタ秒時であれば、任意の（例えば１／６０秒）のシャッタ秒時で撮像して良い）。この場合、前述したシャッタ秒時決定部２１ｂが、静止画撮影時のシャッタ秒時を、第１フレームレートで取得された画像の明るさに基づいて決定するように、第１フレームレートで撮像する際のシャッタ秒時も被写体の明るさ情報に基づいて、第１フレームレートを超えない範囲で決定される。
１・・・電子カメラ、１０・・・撮像素子、２１ａ・・・撮像制御部、２１ｂ・・・シャッタ秒時決定部、２１ｃ・・・合成枚数算出部、１４・・・画像処理部

Claims (3)

  1. 　被写体像を撮像する撮像部と、
    　動画撮影時に第１フレームレートで動画像の撮影を前記撮像部に行わせると共に、前記動画撮影時に静止画記録の指示を受け付けると、前記第１フレームレートよりも高フレームレートの第２フレームレートで前記撮像部に画像を取得させる撮像制御部と、
    　前記第２フレームレートの複数の画像を重ね合わせて記録用の静止画像を生成する画像処理部と、
    　を備えることを特徴とする電子カメラ。
  2. 　請求項１に記載の電子カメラにおいて、
    　前記画像処理部は、前記第２フレームレートで取得された複数の画像を前記第１フレームレートの時間間隔に合わせて重ね合わせることにより、前記第１フレームレートの動画像に変換することを特徴とする電子カメラ。
  3. 　請求項１に記載の電子カメラにおいて、
    　前記第１フレームレートで取得された画像の明るさに基づいて、前記静止画像取得のシャッタ秒時を決定する決定部と、
    　前記シャッタ秒時に基づいて、前記静止画像を生成するために必要な前記第２フレームレートの画像の合成枚数を算出する算出部とをさらに備え、
    　前記画像処理部は、前記第２フレームレートで取得された前記合成枚数分の画像を重ね合わせることにより、前記静止画像を生成することを特徴とする電子カメラ。
PCT/JP2010/006887 2009-10-26 2010-11-25 電子カメラ WO2011065000A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN2010800537596A CN102630381A (zh) 2009-11-26 2010-11-25 电子相机
MX2012004843A MX2012004843A (es) 2009-10-26 2010-11-25 Compuesto de benzazepina.
JP2011543107A JP5482799B2 (ja) 2009-11-26 2010-11-25 電子カメラ
US13/460,099 US20120268617A1 (en) 2009-11-26 2012-04-30 Electronic camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-268247 2009-11-26
JP2009268247 2009-11-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/460,099 Continuation US20120268617A1 (en) 2009-11-26 2012-04-30 Electronic camera

Publications (1)

Publication Number Publication Date
WO2011065000A1 true WO2011065000A1 (ja) 2011-06-03

Family

ID=44066106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006887 WO2011065000A1 (ja) 2009-10-26 2010-11-25 電子カメラ

Country Status (4)

Country Link
US (1) US20120268617A1 (ja)
JP (1) JP5482799B2 (ja)
CN (1) CN102630381A (ja)
WO (1) WO2011065000A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN103581551A (zh) * 2012-07-25 2014-02-12 三星电子株式会社 用于拍摄图像的装置和方法
KR20150000072A (ko) * 2013-06-21 2015-01-02 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
JP2016021767A (ja) * 2015-09-03 2016-02-04 オリンパス株式会社 撮像装置および撮像方法
JP2020113944A (ja) * 2019-01-16 2020-07-27 キヤノン株式会社 撮像装置および撮像装置の制御方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957982B2 (en) * 2011-10-04 2015-02-17 Olympus Imaging Corp. Imaging device and imaging method
US8830367B1 (en) 2013-10-21 2014-09-09 Gopro, Inc. Frame manipulation to reduce rolling shutter artifacts
JP6368618B2 (ja) * 2014-10-30 2018-08-01 オリンパス株式会社 撮像装置、撮像装置の制御方法、およびプログラム
WO2019171782A1 (ja) * 2018-03-09 2019-09-12 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004279514A (ja) * 2003-03-13 2004-10-07 Kyocera Corp カメラの手振れ補正装置
JP2005110107A (ja) * 2003-10-01 2005-04-21 Fuji Photo Film Co Ltd デジタルカメラ
JP2007060449A (ja) * 2005-08-26 2007-03-08 Sanyo Electric Co Ltd 撮像装置
JP2009268067A (ja) * 2008-03-31 2009-11-12 Canon Inc 画像記録再生装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4309524B2 (ja) * 1999-09-27 2009-08-05 オリンパス株式会社 電子カメラ装置
JP2004304642A (ja) * 2003-03-31 2004-10-28 Casio Comput Co Ltd 電子カメラ、及び画像再生装置
JP4173457B2 (ja) * 2004-03-12 2008-10-29 富士フイルム株式会社 撮影装置及びその制御方法
WO2006028172A1 (ja) * 2004-09-08 2006-03-16 Sony Corporation 記録装置および方法、再生装置および方法、並びにプログラム
JP4282645B2 (ja) * 2005-08-31 2009-06-24 株式会社東芝 撮像装置
EP1993278A1 (en) * 2006-03-03 2008-11-19 Olympus Corporation Imaging device, processing method for obtaining high-resolution, processing program for obtaining high-resolution, and recording medium
JP4835356B2 (ja) * 2006-09-28 2011-12-14 カシオ計算機株式会社 撮像装置、撮像制御プログラム及び撮像制御方法
US7956899B2 (en) * 2007-08-29 2011-06-07 Sanyo Electric Co., Ltd. Imaging device and image processing apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004279514A (ja) * 2003-03-13 2004-10-07 Kyocera Corp カメラの手振れ補正装置
JP2005110107A (ja) * 2003-10-01 2005-04-21 Fuji Photo Film Co Ltd デジタルカメラ
JP2007060449A (ja) * 2005-08-26 2007-03-08 Sanyo Electric Co Ltd 撮像装置
JP2009268067A (ja) * 2008-03-31 2009-11-12 Canon Inc 画像記録再生装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
JP2013005136A (ja) * 2011-06-15 2013-01-07 Olympus Imaging Corp 撮像装置
CN102833471B (zh) * 2011-06-15 2015-04-29 奥林巴斯映像株式会社 摄像装置和摄像方法
CN103581551A (zh) * 2012-07-25 2014-02-12 三星电子株式会社 用于拍摄图像的装置和方法
US9264622B2 (en) 2012-07-25 2016-02-16 Samsung Electronics Co., Ltd. Apparatus and method to provide a live view while photographing an image
EP2690861B1 (en) * 2012-07-25 2017-12-06 Samsung Electronics Co., Ltd Apparatus and method to photograph an image
CN103581551B (zh) * 2012-07-25 2018-08-24 三星电子株式会社 用于拍摄图像的装置和方法
KR20150000072A (ko) * 2013-06-21 2015-01-02 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
KR102025935B1 (ko) * 2013-06-21 2019-09-26 삼성전자주식회사 이미지 생성 장치 및 이미지 생성 방법
JP2016021767A (ja) * 2015-09-03 2016-02-04 オリンパス株式会社 撮像装置および撮像方法
JP2020113944A (ja) * 2019-01-16 2020-07-27 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP7286323B2 (ja) 2019-01-16 2023-06-05 キヤノン株式会社 撮像装置および撮像装置の制御方法

Also Published As

Publication number Publication date
JP5482799B2 (ja) 2014-05-07
JPWO2011065000A1 (ja) 2013-04-11
CN102630381A (zh) 2012-08-08
US20120268617A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
JP5482799B2 (ja) 電子カメラ
KR100819804B1 (ko) 촬상 장치
KR100871639B1 (ko) 카메라 및 카메라의 화상처리방법
US7391447B2 (en) Method and apparatus for removing noise from a digital image
US20060092297A1 (en) Method and apparatus for removing hot pixels in a digital camera
JP6278713B2 (ja) 撮像装置および撮像方法
JP4860568B2 (ja) 撮影装置
JP3546854B2 (ja) カメラボディおよび露出制御方法
KR100819811B1 (ko) 촬상 장치 및 촬상 방법
JP4018456B2 (ja) 撮像装置
WO2015049990A1 (ja) 撮像装置および撮像方法
US10097751B2 (en) Imaging apparatus and image compositing method
JP2008160190A (ja) 撮像装置、およびその方法
JP4013026B2 (ja) 電子カメラ及び自動焦点調節時の画像表示方法
JP4992382B2 (ja) ノイズ除去方法ならびにノイズ除去制御プログラム
JP5184325B2 (ja) 撮影装置および撮影装置の制御方法並びにプログラム
WO2021241014A1 (ja) 撮像装置、撮像方法
JP2004328446A (ja) 撮像装置
JP2005117276A (ja) 撮像装置
JP2007306064A (ja) 撮像装置
EP2418840A2 (en) Imaging apparatus and signal processing method generating high quality image data
JP5945389B2 (ja) 撮影装置、撮影方法、およびプログラム
JPH09181955A (ja) 撮像装置および固体撮像素子の制御方法
JP2014236251A (ja) 撮像装置
JP2010232909A (ja) 撮像装置及びその駆動制御方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080053759.6

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10832849

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011543107

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10832849

Country of ref document: EP

Kind code of ref document: A1