WO2013065642A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2013065642A1
WO2013065642A1 PCT/JP2012/077910 JP2012077910W WO2013065642A1 WO 2013065642 A1 WO2013065642 A1 WO 2013065642A1 JP 2012077910 W JP2012077910 W JP 2012077910W WO 2013065642 A1 WO2013065642 A1 WO 2013065642A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
frame
image processing
still image
Prior art date
Application number
PCT/JP2012/077910
Other languages
English (en)
French (fr)
Inventor
栗山　孝司
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2013065642A1 publication Critical patent/WO2013065642A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Definitions

  • the present invention relates to an image processing apparatus.
  • a technology is known to automatically rotate and play back images when necessary when viewing images shot in mixed vertical and horizontal directions with a digital camera, and to match the vertical relationship of the playback display images with that at the time of shooting. (See Patent Document 1).
  • the image processing apparatus receives a frame image input unit that sequentially inputs a plurality of frame images captured at a predetermined frame rate during a predetermined time including a still image shooting instruction.
  • a frame image input unit that sequentially inputs a plurality of frame images captured at a predetermined frame rate during a predetermined time including a still image shooting instruction.
  • an area search unit that searches for a trimming area on the screen based on a predetermined frame image, and an area corresponding to the trimming area are cut out from all the frames of the input plurality of frame images.
  • a moving image data generation unit that generates moving image data.
  • the area search unit has a screen based on a frame image corresponding to the timing of the still image capturing instruction among the plurality of input frame images.
  • the moving image data generation unit has a second frame rate lower than the first frame rate when a plurality of input frame images are captured. It is also possible to generate slow-motion moving image data that is played back by.
  • the area search unit includes a frame image corresponding to a still image shooting instruction timing among a plurality of input frame images. It is preferable to search for a vertical composition or a horizontal composition including a region having a spatial frequency component higher than a predetermined value.
  • the area search unit is acquired before and after the timing of the still image shooting instruction among the plurality of input frame images. It is preferable that a motion vector is detected from the plurality of frame images and a region of a vertical composition or a horizontal composition including a motion vector whose size is larger than a predetermined value is searched.
  • a still image is generated based on a frame image corresponding to the timing of a still image capturing instruction among a plurality of input frame images.
  • a recording that records a still image data generation unit that generates image data, a slow motion moving image data generated by the moving image data generation unit, and a still image data generated by the still image data generation unit in association with each other on a recording medium And a control unit.
  • FIG. 1 is a block diagram illustrating the configuration of a digital camera according to the first embodiment of the invention.
  • FIG. 2 is a diagram for explaining image acquisition timing in the slow video shooting mode.
  • FIG. 3 is a diagram for explaining the setting of the focus point.
  • FIG. 4 is a flowchart for explaining the flow of processing executed by the CPU.
  • FIG. 5 is a flowchart for explaining the determination process for generating a vertically long moving image.
  • FIG. 6 is a diagram for explaining the cutout region.
  • FIG. 7 is a flowchart illustrating the determination process for generating a vertically long moving image according to the second embodiment.
  • FIG. 8 is a flowchart for explaining a determination process for generating a horizontally long moving image.
  • FIG. 9 is a diagram illustrating the cutout area.
  • FIG. 10 is a diagram illustrating a generated image.
  • FIG. 1 is a block diagram illustrating the configuration of a digital camera 1 according to the first embodiment of the invention.
  • the photographing lens 11 forms a subject image on the imaging surface 12 a of the imaging element 12.
  • the CPU 16 When the half-press switch 20a is turned on in conjunction with a half-press operation of a shutter button (not shown), the CPU 16 performs an autofocus (AF) process to move a focusing lens (not shown) constituting the photographing lens 11 in the optical axis direction. It moves forward and backward in the direction of the arrow in FIG. Thereby, the focal position of the photographic lens 11 is automatically adjusted.
  • the driving of the focusing lens (not shown) is performed by the lens driving unit 21 that receives an instruction from the CPU 16.
  • the image sensor 12 has focus detection pixels (referred to as focus detection pixels).
  • the focus detection pixels are the same as those described in Japanese Patent Application Laid-Open No. 2007-317951.
  • the CPU 16 detects a focus adjustment state (specifically, a defocus amount) by the photographing lens 11 by performing a phase difference detection calculation using an output signal from the focus detection pixel. This phase difference detection calculation is the same as that described in JP 2007-317951 A, and will not be described.
  • the CPU 16 moves the zoom lens (not shown) constituting the photographing lens 11 forward and backward in the optical axis direction when an operation signal is inputted from a zoom switch (not shown) constituting the operation member 20 described later. As a result, the shooting angle of view is adjusted.
  • the zoom lens (not shown) is also driven by the lens driving unit 21 that receives an instruction from the CPU 16.
  • the image sensor 12 is configured by a CMOS image sensor or the like.
  • the image sensor 12 photoelectrically converts a subject image formed on the imaging surface 12a into an analog image signal.
  • the analog image signal output from the image sensor 12 is converted into digital image data by the A / D converter 13.
  • the image processing unit 14 performs predetermined image processing on the digital image data to generate image data.
  • the liquid crystal monitor 15 displays images and operation menu screens according to instructions from the CPU 16.
  • the nonvolatile memory 17 stores programs executed by the CPU 16, data necessary for execution processing, and the like. The contents of programs and data stored in the nonvolatile memory 17 can be added and changed by instructions from the CPU 16.
  • the CPU 16 executes a control program using the buffer memory 18 as a work area, for example, and performs various controls on each part of the camera.
  • the buffer memory 18 is also used when temporarily storing digital image data.
  • captured images acquired at a predetermined frame rate by the image sensor 12 are temporarily stored before and after a shooting instruction (full pressing operation of the shutter button). The captured image will be described later.
  • the image processing unit 14 generates an image file (for example, an “Exif” file) in a predetermined format in which image data is stored in addition to the image processing for the digital image data.
  • the recording / reproducing unit 19 records an image file on the memory card 50 based on an instruction from the CPU 16 and reads out the image file recorded on the memory card 50.
  • the memory card 50 is a recording medium that is detachably attached to a card slot (not shown).
  • the CPU 16 reproduces and displays the captured image on the liquid crystal monitor 15 based on the image file read from the memory card 50 by the recording / reproducing unit 19.
  • the operation member 20 includes the half-press switch 20a, a full-press switch 20b that is turned on when the shutter button is fully pressed, a moving image shooting switch, a mode switching switch, and the like. To send.
  • the ON signal (half-press operation signal) from the half-press switch 20a is output when the shutter button is pressed down to about half of the normal stroke, and the output is canceled when the half-stroke press-down operation is released.
  • the ON signal (full push operation signal) from the full push switch 20b is output when the shutter button is pushed down to the normal stroke, and the output is released when the push operation of the normal stroke is released.
  • the electronic camera 1 is configured so that a still image shooting mode, a moving image shooting mode, and a slow moving image shooting mode can be switched by, for example, the mode switch.
  • the still image shooting mode is a mode in which an image is acquired according to the full-press operation signal, and still image data generated based on the acquired image is recorded in the memory card 50.
  • a plurality of frames of images are acquired in response to an operation signal from a moving image shooting switch constituting the operation member 20, and moving image data generated based on the images of the plurality of frames is recorded in the memory card 50.
  • moving image data generated based on the images of the plurality of frames is recorded in the memory card 50.
  • the slow video recording mode generates slow moving image data and still image data based on a plurality of frames of images acquired at predetermined times before and after the full-press operation signal, and associates the slow moving image data and still image data with each other.
  • recording to the memory card 50 is performed.
  • moving image data reproduced at a frame rate slower than the frame rate at the time of acquisition is referred to as slow moving image data.
  • slow moving image data to be played back at 24 frames / second (24 fps) is generated from an image of a plurality of frames acquired at 60 frames / second (60 fps).
  • FIG. 2 is a diagram for explaining image acquisition timing in the slow video shooting mode.
  • the CPU 16 when the switching operation to the slow movie shooting mode is performed at time t0, the CPU 16 causes the liquid crystal monitor 15 to start displaying a live view image.
  • the image sensor 12 captures a subject image at a frame rate of 60 frames / second (60 fps), and a reproduced image based on the obtained digital image data is sequentially displayed on the liquid crystal monitor 15.
  • the CPU 16 also performs exposure control so as to obtain an appropriate exposure while performing an exposure calculation based on the digital image data value.
  • the CPU 16 that is displaying the live view image accepts a setting operation of a focus point that is an object of AF processing that is performed when the shutter button is half-pressed.
  • the focus point is set by moving the mark M1 indicating the focus point on the live view image, as illustrated in FIG.
  • the position of the mark M1 is configured to be movable in accordance with, for example, the operation direction of a cross key (not shown) constituting the operation member 20.
  • FIG. 3 is a diagram for explaining the setting of the focus point. In this embodiment, the focus point is set on the main subject 31.
  • a sufficient memory capacity of the buffer memory 18 used for pre-shooting is secured in advance.
  • the CPU 16 overwrites and erases the oldest frame images in order. Thereby, the memory capacity of the buffer memory 18 used for pre-shooting photography can be limited.
  • the CPU 16 stores the next frame image captured by the image sensor 12 in the buffer memory 18 for still images.
  • the CPU 16 temporarily stores information necessary for specifying a frame image for a still image (for example, information indicating the relationship between the acquisition time of the frame image and the time t2) in the buffer memory 18.
  • the CPU 16 starts measuring time by an internal timer circuit (not shown) at the time t2.
  • image data is recorded (accumulated) in the buffer memory 18 at time B from time t2 to time t3, as in the case of pre-shooting.
  • the CPU 16 ends the accumulation of the image data in the buffer memory 18 at time t3.
  • step S11 of FIG. 4 the CPU 16 causes the liquid crystal monitor 15 to start displaying a live view image, and determines whether or not the shutter button has been pressed halfway.
  • the CPU 16 makes a positive determination in step S11 and proceeds to step S12.
  • the CPU 16 makes a negative determination in step S11 and repeats the determination process.
  • step S12 the CPU 16 starts AF processing and determines whether or not the main subject 31 is focused.
  • the CPU 16 makes a positive determination in step S12 and proceeds to step S13. Thereby, the subject 31 is focused. If the movement of the focusing lens does not end, the CPU 16 makes a negative determination in step S12 and repeats the determination process.
  • step S13 the CPU 16 causes the buffer memory 18 to store image data and proceeds to step S14.
  • step S14 the CPU 16 determines whether or not the shutter button has been fully pressed.
  • the CPU 16 makes a positive determination in step S14 and proceeds to step S15.
  • the CPU 16 makes a negative determination in step S14 and returns to step S13. This waits for a full-press operation while taking a pre-shoot.
  • step S ⁇ b> 15 the CPU 16 causes the image sensor 12 to acquire a frame image for a still image, and stores the frame image in the buffer memory 18. Further, the CPU 16 temporarily stores in the buffer memory 18 information indicating the relationship between the acquisition time of the frame image and the time t2.
  • step S16 the CPU 16 causes the buffer memory 18 to store image data even after the shutter button is fully pressed, and proceeds to step S17.
  • step S17 the CPU 16 determines whether the time is up. When the time counting of the time measuring time B started at the time t2 ends, the CPU 16 makes a positive determination in step S17 and proceeds to step S18. In this case, the accumulation of the image data in the buffer memory 18 is terminated. On the other hand, the CPU 16 makes a negative determination in step S17 if the time count of the time count B is not completed, and returns to step S16. Thereby, the post-shooting is performed until the time B elapses after the full pressing operation.
  • step S18 the CPU 16 performs determination processing for generating a vertically long moving image and proceeds to step S19. Details of the determination process for generating a vertically long moving image will be described later.
  • step S19 the CPU 16 determines whether or not to record a vertically long moving image. When the “longitudinal composition is present” is determined by the determination processing for generating the vertically long moving image, the CPU 16 makes a positive determination in step S19 and proceeds to step S20. If “vertically long composition” is not determined, the CPU 16 makes a negative determination in step S19 and proceeds to step S21.
  • step S20 the CPU 16 sends an instruction to the image processing circuit 14, and based on the still image frame images stored in the buffer memory 18, a still image having an aspect ratio of 9 (horizontal): 16 (vertical) as will be described later. Generate data.
  • the CPU 16 sends an instruction to the image processing circuit 14 and generates slow moving image data having an aspect ratio of 9 (horizontal): 16 (vertical) based on the frame image group stored in the buffer memory 18 as will be described later. Let When the CPU 16 associates the slow moving image data and the still image data with each other and records them in the memory card 50, the processing in FIG. 4 ends.
  • step S21 the CPU 16 sends an instruction to the image processing circuit 14, and based on the still image frame image stored in the buffer memory 18, a still image having an aspect ratio of 16 (horizontal): 9 (vertical) as will be described later. Generate data.
  • the CPU 16 further sends an instruction to the image processing circuit 14 to generate slow moving image data having an aspect ratio of 16 (horizontal): 9 (vertical) based on the frame image group stored in the buffer memory 18 as will be described later. To do.
  • the CPU 16 associates the slow moving image data and the still image data with each other and records them in the memory card 50, the processing in FIG. 4 ends.
  • the image processing circuit 14 cuts out image data of 1080 (horizontal) ⁇ 1920 (vertical) pixels from image data of 3840 (horizontal) ⁇ 2160 (vertical) pixels acquired by the image sensor 12. This cut-out process is performed in common for all frame image groups stored in the buffer memory 18, and further predetermined image processing is performed to obtain so-called vertically-sized slow moving image data. Note that the cutout region is determined by step S55 (FIG. 5) described later. Reading of the image data from the buffer memory 18 (reading of the image data included in the cut-out area corresponding to the vertical composition in the frame image) is performed in step S56 (FIG. 5).
  • the image processing circuit 14 cuts out image data of 1080 (horizontal) ⁇ 1920 (vertical) pixels from 3840 (horizontal) ⁇ 2160 (vertical) pixel image data for still images stored in the buffer memory 18. .
  • still image data of a so-called high vision size (1080 (horizontal) ⁇ 1920 (vertical) pixels) is obtained.
  • the cutout area is determined in step S55 (FIG. 5) to be described later, and reading of image data from the buffer memory 18 (reading of image data corresponding to the cutout area) is performed in step S56 (FIG. 5).
  • step S55 FIG. 5
  • the image processing circuit 14 performs 1/2 (1920 (1920 (1920)) in the horizontal and vertical directions from the image data of 3840 (horizontal) ⁇ 2160 (vertical) pixels for still images stored in the buffer memory 18. (Horizontal) ⁇ 1080 (vertical) pixels) and predetermined image processing are performed to obtain still image data equivalent to so-called horizontally long high-definition.
  • still image data the best shot image extracted based on a predetermined selection criterion from the image group (pre-fetched image) acquired at time A and the image group (post-taken image) acquired at time B. May be used.
  • the aspect ratio is 16: 9
  • the still image data may be 3840 (horizontal) ⁇ 2160 (vertical) which is not resized.
  • the CPU 16 reproduces and displays the slow moving image data recorded on the memory card 50 in association with each other and the reproduced image based on the still image data on the liquid crystal monitor 15 as described above, for example, based on the slow moving image data.
  • a moving image is played back for 2.5 seconds, and a generated image based on still image data is displayed in the subsequent 7.5 seconds.
  • step S51 of FIG. 5 the image processing circuit 14 reads the still image data accumulated in step S15 (FIG. 4) from the buffer memory 18 and proceeds to step S52.
  • step S52 the image processing circuit 14 extracts a high frequency component from the read still image data, and proceeds to step S53.
  • the image processing circuit 14 extracts a high frequency component from the read still image data, and proceeds to step S53.
  • the sharpness of the image is high, and the spatial frequency of the image includes a high frequency component. Therefore, by extracting a region having a frequency component higher than a predetermined frequency in the screen, a region where the image is focused is extracted.
  • step S53 the image processing circuit 14 performs composition extraction.
  • the extracted focused area is assumed to be a main subject, and a region including the main subject suitable for a vertically long screen is extracted according to a known method used for composition determination, for example, “three-division method”.
  • FIG. 6 is a diagram illustrating a region suitable for a vertically long screen.
  • a broken line area 32 including an area having an aspect ratio of 9 (horizontal): 16 (vertical) including the main subject 31 corresponds to the extracted composition.
  • step S54 in FIG. 5 the image processing circuit 14 determines whether or not there is a vertically long composition. If the aspect ratio of the extracted broken line area 32 corresponds to “vertically long composition”, the image processing circuit 14 makes a positive determination (with a vertically long composition) in step S54 and proceeds to step S55. If the aspect ratio of the broken line area 32 does not correspond to “vertically long composition”, the image processing circuit 14 makes a negative determination (no vertical composition) in step S54 and ends the processing in FIG.
  • step S55 the image processing circuit 14 determines a region corresponding to the broken line region 32 as a cutout region, and proceeds to step S56.
  • step S56 the image data included in the determined cut-out area is sequentially read out from the data of each frame image stored in the buffer memory 18, and the process shown in FIG.
  • the digital camera 1 includes a buffer memory 18 that sequentially inputs a plurality of frame images captured at 60 fps during a predetermined time (A + B) including a still image shooting instruction, and among the input plurality of frame images, Corresponding to the vertical composition region 32 from all the frames of the plurality of input frame images, the image processing unit 14 searching for the vertical composition region 32 in the screen based on the frame image corresponding to the timing of the still image shooting instruction And an image processing circuit 14 that generates moving image data having a vertical composition by cutting out each region to be processed, so that a moving image automatically corresponding to the region 32 (vertical image) is maintained while maintaining the vertical relationship of the image. Data can be obtained.
  • the image processing circuit 14 In the digital camera 1 of the above (1), the image processing circuit 14 generates slow motion moving image data that is reproduced at 24 fps less than 60 fps when a plurality of input frame images are captured. Therefore, a slow motion moving image can be automatically obtained in accordance with the still image shooting timing.
  • the image processing circuit 14 is higher than a predetermined value from the frame image corresponding to the timing t2 of the still image shooting instruction among the plurality of input frame images. Since the vertically long region including the region having the spatial frequency component is searched, the vertically long region including the focused subject region can be appropriately searched.
  • the image processing circuit 14 that generates still image data based on a frame image corresponding to the timing t2 of the still image shooting instruction among the plurality of input frame images, and the generated slow motion
  • the recording / playback unit 19 that records the motion moving image data and the generated still image data in the memory card 50 in association with each other is provided, so that a still image deeply connected to the slow motion moving image can be obtained. . Furthermore, it is possible to associate the still image data with the slow motion moving image data.
  • step S51B of FIG. 7 the image processing circuit 14 reads frame image data before and after the full-press operation (for example, 30 frames before and after the time t2) from the buffer memory 18 and proceeds to step S52B.
  • the full-press operation for example, 30 frames before and after the time t2
  • step S52B the image processing circuit 14 extracts a motion vector from the frame image. Specifically, with respect to a predetermined range of the screen (for example, a predetermined range including the focus point), the motion vector of the subject (speed of motion of the subject or the like) is determined from the corresponding data between the previous frame and the target frame. Direction). And when the magnitude
  • a predetermined range of the screen for example, a predetermined range including the focus point
  • step S53 the image processing circuit 14 in the case of extracting a motion vector assumes a region corresponding to the extracted motion vector as a main subject, and follows a known method used for composition determination, for example, “three-division method”. An area including a main subject suitable for a vertically long screen is extracted. Similar to the case of FIG. 6, an area suitable for a vertically long screen is extracted. The subsequent processing is the same as in the first embodiment.
  • the digital camera 1 includes a buffer memory 18 that sequentially inputs a plurality of frame images captured at 60 fps during a predetermined time (A + B) including a still image shooting instruction, and among the input plurality of frame images, Corresponding to the vertical composition region 32 from all the frames of the plurality of input frame images, the image processing unit 14 searching for the vertical composition region 32 in the screen based on the frame image corresponding to the timing of the still image shooting instruction And an image processing circuit 14 that generates moving image data having a vertical composition by cutting out each area to be processed, so that moving image data as a vertical image can be automatically obtained while maintaining the vertical relationship of the images. it can.
  • the image processing circuit 14 detects motion vectors from a plurality of frame images acquired before and after the timing t2 of the still image shooting instruction among the plurality of input frame images. In addition, since a vertically long region including a motion vector whose size is larger than a predetermined value is searched, a vertically long region including a subject region that moves between frames can be appropriately searched.
  • the color information of the image may be detected and the detected color information may be used.
  • the image processing circuit 14 according to the first modification assumes a region in which high frequency components are detected in an image or a region in which skin color is detected as a main subject, and a known method used for composition determination, For example, an area including a main subject suitable for a vertically long screen is extracted according to the “three-division method”.
  • the first modification by including color information, it is possible to appropriately extract a region suitable for a vertically long screen as compared with a case based on only a high frequency component.
  • the luminance information of the image may be detected, and the detected luminance information may be used.
  • the image processing circuit 14 according to the second modification assumes a region in which a motion vector is detected in an image or a region in which a luminance change is detected between frames as a main subject, and is a publicly known image used for composition determination.
  • An area including a main subject suitable for a vertically long screen is extracted according to a method, for example, “three-division method”.
  • the luminance information by including the luminance information, it is possible to appropriately extract a region suitable for a vertically long screen compared to a case based on only a motion vector.
  • the first embodiment and the second embodiment may be combined.
  • the composition in the second embodiment in which the portrait composition is determined based on the motion vector, it is difficult to extract the composition when the subject has no motion.
  • the composition in the first embodiment in which the portrait composition is determined based on the high frequency component of the image, the composition can be extracted even if the subject does not move. Therefore, by combining the first embodiment and the second embodiment, in the case of a moving subject, even if the subject is slightly out of focus (that is, the high frequency component cannot be extracted), the motion vector Based on the above, it is possible to determine a vertically long composition. In the case of a subject that does not move, even if a motion vector cannot be detected, a vertically long composition can be determined based on a high frequency component as long as the subject is in focus.
  • the aspect is based on the still image frame image accumulated in the buffer memory 18.
  • a portrait still image data with a ratio 9 (horizontal): 16 (vertical) is trimmed and generated, and an aspect ratio 9 (horizontal): 16 (vertical) portrait slow motion video based on the frame image group stored in the buffer memory 18 Image data was trimmed.
  • the frame image for still image stored in the buffer memory 18 is determined. Trimming and generating horizontal still image data with an aspect ratio of 16 (horizontal): 9 (vertical) and a horizontal slow throw with an aspect ratio of 16 (horizontal): 9 (vertical) based on a group of frame images stored in the buffer memory 18 Trimming and generating moving image data.
  • step S19 the CPU 16 determines whether or not to record a horizontally long moving image instead of step S19 in FIG.
  • the CPU 16 proceeds to step S21 when “horizontal composition is present” is determined by the determination processing for generating the horizontally long moving image. If the CPU 16 does not determine that “horizontal composition is present”, the process proceeds to step S20.
  • step S20 the CPU 16 sends an instruction to the image processing circuit 14, and based on the still image frame images stored in the buffer memory 18, a still image having an aspect ratio of 16 (horizontal): 9 (vertical) as will be described later. Generate data.
  • the CPU 16 further sends an instruction to the image processing circuit 14 to generate slow moving image data having an aspect ratio of 16 (horizontal): 9 (vertical) based on the frame image group stored in the buffer memory 18 as will be described later. Let When the CPU 16 associates the slow moving image data and the still image data with each other and records them in the memory card 50, the processing in FIG. 4 ends.
  • step S21 the CPU 16 sends an instruction to the image processing circuit 14, and based on the still image frame image stored in the buffer memory 18, a still image having an aspect ratio of 9 (horizontal): 16 (vertical) as will be described later. Generate data.
  • the CPU 16 sends an instruction to the image processing circuit 14 and generates slow moving image data having an aspect ratio of 9 (horizontal): 16 (vertical) based on the frame image group stored in the buffer memory 18 as will be described later. To do.
  • the CPU 16 associates the slow moving image data and the still image data with each other and records them in the memory card 50, the processing in FIG. 4 ends.
  • step S51C of FIG. 8 the image processing circuit 14 reads the still image data accumulated in step S15 (FIG. 4) from the buffer memory 18, and proceeds to step S52.
  • step S52 the image processing circuit 14 extracts a high frequency component from the read still image data, and proceeds to step S53.
  • the image processing circuit 14 performs composition extraction.
  • the extracted focus area is assumed to be the main subject 31, and an area including the main subject 31 suitable for the landscape screen is extracted according to a known method used for composition determination.
  • FIG. 9 is a diagram illustrating an area suitable for a landscape screen.
  • a broken line area 32 including an area having an aspect ratio of 16 (horizontal): 9 (vertical) including the main subject 31 corresponds to the extracted composition.
  • step S54B in FIG. 8 the image processing circuit 14 determines whether or not there is a landscape composition.
  • the image processing circuit 14 makes a positive determination in step S54B (there is a landscape composition) and proceeds to step S55. If the aspect ratio of the broken line region 32 does not correspond to “horizontal composition”, the image processing circuit 14 makes a negative determination (no landscape composition) in step S54B, and ends the process of FIG.
  • step S55 the image processing circuit 14 determines a region corresponding to the broken line region 32 as a cutout region, and proceeds to step S56.
  • step S56 the image data included in the determined cutout area is sequentially read out from the data of each frame image stored in the buffer memory 18, and the process shown in FIG.
  • the image processing circuit 14 is based on the frame image groups acquired in the predetermined time A before time t2 and the predetermined time B from time t2 to time t3 respectively stored in the buffer memory 18 as follows. Slow moving image data to be played back at 24 frames / second is generated.
  • the image processing circuit 14 cuts out image data of 1920 (horizontal) ⁇ 1080 (vertical) pixels from the image data of 2160 (horizontal) ⁇ 3840 (vertical) pixels acquired by the image sensor 12. This cut-out processing is performed in common for all frame image groups stored in the buffer memory 18 and further predetermined image processing is performed, so that a so-called landscape-oriented slow moving image is obtained as illustrated in FIG. Get the data. Note that the cutout region is determined by the above step S55 (FIG. 8). Reading of the image data from the buffer memory 18 (reading of the image data included in the cutout area corresponding to the vertical composition in the frame image) is performed in step S56 (FIG. 8).
  • the image processing circuit 14 cuts out image data of 1920 (horizontal) ⁇ 1080 (vertical) pixels from 2160 (horizontal) ⁇ 3840 (vertical) pixel image data for still images stored in the buffer memory 18. .
  • still image data of a so-called high vision size (1920 (horizontal) ⁇ 1080 (vertical) pixels) is obtained.
  • the cutout area is determined in step S55 (FIG. 8), and reading of image data from the buffer memory 18 (reading of image data corresponding to the cutout area) is performed in step S56 (FIG. 8).
  • step S55 FIG. 8
  • step S56 FIG. 8
  • the image processing circuit 14 divides the image data of 2160 (horizontal) ⁇ 3840 (vertical) pixels for still images stored in the buffer memory 18 by 1/2 (1080 ( Horizontal) ⁇ 1920 (vertical) pixels) is subjected to a resize process and predetermined image processing is performed, so that still image data equivalent to a so-called portrait image of high definition is obtained.
  • still image data the best shot image extracted based on a predetermined selection criterion from the image group (pre-fetched image) acquired at time A and the image group (post-taken image) acquired at time B. May be used.
  • the aspect ratio is 9:16, it may be 2160 (horizontal) ⁇ 3840 (vertical) which is not resized as still image data.
  • the CPU 16 reproduces and displays the slow moving image data recorded on the memory card 50 in association with each other and the reproduced image based on the still image data on the liquid crystal monitor 15 as described above, for example, based on the slow moving image data.
  • a moving image is played back for 2.5 seconds, and a generated image based on still image data is displayed in the subsequent 7.5 seconds.
  • the digital camera 1 includes a buffer memory 18 that sequentially inputs a plurality of frame images captured at 60 fps during a predetermined time (A + B) including a still image shooting instruction, and among the input plurality of frame images, Corresponding to the horizontal composition region 32 from all the frames of the plurality of input frame images, the image processing unit 14 searching the horizontal composition region 32 in the screen based on the frame image corresponding to the timing of the still image shooting instruction And an image processing circuit 14 for generating moving image data having a horizontal composition by cutting out each region to be processed, so that a moving image automatically corresponding to the region 32 (horizontal image) is maintained while maintaining the vertical relationship of the image. Data can be obtained.
  • the image processing circuit 14 In the digital camera 1 of the above (1), the image processing circuit 14 generates slow motion moving image data that is reproduced at 24 fps less than 60 fps when a plurality of input frame images are captured. Therefore, a slow motion moving image can be automatically obtained in accordance with the still image shooting timing.
  • the image processing circuit 14 is higher than a predetermined value from the frame image corresponding to the timing t2 of the still image shooting instruction among the plurality of input frame images. Since the horizontal region including the region having the spatial frequency component is searched, the horizontal region including the focused subject region can be appropriately searched.
  • the image processing circuit 14 that generates still image data based on a frame image corresponding to the timing t2 of the still image shooting instruction among the plurality of input frame images, and the generated slow motion
  • the recording / playback unit 19 that records the motion moving image data and the generated still image data in the memory card 50 in association with each other is provided, so that a still image deeply connected to the slow motion moving image can be obtained. . Furthermore, it is possible to associate the still image data with the slow motion moving image data.
  • the third embodiment may be combined with the second embodiment. That is, instead of extracting a high frequency component, motion information between frame images is detected, and an area where the motion information is large is extracted as a subject area.
  • the landscape composition is determined based on the motion vector, and in the case of a subject that does not move, the landscape composition is determined based on the high frequency component.
  • the landscape composition can be determined based on the motion vector even if it is slightly out of focus (that is, even if the high frequency component cannot be extracted).
  • the landscape composition can be determined based on the high frequency component.
  • a still image having a horizontal composition or a vertical composition different from the aspect ratio of the frame image acquired by the image sensor 12 is cut out from the still image frame image stored in the buffer memory 18 and trimmed, and Still image data generated by trimming when a slow moving image having a horizontal composition or a vertical composition different from the aspect ratio of the frame image acquired by the image sensor 12 is cut out from the frame image group stored in the buffer memory 18 and trimmed.
  • the example in which the trimmed and generated slow moving image data is associated with each other and recorded on the memory card 50 has been described.
  • still image data before trimming and slow moving image data before trimming may be associated with each other and recorded in the memory card 50.
  • a method of recording only the still image data and slow moving image data after trimming generation and a recording method of Modification 5 may be configured to be switchable based on a selection operation by the user.
  • Modification 6 In each of the above-described embodiments, the example in which the CPU 16 automatically determines the cutout area when trimming and generating a still image or a slow moving image has been described. However, the cutout area is determined based on a user's designated operation. It may be configured. According to the modified example 6, it is possible to generate a still image or a slow moving image having a composition desired by the user.
  • the CPU 16 when the CPU 16 automatically determines the cut-out area to be trimmed, the still image data accumulated in response to the full-pressing operation (S14) is used as a reference image, and all frames are based on the reference image.
  • the image data stored in the buffer memory 18 is a predetermined one out of the image group (prefetched image) acquired at time A and the image group (post-taken image) acquired at time B.
  • An image automatically selected by the CPU 16 based on the selection criteria may be used as a reference image, and a cutout region to be commonly applied to all frame images may be determined based on the reference image.
  • Modification 8 An image data stored in the buffer memory 18 and selected based on a selection operation by the user from an image group acquired after time t1 (that is, after AF processing) is set as a reference image. Based on the above, a cutout area to be commonly applied to all frame images may be determined.
  • Modification 9 Furthermore, all of the image data stored in the buffer memory 18 and constituting the image group (pre-fetched image) acquired at time A and the image group (post-taken image) acquired at time B.
  • a frame image may be used as a reference image, and a cutout region to be applied to each frame image may be determined based on each reference image.
  • Modification 10 The downsizing image obtained by performing the reduction process for reducing the number of pixels with respect to the reference image determined in the modified examples 7 to 9 is used as a reference image again, and the cutout region is determined based on the downsizing image. May be.
  • Modification 11 Of the four methods of Modifications 7 to 10, the reference image may be determined by a method determined based on the selection operation by the user, and the cutout region may be determined based on the reference image.
  • slow moving image data may be generated by an electronic device such as a digital photo frame or a projector, or a personal computer.
  • the digital camera 1 records all frame image groups stored in the buffer memory 18 at time A and time B on the memory card 50.
  • information necessary for specifying a frame image for a still image (for example, information indicating the relationship between the acquisition time of the frame image and time t2) is also recorded in the memory card 50.
  • a digital photo frame an electronic device such as a projector, or a personal computer, based on a group of frame images recorded on the memory card 50, a plurality of frames of images acquired at a predetermined time before and after the time t2 (full press operation timing).
  • the slow moving image data and the still image data are respectively generated based on the above, and the slow moving image data and the still image data are associated with each other.
  • the slow moving image is later generated based on the data recorded on the memory card 50.
  • Image data and still image data can be generated.
  • a “horizontal / vertical switching” switch may be provided.
  • the CPU 16 performs switching between the horizontal composition and the vertical composition for frame images acquired after this operation.
  • the moving image shooting mode is a mode in which images of a plurality of frames are acquired in response to the operation signal from the moving image shooting switch described above, and moving image data generated based on the images of the plurality of frames is recorded in the memory card 50. is there.
  • the CPU 16 when the “horizontal / vertical switching” switch is operated in the slow movie shooting mode, for example, accepts the designation operation described in the sixth modification. That is, after the cut-out area is determined based on a user's designated operation, the operation in the slow movie shooting mode is started.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

　画像処理装置は、静止画撮影指示を含む所定時間の間に所定のフレームレートで撮像された複数のフレーム画像を順次入力するフレーム画像入力部と、入力された複数のフレーム画像のうち、所定のフレーム画像に基づいて画面内でトリミング領域を探索する領域探索部と、入力された複数のフレーム画像の全フレームから、トリミング領域に対応する領域をそれぞれ切出して動画像データを生成する動画像データ生成部と、を備える。

Description

画像処理装置
　本発明は、画像処理装置に関する。
　デジタルカメラで縦横混在して撮影した画像を連続的に閲覧する際に、必要時に自動的に画像を回転して再生表示して、再生表示画像の上下関係を撮影時と合わせる技術が知られている（特許文献１参照）。
日本国特開２００５－２５２７９７号公報
　従来技術では、静止画再生表示時に画像を回転させるだけであり、デジタルカメラで取得された画像の上下関係を保ちながら、自動的に縦画像や横画像としての動画像データを得る場合への適用が困難であった。
　本発明の第１の態様によると、画像処理装置は、静止画撮影指示を含む所定時間の間に所定のフレームレートで撮像された複数のフレーム画像を順次入力するフレーム画像入力部と、入力された複数のフレーム画像のうち、所定のフレーム画像に基づいて画面内でトリミング領域を探索する領域探索部と、入力された複数のフレーム画像の全フレームから、トリミング領域に対応する領域をそれぞれ切出して動画像データを生成する動画像データ生成部と、を備える。
　本発明の第２の態様によると、第１の態様による画像処理装置において、領域探索部は、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図または横構図の領域を探索することが好ましい。
　本発明の第３の態様によると、第２の態様による画像処理装置において、動画像データ生成部は、入力された複数のフレーム画像が撮像された時の第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像データを生成することもできる。
　本発明の第４の態様によると、第２または第３の態様による画像処理装置において、領域探索部は、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングに対応するフレーム画像から、所定値より高い空間周波数成分を有する領域を含む縦構図または横構図の領域を探索するのが好ましい。
　本発明の第５の態様によると、第２～第４のいずれかの態様による画像処理装置において、領域探索部は、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングの前後に取得された複数のフレーム画像から動きベクトルを検出し、その大きさが所定値より大きい動きベクトルを含む縦構図または横構図の領域を探索するのが好ましい。
　本発明の第６の態様によると、第２～第５のいずれかの態様による画像処理装置において、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングに対応するフレーム画像に基づいて静止画像データを生成する静止画像データ生成部と、動画像データ生成部により生成されたスローモーション動画像データ及び静止画像データ生成部により生成された静止画像データを、互いに関連付けて記録媒体に記録する記録制御部と、をさらに備えてもよい。
　本発明によれば、画像の上下関係を保ちながら、自動的に縦画像または横画像としての動画像データを得ることができる。
図１は、本発明の第一の実施の形態によるデジタルカメラの構成を例示するブロック図である。 図２は、スロー動画撮影モードにおける画像の取得タイミングを説明する図である。 図３は、フォーカスポイントのセットを説明する図である。 図４は、ＣＰＵが実行する処理の流れを説明するフローチャートである。 図５は、縦長動画像生成の判定処理を説明するフローチャートである。 図６は、切出し領域を説明する図である。 図７は、第二の実施の形態による縦長動画像生成の判定処理を説明するフローチャートである。 図８は、横長動画像生成の判定処理を説明するフローチャートである。 図９は、切出し領域を説明する図である。 図１０は、生成画像を例示する図である。
　以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
　図１は、本発明の第一の実施の形態によるデジタルカメラ１の構成を例示するブロック図である。図１において、撮影レンズ１１は、撮像素子１２の撮像面１２ａに被写体像を結像させる。
　ＣＰＵ１６は、図示しないシャッターボタンの半押し操作に連動して半押しスイッチ２０ａがオンすると、オートフォーカス（ＡＦ）処理を行わせて、撮影レンズ１１を構成するフォーカシングレンズ（不図示）を光軸方向（図１において矢印方向）に進退移動させる。これにより、撮影レンズ１１の焦点位置が自動調節される。フォーカシングレンズ（不図示）の駆動は、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。
　ＡＦ処理は、撮像面位相差検出方式によって行う。このため、撮像素子１２はフォーカス検出用の画素（焦点検出用画素と呼ぶ）を有している。フォーカス検出用画素は、特開２００７－３１７９５１号公報に記載されているものと同様のものである。ＣＰＵ１６は、フォーカス検出用画素からの出力信号を用いて位相差検出演算を行うことにより、撮影レンズ１１による焦点調節状態（具体的にはデフォーカス量）を検出する。この位相差検出演算は、上記特開２００７－３１７９５１号公報の記載事項と同様であるため、説明を省略する。
　また、ＣＰＵ１６は、後述する操作部材２０を構成するズームスイッチ（不図示）から操作信号が入力された場合に、撮影レンズ１１を構成するズームレンズ（不図示）を光軸方向に進退移動させる。これにより、撮影画角が調節される。ズームレンズ（不図示）の駆動も、ＣＰＵ１６から指示を受けたレンズ駆動部２１が行う。
　撮像素子１２は、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮像面１２ａ上に結像された被写体像をアナログ撮像信号に光電変換する。撮像素子１２から出力されたアナログ撮像信号は、Ａ／Ｄ変換部１３においてデジタル画像データに変換される。画像処理部１４は、デジタル画像データに対して所定の画像処理を行って画像データを生成する。
　液晶モニタ１５は、ＣＰＵ１６からの指示に応じて、画像や操作メニュー画面を表示する。不揮発性メモリ１７は、ＣＰＵ１６が実行するプログラムや、実行処理に必要なデータなどを格納する。不揮発性メモリ１７が格納するプログラムやデータの内容は、ＣＰＵ１６からの指示によって追加、変更が可能に構成されている。ＣＰＵ１６は、例えばバッファメモリ１８を作業領域として制御プログラムを実行し、カメラ各部に対する種々の制御を行う。
　バッファメモリ１８は、デジタル画像データを一時的に記憶する場合にも使用される。本実施形態では、撮影指示（シャッターボタンの全押し操作）前後に撮像素子１２によって所定のフレームレートで取得されるキャプチャ画像を一時的に記憶する。キャプチャ画像については後述する。
　画像処理部１４は、デジタル画像データに対する画像処理以外にも、画像データを格納した所定形式の画像ファイル（例えば Exif ファイル）を生成する。記録再生部１９は、ＣＰＵ１６からの指示に基づいて画像ファイルをメモリカード５０に記録し、また、メモリカード５０に記録されている画像ファイルを読み出す。
　メモリカード５０は、図示しないカードスロットに着脱自在に取り付けられる記録媒体である。ＣＰＵ１６は、記録再生部１９によってメモリカード５０から読み出された画像ファイルに基づいて、液晶モニタ１５に撮影画像を再生表示させる。
　操作部材２０は、上記半押しスイッチ２０ａや、シャッターボタンの全押し操作に伴ってオンする全押しスイッチ２０ｂ、動画撮影スイッチ、およびモード切替スイッチなどを含み、各部材の操作に伴う操作信号をＣＰＵ１６へ送出する。
　半押しスイッチ２０ａからのオン信号（半押し操作信号）は、シャッターボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ２０ｂからのオン信号（全押し操作信号）は、シャッターボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。
＜撮影モード＞
　電子カメラ１は、静止画撮影モードと、動画撮影モードと、スロー動画撮影モードとが、例えば上記モード切替スイッチによって切替え可能に構成されている。静止画撮影モードは、上記全押し操作信号に応じて画像を取得し、取得した画像に基づいて生成した静止画像データをメモリカード５０へ記録するモードである。
　動画撮影モードは、上記操作部材２０を構成する動画撮影スイッチからの操作信号に応じて複数フレームの画像を取得し、該複数フレームの画像に基づいて生成した動画像データをメモリカード５０へ記録するモードである。
　スロー動画撮影モードは、上記全押し操作信号の前後所定時間に取得した複数フレームの画像に基づいてスロー動画像データおよび静止画像データをそれぞれ生成し、該スロー動画像データおよび静止画像データを互いに関連づけてメモリカード５０へ記録するモードである。本説明では、取得時のフレームレートより遅いフレームレートで再生する動画像データのことをスロー動画像データと呼ぶ。本実施形態では、例えば６０フレーム／秒(６０fps)で取得した複数フレームの画像から、２４フレーム／秒(２４fps)で再生するスロー動画像データを生成する。
　本実施の形態は、デジタルカメラ１のスロー動画撮影モードにおいて行い得るトリミングに特徴を有するので、以下の説明はスロー動画撮影モードを中心に行う。図２は、スロー動画撮影モードにおける画像の取得タイミングを説明する図である。
＜フォーカスポイントのセット＞
　図２において、時刻ｔ０においてスロー動画撮影モードに切替え操作されると、ＣＰＵ１６は、液晶モニタ１５にライブビュー画像の表示を開始させる。例えば６０フレーム／秒(60fps)のフレームレートで撮像素子１２に被写体像を撮像させ、得られたデジタル画像データに基づく再生画像を液晶モニタ１５に逐次表示させる。ＣＰＵ１６はまた、デジタル画像データ値に基づいて露出演算を行いながら、適正露出が得られるように露出制御を行う。
　ライブビュー画像を表示中のＣＰＵ１６は、シャッターボタンの半押し操作時に行うＡＦ処理の対象とするフォーカスポイントの設定操作を受け付ける。フォーカスポイントの設定は、図３に例示するように、ライブビュー画像上でフォーカスポイントを示すマークＭ１を移動させることによって行う。マークＭ１の位置は、例えば操作部材２０を構成する十字キー（不図示）の操作方向に応じて移動可能に構成されている。図３は、フォーカスポイントのセットを説明する図である。本実施形態では、フォーカスポイントを主要被写体３１上にセットする。
＜ピント合わせおよび先撮り＞
　図２の時刻ｔ１において、ユーザーによってシャッターボタンが半押し操作されると（Ｓ１オン）、ＣＰＵ１６は、上記フォーカスポイントに対応するフォーカス検出用画素からの出力信号を用いてＡＦ処理を行う。具体的には、図３に例示した主要被写体３１にピントを合わせる。ＣＰＵ１６は、被写体３１を対象に演算したデフォーカス量に基づく合焦位置へのフォーカシングレンズの移動が終了すると、バッファメモリ１８に対して撮像素子１２で取得された画像データの記録（蓄積）を開始させる。これにより、６０フレーム／秒(60fps)のフレームレートで得られたフレーム画像が、逐次バッファメモリ１８に蓄積される。蓄積されるフレーム画像のピクセル数は、例えば３８４０（水平）×２１６０（垂直）である。
　先撮り撮影のために使用するバッファメモリ１８のメモリ容量は、あらかじめ十分な容量が確保されている。ＣＰＵ１６は、時刻ｔ１以降にバッファメモリ１８内に蓄積したフレーム画像のフレーム枚数が所定枚数（例えば３００枚(５秒分)）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、先撮り撮影のために使用するバッファメモリ１８のメモリ容量を制限できる。
＜静止画像用に用いるフレーム画像＞
　時刻ｔ２において、ユーザーによってシャッターボタンが全押し操作されると（Ｓ２オン）、ＣＰＵ１６は、次に撮像素子１２で撮像されるフレーム画像を静止画像用としてバッファメモリ１８に蓄積する。ＣＰＵ１６は、静止画像用のフレーム画像の特定に必要な情報（例えば、当該フレーム画像の取得時刻と時刻ｔ２との関係を示す情報）をバッファメモリ１８に一時保存しておく。
＜後撮り＞
　ＣＰＵ１６は、上記時刻ｔ２において内部のタイマー回路（不図示）による計時を開始させる。本実施形態では、上記先撮り時と同様に、時刻ｔ２からｔ３までの時間Ｂにおいてバッファメモリ１８に対する画像データの記録（蓄積）を行う。ＣＰＵ１６は、タイマー回路による計時時間Ｂ（例えば０．５秒間）の計時が終了すると、時刻ｔ３においてバッファメモリ１８への画像データの蓄積を終了させる。
　図４に例示するフローチャートを参照して、一連のスロー動画撮影時にＣＰＵ１６が実行する処理の流れを説明する。ＣＰＵ１６は、スロー動画撮影モードに切替え操作されると、図４の処理を行うプログラムを繰り返し実行する。図４のステップＳ１１において、ＣＰＵ１６は、液晶モニタ１５にライブビュー画像の表示を開始させて、シャッターボタンが半押し操作されたか否かを判定する。ＣＰＵ１６は、半押しスイッチ２０ａからの操作信号が入力された場合にステップＳ１１を肯定判定してステップＳ１２へ進む。ＣＰＵ１６は、半押しスイッチ２０ａからの操作信号が入力されない場合には、ステップＳ１１を否定判定して当該判定処理を繰り返す。
　ステップＳ１２において、ＣＰＵ１６はＡＦ処理を開始させ、主要被写体３１に合焦したか否かを判定する。ＣＰＵ１６は、合焦位置へフォーカシングレンズの移動が終了すると、ステップＳ１２を肯定判定してステップＳ１３へ進む。これにより、被写体３１にピントが合う。ＣＰＵ１６は、フォーカシングレンズの移動が終了しない場合はステップＳ１２を否定判定して当該判定処理を繰り返す。
　ステップＳ１３において、ＣＰＵ１６は、バッファメモリ１８への画像データの蓄積を行わせてステップＳ１４へ進む。ステップＳ１４において、ＣＰＵ１６は、シャッターボタンが全押し操作されたか否かを判定する。ＣＰＵ１６は、全押しスイッチ２０ｂからの操作信号が入力された場合にステップＳ１４を肯定判定してステップＳ１５へ進む。ＣＰＵ１６は、全押しスイッチ２０ｂからの操作信号が入力されない場合には、ステップＳ１４を否定判定してステップＳ１３へ戻る。これにより、先撮りしながら全押し操作を待つ。
　ステップＳ１５において、ＣＰＵ１６は、撮像素子１２に静止画像用のフレーム画像を取得させ、該フレーム画像をバッファメモリ１８に蓄積させておく。ＣＰＵ１６はさらに、当該フレーム画像の取得時刻と時刻ｔ２との関係を示す情報をバッファメモリ１８に一時保存しておく。
　ステップＳ１６において、ＣＰＵ１６は、シャッターボタンの全押し操作後もバッファメモリ１８へ画像データの蓄積を行わせてステップＳ１７へ進む。ステップＳ１７において、ＣＰＵ１６はタイムアップか否かを判定する。ＣＰＵ１６は、時刻ｔ２において開始した計時時間Ｂの計時が終了すると、ステップＳ１７を肯定判定してステップＳ１８へ進む。この場合、バッファメモリ１８への画像データの蓄積を終了させる。一方、ＣＰＵ１６は、計時時間Ｂの計時が終了しない場合にはステップＳ１７を否定判定してステップＳ１６へ戻る。これにより、全押し操作後に時間Ｂが経過するまで後撮りが行われる。
　ステップＳ１８において、ＣＰＵ１６は、縦長動画像生成の判定処理を行ってステップＳ１９へ進む。縦長動画像生成の判定処理の詳細については後述する。ステップＳ１９において、ＣＰＵ１６は縦長動画像を記録するか否かを判定する。ＣＰＵ１６は、縦長動画像生成の判定処理によって「縦長構図あり」が判定されている場合は、ステップＳ１９を肯定判定してステップＳ２０へ進む。ＣＰＵ１６は、「縦長構図あり」が判定されていない場合には、ステップＳ１９を否定判定してステップＳ２１へ進む。
　ステップＳ２０において、ＣＰＵ１６は画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいて、後述するようにアスペクト比９（水平）：１６（垂直）の静止画像データを生成させる。
　ＣＰＵ１６はさらに、画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積されたフレーム画像群に基づいて、後述するようにアスペクト比９（水平）：１６（垂直）のスロー動画像データを生成させる。ＣＰＵ１６は、スロー動画像データ、および静止画像データを互いに関連づけてメモリカード５０へ記録すると、図４による処理を終了する。
　ステップＳ２１において、ＣＰＵ１６は画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいて、後述するようにアスペクト比１６（水平）：９（垂直）の静止画像データを生成させる。
　ＣＰＵ１６はさらに、画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積されたフレーム画像群に基づいて、後述するようにアスペクト比１６（水平）：９（垂直）のスロー動画像データを生成する。ＣＰＵ１６は、スロー動画像データ、および静止画像データを互いに関連づけてメモリカード５０へ記録すると、図４による処理を終了する。
＜スロー動画像データの生成＞
　画像処理回路１４は、バッファメモリ１８内に蓄積されている時刻ｔ２以前の所定時間Ａ（図２において例えば０．５秒とする）、および時刻ｔ２から時刻ｔ３までの所定時間（上記時間Ｂ）にそれぞれ取得されたフレーム画像群に基づいて、２４フレーム／秒で再生するスロー動画像データを生成させる。これにより、例えば(Ａ＋Ｂ)＝１秒間に取得したフレーム画像群に基づいて、再生時間が２．５秒間のスロー動画像データが得られる。
―アスペクト比９：１６の場合―
　画像処理回路１４は、撮像素子１２で取得された３８４０（水平）×２１６０（垂直）ピクセルの画像データから、１０８０（水平）×１９２０（垂直）ピクセルの画像データを切出す。この切出し処理を、バッファメモリ１８内に蓄積された全フレームの画像群に対して共通に行い、さらに所定の画像処理を行うことで、いわゆる縦長サイズのスロー動画像データを得る。なお、切出し領域は、後述するステップＳ５５（図５）によって決定される。バッファメモリ１８からの画像データの読み出し（フレーム画像のうち縦構図に対応する切出し領域に含まれる画像データの読み出し）は、ステップＳ５６（図５）で行われる。
―アスペクト比１６：９の場合―
　画像処理回路１４は、撮像素子１２で取得された３８４０（水平）×２１６０（垂直）ピクセルの画像データから、水平方向および垂直方向のそれぞれに対して１／２（１９２０（水平）×１０８０（垂直）ピクセル）にリサイズ処理を施して所定の画像処理を行うことで、いわゆる横長サイズのスロー動画像データを得る。
＜静止画像データの生成＞
―アスペクト比９：１６の場合―
　画像処理回路１４は、バッファメモリ１８内に蓄積されている静止画像用の３８４０（水平）×２１６０（垂直）ピクセルの画像データから、１０８０（水平）×１９２０（垂直）ピクセルの画像データを切出す。これにより、いわゆるハイビジョンサイズ（１０８０（水平）×１９２０（垂直）ピクセル）の静止画像データが得られる。
　切出し領域は、後述するステップＳ５５（図５）によって決定され、バッファメモリ１８からの画像データの読み出し（切出し領域に該当する画像データの読み出し）は、ステップＳ５６（図５）で行われる。なお、静止画像データとして、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）の中から所定の選定基準に基づいて抽出したベストショット画像を用いてもよい。
―アスペクト比１６：９の場合―
　画像処理回路１４は、バッファメモリ１８内に蓄積されている静止画像用の３８４０（水平）×２１６０（垂直）ピクセルの画像データから、水平方向および垂直方向のそれぞれに対して１／２（１９２０（水平）×１０８０（垂直）ピクセル）にリサイズ処理を施して所定の画像処理を行うことで、いわゆる横長サイズのハイビジョン相当の静止画像データを得る。なお、静止画像データとして、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）の中から所定の選定基準に基づいて抽出したベストショット画像を用いてもよい。ところで、アスペクト比が１６：９の場合、静止画データとしてはリサイズしない３８４０（水平）×２１６０（垂直）としてもよい。
　ＣＰＵ１６は、以上説明したように互いに関連づけてメモリカード５０へ記録されたスロー動画像データ、および静止画データに基づく再生画像を液晶モニタ１５に再生表示させる場合は、例えば、スロー動画像データに基づく動画像を２．５秒間再生し、続く７．５秒間に静止画像データに基づく生成画像を表示させる。
　縦長動画像生成の判定処理の詳細について、図５のフローチャートを参照して説明する。図５のステップＳ５１において、画像処理回路１４は、ステップＳ１５（図４）において蓄積した静止画像データをバッファメモリ１８から読み込んでステップＳ５２へ進む。
　ステップＳ５２において、画像処理回路１４は、読み込んだ静止画像データから高域周波数成分を抽出してステップＳ５３へ進む。一般に、ピントが合っている場合は画像の先鋭度が高く、当該画像の空間周波数に高い周波数成分を含む。そこで、画面内で所定周波数より高域の周波数成分を有する領域を抽出することで、画像の合焦されている領域を抽出する。
　ステップＳ５３において、画像処理回路１４は構図抽出を行う。上記抽出した合焦領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。図６は、縦長画面に適した領域を例示する図である。図６において、主要被写体３１を含むアスペクト比９（水平）：１６（垂直）の領域を包含する破線領域３２が抽出した構図に対応する。
　図５のステップＳ５４において、画像処理回路１４は縦長構図があるか否かを判定する。画像処理回路１４は、抽出した破線領域３２のアスペクト比が「縦長構図」に該当する場合はステップＳ５４を肯定判定（縦長構図あり）してステップＳ５５へ進む。画像処理回路１４は、破線領域３２のアスペクト比が「縦長構図」に該当しない場合は、ステップＳ５４を否定判定（縦長構図なし）して図５による処理を終了する。
　ステップＳ５５において、画像処理回路１４は、破線領域３２に相当する領域を切出し領域として決定してステップＳ５６へ進む。ステップＳ５６において、バッファメモリ１８に蓄積された各フレーム画像のデータのうち、上記決定した切出し領域に含まれる画像データを順次読み出して図５による処理を終了する。
　以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、静止画撮影指示を含む所定時間(Ａ＋Ｂ)の間に６０fpsで撮像された複数のフレーム画像を順次入力するバッファメモリ１８と、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図の領域３２を探索する画像処理部１４と、入力された複数のフレーム画像の全フレームから、縦構図の領域３２に対応する領域をそれぞれ切出して縦構図の動画像データを生成する画像処理回路１４と、を備えるようにしたので、画像の上下関係を保ちながら、自動的に領域３２に対応する（縦画像）動画像データを得ることができる。
（２）上記（１）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像が撮像された時の６０fpsより少ない２４fpsで再生されるスローモーション動画像データを生成するようにしたので、静止画像の撮影タイミングに合わせて、自動的にスローモーション動画像を得ることができる。
（３）上記（１）または（２）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２に対応するフレーム画像から、所定値より高い空間周波数成分を有する領域を含む縦長領域を探索するようにしたので、合焦されている被写体領域を含む縦長領域を適切に探索できる。
（４）上記デジタルカメラ１において、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２に対応するフレーム画像に基づいて静止画像データを生成する画像処理回路１４と、上記生成されたスローモーション動画像データ及び上記生成された静止画像データを、互いに関連付けてメモリカード５０に記録する記録再生部１９と、をさらに備えるようにしたので、スローモーション動画像とつながりが深い静止画像が得られる。さらに、静止画像とスローモーション動画像のデータに対し、相互に関連性を持たせることができる。
（第二の実施形態）
　第二の実施形態では、高域の周波数成分を抽出する代わりに、フレーム画像間の動き情報を検出し、該動き情報が大きい領域を被写体領域として抽出する。
　図７に例示するフローチャートを参照して第二の実施形態による画像処理回路１４が実行する縦長画像生成の判定処理の流れを説明する。図７において、図５に例示したフローチャートと同様の処理については、同じステップ番号を付して説明を省略する。図７の処理は、図５と比べてステップＳ５１Ｂ、ステップＳ５２Ｂの処理が異なるので、これらの相違点を中心に説明する。
　図７のステップＳ５１Ｂにおいて、画像処理回路１４は、全押し操作前後（例えば、時刻ｔ２を挟む前後３０フレーム分）のフレーム画像データをバッファメモリ１８から読み込んでステップＳ５２Ｂへ進む。
　ステップＳ５２Ｂにおいて、画像処理回路１４は、フレーム画像から動きベクトルを抽出する。具体的には、画面の所定範囲（たとえば、フォーカスポイントを含む所定範囲）について、前フレームと注目フレームとの間の対応するデータからフレーム間で共通する被写体の動きベクトル（被写体の動きの速さや方向）を求める。そして、該動きベクトルの大きさが所定の判定閾値より大きい場合に、これを抽出する。該動きベクトルの大きさが所定の判定閾値より小さければ、動きベクトルの抽出は行わない。フレーム間で画像の動きがない場合は、動きベクトルに基づく構図抽出が困難なためである。
　動きベクトルを抽出した場合の画像処理回路１４は、ステップＳ５３において、上記抽出した動きベクトルに対応する領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。図６の場合と同様に、縦長画面に適した領域を抽出する。以降の処理は第一の実施形態と同様である。
　以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、静止画撮影指示を含む所定時間(Ａ＋Ｂ)の間に６０fpsで撮像された複数のフレーム画像を順次入力するバッファメモリ１８と、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図の領域３２を探索する画像処理部１４と、入力された複数のフレーム画像の全フレームから、縦構図の領域３２に対応する領域をそれぞれ切出して縦構図の動画像データを生成する画像処理回路１４と、を備えるようにしたので、画像の上下関係を保ちながら、自動的に縦画像としての動画像データを得ることができる。
（２）上記（１）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２の前後に取得された複数のフレーム画像から動きベクトルを検出し、その大きさが所定値より大きい動きベクトルを含む縦長領域を探索するようにしたので、フレーム間で動きのある被写体領域を含む縦長領域を適切に探索できる。
（変形例１）
　画像の高域周波数成分に基づいて縦長構図を判定する第一の実施形態において、画像の色情報を検出し、検出した色情報を用いるように構成してもよい。変形例１の画像処理回路１４は、例えば、画像のうち高域周波数成分が検出されている領域、または肌色が検出されている領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。
　変形例１によれば、色情報も含めることで、高域周波数成分のみに基づく場合に比べて適切に縦長画面に適した領域を抽出することができる。
（変形例２）
　画像のフレーム間の動きベクトルに基づいて縦長構図を判定する第二の実施形態において、画像の輝度情報を検出し、検出した輝度情報を用いるように構成してもよい。変形例２の画像処理回路１４は、例えば、画像のうち動きベクトルが検出されている領域、またはフレーム間で輝度変化が検出されている領域を主要被写体と仮定し、構図決定に用いられる公知の手法、例えば「三分割法」にしたがって縦長画面に適した主要被写体を含む領域を抽出する。
　変形例２によれば、輝度情報も含めることで、動きベクトルのみに基づく場合に比べて適切に縦長画面に適した領域を抽出することができる。
（変形例３）
　第一の実施形態および第二の実施形態を組み合わせてもよい。動きベクトルに基づいて縦長構図を判定する第二の実施形態は、被写体に動きのない場合に構図抽出が困難である。一方、画像の高域周波数成分に基づいて縦長構図を判定する第一の実施形態は、被写体に動きがなくても構図抽出が行える。そこで、第一の実施形態および第二の実施形態を組み合わせることで、動きのある被写体の場合は、少々ピントが外れていても（すなわち、高域周波数成分が抽出できなくても）、動きベクトルに基づいて縦長構図を判定することができる。また、動きのない被写体の場合は、動きベクトルを検出できなくても、ピントが合っていれば高域周波数成分に基づいて縦長構図を判定することができる。
（第三の実施形態）
　上述した実施形態では、取得するフレーム画像が横長（３８４０（水平）×２１６０（垂直）ピクセル）の場合に縦長構図を判定すると、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいてアスペクト比９（水平）：１６（垂直）の縦長静止画像データをトリミング生成するとともに、バッファメモリ１８内に蓄積されたフレーム画像群に基づいてアスペクト比９（水平）：１６（垂直）の縦長スロー動画像データをトリミング生成した。
　第三の実施形態では、取得するフレーム画像が縦長（２１６０（水平）×３８４０（垂直）ピクセル）の場合に横長構図を判定すると、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいてアスペクト比１６（水平）：９（垂直）の横長静止画像データをトリミング生成するとともに、バッファメモリ１８内に蓄積されたフレーム画像群に基づいてアスペクト比１６（水平）：９（垂直）の横長スロー動画像データをトリミング生成する。
　第三の実施形態のＣＰＵ１６は、図４のステップＳ１８に代えて、横長動画像生成の判定処理を行ってステップＳ１９へ進む。横長動画像生成の判定処理の詳細については後述する。ＣＰＵ１６はさらに、図４のステップＳ１９に代えて、横長動画像を記録するか否かを判定する。ＣＰＵ１６は、横長動画像生成の判定処理によって「横長構図あり」が判定される場合にステップＳ２１へ進む。ＣＰＵ１６は、「横長構図あり」が判定されない場合には、ステップＳ２０へ進む。
　ステップＳ２０において、ＣＰＵ１６は画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいて、後述するようにアスペクト比１６（水平）：９（垂直）の静止画像データを生成させる。
　ＣＰＵ１６はさらに、画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積されたフレーム画像群に基づいて、後述するようにアスペクト比１６（水平）：９（垂直）のスロー動画像データを生成させる。ＣＰＵ１６は、スロー動画像データ、および静止画像データを互いに関連づけてメモリカード５０へ記録すると、図４による処理を終了する。
　ステップＳ２１において、ＣＰＵ１６は画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積された静止画像用フレーム画像に基づいて、後述するようにアスペクト比９（水平）：１６（垂直）の静止画像データを生成させる。
　ＣＰＵ１６はさらに、画像処理回路１４へ指示を送り、バッファメモリ１８内に蓄積されたフレーム画像群に基づいて、後述するようにアスペクト比９（水平）：１６（垂直）のスロー動画像データを生成する。ＣＰＵ１６は、スロー動画像データ、および静止画像データを互いに関連づけてメモリカード５０へ記録すると、図４による処理を終了する。
　横長動画像生成の判定処理の詳細について、図８のフローチャートを参照して説明する。図８のステップＳ５１Ｃにおいて、画像処理回路１４は、ステップＳ１５（図４）において蓄積した静止画像データをバッファメモリ１８から読み込んでステップＳ５２へ進む。
　ステップＳ５２において、画像処理回路１４は、読み込んだ静止画像データから高域周波数成分を抽出してステップＳ５３へ進む。ステップＳ５３において、画像処理回路１４は構図抽出を行う。第一の実施形態と同様に、上記抽出した合焦領域を主要被写体３１と仮定し、構図決定に用いられる公知手法にしたがって横長画面に適した主要被写体３１を含む領域を抽出する。
　図９は、横長画面に適した領域を例示する図である。図９において、主要被写体３１を含むアスペクト比１６（水平）：９（垂直）の領域を包含する破線領域３２が、抽出した構図に対応する。
　図８のステップＳ５４Ｂにおいて、画像処理回路１４は横長構図があるか否かを判定する。画像処理回路１４は、抽出した破線領域３２のアスペクト比が「横長構図」に該当する場合はステップＳ５４Ｂを肯定判定（横長構図あり）してステップＳ５５へ進む。画像処理回路１４は、破線領域３２のアスペクト比が「横長構図」に該当しない場合は、ステップＳ５４Ｂを否定判定（横長構図なし）して図８による処理を終了する。
　ステップＳ５５において、画像処理回路１４は、破線領域３２に相当する領域を切出し領域として決定してステップＳ５６へ進む。ステップＳ５６において、バッファメモリ１８に蓄積された各フレーム画像のデータのうち、上記決定した切出し領域に含まれる画像データを順次読み出して図８による処理を終了する。
＜スロー動画像データの生成＞
　画像処理回路１４は、バッファメモリ１８内に蓄積されている時刻ｔ２以前の所定時間Ａ、および時刻ｔ２から時刻ｔ３までの所定時間Ｂにそれぞれ取得されたフレーム画像群に基づいて、以下のように２４フレーム／秒で再生するスロー動画像データを生成する。
―アスペクト比１６：９の場合―
　画像処理回路１４は、撮像素子１２で取得された２１６０（水平）×３８４０（垂直）ピクセルの画像データから、１９２０（水平）×１０８０（垂直）ピクセルの画像データを切出す。この切出し処理を、バッファメモリ１８内に蓄積された全フレームの画像群に対して共通に行い、さらに所定の画像処理を行うことで、図１０に例示するように、いわゆる横長サイズのスロー動画像データを得る。なお、切出し領域は、上記ステップＳ５５（図８）によって決定される。バッファメモリ１８からの画像データの読み出し（フレーム画像のうち縦構図に対応する切出し領域に含まれる画像データの読み出し）は、ステップＳ５６（図８）で行われる。
―アスペクト比９：１６の場合―
　画像処理回路１４は、撮像素子１２で取得された２１６０（水平）×３８４０（垂直）ピクセルの画像データから、水平方向および垂直方向のそれぞれに対して１／２（１０８０（水平）×１９２０（垂直）ピクセル）にリサイズ処理を施して所定の画像処理を行うことで、いわゆる縦長サイズのスロー動画像データを得る。
＜静止画像データの生成＞
―アスペクト比１６：９の場合―
　画像処理回路１４は、バッファメモリ１８内に蓄積されている静止画像用の２１６０（水平）×３８４０（垂直）ピクセルの画像データから、１９２０（水平）×１０８０（垂直）ピクセルの画像データを切出す。これにより、いわゆるハイビジョンサイズ（１９２０（水平）×１０８０（垂直）ピクセル）の静止画像データが得られる。
　切出し領域は、上記ステップＳ５５（図８）によって決定され、バッファメモリ１８からの画像データの読み出し（切出し領域に該当する画像データの読み出し）は、ステップＳ５６（図８）で行われる。なお、静止画像データとして、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）の中から所定の選定基準に基づいて抽出したベストショット画像を用いてもよい。
―アスペクト比９：１６の場合―
　画像処理回路１４は、バッファメモリ１８内に蓄積されている静止画像用の２１６０（水平）×３８４０（垂直）ピクセルの画像データから、水平方向および垂直方向のそれぞれに対して１／２（１０８０（水平）×１９２０（垂直）ピクセル）にリサイズ処理を施して所定の画像処理を行うことで、いわゆる縦長サイズのハイビジョン相当の静止画像データを得る。なお、静止画像データとして、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）の中から所定の選定基準に基づいて抽出したベストショット画像を用いてもよい。ところで、アスペクト比が９：１６の場合、静止画データとしてはリサイズしない２１６０（水平）×３８４０（垂直）としてもよい。
　ＣＰＵ１６は、以上説明したように互いに関連づけてメモリカード５０へ記録されたスロー動画像データ、および静止画データに基づく再生画像を液晶モニタ１５に再生表示させる場合は、例えば、スロー動画像データに基づく動画像を２．５秒間再生し、続く７．５秒間に静止画像データに基づく生成画像を表示させる。
　以上説明したように第三の実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、静止画撮影指示を含む所定時間(Ａ＋Ｂ)の間に６０fpsで撮像された複数のフレーム画像を順次入力するバッファメモリ１８と、入力された複数のフレーム画像のうち、静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で横構図の領域３２を探索する画像処理部１４と、入力された複数のフレーム画像の全フレームから、横構図の領域３２に対応する領域をそれぞれ切出して横構図の動画像データを生成する画像処理回路１４と、を備えるようにしたので、画像の上下関係を保ちながら、自動的に領域３２に対応する（横画像）動画像データを得ることができる。
（２）上記（１）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像が撮像された時の６０fpsより少ない２４fpsで再生されるスローモーション動画像データを生成するようにしたので、静止画像の撮影タイミングに合わせて、自動的にスローモーション動画像を得ることができる。
（３）上記（１）または（２）のデジタルカメラ１において、画像処理回路１４は、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２に対応するフレーム画像から、所定値より高い空間周波数成分を有する領域を含む横長領域を探索するようにしたので、合焦されている被写体領域を含む横長領域を適切に探索できる。
（４）上記デジタルカメラ１において、入力された複数のフレーム画像のうち静止画像撮影指示のタイミングｔ２に対応するフレーム画像に基づいて静止画像データを生成する画像処理回路１４と、上記生成されたスローモーション動画像データ及び上記生成された静止画像データを、互いに関連付けてメモリカード５０に記録する記録再生部１９と、をさらに備えるようにしたので、スローモーション動画像とつながりが深い静止画像が得られる。さらに、静止画像とスローモーション動画像のデータに対し、相互に関連性を持たせることができる。
（変形例４）
　第三の実施形態においても、第二の実施形態と組み合わせて構わない。すなわち、高域の周波数成分を抽出する代わりにフレーム画像間の動き情報を検出し、該動き情報が大きい領域を被写体領域として抽出する。また、動きのある被写体の場合は、動きベクトルに基づいて横長構図を判定し、動きのない被写体の場合に高域周波数成分に基づいて横長構図を判定する。このように組み合わせることで、動きのある被写体の場合は、少々ピントが外れていても（すなわち、高域周波数成分が抽出できなくても）、動きベクトルに基づいて横長構図を判定できる。また、動きのない被写体の場合は、動きベクトルを検出できなくても、ピントが合っていれば高域周波数成分に基づいて横長構図を判定できる。
（変形例５）
　上述した各実施形態では、撮像素子１２で取得されるフレーム画像のアスペクト比と異なる横長構図または縦長構図の静止画像をバッファメモリ１８内に蓄積した静止画像用フレーム画像から切出してトリミング生成し、かつ撮像素子１２で取得されるフレーム画像のアスペクト比と異なる横長構図または縦長構図のスロー動画像をバッファメモリ１８内に蓄積したフレーム画像群からそれぞれ切出してトリミング生成した場合に、トリミング生成した静止画像データおよびトリミング生成したスロー動画像データを互いに関連づけてメモリカード５０へ記録する例を説明した。これに加えて、トリミング前の静止画像データおよびトリミング前のスロー動画像データも互いに関連づけてメモリカード５０へ記録するように構成してもよい。また、トリミング生成後の静止画像データおよびスロー動画像データのみを記録する方式と、変形例５の記録方式とを、ユーザーによる選択操作に基づいて切替え可能に構成してもよい。
（変形例６）
　上記各実施形態では、静止画像やスロー動画像をトリミング生成する場合の切出し領域の決定をＣＰＵ１６が自動的に決定する例を説明したが、切出し領域をユーザーによる指定操作に基づいて決定するように構成してもよい。変形例６によれば、ユーザー好みの構図の静止画像やスロー動画像を生成できる。
（変形例７）
　上記各実施形態では、上記トリミング生成する切出し領域をＣＰＵ１６が自動的に決定する場合において、全押し操作（Ｓ１４）に応じて蓄積した静止画像データを基準画像として、この基準画像に基づいて全フレーム画像に対して共通に適用する切出し領域を決定する例を説明した。この代わりに、バッファメモリ１８に蓄積されている画像データであって、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）の中から所定の選定基準に基づいてＣＰＵ１６が自動的に選出した画像を基準画像とし、この基準画像に基づいて全フレーム画像に対して共通に適用する切出し領域を決定するように構成してもよい。
（変形例８）
　また、バッファメモリ１８に蓄積されている画像データであって、時刻ｔ１以後（すなわちＡＦ処理後）に取得された画像群からユーザーによる選択操作に基づいて選出した画像を基準画像とし、この基準画像に基づいて全フレーム画像に対して共通に適用する切出し領域を決定するように構成してもよい。
（変形例９）
　さらにまた、バッファメモリ１８に蓄積されている画像データであって、上記時間Ａに取得された画像群（先取り画像）および上記時間Ｂに取得された画像群（後撮り画像）を構成する全てのフレーム画像を基準画像とし、各基準画像に基づいて各フレーム画像に適用する切出し領域をそれぞれ決定するように構成してもよい。
（変形例１０）
　変形例７～変形例９において決定した基準画像に対してピクセル数を減少させる縮小処理を施したダウンサイジング画像を改めて基準画像とし、当該ダウンサイジング画像に基づいて切出し領域を決定するように構成してもよい。
（変形例１１）
　変形例７～変形例１０の４つの方式のうち、ユーザーによる選択操作に基づいて決定した方式によって基準画像を決定し、この基準画像に基づいて切出し領域を決定するように構成してもよい。
（変形例１２）
　上記各変形例は、第一の実施形態ないし第三の実施形態と適宜組み合わせてもよい。
（変形例１３）
　上述した説明では、デジタルカメラ１を例に説明した。デジタルカメラ１の代わりに、デジタルフォトフレーム、プロジェクタなどの電子機器、あるいはパーソナルコンピュータにスロー動画像データを生成させるように構成してもよい。
　変形例１３の場合は、デジタルカメラ１が、時間Ａおよび時間Ｂにおいてバッファメモリ１８に蓄積したフレーム画像群を全てメモリカード５０へ記録する。ここで、静止画像用のフレーム画像の特定に必要な情報（例えば、当該フレーム画像の取得時刻と時刻ｔ２との関係を示す情報）も、合わせてメモリカード５０へ記録する。
　デジタルフォトフレーム、プロジェクタなどの電子機器、あるいはパーソナルコンピュータは、メモリカード５０に記録されているフレーム画像群に基づいて、上記時刻ｔ２（全押し操作タイミング）の前後所定時間に取得した複数フレームの画像に基づいてスロー動画像データおよび静止画像データをそれぞれ生成し、該スロー動画像データおよび静止画像データを互いに関連づける。
　変形例１３によれば、時間Ａおよび時間Ｂにおいて取得されたフレーム画像群を全てメモリカード５０へ記録しておくことで、該メモリカード５０に記録されているデータに基づいて、後からスロー動画像データおよび静止画像データを生成することができる。
（変形例１４）
　上述した説明では、撮像素子１２で取得された３８４０×２１６０（または２１６０×３８４０）ピクセルの画像データから、１０８０×１９２０（または１９２０×１０８０）ピクセルの画像データを１つ切出す例を説明した。切出す画像の数は１つに限ることはなく、撮影画面における複数箇所から複数の画像データを切出してもよい。また、切出す水平あるいは垂直のピクセル数は、必ずしも上記数値に限らなくてよい。
（変形例１５）
　以上の説明では、横長構図と縦長構図とを切替える切出しをデジタルカメラ１のスロー動画撮影モードにおいて行う例を説明したが、スロー再生でない通常の動画（録画時と再生時のフレームレートが同じ）を撮影する場合において横長構図と縦長構図とを切替えるように構成してもよい。この場合において、静止画像やスロー動画像をトリミング生成する場合の切出し領域を決定する基準画像として、変形例７～変形例１０のいずれかの方式と同様に決定した基準画像を用いてよいのは言うまでもない。
（変形例１６）
　動画撮影モード用の動画撮影スイッチと別に、「横長／縦長切替え」スイッチを設けてもよい。この場合のＣＰＵ１６は、動画撮影中に操作部材２０を構成する「横長／縦長切替え」スイッチが操作されると、この操作以降に取得するフレーム画像に対し、横長構図と縦長構図との切替えを行う。なお、動画撮影モードとは、上述した動画撮影スイッチからの操作信号に応じて複数フレームの画像を取得し、該複数フレームの画像に基づいて生成した動画像データをメモリカード５０へ記録するモードである。また、スロー動画撮影モードにおいて「横長／縦長切替え」スイッチが操作された場合のＣＰＵ１６は、例えば、上記変形例６に記載した指定操作を受け付ける。すなわち、切出し領域をユーザーによる指定操作に基づいて決定してから、スロー動画撮影モードの動作を開始させる。
　上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２０１１年第２４１１３７号（２０１１年１１月２日出願）
 

Claims (6)

  1. 　静止画撮影指示を含む所定時間の間に所定のフレームレートで撮像された複数のフレーム画像を順次入力するフレーム画像入力部と、
    　前記入力された前記複数のフレーム画像のうち、所定のフレーム画像に基づいて画面内でトリミング領域を探索する領域探索部と、
    　前記入力された前記複数のフレーム画像の全フレームから、前記トリミング領域に対応する領域をそれぞれ切出して動画像データを生成する動画像データ生成部と、
    を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置において
    　前記領域探索部は、前記入力された前記複数のフレーム画像のうち、前記静止画像撮影指示のタイミングに対応するフレーム画像に基づいて画面内で縦構図または横構図の領域を探索する画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記動画像データ生成部は、前記入力された前記複数のフレーム画像が撮像された時の第１フレームレートより少ない第２フレームレートで再生されるスローモーション動画像データを生成する画像処理装置。
  4. 　請求項２または３に記載の画像処理装置において、
    　前記領域探索部は、前記入力された前記複数のフレーム画像のうち前記静止画像撮影指示のタイミングに対応するフレーム画像から、所定値より高い空間周波数成分を有する領域を含む前記縦構図または前記横構図の領域を探索する画像処理装置。
  5. 　請求項２～４のいずれか一項に記載の画像処理装置において、
    　前記領域探索部は、前記入力された前記複数のフレーム画像のうち前記静止画像撮影指示のタイミングの前後に取得された複数のフレーム画像から動きベクトルを検出し、その大きさが所定値より大きい動きベクトルを含む前記縦構図または前記横構図の領域を探索する画像処理装置。
  6. 　請求項２～５のいずれか一項に記載の画像処理装置において、
    　前記入力された前記複数のフレーム画像のうち前記静止画像撮影指示のタイミングに対応するフレーム画像に基づいて静止画像データを生成する静止画像データ生成部と、
    　前記動画像データ生成部により生成された前記スローモーション動画像データ及び前記静止画像データ生成部により生成された前記静止画像データを、互いに関連付けて記録媒体に記録する記録制御部と、
    をさらに備える画像処理装置。
PCT/JP2012/077910 2011-11-02 2012-10-29 画像処理装置 WO2013065642A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-241137 2011-11-02
JP2011241137A JP2015008342A (ja) 2011-11-02 2011-11-02 画像処理装置

Publications (1)

Publication Number Publication Date
WO2013065642A1 true WO2013065642A1 (ja) 2013-05-10

Family

ID=48191989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077910 WO2013065642A1 (ja) 2011-11-02 2012-10-29 画像処理装置

Country Status (2)

Country Link
JP (1) JP2015008342A (ja)
WO (1) WO2013065642A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017067389A1 (zh) * 2015-10-21 2017-04-27 努比亚技术有限公司 一种信息处理方法、移动终端及计算机存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110506292A (zh) * 2017-04-13 2019-11-26 夏普株式会社 图像处理装置、摄像装置、终端装置、图像校正方法及图像处理程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094919A (ja) * 1999-09-20 2001-04-06 Canon Inc 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2007028331A (ja) * 2005-07-19 2007-02-01 Casio Comput Co Ltd 画像生成装置及びそのプログラム
JP2008022306A (ja) * 2006-07-13 2008-01-31 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2008124787A (ja) * 2006-11-13 2008-05-29 Sanyo Electric Co Ltd 手ぶれ補正装置及び方法並びに撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094919A (ja) * 1999-09-20 2001-04-06 Canon Inc 画像記録装置、方法、及びコンピュータ読み取り可能な記憶媒体
JP2007028331A (ja) * 2005-07-19 2007-02-01 Casio Comput Co Ltd 画像生成装置及びそのプログラム
JP2008022306A (ja) * 2006-07-13 2008-01-31 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP2008124787A (ja) * 2006-11-13 2008-05-29 Sanyo Electric Co Ltd 手ぶれ補正装置及び方法並びに撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017067389A1 (zh) * 2015-10-21 2017-04-27 努比亚技术有限公司 一种信息处理方法、移动终端及计算机存储介质

Also Published As

Publication number Publication date
JP2015008342A (ja) 2015-01-15

Similar Documents

Publication Publication Date Title
JP5447619B2 (ja) 撮像装置
JP4654887B2 (ja) 撮像装置
JP2011199565A (ja) 撮像装置、及びプログラム
JP2007215091A (ja) 撮像装置及びそのプログラム
JP6771192B2 (ja) 撮像装置
JP5578442B2 (ja) 撮像装置、画像合成方法、及びプログラム
US20130120642A1 (en) Digital photographing apparatus and method of controlling the same
JP2006303961A (ja) 撮像装置
JP6323022B2 (ja) 画像処理装置
JP2017153063A (ja) 撮像装置
JP6643036B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
JP2006067452A (ja) 映像記録装置、および電子カメラ
JP6031670B2 (ja) 撮像装置
JP2013110754A (ja) カメラ装置、及びその撮影方法とプログラム
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP2009017517A (ja) 撮像装置
WO2013065642A1 (ja) 画像処理装置
JP2003262786A (ja) 撮像装置及びその自動合焦方法
JP5858658B2 (ja) 撮像装置
JP6435527B2 (ja) 撮像装置
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2010093579A (ja) 撮像装置及びその制御方法及びプログラム
JP6347056B2 (ja) 撮像装置および静止画像生成方法
JP5641352B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010288212A (ja) カメラ及び動画編集用プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12844698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12844698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP