WO2020066332A1 - 撮影装置、撮影方法、及びプログラム - Google Patents

撮影装置、撮影方法、及びプログラム Download PDF

Info

Publication number
WO2020066332A1
WO2020066332A1 PCT/JP2019/031326 JP2019031326W WO2020066332A1 WO 2020066332 A1 WO2020066332 A1 WO 2020066332A1 JP 2019031326 W JP2019031326 W JP 2019031326W WO 2020066332 A1 WO2020066332 A1 WO 2020066332A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
frame
image file
still image
file
Prior art date
Application number
PCT/JP2019/031326
Other languages
English (en)
French (fr)
Inventor
和田　哲
林　健吉
田中　康一
幸徳 西山
哲也 藤川
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020548118A priority Critical patent/JP7003286B2/ja
Publication of WO2020066332A1 publication Critical patent/WO2020066332A1/ja
Priority to US17/187,191 priority patent/US11509826B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation

Definitions

  • the present invention relates to a photographing device, a photographing method, and a program for photographing a moving image, and more particularly, to a photographing device, a photographing method, and a program for extracting a frame constituting a moving image as a still image.
  • Patent Literature 1 A technique for extracting a frame constituting a moving image as a still image is known.
  • a moving image is marked at a still image acquisition timing according to a user's instruction, and after the end of the shooting of the moving image, a marked portion and moving image frames before and after the marked portion are extracted and displayed. It is described that a still image extraction timing is selected, and a moving image frame at that timing can be extracted as a still image.
  • Patent Document 1 it is difficult to grasp the relationship between a moving image and a still image extracted from a frame of the moving image. Such a problem becomes more prominent as the recording time of a moving image becomes longer.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a photographing apparatus, a photographing method, and a program that can easily grasp the relationship between a moving image and a still image extracted from a frame of the moving image.
  • a photographing apparatus generates a still image file by extracting a first frame from a plurality of frames constituting a moving image and a photographing unit for photographing a moving image.
  • a still image file generating unit, a moving image file generating unit for generating a plurality of moving image files by dividing a moving image according to generation of the still image file, and a first frame of the still image file among the plurality of moving image files A storage unit for storing the first moving image file in association with the first moving image file.
  • a plurality of moving image files are generated by dividing a moving image in accordance with generation of a still image file, and the first moving image including a first frame among the plurality of moving image files is generated. Since the data is stored in association with the file, the relationship between the moving image and the still image extracted from the frame of the moving image can be easily grasped even when the recording time of the moving image is long.
  • the imaging device is the imaging device according to the first aspect, wherein the imaging unit captures a first moving image in a first moving image shooting mode or a moving image having different shooting conditions from the first moving image shooting mode.
  • the moving image file generation unit divides the moving image according to the generation of the still image file and generates a plurality of moving image files when the second moving image shooting mode is selected. In the second moving image shooting mode, the moving image is divided according to the still image, so that it is easy to refer to the frame from which the still image is extracted in the moving image file.
  • the imaging device is the imaging device according to the second aspect, wherein the second moving image shooting mode has a shutter speed, an autofocus speed, an automatic exposure following speed, and a white balance following the first moving image shooting mode. At least one of the speeds is set to a high speed, and / or the frame rate is set higher for the first moving image shooting mode.
  • the third mode specifically defines an example of the difference in the shooting conditions between the first and second moving image shooting modes in the second mode.
  • the still image file generation unit generates a still image file in a RAW image format.
  • the “RAW image” is an image obtained by converting data output from the image sensor into digital data and recording the data in an unprocessed, uncompressed (or lossless) state. RAW images do not suffer from image quality deterioration due to compression, and have little effect on moving image processing because of little image processing.
  • the moving image file generation unit compresses the moving image in the MPEG format
  • the storage unit converts the still image file into the I-file of the first moving image file. It is stored in association with the frame.
  • the moving image file generation unit generates a moving image file for each GOP including an I frame, a P frame, and a B frame.
  • a GOP Group of Picture
  • a GOP includes at least an I frame.
  • the moving image file generation unit converts the still image file into image data of the same format as the I frame, and the converted image data corresponds to the first frame. Replace with GOP I-frame.
  • the moving image file generation unit determines a difference between the I frame before the replacement and the I frame after the replacement for the P frame and / or the B frame constituting the GOP. to add.
  • the imaging device is the imaging apparatus according to the seventh or eighth aspect, wherein the moving image file generation unit processes the replaced I frame based on the motion information of the P frame and / or the B frame forming the GOP.
  • a P frame and / or a B frame are generated, and the P frame and / or the B frame forming the GOP are replaced with the generated P frame and / or the B frame.
  • the subject may be extracted from the replaced I frame, and the subject may be moved (parallel movement, rotational movement), enlarged and / or reduced, or deformed in accordance with the motion vector.
  • the imaging device is the image capturing device according to any one of the seventh to ninth aspects, further comprising a display control unit that causes the display device to reproduce and display the moving image file in which the replacement has been performed. According to the tenth aspect, the user can watch the moving image in a state where the replacement has been performed.
  • An imaging device according to an eleventh aspect according to any one of the seventh to tenth aspects, further comprising a still image extracting unit that extracts, as a still image, a frame that forms the moving image file in which the replacement has been performed.
  • a still image extracting unit that extracts, as a still image, a frame that forms the moving image file in which the replacement has been performed.
  • the timing of extracting a still image may be the same as or different from the timing of recording a still image during shooting of a moving image.
  • the still image extraction unit causes the display device to display a still image extraction frame corresponding to the first frame among a plurality of frames forming the moving image.
  • a frame selected from the selected still image extraction frames is extracted as a still image.
  • the user can extract a frame at a desired timing as a still image. Note that a frame temporally before and / or after the frame corresponding to the first frame may be further displayed.
  • the moving image file generation unit divides the moving image using the first frame as a top frame.
  • the imaging device is the imaging device according to any one of the first to thirteenth aspects, wherein the moving image file generation unit does not generate a moving image file of the first frame and generates a still image between the two moving image files. A file is inserted to connect a moving image file and a still image file. According to the fourteenth aspect, it is possible to reduce the load caused by simultaneously processing a moving image and a still image.
  • the storage unit stores the first moving image file and the still image file with the same file name.
  • the correspondence between the moving image file and the still image file is clear, and the relationship between the two can be easily grasped.
  • the extension may be different between the moving image file and the still image file.
  • the still image file generation unit in any one of the first to fifteenth aspects, the still image file generation unit generates a still image file in response to a user's still image generation instruction. According to the sixteenth aspect, the user can record a still image at a desired timing.
  • the imaging device is the imaging device according to any one of the first to sixteenth aspects, further comprising an event detection unit that detects an event from a plurality of frames forming the moving image, and the still image file generation unit A still image file is generated according to the detection.
  • an event detection unit that detects an event from a plurality of frames forming the moving image
  • the still image file generation unit A still image file is generated according to the detection.
  • a shooting method includes a shooting step of shooting a moving image, and extracting a first frame from a plurality of frames forming the moving image to generate a still image file.
  • a still image file generating step a moving image file generating step of generating a plurality of moving image files by dividing a moving image according to generation of the still image file, and a first frame of the plurality of moving image files as the still image file And storing the image data in association with the first moving image file.
  • a frame acquired at a timing at which a still image file is generated, or a frame generated thereafter and acquired near the timing at which a still image file is generated It is preferable to divide the moving image by setting the frame to be the first frame of the first moving image file.
  • the imaging method according to a nineteenth aspect is the imaging method according to the eighteenth aspect, wherein, in the imaging step, a first video imaging mode or a second video imaging mode for imaging a video having different imaging conditions from the first video imaging mode.
  • the moving image file generation step when the second moving image shooting mode is selected, the moving image is divided in accordance with the generation of the still image file to generate a plurality of moving image files.
  • a twentieth aspect of the present invention is the imaging method according to the nineteenth aspect, wherein the second moving image shooting mode is different from the first moving image shooting mode in shutter speed, autofocus speed, automatic exposure following speed, and white balance following. At least one of the speeds is set to a high speed, and / or the frame rate is set higher for the first moving image shooting mode.
  • the still image file generation step in the still image file generation step, the still image file is generated in a RAW image format.
  • the moving image file generation step in the moving image file generation step, the moving image is compressed in the MPEG format, and in the storage step, the still image file is converted into the first moving image file. It is stored in association with the I frame.
  • a program according to a twenty-third aspect of the present invention causes an imaging device to execute the imaging method according to any one of the eighteenth to twenty-second aspects.
  • a non-transitory recording medium on which a computer-readable code of the program is recorded is also an aspect of the present invention.
  • the image capturing apparatus As described above, according to the image capturing apparatus, the image capturing method, and the program of the present invention, it is possible to easily grasp the relationship between a moving image and a still image extracted from a frame of the moving image.
  • FIG. 1 is a diagram illustrating a configuration of a camera system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a functional configuration of the image processing apparatus.
  • FIG. 3 is a flowchart showing a recording process of a moving image and a still image.
  • FIG. 4 is a conceptual diagram showing a state of recording a moving image and a still image.
  • FIG. 5 is a flowchart showing the moving image composing process.
  • FIG. 6 is a conceptual diagram illustrating a state of the moving image synthesis processing.
  • FIG. 7 is another flowchart showing the moving image synthesizing process.
  • FIG. 8 is still another flowchart showing the moving image compositing process.
  • FIG. 9 is a diagram illustrating a state in which processing according to the movement of the subject is performed.
  • FIG. 10 is a conceptual diagram showing a state where still image files are inserted between moving image files and connected.
  • FIG. 11 is a diagram illustrating a state in which a still image extraction frame is displayed.
  • FIG. 12 is an external view of a smartphone according to the second embodiment.
  • FIG. 13 is a block diagram illustrating a configuration of a smartphone according to the second embodiment.
  • FIG. 1 is a diagram showing a configuration of a camera system 10 (photographing device) according to the first embodiment.
  • the camera system 10 includes an interchangeable lens 100 (a photographing unit and a photographing device) and a photographing device main body 200 (a photographing device), and forms a subject image (optical image) on the image sensor 210 by a photographing lens including a zoom lens 110 described later. Let it.
  • the interchangeable lens 100 and the photographing apparatus main body 200 can be attached and detached via a mount (not shown).
  • the interchangeable lens 100 includes a zoom lens 110, a focus lens 120, a diaphragm 130, and a lens driving unit 140.
  • the lens driving unit 140 performs zoom (optical zoom) adjustment and focus adjustment by driving the zoom lens 110 and the focus lens 120 forward and backward in response to a command from the image processing device 240 (the lens driving control unit 240G in FIG. 2).
  • the zoom adjustment and the focus adjustment are performed not only in response to a command from the image processing device 240 but also in response to a zoom operation or a focus operation (zoom ring, rotation of the focus ring, etc., not shown) performed by the user. Good.
  • the lens driving unit 140 controls the aperture 130 according to a command from the image processing device 240 to adjust the exposure.
  • information such as the positions of the zoom lens 110 and the focus lens 120 and the degree of opening of the aperture 130 are input to the image processing device 240.
  • the interchangeable lens 100 has an optical axis L1.
  • the imaging device main body 200 includes an imaging element 210 (imaging unit), an AFE 220 (AFE: Analog Front End, imaging unit), an A / D converter 230 (A / D: Analog to Digital, imaging unit), and an image processing device 240 Is provided.
  • the imaging device main body 200 may include a shutter (not shown) for blocking light transmitted to the imaging element 210.
  • the imaging element 210 includes a light receiving surface in which a large number of light receiving elements are arranged in a matrix, and subject light transmitted through the zoom lens 110, the focus lens 120, and the diaphragm 130 is imaged on the light receiving surface of the imaging element 210, The light is converted into an electric signal by each light receiving element.
  • An R (red), G (green), or B (blue) color filter is provided on the light receiving surface of the image sensor 210, and a color image of the subject can be obtained based on signals of each color.
  • various photoelectric conversion elements such as a complementary metal-oxide semiconductor (CMOS) and a charge-coupled device (CCD) can be used.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge-coupled device
  • the AFE 220 performs noise removal and amplification of the analog image signal output from the image sensor 210, and the A / D converter 230 converts the captured analog image signal into a digital image signal having a gradation width.
  • FIG. 2 is a diagram illustrating a functional configuration of the image processing device 240.
  • the image processing device 240 includes a photographing unit 240A (photographing unit), a moving image file generating unit 240B (moving image file generating unit), a still image file generating unit 240C (still image file generating unit), an event detecting unit 240D (event detecting unit),
  • a digital image signal input from the A / D converter 230 includes a display control unit 240E (display control unit), a still image extraction unit 240F (still image extraction unit), and a lens drive control unit 240G (lens drive control unit).
  • processing such as shooting of a moving image and generation of a file, generation of a still image file, processing for a plurality of frames constituting the moving image, extraction of a still image, and the like are performed. Details of the processing by the image processing device 240 will be described later.
  • the functions of the image processing device 240 can be realized using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) which is a general-purpose processor that executes software (program) to realize various functions.
  • the various processors described above include a programmable logic device (GPU) that can change the circuit configuration after manufacturing such as a GPU (Graphics Processing Unit) and an FPGA (Field Programmable Gate Array) that are processors specialized in image processing.
  • Programmable Logic Device PLD
  • the above-mentioned various processors include a dedicated electric circuit which is a processor having a circuit configuration designed specifically for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each unit may be realized by one processor, or may be realized by a plurality of same or different processors (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example in which a plurality of functions are configured by one processor, first, one processor is configured by a combination of one or more CPUs and software, as typified by a computer such as an image processing apparatus main body or a server. There is a form in which this processor is realized as a plurality of functions.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system by one IC (Integrated Circuit) chip
  • various functions are configured using one or more of the above-described various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) combining circuit elements such as semiconductor elements.
  • These electric circuits may be electric circuits that realize the above-described functions by using a logical operation, a logical product, a logical negation, an exclusive logical sum, and a logical operation in which these are combined.
  • the processor or the electric circuit executes the software (program)
  • the processor (computer) readable code of the software to be executed is stored in a non-transitory recording medium such as a ROM (Read Only Memory), Refer to the software.
  • the software stored in the non-transitory recording medium includes a program for executing the imaging method according to the present invention.
  • the code may be recorded on a non-temporary recording medium such as a magneto-optical recording device or a semiconductor memory instead of the ROM.
  • a RAM Random Access Memory
  • data stored in an EEPROM (Electronically Erasable and Programmable Read Only Memory) (not shown) can be referred to. it can.
  • the image processing device 240 includes a ROM 242 (ROM: Read Only Memory, non-temporary recording medium) in addition to the above-described units.
  • the ROM 242 stores computer-readable codes of programs necessary for photographing, recording, displaying, and the like of images (including programs for executing the photographing method according to the present invention).
  • the operation unit 250 includes a release button (not shown), operation buttons (for example, a cross button, a Quick button, an OK button, and the like), a dial, a switch, and the like.
  • the user can set a shooting mode, a moving image shooting instruction, a still image extraction instruction, and the like.
  • Various operations can be performed.
  • the monitor 270 may be used as the operation unit 250.
  • the storage unit 260 includes various types of magneto-optical recording media, non-temporary recording media such as semiconductor memories, and control circuits therefor, and stores moving images, still images, still images extracted from moving images, and the like.
  • the recording medium a type that can be attached to and detached from the imaging apparatus main body 200 can be used.
  • the monitor 270 includes a touch panel type liquid crystal display panel, and can display a moving image, a still image, a still image extracting frame, and the like.
  • the monitor 270 can be arranged on the back side, the top side, or the like of the imaging device main body 200.
  • the camera system 10 may include a finder.
  • the finder is composed of, for example, a liquid crystal display panel, a prism, a lens, and the like, and a user can visually recognize a moving image, a still image, a still image extracting frame, and the like through an eyepiece (not shown).
  • OVF optical view finder
  • EVF electronic view finder
  • HVF hybrid view finder
  • the camera system 10 can set any of a still image shooting mode, a normal moving image shooting mode (first moving image shooting mode), and a still image extraction moving image shooting mode (second moving image shooting mode) as a shooting mode.
  • the still image shooting mode and the normal moving image shooting mode are the same modes as a normal digital camera.
  • the moving image shooting mode for extracting a still image a moving image having different shooting conditions from the normal moving image shooting mode (extracting a still image rather than watching the moving image itself) (Movies with shooting conditions with emphasis on).
  • the moving image shooting mode for extracting a still image at least one of a shutter speed, an autofocus speed, a tracking speed of an automatic exposure, and a tracking speed of a white balance is set to a high speed with respect to the normal moving image shooting mode, And / or the frame rate is set higher than the normal moving image shooting mode.
  • the resolution and the frame rate are set to the maximum values (for example, 4,000 ⁇ 2,000 pixels, 30 frames / second) that can be set in the camera system 10, and the color tone is set on the assumption that still images are extracted.
  • the upper limit of the ISO sensitivity is also set higher than the normal moving image shooting mode.
  • the shutter speed is set to a value corresponding to the frame rate of the moving image to be recorded in the normal moving image shooting mode (1/30 second when the frame rate is 30 frames / second), but in the still image extracting moving image mode. It is set faster than the frame interval (for example, less than 1/30 second).
  • the shutter speed is set to a value corresponding to the frame rate of the moving image so that a smooth moving image is reproduced. In this case, a moving subject may be blurred.
  • the shutter speed is set faster (faster than the frame interval) than in the normal moving image shooting mode, thereby extracting a high-quality still image with less subject blur. Becomes possible.
  • the shutter speed can be increased, and a still image with less blur can be extracted.
  • the auto-focus speed, the auto-exposure tracking speed, the auto white balance tracking speed, and the like can be higher than those in the normal moving image shooting mode, the number of frames focused on the subject and the frames with the proper exposure can be increased. Can be obtained.
  • the frame rate By setting the frame rate to a high rate, the frame interval between moving images is shortened, and the number of frames that can be extracted as a still image is increased.
  • a moving image can be stored and frames constituting the moving image can be extracted as a still image
  • the user cannot know when an event (natural phenomenon, accident, (E.g., happening), a subject whose state changes over time, or a photograph of an instantaneous state of a moving subject can be easily taken.
  • an event natural phenomenon, accident, (E.g., happening)
  • a subject whose state changes over time, or a photograph of an instantaneous state of a moving subject can be easily taken.
  • the still image can be extracted not only at the timing at which the recording of the still image was instructed but also at other timings, the user can obtain the still image at the desired timing.
  • a high-quality still image can be extracted by setting shooting conditions (such as the above-described shutter speed, resolution, and frame rate) suitable for extracting a still image.
  • FIG. 3 is a flowchart showing processing in the still image extraction moving image shooting mode. For example, when the camera system 10 is set to the still image extraction moving image shooting mode by operating a mode dial (not shown) of the operation unit 250, the processing in FIG. 3 is started.
  • the photographing unit 240A and the moving image file generating unit 240B determine whether a moving image photographing instruction has been given (step S100: photographing step, moving image file generating step). For example, when a release button (not shown) of the operation unit 250 is pressed down, it can be determined that “moving image shooting instruction has been given”. If the determination is affirmative, the process proceeds to step S110.
  • step S110 the photographing unit 240A starts photographing a moving image (photographing step), and the moving image file generating unit 240B compresses the photographed moving image and starts storing it as a new moving image file (moving image file generating step). Sound may be recorded and stored together with a microphone (not shown) provided in the camera system 10.
  • the moving image can be compressed in the MPEG format (MPEG2, MPEG4, etc.), and in this case, the moving image frame is divided into an I frame, a P frame, and a B frame.
  • a GOP Group of Picture
  • the I frame is a frame that holds all information of the frame
  • the P frame is a frame that can express only the difference without referring to the previous I frame.
  • the B frame is a frame that can express only a difference without referring to the preceding and succeeding I frame, P frame, and B frame.
  • the still image file generation unit 240C determines whether a still image generation instruction (still image file generation instruction) has been issued (step S120: still image file generation step).
  • the determination of the still image generation instruction can be made in GOP units, in response to a user instruction, or in response to event detection. When the determination is made on a GOP basis, for example, it can be determined that “still image generation instruction has been issued” every time a new GOP is recorded.
  • the determination is made in response to a user instruction, for example, when a release button (not shown) of the operation unit 250 is pressed down or an operation is performed via the monitor 270, it is determined that “a still image generation instruction has been issued by a user instruction”. can do.
  • the event detection unit 240D may select “still image” when detecting a specific subject such as a person's face from a frame constituting a moving image, or when detecting a motion or brightness change of the subject.
  • the generation instruction has been issued. "
  • the movement of the camera system 10 may be detected by a gyro, an acceleration sensor, or the like, and the occurrence of an event (and a still image generation instruction corresponding to the detection of the event) may be determined based on the detection result.
  • the still image generation instruction is determined on a GOP basis, a high-quality still image can be acquired periodically. Therefore, if the increase in power consumption due to the capacity of the recording medium or the still image processing can be tolerated, the best image quality is obtained. Be an option.
  • a still image is recorded according to the user's intention, so that the user can easily search for an image when extracting a still image. It should be noted that the determination on a GOP basis only in a specific case (for example, when the release button is kept pressed) can minimize the above-described influence on the capacity and the increase in power consumption.
  • the still image generation can be performed automatically, so that it is suitable for long-time shooting or unattended shooting.
  • Step S130 moving image file generation step
  • the moving image is divided with the moving image frame (first frame) corresponding to the still image file as the first frame (see FIG. 4 described later). See).
  • a frame obtained after the frame corresponding to the still image file and obtained near the timing at which the still image file is generated may be set as the first frame of the new moving image file.
  • an I frame that is obtained after the frame corresponding to the still image file and is closest to the timing at which the still image file is generated may be set as the first frame of the moving image file.
  • a moving image file may be generated in GOP units.
  • FIG. 4 is a diagram showing a state of divided recording of a moving image.
  • frames of a moving image are continuous like frames 1001, 1002, 1003, 1004, 1005...
  • Frame numbers are N ⁇ 2, N ⁇ 1, N, N + 1,. If the timing is (frame number N), the moving image file generation unit 240B ends the recording of the moving image file 1010 until the frame 1002 (frame number N-1), divides the moving image, and replaces the frame from frame number N with a new frame. It is compressed and stored as a moving image file 1020 (first moving image file).
  • the frame 1003 (frame number N; first frame) becomes the first frame of the new moving image file 1020 related to the division, and the new moving image file 1020 (first moving image file) includes the frame 1003 (frame number N; first frame). 1 frame).
  • the still image file generation unit 240C extracts a frame 1003 (frame number N; first frame) from a plurality of frames constituting the moving image, and generates a still image file 1006 (described later).
  • a moving image is divided every time a still image file is generated, a plurality of divided moving image files are generated.
  • the storage unit stores the plurality of generated moving image files and the plurality of still image files (the plurality of first frames) in association with each other by a method described later.
  • a moving image can be divided into a general-purpose format with a header and a footer added, and a moving image is divided at a frame break in the moving image format on the assumption that the video is played continuously before and after the division.
  • the former method only the divided moving image file can be read and reproduced, so that reproduction can be started at high speed. Further, even if a file other than the necessary moving image file is deleted, reproduction is possible.
  • the latter method does not require processing of a header or footer, and can be handled by the same real-time processing as continuous moving image recording.
  • the still image file generation unit 240C converts the frames (for example, frame 1003) constituting the moving image within a time shorter than the time required for generating and storing one moving image file (the moving image file of the divided moving image; moving image file 1020). Also generates a still image file of a high quality still image. With such a still image recording process, generation and storage of a still image can take more time than one frame of a moving image, and a high-quality still image with a high processing load can be stored. Examples of the “high-quality still image” include an image with a high resolution and an image with a lower compression ratio than the moving image (or may be zero), but are not limited to these examples.
  • Still image file generating section 240C may generate still image file 1006 in a RAW image format.
  • the “RAW image” is an image obtained by converting data output from the image sensor into digital data and recording the data in an unprocessed, uncompressed (or lossless) state. There is no need to perform filter processing necessary for color interpolation and enhancement, and the recording cycle is long, so that the recording of a RAW image has little effect on moving image processing.
  • the RAW image may be recorded for each GOP (for example, at the start of a GOP).
  • Still image file generating section 240C may perform still image processing (so-called “development processing”) on still image file 1006.
  • the still image file generation unit 240C may perform color correction processing (white balance correction or the like) different from that of the moving image file generation unit 240B in the still image processing. Color correction processing can be performed based on the settings.
  • the “high-quality still image” such as the above-described RAW image can be used for improving the quality of a still image extracted from a moving image, as described in detail later.
  • the still image file generation unit 240C stores the above-described still image file 1006 (still image file for a high-quality still image) in association with the moving image file 1020 (first moving image file) (step S140: storage step).
  • the still image file 1006 may be stored in association with the first I frame (frame 1003) of the GOP.
  • association (1) association by a file name, (2) association by a time stamp, (3) association by recording a file name in a header, (4) association by describing a header description ID number in a header, And the like.
  • the storage timing of the above-described still image file (still image file for a high-quality still image based on the first frame), which is an I frame in a frame constituting the moving image file (first moving image file)
  • Information indicating the position of the I frame acquired at a close timing may be stored in association with the still image file by the above-described method. This facilitates frame extraction from moving images.
  • the moving image file generation unit 240B can use a file name including a serial number indicating a time series order with respect to the moving image file of the divided moving image (for example, (shooting date + serial number))
  • the still image file generating unit 240C can record the still image file with the same file name as the file name of the moving image file to be associated.
  • the extension may be changed (for example, “.mpg” and “.raw”).
  • a series of divided moving images and still images stored during shooting of the moving images may be stored in the same folder.
  • the user can easily grasp the relationship between the moving image and the still image extracted from the moving image frame.
  • step S150 The photographing unit 240A, the moving image file generating unit 240B, and the still image file generating unit 240C (and the event detecting unit 240D when the still image recording instruction is performed in response to the event detection) until the moving image recording end instruction is issued (at step S150).
  • the process from step S120 to step S140 is repeated (until YES).
  • the release button (not shown) of the operation unit 250 is pressed down, the determination in step S150 can be affirmed. If the determination in step S150 is affirmed, the image capturing unit 240A and the moving image file generating unit 240B end capturing the moving image and storing the moving image file (step S160).
  • FIG. 5 is a flowchart showing a moving image combining process.
  • the moving image file generation unit 240B performs still image processing (so-called “development processing”) on the still image file 1006 (high-quality still image) such as a RAW image recorded in step S140, and performs image processing in the same format as the I frame.
  • Data is converted into data (step S200: still image conversion step, moving image synthesis step), and the converted still image is replaced with the corresponding GOP I frame (frame 1003) (step S210: first replacement step, moving image synthesis step).
  • the moving image file generation unit 240B stores the divided and recorded moving image files (after the replacement of the I frames) in chronological order. For example, as shown in FIG. 6, when there is a moving image file 1010 composed of frames up to frame number N ⁇ 1 and a moving image file 1020 composed of frames starting from frame number N, the moving image file generation unit 240B After converting the RAW image (still image file 1006) stored at the storage timing of N into the same format as the I frame, replacing it with the I frame of frame number N (frame 1003; the head of the GOP), and replacing it with the moving image file 1010 With the moving image file 1020.
  • the moving image file generation unit 240B can perform replacement and connection based on the above-described association information (file name, header, footer, time stamp, and the like).
  • the I-frame portion of the moving image is improved in image quality by replacing the I-frame. Further, when the subject is focused and has little movement, the image quality of the P frame portion and the B frame portion can also be improved through the I frame.
  • the display control unit 240E can reproduce and display the moving image in the state where the replacement and the connection have been performed on the monitor 270 (display device), so that the user can appreciate the moving image with high image quality.
  • FIG. 7 is a flowchart showing another mode of the moving image composing process. Steps that perform the same processing as in FIG. 5 are assigned the same step numbers, and detailed descriptions thereof are omitted.
  • the moving image file generation unit 240B calculates a difference between the I frame before the replacement and the I frame after the replacement (step S202: difference calculation step, moving image synthesis step), and calculates the P frames and / or Alternatively, the calculated difference is added to the B frame (depending on the configuration of the GOP) (step S212: difference adding step, moving image combining step). After the addition, the moving image files are linked as in the case of FIG.
  • a high-quality still image (an image recorded in step S140 and converted into an I-frame for exchange) is obtained before and after the subject having a slight movement is determined by the difference of the moving part. Correction error caused by the difference in resolution from the I-frame of FIG.
  • FIG. 8 is a flowchart showing still another mode of the moving image compositing process. Steps that perform the same processing as in FIGS. 5 and 7 are given the same step numbers, and detailed descriptions thereof are omitted.
  • the moving image file generation unit 240B calculates the motion information (for example, a motion vector) of the P frame and / or the B frame (Step S204: motion information calculating step, moving image synthesizing step), and based on the motion information, the replaced I frame. Is processed to generate a P frame and / or a B frame (step S214: image generation step, moving image synthesis step).
  • step S214 for example, when it is determined based on the calculated motion information (motion vector) that “a plurality of adjacent macroblocks are moving in the same or almost the same direction (the motion vectors are the same or almost the same)”
  • the moving image file generation unit 240B extracts a subject from the replaced I frame (a frame corresponding to a high-quality still image), and moves, enlarges or reduces, or deforms the subject in accordance with the motion vector.
  • Part (a) of FIG. 9 is a diagram showing how the subject moves in accordance with the same motion vector
  • part (b) of FIG. 9 is a diagram showing how the subject moves and deforms. Note that the dotted line in FIG.
  • the moving image file generation unit 240B replaces the P frames and / or B frames (depending on the configuration of the GOP) forming the GOP with the P frames and / or B frames generated by the processing (Step S216: second replacement step) , Video synthesis step).
  • Step S216 second replacement step
  • Video synthesis step Video synthesis step
  • the moving image file generation unit 240B does not record the moving image frame at the timing of recording the still image file 1006 (the frame number N in the example of FIG.
  • the still image file 1006 may be inserted between the moving image files 1010 and 1030 and the still image file 1006 between the moving image file 1010 up to the number N ⁇ 1 and the moving image file 1030 starting from the frame number N + 1).
  • the camera system 10 can extract a frame constituting a moving image as a still image.
  • the still image extracting unit 240F causes the display device to display a still image extracting frame including a frame corresponding to the stored still image file among the frames constituting the moving image.
  • a still image extracting frame including a frame corresponding to the stored still image file among the frames constituting the moving image For example, when a high-quality still image is stored corresponding to the frame number N of a moving image as shown in FIG. 4, the still image extracting unit 240F performs high processing by the above-described processing (exchange of the I frame, the P frame, and the B frame). A frame including the frame of frame number N among the frames constituting the moving image with the image quality is displayed on the monitor 270 (display device) as a still image extracting frame.
  • FIG. 11 shows an example of such a display, in which five frames 1051 to 1055 (frame numbers N ⁇ 1 to N + 3) including a frame 1052 with a frame number N are displayed.
  • the still image extracting unit 240F attaches a camera-like icon 1060 to the frame 1052 (frame number N) on which the still image is recorded, and the user knows that the frame is a frame on which a still image is recorded. be able to.
  • the range of the still image extraction frame to be displayed is “frame corresponding to the recorded still image file” (the frame 1052 of frame number N in the example of FIG. 11) and the temporally earlier frame (frame 1051) and later frame. (Frames 1053 to 1055) may be included, or only the temporally previous frame may be included, or only the temporally subsequent frame may be included.
  • the range of the still image extraction frame to be displayed may be set according to the user's specification, or may be set without the user's specification. Further, the range of the frame to be displayed may be defined by time (for example, one second before and after a frame in which a still image is recorded) or by the number of frames (for example, before and after a frame in which a still image is recorded).
  • the user can select a frame from the displayed still image extraction frames.
  • the user can select a frame by checking the check box 1070 for a desired frame via the operation unit 250 and / or the monitor 270, and can also select a plurality of frames.
  • the frame on which the still image is recorded is not always recorded at the best timing, and the user may want to select another frame. It is preferable to be able to select from the following frame.
  • FIG. 11 shows a state in which the user has selected a frame 1053 different from the frame in which the still image is recorded (the frame 1052 with the icon 1060).
  • Still image extraction section 240F extracts a frame selected from the still image extraction frames displayed on monitor 270 as a still image. Since the moving image file is stored in a moving image format such as the MPEG format, the still image extracting unit 240F converts the data of the selected frame into a still image format (JPEG format or the like). The user can extract a high-quality still image at a desired timing from a moving image whose image quality has been improved by the above-described moving image synthesis processing.
  • the camera system 10 which is a digital camera has been described, but the configuration of the imaging device is not limited to this.
  • the other photographing device of the present invention for example, a built-in or external PC camera or a portable terminal device having a photographing function as described below can be used.
  • Examples of the mobile terminal device that is an embodiment of the imaging device of the present invention include a mobile phone, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
  • a smartphone will be described as an example, and the details will be described with reference to the drawings.
  • FIG. 12 shows the appearance of a smartphone 1 (photographing device) which is an embodiment of the photographing device of the present invention.
  • the smartphone 1 illustrated in FIG. 12 includes a flat casing 2, and a display panel 21 (display device) as a display unit and an operation panel 22 (operation unit) as an input unit on one surface of the casing 2. And a display input unit 20 which is integrated.
  • the housing 2 includes a speaker 31, a microphone 32, an operation unit 40 (operation unit), and a camera unit 41 (an imaging device, an imaging unit, a moving image file generation unit, a still image file generation unit, an event detection unit, a display A control unit, a still image extraction unit, and a lens drive control unit).
  • the configuration of the housing 2 is not limited to this. For example, a configuration in which the display unit and the input unit are independent from each other, or a configuration having a folding structure or a slide mechanism may be used.
  • FIG. 13 is a block diagram showing a configuration of the smartphone 1 shown in FIG.
  • the main components of the smartphone 1 include a wireless communication unit 11, a display input unit 20, a communication unit 30, an operation unit 40, a camera unit 41, a storage unit 50, an external input / output Unit 60, GPS receiving unit (GPS: Global Positioning System), motion sensor unit 80, power supply unit 90, main control unit 101 (photographing unit, moving image file generating unit, still image file generating unit, event detecting unit , A display control unit, a still image extraction unit, and a lens drive control unit).
  • the smartphone 1 has a wireless communication function for performing mobile wireless communication via a base station device and a mobile communication network as a main function.
  • the wireless communication unit 11 performs wireless communication with a base station device accommodated in a mobile communication network in accordance with an instruction from the main control unit 101. Using such wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and the like, and reception of Web data and streaming data are performed.
  • the display input unit 20 displays images (still images and / or moving images), character information, and the like under the control of the main control unit 101 to visually convey information to the user, and performs a user operation on the displayed information. It is a so-called touch panel for detecting, and includes a display panel 21 and an operation panel 22.
  • the display panel 21 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 22 is a device that is mounted so that an image displayed on the display surface of the display panel 21 can be visually recognized, and detects one or a plurality of coordinates operated by a finger or a stylus of a user. When such a device is operated with a user's finger or a stylus, a detection signal generated due to the operation is output to the main control unit 101. Next, the main control unit 101 detects an operation position (coordinate) on the display panel 21 based on the received detection signal.
  • the display panel 21 and the operation panel 22 of the smartphone 1 exemplified as one embodiment of the photographing apparatus of the present invention constitute a display input unit 20 integrally.
  • Reference numeral 22 is arranged to completely cover the display panel 21.
  • the operation panel 22 may have a function of detecting a user operation even in an area outside the display panel 21.
  • the operation panel 22 includes a detection region (hereinafter, referred to as a display region) for a superimposed portion overlapping the display panel 21 and a detection region (hereinafter, a non-display region) for an outer edge portion not overlapping the display panel 21. ).
  • the size of the display area and the size of the display panel 21 may completely match, but it is not always necessary to match them.
  • the operation panel 22 may include two sensitive regions, an outer edge portion and an inner portion other than the outer edge portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 2 and the like.
  • the position detection method adopted in the operation panel 22 there are a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also.
  • the communication unit 30 includes a speaker 31 and a microphone 32, converts the user's voice input through the microphone 32 into voice data that can be processed by the main control unit 101, and outputs the voice data to the main control unit 101.
  • the audio data received by the external input / output unit 11 or the external input / output unit 60 can be decoded and output from the speaker 31.
  • the speaker 31 can be mounted on the same surface as the surface on which the display input unit 20 is provided, and the microphone 32 can be mounted on the side surface of the housing 2.
  • the operation unit 40 is a hardware key using a key switch or the like, and receives an instruction from a user.
  • the operation unit 40 is mounted on a side surface of the housing 2 of the smartphone 1 and is turned on when pressed by a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 50 stores control programs and control data of the main control unit 101, application software, address data that associates the name and telephone number of a communication partner, data of transmitted and received e-mails, Web data downloaded by Web browsing, It stores downloaded content data and temporarily stores streaming data and the like.
  • the storage unit 50 includes an internal storage unit 51 built in the smartphone and an external storage unit 52 having a removable external memory slot.
  • the internal storage unit 51 and the external storage unit 52 constituting the storage unit 50 include a flash memory type, a hard disk type, a multimedia card micro type, This is realized using a storage medium such as a card type memory (for example, a MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the external input / output unit 60 serves as an interface with all external devices connected to the smartphone 1 and communicates with other external devices (for example, a universal serial bus (USB), IEEE 1394, or the like) or a network.
  • external devices for example, a universal serial bus (USB), IEEE 1394, or the like
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee (registered trademark) ZigBee) (registered trademark) or the like for direct or indirect connection.
  • the external device connected to the smartphone 1 includes, for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, and a SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • I / O Input / Output
  • external audio and video equipment wirelessly connected wired /
  • smartphone connected wirelessly
  • a PDA connected wired / wirelessly
  • a personal computer connected wired / wirelessly, an earphone, and the like.
  • the external input / output unit 60 can transmit data transmitted from such an external device to each component inside the smartphone 1 and can transmit data inside the smartphone 1 to the external device.
  • the GPS receiving unit 70 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with an instruction of the main control unit 101, executes a positioning calculation process based on the plurality of received GPS signals, and executes a position ( Latitude, longitude, altitude).
  • the GPS receiving unit 70 can acquire position information from the wireless communication unit 11 or the external input / output unit 60 (for example, wireless LAN), the GPS receiving unit 70 can also detect the position using the position information.
  • the motion sensor unit 80 includes, for example, a three-axis acceleration sensor, and detects a physical movement of the smartphone 1 according to an instruction from the main control unit 101. By detecting the physical movement of the smartphone 1, the moving direction and the acceleration of the smartphone 1 are detected. Such a detection result is output to the main control unit 101.
  • the power supply unit 90 supplies power stored in a battery (not shown) to each unit of the smartphone 1 according to an instruction from the main control unit 101.
  • the main control unit 101 includes a microprocessor, operates according to a control program and control data stored in the storage unit 50, and controls the respective units of the smartphone 1 including the camera unit 41 in an integrated manner.
  • the main control unit 101 has a mobile communication control function for controlling each unit of a communication system and an application processing function for performing voice communication and data communication through the wireless communication unit 11.
  • the application processing function is realized by the main control unit 101 operating according to the application software stored in the storage unit 50.
  • the application processing functions include, for example, an infrared communication function of controlling the external input / output unit 60 to perform data communication with a partner device, an e-mail function of transmitting / receiving e-mail, and a Web browsing function of browsing a Web page. .
  • the main control unit 101 has an image processing function such as displaying a video on the display input unit 20 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 101 decodes image data, performs image processing on the decoding result, and displays an image on the display input unit 20.
  • the main control unit 101 executes display control for the display panel 21 and operation detection control for detecting a user operation through the operation unit 40 and the operation panel 22.
  • the main control unit 101 displays a software key such as an icon or a scroll bar for activating the application software, or a window for creating an e-mail.
  • the scroll bar is a software key for receiving an instruction to move a display portion of an image such as a large image that cannot be accommodated in the display area of the display panel 21.
  • the main control unit 101 detects a user operation through the operation unit 40, receives an operation on an icon through the operation panel 22, or receives an input of a character string in an input field of a window, Alternatively, a request for scrolling a display image through a scroll bar is received.
  • the main control unit 101 determines whether the operation position on the operation panel 22 is a superimposed portion (display region) overlapping the display panel 21 or an outer edge portion (non-display region) not overlapping the display panel 21. ), And a touch panel control function for controlling the sensitive area of the operation panel 22 and the display position of the software key is provided.
  • the main control unit 101 can also detect a gesture operation on the operation panel 22 and execute a preset function according to the detected gesture operation.
  • a gesture operation is not a conventional simple touch operation but an operation of drawing a trajectory with a finger or the like, simultaneously specifying a plurality of positions, or combining these to draw a trajectory for at least one from a plurality of positions. means.
  • the camera unit 41 is a digital camera (photographing device) that electronically photographs using an image sensor such as a complementary metal oxide semiconductor (CMOS) or a charge-coupled device (CCD). Also, under the control of the main control unit 101, the camera unit 41 converts image data (moving image, still image) obtained by imaging into compressed image data such as MPEG or JPEG (Joint Photographic coding Experts Group), and stores it. The data can be recorded in the unit 50 or output through the external input / output unit 60 or the wireless communication unit 11.
  • CMOS complementary metal oxide semiconductor
  • CCD charge-coupled device
  • the camera unit 41 divides and combines a moving image, acquires a high-quality still image (such as a RAW image), replaces and processes frames, and extracts a still image from a moving image under the control of the main control unit 101.
  • the camera unit 41 is mounted on the same surface as the display input unit 20, but the mounting position of the camera unit 41 is not limited thereto, and the camera unit 41 may be mounted on the back surface of the display input unit 20.
  • a plurality of camera units 41 may be mounted. When a plurality of camera units 41 are mounted, the camera unit 41 to be used for photographing can be switched to take a single image, or a plurality of camera units 41 can be used at the same time. Can also.
  • the camera unit 41 can be used for various functions of the smartphone 1.
  • the image acquired by the camera unit 41 can be displayed on the display panel 21, and the image of the camera unit 41 can be used as one of the operation inputs of the operation panel 22.
  • the GPS receiving unit 70 detects the position
  • the position can be detected with reference to the image from the camera unit 41.
  • the image from the camera unit 41 can be used in the application software.
  • position information obtained by the GPS receiving unit 70 to image data of a still image or moving image may be converted into text information by performing audio-to-text conversion by the main control unit or the like), Posture information or the like acquired by the motion sensor unit 80 can be added and recorded in the storage unit 50, or output via the external input / output unit 60 or the wireless communication unit 11.
  • the processing of the shooting method according to the present invention (moving image shooting and recording, still image recording, moving image synthesis, still image extraction, and the like). Can be performed.
  • the camera unit 41 and the main control unit 101 execute processing executed by the image processing device 240 (each unit illustrated in FIG. 2) in the first embodiment. Can be performed.
  • the functions of the operation unit 250, the storage unit 260, and the monitor 270 in the first embodiment can be realized by the operation unit 40, the storage unit 50, the operation panel 22, the display panel 21, and the operation panel 22 in the smartphone 1. it can.
  • the same effect as that of the camera system 10 according to the first embodiment (a high-quality still image can be recorded during moving image shooting, and a moving image can be divided and recorded) ,
  • the relationship between a moving image for extracting a still image and a still image recorded during shooting of the moving image can be easily grasped, a high-quality still image with a high processing load can be recorded, and a high-quality moving image can be obtained.
  • the user can extract a frame at a desired timing as a still image).

Abstract

本発明は、動画と動画のフレームから抽出した静止画との関係を容易に把握することができる撮影装置、撮影方法、及びプログラムを提供することを目的とする。本発明の第１の態様に係る撮影装置は、動画を撮影する撮影部と、動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成部と、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する動画ファイル生成部と、静止画ファイルを複数の動画ファイルのうち第１のフレームが含まれる第１の動画ファイルと関連付けて記憶する記憶部と、を備える。

Description

撮影装置、撮影方法、及びプログラム

　本発明は動画を撮影する撮影装置、撮影方法、及びプログラムに関し、特に動画を構成するフレームを静止画として抽出する撮影装置、撮影方法、及びプログラムに関する。

　動画を構成するフレームを静止画として抽出する技術が知られている。例えば特許文献１では、動画の撮影中にユーザの指示により静止画取得タイミングで動画にマーキングし、動画撮影終了後にマーキング箇所及びその前後の動画フレームを抽出及び表示することで、ユーザが動画からの静止画抽出のタイミングを選択し、そのタイミングの動画フレームを静止画として抽出できる旨が記載されている。

特開２０１６－３２３０３号公報

　しかしながら上述した特許文献１のような従来の技術では、動画と動画のフレームから抽出した静止画との関連が把握しづらかった。このような問題は、動画の記録時間が長くなるほど顕著になる。

　本発明はこのような事情に鑑みてなされたもので、動画と動画のフレームから抽出した静止画との関係を容易に把握することができる撮影装置、撮影方法、及びプログラムを提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る撮影装置は、動画を撮影する撮影部と、動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成部と、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する動画ファイル生成部と、静止画ファイルを複数の動画ファイルのうち第１のフレームが含まれる第１の動画ファイルと関連付けて記憶する記憶部と、を備える。

　第１の態様によれば、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成し、静止画ファイルを複数の動画ファイルのうち第１のフレームが含まれる第１の動画ファイルと関連付けて記憶するので、動画の記録時間が長い場合でも動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。なお第１の態様及び以下の各態様において、静止画ファイルが生成されるタイミングに取得されるフレーム、またはそれ以降に生成されるフレームであって静止画ファイルが生成されるタイミングの近傍で取得されるフレームを第１の動画ファイルの先頭のフレームとして動画を分割することが好ましい。

　第２の態様に係る撮影装置は第１の態様において、撮影部は、第１の動画撮影モード、または、第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、動画ファイル生成部は、第２の動画撮影モードが選択された場合に、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する。第２の動画撮影モードでは、静止画に合わせて動画が分割されているため、動画ファイルにおいて、静止画を抽出したフレームを参照することが容易となる。

　第３の態様に係る撮影装置は第２の態様において、第２の動画撮影モードは、第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または第１の動画撮影モードに対してフレームレートが高く設定される。第３の態様は、第２の態様における第１，第２の動画撮影モードの撮影条件の相違の一例を具体的に規定するものである。

　第４の態様に係る撮影装置は第１から第３の態様のいずれか１つにおいて、静止画ファイル生成部は、静止画ファイルをＲＡＷ画像形式で生成する。「ＲＡＷ画像」とは撮像素子から出力されたデータをデジタル変換して未加工、未圧縮（あるいは可逆圧縮）の状態で記録した画像である。ＲＡＷ画像は圧縮による画質低下がなく、また画像処理が少ないので動画処理への影響が少ない。

　第５の態様に係る撮影装置は第１から第４の態様のいずれか１つにおいて、動画ファイル生成部は動画をＭＰＥＧ形式で圧縮し、記憶部は静止画ファイルを第１の動画ファイルのＩフレームに関連付けて記憶する。

　第６の態様に係る撮影装置は第１から第５の態様のいずれか１つにおいて、動画ファイル生成部はＩフレーム、Ｐフレーム、及びＢフレームで構成されるＧＯＰごとに動画ファイルを生成する。ＧＯＰ（Group of Picture）は少なくともＩフレームを含む。

　第７の態様に係る撮影装置は第６の態様において、動画ファイル生成部は、静止画ファイルをＩフレームと同一の形式の画像データに変換し、変換した画像データを第１のフレームに対応するＧＯＰのＩフレームと入れ替える。

　第８の態様に係る撮影装置は第７の態様において、動画ファイル生成部は、ＧＯＰを構成するＰフレーム及び／またはＢフレームに対し、入れ替え前のＩフレームと入れ替え後のＩフレームとの差分を加算する。

　第９の態様に係る撮影装置は第７または第８の態様において、動画ファイル生成部は、ＧＯＰを構成するＰフレーム及び／またはＢフレームの動き情報に基づいて入れ替え後のＩフレームを加工してＰフレーム及び／またはＢフレームを生成し、ＧＯＰを構成するＰフレーム及び／またはＢフレームを生成したＰフレーム及び／またはＢフレームで入れ替える。Ｐフレーム及び／またはＢフレームの生成に際して、入れ替え後のＩフレームから被写体を抽出し、動きベクトルに合わせて被写体を移動（平行移動、回転移動）、拡大及び／または縮小、変形してもよい。

　第１０の態様に係る撮影装置は第７から第９の態様のいずれか１つにおいて、入れ替えを実行した状態の動画ファイルを表示装置に再生表示させる表示制御部をさらに備える。第１０の態様によれば、ユーザは入れ替えを実行した状態の動画を鑑賞することができる。

　第１１の態様に係る撮影装置は第７から第１０の態様のいずれか１つにおいて、入れ替えを実行した状態の動画ファイルを構成するフレームを静止画として抽出する静止画抽出部をさらに備える。第１１の態様によれば、入れ替えを実行した状態の動画から静止画を抽出することができる。静止画を抽出するタイミングは、動画撮影中の静止画記録タイミングと同じでもよいし、違っていてもよい。

　第１２の態様に係る撮影装置は第１１の態様において、静止画抽出部は、動画を構成する複数のフレームのうち第１のフレームに対応する静止画抽出用フレームを表示装置に表示させ、表示された静止画抽出用フレームから選択されたフレームを静止画として抽出する。ユーザは所望のタイミングのフレームを静止画として抽出することができる。なお、第１のフレームに対応するフレームの時間的に前及び／または後ろのフレームをさらに表示してもよい。

　第１３の態様に係る撮影装置は第１から第１２の態様のいずれか１つにおいて、動画ファイル生成部は、第１のフレームを先頭フレームとして動画を分割する。

　第１４の態様に係る撮影装置は第１から第１３の態様のいずれか１つにおいて、動画ファイル生成部は、第１のフレームの動画ファイルを生成せず、２つの動画ファイルの間に静止画ファイルを挿入して動画ファイルと静止画ファイルとを連結する。第１４の態様によれば、動画と静止画とを同時処理することによる負荷を軽減することができる。

　第１５の態様に係る撮影装置は第１から第１４の態様のいずれか１つにおいて、記憶部は、第１の動画ファイルと静止画ファイルのファイル名を同一にして記憶する。第１５の態様によれば、動画ファイルと静止画ファイルとの対応が明確で両者の関係を容易に把握することができる。なお動画ファイルと静止画ファイルとで拡張子を異なるものにしてもよい。

　第１６の態様に係る撮影装置は第１から第１５の態様のいずれか１つにおいて、静止画ファイル生成部はユーザの静止画生成指示に応じて静止画ファイルを生成する。第１６の態様によれば、ユーザは所望のタイミングで静止画を記録することができる。

　第１７の態様に係る撮影装置は第１から第１６の態様のいずれか１つにおいて、動画を構成する複数のフレームからイベントを検出するイベント検出部をさらに備え、静止画ファイル生成部はイベントの検出に応じて静止画ファイルを生成する。第１７の態様ではイベントの検出に応じて静止画を記録するので、長時間撮影、無人撮影の場合等に好適である。

　上述した目的を達成するため、本発明の第１８の態様に係る撮影方法は、動画を撮影する撮影ステップと、動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成ステップと、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する動画ファイル生成ステップと、静止画ファイルを複数の動画ファイルのうち第１のフレームが含まれる第１の動画ファイルと関連付けて記憶する記憶ステップと、を有する。第１８の態様によれば、第１の態様と同様に、動画の記録時間が長くても動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。なお第１８の態様及び以下の各態様において、静止画ファイルが生成されるタイミングに取得されるフレーム、またはそれ以降に生成されるフレームであって静止画ファイルが生成されるタイミングの近傍で取得されるフレームを第１の動画ファイルの先頭のフレームとして動画を分割することが好ましい。

　第１９の態様に係る撮影方法は第１８の態様において、撮影ステップでは、第１の動画撮影モード、または、第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、動画ファイル生成ステップでは、第２の動画撮影モードが選択された場合に、静止画ファイルの生成に合わせて動画を分割して複数の動画ファイルを生成する。

　第２０の態様に係る撮影方法は第１９の態様において、第２の動画撮影モードは、第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または第１の動画撮影モードに対してフレームレートが高く設定される。

　第２１の態様に係る撮影方法は第１８から第２０の態様のいずれか１つにおいて、静止画ファイル生成ステップでは、静止画ファイルをＲＡＷ画像形式で生成する。

　第２２の態様に係る撮影方法は第１８から第２１の態様のいずれか１つにおいて、動画ファイル生成ステップでは動画をＭＰＥＧ形式で圧縮し、記憶ステップでは、静止画ファイルを第１の動画ファイルのＩフレームに関連付けて記憶する。

　上述した目的を達成するため、本発明の第２３の態様に係るプログラムは、第１８から第２２の態様のいずれか１つに係る撮影方法を撮影装置に実行させる。また、このプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。

　以上説明したように、本発明の撮影装置、撮影方法、及びプログラムによれば、動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。

図１は、第１の実施形態に係るカメラシステムの構成を示す図である。 図２は、画像処理装置の機能構成を示す図である。 図３は、動画及び静止画の記録処理を示すフローチャートである。 図４は、動画及び静止画の記録の様子を示す概念図である。 図５は、動画合成処理を示すフローチャートである。 図６は、動画合成処理の様子を示す概念図である。 図７は、動画合成処理を示す他のフローチャートである。 図８は、動画合成処理を示すさらに他のフローチャートである。 図９は、被写体の動きに応じた処理を行う様子を示す図である。 図１０は、動画ファイル間に静止画ファイルを挿入して連結する様子を示す概念図である。 図１１は、静止画抽出用フレームを表示した様子を示す図である。 図１２は、第２の実施形態に係るスマートフォンの外観図である。 図１３は、第２の実施形態に係るスマートフォンの構成を示すブロック図である。

　以下、添付図面を参照しつつ、本発明に係る撮影装置、撮影方法、及びプログラムを実施するための形態について詳細に説明する。

　＜第１の実施形態＞

　＜撮影装置の全体構成＞

　図１は第１の実施形態に係るカメラシステム１０（撮影装置）の構成を示す図である。カメラシステム１０は交換レンズ１００（撮影部、撮影装置）及び撮影装置本体２００（撮影装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮影装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

　＜交換レンズの構成＞

　交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｇ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌ１を有する。

　＜撮影装置本体の構成＞

　撮影装置本体２００は、撮像素子２１０（撮像部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮像部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮像部）、及び画像処理装置２４０を備える。撮影装置本体２００は、撮像素子２１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

　＜画像処理装置の構成＞

　図２は、画像処理装置２４０の機能構成を示す図である。画像処理装置２４０は、撮影部２４０Ａ（撮影部）、動画ファイル生成部２４０Ｂ（動画ファイル生成部）、静止画ファイル生成部２４０Ｃ（静止画ファイル生成部）、イベント検出部２４０Ｄ（イベント検出部）、表示制御部２４０Ｅ（表示制御部）、静止画抽出部２４０Ｆ（静止画抽出部）、及びレンズ駆動制御部２４０Ｇ（レンズ駆動制御部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて動画の撮影及びファイル生成、静止画ファイル生成、動画を構成する複数のフレームに対する処理、静止画の抽出等の処理を行う。画像処理装置２４０による処理の詳細は後述する。

　画像処理装置２４０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮影方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

　画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の撮影、記録、表示等に必要なプログラム（本発明に係る撮影方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードが記録される。

　＜操作部＞

　操作部２５０は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影モード設定、動画撮影指示、静止画抽出指示等、各種の操作を行うことができる。なお、モニタ２７０（タッチパネル型）を操作部２５０として使用してもよい。

　＜記憶部＞

　記憶部２６０は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を記憶する。記録媒体は撮影装置本体２００に対し着脱できるタイプを用いることができる。

　＜モニタ及びファインダ＞

　モニタ２７０（表示装置）はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、静止画抽出用フレーム等を表示することができる。モニタ２７０は撮影装置本体２００の背面側、天面側等に配置することができる。カメラシステム１０はファインダを備えていてもよい。ファインダは例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画、静止画抽出用フレーム等を視認することができる。ファインダとしては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。

　＜カメラシステムの撮影モード＞

　カメラシステム１０は撮影モードとして静止画撮影モード、通常動画撮影モード（第１の動画撮影モード）、静止画抽出用動画撮影モード（第２の動画撮影モード）のいずれかを設定することができる。静止画撮影モード、通常動画撮影モードは通常のデジタルカメラと同様のモードであり、静止画抽出用動画撮影モードでは通常動画撮影モードと撮影条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮影条件の動画）を撮影する。具体的には、静止画抽出用動画撮影モードでは、通常動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または通常動画撮影モードに対してフレームレートが高く設定される。また、解像度及びフレームレートはカメラシステム１０で設定可能な最高値（例えば４，０００×２，０００画素、３０フレーム／秒）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も通常動画撮影モードより高くする。

　例えばシャッタースピードに関しては、通常動画撮影モードでは記録する動画のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定されるが、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画撮影モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮影モードではシャッタースピードを通常動画撮影モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ＩＳＯ感度の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度，自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮影モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。

　上述した静止画抽出用動画撮影モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過と共に状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、詳細を後述するように、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件（上述したシャッタースピード、解像度、フレームレート等）を設定することにより高画質の静止画を抽出することができる。

　＜動画及び静止画の記憶＞

　上述した構成のカメラシステム１０における撮影方法について説明する。図３は、静止画抽出用動画撮影モードにおける処理を示すフローチャートである。例えば操作部２５０の図示せぬモードダイヤルの操作によりカメラシステム１０が静止画抽出用動画撮影モードに設定されると、図３の処理が開始される。

　＜動画記録指示＞

　撮影部２４０Ａ及び動画ファイル生成部２４０Ｂは動画撮影指示がされたか否かを判断する（ステップＳ１００：撮影ステップ、動画ファイル生成ステップ）。例えば操作部２５０の図示せぬレリーズボタンが押し下げされた場合に「動画撮影指示がされた」と判断することができる。判断が肯定されるとステップＳ１１０へ進む。

　＜動画の撮影及び圧縮記録＞

　ステップＳ１１０で、撮影部２４０Ａは動画の撮影を開始し（撮影ステップ）、動画ファイル生成部２４０Ｂは撮影した動画を圧縮して新たな動画ファイルとして記憶を開始する（動画ファイル生成ステップ）。カメラシステム１０に設けられた図示せぬマイクロフォンにより音声を合わせて収録及び記憶してもよい。動画の圧縮はＭＰＥＧ形式（ＭＰＥＧ２、ＭＰＥＧ４等）で行うことができ、この場合、動画のフレームはＩフレーム、Ｐフレーム、Ｂフレームに分けられる。またこれらのフレームのうち少なくともＩフレームによりＧＯＰ（Group of Picture）が形成される。Ｉフレームはフレームの全ての情報を保持したフレームであり、Ｐフレームは前のＩフレームを参照しないと差分しか表現できないフレームである。Ｂフレームは前後のＩフレーム、Ｐフレーム、Ｂフレームを参照しないと差分しか表現できないフレームである。

　＜静止画生成指示＞

　静止画ファイル生成部２４０Ｃは静止画生成指示（静止画ファイルの生成指示）がされたか否かを判断する（ステップＳ１２０：静止画ファイル生成ステップ）。静止画生成指示の判断はＧＯＰ単位で、ユーザの指示に応じて、あるいはイベントの検出に応じて行うことができる。ＧＯＰ単位で判断する場合は、例えば新たなＧＯＰを記録するごとに「静止画生成指示がされた」と判断することができる。ユーザ指示に応じて判断する場合、例えば操作部２５０の図示せぬレリーズボタンが押し下げられた場合やモニタ２７０を介した操作がされた場合に「ユーザ指示により静止画生成指示がされた」と判断することができる。イベント検出に応じて判断する場合は、イベント検出部２４０Ｄが動画を構成するフレームから人物の顔などの特定の被写体を検出した場合、被写体の動きや輝度の変化を検出した場合等に「静止画生成指示がされた」と判断することができる。また、ジャイロや加速度センサ等によりカメラシステム１０の動きを検出しその検出結果に基づいてイベントの発生（及びイベントの検出に応じた静止画生成指示）を判断してもよい。

　静止画生成指示をＧＯＰ単位で判断する場合は、高画質な静止画を定期的に取得できるため、記録メディアの容量や静止画処理による消費電力増加が許容できる場合は画質の観点からは最良の選択肢となる。ユーザ指示に応じて判断する場合は、ユーザの意思により静止画を記録するためユーザが静止画抽出の際等に画像を検索しやすい。なお、特定の場合（例えばレリーズボタンを押し続けている場合）に限りＧＯＰ単位の判断とすることにより、上述した容量や消費電力増加への影響を最小限に抑えることができる。イベント検出に応じて判断する場合は、静止画生成を自動で行うことができるため長時間の撮影や無人での撮影に適している。

　＜動画の分割＞

　静止画生成指示がされた場合、動画ファイル生成部２４０Ｂは動画ファイルの記憶をいったん終了する（ステップＳ１３０：動画ファイル生成ステップ）。そして静止画ファイルの生成に合わせて分割動画ごとにファイルを新たに生成することにより、静止画ファイルに対応する動画のフレーム（第１のフレーム）を先頭フレームとして動画を分割する（後述する図４を参照）。動画の分割においては、静止画ファイルに対応するフレーム以降に取得されるフレームであって静止画ファイルが生成されるタイミングの近傍で取得されるフレームを新たな動画ファイルの先頭のフレームとしてもよい。また、静止画ファイルに対応するフレーム以降に取得されるフレームであって、静止画ファイルが生成されるタイミングに最も近いＩフレームを動画ファイルの先頭のフレームとしてもよい。また、動画をＭＰＥＧ形式で圧縮する場合、ＧＯＰ単位で動画ファイルを生成してもよい。

　図４は動画の分割記録の様子を示す図である。動画のフレームがフレーム１００１，１００２，１００３，１００４，１００５…（フレーム番号がＮ－２、Ｎ－１、Ｎ、Ｎ＋１、…）のように連続している状況において静止画の生成タイミングがフレーム１００３（フレーム番号Ｎ）のタイミングである場合、動画ファイル生成部２４０Ｂは動画ファイル１０１０の記録をフレーム１００２（フレーム番号Ｎ－１）まで終了して動画を分割し、フレーム番号Ｎからのフレームを新たな動画ファイル１０２０（第１の動画ファイル）として圧縮して記憶する。すなわち、フレーム１００３（フレーム番号Ｎ；第１のフレーム）が分割に係る新たな動画ファイル１０２０の先頭フレームとなり、新たな動画ファイル１０２０（第１の動画ファイル）にはフレーム１００３（フレーム番号Ｎ；第１のフレーム）が含まれる。一方、静止画ファイル生成部２４０Ｃは、動画を構成する複数のフレームからフレーム１００３（フレーム番号Ｎ；第１のフレーム）を抽出し、静止画ファイル１００６を生成する（後述）。なお、本態様では、静止画ファイルが生成される度に動画が分割されることから、分割された複数の動画ファイルが生成されることとなる。そして記憶部は生成された複数の動画ファイルと複数の静止画ファイル（複数の第１のフレーム）をそれぞれ後述の方法で関連付けて記憶する。

　動画の分割方法には、ヘッダやフッタが付加された形式の汎用的なフォーマットとする方法、及び分割前後で連続して再生することを前提にした動画フォーマット中のフレームの切れ目で動画を分割する方法がある。前者の方法では分割した動画のファイルのみ読み込んで再生することができるために高速に再生を開始できる。また、必要な動画ファイル以外を削除しても再生が可能である。一方、後者の方法では、ヘッダやフッタの処理が必要ないため連続動画記録と同じリアルタイム処理で対応可能である。

　＜高画質な静止画の記録＞

　静止画ファイル生成部２４０Ｃは、１つの動画ファイル（上述した分割動画の動画ファイル；動画ファイル１０２０）の生成及び記憶に要する時間より短い時間内に、動画を構成するフレーム（例えば、フレーム１００３）よりも高画質な静止画の静止画ファイルを生成する。このような静止画の記録処理により静止画の生成及び記憶に対して動画の１フレーム分よりも長い時間を掛けられ、処理負荷が高い高画質の静止画を記憶することができる。「高画質な静止画」の例としては解像度が高い画像、動画よりも圧縮率が低い画像（ゼロでもよい）等を挙げることができるが、これらの例に限定されるものではない。また、静止画ファイル生成部２４０Ｃは、静止画ファイル１００６をＲＡＷ画像形式で生成してもよい。「ＲＡＷ画像」とは撮像素子から出力されたデータをデジタル変換して未加工、未圧縮（あるいは可逆圧縮）の状態で記録した画像である。色補間やエンハンスに必要なフィルタ処理を行う必要がなく、記録周期も長いので、ＲＡＷ画像の記録による動画処理への影響は少ない。ＲＡＷ画像はＧＯＰごとに（例えば、ＧＯＰの開始時に）記録してもよい。また、静止画ファイル生成部２４０Ｃは、静止画ファイル１００６に対し静止画処理（いわゆる「現像処理」等）を行ってもよい。静止画ファイル生成部２４０Ｃは、静止画処理において、動画ファイル生成部２４０Ｂとは異なる色補正処理（ホワイトバランス補正等）を行ってもよく、例えば、ユーザが予め設定した静止画用の色補正の設定に基づいて色補正処理を行うことが出来る。　

　なお、上述したＲＡＷ画像等の「高画質の静止画」は、詳細を後述するように動画から抽出する静止画の高画質化に用いることができる。

　＜静止画ファイルと動画ファイルとの関連付け＞

　静止画ファイル生成部２４０Ｃは上述した静止画ファイル１００６（高画質の静止画についての静止画ファイル）を動画ファイル１０２０（第１の動画ファイル）に関連付けて記憶する（ステップＳ１４０：記憶ステップ）。動画の圧縮及び記憶をＭＰＥＧ形式で行う場合は、静止画ファイル１００６をＧＯＰの先頭のＩフレーム（フレーム１００３）に関連付けて記憶してもよい。関連づけの方法としては、（１）ファイル名による関連付け、（２）タイムスタンプによる関連付け、（３）ヘッダにファイル名を記録して関連付け、（４）ヘッダにヘッダ記載ＩＤ番号を記載して関連付け、等を挙げることができる。また、動画ファイル（第１の動画ファイル）を構成するフレームにおけるＩフレームであって、上述した静止画ファイル（第１のフレームに基づく高画質の静止画についての静止画ファイル）の記憶タイミングと最も近いタイミングで取得されたＩフレームの位置を示す情報を上述した方法により静止画ファイルと関連付けて記憶してもよい。これにより動画からのフレーム抽出が容易になる。（１）のファイル名による関連付けを行う場合、動画ファイル生成部２４０Ｂは分割動画の動画ファイルに対し時系列順を示す連続番号を含むファイル名（例えば（撮影日＋連続番号）とすることができるが、これに限定されない）を付して記録し、静止画ファイル生成部２４０Ｃは静止画ファイルのファイル名を関連付けがされる動画ファイルのファイル名と同一にして記録することができる。この場合、拡張子を変えればよい（例えば、“.mpg”と“.raw”）。関連づけの際に、一連の分割動画と、その動画の撮影中に記憶された静止画とを同一フォルダに記憶してもよい。

　上述した関連付けにより、ユーザは動画と動画のフレームから抽出した静止画との関係を容易に把握することができる。

　撮影部２４０Ａ、動画ファイル生成部２４０Ｂ、及び静止画ファイル生成部２４０Ｃ（イベント検出に応じて静止画記録指示を行う場合はイベント検出部２４０Ｄも）は、動画記録終了指示があるまで（ステップＳ１５０でＹＥＳになるまで）ステップＳ１２０からステップＳ１４０までの処理をくり返す。例えば、操作部２５０の図示せぬレリーズボタンが押し下げられた場合にステップＳ１５０の判断を肯定することができる。ステップＳ１５０の判断が肯定されたら、撮影部２４０Ａ及び動画ファイル生成部２４０Ｂは動画の撮影及び動画ファイルの記憶を終了する（ステップＳ１６０）。

　＜動画合成処理＞

　上述した動画及び静止画の記憶処理により記憶された動画の合成処理について説明する。図５は動画の合成処理を示すフローチャートである。動画ファイル生成部２４０Ｂは、ステップＳ１４０で記録されたＲＡＷ画像等の静止画ファイル１００６（高画質な静止画）を静止画処理（いわゆる「現像処理」等）してＩフレームと同一の形式の画像データに変換し（ステップＳ２００：静止画変換ステップ、動画合成ステップ）、変換した静止画を対応するＧＯＰのＩフレーム（フレーム１００３）と入れ替える（ステップＳ２１０：第１の入替ステップ、動画合成ステップ）。そして動画ファイル生成部２４０Ｂは分割して記録した動画のファイル（Ｉフレームの入れ替え後）を時系列順に連結して記憶する。

例えば、図６に示すようにフレーム番号Ｎ－１までのフレームで構成される動画ファイル１０１０とフレーム番号Ｎから始まるフレームで構成される動画ファイル１０２０が存在する場合、動画ファイル生成部２４０Ｂはフレーム番号Ｎの記憶タイミングで記憶されたＲＡＷ画像（静止画ファイル１００６）をＩフレームと同一の形式に変換してフレーム番号ＮのＩフレーム（フレーム１００３；ＧＯＰの先頭）と入れ替え、動画ファイル１０１０と入れ替え後の動画ファイル１０２０とを連結する。動画ファイル生成部２４０Ｂは、上述した関連付けの情報（ファイル名、ヘッダ、フッタ、タイムスタンプ等）に基づいて入れ替え及び連結を行うことができる。

　上述した処理を行うことにより、Ｉフレームの入れ替えにより動画のＩフレーム部分が高画質化する。また、被写体が合焦しており動きが少ないものの場合、Ｐフレーム部分及びＢフレーム部分についてもＩフレームを介して高画質化することができる。なお、表示制御部２４０Ｅは入れ替え及び連結を実行した状態の動画をモニタ２７０（表示装置）に再生表示させることができ、これによりユーザは高画質化した動画を鑑賞することができる。

　＜動画合成処理の他の態様＞

　図７は動画合成処理の他の態様を示すフローチャートである。図５と同様の処理を行うステップについては同一のステップ番号を付し、詳細な説明を省略する。動画ファイル生成部２４０Ｂは、ステップＳ２００に続いて入れ替え前のＩフレームと入れ替え後のＩフレームとの差分を算出し（ステップＳ２０２：差分算出ステップ、動画合成ステップ）、ＧＯＰを構成するＰフレーム及び／またはＢフレーム（ＧＯＰの構成に依存する）に対し算出した差分を加算する（ステップＳ２１２：差分加算ステップ、動画合成ステップ）。加算後は、図５の場合と同様に動画ファイルを連結する。このような態様によれば、微少な動きがある被写体について、動いている部分についての差分により、高画質の静止画（ステップＳ１４０で記録され入れ替え用のＩフレームに変換される画像）と入れ替え前のＩフレームとの解像度の差に起因する補正誤差を低減することができる。

　図８は動画合成処理のさらに他の態様を示すフローチャートである。図５，７と同様の処理を行うステップについては同一のステップ番号を付し、詳細な説明を省略する。動画ファイル生成部２４０Ｂは、Ｐフレーム及び／またはＢフレームの動き情報（例えば、動きベクトル）を算出し（ステップＳ２０４：動き情報算出ステップ、動画合成ステップ）、動き情報に基づいて入替後のＩフレームを加工してＰフレーム及び／またはＢフレームを生成する（ステップＳ２１４：画像生成ステップ、動画合成ステップ）。ステップＳ２１４では、例えば算出した動き情報（動きベクトル）により「隣接する複数のマクロブロックが同一またはほぼ同一の方向に移動している（動きベクトルが同一またはほぼ同一である）」と判断された場合、動画ファイル生成部２４０Ｂは入れ替え後のＩフレーム（高画質静止画に対応するフレーム）から被写体を抽出し、動きベクトルに合わせて被写体を移動、拡大または縮小、変形等する。図９の（ａ）部分は同一の動きベクトルに合わせて被写体の移動を行う様子を示す図であり、図９の（ｂ）部分は被写体の移動と変形を行う様子を示す図である。なお、図９中の点線は移動、変形等をする前の被写体を示しており、矢印は各部分における動きベクトルを示している。動画ファイル生成部２４０Ｂは、ＧＯＰを構成するＰフレーム及び／またはＢフレーム（ＧＯＰの構成に依存する）を、加工により生成したＰフレーム及び／またはＢフレームで入れ替える（ステップＳ２１６：第２の入替ステップ、動画合成ステップ）。このような態様によれば、被写体の動きが大きい場合は、入れ替えにより高画質化したＩフレームを加工することにより、動きのあるＰフレーム及び／またはＢフレームを高画質化することができる。

　＜動画ファイル連結の他の態様＞

　動画ファイルの連結については、動画ファイルを時系列順に連結して記録する態様について説明した（図５，６を参照）が、他の態様により動画ファイルを連結することもできる。例えば図１０に示すように、動画ファイル生成部２４０Ｂは静止画ファイル１００６を記録するタイミング（図１０の例ではフレーム番号Ｎ）では動画のフレームを記録せず、分割動画の２つの動画ファイル（フレーム番号Ｎ－１までの動画ファイル１０１０と、フレーム番号Ｎ＋１から始まる動画ファイル１０３０）の間に静止画ファイル１００６を挿入して動画ファイル１０１０，１０３０と静止画ファイル１００６とを連結してもよい。

　＜静止画の抽出＞

　以下に説明するように、カメラシステム１０では動画を構成するフレームを静止画として抽出することができる。

　＜静止画抽出用フレームの表示＞

　具体的には、静止画抽出部２４０Ｆは動画を構成するフレームのうち、記憶した静止画ファイルに対応するフレームを含む静止画抽出用フレームを表示装置に表示させる。例えば図４のように動画のフレーム番号Ｎに対応して高画質の静止画が記憶された場合、静止画抽出部２４０Ｆは上述の処理（Ｉフレーム、Ｐフレーム、Ｂフレームの入れ替え等）により高画質化した動画を構成するフレームのうち、フレーム番号Ｎのフレームを含むフレームを、静止画抽出用フレームとしてモニタ２７０（表示装置）に表示させる。図１１はそのような表示の例であり、フレーム番号Ｎのフレーム１０５２を含む５つのフレーム１０５１～１０５５（フレーム番号Ｎ－１～Ｎ＋３）が表示されている。また、静止画が記録されたフレーム１０５２（フレーム番号Ｎ）については、静止画抽出部２４０Ｆによりカメラ状のアイコン１０６０が付されており、ユーザは静止画が記録されたフレームであることを把握することができる。

　なお、表示する静止画抽出用フレームの範囲は「記録した静止画ファイルに対応するフレーム」（図１１の例ではフレーム番号Ｎのフレーム１０５２）に対し時間的に前のフレーム（フレーム１０５１）及び後のフレーム（フレーム１０５３～１０５５）を含めてもよいし、「時間的に前のフレームだけを含める」態様あるいは「時間的に後のフレームだけを含める」態様でもよい。表示する静止画抽出用フレームの範囲はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。また、表示するフレームの範囲を時間で規定（例えば、静止画が記録されたフレームの前後１秒ずつ）してもよいし、フレーム数で規定（例えば、静止画が記録されたフレームの前後の１０フレームずつ）してもよい。また、初期状態では静止画として記録されたフレームのみを一覧表示し、その中から選択されたフレームについて時間的に前及び／または後ろのフレームを表示してもよい。表示制御部２４０Ｅに初期状態で静止画として記録されたフレームのみを表示させ、選択されたフレームから動画ファイルの表示するフレームを決定することにより、フレーム間圧縮されている動画ファイルをモニタ２７０（表示装置）に表示する際の処理負荷を軽減することができる。

　＜抽出するフレームの選択＞

　ユーザは、表示された静止画抽出用フレームからフレームを選択することができる。図１１の例では、ユーザは操作部２５０及び／またはモニタ２７０を介して所望のフレームに対するチェックボックス１０７０をチェックすることによりフレームを選択することができ、複数のフレームを選択することもできる。なお、静止画が記録されたフレームが必ずしもベストのタイミングで記録されたとは限らず、ユーザが他のフレームを選択したいと思う場合もあるので、静止画が記録されたフレームに加えてその前及び／または後ろのフレームから選択できるようにすることが好ましい。図１１では、静止画が記録されたフレーム（アイコン１０６０が付されたフレーム１０５２）と異なるフレーム１０５３をユーザが選択した状態を示している。

　＜静止画の抽出＞

　静止画抽出部２４０Ｆは、モニタ２７０に表示された静止画抽出用フレームから選択されたフレームを静止画として抽出する。なお、動画ファイルはＭＰＥＧ形式等の動画用フォーマットで記憶されているので、静止画抽出部２４０Ｆは選択されたフレームのデータを静止画用のフォーマット（ＪＰＥＧ形式等）に変換する。ユーザは、上述した動画合成処理により高画質化した動画から、所望のタイミングで高画質な静止画を抽出することができる。

　＜第２の実施形態＞

　第１の実施形態では、デジタルカメラであるカメラシステム１０について説明したが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

　本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　図１２は、本発明の撮影装置の一実施形態であるスマートフォン１（撮影装置）の外観を示すものである。図１２に示すスマートフォン１は、平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、係る筐体２は、スピーカ３１と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１（撮影装置、撮影部、動画ファイル生成部、静止画ファイル生成部、イベント検出部、表示制御部、静止画抽出部、レンズ駆動制御部）とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

　図１３は、図１２に示すスマートフォン１の構成を示すブロック図である。図１３に示すように、スマートフォン１の主たる構成要素として、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１と、記憶部５０と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：Global Positioning System）と、モーションセンサ部８０と、電源部９０と、主制御部１０１（撮影部、動画ファイル生成部、静止画ファイル生成部、イベント検出部、表示制御部、静止画抽出部、レンズ駆動制御部）とを備える。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／または動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

　表示パネル２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

　図１２に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図１２に示すように、例えば、スピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

　操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１２に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部５０は、主制御部１０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

　外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

　スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ及びビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

　ＧＰＳ受信部７０は、主制御部１０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１の位置（緯度、経度、高度）を検出する。ＧＰＳ受信部７０は、無線通信部１１や外部入出力部６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給するものである。

　主制御部１０１は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

　さらに、主制御部１０１は、表示パネル２１に対する表示制御と、操作部４０、操作パネル２２を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンやスクロールバーなどのソフトウェアキー、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１０１は、操作部４０を通じたユーザ操作を検出したり、操作パネル２２を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部１０１は、操作パネル２２に対する操作位置が、表示パネル２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１０１は、操作パネル２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラ（撮影装置）である。また、カメラ部４１は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる。また、カメラ部４１は、主制御部１０１の制御により、動画の分割及び結合、高画質な静止画（ＲＡＷ画像等）の取得、フレームの入れ替え及び加工、動画からの静止画の抽出を行うこともできる。図１２に示すにスマートフォン１において、カメラ部４１は表示入力部２０と同じ面に搭載されているが、カメラ部４１の搭載位置はこれに限らず、表示入力部２０の背面に搭載されてもよいし、あるいは、複数のカメラ部４１が搭載されてもよい。なお、複数のカメラ部４１が搭載されている場合には、撮影に供するカメラ部４１を切り替えて単独にて撮影することもできるし、あるいは、複数のカメラ部４１を同時に使用して撮影することもできる。

　また、カメラ部４１はスマートフォン１の各種機能に利用することができる。例えば、表示パネル２１にカメラ部４１で取得した画像を表示することや、操作パネル２２の操作入力のひとつとして、カメラ部４１の画像を利用することができる。また、ＧＰＳ受信部７０が位置を検出する際に、カメラ部４１からの画像を参照して位置を検出することもできる。さらには、カメラ部４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４１からの画像をアプリケーションソフトウェア内で利用することもできる。その他、静止画または動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することもできる。

　上述した構成のスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様に本発明に係る撮影方法の処理（動画の撮影及び記録、静止画の記録、動画合成、静止画抽出等）を実行することができる。具体的には、第１の実施形態において画像処理装置２４０（図２に示す各部）が実行する処理をスマートフォン１ではカメラ部４１及び主制御部１０１が実行することにより、本発明に係る撮影方法の処理を行うことができる。その他、第１の実施形態における操作部２５０、記憶部２６０、モニタ２７０の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２によりそれぞれ実現することができる。これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様の効果（動画撮影中に高画質の静止画を記録できること、動画を分割して記録できること、静止画抽出用の動画と動画撮影中に記録した静止画との関係を容易に把握することができること、処理負荷が高い高画質の静止画を記録することができること、動画を高画質化できること、動画ファイルを連結できること、ユーザが所望のタイミングのフレームを静止画として抽出できること等）を得ることができる。

１　　　　スマートフォン

２　　　　筐体

１０　　　カメラシステム

１１　　　無線通信部

２０　　　表示入力部

２１　　　表示パネル

２２　　　操作パネル

３０　　　通話部

３１　　　スピーカ

３２　　　マイクロフォン

４０　　　操作部

４１　　　カメラ部

５０　　　記憶部

５１　　　内部記憶部

５２　　　外部記憶部

６０　　　外部入出力部

７０　　　ＧＰＳ受信部

８０　　　モーションセンサ部

９０　　　電源部

１００　　交換レンズ

１０１　　主制御部

１１０　　ズームレンズ

１２０　　フォーカスレンズ

１３０　　絞り

１４０　　レンズ駆動部

２００　　撮影装置本体

２１０　　撮像素子

２２０　　ＡＦＥ

２３０　　Ａ／Ｄ変換器

２４０　　画像処理装置

２４０Ａ　撮影部

２４０Ｂ　動画ファイル生成部

２４０Ｃ　静止画ファイル生成部

２４０Ｄ　イベント検出部

２４０Ｅ　表示制御部

２４０Ｆ　静止画抽出部

２４０Ｇ　レンズ駆動制御部

２４２　　ＲＯＭ

２５０　　操作部

２６０　　記憶部

２７０　　モニタ

１００１　フレーム

１００２　フレーム

１００３　フレーム

１００４　フレーム

１００５　フレーム

１００６　静止画ファイル

１０１０　動画ファイル

１０２０　動画ファイル

１０３０　動画ファイル

１０５１　フレーム

１０５２　フレーム

１０５３　フレーム

１０５４　フレーム

１０５５　フレーム

１０６０　アイコン

１０７０　チェックボックス

Ｌ１　　　光軸

Ｓ１００～Ｓ２２０　撮影方法の各ステップ

ＳＴ１～ＳＴｎ　ＧＰＳ衛星

Claims (23)


  1. 　動画を撮影する撮影部と、

    　前記動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成部と、

    　前記静止画ファイルの生成に合わせて前記動画を分割して複数の動画ファイルを生成する動画ファイル生成部と、

    　前記静止画ファイルを前記複数の動画ファイルのうち前記第１のフレームが含まれる第

    １の動画ファイルと関連付けて記憶する記憶部と、

    　を備える撮影装置。

  2. 　前記撮影部は、第１の動画撮影モード、または、前記第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、

    　前記動画ファイル生成部は、前記第２の動画撮影モードが選択された場合に、前記静止画ファイルの生成に合わせて前記動画を分割して複数の動画ファイルを生成する請求項１に記載の撮影装置。

  3. 　前記第２の動画撮影モードは、前記第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または前記第１の動画撮影モードに対してフレームレートが高く設定される請求項２に記載の撮影装置。

  4. 　前記静止画ファイル生成部は、前記静止画ファイルをＲＡＷ画像形式で生成する請求項１から３のいずれか１項に記載の撮影装置。

  5. 　前記動画ファイル生成部は前記動画をＭＰＥＧ形式で圧縮し、

    　前記記憶部は前記静止画ファイルを前記第１の動画ファイルのＩフレームに関連付けて記憶する請求項１から４のいずれか１項に記載の撮影装置。

  6. 　前記動画ファイル生成部はＩフレーム、Ｐフレーム、及びＢフレームで構成されるＧＯＰごとに前記動画ファイルを生成する請求項１から５のいずれか１項に記載の撮影装置。

  7. 　前記動画ファイル生成部は、前記静止画ファイルを前記Ｉフレームと同一の形式の画像データに変換し、前記変換した画像データを前記第１のフレームに対応する前記ＧＯＰの前記Ｉフレームと入れ替える請求項６に記載の撮影装置。

  8. 　前記動画ファイル生成部は、前記ＧＯＰを構成するＰフレーム及び／またはＢフレームに対し、前記入れ替え前のＩフレームと前記入れ替え後のＩフレームとの差分を加算する請求項７に記載の撮影装置。

  9. 　前記動画ファイル生成部は、前記ＧＯＰを構成するＰフレーム及び／またはＢフレームの動き情報に基づいて前記入れ替え後のＩフレームを加工してＰフレーム及び／またはＢフレームを生成し、前記ＧＯＰを構成するＰフレーム及び／またはＢフレームを前記生成したＰフレーム及び／またはＢフレームで入れ替える請求項７または８に記載の撮影装置。

  10. 　前記入れ替えを実行した状態の前記動画ファイルを表示装置に再生表示させる表示制御部をさらに備える請求項７から９のいずれか１項に記載の撮影装置。

  11. 　前記入れ替えを実行した状態の前記動画ファイルを構成する前記フレームを静止画として抽出する静止画抽出部をさらに備える請求項７から１０のいずれか１項に記載の撮影装置。

  12. 　前記静止画抽出部は、前記動画を構成する前記複数のフレームのうち前記第１のフレームに対応する静止画抽出用フレームを表示装置に表示させ、前記表示された前記静止画抽出用フレームから選択されたフレームを前記静止画として抽出する請求項１１に記載の撮影装置。

  13. 　前記動画ファイル生成部は、前記第１のフレームを先頭フレームとして前記動画を分割する請求項１から１２のいずれか１項に記載の撮影装置。

  14. 　前記動画ファイル生成部は、前記第１のフレームの動画ファイルを生成せず、２つの前記動画ファイルの間に前記静止画ファイルを挿入して前記動画ファイルと前記静止画ファイルとを連結する請求項１から１３のいずれか１項に記載の撮影装置。

  15. 　前記記憶部は、前記第１の動画ファイルと静止画ファイルのファイル名を同一にして記憶する請求項１から１４のいずれか１項に記載の撮影装置。

  16. 　前記静止画ファイル生成部はユーザの静止画生成指示に応じて前記静止画ファイルを生成する請求項１から１５のいずれか１項に記載の撮影装置。

  17. 　前記動画を構成する前記複数のフレームからイベントを検出するイベント検出部をさらに備え、

    　前記静止画ファイル生成部は前記イベントの検出に応じて前記静止画ファイルを生成する請求項１から１６のいずれか１項に記載の撮影装置。

  18. 　動画を撮影する撮影ステップと、

    　前記動画を構成する複数のフレームから第１のフレームを抽出し静止画ファイルを生成する静止画ファイル生成ステップと、

    　前記静止画ファイルの生成に合わせて前記動画を分割して複数の動画ファイルを生成する動画ファイル生成ステップと、

    　前記静止画ファイルを前記複数の動画ファイルのうち前記第１のフレームが含まれる第

    １の動画ファイルと関連付けて記憶する記憶ステップと、

    　を有する撮影方法。

  19. 　前記撮影ステップでは、第１の動画撮影モード、または、前記第１の動画撮影モードとは撮影条件が異なる動画を撮影する第２の動画撮影モードに基づいて動画を撮影し、

    　前記動画ファイル生成ステップでは、前記第２の動画撮影モードが選択された場合に、

    前記静止画ファイルの生成に合わせて前記動画を分割して複数の動画ファイルを生成する請求項１８に記載の撮影方法。

  20. 　前記第２の動画撮影モードは、前記第１の動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または前記第１の動画撮影モードに対してフレームレートが高く設定される請求項１９に記載の撮影方法。

  21. 　前記静止画ファイル生成ステップでは、前記静止画ファイルをＲＡＷ画像形式で生成する請求項１８から２０のいずれか１項に記載の撮影方法。

  22. 　前記動画ファイル生成ステップでは前記動画をＭＰＥＧ形式で圧縮し、

    　前記記憶ステップでは、前記静止画ファイルを前記第１の動画ファイルのＩフレームに関連付けて記憶する請求項１８から２１のいずれか１項に記載の撮影方法。

  23. 　請求項１８から２２のいずれか１項に記載の撮影方法を撮影装置に実行させるプログラム。
PCT/JP2019/031326 2018-09-26 2019-08-08 撮影装置、撮影方法、及びプログラム WO2020066332A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020548118A JP7003286B2 (ja) 2018-09-26 2019-08-08 撮影装置、撮影方法、及びプログラム
US17/187,191 US11509826B2 (en) 2018-09-26 2021-02-26 Imaging device, imaging method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-179969 2018-09-26
JP2018179969 2018-09-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/187,191 Continuation US11509826B2 (en) 2018-09-26 2021-02-26 Imaging device, imaging method, and program

Publications (1)

Publication Number Publication Date
WO2020066332A1 true WO2020066332A1 (ja) 2020-04-02

Family

ID=69952007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031326 WO2020066332A1 (ja) 2018-09-26 2019-08-08 撮影装置、撮影方法、及びプログラム

Country Status (3)

Country Link
US (1) US11509826B2 (ja)
JP (1) JP7003286B2 (ja)
WO (1) WO2020066332A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260393A (ja) * 2004-03-10 2005-09-22 Casio Comput Co Ltd 撮像装置および記憶制御方法
JP2006093956A (ja) * 2004-09-22 2006-04-06 Canon Inc 撮像装置
JP2009077026A (ja) * 2007-09-19 2009-04-09 Fujifilm Corp 撮影装置および方法並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3815458B2 (ja) * 2002-12-18 2006-08-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2005229236A (ja) * 2004-02-12 2005-08-25 Casio Comput Co Ltd カメラ装置およびプログラム
JP4488989B2 (ja) * 2005-09-16 2010-06-23 株式会社東芝 デジタルビデオカメラ装置
JP2008301013A (ja) * 2007-05-30 2008-12-11 Fujifilm Corp 撮影装置および方法並びにプログラム
JP5938814B2 (ja) 2015-11-10 2016-06-22 パナソニックＩｐマネジメント株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260393A (ja) * 2004-03-10 2005-09-22 Casio Comput Co Ltd 撮像装置および記憶制御方法
JP2006093956A (ja) * 2004-09-22 2006-04-06 Canon Inc 撮像装置
JP2009077026A (ja) * 2007-09-19 2009-04-09 Fujifilm Corp 撮影装置および方法並びにプログラム

Also Published As

Publication number Publication date
US11509826B2 (en) 2022-11-22
US20210185228A1 (en) 2021-06-17
JP7003286B2 (ja) 2022-01-20
JPWO2020066332A1 (ja) 2021-08-30

Similar Documents

Publication Publication Date Title
US11438521B2 (en) Image capturing device, image capturing method, and program
US11805320B2 (en) Imaging device, imaging method, and imaging program
US11032483B2 (en) Imaging apparatus, imaging method, and program
JP7110406B2 (ja) 撮像装置、撮像方法、及びプログラム
US20210174090A1 (en) Imaging device, imaging method, and program
WO2020066332A1 (ja) 撮影装置、撮影方法、及びプログラム
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
US20210344839A1 (en) Image processing device, image capturing device, image processing method, and image processing program
JP7150053B2 (ja) 撮像装置、撮像方法、及びプログラム
JP5932862B2 (ja) デジタルカメラの撮像方法及びコンピュータが実行可能なプログラム
JP7191980B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2020066316A1 (ja) 撮影装置、撮影方法、及びプログラム
WO2020003944A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2019193889A1 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
JP5733615B2 (ja) 画像表示装置、画像表示プログラム及び画像表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867750

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548118

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19867750

Country of ref document: EP

Kind code of ref document: A1