WO2020066317A1 - 撮影装置、撮影方法、及びプログラム - Google Patents

撮影装置、撮影方法、及びプログラム Download PDF

Info

Publication number
WO2020066317A1
WO2020066317A1 PCT/JP2019/031095 JP2019031095W WO2020066317A1 WO 2020066317 A1 WO2020066317 A1 WO 2020066317A1 JP 2019031095 W JP2019031095 W JP 2019031095W WO 2020066317 A1 WO2020066317 A1 WO 2020066317A1
Authority
WO
WIPO (PCT)
Prior art keywords
image file
still image
moving image
unit
still
Prior art date
Application number
PCT/JP2019/031095
Other languages
English (en)
French (fr)
Inventor
哲也 藤川
幸徳 西山
田中　康一
和田　哲
林　健吉
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020548106A priority Critical patent/JP7060703B2/ja
Publication of WO2020066317A1 publication Critical patent/WO2020066317A1/ja
Priority to US17/183,093 priority patent/US20210174090A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Definitions

  • the present invention relates to a photographing device, a photographing method, and a program for photographing a moving image, and more particularly, to a photographing device, a photographing method, and a program for extracting a frame constituting a moving image as a still image.
  • Patent Document 1 A technique for extracting a frame constituting a moving image as a still image is known.
  • a moving image is marked at a still image acquisition timing according to a user's instruction, and after the shooting of the moving image is completed, a marking portion and frames before and after the marked portion are extracted and displayed from the moving image. It is described that a still image extraction timing can be selected and a moving image frame at that timing can be extracted as a still image.
  • Patent Literature 1 described above, marking information is recorded during moving image shooting, but a still image is not saved even if the user instructs marking. It is necessary to give an extraction instruction. Further, in Patent Literature 1, since only the marking information is recorded, decoding (still image processing) of a moving image is required every time a marked frame is extracted and displayed, and the processing load on the imaging device is high. As described above, the conventional technology cannot easily extract a still image from a moving image.
  • the present invention has been made in view of such circumstances, and has as its object to provide a photographing apparatus, a photographing method, and a program that can easily extract a still image from a moving image.
  • a photographing apparatus extracts a first frame from a moving image photographing unit that photographs a moving image and a plurality of frames that constitute the moving image photographed by the moving image photographing unit.
  • a still image file generating unit that generates a first still image file
  • a moving image file generating unit that generates a moving image file including a plurality of frames including a first frame from a moving image
  • a moving image file a first still image
  • a storage unit for storing an image file and additional information indicating a position of the first frame in the moving image file.
  • a still image file (first still image file) and additional information are stored in addition to the moving image file, it is not essential to separately extract a still image.
  • decoding still image processing
  • the load on the photographing apparatus can be reduced by the amount of reduction in decoding frequency.
  • the position of a still image file in a moving image can be easily specified based on the additional information.
  • a still image can be easily extracted from a moving image.
  • the storage processing of the first still image file and the additional information be performed in parallel with the processing (shooting and storage) of the moving image file.
  • the moving image file to be stored may be a file (partial moving image file) for a part of the shot moving image, and the storage capacity can be reduced by adjusting the storage time.
  • the “additional information indicating the position of the first frame in the moving image file” refers to, for example, the number of the first frame with respect to the first frame, Any information that can specify the first frame among a plurality of frames constituting the moving image file, such as the elapsed time until one frame is obtained, may be used.
  • the additional information may be stored in a moving image file and / or a still image file, or may be stored separately from these files.
  • the additional information is information indicating a relationship between the moving image file and the first still image file, and the additional information includes a relationship between the first still image file and the moving image file.
  • the information includes information in which the other is specified by referring to the information by specifying one of them.
  • the first still image file and the moving image file can be referred to each other, and even if the moving image from which the still image is to be extracted (moving source of the extraction) cannot be specified, the still image file and the moving image file can be identified based on the additional information.
  • a moving image can be specified from the image.
  • the additional information further includes a file name of the moving image file and a file name of the first still image file.
  • the correspondence between the moving image file and the first still image file can be easily grasped.
  • the moving image file and the first still image file may have the same file name (in this case, the file can be identified by changing the extension).
  • the storage unit stores the additional information in the moving image file.
  • the additional information can be stored, for example, in the header or footer of the moving image file.
  • the storage unit stores the additional information in the first still image file.
  • the additional information can be stored, for example, in the header or footer of the first still image file.
  • the storage unit stores the first still image file in the same folder as the moving image file. According to the sixth aspect, the correspondence between the first still image file and the moving image file is clear, and file management is easy.
  • the photographing apparatus is configured such that, when a moving image file is specified, the moving image file specifying unit specifies the moving image file and the first information is referred to the additional information. And a display control unit for displaying the image data of the still image file on the display device.
  • the user can visually recognize the stored still image (the image corresponding to the first still image file).
  • the display control unit superimposes and displays information indicating that the first still image file is extracted from a plurality of frames included in the moving image file on the image data.
  • the user can easily identify by superimposed display that the first still image file has been extracted from the plurality of frames constituting the moving image file.
  • the image capturing apparatus is the image capturing device according to the seventh or eighth aspect, wherein an image selecting unit that receives an operation of selecting a reference image from image data of at least one or more displayed first still image files; A still image extracting unit that extracts a second frame from a plurality of frames forming the moving image file based on the reference image thus generated and generates a second still image file.
  • the timing of the frame of the reference image and the second still image file may be the same or different.
  • the display control unit displays, on the display device, image data of a frame stored in a time range including a frame of the reference image from a plurality of frames forming the moving image file.
  • the image selection unit accepts an operation of selecting still image extraction image data from the displayed image data, and the still image extraction unit selects a frame corresponding to the selected still image extraction image data from the plurality of frames. It is extracted as a second frame to generate a second still image file.
  • the shooting timing of the still image desired by the user to be extracted may be different from the shooting timing of the reference image, according to the tenth aspect, the user sets the desired timing frame (second frame) to the still image (second frame). (A second still image file).
  • the image capturing apparatus has a configuration in which the image data of the first still image file has higher image quality than the image data of a plurality of frames included in the moving image file, Generates a second still image file using the first still image file when the difference between the time at which the second frame is stored and the time at which the first frame is stored is equal to or less than a threshold value.
  • Still images stored during moving image shooting are not subjected to moving image compression and still image processing can be applied, and therefore have higher image quality than each frame after moving image compression. Therefore, by using such a high-quality still image (first still image file), a high-quality second still image file can be generated.
  • the image data of the still image file may be RAW data.
  • the still image extracting unit may calculate a difference between image data of the first frame and the second frame of the moving image file by the first image.
  • a second still image file is generated in addition to the image data of the still image file.
  • the twelfth aspect specifies an example of a second still image file generation method.
  • the imaging device is the image capturing device according to any one of the first to sixth aspects, wherein a still image file specification unit that specifies a first still image file and a first still image file are specified.
  • a display control unit that causes the display device to display image data of a plurality of frames forming the moving image file with reference to the additional information. According to the thirteenth aspect, the user can visually recognize a plurality of frames including the first frame.
  • the imaging device is the imaging device according to the thirteenth aspect, wherein the image selection unit accepts an operation of selecting one or more pieces of image data from the displayed image data, and corresponds to the image data selected by the image selection unit.
  • a still image extracting unit that extracts a frame of the moving image file and generates a still image file.
  • a still image file corresponding to the selected image data can be generated.
  • the imaging device is the imaging device according to any one of the first to fourteenth aspects, wherein the still image file generation unit outputs the first still image in response to an input from an instruction input unit that inputs an external instruction. Store the file.
  • the still image file generation unit can determine that “an external instruction has been input” and store the first still image file when a user operation such as pressing a release button has been performed.
  • the imaging device is the imaging device according to any one of the first to fifteenth aspects, further comprising an event detection unit configured to detect a frame in which an event has occurred from a plurality of frames constituting the moving image.
  • the unit generates a first still image file according to the detection.
  • the first still image file is generated in response to the detection of an event, it is suitable for long-time shooting or unmanned shooting.
  • the still image file generation unit converts the first still image file into an electric circuit at least partially independent of the moving image file. To process. According to the seventeenth aspect, since the first still image file and the moving image file are at least partially processed by independent electric circuits, the load of simultaneous processing can be reduced.
  • a shooting method includes a moving image shooting step of shooting a moving image, and extracting a first frame from a plurality of frames constituting the moving image shot in the moving image shooting step.
  • a still image file generating step of generating a first still image file a moving image file generating step of generating a moving image file composed of a plurality of frames including a first frame from a moving image, a moving image file, a first still image
  • the additional information is information indicating a relationship between the moving image file and the first still image file.
  • the information includes information in which the other is specified by referring to the information by specifying one.
  • the first still image file and the moving image file can be referred to by the additional information.
  • the storage step stores the additional information in the moving image file.
  • the additional information can be stored, for example, in the header or footer of the moving image file.
  • the storing step stores the additional information in the first still image file.
  • the additional information can be stored, for example, in the header or footer of the first still image file.
  • the imaging method according to the twenty-second aspect is the imaging method according to any one of the eighteenth to twenty-first aspects, wherein a moving image file specifying step of specifying a moving image file, and when the moving image file is specified, the first method is performed by referring to the additional information.
  • the user can visually recognize the stored still image (the image corresponding to the first still image file).
  • the imaging method in the twenty-second aspect, in the display control step, information indicating that the first still image file is extracted from a plurality of frames forming the moving image file is superimposed on the image data. .
  • the fact that the first still image file has been extracted from the plurality of frames constituting the moving image file can be easily identified by superimposed display.
  • the imaging method in any one of the eighteenth to twenty-first aspects, wherein a still image file designating step of designating a first still image file and a first still image file are designated.
  • the user can visually recognize a plurality of frames including the first frame.
  • the imaging method according to a twenty-fifth aspect is the imaging method according to the twenty-fourth aspect, wherein the image selecting step receives an operation of selecting one or more image data from the displayed image data, and corresponds to the image data selected in the image selecting step.
  • a still image file corresponding to the selected image data can be generated.
  • a program according to a twenty-sixth aspect of the present invention causes a computer to execute the imaging method according to any one of the eighteenth to twenty-fifth aspects.
  • non-transitory recording media in which computer-readable codes of the programs of these embodiments are recorded can also be mentioned as embodiments of the present invention.
  • the “computer” can be configured by an electric circuit such as various processors in a device such as a photographing device and an image processing device.
  • a still image can be easily extracted from a moving image.
  • FIG. 1 is a diagram illustrating a configuration of a camera system according to the first embodiment.
  • FIG. 2 is a diagram illustrating a functional configuration of the image processing apparatus.
  • FIG. 3 is a flowchart showing a recording process of a moving image and a still image.
  • FIG. 4 is a diagram showing a state of recording a moving image and a still image.
  • FIG. 5 is a diagram illustrating a state in which a moving image and a still image are processed in parallel.
  • FIG. 6 is a flowchart showing the still image extraction processing.
  • FIG. 7 is a diagram illustrating a manner of selecting a reference image.
  • FIG. 8 is a diagram illustrating a state in which an image in a time range including the reference image is displayed.
  • FIG. 9 is a flowchart illustrating a process of generating a still image file based on a difference.
  • FIG. 10 is another flowchart showing the still image extraction processing.
  • FIG. 11 is an external view of a smartphone according to the second embodiment.
  • FIG. 12 is a block diagram illustrating a configuration of a smartphone according to the second embodiment.
  • FIG. 1 is a diagram showing a configuration of a camera system 10 (photographing device) according to the first embodiment.
  • the camera system 10 includes an interchangeable lens 100 (a photographing unit and a photographing device) and a photographing device main body 200 (a photographing device), and forms a subject image (optical image) on the image sensor 210 by a photographing lens including a zoom lens 110 described later. Let it.
  • the interchangeable lens 100 and the photographing apparatus main body 200 can be attached and detached via a mount (not shown).
  • the interchangeable lens 100 includes a zoom lens 110, a focus lens 120, a diaphragm 130, and a lens driving unit 140.
  • the lens drive unit 140 performs zoom (optical zoom) adjustment and focus adjustment by driving the zoom lens 110 and the focus lens 120 forward and backward according to a command from the image processing device 240 (the lens drive control unit 240K in FIG. 2).
  • the zoom adjustment and the focus adjustment are performed not only in response to a command from the image processing device 240 but also in response to a zoom operation or a focus operation (zoom ring, rotation of the focus ring, etc., not shown) performed by the user. Good.
  • the lens driving unit 140 controls the aperture 130 according to a command from the image processing device 240 to adjust the exposure.
  • information such as the positions of the zoom lens 110 and the focus lens 120 and the degree of opening of the aperture 130 are input to the image processing device 240.
  • the interchangeable lens 100 has an optical axis L.
  • the photographing apparatus main body 200 includes an image pickup device 210 (photographing unit, moving image photographing unit), an AFE 220 (AFE: Analog Front End, photographing unit, moving image photographing unit), an A / D converter 230 (A / D: Analog to Digital, photographing). , A moving image photographing unit) and an image processing device 240.
  • the imaging device main body 200 may include a shutter (not shown) for blocking light transmitted to the imaging element 210.
  • the imaging element 210 includes a light receiving surface in which a large number of light receiving elements are arranged in a matrix, and subject light transmitted through the zoom lens 110, the focus lens 120, and the diaphragm 130 is imaged on the light receiving surface of the imaging element 210, The light is converted into an electric signal by each light receiving element.
  • An R (red), G (green), or B (blue) color filter is provided on the light receiving surface of the image sensor 210, and a color image of the subject can be obtained based on signals of each color.
  • various photoelectric conversion elements such as a complementary metal-oxide semiconductor (CMOS) and a charge-coupled device (CCD) can be used.
  • CMOS complementary metal-oxide semiconductor
  • CCD charge-coupled device
  • the AFE 220 performs noise removal and amplification of the analog image signal output from the image sensor 210, and the A / D converter 230 converts the captured analog image signal into a digital image signal having a gradation width.
  • FIG. 2 is a diagram illustrating a functional configuration of the image processing device 240.
  • the image processing device 240 includes a moving image photographing unit 240A (moving image photographing unit), a moving image file generating unit 240B (moving image file generating unit), a moving image file specifying unit 240C (moving image file specifying unit), and a still image file generating unit 240D (still image file Generating unit), still image file specifying unit 240E (still image file specifying unit), event detecting unit 240F (event detecting unit), image selecting unit 240G (image selecting unit), still image extracting unit 240H (still image extracting unit), It includes a storage unit 240I (storage unit), a display control unit 240J (display control unit), and a lens drive control unit 240K (lens drive control unit), and a moving image based on a digital image signal input from the A / D converter 230. Processing such as image capture and file generation, still image file
  • the functions of the image processing device 240 can be realized using various processors.
  • the various processors include, for example, a CPU (Central Processing Unit) which is a general-purpose processor that executes software (program) to realize various functions.
  • the various processors described above include a programmable logic device (GPU) that can change the circuit configuration after manufacturing such as a GPU (Graphics Processing Unit) and an FPGA (Field Programmable Gate Array) that are processors specialized in image processing.
  • Programmable Logic Device PLD
  • the above-mentioned various processors include a dedicated electric circuit which is a processor having a circuit configuration designed specifically for executing a specific process such as an ASIC (Application Specific Integrated Circuit).
  • each unit may be realized by one processor, or may be realized by a plurality of same or different processors (for example, a plurality of FPGAs, a combination of a CPU and an FPGA, or a combination of a CPU and a GPU). Further, a plurality of functions may be realized by one processor. As an example in which a plurality of functions are configured by one processor, first, one processor is configured by a combination of one or more CPUs and software, as typified by a computer such as an image processing apparatus main body or a server. There is a form in which this processor is realized as a plurality of functions.
  • SoC system-on-chip
  • a processor that realizes the functions of the entire system by one IC (Integrated Circuit) chip
  • various functions are configured using one or more of the above-described various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) combining circuit elements such as semiconductor elements.
  • These electric circuits may be electric circuits that realize the above-described functions by using a logical operation, a logical product, a logical negation, an exclusive logical sum, and a logical operation in which these are combined.
  • the moving image file generation unit 240B and the still image file generation unit 240D are at least partially constituted by independent electric circuits, and at least partially generate the still image file (first still image file). Preferably, it is performed independently of the generation process. This can reduce the processing load (described later).
  • the processor or the electric circuit executes the software (program)
  • the processor (computer) readable code of the software to be executed is stored in a non-transitory recording medium such as a ROM (Read Only Memory), Refer to the software.
  • the software stored in the non-transitory recording medium includes a program for executing the imaging method according to the present invention.
  • the code may be recorded on a non-temporary recording medium such as a magneto-optical recording device or a semiconductor memory instead of the ROM.
  • a RAM Random Access Memory
  • data stored in an EEPROM (Electronically Erasable and Programmable Read Only Memory) (not shown) can be referred to. it can.
  • the image processing device 240 includes a ROM 242 (ROM: Read Only Memory, non-temporary recording medium) in addition to the above-described units.
  • the ROM 242 can record computer-readable codes of programs necessary for photographing, recording, and displaying images (including programs for executing the photographing method according to the present invention).
  • the operation unit 250 includes a release button (not shown), operation buttons (for example, a cross button, a Quick button, an OK button, and the like), a dial, a switch, and the like. Various operations such as an image extraction instruction can be performed.
  • the monitor 270 touchscreen type may be used as the operation unit 250.
  • the storage device 260 (storage device, storage unit) includes various types of magneto-optical recording media, non-transitory recording media such as semiconductor memories, and control circuits therefor, and stores moving images, still images, still images extracted from moving images, and the like. .
  • the recording medium a type that can be attached to and detached from the imaging apparatus main body 200 can be used.
  • the monitor 270 (display device) is configured by a touch panel type liquid crystal display panel, and can display moving images, still images, shooting conditions, additional information, and the like.
  • the monitor 270 can be arranged on the back side, the top side, or the like of the imaging device main body 200.
  • the camera system 10 may include a finder.
  • the finder is composed of, for example, a liquid crystal display panel, a prism, a lens, and the like, and a user can visually recognize a moving image, a still image, shooting conditions, additional information, and the like through an eyepiece (not shown).
  • OVF optical view finder
  • EVF electronic view finder
  • HVF hybrid view finder
  • the camera system 10 can set any of a still image shooting mode, a normal moving image shooting mode (first moving image shooting mode), and a still image extraction moving image shooting mode (second moving image shooting mode) as a shooting mode.
  • the still image shooting mode and the normal moving image shooting mode are the same modes as a normal digital camera.
  • the moving image shooting mode for extracting a still image a moving image having different shooting conditions from the normal moving image shooting mode (extracting a still image rather than watching the moving image itself) (Movies with shooting conditions with emphasis on).
  • the moving image shooting mode for extracting a still image at least one of a shutter speed, an autofocus speed, a tracking speed of an automatic exposure, and a tracking speed of a white balance is set to a high speed with respect to the normal moving image shooting mode, And / or the frame rate is set higher than the normal moving image shooting mode.
  • the resolution and the frame rate are set to the maximum values (for example, 4,000 ⁇ 2,000 pixels, 30 frames / second) that can be set in the camera system 10, and the color tone is set on the assumption that still images are extracted.
  • the upper limit of the ISO sensitivity is also set higher than the normal moving image shooting mode.
  • the shutter speed is set to a value corresponding to the frame rate of the moving image to be recorded in the normal moving image shooting mode (1/30 second when the frame rate is 30 frames / second), but in the still image extracting moving image mode. It is set faster than the frame interval (for example, less than 1/30 second).
  • the shutter speed is set to a value corresponding to the frame rate of the moving image so that a smooth moving image is reproduced. In this case, a moving subject may be blurred.
  • the shutter speed is set faster (faster than the frame interval) than in the normal moving image shooting mode, thereby extracting a high-quality still image with less subject blur. Becomes possible.
  • the shutter speed can be increased, and a still image with less blur can be extracted.
  • the auto-focus speed, the auto-exposure tracking speed, the auto white balance tracking speed, and the like can be higher than those in the normal moving image shooting mode, the number of frames focused on the subject and the frames with the proper exposure can be increased. Can be obtained.
  • the frame rate By setting the frame rate to a high rate, the frame interval between moving images is shortened, and the number of frames that can be extracted as a still image is increased.
  • a moving image can be stored and frames constituting the moving image can be extracted as a still image
  • the user cannot know when an event (natural phenomenon, accident, (E.g., incident), a subject whose state changes over time, or a photograph of an instantaneous state of a moving subject can be easily taken.
  • an event natural phenomenon, accident, (E.g., incident)
  • a subject whose state changes over time, or a photograph of an instantaneous state of a moving subject can be easily taken.
  • the still image can be extracted not only at the timing at which the recording of the still image was instructed but also at other timings, the user can obtain the still image at the desired timing.
  • a high-quality still image can be extracted by setting shooting conditions (such as the above-described shutter speed, resolution, and frame rate) suitable for extracting a still image.
  • FIG. 3 is a flowchart showing processing in the still image extraction moving image shooting mode. For example, when the camera system 10 is set to the still image extraction moving image shooting mode by operating a mode dial (not shown) of the operation unit 250, the processing in FIG. 3 is started.
  • the moving image photographing unit 240A determines whether or not a moving image photographing instruction has been given (step S100: moving image photographing step, moving image file generation step). For example, when a release button (not shown) of the operation unit 250 is pressed down, it can be determined that “moving image shooting instruction has been given”. If the determination is affirmative, the process proceeds to step S110. In the example of FIG. 4, it is assumed that shooting in the moving image shooting mode for extracting still images is performed from time 0 to t3.
  • step S110 the moving image shooting unit 240A starts shooting a moving image (moving image shooting step), and the moving image file generating unit 240B (moving image file generating unit) compresses the shot moving image to generate a new moving image file (moving image file).
  • the storage unit 240I storage unit
  • the storage device 260 storage device
  • Sound may be recorded and stored together with a microphone (not shown) provided in the camera system 10.
  • the moving image can be compressed in the MPEG format (MPEG2, MPEG4, etc.), and in this case, the moving image frame is divided into an I frame, a P frame, and a B frame.
  • a GOP Group of Picture
  • the I frame is a frame that holds all information of the frame
  • the P frame is a frame that can express only the difference without referring to the previous I frame.
  • the B frame is a frame that can express only a difference without referring to the preceding and succeeding I frame, P frame, and B frame.
  • the still image file generation unit 240D determines whether or not a still image recording instruction (still image file generation instruction) has been issued (step S120: still image file generation step).
  • the determination of the still image recording instruction can be made in GOP units, in response to an external instruction input (eg, a user instruction), or in response to event detection.
  • an external instruction input e.g, a user instruction
  • the determination is made in GOP units, for example, it can be determined that “still image recording instruction has been issued” every time a new GOP is recorded.
  • a release button not shown
  • the operation unit 250 is pressed down or an operation is performed via the monitor 270, “still image recording instruction is issued” You can judge.
  • the event detection unit 240F detects a specific subject such as a human face from a frame constituting a moving image, or detects a change in the motion or brightness of the subject. It can be determined that “still image recording instruction has been given”. Alternatively, the movement of the camera system 10 may be detected by a gyro, an acceleration sensor, or the like, and the occurrence of an event (and a still image recording instruction in response to the detection of the event) may be determined based on the detection result.
  • the still image file generation unit 240D uses the plurality of frames constituting the moving image shot by the moving image shooting unit 240A. A still image frame (first frame) is extracted to generate a first still image file (step S130: still image file generation step).
  • the still image generation instruction is determined on a GOP basis, a high-quality still image can be acquired periodically. Therefore, if the increase in power consumption due to the capacity of the recording medium or the still image processing can be tolerated, the best image quality is obtained. Be an option.
  • a still image is recorded according to the user's intention, so that the user can easily search for an image when extracting a still image. It should be noted that the determination on a GOP basis only in a specific case (for example, when the release button is kept pressed) can minimize the above-described influence on the capacity and the increase in power consumption.
  • the still image generation can be performed automatically, so that it is suitable for long-time shooting or unattended shooting.
  • the still image file generation unit 240D generates a still image file of a still image with higher image quality than the frames constituting the moving image.
  • the “high-quality still image” include an image with a high resolution and an image with a lower compression ratio than the moving image (or may be zero), but are not limited to these examples.
  • the still image file generation unit 240D may generate a still image file in a RAW image format.
  • the “RAW image” is an image obtained by converting data output from the image sensor into digital data and recording the data in an unprocessed, uncompressed (or lossless) state.
  • the RAW image may be recorded for each GOP (for example, at the start of a GOP).
  • the still image file generating unit 240D simultaneously generates a still image (JPEG or the like) having a lower image quality than the RAW image for the purpose of simplified display of the RAW image and the like. Is also good.
  • step S130 By generating a “high-quality still image” such as a RAW image in step S130, it is possible to increase the quality of a moving image or a still image extracted from the moving image, as described in detail later.
  • the storage unit 240I stores the still image file (first still image file) in the storage device 260 (step S140: storage step, times t1 and t2 in FIG. 4).
  • step S140 additional information indicating the position of the first frame in the moving image file is stored in the still image file. Additional information can be stored in the header or footer of the still image file.
  • “Additional information” is information indicating the position of a still image frame (first frame) in a moving image file.
  • information that can specify the first frame among a plurality of frames constituting the moving image file such as the number of the first frame based on the first frame, the elapsed time from the start of storing the moving image to the acquisition of the first frame, and the like.
  • the additional information is information indicating a relationship between the moving image file and the first still image file, and by specifying one of the first still image file and the moving image file, the information is referred to and the other is specified. May be included. For example, it may include information in which a file name of a moving image file and a file name of a still image file are assigned to one column and another column of the table, respectively.
  • the moving image file When storing a moving image file, a still image file, and additional information, the moving image file is stored with a file name (for example, (photographing date + serial number)) including a serial number indicating a chronological order. May have the same file name as the video file but different extensions (for example, “.mpg” and “.raw”). Further, a moving image file and a still image file (first still image file) stored during shooting of the moving image may be stored in the same folder.
  • a file name for example, (photographing date + serial number)
  • a serial number indicating a chronological order May have the same file name as the video file but different extensions (for example, “.mpg” and “.raw”).
  • a moving image file and a still image file (first still image file) stored during shooting of the moving image may be stored in the same folder.
  • a still image file (first still image file) is stored in addition to a moving image file, it is not essential to separately extract a still image.
  • decoding still image processing
  • the load on the photographing apparatus can be reduced by the amount of reduction in decoding frequency.
  • step S150 Storage of additional information and end of movie shooting>
  • the moving image photographing unit 240A, the moving image file generating unit 240B, the still image file generating unit 240D, and the storage unit 240I (and the event detecting unit 240F when the still image recording instruction is performed in response to the event detection) have the moving image photographing end instruction.
  • step S150 the processing from step S120 to step S140 is repeated.
  • the determination in step S150 can be affirmed. If the determination in step S150 is affirmed, the storage unit 240I stores the additional information in the moving image file (step S160: storage step). In the example of FIG. 4, it is time t3.
  • the moving image photographing unit 240A, the moving image file generating unit 240B, and the storing unit 240I end photographing of the moving image and generation and storage of the moving image file (Step S170).
  • the moving image file generation unit 240B may divide the moving image and store the divided moving image files as separate moving image files. The division is performed at regular time intervals (for example, every two minutes), divided at GOP units, divided at a time interval set by the user, divided according to a user's still image generation instruction, or automatically divided according to event detection. May be.
  • the moving image file including the first frame and the still image file (first still image file) among the divided moving image files can be referred to by the additional information.
  • the additional information may be, for example, "elapsed time from the start of storage of a moving image” and "information for specifying a relationship between a moving image file including a first frame in a divided moving image and a still image file”.
  • the additional information includes “elapsed time from the start of storage of the moving image file including the first frame in the divided moving image (or the frame position of the first frame in the moving image file including the first frame is specified.
  • Information for example, information that specifies the relationship between the moving image file including the first frame and the still image file.
  • a moving image file including the first frame in the divided moving image, a still image file (first still image file) and a moving image file in which the still image file is not stored May be stored in another folder.
  • a plurality of still image files (a plurality of first still image files) are generated, each still image file and a moving image file including each frame (first frame) corresponding to each still image file are added. It is preferable that information can be referred to.
  • ⁇ Frame replacement processing> If a still image file of a high-quality still image such as a RAW image is recorded in step S140, the moving image file generation unit 240B processes the image data of the still image file into still image processing (so-called “development processing”). Then, the data may be converted into image data of the same format as the I frame (still image conversion step), and the converted image data may be replaced with the I frame of the corresponding GOP (first replacement step).
  • the moving image file generation unit 240B can perform the replacement based on the additional information described above.
  • the I-frame portion of the moving image is improved in image quality by replacing the I-frame. Further, when the subject is focused and has little movement, the image quality of the P frame portion and the B frame portion can also be improved through the I frame.
  • the display control unit 240J can reproduce and display the moving image in the state where the replacement has been performed on the monitor 270 (display device), whereby the user can appreciate the moving image with high image quality.
  • the moving image file generation unit 240B calculates the difference between the I frame before the replacement and the I frame after the replacement (difference calculation step), and calculates the difference between the P frame and / or the B frame (which depends on the configuration of the GOP) constituting the GOP. The calculated difference is added (difference adding step).
  • difference adding step a high-quality still image (an image recorded in step S140 and converted into an I-frame for exchange) is obtained before and after the subject having a slight movement is determined by the difference of the moving part. Correction error caused by the difference in resolution from the I-frame of FIG.
  • the moving image file generation unit 240B calculates motion information (for example, a motion vector) of the P frame and / or the B frame (a motion information calculating step), processes the replaced I frame based on the motion information, and processes the P frame and the And / or a B frame can be generated (image generation step). For example, when it is determined from the calculated motion information (motion vector) that “a plurality of adjacent macroblocks are moving in the same or almost the same direction (the motion vectors are the same or almost the same)”, a moving image file is generated.
  • the unit 240B extracts a subject from the replaced I frame (a frame corresponding to a high-quality still image), and moves, enlarges, reduces, or deforms the subject according to the motion vector. According to this aspect, when the movement of the subject is large, by processing the I-frame whose image quality has been improved by the replacement, it is possible to improve the image quality of the moving P-frame and / or B-frame.
  • At least a part of the moving image file generating unit 240B and the still image file generating unit 240D is configured by an independent electric circuit, and the still image file (first It is preferable that the generation process of the still image file) is performed at least partially independently of the generation process of the moving image file (see FIG. 5).
  • a rectangle indicated by a solid line indicates processing for one frame. The processing load can be reduced by such parallel processing.
  • the camera system 10 can extract a frame constituting a moving image as a still image.
  • FIG. 6 is a flowchart showing the still image extraction processing.
  • the moving image file specifying unit 240C determines whether or not an operation to specify a moving image file has been performed (step S200: moving image file specifying step). For example, when there is a user's instruction input via the operation unit 250, it can be determined that "there is a designation operation".
  • step S200 If the determination in step S200 is affirmed (if YES), the moving image file designation unit 240C designates the operation target moving image file as a still image extraction source moving image file (step S210: moving image file designation step), and the display control unit 240J (display control unit) refers to the additional information, and causes monitor 270 (display device) to display the image data of the still image file (first still image file) stored for the specified moving image file (step).
  • step S220 Display control step).
  • the moving image that is the source of the still image extraction may be a moving image whose image quality has been improved by the above-described frame exchange.
  • the display control unit 240J monitors the still image (JPEG or the like) for simply displaying the RAW image generated simultaneously with the RAW image on the monitor 270 (display device). ) May be displayed.
  • FIG. 7 is a diagram showing a display example of image data on the monitor 270.
  • the elapsed time from the start of capturing a moving image to the acquisition of a still image is displayed for four pieces of image data.
  • the display control unit 240J can calculate the elapsed time based on the additional information (information indicating the position of the still image frame (first frame) in the moving image file).
  • the display control unit 240J superimposes the information indicating that the still image file (first still image file) has been extracted from the plurality of frames constituting the moving image file on the image data. .
  • the additional information information indicating the position of the still image frame (first frame) in the moving image file.
  • Still image extracting section 240H determines whether the displayed reference image can be extracted as a still image. Specifically, when there is a desired image data among the displayed image data, when the user selects the displayed reference image and operates the “OK” button in FIG. The extracted reference image may be extracted as a still image. ", And the following processing is cancelled, and the image is extracted as a still image (print, save in another folder, etc.).
  • the image selection unit 240G determines whether an operation of selecting a reference image from the image data of the displayed still image file has been received (step S230: reference image selection step), and selects a reference image according to the received operation. (Step S240: reference image selection step). For example, when the user inputs an instruction via the operation unit 250 (in the example of FIG. 7, the image is selected and the “select as reference image” button is operated), “operation has been accepted” You can judge.
  • Step S240 the display control unit 240J displays, on the monitor 270 (display device), image data of a frame stored in a time range including the frame of the reference image among a plurality of frames constituting the moving image file.
  • Step S260 display control step.
  • the display control unit 240J displays image data of a frame with an elapsed time of 750 ⁇ ⁇ t (sec). For example, as shown in FIG.
  • a reference image 1030 (frame number: N), a frame 1020 (frame number: N ⁇ 1) and a frame 1040 (frame number: N + 1) before and after the reference image 1030 are displayed.
  • the display may be a mode of “including the frame of the reference image and the frame stored before the reference image” or a mode of “including the frame of the reference image and the frame stored after the reference image”.
  • the range of the still image extraction frame to be displayed may be set according to the user's specification, or may be set without the user's specification. Further, the range of the frame to be displayed may be defined by time (for example, 0.5 seconds before and after the frame of the reference image) or by the number of frames (for example, 10 frames before and after the frame of the reference image). You may.
  • the image selection unit 240G receives an operation of selecting still image extraction image data from the image data displayed in step S260 (step S270: image selection step), and selects still image extraction image data according to the received operation. (Step S280: Image selection step). In step S280, one or more image data can be selected, and a plurality of image data may be selected.
  • the still image extracting unit 240H (still image extracting unit) extracts a frame corresponding to the image data selected in step S280 from the plurality of frames constituting the moving image as a second frame, and extracts a still image file (second still image file).
  • Image file (step S290: still image extraction step).
  • the user can easily extract a still image from a moving image at a desired timing (which may be different from the still image storage timing at the time of shooting a moving image).
  • a desired timing which may be different from the still image storage timing at the time of shooting a moving image.
  • a frame constituting a moving image file compressed between frames is displayed.
  • the image processing load when displaying the image on the monitor 270 can be reduced. Since the moving image file is stored in a moving image format such as the MPEG format (for example, inter-frame compression is performed), the still image extracting unit 240H extracts the data of the second frame when generating the still image file. It is converted into a format for images (such as JPEG format).
  • a moving image format such as the MPEG format (for example, inter-frame compression is performed)
  • the still image extracting unit 240H extracts the data of the second frame when generating the still image file. It is converted into a format for images (such as JPEG format).
  • a still image file (first still image file) is stored during moving image shooting in the processing described above with reference to FIG. 3, the still image file is not subjected to moving image compression, and the image processing described with reference to FIG. Since it can be applied, the image quality is higher than each frame after moving image compression. Therefore, when cutting out frames (extracting still images) from captured and stored moving images, image processing using the stored still image files can be performed to improve the image quality of frames at desired timing. it can. Specifically, in a state where the extracted image is selected in step S280 in FIG. 6, the still image extracting unit 240H determines the difference between the time at which the second frame is stored and the time at which the first frame is stored.
  • step S292 in FIG. 9 still image extraction step.
  • the still image extracting unit 240H compares the difference between the image data of the first frame and the image data of the second frame of the moving image file with the first still image file.
  • a second still image file is generated in addition to the image data (step S294: still image extraction step).
  • the still image extracting unit 240H extracts a frame corresponding to the image data selected in step S280 as a second frame, and generates a second still image file ( Step S296: Still image extraction step).
  • the image quality of the second still image file may be reduced if the difference in the storage time (storage timing) is large. It is preferable to set a threshold value. The present invention is not limited to this mode. If the determination is affirmative (when the time difference is equal to or smaller than the threshold), the still image extracting unit 240H outputs the still image file (first image) generated by the still image file generating unit 240D. (A still image file) and an image of a frame (an image of a second frame) constituting the moving image file generated by the moving image file generation unit 240B by a known method to generate a second still image file May be.
  • the still image file (first still image file) generated by the still image file generation unit 240D is in the RAW image format
  • the still image file in the RAW image format is subjected to still image processing (so-called “development processing”).
  • the obtained still image file and the image of the frame (the image of the second frame) constituting the moving image file generated by the moving image file generation unit 240B are synthesized by a known method to generate a second still image file. You may.
  • ⁇ Extraction of still image based on designation of still image file> In the mode shown in FIG. 6, a moving image file is designated, a still image file (first still image file) is displayed with reference to additional information for the designated moving image file, and a frame to be extracted as a still image is determined.
  • a still image file first still image file
  • the still image file designation unit 240E (still image file designation unit) determines whether or not an operation of designating a still image file has been performed (step S202: still image file designation).
  • Step S When the operation is performed, a still image file is designated according to the operation content (Step S212: Still image file designation step).
  • the display control unit 240J display control unit
  • the display control unit 240J specifies the moving image file with reference to the additional information, and forms the moving image file in the same manner as in the example of FIG.
  • the image data of a plurality of frames to be displayed is displayed on the monitor 270 (display device) (step S222: display control step).
  • step S222 the image data of the frames stored in the time range including the frame corresponding to the designated still image file can be displayed.
  • step S252 still image extraction step
  • still image extracting section 240H extracts a frame of a moving image file corresponding to the selected image data, and outputs a second still image.
  • An image file is generated (step S290: still image extraction step).
  • the mode in which the additional information is stored in the moving image file and the still image file (first still image file) has been described.
  • the storage of the additional information is not limited to such a mode.
  • the additional information may be stored in one of the moving image file and the still image file, or may be stored independently (in the storage device 260) of the moving image and the still image.
  • the camera system 10 which is a digital camera has been described, but the configuration of the imaging device is not limited to this.
  • the other photographing device of the present invention for example, a built-in or external PC camera or a portable terminal device having a photographing function as described below can be used.
  • Examples of the mobile terminal device that is an embodiment of the imaging device of the present invention include a mobile phone, a smartphone, a PDA (Personal Digital Assistants), and a portable game machine.
  • a smartphone will be described as an example, and the details will be described with reference to the drawings.
  • FIG. 11 shows the appearance of a smartphone 1 (photographing device) which is an embodiment of the photographing device of the present invention.
  • the smartphone 1 illustrated in FIG. 11 includes a flat casing 2, a display panel 21 (display device) as a display unit on one surface of the casing 2, and an operation panel 22 (operation unit) as an input unit. And a display input unit 20 which is integrated.
  • the housing 2 includes a speaker 31, a microphone 32, an operation unit 40 (operation unit), and a camera unit 41 (moving image shooting unit, moving image file generation unit, moving image file designation unit, still image file generation unit, still image A file specification unit, an event detection unit, an image selection unit, a still image extraction unit, a storage unit, a display control unit, and a lens drive control unit.
  • the configuration of the housing 2 is not limited to this. For example, a configuration in which the display unit and the input unit are independent from each other, or a configuration having a folding structure or a slide mechanism may be used.
  • FIG. 12 is a block diagram showing a configuration of the smartphone 1 shown in FIG.
  • the main components of the smartphone 1 include a wireless communication unit 11, a display input unit 20, a communication unit 30, an operation unit 40, a camera unit 41, a storage unit 50, an external input / output Unit 60, GPS receiving unit 70 (GPS: Global Positioning System), motion sensor unit 80, power supply unit 90, main control unit 101 (moving image shooting unit, moving image file generation unit, moving image file designation unit, still image file A generating unit, a still image file specifying unit, an event detecting unit, an image selecting unit, a still image extracting unit, a storage unit, a display control unit, and a lens drive control unit.
  • the smartphone 1 has a wireless communication function for performing mobile wireless communication via a base station device and a mobile communication network as a main function.
  • the wireless communication unit 11 performs wireless communication with a base station device accommodated in a mobile communication network in accordance with an instruction from the main control unit 101. Using such wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and the like, and reception of Web data and streaming data are performed.
  • the display input unit 20 displays images (still images and / or moving images), character information, and the like under the control of the main control unit 101 to visually convey information to the user, and performs a user operation on the displayed information. It is a so-called touch panel for detecting, and includes a display panel 21 and an operation panel 22.
  • the display panel 21 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 22 is a device that is mounted so that an image displayed on the display surface of the display panel 21 can be visually recognized, and detects one or a plurality of coordinates operated by a finger or a stylus of a user. When such a device is operated with a user's finger or a stylus, a detection signal generated due to the operation is output to the main control unit 101. Next, the main control unit 101 detects an operation position (coordinate) on the display panel 21 based on the received detection signal.
  • the display input unit 20 is configured integrally with the display panel 21 and the operation panel 22 of the smartphone 1 exemplified as an embodiment of the imaging device of the present invention.
  • Reference numeral 22 is arranged to completely cover the display panel 21.
  • the operation panel 22 may have a function of detecting a user operation even in an area outside the display panel 21.
  • the operation panel 22 includes a detection region (hereinafter, referred to as a display region) for a superimposed portion overlapping the display panel 21 and a detection region (hereinafter, a non-display region) for an outer edge portion not overlapping the display panel 21. ).
  • the size of the display area and the size of the display panel 21 may completely match, but it is not always necessary to match them.
  • the operation panel 22 may include two sensitive regions, an outer edge portion and an inner portion other than the outer edge portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 2 and the like.
  • the position detection method adopted in the operation panel 22 there are a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also.
  • the communication unit 30 includes a speaker 31 and a microphone 32, converts the user's voice input through the microphone 32 into voice data that can be processed by the main control unit 101, and outputs the voice data to the main control unit 101.
  • the audio data received by the external input / output unit 11 or the external input / output unit 60 can be decoded and output from the speaker 31.
  • the speaker 31 can be mounted on the same surface as the surface on which the display input unit 20 is provided, and the microphone 32 can be mounted on the side surface of the housing 2.
  • the operation unit 40 is a hardware key using a key switch or the like, and receives an instruction from a user.
  • the operation unit 40 is mounted on a side surface of the housing 2 of the smartphone 1 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a push button type switch.
  • the storage unit 50 stores control programs and control data of the main control unit 101, application software, address data that associates the name and telephone number of a communication partner, data of transmitted and received e-mails, Web data downloaded by Web browsing, It stores downloaded content data and temporarily stores streaming data and the like.
  • the storage unit 50 includes an internal storage unit 51 built in the smartphone and an external storage unit 52 having a removable external memory slot.
  • the internal storage unit 51 and the external storage unit 52 constituting the storage unit 50 include a flash memory type, a hard disk type, a multimedia card micro type, This is realized using a storage medium such as a card type memory (for example, a MicroSD (registered trademark) memory), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the external input / output unit 60 serves as an interface with all external devices connected to the smartphone 1 and communicates with other external devices (for example, a universal serial bus (USB), IEEE 1394, or the like) or a network.
  • external devices for example, a universal serial bus (USB), IEEE 1394, or the like
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), infrared communication (Infrared Data Association: IrDA) (registered trademark), UWB (Ultra Wideband) (registered trademark), ZigBee (registered trademark) ZigBee) (registered trademark) or the like for direct or indirect connection.
  • the external device connected to the smartphone 1 includes, for example, a wired / wireless headset, a wired / wireless external charger, a wired / wireless data port, a memory card (Memory card) connected via a card socket, and a SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • I / O Input / Output
  • external audio and video equipment wirelessly connected wired /
  • smartphone connected wirelessly
  • a PDA connected wired / wirelessly
  • a personal computer connected wired / wirelessly, an earphone, and the like.
  • the external input / output unit 60 can transmit data transmitted from such an external device to each component inside the smartphone 1 and can transmit data inside the smartphone 1 to the external device.
  • the GPS receiving unit 70 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with an instruction of the main control unit 101, executes a positioning calculation process based on the plurality of received GPS signals, and executes a position ( Latitude, longitude, altitude).
  • the GPS receiving unit 70 can acquire position information from the wireless communication unit 11 or the external input / output unit 60 (for example, wireless LAN), the GPS receiving unit 70 can also detect the position using the position information.
  • the motion sensor unit 80 includes, for example, a three-axis acceleration sensor, and detects a physical movement of the smartphone 1 according to an instruction from the main control unit 101. By detecting the physical movement of the smartphone 1, the moving direction and the acceleration of the smartphone 1 are detected. Such a detection result is output to the main control unit 101.
  • the power supply unit 90 supplies power stored in a battery (not shown) to each unit of the smartphone 1 according to an instruction from the main control unit 101.
  • the main control unit 101 includes a microprocessor, operates according to a control program and control data stored in the storage unit 50, and controls the respective units of the smartphone 1 including the camera unit 41 in an integrated manner.
  • the main control unit 101 has a mobile communication control function for controlling each unit of a communication system and an application processing function for performing voice communication and data communication through the wireless communication unit 11.
  • the application processing function is realized by the main control unit 101 operating according to the application software stored in the storage unit 50.
  • the application processing functions include, for example, an infrared communication function of controlling the external input / output unit 60 to perform data communication with a partner device, an e-mail function of transmitting / receiving e-mail, and a Web browsing function of browsing a Web page. .
  • the main control unit 101 has an image processing function such as displaying a video on the display input unit 20 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 101 decodes image data, performs image processing on the decoding result, and displays an image on the display input unit 20.
  • the main control unit 101 executes display control for the display panel 21 and operation detection control for detecting a user operation through the operation unit 40 and the operation panel 22.
  • the main control unit 101 displays a software key such as an icon or a scroll bar for activating the application software, or a window for creating an e-mail.
  • the scroll bar is a software key for receiving an instruction to move a display portion of an image such as a large image that cannot be accommodated in the display area of the display panel 21.
  • the main control unit 101 detects a user operation through the operation unit 40, receives an operation on an icon through the operation panel 22, or receives an input of a character string in an input field of a window, Alternatively, a request for scrolling a display image through a scroll bar is received.
  • the main control unit 101 determines whether the operation position on the operation panel 22 is a superimposed portion (display region) overlapping the display panel 21 or an outer edge portion (non-display region) not overlapping the display panel 21. ), And a touch panel control function for controlling the sensitive area of the operation panel 22 and the display position of the software key is provided.
  • the main control unit 101 can also detect a gesture operation on the operation panel 22 and execute a preset function according to the detected gesture operation.
  • a gesture operation is not a conventional simple touch operation but an operation of drawing a trajectory with a finger or the like, simultaneously specifying a plurality of positions, or combining these to draw a trajectory for at least one from a plurality of positions. means.
  • the camera unit 41 is a digital camera (photographing device) that electronically photographs using an image sensor such as a complementary metal oxide semiconductor (CMOS) or a charge-coupled device (CCD). Also, under the control of the main control unit 101, the camera unit 41 converts image data (moving image, still image) obtained by imaging into compressed image data such as MPEG or JPEG (Joint Photographic coding Experts Group), and stores it. The data can be recorded in the unit 50 or output through the external input / output unit 60 or the wireless communication unit 11.
  • CMOS complementary metal oxide semiconductor
  • CCD charge-coupled device
  • the camera unit 41 divides and combines a moving image, acquires a high-quality still image (such as a RAW image), replaces and processes frames, and extracts a still image from a moving image under the control of the main control unit 101.
  • the camera unit 41 is mounted on the same surface as the display input unit 20, but the mounting position of the camera unit 41 is not limited thereto, and the camera unit 41 may be mounted on the back surface of the display input unit 20.
  • a plurality of camera units 41 may be mounted. When a plurality of camera units 41 are mounted, the camera unit 41 to be used for photographing can be switched to take a single image, or a plurality of camera units 41 can be used at the same time. Can also.
  • the camera unit 41 can be used for various functions of the smartphone 1.
  • the image acquired by the camera unit 41 can be displayed on the display panel 21, and the image of the camera unit 41 can be used as one of the operation inputs of the operation panel 22.
  • the GPS receiving unit 70 detects the position
  • the position can be detected with reference to the image from the camera unit 41.
  • the image from the camera unit 41 can be used in the application software.
  • position information obtained by the GPS receiving unit 70 to image data of a still image or moving image may be converted into text information by performing audio-to-text conversion by the main control unit or the like), Posture information or the like acquired by the motion sensor unit 80 can be added and recorded in the storage unit 50, or output via the external input / output unit 60 or the wireless communication unit 11.
  • the smartphone 1 having the above-described configuration also executes the processing of the shooting method according to the present invention (shooting and recording of a moving image, recording of a still image, extraction of a still image, and the like), similarly to the camera system 10 according to the first embodiment. be able to.
  • the camera unit 41 and the main control unit 101 execute processing executed by the image processing device 240 (each unit illustrated in FIG. 2) in the first embodiment. Can be performed.
  • the functions of the operation unit 250, the storage device 260, and the monitor 270 in the first embodiment can be realized by the operation unit 40, the storage unit 50, and the operation panel 22, the display panel 21, and the operation panel 22 in the smartphone 1. it can.
  • the smartphone 1 according to the second embodiment the same effect as that of the camera system 10 according to the first embodiment (e.g., a still image can be easily formed from a moving image) can be obtained.

Abstract

本発明は、動画から容易に静止画を抽出できる撮影装置、撮影方法、及びプログラムを提供することを目的とする。本発明の第１の態様に係る撮影装置によれば、動画ファイルに加え静止画ファイル（第１の静止画ファイル）と付加情報を記憶させるので、別途静止画の抽出を行うことは必須ではない。また、抽出の度に必ずデコード（静止画処理）を行うものではないので、デコードの頻度が減る分だけ撮影装置に対する負荷を軽減することができる。また、静止画の抽出を行う場合、動画における静止画ファイルの位置を付加情報に基づいて容易に特定することができる。これにより第１の態様では動画から容易に静止画を抽出することができる。

Description

撮影装置、撮影方法、及びプログラム

　本発明は動画を撮影する撮影装置、撮影方法、及びプログラムに関し、特に動画を構成するフレームを静止画として抽出する撮影装置、撮影方法、及びプログラムに関する。

　動画を構成するフレームを静止画として抽出する技術が知られている。例えば特許文献１では、動画の撮影中にユーザの指示により静止画取得タイミングで動画にマーキングし、動画撮影終了後にマーキング箇所及びその前後のフレームを動画から抽出及び表示することで、ユーザが動画からの静止画抽出のタイミングを選択し、そのタイミングの動画フレームを静止画として抽出できる旨が記載されている。

特開２０１６－１６７８５５号公報

　しかしながら上述した特許文献１では、動画撮影中はマーキング情報が記録されるが、ユーザがマーキングを指示しても静止画が保存されるわけではなく、静止画保存するには動画撮影後に別途ユーザが抽出指示を行う必要がある。また、特許文献１ではマーキング情報が記録されるだけなので、マーキングしたフレームを抽出及び表示する度に動画のデコード（静止画処理）が必要であり、撮像装置への処理負荷が高い。このように、従来の技術は動画から容易に静止画を抽出できるものではなかった。

　本発明はこのような事情に鑑みてなされたもので、動画から容易に静止画を抽出できる撮影装置、撮影方法、及びプログラムを提供することを目的とする。

　上述した目的を達成するため、本発明の第１の態様に係る撮影装置は、動画を撮影する動画撮影部と、動画撮影部で撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成部と、動画から第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成部と、動画ファイル、第１の静止画ファイル、及び、動画ファイルにおける第１のフレームの位置を示す付加情報を記憶する記憶部と、を備える。

　第１の態様によれば、動画ファイルに加えて静止画ファイル（第１の静止画ファイル）と付加情報を記憶するので、別途静止画の抽出を行うことは必須ではない。また、抽出の度に必ずデコード（静止画処理）を行うものではないので、デコードの頻度が減る分だけ撮影装置に対する負荷を軽減することができる。また、静止画の抽出を行う場合、動画における静止画ファイルの位置を付加情報に基づいて容易に特定することができる。これにより第１の態様では動画から容易に静止画を抽出することができる。なお、第１の態様及び以下の各態様において、第１の静止画ファイル及び付加情報の記憶処理を動画ファイルの処理（撮影、記憶）と並行して行うことが好ましい。また、記憶する動画ファイルは撮影した動画の一部についてのファイル（部分的な動画ファイル）でもよく、記憶時間を調節することで記憶容量を削減することができる。

　なお、第１の態様及び以下の各態様において「動画ファイルにおける第１のフレームの位置を示す付加情報」とは、例えば先頭フレームを基準とした第１のフレームの番号、動画の記憶開始から第１のフレームを取得するまでの経過時間等、動画ファイルを構成する複数のフレームにおいて第１のフレームを特定できる情報であればよい。また、付加情報は動画ファイル及び／または静止画ファイル内に記憶させてもよいし、これらファイルとは別に記憶させてもよい。

　第２の態様に係る撮影装置は第１の態様において、付加情報は、さらに動画ファイルと第１の静止画ファイルとの関係を示す情報であって、第１の静止画ファイルと動画ファイルとのうち一方を特定することにより情報を参照して他方が特定される情報を含む。第２の態様によれば、第１の静止画ファイル及び動画ファイルを互いに参照することができ、静止画を抽出したい動画（抽出元の動画）を特定できなくても、付加情報に基づいて静止画から動画を特定することができる。

　第３の態様に係る撮影装置は第１または第２の態様において、付加情報は、さらに動画ファイルのファイル名と第１の静止画ファイルのファイル名を含む。第３の態様によれば、動画ファイルと第１の静止画ファイルとの対応関係を容易に把握することができる。なお、動画ファイルと第１の静止画ファイルのファイル名を同一にしてもよい（この場合、拡張子を変えることでファイルを識別することができる）。

　第４の態様に係る撮影装置は第１から第３の態様のいずれか１つにおいて、記憶部は、動画ファイルに付加情報を記憶する。付加情報は、例えば動画ファイルのヘッダあるいはフッタに記憶することができる。

　第５の態様に係る撮影装置は第１から第４の態様のいずれか１つにおいて、記憶部は、第１の静止画ファイルに付加情報を記憶する。付加情報は、例えば第１の静止画ファイルのヘッダあるいはフッタに記憶することができる。

　第６の態様に係る撮影装置は第１から第５の態様のいずれか１つにおいて、記憶部は第１の静止画ファイルを動画ファイルと同じフォルダに記憶する。第６の態様によれば、第１の静止画ファイルと動画ファイルとの対応関係が明確であり、ファイル管理が容易である。

　第７の態様に係る撮影装置は第１から第６の態様のいずれか１つにおいて、動画ファイルを指定する動画ファイル指定部と、動画ファイルが指定されると、付加情報を参照して第１の静止画ファイルの画像データを表示装置に表示させる表示制御部と、を備える。これによりユーザは記憶させた静止画（第１の静止画ファイルに対応する画像）を視認することができる。

　第８の態様に係る撮影装置は第７の態様において、表示制御部は、第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを示す情報を画像データに重畳表示させる。第８の態様によれば、ユーザは第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを重畳表示により容易に識別することができる。

　第９の態様に係る撮影装置は第７または第８の態様において、表示された少なくとも１つ以上の第１の静止画ファイルの画像データから基準画像を選択する操作を受け付ける画像選択部と、選択された基準画像に基づいて、動画ファイルを構成する複数のフレームから第２のフレームを抽出し第２の静止画ファイルを生成する静止画抽出部と、をさらに備える。基準画像のフレームと第２の静止画ファイルはタイミングが同じでもよいし、違っていてもよい。

　第１０の態様に係る撮影装置は第９の態様において、表示制御部は、動画ファイルを構成する複数のフレームから基準画像のフレームを含む時間範囲に記憶されたフレームの画像データを表示装置に表示させ、画像選択部は表示された画像データから静止画抽出用画像データを選択する操作を受け付け、静止画抽出部は、複数のフレームのうち選択された静止画抽出用画像データに対応するフレームを第２のフレームとして抽出して第２の静止画ファイルを生成する。ユーザが抽出を希望する静止画の撮影タイミングは基準画像の撮影タイミングとずれている場合があるが、第１０の態様によればユーザは所望のタイミングのフレーム（第２のフレーム）を静止画（第２の静止画ファイル）として抽出することができる。

　第１１の態様に係る撮影装置は第９または第１０の態様において、第１の静止画ファイルの画像データは、動画ファイルを構成する複数のフレームの画像データより高画質であり、静止画抽出部は、第２のフレームが記憶された時間と第１のフレームが記憶された時間との差がしきい値以下の場合は、第１の静止画ファイルを用いて第２の静止画ファイルを生成する。動画撮影中に記憶された静止画は動画圧縮がかかっておらず静止画用画像処理も適用可能なため、動画圧縮後の各フレームよりも高画質である。このため、そのような高画質の静止画（第１の静止画ファイル）を用いることにより、高画質な第２の静止画ファイルを生成することができる。なお、記憶時間（記憶タイミング）の差が大きくなると第２の静止画ファイルの画質が低下する可能性があるので、要求される画質に応じてしきい値を設定することが好ましい。また、「高画質」の例としては解像度が高いこと、圧縮率が低い（ゼロすなわち非圧縮でもよい）こと等を挙げることができるが、これらの例に限定されるものではない。静止画ファイルの画像データはＲＡＷデータでもよい。

　第１２の態様に係る撮影装置は第９から第１１の態様のいずれか１つにおいて、静止画抽出部は、動画ファイルの第１のフレームと第２のフレームの画像データの差分を第１の静止画ファイルの画像データに加えて第２の静止画ファイルを生成する。第１２の態様は第２の静止画ファイル生成手法の一例を規定するものである。

　第１３の態様に係る撮影装置は第１から第６の態様のいずれか１つにおいて、第１の静止画ファイルを指定する静止画ファイル指定部と、第１の静止画ファイルが指定されると、付加情報を参照して動画ファイルを構成する複数のフレームの画像データを表示装置に表示させる表示制御部と、をさらに備える。第１３の態様によれば、ユーザは第１のフレームを含む複数のフレームを視認することができる。

　第１４の態様に係る撮影装置は第１３の態様において、表示された画像データから１つ以上の画像データを選択する操作を受け付ける画像選択部と、画像選択部で選択された画像データに対応する動画ファイルのフレームを抽出し静止画ファイルを生成する静止画抽出部と、をさらに備える。第１４の態様によれば、選択された画像データ（ユーザが所望の画像データ）に対応する静止画ファイルを生成することができる。

　第１５の態様に係る撮影装置は第１から第１４の態様のいずれか１つにおいて、静止画ファイル生成部は外部からの指示を入力する指示入力部からの入力に応じて第１の静止画ファイルを記憶する。静止画ファイル生成部は、例えばレリーズボタンの押し下げ等のユーザの操作があった場合に「外部からの指示が入力された」と判断して第１の静止画ファイルを記憶することができる。

　第１６の態様に係る撮影装置は第１から第１５の態様のいずれか１つにおいて、動画を構成する複数のフレームよりイベントが発生したフレームを検出するイベント検出部をさらに備え、静止画ファイル生成部は検出に応じて第１の静止画ファイルを生成する。第１６の態様ではイベントの検出に応じて第１の静止画ファイルを生成するので、長時間撮影や無人撮影の場合等に好適である。

　第１７の態様に係る撮影装置は第１から第１６の態様のいずれか１つにおいて、静止画ファイル生成部は、第１の静止画ファイルを動画ファイルとは少なくとも一部が独立した電気回路で処理する。第１７の態様によれば、第１の静止画ファイルと動画ファイルとを少なくとも一部が独立した電気回路で処理する分、同時処理による負荷を軽減することができる。

　上述した目的を達成するため、本発明の第１８の態様に係る撮影方法は、動画を撮影する動画撮影ステップと、動画撮影ステップで撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成ステップと、動画から第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成ステップと、動画ファイル、第１の静止画ファイル、及び、動画ファイルにおける第１のフレームの位置を示す付加情報を記憶する記憶ステップと、を有する。第１８の態様によれば、第１の態様と同様に動画から容易に静止画を抽出することができる。

　第１９の態様に係る撮影方法は第１８の態様において、付加情報は、動画ファイルと第１の静止画ファイルとの関係を示す情報であって、第１の静止画ファイルと動画ファイルとのうち一方を特定することにより情報を参照して他方が特定される情報を含む。第１９の態様によれば、付加情報により第１の静止画ファイル及び動画ファイルを互いに参照することができる。

　第２０の態様に係る撮影方法は第１８または第１９の態様において、記憶ステップでは、動画ファイルに付加情報を記憶する。付加情報は、例えば動画ファイルのヘッダあるいはフッタに記憶することができる。

　第２１の態様に係る撮影方法は第１８から第２０の態様のいずれか１つにおいて、記憶ステップでは、第１の静止画ファイルに付加情報を記憶する。付加情報は、例えば第１の静止画ファイルのヘッダあるいはフッタに記憶することができる。

　第２２の態様に係る撮影方法は第１８から第２１の態様のいずれか１つにおいて、動画ファイルを指定する動画ファイル指定ステップと、動画ファイルが指定されると、付加情報を参照して第１の静止画ファイルの画像データを表示装置に表示させる表示制御ステップと、をさらに有する。第２２の態様によれば、第７の態様と同様にユーザは記憶させた静止画（第１の静止画ファイルに対応する画像）を視認することができる。

　第２３の態様に係る撮影方法は第２２の態様において、表示制御ステップでは、第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを示す情報を画像データに重畳表示させる。第２３の態様によれば、第１の静止画ファイルが動画ファイルを構成する複数のフレームから抽出されたことを、重畳表示により容易に識別することができる。

　第２４の態様に係る撮影方法は第１８から第２１の態様のいずれか１つにおいて、第１の静止画ファイルを指定する静止画ファイル指定ステップと、第１の静止画ファイルが指定されると、付加情報を参照して動画ファイルを構成する複数のフレームの画像データを表示装置に表示させる表示制御ステップと、をさらに有する。第２４の態様によれば、第１３の態様と同様にユーザは第１のフレームを含む複数のフレームを視認することができる。

　第２５の態様に係る撮影方法は第２４の態様において、表示された画像データから１つ以上の画像データを選択する操作を受け付ける画像選択ステップと、画像選択ステップで選択された画像データに対応する動画ファイルのフレームを抽出し静止画ファイルを生成する静止画抽出ステップと、をさらに有する。第２５の態様によれば、第１４の態様と同様に、選択された画像データに対応する静止画ファイルを生成することができる。

　上述した目的を達成するため、本発明の第２６の態様に係るプログラムは、第１８から第２５の態様のいずれか１つに係る撮影方法をコンピュータに実行させる。また、これら態様のプログラムのコンピュータ読み取り可能なコードを記録した非一時的記録媒体も本発明の態様として挙げることができる。なお、「コンピュータ」は撮影装置、画像処理装置等の装置において各種プロセッサ等の電気回路により構成することができる。

　以上説明したように、本発明の撮影装置、撮影方法、及びプログラムによれば、動画から容易に静止画を抽出することができる。

図１は、第１の実施形態に係るカメラシステムの構成を示す図である。 図２は、画像処理装置の機能構成を示す図である。 図３は、動画及び静止画の記録処理を示すフローチャートである。 図４は、動画及び静止画の記録の様子を示す図である。 図５は、動画と静止画を並行して処理する様子を示す図である。 図６は、静止画抽出処理を示すフローチャートである。 図７は、基準画像を選択する様子を示す図である。 図８は、基準画像を含む時間範囲の画像を表示する様子を示す図である。 図９は、差分による静止画ファイル生成の処理を示すフローチャートである。 図１０は、静止画抽出処理を示す他のフローチャートである。 図１１は、第２の実施形態に係るスマートフォンの外観図である。 図１２は、第２の実施形態に係るスマートフォンの構成を示すブロック図である。

　以下、添付図面を参照しつつ、本発明に係る撮影装置、撮影方法、及びプログラムを実施するための形態について詳細に説明する。

　＜第１の実施形態＞

　＜撮影装置の全体構成＞

　図１は第１の実施形態に係るカメラシステム１０（撮影装置）の構成を示す図である。カメラシステム１０は交換レンズ１００（撮影部、撮影装置）及び撮影装置本体２００（撮影装置）により構成され、後述するズームレンズ１１０を含む撮影レンズにより被写体像（光学像）を撮像素子２１０に結像させる。交換レンズ１００と撮影装置本体２００とは、図示せぬマウントを介して装着及び取り外しすることができる。

　＜交換レンズの構成＞

　交換レンズ１００は、ズームレンズ１１０と、フォーカスレンズ１２０と、絞り１３０と、レンズ駆動部１４０とを備える。レンズ駆動部１４０は、画像処理装置２４０（図２のレンズ駆動制御部２４０Ｋ）からの指令に応じてズームレンズ１１０、フォーカスレンズ１２０を進退駆動してズーム（光学ズーム）調整、フォーカス調整を行う。ズーム調整及びフォーカス調整は、画像処理装置２４０からの指令に応じて行う他に、ユーザが行ったズーム操作、フォーカス操作（図示せぬズームリング、フォーカスリングの回動等）に応じて行ってもよい。また、レンズ駆動部１４０は画像処理装置２４０からの指令に応じて絞り１３０を制御し、露出を調整する。一方、ズームレンズ１１０及びフォーカスレンズ１２０の位置、絞り１３０の開放度等の情報が画像処理装置２４０に入力される。なお、交換レンズ１００は光軸Ｌを有する。

　＜撮影装置本体の構成＞

　撮影装置本体２００は、撮像素子２１０（撮影部、動画撮影部）、ＡＦＥ２２０（ＡＦＥ：Analog Front End、撮影部、動画撮影部）、Ａ／Ｄ変換器２３０（Ａ／Ｄ：Analog to Digital、撮影部、動画撮影部）、及び画像処理装置２４０を備える。撮影装置本体２００は、撮像素子２１０に透過させる光を遮光するためのシャッター（不図示）を有していてもよい。撮像素子２１０は、多数の受光素子がマトリクス状に配列された受光面を備え、ズームレンズ１１０、フォーカスレンズ１２０、及び絞り１３０を透過した被写体光が撮像素子２１０の受光面上に結像され、各受光素子によって電気信号に変換される。撮像素子２１０の受光面上にはＲ（赤），Ｇ（緑），またはＢ（青）のカラーフィルタが設けられており、各色の信号に基づいて被写体のカラー画像を取得することができる。なお、撮像素子２１０としては、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＣＣＤ（Charge-Coupled Device）等の様々な光電変換素子を用いることができる。ＡＦＥ２２０は撮像素子２１０から出力されるアナログ画像信号のノイズ除去、増幅等を行い、Ａ／Ｄ変換器２３０は、取り込んだアナログ画像信号を階調幅があるデジタル画像信号に変換する。

　＜画像処理装置の構成＞

　図２は、画像処理装置２４０の機能構成を示す図である。画像処理装置２４０は、動画撮影部２４０Ａ（動画撮影部）、動画ファイル生成部２４０Ｂ（動画ファイル生成部）、動画ファイル指定部２４０Ｃ（動画ファイル指定部）、静止画ファイル生成部２４０Ｄ（静止画ファイル生成部）、静止画ファイル指定部２４０Ｅ（静止画ファイル指定部）、イベント検出部２４０Ｆ（イベント検出部）、画像選択部２４０Ｇ（画像選択部）、静止画抽出部２４０Ｈ（静止画抽出部）、記憶部２４０Ｉ（記憶部）、表示制御部２４０Ｊ（表示制御部）、及びレンズ駆動制御部２４０Ｋ（レンズ駆動制御部）を備え、Ａ／Ｄ変換器２３０から入力されたデジタル画像信号に基づいて動画の撮影及びファイル生成、静止画ファイル生成、動画を構成する複数のフレームに対する処理、静止画の抽出等の処理を行う。画像処理装置２４０による処理の詳細は後述する。

　画像処理装置２４０の機能は、各種のプロセッサ（processor）を用いて実現できる。

各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上述した各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

　各部の機能は１つのプロセッサにより実現されてもよいし、同種または異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、画像処理装置本体、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上述した機能を実現する電気回路であってもよい。

　なお、動画ファイル生成部２４０Ｂと静止画ファイル生成部２４０Ｄは、少なくとも一部が独立した電気回路で構成し、静止画ファイル（第１の静止画ファイル）の生成処理を少なくとも一部は動画ファイルの生成処理から独立して行うことが好ましい。これにより処理負荷を軽減することができる（後述）。

　上述したプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、本発明に係る撮影方法を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。

　画像処理装置２４０は、上述の各部の他にＲＯＭ２４２（ROM：Read Only Memory、非一時的記録媒体）を備える。ＲＯＭ２４２には、画像の撮影、記録、表示等に必要なプログラム（本発明に係る撮影方法を実行するためのプログラムを含む）のコンピュータ読み取り可能なコードを記録することができる。

　＜操作部＞

　操作部２５０（指示入力部）は図示せぬレリーズボタン、操作用ボタン（例えば十字ボタン、Quickボタン、ＯＫボタン等）、ダイヤル、スイッチ等を有し、ユーザは撮影モード設定、動画撮影指示、静止画抽出指示等、各種の操作を行うことができる。なお、モニタ２７０（タッチパネル型）を操作部２５０として使用してもよい。

　＜記憶装置＞

　記憶装置２６０（記憶装置、記憶部）は各種の光磁気記録媒体、半導体メモリ等の非一時的記録媒体及びその制御回路により構成され、動画、静止画、動画から抽出した静止画等を記憶する。記録媒体は撮影装置本体２００に対し着脱できるタイプを用いることができる。

　＜モニタ及びファインダ＞

　モニタ２７０（表示装置）はタッチパネル型の液晶表示パネルにより構成され、動画、静止画、撮影条件や付加情報等を表示することができる。モニタ２７０は撮影装置本体２００の背面側、天面側等に配置することができる。また、カメラシステム１０はファインダを備えていてもよい。ファインダは例えば液晶表示パネル、プリズム、レンズ等により構成され、ユーザは図示せぬ接眼部を介して動画、静止画、撮影条件や付加情報等を視認することができる。ファインダとしては「光学式ビューファインダ（ＯＶＦ：Optical View Finder）」、「電子式ビューファインダ（ＥＶＦ：Electronic View Finder）」、あるいはこれらの組合せである「ハイブリッド式ビューファインダ（ＨＶＦ：Hybrid View Finder）」を用いることができる。

　＜カメラシステムの撮影モード＞

　カメラシステム１０は撮影モードとして静止画撮影モード、通常動画撮影モード（第１の動画撮影モード）、静止画抽出用動画撮影モード（第２の動画撮影モード）のいずれかを設定することができる。静止画撮影モード、通常動画撮影モードは通常のデジタルカメラと同様のモードであり、静止画抽出用動画撮影モードでは通常動画撮影モードと撮影条件が異なる動画（動画自体の鑑賞よりも静止画の抽出を重視した撮影条件の動画）を撮影する。具体的には、静止画抽出用動画撮影モードでは、通常動画撮影モードに対してシャッタースピード、オートフォーカスの速度、自動露出の追従速度、ホワイトバランスの追従速度のうち少なくとも１つが高速に設定され、かつ／または通常動画撮影モードに対してフレームレートが高く設定される。また、解像度及びフレームレートはカメラシステム１０で設定可能な最高値（例えば４，０００×２，０００画素、３０フレーム／秒）に設定され、色調も静止画抽出を前提として設定される。ＩＳＯ感度の上限も通常動画撮影モードより高くする。

　例えばシャッタースピードに関しては、通常動画撮影モードでは記録する動画のフレームレートに対応した値（フレームレートが３０フレーム／秒の場合、１／３０秒）に設定されるが、静止画抽出用動画モードではフレーム間隔よりも高速（例えば、１／３０秒未満）に設定される。通常動画撮影モードでは、滑らかな動画が再生されるようにシャッタースピードが動画のフレームレートに対応した値に設定されるが、この場合動く被写体に対してはブレが生じる可能性がある。このため、静止画抽出用動画撮影モードではシャッタースピードを通常動画撮影モードよりも高速（フレーム間隔よりも高速）に設定しており、これにより被写体のブレが少ない高画質な静止画を抽出することが可能になる。同様に、ＩＳＯ感度の上限を高くすることでシャッタースピードを高速化でき、これによりブレが少ない静止画を抽出することができる。また、オートフォーカスの速度，自動露出の追従速度やオートホワイトバランスの追従速度等が通常動画撮影モードよりも高速に設定されることで、被写体に合焦したフレーム、露出が適正なフレーム等を多く取得することができる。フレームレートについても、高レートに設定することで動画のフレーム間隔が短くなり、静止画として抽出できるフレームが増加する。

　上述した静止画抽出用動画撮影モードによれば、動画を記憶しておき動画を構成するフレームを静止画として抽出することができるので、ユーザはいつ発生するか分からないイベント（自然現象やアクシデント、ハプニング等）の写真、時間の経過とともに状態が変化する被写体や動きのある被写体の瞬間的な状態の写真等を容易に撮影することができる。この際、詳細を後述するように、静止画の記録を指示したタイミングだけでなくその他のタイミングについても静止画を抽出できるので、ユーザは所望のタイミングの静止画を取得することができる。また、静止画抽出に適した撮影条件（上述したシャッタースピード、解像度、フレームレート等）を設定することにより高画質の静止画を抽出することができる。

　＜静止画抽出用動画撮影モードにおける処理＞

　上述した構成のカメラシステム１０における撮影方法について説明する。図３は、静止画抽出用動画撮影モードにおける処理を示すフローチャートである。例えば操作部２５０の図示せぬモードダイヤルの操作によりカメラシステム１０が静止画抽出用動画撮影モードに設定されると、図３の処理が開始される。

　＜動画記録指示＞

　動画撮影部２４０Ａ（動画撮影部）は動画撮影指示がされたか否かを判断する（ステップＳ１００：動画撮影ステップ、動画ファイル生成ステップ）。例えば操作部２５０の図示せぬレリーズボタンが押し下げされた場合に「動画撮影指示がされた」と判断することができる。判断が肯定されるとステップＳ１１０へ進む。なお、図４の例では時刻０からｔ３まで静止画抽出用動画撮影モードによる撮影が行われるものとしている。

　＜動画の撮影及び圧縮記録＞

　ステップＳ１１０で、動画撮影部２４０Ａは動画の撮影を開始し（動画撮影ステップ）、動画ファイル生成部２４０Ｂ（動画ファイル生成部）は撮影した動画を圧縮して新たな動画ファイルを生成し（動画ファイル生成ステップ）、記憶部２４０Ｉ（記憶部）は生成された動画ファイルの記憶装置２６０（記憶装置）への記憶を開始する（記憶ステップ）。カメラシステム１０に設けられた図示せぬマイクロフォンにより音声を合わせて収録及び記憶してもよい。動画の圧縮はＭＰＥＧ形式（ＭＰＥＧ２、ＭＰＥＧ４等）で行うことができ、この場合、動画のフレームはＩフレーム、Ｐフレーム、Ｂフレームに分けられる。また、これらのフレームのうち少なくともＩフレームによりＧＯＰ（Group of Picture）が形成される。Ｉフレームはフレームの全ての情報を保持したフレームであり、Ｐフレームは前のＩフレームを参照しないと差分しか表現できないフレームである。Ｂフレームは前後のＩフレーム、Ｐフレーム、Ｂフレームを参照しないと差分しか表現できないフレームである。

　＜静止画生成指示＞

　静止画ファイル生成部２４０Ｄ（静止画ファイル生成部）は静止画記録指示（静止画ファイルの生成指示）がされたか否かを判断する（ステップＳ１２０：静止画ファイル生成ステップ）。静止画記録指示の判断はＧＯＰ単位で、外部からの指示の入力（ユーザの指示等）に応じて、あるいはイベントの検出に応じて行うことができる。ＧＯＰ単位で判断する場合は、例えば新たなＧＯＰを記録するごとに「静止画記録指示がされた」と判断することができる。外部からの指示の入力に応じて判断する場合、例えば操作部２５０の図示せぬレリーズボタンが押し下げられた場合やモニタ２７０を介した操作がされた場合に「静止画記録指示がされた」と判断することができる。イベント検出に応じて判断する場合は、イベント検出部２４０Ｆ（イベント検出部）が動画を構成するフレームから人物の顔などの特定の被写体を検出した場合、被写体の動きや輝度の変化を検出した場合等に「静止画記録指示がされた」と判断することができる。また、ジャイロや加速度センサ等によりカメラシステム１０の動きを検出しその検出結果に基づいてイベントの発生（及びイベントの検出に応じた静止画記録指示）を判断してもよい。静止画記録指示がされると（ステップＳ１２０の判断が肯定されると；図４の時刻ｔ１，ｔ２）、静止画ファイル生成部２４０Ｄは動画撮影部２４０Ａで撮影した動画を構成する複数のフレームから静止画用フレーム（第１のフレーム）を抽出し第１の静止画ファイルを生成する（ステップＳ１３０：静止画ファイル生成ステップ）。

　静止画生成指示をＧＯＰ単位で判断する場合は、高画質な静止画を定期的に取得できるため、記録メディアの容量や静止画処理による消費電力増加が許容できる場合は画質の観点からは最良の選択肢となる。ユーザ指示に応じて判断する場合は、ユーザの意思により静止画を記録するためユーザが静止画抽出の際等に画像を検索しやすい。なお、特定の場合（例えばレリーズボタンを押し続けている場合）に限りＧＯＰ単位の判断とすることにより、上述した容量や消費電力増加への影響を最小限に抑えることができる。イベント検出に応じて判断する場合は、静止画生成を自動で行うことができるため長時間の撮影や無人での撮影に適している。

　＜高画質な静止画の生成＞

　ステップＳ１３０において、静止画ファイル生成部２４０Ｄは動画を構成するフレームよりも高画質な静止画の静止画ファイルを生成することが好ましい。「高画質な静止画」の例としては解像度が高い画像、動画よりも圧縮率が低い画像（ゼロでもよい）等を挙げることができるが、これらの例に限定されるものではない。また、静止画ファイル生成部２４０Ｄは、静止画ファイルをＲＡＷ画像形式で生成してもよい。「ＲＡＷ画像」とは撮像素子から出力されたデータをデジタル変換して未加工、未圧縮（あるいは可逆圧縮）の状態で記録した画像である。色補間やエンハンスに必要なフィルタ処理を行う必要がなく、記録周期も長いので、ＲＡＷ画像の記録による動画処理への影響は少ない。ＲＡＷ画像はＧＯＰごとに（例えば、ＧＯＰの開始時に）記録してもよい。なお、静止画ファイル生成部２４０Ｄは、静止画ファイルをＲＡＷ画像形式で生成すると場合は、ＲＡＷ画像の簡易表示等を目的にＲＡＷ画像よりも低画質の静止画像（ＪＰＥＧ等）を同時に生成してもよい。

　ステップＳ１３０でＲＡＷ画像等の「高画質の静止画」を生成することにより、詳細を後述するように動画や動画から抽出する静止画を高画質化することができる。

　＜静止画ファイル及び付加情報の記録＞

　記憶部２４０Ｉ（記憶部）は、静止画ファイル（第１の静止画ファイル）を記憶装置２６０に記憶する（ステップＳ１４０：記憶ステップ、図４の時刻ｔ１，ｔ２）。ステップＳ１４０では、また、動画ファイルにおける第１のフレームの位置を示す付加情報を静止画ファイルに記憶する。静止画ファイルのヘッダやフッタに付加情報を記憶することができる。「付加情報」は動画ファイルにおける静止画フレーム（第１のフレーム）の位置を示す情報である。例えば先頭フレームを基準とした第１のフレームの番号、動画の記憶開始から第１のフレームを取得するまでの経過時間等、動画ファイルを構成する複数のフレームにおいて第１のフレームを特定できる情報であればよい。また、付加情報は動画ファイルと第１の静止画ファイルとの関係を示す情報であって、第１の静止画ファイルと動画ファイルとのうち一方を特定することにより情報を参照して他方が特定される情報を含んでいてもよい。例えば、動画ファイルのファイル名と静止画ファイルのファイル名とを表の１つの列と他の列とにそれぞれ割り当てた情報を含んでいてもよい。

　動画ファイル、静止画ファイル、及び付加情報の記憶の際に、動画ファイルに時系列順を示す連続番号を含むファイル名（例えば（撮影日＋連続番号））を付して記憶し、静止画ファイルは動画ファイルとファイル名を同じにして拡張子を変えてもよい（例えば、“.mpg”と“.raw”）。また、動画ファイルと、その動画の撮影中に記憶された静止画ファイル（第１の静止画ファイル）とを同じフォルダに記憶してもよい。

　第１の実施形態では、このように動画ファイルに加えて静止画ファイル（第１の静止画ファイル）を記憶するので、別途静止画の抽出を行うことは必須ではない。また、抽出の度に必ずデコード（静止画処理）を行うものではないので、デコードの頻度が減る分だけ撮影装置に対する負荷を軽減することができる。また、動画から静止画を抽出する場合、動画における静止画ファイルの位置を付加情報に基づいて容易に特定することができる。

　＜付加情報の記憶及び動画の撮影終了＞

　動画撮影部２４０Ａ、動画ファイル生成部２４０Ｂ、及び静止画ファイル生成部２４０Ｄ、記憶部２４０Ｉ（イベント検出に応じて静止画記録指示を行う場合はイベント検出部２４０Ｆも）は、動画撮影終了指示があるまで（ステップＳ１５０でＹＥＳになるまで）、ステップＳ１２０からステップＳ１４０までの処理をくり返す。例えば、操作部２５０の図示せぬレリーズボタンが押し下げられた場合にステップＳ１５０の判断を肯定することができる。ステップＳ１５０の判断が肯定されたら、記憶部２４０Ｉが付加情報を動画ファイルに記憶する（ステップＳ１６０：記憶ステップ）。図４の例では時刻ｔ３である。なお、撮影終了時に付加情報を記憶する場合であっても、必ずしも動画ファイルの末尾に記憶する必要はない。記憶するのは動画ファイルのヘッダでもフッタでもよい。付加情報が記憶されたら、動画撮影部２４０Ａ、動画ファイル生成部２４０Ｂ、及び記憶部２４０Ｉは動画の撮影、動画ファイルの生成及び記憶を終了する（ステップＳ１７０）。

　＜動画を分割する場合の処理＞

　静止画抽出用動画撮影モードでは、動画ファイル生成部２４０Ｂは動画を分割しそれぞれ別の動画ファイルとして保存してもよい。分割は、一定時間間隔（例えば２分間隔）の分割、ＧＯＰ単位での分割、ユーザが設定した時間間隔での分割、ユーザの静止画生成指示に応じた分割、あるいはイベント検出に応じた自動分割でもよい。動画を分割保存する場合、分割に係る動画ファイルの内の第１のフレームを含む動画ファイルと静止画ファイル（第１の静止画ファイル）とを付加情報により参照可能とすることが好ましい。この場合、付加情報は、例えば、「動画の記憶開始からの経過時間」と「分割された動画の内の第１のフレームを含む動画ファイルと静止画ファイルとの関係を特定する情報」でもよい。また、付加情報は、「分割された動画の内の第１のフレームを含む動画ファイルの記憶開始からの経過時間（もしくは第１のフレームを含む動画ファイルにおける第１のフレームのフレーム位置を特定する情報）」等、第１のフレームを含む動画ファイルと静止画ファイルとの関係を特定する情報でもよい。なお、動画を分割保存する場合、分割された動画の内の第１のフレームを含む動画ファイルと、静止画ファイル（第１の静止画ファイル）と静止画ファイルが記憶されていない動画ファイルと、を別フォルダに保存してもよい。なお、複数の静止画ファイル（複数の第１の静止画ファイル）を生成する場合、各静止画ファイルと、各静止画ファイルに対応する各フレーム（第１のフレーム）を含む動画ファイルとを付加情報により参照可能とすることが好ましい。　

　＜フレーム入替処理＞

　動画ファイル生成部２４０Ｂは、ステップＳ１４０でＲＡＷ画像等の高画質な静止画の静止画ファイルが記録されている場合は、その静止画ファイルの画像データを静止画処理（いわゆる「現像処理」等）してＩフレームと同一の形式の画像データに変換し（静止画変換ステップ）、変換した画像データを対応するＧＯＰのＩフレームと入れ替えてもよい（第１の入替ステップ）。動画ファイル生成部２４０Ｂは、上述した付加情報に基づいて入れ替えを行うことができる。

　上述した処理を行うことにより、Ｉフレームの入れ替えにより動画のＩフレーム部分が高画質化する。また、被写体が合焦しており動きが少ないものの場合、Ｐフレーム部分及びＢフレーム部分についてもＩフレームを介して高画質化することができる。なお、表示制御部２４０Ｊは入れ替えを実行した状態の動画をモニタ２７０（表示装置）に再生表示させることができ、これによりユーザは高画質化した動画を鑑賞することができる。

　＜フレーム入替処理の他の態様＞

　動画ファイル生成部２４０Ｂは、入れ替え前のＩフレームと入れ替え後のＩフレームとの差分を算出し（差分算出ステップ）、ＧＯＰを構成するＰフレーム及び／またはＢフレーム（ＧＯＰの構成に依存する）に対し算出した差分を加算する（差分加算ステップ）。このような態様によれば、微少な動きがある被写体について、動いている部分についての差分により、高画質の静止画（ステップＳ１４０で記録され入れ替え用のＩフレームに変換される画像）と入れ替え前のＩフレームとの解像度の差に起因する補正誤差を低減することができる。

　動画ファイル生成部２４０Ｂは、Ｐフレーム及び／またはＢフレームの動き情報（例えば、動きベクトル）を算出し（動き情報算出ステップ）、動き情報に基づいて入替後のＩフレームを加工してＰフレーム及び／またはＢフレームを生成することができる（画像生成ステップ）。例えば算出した動き情報（動きベクトル）により「隣接する複数のマクロブロックが同一またはほぼ同一の方向に移動している（動きベクトルが同一またはほぼ同一である）」と判断された場合、動画ファイル生成部２４０Ｂは入れ替え後のＩフレーム（高画質静止画に対応するフレーム）から被写体を抽出し、動きベクトルに合わせて被写体を移動、拡大または縮小、変形等する。このような態様によれば、被写体の動きが大きい場合は、入れ替えにより高画質化したＩフレームを加工することにより、動きのあるＰフレーム及び／またはＢフレームを高画質化することができる。

　＜動画と静止画の並行処理＞

　上述した動画ファイル、静止画ファイル、及び付加情報の撮影及び記憶に関し、動画ファイル生成部２４０Ｂと静止画ファイル生成部２４０Ｄを少なくとも一部が独立した電気回路で構成し、静止画ファイル（第１の静止画ファイル）の生成処理を少なくとも一部は動画ファイルの生成処理から独立して行うことが好ましい（図５を参照）。なお図５において実線で示す矩形は１フレーム分の処理を示す。このような並行処理により処理負荷を軽減することができる。

　＜静止画の抽出＞

　以下に説明するように、カメラシステム１０では動画を構成するフレームを静止画として抽出することができる。

　＜動画ファイルの指定による静止画の表示＞

　図６は静止画抽出処理を示すフローチャートである。動画ファイル指定部２４０Ｃ（動画ファイル指定部）は動画ファイルを指定する操作があったか否か判断する（ステップＳ２００：動画ファイル指定ステップ）。例えば、操作部２５０を介したユーザの指示入力があった場合に「指定操作があった」と判断することができる。ステップＳ２００の判断が肯定されたら（ＹＥＳになったら）、動画ファイル指定部２４０Ｃは操作対象の動画ファイルを静止画抽出元の動画ファイルとして指定し（ステップＳ２１０：動画ファイル指定ステップ）、表示制御部２４０Ｊ（表示制御部）は付加情報を参照して、指定された動画ファイルについて記憶されている静止画ファイル（第１の静止画ファイル）の画像データをモニタ２７０（表示装置）に表示させる（ステップＳ２２０：表示制御ステップ）。なお、静止画抽出の元となる動画は上述したフレームの入れ替えにより高画質化した動画でもよい。また、表示制御部２４０Ｊ（表示制御部）は静止画ファイルがＲＡＷ画像形式の場合は、ＲＡＷ画像と同時に生成されたＲＡＷ画像を簡易表示するための静止画像（ＪＰＥＧ等）をモニタ２７０（表示装置）に表示させてもよい。

　図７はモニタ２７０における画像データの表示例を示す図である。図７の例では、４つの画像データについて動画撮影開始から静止画取得までの経過時間を表示している。表示制御部２４０Ｊは、付加情報（動画ファイルにおける静止画フレーム（第１のフレーム）の位置を示す情報）に基づいて経過時間を求めることができる。また、画像データの表示の際に、表示制御部２４０Ｊは静止画ファイル（第１の静止画ファイル）が動画ファイルを構成する複数のフレームから抽出されたことを示す情報を画像データに重畳表示させる。図７の例では「動画ファイル“20180801-1.mpg”（動画ファイルのファイル名）から抽出された静止画です」とのメッセージ１０１０を画像データに重畳表示している。静止画抽出部２４０Ｈ（静止画抽出部）は、表示された基準画像を静止画として抽出してよいか判断する。具体的には、表示された画像データの中に所望のものがある場合、ユーザが表示された基準画像を選択して図７の「決定」ボタンを操作すると、静止画抽出部２４０Ｈは「表示された基準画像を静止画として抽出してよい」と判断し、以下の処理をキャンセルしてその画像を静止画として抽出（印刷、別フォルダに保存等）する。これに対し、「希望の画像に近い基準画像があるが、撮影タイミングが若干ずれている」という場合（ユーザが基準画像に対し不満がある場合）は、以下のように、動画ファイルから静止画ファイルのフレームを含む前後のフレームを表示して、表示したフレームの中から所望のフレームをユーザに選択させることで、基準画像と異なるタイミングにおける静止画を動画から抽出することができる。図７の例では、ユーザが「経過時間が５００ｓｅｃ、１２００ｓｅｃ、２０００ｓｅｃのフレームは被写体の向きが傾いている、一部が映っていない等の理由で見栄えが良くないから、経過時間が７５０ｓｅｃのフレームを基準画像として、その経過時間の近辺でベストなフレームを探そう」と考えた場合について説明する。

　＜基準画像の選択＞

　画像選択部２４０Ｇは、表示された静止画ファイルの画像データから基準画像を選択する操作を受け付けたか否かを判断し（ステップＳ２３０：基準画像選択ステップ）、受け付けた操作にしたがって基準画像を選択する（ステップＳ２４０：基準画像選択ステップ）。例えば、操作部２５０を介したユーザの指示入力があった場合（図７の例では、画像が選択されて「基準画像として選択」のボタンが操作された場合）に「操作を受け付けた」と判断することができる。

　＜静止画抽出用フレームの表示＞

　ステップＳ２４０で基準画像が選択されたら、表示制御部２４０Ｊは動画ファイルを構成する複数のフレームのうち基準画像のフレームを含む時間範囲に記憶されたフレームの画像データをモニタ２７０（表示装置）に表示させる（ステップＳ２６０：表示制御ステップ）。図７の例において経過時間が７５０ｓｅｃのフレームが基準画像として選択されたとした場合、表示制御部２４０Ｊは経過時間が７５０±Δｔ（ｓｅｃ）のフレームの画像データを表示させる。例えば、図８のように基準画像１０３０（フレーム番号：Ｎ）とその前後のフレーム１０２０（フレーム番号：Ｎ－１）及びフレーム１０４０（フレーム番号：Ｎ＋１）を表示させる。表示は「基準画像のフレーム及び基準画像より前に記憶されたフレームを含める」態様でもよいし、「基準画像のフレーム及び基準画像より後に記憶されたフレームを含める」態様でもよい。表示する静止画抽出用フレームの範囲はユーザの指定に応じて設定してもよいし、ユーザの指定によらずに設定してもよい。また、表示するフレームの範囲を時間で規定（例えば、基準画像のフレームの前後０．５秒ずつ）してもよいし、フレーム数で規定（例えば、基準画像のフレームの前後１０フレームずつ）してもよい。

　＜静止画抽出用画像データの選択＞

　画像選択部２４０ＧはステップＳ２６０で表示された画像データから静止画抽出用画像データを選択する操作を受け付けて（ステップＳ２７０：画像選択ステップ）、受け付けた操作にしたがって静止画抽出用画像データを選択する（ステップＳ２８０：画像選択ステップ）。ステップＳ２８０では１つ以上の画像データを選択することができ、複数の画像データを選択してもよい。

　＜静止画の抽出＞

　静止画抽出部２４０Ｈ（静止画抽出部）は、動画を構成する複数のフレームのうちステップＳ２８０で選択された画像データに対応するフレームを第２のフレームとして抽出し静止画ファイル（第２の静止画ファイル）を生成する（ステップＳ２９０：静止画抽出ステップ）。このような処理により、ユーザは、動画から所望のタイミング（動画撮影時の静止画記憶タイミングと異なっていてもよい）で容易に静止画を抽出することができる。また、表示制御部２４０Ｊに選択された基準画像によって決定される範囲の動画ファイルのフレームの画像をモニタ２７０（表示装置）に表示させることで、フレーム間において圧縮されている動画ファイルを構成するフレームの画像をモニタ２７０に表示させる際の画像処理の負荷を低減することが出来る。

なお、動画ファイルはＭＰＥＧ形式等の動画用フォーマットで記憶されている（例えばフレーム間圧縮がされている）ので、静止画抽出部２４０Ｈは静止画ファイル生成の際に第２のフレームのデータを静止画用のフォーマット（ＪＰＥＧ形式等）に変換する。

　＜差分処理による静止画ファイルの生成＞

　図３について上述した処理で動画撮影中に静止画ファイル（第１の静止画ファイル）が記憶されている場合、その静止画ファイルは動画圧縮がかかっておらず、図５について上述した画像処理も適用可能なため、動画圧縮後の各フレームよりも高画質である。そこで撮影及び記憶された動画からフレームの切り出し（静止画の抽出）を行う際に、記憶された静止画ファイルを用いた画像処理を行うことで、所望のタイミングのフレームの画質を向上させることができる。具体的には、図６のステップＳ２８０で抽出画像が選択された状態で、静止画抽出部２４０Ｈは第２のフレームが記憶された時間と第１のフレームが記憶された時間との差がしきい値以下であるか否か判断する（図９のステップＳ２９２：静止画抽出ステップ）。判断が肯定された場合（時間差がしきい値以下である場合）は、静止画抽出部２４０Ｈは動画ファイルの第１のフレームと第２のフレームの画像データの差分を第１の静止画ファイルの画像データに加えて第２の静止画ファイルを生成する（ステップＳ２９４：静止画抽出ステップ）。一方、ステップＳ２９２の判断が否定された場合は、静止画抽出部２４０Ｈは、ステップＳ２８０で選択された画像データに対応するフレームを第２のフレームとして抽出し第２の静止画ファイルを生成する（ステップＳ２９６：静止画抽出ステップ）。図９に示すような時間差に基づく処理を行う場合、記憶時間（記憶タイミング）の差が大きくなると第２の静止画ファイルの画質が低下する可能性があるので、要求される画質に応じてしきい値を設定することが好ましい。なお、本態様に限定されず、判断が肯定された場合（時間差がしきい値以下である場合）、静止画抽出部２４０Ｈは、静止画ファイル生成部２４０Ｄで生成された静止画ファイル（第１の静止画ファイル）と、動画ファイル生成部２４０Ｂで生成された動画ファイルを構成するフレームの画像（第２のフレームの画像）と、を公知の方法で合成し、第２の静止画ファイルを生成してもよい。また、静止画ファイル生成部２４０Ｄで生成された静止画ファイル（第１の静止画ファイル）がＲＡＷ画像形式の場合は、ＲＡＷ画像形式の静止画ファイルを静止画処理（いわゆる「現像処理」等）した静止画ファイルと、動画ファイル生成部２４０Ｂで生成された動画ファイルを構成するフレームの画像（第２のフレームの画像）と、を公知の方法で合成し、第２の静止画ファイルを生成してもよい。

　＜静止画ファイルの指定に基づく静止画の抽出＞

　図６に示す態様では、動画ファイルを指定し、指定された動画ファイルについて付加情報を参照して静止画ファイル（第１の静止画ファイル）を表示して静止画として抽出するフレームを決定しているが、第１の実施形態に係るカメラシステム１０では、以下に説明するように静止画ファイルを指定して抽出フレームを決定することも可能である。具体的には、図１０のフローチャートに示すように静止画ファイル指定部２４０Ｅ（静止画ファイル指定部）は静止画ファイルを指定する操作がされたか否かを判断し（ステップＳ２０２：静止画ファイル指定ステップ）、操作がされた場合は操作内容にしたがって静止画ファイルを指定する（ステップＳ２１２：静止画ファイル指定ステップ）。静止画ファイル（第１の静止画ファイル）が指定されると、表示制御部２４０Ｊ（表示制御部）は付加情報を参照して動画ファイルを特定し、図８の例と同様に動画ファイルを構成する複数のフレームの画像データをモニタ２７０（表示装置）に表示させる（ステップＳ２２２：表示制御ステップ）。ステップＳ２２２では、指定された静止画ファイルに対応するフレームを含む時間範囲に記憶されたフレームの画像データを表示することができる。静止画として抽出する画像データの選択操作がされたら（ステップＳ２５２でＹＥＳ：静止画抽出ステップ）、静止画抽出部２４０Ｈは選択された画像データに対応する動画ファイルのフレームを抽出し第２の静止画ファイルを生成する（ステップＳ２９０：静止画抽出ステップ）。

　＜付加情報記録のその他の態様＞

　上述した第１の実施形態では付加情報を動画ファイル及び静止画ファイル（第１の静止画ファイル）に記憶する態様について説明したが、付加情報の記憶はこのような態様に限定されるものではない。付加情報は動画ファイルと静止画ファイルとのうち一方に対して記憶させてもよいし、動画及び静止画とは独立して（記憶装置２６０に）記憶させてもよい。

　＜第２の実施形態＞

　第１の実施形態では、デジタルカメラであるカメラシステム１０について説明したが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型または外付け型のＰＣ用カメラ、あるいは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

　本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

　図１１は、本発明の撮影装置の一実施形態であるスマートフォン１（撮影装置）の外観を示すものである。図１１に示すスマートフォン１は、平板状の筐体２を有し、筐体２の一方の面に表示部としての表示パネル２１（表示装置）と、入力部としての操作パネル２２（操作部）とが一体となった表示入力部２０を備えている。また、係る筐体２は、スピーカ３１と、マイクロフォン３２、操作部４０（操作部）と、カメラ部４１（動画撮影部、動画ファイル生成部、動画ファイル指定部、静止画ファイル生成部、静止画ファイル指定部、イベント検出部、画像選択部、静止画抽出部、記憶部、表示制御部、レンズ駆動制御部）とを備えている。なお、筐体２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用してもよいし、折り畳み構造やスライド機構を有する構成を採用してもよい。

　図１２は、図１１に示すスマートフォン１の構成を示すブロック図である。図１２に示すように、スマートフォン１の主たる構成要素として、無線通信部１１と、表示入力部２０と、通話部３０と、操作部４０と、カメラ部４１と、記憶部５０と、外部入出力部６０と、ＧＰＳ受信部７０（ＧＰＳ：Global Positioning System）と、モーションセンサ部８０と、電源部９０と、主制御部１０１（動画撮影部、動画ファイル生成部、動画ファイル指定部、静止画ファイル生成部、静止画ファイル指定部、イベント検出部、画像選択部、静止画抽出部、記憶部、表示制御部、レンズ駆動制御部）とを備える。また、スマートフォン１の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

　無線通信部１１は、主制御部１０１の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。斯かる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

　表示入力部２０は、主制御部１０１の制御により、画像（静止画像及び／または動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２１と、操作パネル２２とを備える。

　表示パネル２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル２２は、表示パネル２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される１または複数の座標を検出するデバイスである。斯かるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル２１上の操作位置（座標）を検出する。

　図１１に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが、操作パネル２２が表示パネル２１を完全に覆うような配置となっている。斯かる配置を採用した場合、操作パネル２２は、表示パネル２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２は、表示パネル２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

　なお、表示領域の大きさと表示パネル２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。さらに、外縁部分の幅は、筐体２の大きさなどに応じて適宜設計されるものである。さらにまた、操作パネル２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通話部３０は、スピーカ３１やマイクロフォン３２を備え、マイクロフォン３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力すること、無線通信部１１あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力することができる。また、図１１に示すように、例えば、スピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し、マイクロフォン３２を筐体２の側面に搭載することができる。

　操作部４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１１に示すように、操作部４０は、スマートフォン１の筐体２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

　記憶部５０は、主制御部１０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５０は、スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお、記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

　外部入出力部６０は、スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）またはネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的または間接的に接続するためのものである。

　スマートフォン１に連結される外部機器としては、例えば、有線／無線ヘッドセット、有線／無線外部充電器、有線／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ及びビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ及びビデオ機器、無線接続される外部オーディオ及びビデオ機器、有線／無線接続されるスマートフォン、有線／無線接続されるＰＤＡ、有線／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部６０は、このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや、スマートフォン１の内部のデータを外部機器に伝送することができる。

　ＧＰＳ受信部７０は、主制御部１０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン１の位置（緯度、経度、高度）を検出する。ＧＰＳ受信部７０は、無線通信部１１や外部入出力部６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示にしたがって、スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより、スマートフォン１の動く方向や加速度が検出される。斯かる検出結果は、主制御部１０１に出力されるものである。電源部９０は、主制御部１０１の指示にしたがって、スマートフォン１の各部に、バッテリ（不図示）に蓄えられる電力を供給するものである。

　主制御部１０１は、マイクロプロセッサを備え、記憶部５０が記憶する制御プログラムや制御データにしたがって動作し、カメラ部４１を含むスマートフォン１の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

　アプリケーション処理機能は、記憶部５０が記憶するアプリケーションソフトウェアにしたがって主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するＷｅｂブラウジング機能などがある。

　また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、画像データを復号し、斯かる復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。

　さらに、主制御部１０１は、表示パネル２１に対する表示制御と、操作部４０、操作パネル２２を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンやスクロールバーなどのソフトウェアキー、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

　また、操作検出制御の実行により、主制御部１０１は、操作部４０を通じたユーザ操作を検出したり、操作パネル２２を通じて、アイコンに対する操作や、ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　さらに、操作検出制御の実行により主制御部１０１は、操作パネル２２に対する操作位置が、表示パネル２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

　また、主制御部１０１は、操作パネル２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

　カメラ部４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラ（撮影装置）である。また、カメラ部４１は、主制御部１０１の制御により、撮像によって得た画像データ（動画、静止画）を例えばＭＰＥＧやＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することができる。また、カメラ部４１は、主制御部１０１の制御により、動画の分割及び結合、高画質な静止画（ＲＡＷ画像等）の取得、フレームの入れ替え及び加工、動画からの静止画の抽出を行うこともできる。図１１に示すにスマートフォン１において、カメラ部４１は表示入力部２０と同じ面に搭載されているが、カメラ部４１の搭載位置はこれに限らず、表示入力部２０の背面に搭載されてもよいし、あるいは、複数のカメラ部４１が搭載されてもよい。なお、複数のカメラ部４１が搭載されている場合には、撮影に供するカメラ部４１を切り替えて単独にて撮影することもできるし、あるいは、複数のカメラ部４１を同時に使用して撮影することもできる。

　また、カメラ部４１はスマートフォン１の各種機能に利用することができる。例えば、表示パネル２１にカメラ部４１で取得した画像を表示することや、操作パネル２２の操作入力のひとつとして、カメラ部４１の画像を利用することができる。また、ＧＰＳ受信部７０が位置を検出する際に、カメラ部４１からの画像を参照して位置を検出することもできる。さらには、カメラ部４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１のカメラ部４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部４１からの画像をアプリケーションソフトウェア内で利用することもできる。その他、静止画または動画の画像データにＧＰＳ受信部７０により取得した位置情報、マイクロフォン３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部８０により取得した姿勢情報等を付加して記憶部５０に記録することや、外部入出力部６０や無線通信部１１を通じて出力することもできる。

　上述した構成のスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様に本発明に係る撮影方法の処理（動画の撮影及び記録、静止画の記録、静止画抽出等）を実行することができる。具体的には、第１の実施形態において画像処理装置２４０（図２に示す各部）が実行する処理をスマートフォン１ではカメラ部４１及び主制御部１０１が実行することにより、本発明に係る撮影方法の処理を行うことができる。その他、第１の実施形態における操作部２５０、記憶装置２６０、モニタ２７０の機能は、スマートフォン１において操作部４０、記憶部５０及び操作パネル２２、表示パネル２１及び操作パネル２２によりそれぞれ実現することができる。これにより、第２の実施形態に係るスマートフォン１においても、第１の実施形態に係るカメラシステム１０と同様の効果（動画から容易に静止画をできること等）を得ることができる。

１　　　　スマートフォン

２　　　　筐体

１０　　　カメラシステム

１１　　　無線通信部

２０　　　表示入力部

２１　　　表示パネル

２２　　　操作パネル

３０　　　通話部

３１　　　スピーカ

３２　　　マイクロフォン

４０　　　操作部

４１　　　カメラ部

５０　　　記憶部

５１　　　内部記憶部

５２　　　外部記憶部

６０　　　外部入出力部

７０　　　ＧＰＳ受信部

８０　　　モーションセンサ部

９０　　　電源部

１００　　交換レンズ

１０１　　主制御部

１１０　　ズームレンズ

１２０　　フォーカスレンズ

１３０　　絞り

１４０　　レンズ駆動部

２００　　撮影装置本体

２１０　　撮像素子

２２０　　ＡＦＥ

２３０　　Ａ／Ｄ変換器

２４０　　画像処理装置

２４０Ａ　動画撮影部

２４０Ｂ　動画ファイル生成部

２４０Ｃ　動画ファイル指定部

２４０Ｄ　静止画ファイル生成部

２４０Ｅ　静止画ファイル指定部

２４０Ｆ　イベント検出部

２４０Ｇ　画像選択部

２４０Ｈ　静止画抽出部

２４０Ｉ　記憶部

２４０Ｊ　表示制御部

２４０Ｋ　レンズ駆動制御部

２４２　　ＲＯＭ

２５０　　操作部

２６０　　記憶装置

２７０　　モニタ

１０１０　メッセージ

１０２０　フレーム

１０３０　基準画像

１０４０　フレーム

Ｌ　　　　光軸

Ｓ１００～Ｓ２９６　撮影方法の各ステップ

ＳＴ１～ＳＴｎ　　　ＧＰＳ衛星

Claims (26)


  1. 　動画を撮影する動画撮影部と、

    　前記動画撮影部で撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成部と、

    　前記動画から前記第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成部と、

    　前記動画ファイル、前記第１の静止画ファイル、及び、前記動画ファイルにおける前記第１のフレームの位置を示す付加情報を記憶する記憶部と、

    　を備える撮影装置。

  2. 　前記付加情報は、前記動画ファイルと前記第１の静止画ファイルとの関係を示す情報であって、前記第１の静止画ファイルと前記動画ファイルとのうち一方を特定することにより前記情報を参照して他方が特定される情報を含む請求項１に記載の撮影装置。

  3. 　前記付加情報は、さらに前記動画ファイルのファイル名と前記第１の静止画ファイルのファイル名を含む請求項１または２に記載の撮影装置。

  4. 　前記記憶部は、前記動画ファイルに前記付加情報を記憶する請求項１から３のいずれか１項に記載の撮影装置。

  5. 　前記記憶部は、前記第１の静止画ファイルに前記付加情報を記憶する請求項１から４のいずれか１項に記載の撮影装置。

  6. 　前記記憶部は前記第１の静止画ファイルを前記動画ファイルと同じフォルダに記憶する請求項１から５のいずれか１項に記載の撮影装置。

  7. 　前記動画ファイルを指定する動画ファイル指定部と、

    　前記動画ファイルが指定されると、前記付加情報を参照して前記第１の静止画ファイルの画像データを表示装置に表示させる表示制御部と、

    　を備える請求項１から６のいずれか１項に記載の撮影装置。

  8. 　前記表示制御部は、前記第１の静止画ファイルが前記動画ファイルを構成する前記複数のフレームから抽出されたことを示す情報を前記画像データに重畳表示させる請求項７に記載の撮影装置。

  9. 　表示された少なくとも１つ以上の前記第１の静止画ファイルの画像データから基準画像を選択する操作を受け付ける画像選択部と、

    　前記選択された前記基準画像に基づいて、前記動画ファイルを構成する前記複数のフレームから第２のフレームを抽出し第２の静止画ファイルを生成する静止画抽出部と、

    　をさらに備える請求項７または８に記載の撮影装置。

  10. 　前記表示制御部は、前記動画ファイルを構成する前記複数のフレームから前記基準画像のフレームを含む時間範囲に記憶されたフレームの画像データを前記表示装置に表示させ、

    　前記画像選択部は前記表示された画像データから静止画抽出用画像データを選択する操作を受け付け、

    　前記静止画抽出部は、前記複数のフレームのうち前記選択された前記静止画抽出用画像データに対応するフレームを前記第２のフレームとして抽出して前記第２の静止画ファイルを生成する請求項９に記載の撮影装置。

  11. 　前記第１の静止画ファイルの画像データは、前記動画ファイルを構成する前記複数のフレームの画像データより高画質であり、

    　前記静止画抽出部は、前記第２のフレームが記憶された時間と前記第１のフレームが記憶された時間との差がしきい値以下の場合は、前記第１の静止画ファイルを用いて前記第２の静止画ファイルを生成する請求項９または１０に記載の撮影装置。

  12. 　前記静止画抽出部は、前記動画ファイルの前記第１のフレームと前記第２のフレームの画像データの差分を前記第１の静止画ファイルの画像データに加えて前記第２の静止画ファイルを生成する請求項９から１１のいずれか１項に記載の撮影装置。

  13. 　前記第１の静止画ファイルを指定する静止画ファイル指定部と、

    　前記第１の静止画ファイルが指定されると、前記付加情報を参照して前記動画ファイルを構成する複数のフレームの画像データを表示装置に表示させる表示制御部と、

    　をさらに備える請求項１から６のいずれか１項に記載の撮影装置。

  14. 　前記表示された前記画像データから１つ以上の画像データを選択する操作を受け付ける画像選択部と、

    　前記画像選択部で選択された画像データに対応する前記動画ファイルのフレームを抽出し静止画ファイルを生成する静止画抽出部と、

    　をさらに備える請求項１３に記載の撮影装置。

  15. 　前記静止画ファイル生成部は外部からの指示を入力する指示入力部からの入力に応じて前記第１の静止画ファイルを記憶する請求項１から１４のいずれか１項に記載の撮影装置。

  16. 　前記動画を構成する複数のフレームよりイベントが発生したフレームを検出するイベント検出部をさらに備え、

    　前記静止画ファイル生成部は前記検出に応じて前記第１の静止画ファイルを生成する請求項１から１５のいずれか１項に記載の撮影装置。

  17. 　前記静止画ファイル生成部は、前記第１の静止画ファイルを前記動画ファイルとは少なくとも一部が独立した電気回路で処理する請求項１から１６のいずれか１項に記載の撮影装置。

  18. 　動画を撮影する動画撮影ステップと、

    　前記動画撮影ステップで撮影した動画を構成する複数のフレームから第１のフレームを抽出し第１の静止画ファイルを生成する静止画ファイル生成ステップと、

    　前記動画から前記第１のフレームを含む複数のフレームで構成される動画ファイルを生成する動画ファイル生成ステップと、

    　前記動画ファイル、前記第１の静止画ファイル、及び、前記動画ファイルにおける前記第１のフレームの位置を示す付加情報を記憶する記憶ステップと、

    　を有する撮影方法。

  19. 　前記付加情報は、前記動画ファイルと前記第１の静止画ファイルとの関係を示す情報であって、前記第１の静止画ファイルと前記動画ファイルとのうち一方を特定することにより前記情報を参照して他方が特定される情報を含む請求項１８に記載の撮影方法。

  20. 　前記記憶ステップでは、前記動画ファイルに前記付加情報を記憶する請求項１８または１９に記載の撮影方法。

  21. 　前記記憶ステップでは、前記第１の静止画ファイルに前記付加情報を記憶する請求項１８から２０のいずれか１項に記載の撮影方法。

  22. 　前記動画ファイルを指定する動画ファイル指定ステップと、

    　前記動画ファイルが指定されると、前記付加情報を参照して前記第１の静止画ファイルの画像データを表示装置に表示させる表示制御ステップと、

    　をさらに有する請求項１８から２１のいずれか１項に記載の撮影方法。

  23. 　前記表示制御ステップでは、前記第１の静止画ファイルが前記動画ファイルを構成する前記複数のフレームから抽出されたことを示す情報を前記画像データに重畳表示させる請求項２２に記載の撮影方法。

  24. 　前記第１の静止画ファイルを指定する静止画ファイル指定ステップと、

    　前記第１の静止画ファイルが指定されると、前記付加情報を参照して前記動画ファイルを構成する複数のフレームの画像データを表示装置に表示させる表示制御ステップと、

    　をさらに有する請求項１８から２１のいずれか１項に記載の撮影方法。

  25. 　前記表示された前記画像データから１つ以上の画像データを選択する操作を受け付ける画像選択ステップと、

    　前記画像選択ステップで選択された画像データに対応する前記動画ファイルのフレームを抽出し静止画ファイルを生成する静止画抽出ステップと、

    　をさらに有する請求項２４に記載の撮影方法。

  26. 　請求項１８から２５のいずれか１項に係る撮影方法をコンピュータに実行させるプログラム。
PCT/JP2019/031095 2018-09-26 2019-08-07 撮影装置、撮影方法、及びプログラム WO2020066317A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020548106A JP7060703B2 (ja) 2018-09-26 2019-08-07 撮影装置、撮影方法、及びプログラム
US17/183,093 US20210174090A1 (en) 2018-09-26 2021-02-23 Imaging device, imaging method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018179970 2018-09-26
JP2018-179970 2018-09-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/183,093 Continuation US20210174090A1 (en) 2018-09-26 2021-02-23 Imaging device, imaging method, and program

Publications (1)

Publication Number Publication Date
WO2020066317A1 true WO2020066317A1 (ja) 2020-04-02

Family

ID=69953028

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/031095 WO2020066317A1 (ja) 2018-09-26 2019-08-07 撮影装置、撮影方法、及びプログラム

Country Status (3)

Country Link
US (1) US20210174090A1 (ja)
JP (1) JP7060703B2 (ja)
WO (1) WO2020066317A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023005842A (ja) * 2021-06-29 2023-01-18 キヤノン株式会社 記録装置、およびその制御方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012248937A (ja) * 2011-05-25 2012-12-13 Olympus Imaging Corp 撮像装置、画像処理装置、及び撮像方法
JP2017147656A (ja) * 2016-02-18 2017-08-24 大日本印刷株式会社 画像プリント方法、画像プリント装置、画像プリントシステム、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007325152A (ja) 2006-06-05 2007-12-13 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP6265659B2 (ja) * 2013-08-27 2018-01-24 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
KR102445699B1 (ko) * 2016-02-18 2022-09-21 삼성전자주식회사 전자 장치 및 그의 동작 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012248937A (ja) * 2011-05-25 2012-12-13 Olympus Imaging Corp 撮像装置、画像処理装置、及び撮像方法
JP2017147656A (ja) * 2016-02-18 2017-08-24 大日本印刷株式会社 画像プリント方法、画像プリント装置、画像プリントシステム、及びプログラム

Also Published As

Publication number Publication date
JPWO2020066317A1 (ja) 2021-11-25
US20210174090A1 (en) 2021-06-10
JP7060703B2 (ja) 2022-04-26

Similar Documents

Publication Publication Date Title
US11438521B2 (en) Image capturing device, image capturing method, and program
US11805320B2 (en) Imaging device, imaging method, and imaging program
US11032483B2 (en) Imaging apparatus, imaging method, and program
JP7110406B2 (ja) 撮像装置、撮像方法、及びプログラム
WO2020066317A1 (ja) 撮影装置、撮影方法、及びプログラム
US20210344839A1 (en) Image processing device, image capturing device, image processing method, and image processing program
JPWO2019187648A1 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
JP4626637B2 (ja) 撮像装置及びプログラム
WO2020066332A1 (ja) 撮影装置、撮影方法、及びプログラム
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2013190791A (ja) 携帯端末機のイメージ撮影装置及び方法
JP7150053B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
WO2020110710A1 (ja) 撮像装置、撮像方法、及びプログラム
WO2020066316A1 (ja) 撮影装置、撮影方法、及びプログラム
WO2020003944A1 (ja) 撮像装置、撮像方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19866057

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020548106

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19866057

Country of ref document: EP

Kind code of ref document: A1