WO2019189199A1 - 生成装置、電子機器、生成プログラムおよびデータ構造 - Google Patents

生成装置、電子機器、生成プログラムおよびデータ構造 Download PDF

Info

Publication number
WO2019189199A1
WO2019189199A1 PCT/JP2019/012893 JP2019012893W WO2019189199A1 WO 2019189199 A1 WO2019189199 A1 WO 2019189199A1 JP 2019012893 W JP2019012893 W JP 2019012893W WO 2019189199 A1 WO2019189199 A1 WO 2019189199A1
Authority
WO
WIPO (PCT)
Prior art keywords
frame
imaging
unit
moving image
data
Prior art date
Application number
PCT/JP2019/012893
Other languages
English (en)
French (fr)
Inventor
昌也 ▲高▼橋
直樹 關口
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Publication of WO2019189199A1 publication Critical patent/WO2019189199A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation

Definitions

  • the present invention relates to a generation device, an electronic device, a generation program, and a data structure.
  • a generation apparatus is a generation apparatus that generates a moving image file obtained by compressing data output from an imaging element having a first imaging area for imaging a subject and a second imaging area for imaging a subject. , First compressed data obtained by compressing a plurality of first frames generated based on data output from the first imaging area in which the first frame rate is set, and a second frame faster than the first frame rate Second compressed data obtained by compressing a plurality of second frames generated based on the data output from the second imaging area in which the rate is set; and first position information indicating a storage position of the first compressed data; Generating a moving image file including second position information indicating a storage position of the second compressed data, and storing the moving image file generated by the generating unit in a storage device.
  • a generation device compresses data output from an imaging element having a first imaging area for imaging a subject and a second imaging area for imaging the subject.
  • a generation device that generates a moving image file, the first compressed data obtained by compressing a plurality of first frames generated based on data output from the first imaging area in which a first frame rate is set;
  • a moving image file including a second compressed data obtained by compressing a plurality of second frames generated based on data output from the second imaging area in which a second frame rate faster than the first frame rate is set.
  • a generating unit that generates the moving image file generated by the generating unit; and a storage unit that stores the moving image file in a storage device.
  • the electronic device is output from the first imaging region in which a first imaging region for imaging a subject and a second imaging region for imaging the subject, and the first imaging region in which a first frame rate is set.
  • first compressed data obtained by compressing a plurality of first frames generated based on the received data and data output from the second imaging region in which a second frame rate faster than the first frame rate is set.
  • Second compressed data obtained by compressing the plurality of second frames generated in the above, first position information indicating a storage position of the first compressed data, second position information indicating a storage position of the second compressed data, And a storage unit that stores the moving image file generated by the generating unit in a storage device.
  • an electronic device has an imaging element having a first imaging area for imaging a subject and a second imaging area for imaging the subject, and a first frame rate is set.
  • the first compressed data obtained by compressing a plurality of first frames generated based on the data output from the first imaging area, and the second frame rate faster than the first frame rate are set.
  • a generating unit that generates a moving image file including a second compressed data obtained by compressing a plurality of second frames generated based on data output from the two imaging areas; and storing the moving image file generated by the generating unit
  • a storage unit for storing in the device.
  • the generation program of the disclosed technology causes a processor to generate a moving image file obtained by compressing data output from an image sensor having a first imaging area for imaging a subject and a second imaging area for imaging a subject.
  • a first compressed data obtained by compressing a plurality of first frames generated based on data output from the first imaging area in which a first frame rate is set;
  • Second compressed data obtained by compressing a plurality of second frames generated based on data output from the second imaging area in which a second frame rate faster than a frame rate is set, and storage of the first compressed data
  • a storing process of storing the moving image file generated by the processing in the storage device is executed.
  • another generation program of the present disclosure provides a processor that generates a moving image file obtained by compressing data output from an imaging device having a first imaging area for imaging a subject and a second imaging area for imaging the subject.
  • a first compressed data obtained by compressing a plurality of first frames generated based on data output from the first imaging area in which a first frame rate is set;
  • a second compressed data obtained by compressing a plurality of second frames generated based on the data output from the second imaging area in which a second frame rate faster than the first frame rate is set.
  • a generation process for generating a file and a storage process for storing the moving image file generated by the generation process in a storage device are executed.
  • the data structure of the disclosed technology is a data structure of a moving image file obtained by compressing data output from an imaging device having a first imaging area for imaging a subject and a second imaging area for imaging a subject.
  • a first compressed data obtained by compressing a plurality of first frames generated based on data output from the first imaging area in which one frame rate is set, and a second frame rate faster than the first frame rate.
  • a data part for storing second compressed data obtained by compressing a plurality of second frames generated based on the data output from the set second imaging area, and a storage position of the first compressed data
  • a header section for storing first position information and second position information indicating a storage position of the second compressed data;
  • FIG. 1 is a cross-sectional view of a multilayer image sensor.
  • FIG. 2 is a diagram illustrating a pixel array of the imaging chip.
  • FIG. 3 is a circuit diagram of the imaging chip.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the image sensor.
  • FIG. 5 is an explanatory diagram illustrating a block configuration example of an electronic device.
  • FIG. 6 is an explanatory diagram showing the relationship between the imaging surface and the subject image.
  • FIG. 7 is an explanatory diagram of a moving image compression / expansion example according to the first embodiment.
  • FIG. 8 is an explanatory diagram showing a file format example of a moving image file.
  • FIG. 9 is an explanatory diagram showing the relationship between frames and additional information.
  • FIG. 10 is an explanatory diagram illustrating a synthesis process example 1 in the synthesis unit illustrated in FIG. 7.
  • FIG. 11 is an explanatory diagram illustrating a synthesis process example 2 in the synthesis unit illustrated in FIG. 7.
  • 12 is a block diagram illustrating a configuration example of the control unit illustrated in FIG.
  • FIG. 13 is a block diagram illustrating a configuration example of the compression unit.
  • FIG. 14 is a sequence diagram illustrating an example of an operation processing procedure of the control unit.
  • FIG. 15 is a flowchart showing a detailed processing procedure example of the setting processing (steps S1404 and S1410) shown in FIG.
  • FIG. 16 is a flowchart showing a detailed processing procedure example of the frame rate setting process (step S1505) shown in FIG. FIG.
  • FIG. 17 is a flowchart illustrating an example of a complement processing procedure by the complement unit.
  • FIG. 18 is a flowchart showing a detailed processing procedure example of the moving image file generation processing (steps S1413 and S1415) shown in FIG.
  • FIG. 19 is a flowchart illustrating an example of a compression control processing procedure of the first compression control method by the compression control unit.
  • FIG. 20 is a flowchart illustrating an example of a motion detection processing procedure of the first compression control method by the motion detection unit.
  • FIG. 21 is a flowchart illustrating an example of a motion compensation processing procedure of the first compression control method by the motion compensation unit.
  • FIG. 22 is a flowchart illustrating an example of a compression control processing procedure of the second compression control method by the compression control unit.
  • FIG. 23 is a flowchart illustrating an example of a motion detection processing procedure of the second compression control method by the motion detection unit.
  • FIG. 24 is a flowchart illustrating an example of a motion compensation processing procedure of the second compression control method by the motion compensation unit.
  • FIG. 25 is a flowchart illustrating an example of a processing procedure from decompression to reproduction.
  • FIG. 26 is a flowchart illustrating a detailed processing procedure example of the synthesizing process (step S2507) illustrated in FIG.
  • FIG. 27 is an explanatory diagram showing a specific processing flow of the synthesis example shown in FIG.
  • FIG. 28 is an explanatory diagram of a synthesis example 1 of 60 [fps] frames according to the second embodiment.
  • FIG. 29 is an explanatory diagram of a frame synthesis example 2 of 60 [fps] according to the second embodiment.
  • FIG. 30 is an explanatory diagram of a frame synthesis example 4 of 60 [fps] according to the second embodiment.
  • FIG. 31 is a flowchart illustrating a first example of a synthesis process according to a first example of frame synthesis by the synthesis unit.
  • FIG. 32 is a flowchart illustrating a second example of the synthesis process according to the second example of frame synthesis by the synthesis unit.
  • FIG. 33 is a flowchart illustrating a synthesis processing procedure example 3 according to frame synthesis example 3 by the synthesis unit.
  • FIG. 34 is a flowchart of a synthesis processing procedure example 4 according to frame synthesis example 4 by the synthesis unit.
  • FIG. 35 is an explanatory diagram of a synthesis example of 60 [fps] frames according to the third embodiment.
  • FIG. 36 is an explanatory diagram showing a correspondence relationship between the setting of the imaging region and the image region of the second frame after complement.
  • the electronic device is, for example, an imaging device such as a digital camera or a digital video camera.
  • FIG. 1 is a cross-sectional view of the multilayer image sensor 100.
  • a stacked imaging device (hereinafter simply “imaging device”) 100 processes a pixel signal with a back-illuminated imaging chip (hereinafter simply “imaging chip”) 113 that outputs a pixel signal corresponding to incident light.
  • a signal processing chip 111 and a memory chip 112 that stores pixel signals are provided.
  • the imaging chip 113, the signal processing chip 111, and the memory chip 112 are stacked, and are electrically connected to each other by a conductive bump 109 such as Cu.
  • incident light is incident mainly in the positive direction of the Z-axis indicated by a white arrow.
  • the surface on the side where incident light is incident is referred to as a back surface.
  • the left direction on the paper orthogonal to the Z axis is the X axis plus direction
  • the front side of the paper orthogonal to the Z axis and the X axis is the Y axis plus direction.
  • the coordinate axes are displayed so that the orientation of each figure can be understood with reference to the coordinate axes of FIG.
  • the imaging chip 113 is a back-illuminated MOS (Metal Oxide Semiconductor) image sensor.
  • the PD (photodiode) layer 106 is disposed on the back side of the wiring layer 108.
  • the PD layer 106 includes a plurality of PDs 104 that are two-dimensionally arranged and accumulate electric charges corresponding to incident light, and transistors 105 that are provided corresponding to the PDs 104.
  • a color filter 102 is provided on the incident light incident side of the PD layer 106 via a passivation film 103.
  • the color filter 102 has a plurality of types that transmit different wavelength regions, and has a specific arrangement corresponding to each of the PDs 104. The arrangement of the color filter 102 will be described later.
  • a set of the color filter 102, the PD 104, and the transistor 105 forms one pixel.
  • a microlens 101 is provided on the incident light incident side of the color filter 102 corresponding to each pixel.
  • the microlens 101 condenses incident light toward the corresponding PD 104.
  • the wiring layer 108 includes a wiring 107 that transmits a pixel signal from the PD layer 106 to the signal processing chip 111.
  • the wiring 107 may be multilayer, and a passive element and an active element may be provided.
  • a plurality of bumps 109 are arranged on the surface of the wiring layer 108.
  • the plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the opposing surface of the signal processing chip 111, and the imaging chip 113 and the signal processing chip 111 are pressed and aligned.
  • the bumps 109 are joined and electrically connected.
  • a plurality of bumps 109 are arranged on the mutually facing surfaces of the signal processing chip 111 and the memory chip 112. These bumps 109 are aligned with each other, and the signal processing chip 111 and the memory chip 112 are pressurized, whereby the aligned bumps 109 are joined and electrically connected.
  • the bonding between the bumps 109 is not limited to Cu bump bonding by solid phase diffusion, and micro bump bonding by solder melting may be employed. Further, for example, about one bump 109 may be provided for one block described later. Therefore, the size of the bump 109 may be larger than the pitch of the PD 104. Further, a bump larger than the bump 109 corresponding to the pixel region may be provided in a peripheral region other than the pixel region where the pixels are arranged.
  • the signal processing chip 111 has TSVs (silicon through electrodes) 110 that connect circuits provided on the front and back surfaces to each other.
  • the TSV 110 is preferably provided in the peripheral area.
  • the TSV 110 may also be provided in the peripheral area of the imaging chip 113 and the memory chip 112.
  • FIG. 2 is a diagram for explaining the pixel arrangement of the imaging chip 113.
  • (A) is a plan view schematically showing an imaging surface 200 that is the back surface of the imaging chip 113
  • (b) is an enlarged plan view of a partial region 200a of the imaging surface 200.
  • Each pixel 201 has a color filter (not shown).
  • the color filters include three types of red (R), green (G), and blue (B).
  • the notation “R”, “G”, and “B” in (b) is a color filter that the pixel 201 has. Represents the type.
  • pixels 201 having such color filters are arranged according to a so-called Bayer array.
  • the pixel 201 having a red filter photoelectrically converts light in the red wavelength band out of incident light and outputs a light reception signal (photoelectric conversion signal).
  • the pixel 201 having a green filter photoelectrically converts light in the green wavelength band out of incident light and outputs a light reception signal.
  • the pixel 201 having a blue filter photoelectrically converts light in the blue wavelength band out of incident light and outputs a light reception signal.
  • the image sensor 100 is configured to be individually controllable for each block 202 composed of a total of four pixels 201 of adjacent 2 pixels ⁇ 2 pixels. For example, when charge accumulation is started for two different blocks 202 at the same time, one block 202 reads out charges after 1/30 seconds from the start of charge accumulation, that is, reads a received light signal, and the other block 202 Charges can be read out 1/15 seconds after the start of charge accumulation. In other words, the image sensor 100 can set a different exposure time (charge accumulation time, so-called shutter speed) for each block 202 in one imaging.
  • the imaging device 100 can vary the amplification factor (so-called ISO sensitivity) of the imaging signal for each block 202 in addition to the exposure time described above.
  • the image sensor 100 can change the timing for starting charge accumulation and the timing for reading a light reception signal for each block 202. That is, the image sensor 100 can change the frame rate at the time of moving image capturing for each block 202.
  • the image sensor 100 is configured to be able to vary the imaging conditions such as exposure time, amplification factor, and frame rate for each block 202. For example, if a readout line (not shown) for reading an imaging signal from a photoelectric conversion unit (not shown) included in the pixel 201 is provided for each block 202 and the imaging signal can be read independently for each block 202, The exposure time (shutter speed) can be varied for each block 202.
  • an amplification circuit (not shown) that amplifies an imaging signal generated by photoelectrically converted charges is provided independently for each block 202, and the amplification factor of the amplification circuit can be controlled independently for each amplification circuit.
  • the signal amplification factor (ISO sensitivity) can be varied for each block 202.
  • the imaging conditions that can be varied for each block 202 include the frame rate, gain, resolution (decimation rate), the number of added rows or added columns to which pixel signals are added, and charge accumulation. For example, the number of times or the number of accumulation, the number of bits for digitization, and the like.
  • the control parameter may be a parameter in image processing after obtaining an image signal from a pixel.
  • the imaging conditions include a liquid crystal panel having a section that can be controlled independently for each block 202 (one section corresponds to one block 202) in the image sensor 100, and is used as a neutral density filter that can be turned on and off. Then, the brightness (aperture value) can be controlled for each block 202.
  • the number of the pixels 201 constituting the block 202 may not be the 2 ⁇ 2 four pixels described above.
  • the block 202 only needs to have at least one pixel 201, and conversely, may have more than four pixels 201.
  • FIG. 3 is a circuit diagram of the imaging chip 113.
  • a rectangle surrounded by a dotted line typically represents a circuit corresponding to one pixel 201.
  • a rectangle surrounded by a one-dot chain line corresponds to one block 202 (202-1 to 202-4). Note that at least some of the transistors described below correspond to the transistor 105 in FIG.
  • the reset transistor 303 of the pixel 201 is turned on / off in units of the block 202.
  • the transfer transistor 302 of the pixel 201 is also turned on / off in units of the block 202.
  • the reset wiring 300-1 for turning on / off the four reset transistors 303 corresponding to the upper left block 202-1 is provided, and the four transfer transistors corresponding to the block 202-1 are provided.
  • a TX wiring 307-1 for supplying a transfer pulse to 302 is also provided.
  • a reset wiring 300-3 for turning on / off the four reset transistors 303 corresponding to the lower left block 202-3 is provided separately from the reset wiring 300-1.
  • a TX wiring 307-3 for supplying a transfer pulse to the four transfer transistors 302 corresponding to the block 202-3 is provided separately from the TX wiring 307-1.
  • a reset wiring 300-2 and a TX wiring 307-2, and a reset wiring 300-4 and a TX wiring 307-4 are provided in each block 202, respectively. It has been.
  • the 16 PDs 104 corresponding to the respective pixels 201 are connected to the corresponding transfer transistors 302, respectively.
  • a transfer pulse is supplied to the gate of each transfer transistor 302 via the TX wiring for each block 202.
  • the drain of each transfer transistor 302 is connected to the source of the corresponding reset transistor 303, and a so-called floating diffusion FD between the drain of the transfer transistor 302 and the source of the reset transistor 303 is connected to the gate of the corresponding amplification transistor 304.
  • each reset transistor 303 is commonly connected to a Vdd wiring 310 to which a power supply voltage is supplied. A reset pulse is supplied to the gate of each reset transistor 303 via the reset wiring for each block 202.
  • each amplification transistor 304 is commonly connected to the Vdd wiring 310 to which the power supply voltage is supplied.
  • the source of each amplification transistor 304 is connected to the drain of the corresponding selection transistor 305.
  • the gate of each selection transistor 305 is connected to a decoder wiring 308 to which a selection pulse is supplied.
  • the decoder wiring 308 is provided independently for each of the 16 selection transistors 305.
  • each selection transistor 305 is connected to a common output wiring 309.
  • the load current source 311 supplies current to the output wiring 309. That is, the output wiring 309 for the selection transistor 305 is formed by a source follower. Note that the load current source 311 may be provided on the imaging chip 113 side or may be provided on the signal processing chip 111 side.
  • Each PD 104 converts received light into electric charge and stores it when the application of the transfer pulse is released. Thereafter, when the transfer pulse is applied again without the reset pulse being applied, the accumulated charge is transferred to the floating diffusion FD, and the potential of the floating diffusion FD changes from the reset potential to the signal potential after the charge accumulation. .
  • the reset wiring and the TX wiring are common to the four pixels forming the block 202. That is, the reset pulse and the transfer pulse are simultaneously applied to the four pixels in the block 202, respectively. Therefore, all the pixels 201 forming a certain block 202 start charge accumulation at the same timing and end charge accumulation at the same timing. However, the pixel signal corresponding to the accumulated charge is selectively output from the output wiring 309 by sequentially applying the selection pulse to each selection transistor 305.
  • the charge accumulation start timing can be controlled for each block 202. In other words, it is possible to capture images at different timings between different blocks 202.
  • FIG. 4 is a block diagram illustrating a functional configuration example of the image sensor 100.
  • the analog multiplexer 411 sequentially selects the 16 PDs 104 forming the block 202 and outputs each pixel signal to the output wiring 309 provided corresponding to the block 202.
  • the multiplexer 411 is formed on the imaging chip 113 together with the PD 104.
  • the pixel signal output via the multiplexer 411 is supplied to the signal processing chip 111 by a signal processing circuit 412 that performs correlated double sampling (CDS) / analog / digital (A / D) conversion. D conversion is performed.
  • CDS correlated double sampling
  • a / D converted pixel signal is transferred to the demultiplexer 413 and stored in the pixel memory 414 corresponding to each pixel.
  • the demultiplexer 413 and the pixel memory 414 are formed in the memory chip 112.
  • the arithmetic circuit 415 processes the pixel signal stored in the pixel memory 414 and delivers it to the subsequent stage.
  • the arithmetic circuit 415 may be provided in the signal processing chip 111 or may be provided in the memory chip 112. Note that FIG. 4 shows connections for four blocks 202, but actually these exist for each of the four blocks 202 and operate in parallel.
  • the arithmetic circuit 415 may not exist for each of the four blocks 202.
  • one arithmetic circuit 415 sequentially processes the values of the pixel memory 414 corresponding to each of the four blocks 202 while sequentially referring to the values. May be.
  • the output wiring 309 is provided corresponding to each of the blocks 202. Since the image pickup device 100 has the image pickup chip 113, the signal processing chip 111, and the memory chip 112 laminated, by using electrical connection between the chips using the bump 109 for the output wiring 309, each chip is arranged in the surface direction. Wiring can be routed without increasing the size.
  • FIG. 5 is an explanatory diagram illustrating a block configuration example of an electronic device.
  • Electronic device 500 is, for example, a lens-integrated camera.
  • the electronic device 500 includes an imaging optical system 501, an imaging device 100, a control unit 502, a liquid crystal monitor 503, a memory card 504, an operation unit 505, a DRAM 506, a flash memory 507, and a recording unit 508.
  • the control unit 502 includes a compression unit that compresses moving image data as will be described later. Therefore, a configuration including at least the control unit 502 in the electronic device 500 is a moving image compression device, a decompression device, and a playback device.
  • the memory card 504, the DRAM 506, and the flash memory 507 constitute a storage device 1202 to be described later.
  • the imaging optical system 501 is composed of a plurality of lenses, and forms a subject image on the imaging surface 200 of the imaging device 100.
  • the imaging optical system 501 is illustrated as a single lens for convenience.
  • the imaging element 100 is an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and outputs an imaging signal by imaging a subject image formed by the imaging optical system 501.
  • the control unit 502 is an electronic circuit that controls each unit of the electronic device 500, and includes a processor and its peripheral circuits.
  • a predetermined control program is written in advance in the flash memory 507 which is a nonvolatile storage medium.
  • the processor of the control unit 502 controls each unit by reading a control program from the flash memory 507 and executing it.
  • This control program uses DRAM 506, which is a volatile storage medium, as a work area.
  • the liquid crystal monitor 503 is a display device using a liquid crystal panel.
  • the control unit 502 causes the image sensor 100 to repeatedly capture a subject image every predetermined cycle (for example, 1/60 second). Then, various image processes are performed on the imaging signal output from the imaging element 100 to create a so-called through image, which is displayed on the liquid crystal monitor 503. In addition to the above-described through image, for example, a setting screen for setting imaging conditions is displayed on the liquid crystal monitor 503.
  • the control unit 502 creates an image file to be described later based on the imaging signal output from the imaging device 100, and records the image file on a memory card 504 that is a portable recording medium.
  • the operation unit 505 includes various operation members such as push buttons, and outputs an operation signal to the control unit 502 in response to the operation members being operated.
  • the recording unit 508 is composed of, for example, a microphone, converts environmental sound into an audio signal, and inputs the sound signal to the control unit 502.
  • the control unit 502 does not record a moving image file on the memory card 504 that is a portable recording medium, but a recording medium (not illustrated) such as an SSD (Solid State Drive) or a hard disk built in the electronic device 500. May be recorded.
  • a recording medium such as an SSD (Solid State Drive) or a hard disk built in the electronic device 500. May be recorded.
  • FIG. 6 is an explanatory diagram showing the relationship between the imaging surface 200 and the subject image.
  • A schematically shows the imaging surface 200 (imaging range) and the subject image 601 of the imaging device 100.
  • the control unit 502 captures a subject image 601.
  • the imaging in (a) may also serve as imaging performed for creating a live view image (so-called through image), for example.
  • the control unit 502 performs a predetermined image analysis process on the subject image 601 obtained by the imaging of (a).
  • the image analysis processing is processing for detecting a main subject using, for example, a well-known subject detection technique (a technique for calculating a feature amount and detecting a range where a predetermined subject exists).
  • a well-known subject detection technique a technique for calculating a feature amount and detecting a range where a predetermined subject exists.
  • the background other than the main subject is used. Since the main subject is detected by the image analysis processing, the imaging surface 200 is divided into a main subject region 602 where the main subject exists and a background region 603 where the background exists.
  • a region roughly including the subject image 601 is illustrated as a main subject region 602, but the main subject region 602 may have a shape along the outer shape of the subject image 601.
  • the main subject area 602 may be set so as to contain as little as possible other than the subject image 601.
  • the control unit 502 sets different imaging conditions for each block 202 in the main subject area 602 and each block 202 in the background area 603. For example, a faster shutter speed is set for each of the former blocks 202 than for each of the latter blocks 202. In this way, image blurring is less likely to occur in the main subject region 602 in the imaging of (c) that is taken after the imaging of (a).
  • the control unit 502 applies a relatively high ISO sensitivity to each block 202. Or set a slow shutter speed.
  • the control unit 502 sets a relatively low ISO sensitivity or sets a high shutter speed for each of the latter blocks 202. In this way, in the imaging of (c), it is possible to prevent blackout of the main subject area 602 in the backlight state and whiteout of the background area 603 with a large amount of light.
  • the image analysis processing may be processing different from the processing for detecting the main subject region 602 and the background region 603 described above. For example, it may be a process of detecting a portion where the brightness is equal to or higher than a certain level (a portion that is too bright) or a portion where the brightness is less than a certain level (a portion that is too dark) in the entire imaging surface 200.
  • the control unit 502 controls the shutter so that the exposure value (Ev value) of the block 202 included in the former region is lower than that of the block 202 included in the other region.
  • Speed and ISO sensitivity may be set.
  • control unit 502 sets the shutter speed and the ISO sensitivity so that the exposure value (Ev value) of the block 202 included in the latter area is higher than that of the block 202 included in the other area. By doing in this way, the dynamic range of the image obtained by imaging of (c) can be expanded from the original dynamic range of the image sensor 100.
  • FIG. 6B shows an example of mask information 604 corresponding to the imaging surface 200 shown in FIG. “1” is stored in the position of the block 202 belonging to the main subject area 602, and “2” is stored in the position of the block 202 belonging to the background area 603.
  • the control unit 502 executes image analysis processing on the image data of the first frame, and detects the main subject region 602 and the background region 603. As a result, a frame obtained by imaging in (a) is divided into a main subject area 602 and a background area 603 as shown in (b). The control unit 502 sets different imaging conditions for each block 202 in the main subject area 602 and each block 202 in the background area 603, performs imaging in (c), and creates image data. An example of the mask information 604 at this time is shown in (d).
  • the mask information 604 of (b) corresponding to the imaging result of (a) and the mask information 604 of (d) corresponding to the imaging result of (c) are imaged at different times (the time difference is different). Therefore, for example, when the subject is moving or when the user moves the electronic device 500, the two pieces of mask information 604 have different contents. In other words, the mask information 604 is dynamic information that changes over time. Therefore, in a certain block 202, different imaging conditions are set for each frame.
  • FIG. 7 is an explanatory diagram of a moving image compression / expansion example according to the first embodiment.
  • the electronic device 500 includes the above-described image sensor 100 and the control unit 502.
  • the control unit 502 includes a first generation unit 701, a compression / decompression unit 702, a synthesis unit 703, and a playback unit 704.
  • the imaging element 100 has a plurality of imaging areas for imaging a subject.
  • the imaging region is a set of pixels of at least one pixel, for example, one or more blocks 202 described above. Imaging conditions (for example, frame rate, exposure time, ISO sensitivity) can be set for each block 202 in the imaging area.
  • an imaging area in which a first frame rate (for example, 30 [fps]) is set is referred to as a “first imaging area”, and a second frame rate (for example, faster than the first frame rate) , 60 [fps]) is referred to as a “second imaging area”.
  • first imaging area an imaging area in which a first frame rate (for example, 30 [fps]) is set
  • second frame rate for example, faster than the first frame rate
  • the second frame rate are examples, and other values may be used as long as the second frame rate is faster than the first frame rate. If the second frame rate is a multiple of the first frame rate, frames output from the first imaging region and the second imaging region can be obtained at the imaging timing of the first frame rate.
  • the image sensor 100 images the subject and outputs the input moving image data 710 to the first generation unit 701.
  • An area of image data output from an imaging area with the imaging element 100 is referred to as an image area (corresponding to the imaging area).
  • the first imaging area (imaging) is captured by imaging at the first frame rate (30 [fps]).
  • the image data of the first image area a1 (shaded) output from the entire surface 200) becomes one frame by image processing. This frame is referred to as a “first frame 711”.
  • the first frame 711 is generated as image data of the first image area a1 only for the landscape by imaging at the first frame rate (30 [fps]).
  • the entire imaging surface 200 is the first imaging area set to the first frame rate (30 [fps])
  • the imaging area where the specific subject is detected is the second imaging area from the first imaging area.
  • a combination of (shaded) image data and image data of the second image area a2 output from the second imaging area is also the first frame 711.
  • the first frame 711 is generated.
  • the image data of the second image area a2 output from the second imaging area output from the second imaging area of the imaging surface 200 by imaging at the second frame rate (60 [fps]) This will be referred to as “data 712”.
  • the image area in which the image data of the subject is not output from the first imaging area is referred to as “missing area 712x”.
  • the number of imaging areas in which different frame rates are set may be three or more.
  • a frame rate different from the first frame rate and the second frame rate can be set for the third imaging region and thereafter.
  • the first generation unit 701 complements the image data 712 in the input moving image data 710 input from the image sensor 100. Specifically, for example, the first generation unit 701 supplements the missing area 712x in which no image signal is output from the first imaging area of the imaging element 100 with a specific color.
  • the specific color is black, and black is also applied in FIG. Note that the specific color may be a color other than black or a specific pattern. Further, the specific color may be a plurality of colors instead of a single color.
  • the pixel area around the second image area a2 may be the same color as the boundary of the second image area a2.
  • the missing area 712x supplemented with the specific color is referred to as a “complement area 712y”.
  • Image data obtained by combining the image data 712 and the complementary region 712y by image processing is referred to as a second frame 713.
  • the moving image data constituted by the first frame 711 group is referred to as first moving image data 721
  • the moving image data constituted by the second frame 713 group is referred to as second moving image data 722.
  • the first generation unit 701 outputs the first moving image data 721 and the second moving image data 722 to the compression / decompression unit 702.
  • the compression / decompression unit 702 compresses the first moving image data 721 and the second moving image data 722 and stores them in a storage device (for example, the memory card 504 and the flash memory 507).
  • the compression / decompression unit 702 performs compression by hybrid encoding in which motion compensation inter-frame prediction (Motion Compensation: MC) and discrete cosine transform (Discrete Cosine Transform: DCT) are combined with entropy coding.
  • motion compensation inter-frame prediction Motion Compensation: MC
  • DCT discrete cosine Transform
  • the compression / decompression unit 702 executes a compression process that does not require motion detection or motion compensation for the first image area a1 indicated by shading in the first frame 711 constituting the first moving image data 721.
  • the compression / decompression unit 702 compresses the image data 712 of the second image area a2 in which the hatched specific subject image is output by the hybrid encoding described above. As described above, since motion detection and motion compensation are not executed for the first image region a1 other than the specific subject image, the processing load of moving image compression can be reduced.
  • the compression / decompression unit 702 may compress the first image area a1 by the hybrid encoding described above.
  • the compression / decompression unit 702 executes a compression process that does not require motion detection or motion compensation for the complementary region 712y shown in black in the second frame 713 constituting the second moving image data 722.
  • the compression / decompression unit 702 compresses the image data 712 of the second image area a2 in which the hatched specific subject image is output by the hybrid encoding described above.
  • the compression / decompression unit 702 may compress the complementary region 712y by the hybrid encoding described above.
  • the second frame 713 obtained at the second frame rate (60 [fps]) has the same size as the first frame 711 obtained at the first frame rate (30 [fps]). Accordingly, the second frame 713 is applied with the same compression processing as the compression processing of the first frame 711, so there is no need to apply another compression processing that matches the size of the image data 712.
  • the compression / decompression unit 702 decompresses the compressed first moving image data 721 and second moving image data 722 when a moving image reproduction instruction or expansion instruction is given, and the original first moving image data 721 and second moving image data 722 are expanded. Return to the video data 722.
  • the synthesizing unit 703 refers to the first frame 711 immediately before the second frame 713, and duplicates, that is, combines the first frame 711 with the second frame 713. Specifically, the synthesis unit 703 generates another first frame 711 to be synthesized with the second frame by duplication, and synthesizes the generated first frame and second frame.
  • the synthesized frame is referred to as a “third frame 730”.
  • the third frame 730 is a frame in which the subject image in the second frame 713 (second image region a2) is superimposed on the subject image in the first frame 711.
  • the synthesizing unit 703 outputs moving image data (hereinafter, fourth moving image data) 740 including the first frame 711 output by 30 [fps] imaging and the third frame 730 that is a combined frame to the reproducing unit 704. To do. Note that when there is no combination instruction, for example, when it is desired to reproduce a moving image at 30 fps, the combining unit 703 does not execute the combining process.
  • the reproduction unit 704 reproduces the fourth moving image data 740 and displays the moving image on the liquid crystal monitor 503.
  • the input moving image data 710 cannot be compressed by the compression / decompression unit 702 as it is. Therefore, the first generation unit 701 generates the second moving image data 722 including a plurality of second frames 713 by complementing the image data 712 with the complement region 712y.
  • the compression / decompression unit 702 compresses and decompresses the first moving image data 721 and the second moving image data 722 separately.
  • the general-purpose compression / decompression unit 702 can compress the second moving image data 722 in the compression / decompression unit 702 in the same manner as the normal moving image data (first moving image data 721). Note that if the compositing process is not executed by the compositing unit 703, the reproducing unit 704 reproduces the first moving image data 721 having a frame rate of 30 [fps] and displays the moving image on the liquid crystal monitor 503. .
  • the imaging area where the specific subject is detected is the first imaging area.
  • the setting of the imaging condition of the imaging area of the imaging surface 200 is not limited to this, but the case where the second imaging area is changed to the second imaging area set to the second frame rate (60 [fps]) has been described.
  • the staggered arrangement a plurality of first imaging regions set at the first frame rate (30 [fps]) and a plurality of frames installed at the second frame rate (60 [fps]) on the imaging surface 200.
  • the image data combined by the plurality of first image areas a1 corresponding to the plurality of first imaging areas is the first frame F711.
  • the image data combined by the plurality of second image areas a2 corresponding to the plurality of second imaging areas is the “second frame F712”.
  • the first imaging area and the second imaging area have the same frame rate, and other imaging conditions such as exposure time, ISO sensitivity, and thinning rate are set to be different between the first imaging area and the second imaging area. May be.
  • FIG. 8 is an explanatory diagram showing a file format example of a moving image file.
  • FIG. 8 for example, a case where a file format conforming to MPEG4 (Moving Picture Experts Group phase 4) is applied will be described as an example.
  • MPEG4 Motion Picture Experts Group phase 4
  • the moving image file 800 is a set of data called a box, and has a header portion 801 and a data portion 802, for example.
  • the header portion 801 includes ftyp 811, uuid 812, and moov 813 as boxes.
  • the data part 802 includes mdat 820 as a box.
  • Ftyp 811 is a box for storing information indicating the type of the moving image file 800, and is arranged at a position before the other boxes in the moving image file 800.
  • the uuid 812 is a box that stores a general-purpose unique identifier, and can be expanded by the user.
  • the uuid 812 includes moving image data in which the frame rate of the frame group in the moving image file 800 is only the first frame rate (for example, 30 [fps]), or the first frame rate and the second frame.
  • Frame rate identification information for identifying whether the video data includes the rate (60 [fps]) (first video data 721 and second video data 722) may be written. Thereby, it is possible to specify which moving image data has which frame rate at the time of expansion, composition, and reproduction.
  • the moov 813 is a box for storing metadata regarding various media such as moving images, sounds, and texts.
  • the mdat 820 is a box that stores data of various media such as moving images, sounds, and texts.
  • the moov 813 includes a uuid 831, an udta 832, an mvhd 833, trak 834 a and 834 b, and additional information 835.
  • trak 834a and 834b are simply expressed as trak834.
  • tkhd841a of data in trak834a and tkhd841b of data in trak834b are simply referred to as tkhd841.
  • the uuid 831 is a box that stores a general-purpose unique identifier, like the uuid 812, and can be expanded by the user.
  • the frame type identification that identifies whether each frame in the moving image file 800 is the first frame 711 or the second frame 713 is given to the uuid 831. Information is written in association with the frame number.
  • information indicating the storage position of the compressed data of the first moving image data 721 and the compressed data of the second moving image data 722 may be written. Specifically, for example, (SOM (Start Of Movie) 850a, EOM (End Of Movie) 854a) is written as information indicating the storage position of the compressed data of the first moving image data 721, and the second moving image data 722 is stored. (SOM850b, EOM854b) is written as information indicating the storage location of the compressed data. Thereby, it is possible to specify which moving image data is stored in which storage position at the time of expansion, composition, and reproduction.
  • the storage position of the compressed data can be specified by stsz 847a and 847b and stco 848a and 848b described later. Therefore, the information indicating the storage position is associated with the first frame rate information indicating the first frame rate by associating the compressed data address of the first moving image data 721 specified from stsz 847a, 847b and stco 848a, 848b instead of SOM 850a and EOM 854a. As stsz 847a and 847b and stco 848a and 848b.
  • the address of the compressed data of the second moving image data 722 specified from stsz 847a, 847b and stco 848a, 848b is associated with the second frame rate information indicating the second frame rate to indicate the storage position.
  • Information may be set to stsz 847a and 847b and stco 848a and 848b.
  • Udta832 is a box for storing user data.
  • the user data includes, for example, an electronic device identification code and electronic device position information.
  • Mvhd 833 is a box for storing a time scale and duration for each trak 834.
  • the time scale is a frame rate or a sampling frequency.
  • the duration is a length based on a time scale. When the duration is divided by the time scale, the time length of the media specified by the trak 834 is obtained.
  • Trak834 is a box set for each type of media (moving image, sound, text).
  • moov includes trak 834a and 834b.
  • the trak 834a is a box that stores metadata relating to the moving image, sound, and text of the first moving image data 721 output by imaging at 30 [fps], for example.
  • the trak 834a is set for each moving image, sound, and text of the first moving image data 721.
  • the trak834b is a box that stores, for example, metadata regarding the moving image, sound, and text of the second moving image data 722 output by imaging at 60 [fps].
  • the trak 834b is also set for each moving image, sound, and text of the second moving image data 722.
  • the additional information 835 is a box including imaging condition information and insertion position information.
  • the imaging condition information is information indicating a storage position of the medium in the moving image file 800 for each imaging condition (for example, a frame rate such as 30 [fps] or 60 [fps]).
  • the insertion position information is information indicating a position at which the media data of the faster frame rate (second moving image data 722) is inserted into the media data of the slower frame rate (first moving image data 721).
  • the trak 834a and 834b include tkhd 841a and 841b, edts 842a and 842b, tref 843a and 843b, stsc 844a and 844b, stts 845a and 845b, stss 846a and 846b, and stsz 847a, 847b, and 847b.
  • tkhd841a to stco848a and tkhd841b to stco848b are simply written as tkhd841 to stco848 when not distinguished from each other.
  • Edts 842 is a box that stores the playback start position of trak 834 and the playback time from the playback position as an edit list of trak 834.
  • Stsc 844 is a box for storing the number of samples in one chunk.
  • a chunk is a collection of media data for the number of samples, and is stored in mdat 820. For example, if the media is a video, the sample in the chunk is a frame. If the number of samples is “3”, it means that three frames are stored in one chunk.
  • Stts 845 is a box that stores the playback time for each chunk in the trak 834 or a sample in the chunk.
  • a stss 846 is a box for storing information related to the interval between key frames (I pictures). When the GOP (Group of Pictures) is “5”, “1, 6, 11,...” Is stored in the stss 846.
  • Stsz847 is a box that stores the data size of each sample in mdat820.
  • the stco 848 is a box that stores an offset from the head address of the moving image file 800 for each chunk in the mdat 820.
  • Mdat 820 is a box for storing a chunk for each medium.
  • SOM 850a and 850b are identifiers indicating the storage start position of a chunk group under a certain imaging condition.
  • EOMs 854a and 854b are identifiers indicating the storage end positions of chunk groups under a certain imaging condition.
  • mdat 820 includes a moving image chunk 851-1, an audio chunk 852-1, a text chunk 853-1,..., A moving image chunk 851-2, an audio chunk 852-2, a text chunk 853-2,. -3, voice chunk 852-3, and text chunk 853-3.
  • chunks are divided according to imaging conditions. Specifically, for example, chunk groups obtained at an imaging timing of 30 [fps] from SOM 850a to EOM 854a are stored, and chunk groups obtained at an imaging timing of 60 [fps] are stored from SOM 850b to EOM 854b.
  • the moving image chunk 851-1 stores compressed frames of the first frame 711 before detection of a specific subject, which are samples output by imaging at 30 [fps], that is, compressed frames 861-s1, 861-s2, and 861-s3. To do.
  • the moving image chunk 851-2 stores the compressed frames of the first frame 711 when the specific subject is detected, that is, the samples output by imaging at 30 [fps], that is, the compressed frames 862-s1, 862-s2, and 862-s3.
  • the frames 862-s1, 862-s2, and 862-s3 include a specific subject image (second image region a2) at 60 [fps] because the imaging timing overlaps with 60 [fps].
  • the moving image chunk 851-3 stores compressed frames of the second frame 713 at the time of detection of a specific subject, ie, compressed frames 863-s1, 863-s2, and 863-s3, which are samples output by imaging at 60 [fps]. To do.
  • FIG. 9 is an explanatory diagram showing the relationship between frames and additional information 835.
  • (A) shows an example of the data structure of frame F.
  • the frame F has a frame number 901 and frame data 902.
  • the frame data 902 is image data generated by imaging.
  • (B) indicates a compressed frame sequence.
  • compressed frames are arranged in time series from left (oldest) to right (latest).
  • # 1a to # 6a are the frame numbers of the compressed frames 861-s1, 861-s2, 861-s3, 862-s1, 862-s2, and 862-s3 output by imaging at 30 [fps].
  • # 1b to # 3b are the frame numbers of the compressed frames 863-s1, 863-s2, and 863-s3 that are output by imaging at 60 [fps].
  • the additional information 835 includes imaging condition information 910 and insertion position information 920.
  • the imaging condition information 910 is information indicating the storage position of the medium in the moving image file 800 for each imaging condition (for example, a frame rate such as 30 [fps] or 60 [fps]).
  • the imaging condition information 910 includes frame rate information 911 and position information 912.
  • the frame rate information 911 is a frame rate such as 30 [fps] or 60 [fps], for example.
  • the position information 912 is information indicating the storage position of the compressed frame in the moving image file 800, and is specified by referring to stsz847 and stco848. Specifically, for example, the value Pa of the position information 912 of the compressed frame whose frame rate information 911 is 30 [fps] indicates an address in the range of SOM850a to EOM854a. Similarly, the value Pb of the position information 912 of the compressed frame whose frame rate information 911 is 60 [fps] indicates an address in the range of SOM850b to EOM854b.
  • the insertion position information 920 includes media data (second moving image data 722) having a faster frame rate (60 [fps]) and media data (first moving image data 721) having a slower frame rate (30 [fps]). ) Is information indicating the insertion position.
  • the insertion position information 920 includes an insertion frame number 921 and an insertion destination 922.
  • the insertion frame number 921 indicates the frame number of the compressed frame to be inserted.
  • compressed frames 863-s1, 863-s2, and 863-s3 specified by frame numbers # 1b to # 3b are the compression frames to be inserted.
  • the insertion destination 922 indicates the insertion position of the compressed frame specified by the insertion frame number 921. Specifically, the insertion destination 922 is specified as, for example, between two frame numbers. For example, the compression frame 863-s1 with the insertion frame number # 1b is inserted between the compression frame 861-s3 and the compression frame 862-s1 specified by the two frame numbers (# 3a, # 4a) of the insertion destination 922. Is done. In FIG. 9, the insertion destination 922 is specified using the frame number, but may be specified using an address (specified by referring to stsz847 and stco848).
  • a moving image file in which the frame 711 is compressed and a moving image file in which the second frame 713 is compressed may be generated separately.
  • related information that associates one moving image file 800 with the other moving image file 800 is stored in the header portion 801 of both moving image files 800.
  • the related information is stored, for example, in uuid 812, 831 or mvhd 833 of the header part 801.
  • the additional information 835 may be stored in another box (831 to 834) as long as it is stored in the moov 813.
  • FIG. 10 is an explanatory diagram showing a synthesis processing example 1 in the synthesis unit 703 shown in FIG.
  • the electronic device 500 captures a traveling train as a specific subject during fixed-point imaging of a landscape including rice fields, mountains, and the sky.
  • the train that is the specific subject is identified by the known subject detection technique described above.
  • the captured frames F are assumed to be frames F1, F2-60, F3, F4-60, and F5 in chronological order. Here, it is assumed that the train travels from right to left in the frames F1, F2-60, F3, F4-60, and F5.
  • frames F1, F3, and F5 the image data of the first image area a1 output by imaging at the first frame rate of 30 [fps] in the first imaging area and the second of 60 [fps] in the second imaging area are output.
  • a first frame 711 including image data of the second image area a2 output by imaging at the frame rate.
  • the frames F2-60 and F4-60 include the image data of the second image area a2 output by the second imaging area having the second imaging rate of 60 [fps], and are supplemented with a black background.
  • the second frame 713 The second frame 713.
  • Frames F1, F3, and F5 a landscape including rice fields, mountains, and sky is captured in the first image area a1, and a train that is traveling as a specific subject is captured in the second image area a2.
  • This is the first frame 711.
  • Frames F2-60 and F4-60 are frames in which the train is imaged in the second image area a2.
  • the image data of the second image area a2 in which the train is imaged is output by imaging in the second imaging area (60 [fps]). It is data.
  • the image data of the first image area a1 in which the landscape is imaged is image data output by imaging of the first imaging area (30 [fps]). Since the first image area a1 is output by imaging at the first frame rate (30 [fps]), the frames F2-60 and F4-60 output by imaging at the second frame rate (60 [fps]) are output.
  • the complement region 712y is filled with a specific color (black).
  • Frames F1, F2-60, F3, F4-60, F5 Correspond to the first moving image data 721 and the second moving image data 722 described above. Since the second moving image data 722 includes the second frame 713 in which the complement region 712y is black, the combining unit 703 combines the first moving image data 721 and the second moving image data 722.
  • the combining unit 703 adds the image data of the frame F2-60 to the image data (scenery excluding the train) of the first image area a1 of the frame F1 that is temporally previous to the frame F2-60.
  • the image data (train) in the second image area a2 is duplicated.
  • the synthesizing unit 703 generates a frame F2, which is the third frame 730.
  • the synthesizing unit 703 adds the frame F4-60 to the image data (the scenery excluding the train) of the first image area a1 of the frame F3 that is temporally previous to the frame F4-60.
  • the image data (train) of the second image area a2 is duplicated. Accordingly, the synthesis unit 703 generates a frame F4 that is the third frame 730. Then, the synthesizing unit 703 outputs the fourth moving image data 740 including the frames F1 to F5.
  • the first image area a1 of the frames F1 and F3 having the first frame rate immediately before in the complementary area 712y of the frames F2-60 and F4-60 the first image For the region a1
  • the difference between the frames F1 and F2 can be made substantially zero
  • the difference between the frames F3 and F4 can be made almost zero.
  • the fourth moving image data 740 that is a frame sequence in which the first frame 711 and the third frame 730 are mixed.
  • the first moving image data 721 and the second moving image data 722 can be expanded by the conventional compression / decompression unit 702, respectively, and the processing load of the expansion processing can be reduced.
  • the compression / decompression unit 702 when reproducing at 30 [fps], only decompresses the first moving image data 721 and does not require synthesis by the synthesizing unit 703, so that the efficiency of the reproduction process can be improved. .
  • the image data (scenery excluding the train) of the first image area a1 of the frame F1 is duplicated. Therefore, the portion (the end of the train) that originally was the second image area a2 of the frame F1 is not copied to the frame F2. For this reason, the frame F2 has a complementary image portion Da1 in which nothing is output.
  • the frame F4 has a complementary image portion Da3 to which nothing is output.
  • Example 1 for the complementary image portions Da1 and Da3, the synthesis unit 703 may keep the filled specific color or may perform interpolation processing using surrounding pixels. As a result, it is possible to reproduce the frames F2, F4,.
  • FIG. 11 is an explanatory diagram showing a synthesis processing example 2 in the synthesis unit 703 shown in FIG.
  • the electronic device 500 is, for example, a drive recorder, and takes a picture of a car traveling ahead (a preceding car) and a landscape.
  • the preceding vehicle is a specific subject to be tracked, and the landscape changes due to self-running.
  • Frames F generated by photographing are frames F6, F7-60, F8, F9-60, and F10 in time series order.
  • frames F6, F8, and F10 the image data of the first image area a1 output by imaging at the first frame rate of 30 [fps] for the first imaging area and the second of 60 [fps] for the second imaging area are output.
  • This is a first frame 711 including image data 712 of the second image region a2 output by imaging at the frame rate.
  • Frames F7-60 and F9-60 are the image data 712 of the second image area a2 output by the second imaging area at the second frame rate of 60 [fps].
  • the frames F6, F8, and F10 are the first frame 711 in which the preceding vehicle is imaged in the first image area a1 and the landscape changing to the second image area a2 is imaged.
  • Frames F7-60 and F9-60 are frames in which a landscape is captured in the second image area a2.
  • the image data of the second image area a2 in which the landscape is imaged is output by imaging in the second imaging area (60 [fps]). There is data. Further, in frames F6, F8, and F10, the image data of the first image area a1 in which the preceding vehicle has been imaged is the moving image data output by the imaging of the first imaging area (30 [fps]). Since the first imaging area is output by imaging at the first frame rate (30 [fps]), the first of the frames F7-60 and F9-60 output by imaging at the second frame rate (60 [fps]). One image area a1 is blackened by the first generation unit 701 during compression.
  • the synthesizer 703 adds the image data of the second image area a2 of the frame F7-60 to the image data of the first image area a1 of the frame F6 one temporally before the frame F7-60 (the preceding vehicle excluding the scenery). Duplicate image data (landscape). Accordingly, the synthesis unit 703 generates a frame F7 that is the third frame 730.
  • the synthesizing unit 703 also adds the image data of the frame F9-60 to the image data (the preceding vehicle excluding the scenery) of the first image area a1 of the frame F8 that is one time earlier than the frame F9-60.
  • the image data (landscape) in the second image area a2 is duplicated. Accordingly, the synthesis unit 703 generates a frame F9 that is the third frame 730. Then, the synthesizing unit 703 outputs the fourth moving image data 740 including the frames F6 to F10.
  • the difference between the frames F6 and F7 can be set to 0, and the difference between the frames F8 and F9 can be set to 0.
  • the fourth moving image data 740 that is a frame sequence in which the first frame 711 and the image data 712 are mixed.
  • the first moving image data 721 and the second moving image data 722 can be expanded by the conventional compression / decompression unit 702, respectively, and the processing load of the expansion processing can be reduced.
  • the compression / decompression unit 702 when reproducing at 30 [fps], only decompresses the first moving image data 721 and does not require synthesis by the synthesizing unit 703, so that the efficiency of the reproduction process can be improved. .
  • Control Unit 502 is a block diagram illustrating a configuration example of the control unit 502 illustrated in FIG.
  • the control unit 502 includes a preprocessing unit 1210, a first generation unit 701, an acquisition unit 1220, a compression / decompression unit 702, a specifying unit 1240, a synthesis unit 703, and a playback unit 704.
  • the control unit 502 includes a processor 1201, a storage device 1202, an integrated circuit 1203, and a bus 1204 that connects them. Note that the storage device 1202, the decompressing unit 1234, the specifying unit 1240, the combining unit 703, and the reproducing unit 704 may be mounted on other devices accessible to the electronic device 500.
  • the preprocessing unit 1210, the first generation unit 701, the acquisition unit 1220, the compression / decompression unit 702, the identification unit 1240, the synthesis unit 703, and the playback unit 704 cause the processor 1201 to execute a program stored in the storage device 1202. It may be realized by an integrated circuit 1203 such as ASIC (Application Specific Integrated Circuit) or FPGA (Field-Programmable Gate Array). Further, the processor 1201 may use the storage device 1202 as a work area. Further, the integrated circuit 1203 may use the storage device 1202 as a buffer that temporarily holds various data including image data.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • a device including at least the compression unit 1231 in the compression / expansion unit 702 is a moving image compression device.
  • An apparatus including at least the second generation unit 1232 in the compression / decompression unit 702 is a generation apparatus.
  • An apparatus including at least the expansion unit 1234 in the compression / expansion unit 702 is an expansion device.
  • a device including at least the playback unit 704 is a playback device.
  • the pre-processing unit 1210 performs pre-processing for generating the moving image file 800 for the input moving image data 710 from the image sensor 100.
  • the preprocessing unit 1210 includes a detection unit 1211 and a setting unit 1212.
  • the detection unit 1211 detects a specific subject by the known subject detection technique described above.
  • the setting unit 1212 changes the imaging area where the specific subject is detected on the imaging surface 200 of the imaging device 100 from the first frame rate (for example, 30 [fps]) to the second frame rate (for example, 60 [fps]). change.
  • the setting unit 1212 detects the motion vector of the specific subject from the difference between the imaging region where the specific subject in the input frame is detected and the imaging region where the specific subject in the input frame is detected.
  • the imaging area of the specific subject in the next input frame is predicted.
  • the setting unit 1212 changes the predicted imaging area to the second frame rate.
  • the setting unit 1212 gives information indicating the image area of the first frame rate (for example, 30 [fps]) and the image area of the second frame rate (for example, 60 [fps]) to the frame F.
  • the first generation unit 701 complements a missing area 712x that is not output by imaging at the second frame rate with a specific color for the image data 712 that is an image area at the second frame rate in which the specific subject is imaged, and complements it.
  • Region 712y is set. Specifically, for example, in frames F2-60 and F4-60 in FIG. 10, there is an image area (corresponding to the background) other than the second image area a2 that is a specific subject image output by imaging at 60 [fps]. This is a complementary region 712y.
  • the image area (corresponding to the preceding vehicle) other than the second image area a2 which is a changing landscape imaged at 60 [fps] is the complementary area 712y.
  • the first generation unit 701 sets the missing area 712x to a specific color and eliminates the missing area 712x.
  • the image data of the complementary region 712y that is a specific color is data that is not based on the output from the second imaging region, and is configured as predetermined data that is unrelated to the output data from the second imaging region.
  • the acquisition unit 1220 acquires the input moving image data 710 or the first moving image data 721 and the second moving image data 722 output from the preprocessing unit 1210, holds them in the storage device 1202, and stores a plurality of frames at a predetermined timing. Are output to the compression / decompression unit 702 frame by frame in chronological order. Specifically, for example, the acquisition unit 1220 acquires the input moving image data 710 from the preprocessing unit when the specific subject is not detected, and the first moving image data 721 and the second moving image data 721 when the specific subject is detected. Movie data 722 is acquired.
  • the compression / decompression unit 702 includes a compression unit 1231, a second generation unit 1232, a selection unit 1233, an expansion unit 1234, and a storage unit 1235.
  • the compression unit 1231 compresses the moving image data from the acquisition unit 1220. Specifically, for example, when the compression unit 1231 acquires moving image data in which a specific subject is not detected, each frame is the first image region a1, and therefore, compression processing that does not require motion detection or motion compensation is performed. Execute.
  • the compression unit 1231 compresses the first moving image data 721 and the second moving image data 722, respectively. Specifically, for example, in the case of the first moving image data 721, the compression unit 1231 performs a compression process that does not require motion detection or motion compensation on the image data of the first image area a1, and the specific subject is imaged.
  • the image data of the second image area a2 is compressed by the above-described hybrid encoding. As described above, since motion detection and motion compensation are not executed for regions other than the specific subject image, the processing load of moving image compression is reduced.
  • the compression unit 1231 performs compression processing that does not require motion detection or motion compensation on the image data in the complement region 712y (black), and the first subject in which the specific subject is imaged.
  • the image data in the two-image area a2 is compressed by the hybrid encoding described above.
  • the processing load of moving image compression is reduced.
  • the second frame 713 can be applied with a normal moving image compression process in the same manner as the first frame 711.
  • the second frame 713 obtained at the second frame rate has the same size as the first frame 711 obtained at the first frame rate (30 [fps]). Accordingly, the second frame 713 is applied with the same compression processing as the compression processing of the first frame 711, so there is no need to apply another compression processing that matches the size of the image data 712. That is, the compression unit 1231 can apply the compression process applied in the first frame 711 to the second frame 713 as it is. For this reason, it is not necessary to implement another compression process for the image data 712.
  • the second generation unit 1232 generates a moving image file 800 including the moving image data (compressed data) compressed by the compression unit 1231. Specifically, for example, the second generation unit 1232 generates the moving image file 800 according to the file format as shown in FIG.
  • the storage unit 1235 stores the generated moving image file 800 in the storage device 1202.
  • the compression unit 1231 may store the compressed data in a buffer memory, for example, and the second generation unit 1232 may read the compressed data stored in the buffer memory and generate the moving image file 800.
  • the selection unit 1233 receives an instruction to reproduce the moving image file 800 from the operation unit 505, reads out the moving image file 800 to be decompressed from the storage device 1202, and passes it to the decompressing unit 1234.
  • the decompression unit 1234 decompresses the moving image file 800 passed from the selection unit 1233 according to the file format.
  • the decompression unit 1234 executes general-purpose decompression processing. Specifically, for example, the decompression unit 1234 performs variable-length decoding processing, inverse quantization, and inverse transform on the input compressed frame, applies intra-frame prediction or inter-frame prediction, and converts the compressed frame to the original Stretch to frame.
  • the moving image file 800 includes a moving image file 800 in which moving image data in which a specific subject is not detected is compressed, and a moving image file 800 in which the first moving image data 721 and the second moving image data 722 are compressed.
  • the former moving image file 800 is moving image data that is output at a frame rate of 30 [fps] and is, for example, fixed-point imaged only for a landscape where a train is not passing. Therefore, when the selection unit 1233 accepts selection of a reproduction instruction for the moving image file 800, the expanding unit 1234 expands the moving image file 800 according to the file format.
  • the moving image file 800 obtained by compressing the first moving image data 721 and the second moving image data 722 includes the compressed moving image data of the first moving image data 721 and the second moving image data 722. Therefore, when the selection unit 1233 receives selection of a playback instruction for the video file 800 obtained by compressing the first video data 721 and the second video data 722, the frame rate (for example, 30) selected by the playback instruction is received. [Fps], 60 [fps]).
  • the selection unit 1233 passes the chunk group existing between the SOM 850a to EOM 854a in the mdat 820 of the moving image file 800 to the decompression unit 1234 as the compressed data of the first moving image data 721. . Thereby, the decompression unit 1234 can decompress the compressed data of the first moving image data 721 into the first moving image data 721.
  • the selection unit 1233 passes the chunk group existing between the SOM 850a to the EOM 854a in the mdat 820 of the moving image file 800 to the decompression unit 1234 as the compressed data of the first moving image data 721.
  • the chunk group existing between SOM 850b to EOM 854b in the mdat 820 of the moving image file 800 is transferred to the decompression unit 1234 as the compressed data of the second moving image data 722.
  • the decompressing unit 1234 can decompress the compressed data of the first moving image data 721 to the first moving image data 721 and can decompress the compressed data of the second moving image data 722 to the second moving image data 722.
  • the decompression unit 1234 decompresses the compressed data of the first moving image data 721 and the compressed data of the second moving image data 722 in order (which may be reversed).
  • the compressed data of the first moving image data 721 and the compressed data of the second moving image data 722 may be expanded in parallel.
  • the specifying unit 1240 includes the first frame 711 (for example, the frame F1 in FIG. 10) in the first moving image data 721, and the second Based on the second frame 713 in the moving image data 722 (for example, the frame F2-60 in FIG. 10), the difference area is specified.
  • the difference area is an area indicating a difference between the second image area a2 corresponding to the second imaging area in the first frame 711 and the second image area a2 corresponding to the second imaging area in the second frame 713.
  • a difference area between the frame F1 and the frame F2-60 is a white dotted line rectangular area Da1 behind the train in the frame F2-60.
  • a difference area between the frame F3 and the frame F4-60 is a white dotted line rectangular area Da3 behind the train in the frame F4-60.
  • the combining unit 703 includes the image data of the first image area a1 immediately before in the second frame 713 (for example, the frame F2-60 in FIG. 10).
  • the first frame 711 (for example, the frame F1 in FIG. 10) is duplicated and combined to generate the third frame 730 (for example, the frame F2 in FIG. 10).
  • the combining unit 703 adds the image data (the end portion of the train) of the second image region a2 at the same position as the difference region in the first frame 711 to the difference region (Da1, Da3) specified by the specifying unit 1240. You may duplicate.
  • the difference between the first frame 711 and the third frame 730 that are temporally continuous can be made substantially zero. Accordingly, it is possible to reproduce a moving image that does not feel uncomfortable.
  • the insertion position of the frame F2-60 in the first moving image data 721 is specified by the insertion position information 920 of the additional information 835. For example, if the frame numbers of the frames F1 and F3 are # 4a and # 5a and the frame number of the frame F2-60 is # 2b, the insertion position 922 of the value # 2b of the insertion frame number 921 is (# 4a and # 5a). It becomes. Therefore, the insertion position of the frame F2-60 is specified between the frames F1 and F3.
  • FIG. 13 is a block diagram illustrating a configuration example of the compression unit 1231.
  • the compression unit 1231 compresses each frame F from the acquisition unit 1220 by hybrid coding in which motion compensated interframe prediction (MC) and discrete cosine transform (DCT) are combined with entropy coding. .
  • MC motion compensated interframe prediction
  • DCT discrete cosine transform
  • the compression unit 1231 includes a subtraction unit 1301, a DCT unit 1302, a quantization unit 1303, an entropy coding unit 1304, a code amount control unit 1305, an inverse quantization unit 1306, an inverse DCT unit 1307, and a generation unit. 1308, a frame memory 1309, a motion detection unit 1310, a motion compensation unit 1311, and a compression control unit 1312.
  • the subtraction unit 1301 to the motion compensation unit 1311 have the same configuration as that of the existing compressor.
  • the subtraction unit 1301 subtracts the prediction frame from the motion compensation unit 1311 that predicts the input frame from the input frame and outputs difference data.
  • the DCT unit 1302 performs a discrete cosine transform on the difference data from the subtraction unit 1301.
  • the quantization unit 1303 quantizes the differential data subjected to discrete cosine transform.
  • the entropy encoding unit 1304 entropy encodes the quantized difference data, and also entropy encodes the motion vector from the motion detection unit 1310.
  • the code amount control unit 1305 controls the quantization performed by the quantization unit 1303.
  • the inverse quantization unit 1306 inversely quantizes the difference data quantized by the quantization unit 1303 to obtain discrete cosine transformed difference data.
  • the inverse DCT unit 1307 performs inverse discrete cosine transform on the inversely quantized difference data.
  • the generation unit 1308 adds the difference data that has been subjected to inverse discrete cosine transform and the prediction frame from the motion compensation unit 1311 to generate a reference frame that is referenced by a frame that is input temporally after the input frame. .
  • the frame memory 1309 holds the reference frame obtained from the generation unit 1308.
  • the motion detection unit 1310 detects a motion vector using the input frame and the reference frame.
  • the motion compensation unit 1311 generates a prediction frame using the reference frame and the motion vector.
  • the motion compensation unit 1311 uses, for example, a specific reference frame and a motion vector among a plurality of reference frames held in the frame memory 1309 to output a frame output by imaging at the second frame rate. Perform motion compensation.
  • a specific reference frame By setting the reference frame as a specific reference frame, it is possible to suppress high-load motion compensation using a reference frame other than the specific reference frame. Also, by making a specific reference frame one reference frame obtained from a frame immediately before the input frame, high-load motion compensation can be avoided and motion compensation processing load can be reduced. Can be achieved.
  • the compression control unit 1312 controls the motion detection unit 1310 and the motion compensation unit 1311. Specifically, for example, the compression control unit 1312 uses a first compression control method for setting a specific motion vector indicating that there is no motion in the motion detection unit 1310 and a second compression control method for skipping motion detection itself. Execute.
  • the first compression control method will be described.
  • the compression control unit 1312 controls the motion detection unit 1310, and the first image area a1 output by imaging at the first frame rate (for example, 30 [fps]) Instead of detecting a vector, a specific motion vector indicating no motion is set and output to the motion compensation unit 1311.
  • the compression control unit 1312 controls the motion detection unit 1310 to detect a motion vector for the second image area a2 output by imaging at the second frame rate (for example, 60 [fps]), The result is output to the motion compensation unit 1311.
  • the specific motion vector is a motion vector whose direction is not defined and whose motion amount is zero. As described above, the motion vector is not detected for the first image area a1 output by imaging at the first frame rate (for example, 30 [fps]).
  • the compression control unit 1312 controls the motion compensation unit 1311 to perform motion compensation on the image data of the first image region a1 based on the specific motion vector and the reference frame.
  • the compression control unit 1312 performs motion compensation on the image data of the second image region a2 based on the motion vector detected by the motion detection unit 1310.
  • the first image area a1 output by imaging at the first frame rate (for example, 30 [fps]) may be replaced with an area filled with a specific color.
  • the compression control unit 1312 controls the motion detection unit 1310, and does not execute motion vector detection for the image data in the complementary region 712y.
  • the compression control unit 1312 controls the motion detection unit 1310 to detect a motion vector for the second image region a2 output by imaging at the second frame rate (for example, 60 [fps]). .
  • the compression control unit 1312 controls the motion compensation unit 1311 to perform motion compensation on the image data of the first image region a1 based on the reference frame. That is, since there is no motion vector, the compression control unit 1312 controls the motion compensation unit 1311 to predict a reference frame and a frame immediately after the input frame for the image data in the complementary region 712y. Decide on a prediction frame.
  • the compression control unit 1312 controls the motion compensation unit 1311 to perform motion compensation for the image data of the second image region a2 based on the reference frame and the motion vector detected by the motion detection unit 1310.
  • the first image area a1 output by imaging at the first frame rate (for example, 30 [fps]) may be replaced with the complementary area 712y.
  • the motion vector is a specific motion vector
  • motion detection in the first image region a1 and the complement region 712y is simplified. Therefore, the processing load of moving image compression is reduced.
  • the second compression control method since motion detection itself is not executed for the first image region a1 and the complement region 712y, the processing load of moving image compression is reduced compared to the first compression control method.
  • FIG. 14 is a sequence diagram illustrating an example of an operation processing procedure of the control unit 502.
  • the acquisition unit 1220 is omitted for convenience of explanation.
  • the pre-processing unit 1210 automatically operates, for example, when the user operates the operation unit 505 or when the specific subject is not detected in step S1412 (step S1412: Yes), over the entire imaging surface 200 of the image sensor 100.
  • the imaging condition is set to a first frame rate (for example, 30 [fps]) (step S1401).
  • the imaging condition of the entire imaging surface 200 is set to the first frame rate (step S1402), and the imaging device 100 captures the subject at the first frame rate and displays the input moving image data 710 in front.
  • the data is output to the processing unit 1210 (step S1403).
  • the preprocessing unit 1210 executes a setting process (step S1404).
  • the setting process sets a frame rate for each frame of the input moving image data 710. For example, an image area to which a first frame rate (for example, 30 [fps]) is added is recognized as a first image area a1, and an image area to which a second frame rate (for example, 60 [fps]) is added is Are recognized as the second image area a2.
  • the preprocessing unit 1210 outputs the input moving image data 710 to the first generation unit 701 (step S1405). Also, the pre-processing unit 1210 receives the input moving image data 710 in step S1403 when the setting process (step S1404) does not detect the image area at the second frame rate of the next input frame (step S1406: No). I wait. On the other hand, when the image area having the second frame rate of the next input frame is detected in the setting process (step S1404) (step S1406: Yes), the preprocessing unit 1210 sets the second image area a2 including the specific subject to the second. The setting is changed to 2 frame rate (for example, 60 [fps]) (step S1407).
  • 2 frame rate for example, 60 [fps]
  • the imaging condition of the second imaging area in the entire imaging surface 200 is set to the second frame rate according to the setting change content in step S1407 (step S1408).
  • the image sensor 100 captures the subject at the first frame rate in the first image area and the second frame rate in the second image area, and the input moving image data 710 is pre-processed. It outputs to 1210 (step S1409).
  • step S1410 When the input moving image data 710 is input (step S1409), the preprocessing unit 1210 executes a setting process (step S1410).
  • the setting process (step S1410) is the same process as the setting process (step S1404). Details of the setting process (step S1410) will be described later with reference to FIG.
  • the preprocessing unit 1210 outputs the input moving image data 710 to the first generation unit 701 (step S1411).
  • step S1412: Yes the preprocessing unit 1210 returns to step S1401, and changes the setting of the entire imaging surface 200 to the first frame rate (step S1401).
  • step S1412: No the process returns to step S1407, and the second image area a2 corresponding to the detection position of the specific subject is changed to the second frame rate (step S1407).
  • the pre-processing unit 1210 changes the setting to the first frame rate for the image area in which the specific subject is no longer detected.
  • the first generation unit 701 executes a complementing process (step S1413).
  • the first generation unit 701 specifies that each frame of the input moving image data 710 is only the first frame 711 with reference to the frame rate of each frame.
  • the image data 712 does not exist because the specific subject is not imaged. Therefore, the first generation unit 701 does not complement the image data 712. Details of the complement process (step S1413) will be described later with reference to FIG.
  • the first generation unit 701 outputs the input moving image data 710 to the compression unit 1231 (step S1414).
  • the first generation unit 701 executes a complementing process (step S1415).
  • the first generation unit 701 refers to the frame rate of each frame and determines that each frame of the input moving image data 710 includes the first frame 711 and the image data 712.
  • the first generation unit 701 since the specific subject is captured in the first frame 711 and the image data 712, the first generation unit 701 generates the second frame 713. Details of the complement process (step S1415) will be described later with reference to FIG.
  • the first generation unit 701 outputs the first frame 711 and the second frame 713 to the compression unit 1231 (step S1416).
  • Step S1414 When the input moving image data 710 is input (Step S1414), the compression unit 1231 and the second generation unit 1232 execute a moving image file generation process for the input moving image data 710 (Step S1417). Since the input moving image data 710 includes only the first frame 711, the compression unit 1231 performs compression encoding that does not require motion detection or motion compensation in the compression processing (step S1417). Details of the moving image file generation process (step S1417) will be described later with reference to FIGS.
  • the moving image file generation process of the first moving image data 721 and the second moving image data 722 is performed. Is executed (step S1418).
  • the first moving image data 721 includes a first frame 711
  • the second moving image data 722 includes a second frame 713.
  • the compression unit 1231 performs a compression process that does not require motion detection or motion compensation on the image data in the first image area a1. Then, the image data of the second image area a2 in which the specific subject is imaged is compressed by the hybrid encoding described above. As described above, since motion detection and motion compensation are not executed for regions other than the specific subject image, the processing load of moving image compression is reduced.
  • the compression unit 1231 performs compression processing that does not require motion detection or motion compensation on the image data in the complementary region 712y (black), and the specific subject is
  • the captured image data of the second image area a2 is compressed by the hybrid encoding described above.
  • the processing load of moving image compression is reduced. Details of the moving image file generation process (step S1418) will be described later with reference to FIGS.
  • FIG. 15 is a flowchart showing a detailed processing procedure example of the setting processing (steps S1404 and S1410) shown in FIG.
  • a first frame rate for example, 30 [fps]
  • the second frame rate for example, 60 [[fps]
  • the preprocessing unit 1210 waits for an input of a frame constituting the input moving image data 710 (step S1501). If a frame is input (step S1501: Yes), whether a specific subject such as a main subject is detected by the detection unit 1211 It is determined whether or not (step S1502). When the specific subject has not been detected (step S1502: No), the process proceeds to step S1504.
  • step S1502 when a specific subject is detected (step S1502: Yes), the preprocessing unit 1210 moves the detection unit 1211 by comparing a temporally previous frame (for example, a reference frame) with an input frame. The vector is detected, the image area of the second frame rate in the next input frame is predicted, output to the image sensor 100, and the process proceeds to step S1504 (step S1503). Thereby, the imaging device 100 sets the imaging condition of the block 202 constituting the imaging area corresponding to the predicted image area to the second frame rate, and sets the imaging condition of the remaining block 202 to the first frame rate. The subject can be imaged.
  • a temporally previous frame for example, a reference frame
  • the preprocessing unit 1210 executes frame rate setting processing for the input frame (step S1504), and returns to step S1501.
  • the frame rate setting process (step S1505) is a process for setting the above-described frame rate to the frame F, and will be described in detail with reference to FIG.
  • step S1501: No since the input of the input moving image data 710 is completed, the preprocessing unit 1210 ends the setting process (steps S1404 and S1410).
  • FIG. 16 is a flowchart showing a detailed processing procedure example of the frame rate setting process (step S1504) shown in FIG.
  • the preprocessing unit 1210 determines whether there is an unselected image area in the input frame (step S1602). When there is an unselected image area (step S1602: Yes), the preprocessing unit 1210 selects one unselected image area (step S1603) and determines whether or not the detection flag for the specific subject is ON (step S1603).
  • the detection flag is information indicating whether or not a specific subject is detected, and the default is OFF (non-detection).
  • step S1406 When the specific subject is detected in step S1406 in FIG. 14 (step S1406: Yes), the preprocessing unit 1210 changes the detection flag from OFF to ON (during detection). When the specific subject is not detected in step S1412 (step S1412: Yes), the preprocessing unit 1210 changes the detection flag from ON to OFF.
  • step S1604 If the detection flag is OFF (step S1604: No), information indicating the first frame rate for the selected image area is set in the input frame (step S1605), and the process returns to step S1602. On the other hand, when the detection flag is ON (step S1604: Yes), the preprocessing unit 1210 determines whether the selected image area is an image area where the specific subject image exists (step S1606).
  • step S1606 If the specific subject image does not exist (step S1606: No), the process returns to step S1602. On the other hand, when the specific subject image exists (step S1606: Yes), the preprocessing unit 1210 sets information indicating the second frame rate for the selected image area in the input frame (step S1607), and returns to step S1602.
  • step S1602 when there is no unselected image area (step S1602: No), the pre-processing unit 1210 ends the frame rate setting process. Thereafter, the preprocessing unit 1210 sets the frame rate to the image sensor 100 (steps S1401 and S1407).
  • the pre-processing unit 1210 specifies which frame area the imaging area of the imaging device 100 corresponding to which image area should be set to. be able to. Further, the first generation unit 701 and the compression unit 1231 can specify the frame rate of each image area of the input frame F.
  • FIG. 17 is a flowchart illustrating an example of a complementary processing procedure by the first generation unit 701.
  • the first generation unit 701 refers to the frame rate of the input frame (step S1702).
  • the first generation unit 701 ends without executing the complement processing.
  • the input frame is the image data 712, and thus the first generation unit 701 executes the complementing process to convert the input frame to the second frame.
  • Frame 713 is set (step S1704).
  • FIG. 18 is a flowchart showing a detailed processing procedure example of the moving image file generation processing (steps S1417 and S1418) shown in FIG.
  • the compression unit 1231 separately performs compression of the first moving image data 721 including the first frame 711 and compression of the second moving image data 722 including the second frame 713.
  • the compression unit 1231 performs compression encoding on the input frame (step S1802). Detailed control contents of the compression encoding will be described later with reference to FIGS.
  • the second generation unit 1232 generates metadata such as uuid 831, udta 832, mvhd 833, and trak 834 shown in FIG. 8 from the compressed and encoded data (step S1803).
  • the second generation unit 1232 may execute step S1803 before compression encoding (step S1802) for metadata that requires information before compression.
  • the second generation unit 1232 generates the imaging condition information 910 with reference to the information indicating the frame rate given to the frame F (step S1804), refers to the chunk position information (stsz847 and stco848),
  • the insertion position information is generated by specifying the insertion destination of the frame 713 (step S1805). Additional information 835 is generated in steps S1804 and S1805.
  • the second generation unit 1232 generates the moving image file 800 by combining the header unit 801 and the data unit 802 (step S1806), and stores them in the storage device 1202 (step S1807).
  • step S1802 compression encoding (step S1802) by the compression unit 1231 shown in FIG. 18 will be described separately for the first compression control method and the second compression control method.
  • FIG. 19 is a flowchart showing an example of a compression control processing procedure of the first compression control method by the compression control unit 1312.
  • the compression control unit 1312 acquires an input frame (first frame 711 or second frame 713) (step S1901), and selects an unselected image region from the acquired input frame (step S1902). Then, the compression control unit 1312 refers to the frame rate of the selected image area from the input frame (step S1903).
  • the selected image area is the first image area a1 output by imaging at the first frame rate or the second image area a2 output by imaging at the second frame rate.
  • the selected image area is output by the complementary area 712y corresponding to the first image area a1 output by the imaging at the first frame rate or the imaging at the second frame rate. This is the second image area a2.
  • the compression control unit 1312 When the frame rate of the selected image area is the second frame rate (step S1903: second FR), the compression control unit 1312 outputs the image data of the selected image area to the motion detection unit 1310 (step S1904). Accordingly, the motion detection unit 1310 detects a motion vector using the reference frame as usual for the selected image region of the second frame rate.
  • step S1903 when the frame rate of the selected image region is the first frame rate (step S1903: first FR), the compression control unit 1312 sets a skip flag in the selected image region of the first frame rate, and the motion detecting unit 1310. (Step S1905). Accordingly, the motion detection unit 1310 sets a specific motion vector indicating that there is no motion for the selected image region at the first frame rate.
  • step S1904 or S1905 the compression control unit 1312 determines whether there is an unselected image area in the acquired input frame (step S1906). If there is an unselected image area (step S1906: YES), the process returns to step S1902. On the other hand, when there is no unselected image area (step S1906: No), the compression control unit 1312 ends a series of processes.
  • FIG. 20 is a flowchart showing an example of a motion detection processing procedure of the first compression control method by the motion detection unit 1310.
  • the motion detection unit 1310 obtains a reference frame that is one time earlier than the input frame from the frame memory 1309 (step S2001), and waits for input of the selected image area output in step S1904 or S1905 in FIG. Step S2002: No).
  • step S2002 When the selected image area is input (step S2002: Yes), the motion detection unit 1310 acquires image data of the image area at the same location as the selected image area from the reference frame (step S2003). Then, the motion detection unit 1310 determines whether or not there is a skip flag in the selected image area (step S2004). When there is no skip flag (step S2004: No), the frame rate of the selected image area is the second frame rate. Therefore, the motion detection unit 1310 detects a motion vector using the image data of the selected image region and the image data of the image region of the reference frame acquired in step S2003 (step S2005).
  • step S2004 when there is a skip flag (step S2004: Yes), the motion detection unit 1310 sets a specific motion vector indicating that there is no motion (step S2006). Thereby, since the motion detection processing in the motion detection unit 1310 always uses a specific motion vector indicating that there is no motion, the processing load of motion detection is reduced for the selected image region of the first frame rate. Then, the motion detection unit 1310 outputs the motion vector obtained in step S2005 or S2006 to the motion compensation unit 1311 (step S2007), and ends the series of processes.
  • FIG. 21 is a flowchart showing an example of a motion compensation processing procedure of the first compression control method by the motion compensation unit 1311.
  • the motion compensation unit 1311 acquires a reference frame from the frame memory 1309 (step S2101).
  • the motion compensation unit 1311 acquires an image area at the same location as the selected image area from the reference frame (step S2102).
  • the motion compensation unit 1311 performs motion compensation using the motion vector for the selected image region from the motion detection unit 1310 and the image region of the reference frame acquired in step S2102 (step S2103). Accordingly, the motion compensation unit 1311 can generate predicted image data in the selected image region.
  • the motion compensation unit 1311 determines whether or not motion compensation has been completed for all the selected image regions (step S2104). Specifically, for example, when the compression control unit 1312 determines that there is an unselected image region in step S1906 (step S1906: Yes), the motion compensation unit 1311 has finished motion compensation for all the selected image regions. It is determined that there is not (Step S2104: No), and the process returns to Step S2102.
  • step S1906 determines that there is no unselected image region in step S1906 (step S1906: No).
  • the motion compensation unit 1311 determines that the motion compensation of all the selected image regions has been completed (step S2104). : Yes). Then, the motion compensation unit 1311 outputs a prediction frame obtained by combining the prediction image data for all the selected image regions to the subtraction unit 1301 and the generation unit 1308 (step S2105), and ends a series of processes.
  • FIG. 22 is a flowchart illustrating an example of a compression control processing procedure of the second compression control method by the compression control unit 1312.
  • the compression control unit 1312 acquires an input frame (step S2201), and selects an unselected image area from the acquired input frame (step S2202). Then, the compression control unit 1312 refers to the frame rate of the selected image area from the input frame (step S2203).
  • step S2203 When the frame rate of the selected image area is the second frame rate (step S2203: second FR), the compression controller 1312 outputs the selected image area to the motion detector 1310 (step S2204). Accordingly, the motion detection unit 1310 detects a motion vector using the reference frame as usual for the selected image region of the second frame rate.
  • step S2203 when the frame rate of the selected image region is the first frame rate (step S2203: first FR), the compression control unit 1312 sets a skip flag in the selected image region of the first frame rate, and the motion detection unit 1310 (Step S2205). As a result, the motion detection unit 1310 does not perform motion detection for the selected image region at the first frame rate. Then, the compression control unit 1312 issues a motion compensation stop instruction for the selected image region, and outputs it to the motion compensation unit 1311 (step S2206). Thereby, execution of motion compensation can be stopped for the selected image area.
  • step S2207 determines whether there is an unselected image area in the acquired input frame. If there is an unselected image area (step S2207: YES), the process returns to step S2202. On the other hand, when there is no unselected image area (step S2207: No), the compression control unit 1312 ends a series of processes.
  • FIG. 23 is a flowchart showing an example of a motion detection processing procedure of the second compression control method by the motion detection unit 1310.
  • the motion detection unit 1310 acquires a reference frame that is one time earlier than the input frame F from the frame memory 1309 (step S2301), and waits for input of the selected image area output in step S2204 or S2205 of FIG. (Step S2302: No).
  • step S2302 When the selected image area is input (step S2302: YES), the motion detection unit 1310 acquires the image data of the image area at the same location as the selected image area from the reference frame (step S2303). Then, the motion detection unit 1310 determines whether or not there is a skip flag in the selected image area (step S2304). When there is no skip flag (step S2304: No), the frame rate of the selected image area is the second frame rate. Therefore, the motion detection unit 1310 detects a motion vector using the image data of the selected image region and the image data of the image region of the reference frame acquired in step S2003 (step S2305).
  • the motion detection unit 1310 outputs the motion vector obtained in step S2305 to the motion compensation unit 1311 (step S2306), and ends a series of processing.
  • the motion detection unit 1310 ends the series of processes without performing motion detection.
  • FIG. 24 is a flowchart showing an example of a motion compensation processing procedure of the second compression control method by the motion compensation unit 1311.
  • the motion compensation unit 1311 acquires a reference frame from the frame memory 1309 (step S2401).
  • the motion compensation unit 1311 acquires an image area at the same location as the selected image area from the reference frame (step S2402).
  • the motion compensation unit 1311 determines whether the motion compensation trigger input for the selected image region is a motion vector or a motion compensation stop instruction (step S2403).
  • the trigger input is a motion vector (step S2403: motion vector)
  • the motion compensation unit 1311 calculates the motion vector for the selected image region from the motion detection unit 1310 and the image region of the reference frame acquired in step S2402. And motion compensation is executed (step S2404). Accordingly, the motion compensation unit 1311 can generate predicted image data in the selected image region.
  • step S2403 motion compensation stop instruction
  • the motion compensation unit 1311 determines the image data of the acquired image area as image data (predicted image data) of the predicted image area ( Step S2405).
  • step S2404 or S2405 the motion compensation unit 1311 determines whether or not motion compensation has been completed for all selected image regions (step S2406). Specifically, for example, when the compression control unit 1312 determines in step S2207 that there is an unselected image region (step S2007: Yes), the motion compensation unit 1311 has finished motion compensation for all the selected image regions. It is determined that there is not (step S2406: No), and the process returns to step S2402.
  • step S2207 determines that there is no unselected image region in step S2207 (step S2207: No).
  • the motion compensation unit 1311 determines that the motion compensation of all the selected image regions has been completed (step S2406). : Yes). Then, the motion compensation unit 1311 outputs the prediction frame obtained by combining the prediction image data for all the selected image regions to the subtraction unit 1301 and the generation unit 1308 (Step S2407), and ends the series of processes.
  • FIG. 25 is a flowchart illustrating an example of a processing procedure from decompression to reproduction.
  • the selection unit 1233 waits for selection of a reproduction instruction from the operation unit 505 (step S2501: No), and when the reproduction instruction is selected (step S2501: Yes), the selection unit 1233 selects the reproduction target moving image file 800. It is determined whether or not the frame rate can be selected (step S2502). When the selection is not possible (step S2502: No), the moving image file 800 is a moving image file 800 obtained by compressing a frame group of only the first frame rate (30 [fps]). In this case, the decompressing unit 1234 decompresses the moving image file 800 (step S2504), and proceeds to step S2508.
  • step S2502 determines whether or not the selected frame rate is the first frame rate (30 [fps]) (step S2503).
  • the first frame rate (30 [fps]) is selected (step S2503: Yes)
  • the moving image file 800 to be reproduced is a moving image file 800 obtained by compressing the first moving image data 721. Therefore, the decompressing unit 1234 decompresses the moving image file 800 (step S2504), and proceeds to step S2508.
  • the moving image file 800 to be reproduced is a moving image file 800 obtained by compressing the first moving image data 721 and the second moving image data 722. It is. Therefore, the decompressing unit 1234 decompresses the moving image file 800 and outputs the first moving image data 721 and the second moving image data 722 (step S2505).
  • the specifying unit 1240 specifies the difference area with reference to the first moving image data 721 and the second moving image data 722 expanded in step S2505 (step S2506).
  • the synthesizing unit 703 executes a synthesizing process of the first moving image data 721 and the second moving image data 722 (step S2507). Details of the synthesis process (step S2507) will be described later with reference to FIG.
  • the reproduction unit 704 reproduces the moving image data obtained in the synthesis process (step S2507) or step S2504 on the liquid crystal monitor (step S2508).
  • FIG. 26 is a flowchart illustrating a detailed processing procedure example of the synthesizing process (step S2507) illustrated in FIG.
  • the combining unit 703 sets the output order of the frame F according to the insertion position information 920 (step S2601).
  • the synthesis unit 703 determines whether there is a remaining frame that has not been output to the playback unit 704 (step S2602).
  • the synthesis unit 703 acquires frames in the output order (step S2603).
  • the synthesizing unit 703 refers to, for example, the frame type identification information written in the uuid 831, and determines whether or not the acquired frame is the second frame 713 (step S2604). If it is not the second frame 713 (step S2604: No), since the acquired frame is the first frame 711, the synthesizing unit 703 outputs the acquired frame to the reproduction unit 704 as a reproduction target and writes it in the buffer (step S2605). Then, the process returns to step S2602.
  • step S2604 if the acquired frame is the second frame 713 in step S2604 (step S2604: Yes), the combining unit 703 combines the frame in the buffer and the acquired frame to generate a third frame 730, The reproduction target is output to the reproduction unit 704 (step S2606). Then, the process returns to step S2602. In step S2602, if there is no remaining frame (step S2602: No), the synthesis unit 703 ends the synthesis process (step S2507).
  • the synthesis unit 703 uses the second frame 713 and the first frame 711 that is temporally previous to use the first image region a1 and the second image region a1. It can be combined with the third frame 730 including the image area a2. Therefore, the difference in frame rate within one frame can be absorbed.
  • the moving image compression apparatus generates a plurality of first frames based on the data output from the first imaging area, and the plurality of first frames based on the data output from the second imaging area. Two frames are generated, the plurality of first frames 711 are compressed, and the plurality of second frames 713 are compressed. Accordingly, when compressing moving image data having a different frame rate for each image region, the moving image data can be compressed separately.
  • the moving picture compression apparatus performs the first frame 711 based on the data output from the first imaging area and the data output from the second imaging area. Is generated. Thereby, a frame without a defect can be generated by outputs from a plurality of imaging regions.
  • the moving image compression apparatus performs the second frame based on the data output from the second imaging region and the data not based on the output from the imaging device 100. 713 is generated. Thereby, the data that is not based on the output from the image sensor 100 is not data from the first imaging area but data obtained by image processing for the missing area 712x, for example. Therefore, the second frame 713 can be compressed in the same manner as the first frame 711.
  • the moving image compression apparatus generates the second frame 713 based on the data output from the second imaging area and the predetermined data.
  • the predetermined data is, for example, data obtained by image processing for the missing area 712x. Therefore, the second frame 713 can be compressed in the same manner as the first frame 711.
  • the moving image compression apparatus performs an area in which no data is output from the first imaging area (missing area 712x) with respect to the data output from the second imaging area. To generate the second frame 713. As a result, the second frame 713 can be compressed in the same manner as the first frame 711 to compensate for the missing region 712x.
  • the moving image compression apparatus supplements the data output from the second imaging area with a specific color in the area where no data is output from the first imaging area. As a result, the second frame 713 is generated. Thereby, the compression efficiency can be improved.
  • the moving picture compression apparatus is generated based on the data output from the second imaging area in the second frame.
  • a motion vector is detected for the image data of the region.
  • the moving image compression apparatus does not detect a motion vector for image data in a region other than the region generated based on the data output from the second imaging region. . Thereby, for example, by not performing motion detection on the image data of the first image area a1 and the complement area 712y, it is possible to reduce the load of the compression process.
  • the moving picture compression apparatus performs motion compensation based on the motion vector detection result. Thereby, the load of compression processing can be reduced.
  • the first moving image data 721 including the first frame 711 and the second moving image data 722 including the second frame 713 after complementing can be separately compressed. That is, the input moving image data 710 in which different frame rates are mixed can be divided and compressed at the frame rate imaging timing.
  • the first moving image data 721 or both the first moving image data 721 and the second moving image data 722 as an object to be expanded or reproduced. For example, when it is desired to reproduce at 30 [fps], which is the imaging timing of the first frame 711, only the first moving image data 721 needs to be expanded and reproduced.
  • both the first moving image data 721 and the second moving image data 722 may be expanded and combined. As a result, the reproducibility of the subject moving image is improved as necessary, and it can be reproduced as a more realistic image.
  • the generation apparatus compresses the plurality of first frames 711 generated based on the data output from the first imaging area in which the first frame rate (for example, 30 [fps]) is set.
  • a plurality of second frames generated based on the first compressed data and data output from the second imaging area in which a second frame rate (for example, 60 [fps]) faster than the first frame rate is set.
  • the compressed moving image data of the first frame 711 and the second frame 713 having different imaging timings can be compressed into a single moving image file 800 by compressing them with a common compression method.
  • the first frame 711 is generated based on the data output from the first imaging area and the data output from the second imaging area. It may be a frame that has been made.
  • the compressed data of the first frame 711 captured at the imaging timing of the first frame rate and the compressed data of the second frame 713 captured at the imaging timing of the second frame rate are compressed by the common compression method. By doing so, it is possible to combine them into one moving image file 800.
  • the second frame 713 is based on the data output from the second imaging region and the data not based on the output from the imaging device 100. It may be a generated frame.
  • the data output from the second imaging area is handled as the second frame 713, so that the first frame 711 can be compressed by a common compression method.
  • the data not based on the output from the image sensor 100 may be predetermined data.
  • the second frame 713 can be configured by data irrelevant to the output from the image sensor 100 and can be compressed by a compression method common to the first frame 711.
  • the second frame 713 includes a missing area in which data is not output from the first imaging area with respect to data output from the second imaging area. It may be a frame generated by complementing 712x. As a result, the second frame 713 is set to the complementary region 712y by complementing the missing region 712x that has not been output at the imaging timing of the second frame rate, and is compressed by the same compression method as the first frame 711. be able to.
  • the generating unit sets the first compressed data and the second compressed data in the data unit 802, and the first position information and the second position information are set in the header.
  • a moving image file 800 including a data part 802 and a header part 801 is generated.
  • the compressed data of the data part 802 can be read with reference to the header part 801.
  • the generating unit adds the first frame rate information (“30 [fps]” of 911) indicating the first frame rate to the header unit 801.
  • the second position information is set in association with the first position information (Pa of 912), the second frame rate information indicating the second frame rate (“60 [fps]” of 911), the first position information (Pa of 912) and the second position information.
  • the moving image file 800 including the header portion 801 and the data portion 802 is generated by setting in association with the two position information (Pb of 912).
  • the compressed data of the first moving image data 721 specified by the first position information associated with the first frame rate information is read, or the first position information specified by the first position information associated with the first frame rate information.
  • the first compressed moving image data obtained by compressing the first moving image data 721 and the second compressed moving image data obtained by compressing the second moving image data 722 specified by the second position information associated with the second frame rate information are read out. it can.
  • the first frame rate when the first frame rate is selected, the first compressed moving image data obtained by reliably compressing the first moving image data 721 from the moving image file 800 can be called. Further, when the second frame rate is selected, the second compressed moving image data obtained by reliably compressing the second moving image data 722 from the moving image file 800 can be called. Furthermore, when the first frame rate is selected, it is possible to suppress the omission of the first compressed moving image data from the moving image file 800.
  • the second generating unit 1232 includes information indicating the insertion destination in the first frame 711 in which the second frame 713 is inserted into the header unit 801 ( By setting the insertion position information 920), the moving image file 800 including the header portion 801 and the data portion 802 is generated.
  • the composition of the first moving image data 721 and the second moving image data 722 can be improved in accuracy, the reproducibility of the subject moving image can be improved, and it can be reproduced as a more realistic image.
  • the generating unit In the generating device of (2-3), the generating unit generates a moving image file 800 for each of the first moving image data 721 and the second moving image data 722, and associates both moving image files 800 with each other. Also good. Thereby, the moving image file 800 of the first moving image data 721 can be distributed alone. If it is desired to play back at the second frame rate, the moving image file 800 of the second moving image data 722 may be acquired separately.
  • first moving image data 721 and the second moving image data 722 as separate moving image files 800
  • distribution for example, downloading
  • a user terminal that is not charged for the moving image distribution service can download only the moving image file 800 of the first moving image data 721, and the charged user terminal can download both moving image files 800.
  • the playback device compresses a plurality of first frames 711 generated based on the data output from the first imaging area in which the first frame rate is set, and the first compressed data A moving image file including a second compressed data obtained by compressing a plurality of second frames 713 generated based on data output from a second imaging area set with a second frame rate faster than one frame rate.
  • an expansion unit 1234 that expands at least the first compressed data of the first compressed data and the second compressed data, and a reproduction unit 704 that reproduces a plurality of frames expanded by the expansion unit 1234 are provided.
  • first moving image data 721 and the first moving image data 721 are reproduction targets. For example, if playback is desired at 30 [fps], which is the imaging timing of the first frame 711, only a plurality of first frames 711 need be played back.
  • the first frame 711 is generated based on the data output from the first imaging area and the data output from the second imaging area. It may be a frame that has been made.
  • the compressed data of the first frame 711 captured at the imaging timing of the first frame rate and the compressed data of the second frame 713 captured at the imaging timing of the second frame rate are compressed by the common compression method. Since the moving image file 800 is generated, it is possible to select the reproduction target such as the first moving image data 721 and both the first moving image data 721 and the second moving image data 722 by expanding the moving image file 800. .
  • the second frame 713 is based on the data output from the second imaging area and the data not based on the output from the imaging device 100. It may be a generated frame.
  • the moving image file 800 can be expanded to reproduce the moving image at either the first frame rate or the second frame rate.
  • the data not based on the output from the image sensor 100 may be predetermined data.
  • the moving image file 800 is generated by compressing the second frame 713 and the first frame 711 configured using data irrelevant to the output from the image sensor 100 with a common compression method. By expanding the file 800, when reproducing at the second frame rate, both the first moving image data 721 and the second moving image data 722 can be combined and reproduced.
  • the second frame 713 is a missing area in which no data is output from the first imaging area with respect to the data output from the second imaging area. It may be a frame generated by complementing 712x. Thereby, when reproducing
  • the playback device of (3-1) includes a selection unit 1233 that selects a frame rate to be played back, and the decompression unit 1234 is based on the frame rate selected by the selection unit 1233.
  • the first compressed data and the second compressed data are expanded. Thereby, it is possible to reproduce a reproduction target such as both the first moving image data 721 and the second moving image data 722 by selecting a frame rate to be reproduced.
  • the first compressed moving image data and both the first compressed moving image data and the second compressed moving image data as the expansion target. For example, when it is desired to reproduce at 30 [fps], which is the imaging timing of the first frame 711, only the first compressed moving image data is expanded and the first moving image data 721 is reproduced.
  • both the first moving image data 721 and the second moving image are expanded by expanding both the first compressed moving image data and the second compressed moving image data.
  • Data 722 may be reproduced.
  • the reproducibility of the subject moving image is improved as necessary, and it can be reproduced as a more realistic image.
  • Example 2 will be described.
  • Example 1 since complementary image portions Da1, Da3,... Exist in the frames F2, F4,... Shown in FIG.
  • the synthesis unit 703 generates frames F2, F4,... With less discomfort without executing such image processing.
  • the same reference numerals are used for the common parts with the first embodiment, and the description thereof is omitted.
  • FIG. 27 is an explanatory diagram showing a specific processing flow of the synthesis example shown in FIG.
  • the image sensor 100 outputs the frames F1, F2-60, F3,.
  • the train travels from right to left in the frames F1, F2-60, and F3.
  • the branch numbers of the frames F1 to F3 indicate the frame rates of the frames F1 to F3.
  • an odd-numbered frame F1-30 indicates the image data of the first image region r1-30 output by imaging at a frame rate of 30 [fps] in the frame F1
  • the frame F1-60 is the frame F1.
  • image data of the second image region r1-60 output by imaging at a frame rate of 60 [fps] is shown.
  • the second image area r1-60 output by imaging at a frame rate of 60 [fps] in the frame F1-60 has train image data, but the frame F1-30 does not have the second image area r1-60.
  • Such an area in the frame F1-30 is referred to as a non-image area n1-60.
  • the first image region r1-30 output by imaging at a frame rate of 30 [fps] of the frame F1-30 also includes landscape image data in the frame F1-60. Not in image area r1-60.
  • Such an area in the frame F1-60 is referred to as a non-image area n1-30.
  • the frame F3-30 includes a first image region r3-30 to which landscape image data is output and a non-image region n3-60 to which nothing is output.
  • Reference numeral 60 includes a second image region r3-60 where train image data is output and a non-image region n3-60 where nothing is output. The same applies to the odd-numbered frames (not shown) after the frames F3-30 and F3-60.
  • the even-numbered frame F2-60 is filled with the image data (train) of the second image area r2-60 output by imaging at a frame rate of 60 [fps] and a specific color (for example, black).
  • the second frame 713 is composed of a complementary region 712y. The same applies to even-numbered frames (not shown) thereafter.
  • the combining unit 703 combines the image data (train) of the second image area r2-60 of the frame F2-60 and the image data (landscape) of the first image area r1-30 of the frame F1-30.
  • a frame F2 which is composite image data, is generated.
  • the frame F2 overlaps the non-image region n1-60 of the frame F1-30 and the complement region 712y of the frame F2-60 supplemented from the non-image region n2-30. It has a complementary image portion Da1.
  • the combining unit 703 fills the complementary image portion Da1 with a specific color or executes a demosaic process.
  • the combining unit 703 does not perform such image processing.
  • the image data of the complementary image portion Da1 in the other image area is duplicated.
  • the synthesis unit 703 generates a frame F ⁇ b> 2 with less discomfort.
  • description will be given focusing on the complementary image portion Da1.
  • FIG. 28 is an explanatory diagram of a synthesis example 1 of a 60 [fps] frame F2 according to the second embodiment.
  • Synthesis Example 1 as another image region to be copied to the complementary image portion Da1, the complementary image portion Da1 in the first image region r3-30 of the frame F3 that is temporally one after the frame F2-60 This is an example using the complementary image portion Db1 at the same position.
  • the image data of the complementary image portion Db1 is a part of the landscape.
  • the synthesizing unit 703 selects a complementary image portion Da1 in which the non-image area n1-60 of the frame F1-30 and the complementary area 712y of the frame F2-60 complemented from the non-image area n2-30 overlap.
  • the complementary image portion Db1 that is identified and located at the same position as the identified complementary image portion Da1 is identified from the frame F3.
  • the synthesizing unit 703 copies the image data of the complementary image portion Db1 to the complementary image portion Da1 in the frame F2.
  • the synthesis unit 703 can generate the frame F2 with less discomfort.
  • FIG. 29 is an explanatory diagram of a synthesis example 2 of the 60 [fps] frame F2 according to the second embodiment.
  • the image data of the first image region r1-30 of the frame F1-30 is used as a copy source to the first image region of the frame F2, and the image data of the complementary image portion Db1 of the frame F3 is transferred to the complementary image portion Da1.
  • the image data of the first image region r3-30 of the frame F3-30 is used as the copy source of the frame F2 to the first image region, and the complementary image portion Db2 of the frame F1 is used. Is the copy source to the complementary image portion Da2.
  • the complementary image portion Da2 is a range where the non-image area n3-60 of the frame F3-30 and the complementary area 712y of the frame F2-60 complemented from the non-image area n2-30 overlap.
  • the complementary image portion Db2 of the frame F1 is in the same position range as the complementary image portion Da2.
  • the synthesizing unit 703 selects a complementary image portion Da2 in which the non-image area n3-60 of the frame F3-30 and the complementary area 712y of the frame F2-60 complemented from the non-image area n2-30 overlap.
  • the complementary image portion Db2 that is identified and located at the same position as the identified complementary image portion Da2 is identified from the frame F1.
  • the synthesis unit 703 copies the image data of the complementary image portion Db2 to the complementary image portion Da2 in the frame F2.
  • the synthesis unit 703 can generate the frame F2 with less discomfort.
  • Synthesis Example 3 is an example in which either one of Synthesis Example 1 or Synthesis Example 2 is selected and synthesized.
  • the synthesis unit 703 specifies the complementary image portion Da1 in the synthesis example 1 and the complementary image portion Da2 in the synthesis example 2.
  • the synthesizing unit 703 selects one of the complementary image portions Da1 and Da2 and applies a synthesis example in which the selected range is specified.
  • the synthesis unit 703 applies synthesis example 1 when the complementary image portion Da1 is selected, and applies synthesis example 2 when the complementary image portion Da2 is selected.
  • the synthesizing unit 703 uses, for example, the narrowness of the range as a selection criterion as a selection criterion for selecting one of the complementary image portions Da1 and Da2.
  • the narrowness of the range as a selection criterion
  • the synthesis example 1 is applied. By selecting the narrower range, the uncomfortable feeling due to duplication can be kept to a minimum.
  • FIG. 30 is an explanatory diagram of a synthesis example 4 of the 60 [fps] frame F2 according to the second embodiment.
  • the replication source of the complementary image portion Da1 in the synthesis example 1 is not the image data (part of the landscape) of the complementary image portion Db1 in the first image region r3-30 of the frame F3 but the first frame F1. It is assumed that the image data (the end of the train) of the complementary image portion Db3 in the two-image region r1-60.
  • the image data (train) in the second image region r2-60 is added to the image data of the complementary image portion Db3 in the frame F2, but the image data (train) in the second image region r2-60. Therefore, when the user views the video, the image data (train) in the second image area r2-60 is illusioned as an afterimage of the traveling train. Therefore, also in this case, frames F2, F4,... With less discomfort can be generated.
  • the second frame 713 is output by capturing only the second frame rate (for example, 60 [[fps]) to be synthesized, and the defective area 712x is filled with a specific color (black). It is a frame.
  • the frame F2-60 in FIGS. 27 to 30 is the second frame 713.
  • the first frame 711 is one time earlier than the second frame 713 and has at least the first frame rate out of the first frame rate (for example, 30 [[fps]) and the second frame rate. It is a frame including an image area output by imaging.
  • the frame F1 in FIGS. 27 to 30 is the first frame 711.
  • the third frame 730 is a frame synthesized from the second frame 713 and the first frame 711 or the third frame 730.
  • the frame F2 in FIGS. 27 to 30 is the third frame 730.
  • the fourth frame is a frame that includes an image region that is one temporally later than the second frame 713 and that is output by imaging at least the first frame rate out of the first frame rate and the second frame rate. It is.
  • the frame F3 in FIGS. 27 to 30 is the fourth frame.
  • FIG. 31 is a flowchart illustrating a synthesis processing procedure example 1 according to the synthesis example 1 of the frame F2 by the synthesis unit 703. The same steps as those in FIG. 26 are denoted by the same step numbers, and the description thereof is omitted.
  • step S2604 when the acquired frame is the second frame 713 (step S2604: Yes), the specifying unit 1240 specifies a range that is the non-image area of the first frame 711 and the complement area 712y of the second frame 713. (Step S3101). Specifically, for example, as illustrated in FIG. 28, the specifying unit 1240 performs the non-image area n1-60 of the frame F1-30 and the complement area 712y of the frame F2-60 complemented from the non-image area n2-30. The complementary image part Da1 where and overlap is specified.
  • the composition unit 703 duplicates the image data of the first image area a1 of the first frame 711 (step S3102). Specifically, for example, as illustrated in FIG. 28, the combining unit 703 duplicates the image data (landscape) of the first image region r1-30 of the frame F1.
  • the synthesis unit 703 duplicates the image data in the range specified in step S3101 from the fourth frame (step S3103). Specifically, for example, as illustrated in FIG. 28, the combining unit 703 copies the image data of the complementary image portion Da1 and the complementary image portion Db1 specified in step S3101 from the frame F3.
  • the synthesis unit 703 generates a third frame 730 by synthesis (step S3104). Specifically, for example, as shown in FIG. 28, the combining unit 703, the second image area r2-60 of the frame F2-60, and the image data (landscape) of the copied first image area r1-30 The frame F2-60 is updated to the frame F2 (third frame 730) by combining the image data of the copied complementary image portion Db1.
  • step S2602 If there is no remaining frame in the buffer (step S2602: NO), the synthesizing unit 703 ends the synthesizing process (step S2507). As a result, the synthesis unit 703 can generate the frame F2 with less discomfort as shown in FIG.
  • FIG. 32 is a flowchart illustrating a synthesis processing procedure example 2 according to the synthesis example 2 of the frame F2 by the synthesis unit 703. The same steps as those in FIG. 26 are denoted by the same step numbers, and the description thereof is omitted.
  • step S2604 when the acquired frame is the second frame 713 (step S2604: Yes), the specifying unit 1240 specifies a range that is a non-image area of the fourth frame and is a complementary area 712y of the second frame 713 (Ste S3201). Specifically, for example, as illustrated in FIG. 29, the specifying unit 1240 performs the non-image region n3-60 of the frame F3-30 and the complement region 712y of the frame F2-60 supplemented from the non-image region n2-30. A complementary image portion Da2 where and are overlapped is specified.
  • the synthesizing unit 703 duplicates the image data of the first image area a1 of the fourth frame (step S3202). Specifically, for example, as illustrated in FIG. 29, the synthesis unit 703 duplicates the image data (landscape) of the first image region r3-30 of the frame F3.
  • the synthesis unit 703 duplicates the image data in the range specified in step S3201 from the first frame 711 (step S3203). Specifically, for example, as illustrated in FIG. 29, the combining unit 703 copies the image data of the complementary image portion Da2 and the complementary image portion Db2 identified in step S3201 from the frame F1.
  • the synthesis unit 703 generates a third frame 730 by synthesis (step S3204). Specifically, for example, as shown in FIG. 29, the combining unit 703, the second image area r2-60 of the frame F2-60, and the image data (landscape) of the copied first image area r3-30 The frame F2-60 is updated to the frame F2 (third frame 730) by combining the image data of the copied complementary image portion Db2.
  • step S2602 If there is no remaining frame in the buffer (step S2602: NO), the synthesizing unit 703 ends the synthesizing process (step S2507). As a result, the synthesis unit 703 can generate the frame F2 with less discomfort as shown in FIG.
  • FIG. 33 is a flowchart illustrating a synthesis processing procedure example 3 according to the synthesis example 3 of the frame F2 by the synthesis unit 703. The same steps as those in FIG. 26 are denoted by the same step numbers, and the description thereof is omitted.
  • step S2604 when the acquisition frame is the second frame 713 (step S2604: Yes), the specifying unit 1240 selects a first range that is a non-image area of the first frame 711 and a complementary area 712y of the second frame 713. Specify (step S3301). Specifically, for example, as illustrated in FIG. 28, the specifying unit 1240 performs the non-image area n1-60 of the frame F1-30 and the complement area 712y of the frame F2-60 complemented from the non-image area n2-30. The complementary image part Da1 where and overlap is specified.
  • the identifying unit 1240 identifies the second range that is the non-image area of the fourth frame and the complement area 712y of the second frame 713 (step S3302). Specifically, for example, as illustrated in FIG. 29, the specifying unit 1240 performs the non-image region n3-60 of the frame F3-30 and the complement region 712y of the frame F2-60 supplemented from the non-image region n2-30. A complementary image portion Da2 where and are overlapped is specified.
  • the synthesizing unit 703 selects one of the identified first range and second range (step S3303). Specifically, for example, the combining unit 703 selects a narrower range (a smaller area) of the first range and the second range. The selected range is called a selection range. In the case of the complementary image portions Da1 and Da2, the synthesis unit 703 selects the complementary image portion Da1. Thereby, the range used for a synthesis
  • the composition unit 703 duplicates the image data of the first image area a1 of the selected frame (step S3304).
  • the selected frame is a frame from which the selection range is specified. For example, when the first range (complementary image portion Da1) is selected, the selected frame is the first frame 711 (frame F1). When two ranges (complementary image portion Da2) are selected, the selected frame is the fourth frame (frame F3).
  • the image data of the first image area a1 of the selected frame is the image data (landscape) of the first image area r1-30 of the frame F1 if the selected frame is the frame F1, and the selected frame is the frame F3. If there is, it is the image data (landscape) of the first image region r3-30 of the frame F3.
  • the synthesis unit 703 duplicates the image data in the selection range in step S3303 from the non-selected frame (step S3305).
  • the non-selected frame is a frame that is the identification source of the range that has not been selected.
  • the composition unit 703 duplicates the image data of the complementary image portion Db1 at the same position as the complementary image portion Da1 from the frame F3 if the selection range is the complementary image portion Da1, and if the selection range is the complementary image portion Da2.
  • the image data of the complementary image portion Db2 at the same position as the complementary image portion Da2 is duplicated from the frame F1.
  • the synthesis unit 703 generates a third frame 730 by synthesis (step S3306). Specifically, for example, when the selection range is the first range (complementary image portion Da1), the synthesizing unit 703 combines the second image region r2-60 of the frame F2-60 and the duplicated first image region r1- The frame F2-60 is updated to the frame F2 (third frame 730) by synthesizing the 30 image data (landscape) and the image data of the copied complementary image portion Db1.
  • the synthesizing unit 703 selects the second image area r2-60 of the frame F2-60 and the image data (the copied first image area r3-30).
  • the frame F2-60 is updated to the frame F2 (third frame 730) by synthesizing the landscape) and the image data of the copied complementary image portion Db2.
  • step S2507 the synthesizing unit 703 ends the synthesizing process.
  • the synthesis unit 703 can minimize the uncomfortable feeling due to duplication by selecting the narrower range.
  • FIG. 34 is a flowchart illustrating a synthesis processing procedure example 4 according to the synthesis example 4 of the frame F2 by the synthesis unit 703. The same steps as those in FIG. 26 are denoted by the same step numbers, and the description thereof is omitted.
  • step S2604 when the acquired frame is the second frame 713 (step S2604: Yes), the specifying unit 1240 specifies a range that is the non-image area of the first frame 711 and the complement area 712y of the second frame 713. (Step S3401). Specifically, for example, as illustrated in FIG. 30, the synthesis unit 703 performs the non-image region n1-60 of the frame F1-30 and the complement region 712y of the frame F2-60 complemented from the non-image region n2-30. The complementary image part Da1 where and overlap is specified.
  • the composition unit 703 duplicates the image data of the first image area a1 of the first frame 711 (step S3402). Specifically, for example, the synthesis unit 703 duplicates the image data (landscape) of the first image region r1-30 of the frame F1.
  • the synthesis unit 703 duplicates the image data in the range specified in step S3401 from the first frame 711 (step S3403). Specifically, for example, the synthesis unit 703 duplicates the image data of the complementary image portion Da1 and the complementary image portion Db3 specified in step S3401 from the frame F1.
  • the synthesis unit 703 generates a third frame 730 by synthesis (step S3404).
  • the combining unit 703 includes the second image area r2-60 of the frame F2-60, the image data (landscape) of the copied first image area r1-30, and the copied complementary image portion Db3.
  • the frame F2-60 is updated to the frame F2 (third frame 730).
  • step S2602 If there is no remaining frame in the buffer (step S2602: NO), the synthesizing unit 703 ends the synthesizing process (step S2507). Thereby, the composition unit 703 can generate the frame F2 with less discomfort as shown in FIG.
  • the playback device (3-6) shown in the first embodiment includes the synthesis unit 703.
  • the synthesizing unit 703 acquires the first moving image data 721 and the second moving image data 722 from the storage device 1202, and more temporally than the first frame 711 and the first frame 711.
  • the second frame 713 obtained later is synthesized, and the second frame 713 is combined with the image data of the first image area a1 in the first frame 711 and the image data of the second image area a2 in the second frame 713.
  • a combined third frame 730 is generated.
  • the synthesizing unit 703 uses the image data of the second image area a2 in the second frame 713 and the image of the first image area a1 in the first frame 711. For the area overlapping with the data, the third frame 730 is generated by applying the image data of the second image area a2 in the second frame 713.
  • composition unit 703 is second frame 713.
  • the top part of the train of frame F2 is applied with priority. Therefore, it is possible to obtain an image with less sense of discomfort (the frame F2 which is the third frame 730), and the reproducibility of the subject moving image is improved, so that it can be reproduced as a more realistic image.
  • the combining unit 703 does not belong to either the second image area a2 in the second frame 713 or the first image area a1 in the first frame 711.
  • the third frame 730 is generated by applying the image data of the second image region a2 in the first frame 711.
  • an image area between the end portion of the train of the second frame of the frame F2-60 which is the second frame 713 and the background area of the frame F1 of the first frame 711 is the first frame 711.
  • the image data (second train end) of the second image area a2 in a certain frame F1 is preferentially applied. Therefore, it is possible to obtain an image with less sense of discomfort (the frame F2 which is the third frame 730), and the reproducibility of the subject moving image is improved, so that it can be reproduced as a more realistic image.
  • the specifying unit 1240 corresponds to the second imaging region in the first frame 711 based on the first frame 711 and the second frame 713.
  • the complementary image portion Da1 that is the non-image region n1-60 to be performed and is the complementary region 712y in the second frame 713 is specified.
  • the synthesizing unit 703 includes the image data of the second image area a2 in the second frame 713, the image data of the first image area a1 (r1-30) corresponding to the first imaging area in the first frame 711, and the first frame.
  • the specific image of the complementary image portion Da1 specified by the specifying unit 1240 in the image data other than the image data of the first image area a1 (r1-30) in 711 and the image data of the second image area a2 in the second frame 713 And image data.
  • the non-image area n2-30 that is not output by the imaging of the image data 712 can be supplemented by a frame temporally close to the image data 712. Therefore, it is possible to obtain a composite frame that is less uncomfortable than the image data 712.
  • the first frame 711 is a frame (for example, the frame F1) generated before the second frame 713 in time.
  • the image data is a range in the first image area a1 (r3-30) of a frame (for example, frame F3) generated by output from the first imaging area and the second imaging area after the second frame 713 in time.
  • the image data may be (Da1) image data (that is, image data of the complementary image portion Db1).
  • the non-image region n2-30 that is not output by the imaging of the second frame 713 is compensated by the first frame 711 immediately before the second frame 713 and the fourth frame after it. Can do. Therefore, it is possible to obtain a composite frame (third frame 730) with a little discomfort.
  • the first frame 711 is a frame (for example, the frame F3) generated after the second frame 713, and the specific image data is the second frame 713.
  • An image of the range (Da2) in the first image area a1 (r1-30) of the frame (for example, the frame F1) generated by the output from the first imaging area and the second imaging area before the frame 713 Data (that is, image data of the complementary image portion Db2) may be used.
  • the non-image region n2-30 which is the complement region 712y of the second frame 713, can be supplemented by the first frame 711 immediately before the second frame 713 and the fourth frame after the second frame 713. it can. Therefore, it is possible to obtain a composite frame (third frame 730) with a little discomfort.
  • the specifying unit 1240 specifies the range used by the combining unit 703 based on the first range (Da1) and the second range (Da2).
  • the combining unit 703 also includes the second frame 713 and one frame (F1 / F3) that is the identification source of one range (Da1 / Da2) identified by the identifying unit 1240 among the first frame 711 and the fourth frame.
  • the synthesizing unit 703 can minimize a sense of incongruity due to duplication by selecting a narrower range.
  • the first frame 711 is a frame generated before the second frame 713 in time, and the specific image data is the second frame of the first frame 711.
  • Image data in the range (Da1) in the image region a2 that is, image data of the complementary image portion Db3) may be used.
  • the non-image region n2-30 which is the complement region 712y of the second frame 713 can be supplemented by the first frame 711 which is temporally one previous to the second frame 713. Therefore, it is possible to obtain a composite frame (third frame 730) with a little discomfort.
  • Example 3 will be described.
  • the synthesis unit 703 paints a specific color or executes a demosaic process.
  • the synthesizing unit 703 generates frames F2, F4,... With less discomfort without performing such image processing.
  • FIG. 35 is an explanatory diagram of a synthesis example of a frame [2] of 60 [[fps] according to the third embodiment.
  • the preprocessing unit 1210 Before imaging the frame F2-60, the preprocessing unit 1210 detects a specific subject such as a train from the frame F1 and the like before the frame F2-60, and detects a motion vector of the specific subject in the immediately preceding frame F1. .
  • the preprocessing unit 1210 can obtain a 60 [fps] image region R12-60 in the next frame F2-60 based on the image region and motion vector of the specific subject in the frame F1.
  • the synthesis unit 703 duplicates the image data (landscape) of the first image region r1-30 of the previous frame F1, and the first The frame F2 can be obtained by synthesizing the image data (landscape) in the image region r1-30 and the image data (part of the train and landscape) in the image region R12-60.
  • FIG. 36 is an explanatory diagram showing the correspondence between the setting of the imaging area and the image area of the frame F2-60.
  • (A) shows an example of motion vector detection
  • (B) shows the correspondence between the setting of the imaging region and the image region of the frame F2-60.
  • the imaging region p1-60 is an imaging region of a specific subject that has already been detected after the generation of the frame F0-60 immediately before the frame F1 and before the generation of the frame F1. Therefore, in the frame F1, the image data o1 of the specific subject (train) exists in the second image region r1-60 corresponding to the imaging region p1-60.
  • the pre-processing unit 1210 detects the motion vector mv of the specific subject from the image data o1 of the specific subject in the frame F0 and the image data o1 of the specific subject in the frame F1 by the detection unit 1211. Then, the preprocessing unit 1210 detects the second image region r2-60 in which the specific subject is projected in the next frame F2-60 based on the second image region r1-60 of the specific subject in the frame F1 and the motion vector mv. Then, the detected imaging region p2-60 of the imaging surface 200 of the imaging device 100 corresponding to the detected second image region r2-60 is detected.
  • the preprocessing unit 1210 uses the setting unit 1212 to set the frame rate of the specific imaging region P12-60 including the imaging region p1-60 specified when the frame F1 is generated and the detection imaging region p2-60.
  • the second frame rate is set, and the setting instruction is output to the image sensor 100.
  • the image sensor 100 captures an image by setting the specific imaging region P12-60 to the second frame rate, and generates image data 712.
  • the first generation unit 701 complements the image data 712 generated by imaging at the second frame rate set by the setting unit 1212 and outputs the second frame 713 (F2-60). In this case, the image data output from the specific imaging region P12-60 becomes the image data of the image region R12-60.
  • the synthesizing unit 703 includes the image data of the first image region r1-30 included in the frame F1 and the image data (image region R12-) from the specific imaging region P12-60 included in the second frame 713 (F2-60). 60). As a result, the frame F2-60 is updated to the frame F2 (third frame 730).
  • the preprocessing unit 1210 sets the frame rate of the detection imaging region p2-60 to the second frame rate, and the detected imaging of the imaging plane 200 is detected.
  • the frame rate of the imaging region other than the region p2-60 may be set to the first frame rate.
  • the second imaging area in which the second frame rate is set is only the detection imaging area p2-60, as with the frame F1. .
  • specific detection imaging regions are set for the frames F2-60, F4-60,... To be combined, useless processing in the frames F1, F3,.
  • the frame F2-60 includes image data o1 of the specific subject (train) and image data o2 of a part of the landscape in the image region R12-60.
  • the image region R12-60 is expanded on the opposite side of the moving direction of the specific subject compared to the second image region r2-60. Therefore, it is not necessary to specify the complementary image portions Da1 and Da2 as in the second embodiment and to duplicate and synthesize the image data of the complementary image portions Db1 and Db2 of other frames.
  • the combining process of the third embodiment is executed in, for example, step S2507 in FIG. This synthesis process is applied to the synthesis of the frames F2-60, F4-60,..., And is not executed for the frames F1, F3,.
  • the composition source image data is the two image regions R12-60 in the second frame 713 and the first image region r1-30 in the frame F1, a frame with less discomfort. F2 can be generated. That is, since the image data o1 and o2 are image data output by imaging at the same timing, the boundary between the image data o1 and o2 is not unnatural and does not feel strange. Further, as in the second embodiment, it is not necessary to specify the complementary image portions Da1 and Da2 and to select the optimum range from the complementary image portions Da1 and Da2, so that the load of the frame F2 composition processing is reduced. Reduction can be achieved.
  • the imaging apparatus includes the imaging element 100, the detection unit 1211, and the setting unit 1212.
  • the imaging device 100 has a first imaging area for imaging a subject and a second imaging area for imaging the subject, and a first frame rate (for example, 30 [fps]) can be set in the first imaging area.
  • a second frame rate for example, 60 [fps]
  • the first frame rate for example, 30 [fps]
  • a second frame rate for example, 60 [fps]
  • the detection unit 1211 Based on the second image region r1-60 of the specific subject included in the frame F1 generated by the output from the image sensor 100, the detection unit 1211 detects the detection image region p2-60 of the specific subject in the image sensor 100. .
  • the setting unit 1212 includes specific imaging including the imaging area p1-60 of the specific subject used to generate the frame F1 and the imaging area (hereinafter, detected imaging area) p2-60 detected by the detection unit 1211.
  • the frame rate of region P12-60 is set to the second frame rate.
  • the imaging area at the second frame rate can be expanded and the specific subject can be imaged at the second frame rate so that the complementary image portion Da1 in which the non-image areas overlap in the frames F1 and F2 does not occur. Further, it is possible to suppress the image loss of the frame F2-60 output by the imaging at the second frame rate.
  • the detection unit 1211 is temporally longer than the second image region r1-60 of the specific subject included in the frame F1, and the frames F1 and F1. Based on the motion vector mv of the specific subject between the previous frame F0-60, the detection imaging region p2-60 of the specific subject is detected.
  • the setting unit 1212 sets the specific imaging area when the frame is the first frame F1 generated by the output from the first imaging area.
  • the frame rate of the detected imaging region p2-60 Is set to the second frame rate
  • the frame rate of the imaging region other than the detection imaging region p2-60 is set to the first frame rate.
  • a specific detection imaging region is set only for the frames F2-60, F4-60,... To be combined, and therefore it is possible to suppress useless processing in the frames F1, F3,.
  • the image processing apparatus includes a first imaging area for imaging a subject and a second imaging area for imaging the subject, and the first frame rate is set in the first imaging area. (For example, 30 [fps]) can be set, and the output from the image sensor 100 can set a second frame rate (for example, 60 [fps]) faster than the first frame rate in the second imaging region.
  • the frame generated by the above is subjected to image processing.
  • This image processing apparatus includes a detection unit 1211, a setting unit 1212, a first generation unit 701, and a synthesis unit 703.
  • the detection unit 1211 detects the imaging region p2-60 of the specific subject in the imaging device 100 based on the second image region r1-60 of the specific subject included in the frame F1 generated by the output from the imaging device 100.
  • the setting unit 1212 includes a frame of the specific imaging region P12-60 including the imaging region p1-60 of the specific subject used for generating the frame F1 and the detected imaging region p2-60 detected by the detection unit 1211. Set the rate to the second frame rate.
  • the first generation unit 701 complements the image data 712 generated by imaging at the second frame rate set by the setting unit 1212 and outputs the second frame 713 (F2-60).
  • the synthesizing unit 703 includes the image data of the first image region r1-30 included in the first frame F1 and the image data (image region) from the specific imaging region P12-60 included in the second frame 713 (F2-60). R12-60).
  • the imaging area at the second frame rate can be expanded and the specific subject can be imaged at the second frame rate so that the complementary image portion Da1 in which the non-image areas overlap in the frames F1 and F2 does not occur. Further, it is possible to suppress the image loss of the frame F2-60 output by the imaging at the second frame rate. In addition, since it is not necessary to compensate for the overlapping complementary image portion Da1 at the time of synthesis, it is possible to obtain an image with less sense of incongruity and to reduce the load of the synthesis process.
  • image sensor 100 image sensor, 701 complementing unit, 702 compression / decompression unit, 703 synthesis unit, 704 playback unit, 800 video file, 801 header unit, 802 data unit, 835 additional information, 910 imaging condition information, 911 frame rate information, 912 position information , 920 insertion position information, 921 insertion frame number, 922 insertion destination, 1201 processor, 1202 storage device, 1210 preprocessing unit, 1211 detection unit, 1212 setting unit, 1220 acquisition unit, 1231 compression unit, 1232 generation unit, 1233 selection unit , 1234 extension part, 1240 specific part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルを生成する生成装置は、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイルを生成する生成部と、前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、を有する。

Description

生成装置、電子機器、生成プログラムおよびデータ構造 参照による取り込み
　本出願は、平成３０年（２０１８年）３月３０日に出願された日本出願である特願２０１８－７０２４９の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、生成装置、電子機器、生成プログラムおよびデータ構造に関する。
　領域ごとに異なる撮像条件を設定可能な撮像素子を搭載した撮像装置が知られている（特許文献１参照）。しかしながら、異なる撮像条件で撮像されたフレームの動画圧縮は従来考慮されていない。
特開２００６－１９７１９２号公報
　本開示技術の生成装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルを生成する生成装置であって、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイルを生成する生成部と、前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、を有する。
　また、本願において開示される技術の他の側面となる生成装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルを生成する生成装置であって、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を含む動画ファイルを生成する生成部と、前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、を有する。
　本開示技術の電子機器は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子と、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイルを生成する生成部と、前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、を有する。
　また、本願において開示される技術の他の側面となる電子機器は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子と、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を含む動画ファイルを生成する生成部と、前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、を有する。
　本開示技術の生成プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルの生成をプロセッサに実行させる生成プログラムであって、前記プロセッサに、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイルを生成する生成処理と、前記生成処理によって生成された動画ファイルを記憶デバイスに格納する格納処理と、を実行させる。
　また、本開示技術の他の生成プログラムは、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルの生成をプロセッサに実行させる生成プログラムであって、前記プロセッサに、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を含む動画ファイルを生成する生成処理と、前記生成処理によって生成された動画ファイルを記憶デバイスに格納する格納処理と、を実行させる。
　本開示技術のデータ構造は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルのデータ構造であって、第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を格納するデータ部と、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を格納するヘッダ部と、を有する。
図１は、積層型撮像素子の断面図である。 図２は、撮像チップの画素配列を説明する図である。 図３は、撮像チップの回路図である。 図４は、撮像素子の機能的構成例を示すブロック図である。 図５は、電子機器のブロック構成例を示す説明図である。 図６は、撮像面と被写体像との関係を示す説明図である。 図７は、実施例１にかかる動画圧縮伸張例を示す説明図である。 図８は、動画ファイルのファイルフォーマット例を示す説明図である。 図９は、フレームと付加情報との関係を示す説明図である。 図１０は、図７に示した合成部における合成処理例１を示す説明図である。 図１１は、図７に示した合成部における合成処理例２を示す説明図である。 図１２は、図５に示した制御部の構成例を示すブロック図である。 図１３は、圧縮部の構成例を示すブロック図である。 図１４は、制御部の動作処理手順例を示すシーケンス図である。 図１５は、図１４に示した設定処理（ステップＳ１４０４、Ｓ１４１０）の詳細な処理手順例を示すフローチャートである。 図１６は、図１５に示したフレームレート設定処理（ステップＳ１５０５）の詳細な処理手順例を示すフローチャートである。 図１７は、補完部による補完処理手順例を示すフローチャートである。 図１８は、図１４に示した動画ファイル生成処理（ステップＳ１４１３、Ｓ１４１５）の詳細な処理手順例を示すフローチャートである。 図１９は、圧縮制御部による第１圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。 図２０は、動き検出部による第１圧縮制御方法の動き検出処理手順例を示すフローチャートである。 図２１は、動き補償部による第１圧縮制御方法の動き補償処理手順例を示すフローチャートである。 図２２は、圧縮制御部による第２圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。 図２３は、動き検出部による第２圧縮制御方法の動き検出処理手順例を示すフローチャートである。 図２４は、動き補償部による第２圧縮制御方法の動き補償処理手順例を示すフローチャートである。 図２５は、伸張から再生までの処理手順例を示すフローチャートである。 図２６は、図２５に示した合成処理（ステップＳ２５０７）の詳細な処理手順例を示すフローチャートである。 図２７は、図１０に示した合成例の具体的な処理の流れを示す説明図である。 図２８は、実施例２にかかる６０［ｆｐｓ］のフレームの合成例１を示す説明図である。 図２９は、実施例２にかかる６０［ｆｐｓ］のフレームの合成例２を示す説明図である。 図３０は、実施例２にかかる６０［ｆｐｓ］のフレームの合成例４を示す説明図である。 図３１は、合成部によるフレームの合成例１による合成処理手順例１を示すフローチャートである。 図３２は、合成部によるフレームの合成例２による合成処理手順例２を示すフローチャートである。 図３３は、合成部によるフレームの合成例３による合成処理手順例３を示すフローチャートである。 図３４は、合成部によるフレームの合成例４による合成処理手順例４を示すフローチャートである。 図３５は、実施例３にかかる６０［ｆｐｓ］のフレームの合成例を示す説明図である。 図３６は、撮像領域の設定と補完後第２フレームの画像領域との対応関係を示す説明図である。
　＜撮像素子の構成例＞
　初めに、電子機器に搭載する積層型撮像素子について説明する。電子機器は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置である。
　図１は、積層型撮像素子１００の断面図である。積層型撮像素子（以下、単に、「撮像素子」）１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ（以下、単に、「撮像チップ」）１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記憶するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕなどの導電性を有するバンプ１０９により互いに電気的に接続される。
　なお、図１に示すように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ１１３において、入射光が入射する側の面を裏面と称する。また、座標軸１２０に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
　撮像チップ１１３の一例は、裏面照射型のＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。ＰＤ（フォトダイオード）層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
　ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。
　カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
　配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
　配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧などされることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
　なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、たとえば、後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
　信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。
　図２は、撮像チップ１１３の画素配列を説明する図である。特に、撮像チップ１１３を裏面側から観察した様子を示す。（ａ）は、撮像チップ１１３の裏面である撮像面２００を模式的に示す平面図であり、（ｂ）は、撮像面２００の一部領域２００ａを拡大した平面図である。（ｂ）に示すように、撮像面２００には、画素２０１が二次元状に多数配列されている。
　画素２０１は、それぞれ不図示の色フィルタを有している。色フィルタは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、（ｂ）における「Ｒ」、「Ｇ」、および「Ｂ」という表記は、画素２０１が有する色フィルタの種類を表している。（ｂ）に示すように、撮像素子１００の撮像面２００には、このような各色フィルタを備えた画素２０１が、いわゆるベイヤー配列に従って配列されている。
　赤フィルタを有する画素２０１は、入射光のうち、赤色の波長帯の光を光電変換して受光信号（光電変換信号）を出力する。同様に、緑フィルタを有する画素２０１は、入射光のうち、緑色の波長帯の光を光電変換して受光信号を出力する。また、青フィルタを有する画素２０１は、入射光のうち、青色の波長帯の光を光電変換して受光信号を出力する。
　撮像素子１００は、隣接する２画素×２画素の計４つの画素２０１から成るブロック２０２ごとに、個別に制御可能に構成されている。たとえば、互いに異なる２つのブロック２０２について、同時に電荷蓄積を開始したときに、一方のブロック２０２では電荷蓄積開始から１／３０秒後に電荷の読み出し、すなわち受光信号の読み出しを行い、他方のブロック２０２では電荷蓄積開始から１／１５秒後に電荷の読み出しを行うことができる。換言すると、撮像素子１００は、１回の撮像において、ブロック２０２ごとに異なる露光時間（電荷蓄積時間であり、いわゆるシャッタースピード）を設定することができる。
　撮像素子１００は、上述した露光時間以外にも、撮像信号の増幅率（いわゆるＩＳＯ感度）をブロック２０２ごとに異ならせることが可能である。撮像素子１００は、電荷蓄積を開始するタイミングや受光信号を読み出すタイミングをブロック２０２ごとに変化させることができる。すなわち、撮像素子１００は、動画撮像時のフレームレートをブロック２０２ごとに変化させることができる。
　以上をまとめると、撮像素子１００は、ブロック２０２ごとに、露光時間、増幅率、フレームレートなどの撮像条件を異ならせることが可能に構成されている。たとえば、画素２０１が有する不図示の光電変換部から撮像信号を読み出すための不図示の読み出し線が、ブロック２０２ごとに設けられ、ブロック２０２ごとに独立して撮像信号を読み出し可能に構成すれば、ブロック２０２ごとに露光時間（シャッタースピード）を異ならせることができる。
　また、光電変換された電荷により生成された撮像信号を増幅する不図示の増幅回路をブロック２０２ごとに独立して設け、増幅回路による増幅率を増幅回路ごとに独立して制御可能に構成すれば、ブロック２０２ごとに信号の増幅率（ＩＳＯ感度）を異ならせることができる。
　また、ブロック２０２ごとに異ならせることが可能な撮像条件は、上述した撮像条件のほか、フレームレート、ゲイン、解像度（間引き率）、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数などである。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
　また、撮像条件は、たとえば、ブロック２０２ごとに独立して制御可能な区画（１区画が１つのブロック２０２に対応する）を有する液晶パネルを撮像素子１００に設け、オンオフ可能な減光フィルタとして利用すれば、ブロック２０２ごとに明るさ（絞り値）を制御することが可能になる。
　なお、ブロック２０２を構成する画素２０１の数は、上述した２×２の４画素でなくてもよい。ブロック２０２は、少なくとも１個の画素２０１を有していればよいし、逆に、４個より多くの画素２０１を有していてもよい。
　図３は、撮像チップ１１３の回路図である。図３において、代表的に点線で囲む矩形が、１つの画素２０１に対応する回路を表す。また、一点鎖線で囲む矩形が１つのブロック２０２（２０２－１～２０２－４）に対応する。なお、以下に説明する各トランジスタの少なくとも一部は、図１のトランジスタ１０５に対応する。
　上述したように、画素２０１のリセットトランジスタ３０３は、ブロック２０２単位でオン／オフされる。また、画素２０１の転送トランジスタ３０２も、ブロック２０２単位でオン／オフされる。図３に示す例において、左上ブロック２０２－１に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－１が設けられており、同ブロック２０２－１に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－１も設けられる。
　同様に、左下ブロック２０２－３に対応する４つのリセットトランジスタ３０３をオン／オフするためのリセット配線３００－３が、上記リセット配線３００－１とは別個に設けられる。また、同ブロック２０２－３に対応する４つの転送トランジスタ３０２に転送パルスを供給するためのＴＸ配線３０７－３が、上記ＴＸ配線３０７－１と別個に設けられる。
　右上ブロック２０２－２や右下ブロック２０２－４についても同様に、それぞれリセット配線３００－２とＴＸ配線３０７－２、およびリセット配線３００－４とＴＸ配線３０７－４が、それぞれのブロック２０２に設けられている。
　各画素２０１に対応する１６個のＰＤ１０４は、それぞれ対応する転送トランジスタ３０２に接続される。各転送トランジスタ３０２のゲートには、上記ブロック２０２ごとのＴＸ配線を介して転送パルスが供給される。各転送トランジスタ３０２のドレインは、対応するリセットトランジスタ３０３のソースに接続されるとともに、転送トランジスタ３０２のドレインとリセットトランジスタ３０３のソース間のいわゆるフローティングディフュージョンＦＤが、対応する増幅トランジスタ３０４のゲートに接続される。
　各リセットトランジスタ３０３のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。各リセットトランジスタ３０３のゲートには、上記ブロック２０２ごとのリセット配線を介してリセットパルスが供給される。
　各増幅トランジスタ３０４のドレインは、電源電圧が供給されるＶｄｄ配線３１０に共通に接続される。また、各増幅トランジスタ３０４のソースは、対応する選択トランジスタ３０５のドレインに接続される。各選択トランジスタ３０５のゲートには、選択パルスが供給されるデコーダ配線３０８に接続される。デコーダ配線３０８は、１６個の選択トランジスタ３０５に対してそれぞれ独立に設けられる。
　そして、各々の選択トランジスタ３０５のソースは、共通の出力配線３０９に接続される。負荷電流源３１１は、出力配線３０９に電流を供給する。すなわち、選択トランジスタ３０５に対する出力配線３０９は、ソースフォロアにより形成される。なお、負荷電流源３１１は、撮像チップ１１３側に設けてもよいし、信号処理チップ１１１側に設けてもよい。
　ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。上記ブロック２０２ごとのリセット配線を通じてリセットパルスがリセットトランジスタ３０３に印加され、同時に上記ブロック２０２（２０２－１～２０２－４）ごとのＴＸ配線を通じて転送パルスが転送トランジスタ３０２に印加されると、上記ブロック２０２ごとに、ＰＤ１０４およびフローティングディフュージョンＦＤの電位がリセットされる。
　各ＰＤ１０４は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンＦＤへ転送され、フローティングディフュージョンＦＤの電位は、リセット電位から電荷蓄積後の信号電位になる。
　そして、デコーダ配線３０８を通じて選択パルスが選択トランジスタ３０５に印加されると、フローティングディフュージョンＦＤの信号電位の変動が、増幅トランジスタ３０４および選択トランジスタ３０５を介して出力配線３０９に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線３０９に出力されることになる。
　上述したように、ブロック２０２を形成する４画素に対して、リセット配線とＴＸ配線が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、同ブロック２０２内の４画素に対して同時に印加される。したがって、あるブロック２０２を形成するすべての画素２０１は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ３０５に選択パルスが順次印加されることにより、選択的に出力配線３０９から出力される。
　このように、ブロック２０２ごとに電荷蓄積開始タイミングを制御することができる。換言すると、異なるブロック２０２間では、異なったタイミングで撮像することができる。
　図４は、撮像素子１００の機能的構成例を示すブロック図である。アナログのマルチプレクサ４１１は、ブロック２０２を形成する１６個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該ブロック２０２に対応して設けられた出力配線３０９へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
　マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
　演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図４では４つのブロック２０２の分の接続を示すが、実際にはこれらが４つのブロック２０２ごとに存在して、並列で動作する。
　ただし、演算回路４１５は４つのブロック２０２ごとに存在しなくてもよく、たとえば、一つの演算回路４１５がそれぞれの４つのブロック２０２に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
　上記の通り、ブロック２０２のそれぞれに対応して出力配線３０９が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０９にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
　＜電子機器のブロック構成例＞
　図５は、電子機器のブロック構成例を示す説明図である。電子機器５００は、たとえば、レンズ一体型のカメラである。電子機器５００は、撮像光学系５０１と、撮像素子１００と、制御部５０２と、液晶モニタ５０３と、メモリカード５０４と、操作部５０５と、ＤＲＡＭ５０６と、フラッシュメモリ５０７と、録音部５０８とを備える。制御部５０２は、後述するように動画データを圧縮する圧縮部を含む。したがって、電子機器５００のうち、少なくとも制御部５０２を含む構成が動画圧縮装置や伸張装置、再生装置となる。また、メモリカード５０４、ＤＲＡＭ５０６、およびフラッシュメモリ５０７は、後述する記憶デバイス１２０２を構成する。
　撮像光学系５０１は、複数のレンズから構成され、撮像素子１００の撮像面２００に被写体像を結像させる。なお、図５では、便宜上、撮像光学系５０１を１枚のレンズとして図示している。
　撮像素子１００は、たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などの撮像素子であり、撮像光学系５０１により結像された被写体像を撮像して撮像信号を出力する。制御部５０２は、電子機器５００の各部を制御する電子回路であり、プロセッサとその周辺回路とから構成される。
　不揮発性の記憶媒体であるフラッシュメモリ５０７には、予め所定の制御プログラムが書き込まれている。制御部５０２のプロセッサは、フラッシュメモリ５０７から制御プログラムを読み込んで実行することにより、各部の制御を行う。この制御プログラムは、揮発性の記憶媒体であるＤＲＡＭ５０６を作業用領域として使用する。
　液晶モニタ５０３は、液晶パネルを利用した表示装置である。制御部５０２は、所定周期（たとえば６０分の１秒）ごとに撮像素子１００に繰り返し被写体像を撮像させる。そして、撮像素子１００から出力された撮像信号に種々の画像処理を施していわゆるスルー画を作成し、液晶モニタ５０３に表示する。液晶モニタ５０３には、上記のスルー画以外に、たとえば撮像条件を設定する設定画面などが表示される。
　制御部５０２は、撮像素子１００から出力された撮像信号に基づき、後述する画像ファイルを作成し、可搬性の記録媒体であるメモリカード５０４に画像ファイルを記録する。操作部５０５は、プッシュボタンなどの種々の操作部材を有し、それら操作部材が操作されたことに応じて制御部５０２に操作信号を出力する。
　録音部５０８は、たとえば、マイクロフォンにより構成され、環境音を音声信号に変換して制御部５０２に入力する。なお、制御部５０２は、可搬性の記録媒体であるメモリカード５０４に動画ファイルを記録するのではなく、電子機器５００に内蔵されたＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）やハードディスクのような不図示の記録媒体に記録してもよい。
　＜撮像面２００と被写体像との関係＞
　図６は、撮像面２００と被写体像との関係を示す説明図である。（ａ）は、撮像素子１００の撮像面２００（撮像範囲）と被写体像６０１とを模式的に示す。（ａ）において、制御部５０２は、被写体像６０１を撮像する。（ａ）の撮像は、たとえばライブビュー画像（いわゆるスルー画）の作成のために行われる撮像を兼ねていてもよい。
　制御部５０２は、（ａ）の撮像により得られた被写体像６０１に対して、所定の画像解析処理を実行する。画像解析処理は、たとえば周知の被写体検出技術（特徴量を演算して所定の被写体が存在する範囲を検出する技術）により、主要被写体を検出する処理である。実施例１では、主要被写体以外は背景とする。画像解析処理によって、主要被写体が検出されるため、撮像面２００は、主要被写体が存在する主要被写体領域６０２と、背景が存在する背景領域６０３とに分割される。
　なお、（ａ）では、被写体像６０１を大まかに含む領域を主要被写体領域６０２として図示しているが、主要被写体領域６０２は、被写体像６０１の外形に沿った形状であってもよい。つまり、被写体像６０１以外のものをできるだけ含まないように主要被写体領域６０２を設定してもよい。
　制御部５０２は、主要被写体領域６０２内の各ブロック２０２と、背景領域６０３内の各ブロック２０２とで、異なる撮像条件を設定する。たとえば、前者の各ブロック２０２には、後者の各ブロック２０２に比べて高速なシャッタースピードを設定する。このようにすると、（ａ）の撮像の次に撮像される（ｃ）の撮像において、主要被写体領域６０２では像ぶれが発生しにくくなる。
　また、制御部５０２は、背景領域６０３に存在する太陽などの光源の影響で、主要被写体領域６０２が逆光状態となっている場合には、前者の各ブロック２０２に、相対的に高めのＩＳＯ感度を設定したり、低速なシャッタースピードを設定したりする。また、制御部５０２は、後者の各ブロック２０２に、相対的に低めのＩＳＯ感度を設定したり、高速なシャッタースピードを設定したりする。このようにすると、（ｃ）の撮像において、逆光状態の主要被写体領域６０２の黒つぶれや、光量の大きい背景領域６０３の白飛びを防止することができる。
　なお、画像解析処理は、上述した主要被写体領域６０２と背景領域６０３とを検出する処理とは異なる処理であってもよい。たとえば、撮像面２００全体のうち、明るさが一定以上の部分（明るすぎる部分）や明るさが一定未満の部分（暗すぎる部分）を検出する処理であってもよい。画像解析処理をこのような処理とした場合、制御部５０２は、前者の領域に含まれるブロック２０２について、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも低くなるように、シャッタースピードやＩＳＯ感度を設定してもよい。
　また、制御部５０２は、後者の領域に含まれるブロック２０２については、露出値（Ｅｖ値）が他の領域に含まれるブロック２０２よりも高くなるように、シャッタースピードやＩＳＯ感度を設定する。このようにすることで、（ｃ）の撮像により得られる画像のダイナミックレンジを、撮像素子１００の本来のダイナミックレンジよりも広げることができる。
　図６の（ｂ）は、（ａ）に示した撮像面２００に対応するマスク情報６０４の一例を示す。主要被写体領域６０２に属するブロック２０２の位置には「１」が、背景領域６０３に属するブロック２０２の位置には「２」がそれぞれ格納されている。
　制御部５０２は、１フレーム目の画像データに対して、画像解析処理を実行し、主要被写体領域６０２と背景領域６０３とを検出する。これにより、（ａ）の撮像によるフレームは、（ｂ）に示すように、主要被写体領域６０２と背景領域６０３とに分割される。制御部５０２は、主要被写体領域６０２内の各ブロック２０２と、背景領域６０３内の各ブロック２０２とで、異なる撮像条件を設定して、（ｃ）の撮像を行い、画像データを作成する。このときのマスク情報６０４の例を（ｄ）に示す。
　（ａ）の撮像の結果に対応する（ｂ）のマスク情報６０４と、（ｃ）の撮像の結果に対応する（ｄ）のマスク情報６０４とでは、異なる時刻に撮像を行っている（時間差がある）ため、たとえば、被写体が移動している場合や、ユーザが電子機器５００を動かした場合に、これら２つのマスク情報６０４が異なる内容になる。換言すると、マスク情報６０４は、時間経過に伴い変化する動的情報である。従って、あるブロック２０２において、フレームごとに異なる撮像条件が設定されることになる。
　以下、上述した撮像素子１００を用いた動画の圧縮、動画ファイル生成、伸張、および再生の実施例について説明する。
　＜動画圧縮伸張例＞
　図７は、実施例１にかかる動画圧縮伸張例を示す説明図である。電子機器５００は、上述した撮像素子１００と、制御部５０２と、を有する。制御部５０２は、第１生成部７０１と、圧縮伸張部７０２と、合成部７０３と、再生部７０４と、を含む。撮像素子１００は、上述したように、被写体を撮像する複数の撮像領域を有する。撮像領域は、少なくとも１画素以上の画素集合であり、たとえば、上述した１以上のブロック２０２である。撮像領域には、ブロック２０２ごとに撮像条件（たとえば、フレームレート、露光時間、ＩＳＯ感度）が設定可能である。
　ここでは、撮像面２００のうち、第１フレームレート（たとえば、３０［ｆｐｓ］）が設定される撮像領域を「第１撮像領域」と称し、第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）が設定される撮像領域を「第２撮像領域」と称す。なお、第１フレームレートおよび第２フレームレートの値は一例であり、第２フレームレートが第１フレームレートよりも速ければ他の値でもよい。なお、第２フレームレートが第１フレームレートの倍数であれば、第１フレームレートの撮像タイミングで第１撮像領域および第２撮像領域から出力されたフレームを得ることができる。
　撮像素子１００は、被写体を撮像して、入力動画データ７１０を第１生成部７０１に出力する。撮像素子１００のある撮像領域から出力された画像データの領域を、（当該撮像領域に対応する）画像領域と称す。
　たとえば、撮像面２００全域が第１フレームレート（３０［ｆｐｓ］）に設定された第１撮像領域である場合、第１フレームレート（３０［ｆｐｓ］）での撮像により当該第１撮像領域（撮像面２００全域）から出力される第１画像領域ａ１（網掛け）の画像データは、画像処理により１枚のフレームとなる。このフレームを「第１フレーム７１１」と称する。
　具体的には、たとえば、風景を定点撮影している場合、第１フレームレート（３０［ｆｐｓ］）での撮像により、風景のみの第１画像領域ａ１の画像データとして第１フレーム７１１が生成される。
　また、たとえば、撮像面２００全域が第１フレームレート（３０［ｆｐｓ］）に設定された第１撮像領域である場合で、かつ、特定被写体が検出された撮像領域が第１撮像領域から第２フレームレート（６０［ｆｐｓ］）に設定された第２撮像領域に変更される場合、第１フレームレート（３０［ｆｐｓ］）での撮像により当該第１撮像領域から出力される第１画像領域ａ１（網掛け）の画像データおよび第２撮像領域から出力される第２画像領域ａ２の画像データの組み合わせも、第１フレーム７１１である。
　具体的には、たとえば、風景の定点撮影中に特定被写体（電車）が検出された場合、第１フレームレート（３０［ｆｐｓ］）での撮像により、第１フレームレート（３０［ｆｐｓ］）で得られた当該電車を除いた風景（第１画像領域ａ１）の画像データと、第２フレームレート（６０［ｆｐｓ］）で得られた電車（第２画像領域ａ２）の画像データと、の組み合わせとして、第１フレーム７１１が生成される。
　またこの場合、第２フレームレート（６０［ｆｐｓ］）での撮像により撮像面２００の第２撮像領域から出力される第２撮像領域から出力される第２画像領域ａ２の画像データを、「画像データ７１２」と称する。この場合、第１撮像領域から被写体の画像データが出力されなかった画像領域を、「欠損領域７１２ｘ」と称す。
　具体的には、たとえば、風景の定点撮影中に特定被写体（電車）が検出された場合、第２フレームレート（６０［ｆｐｓ］）での撮像により、第２フレームレート（６０［ｆｐｓ］）で得られた電車（第２画像領域ａ２）の画像データは、画像データ７１２である。
　なお、異なるフレームレートが設定される撮像領域は３以上でもよい。この場合、第３撮像領域以降については、第１フレームレートおよび第２フレームレートとは異なるフレームレートが設定可能となる。
　第１生成部７０１は、撮像素子１００から入力された入力動画データ７１０のうち、画像データ７１２を補完する。具体的には、たとえば、第１生成部７０１は、撮像素子１００の第１撮像領域から画像信号が出力されなかった欠損領域７１２ｘを特定色で補完する。本例では、特定色は黒とし、図７でも黒塗りとする。なお、特定色は、黒以外の色でもよく、また、特定のパターンでもよい。また、特定色は、一色ではなく、複数の色を用いてもよい。また、第２画像領域ａ２の周囲の画素領域を第２画像領域ａ２の境界と同色にしてもよい。また、特定色で補完された欠損領域７１２ｘを「補完領域７１２ｙ」と称す。
　画像処理により画像データ７１２と補完領域７１２ｙとを組み合わせた画像データを、第２フレーム７１３と称す。また、第１フレーム７１１群により構成される動画データを第１動画データ７２１とし、第２フレーム７１３群により構成される動画データを第２動画データ７２２と称す。第１生成部７０１は、第１動画データ７２１および第２動画データ７２２を圧縮伸張部７０２に出力する。
　圧縮伸張部７０２は、第１動画データ７２１および第２動画データ７２２をそれぞれ圧縮して、記憶デバイス（たとえば、メモリカード５０４、フラッシュメモリ５０７）に格納する。圧縮伸張部７０２は、たとえば、動き補償フレーム間予測（Ｍｏｔｉｏｎ　Ｃｏｍｐｅｎｓａｔｉｏｎ：ＭＣ）と離散コサイン変換（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって圧縮する。
　圧縮伸張部７０２は、第１動画データ７２１を構成する第１フレーム７１１のうち、網掛けで示した第１画像領域ａ１については、動き検出や動き補償が不要な圧縮処理を実行する。圧縮伸張部７０２は、ハッチングした特定被写体像が出力された第２画像領域ａ２の画像データ７１２については、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の第１画像領域ａ１については、動き検出および動き補償が実行されないため、動画圧縮の処理負荷の低減を図ることができる。
　なお、第１画像領域ａ１については、撮像装置の手ブレがない場合、あるいは被写体に動きがない場合を想定して、動き検出や動き補償が不要な圧縮処理を実行することとした。しかしながら、手ブレや被写体の動きがある場合には、圧縮伸張部７０２は、第１画像領域ａ１について上述したハイブリッド符号化によって圧縮してもよい。
　同様に、圧縮伸張部７０２は、第２動画データ７２２を構成する第２フレーム７１３のうち、黒塗りで示した補完領域７１２ｙについては、動き検出や動き補償が不要な圧縮処理を実行する。圧縮伸張部７０２は、ハッチングした特定被写体像が出力された第２画像領域ａ２の画像データ７１２については、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の補完領域７１２ｙ（黒塗り）については、動き検出および動き補償が実行されないため、動画圧縮の処理負荷の低減を図ることができる。また、手ブレや被写体の動きがある場合には、圧縮伸張部７０２は、補完領域７１２ｙについて上述したハイブリッド符号化によって圧縮してもよい。
　このように、第２フレームレート（６０［ｆｐｓ］）で得られた第２フレーム７１３は、第１フレームレート（３０［ｆｐｓ］）で得られた第１フレーム７１１と同サイズとなる。したがって、第２フレーム７１３は、第１フレーム７１１の圧縮処理と同じ圧縮処理が適用されるため、画像データ７１２のサイズに適合する他の圧縮処理を適用する必要がない。
　また、圧縮伸張部７０２は、動画の再生指示または伸張指示があった場合に、圧縮された第１動画データ７２１および第２動画データ７２２を伸張して、元の第１動画データ７２１および第２動画データ７２２に戻す。
　合成部７０３は、第２フレーム７１３の時間的に１つ前の第１フレーム７１１を参照して、その第１フレーム７１１を第２フレーム７１３に複製、すなわち、合成する。具体的には、合成部７０３は、第２フレームに合成する他の第１フレーム７１１を複製により生成し、生成した第１フレームと第２フレームとを合成する。合成されたフレームを「第３フレーム７３０」と称す。第３フレーム７３０は、第１フレーム７１１の被写体像に、第２フレーム７１３における特定被写体像（第２画像領域ａ２）が重畳されたフレームである。合成部７０３は、３０［ｆｐｓ］の撮像で出力された第１フレーム７１１と、合成フレームである第３フレーム７３０と、を含む動画データ（以下、第４動画データ）７４０を再生部７０４に出力する。なお、合成指示がない場合、たとえば、３０ｆｐｓで動画を再生したい場合には、合成部７０３は合成処理を実行しない。
　再生部７０４は、第４動画データ７４０を再生して動画を液晶モニタ５０３に表示する。このように、上述した入力動画データ７１０そのままでは圧縮伸張部７０２で圧縮することができない。そのため、第１生成部７０１は、画像データ７１２を補完領域７１２ｙで補完して、複数の第２フレーム７１３からなる第２動画データ７２２を生成する。圧縮伸張部７０２は、第１動画データ７２１および第２動画データ７２２を別々に圧縮、伸張する。
　これにより、汎用の圧縮伸張部７０２により、圧縮伸張部７０２において通常の動画データ（第１動画データ７２１）と同様に第２動画データ７２２の圧縮が可能となる。なお、合成部７０３で合成処理が実行されなかった場合、再生部７０４は、フレームレートが３０［ｆｐｓ］の第１動画データ７２１を再生して、その動画を液晶モニタ５０３に表示することになる。
　なお、上記の例では、撮像面２００全域が第１フレームレート（３０［ｆｐｓ］）に設定された第１撮像領域である場合で、かつ、特定被写体が検出された撮像領域が第１撮像領域から第２フレームレート（６０［ｆｐｓ］）に設定された第２撮像領域に変更される場合について説明したが、撮像面２００の撮像領域の撮像条件の設定はこれに限られない。
　たとえば、千鳥配置のように、撮像面２００において、第１フレームレート（３０［ｆｐｓ］）に設定された複数の第１撮像領域と第２フレームレート（６０［ｆｐｓ］）に設置された複数の第２撮像領域とが混在する場合、複数の第１撮像領域に対応する複数の第１画像領域ａ１により組み合わされた画像データは、第１フレームＦ７１１となる。また、この場合、複数の第２撮像領域に対応する複数の第２画像領域ａ２により組み合わされた画像データは、「第２フレームＦ７１２」となる。なお、千鳥配置において、第１撮像領域および第２撮像領域のフレームレートは同一とし、露光時間やＩＳＯ感度、間引き率といった他の撮像条件を第１撮像領域および第２撮像領域で異なるように設定してもよい。
　＜動画ファイルのファイルフォーマット例＞
　図８は、動画ファイルのファイルフォーマット例を示す説明図である。図８では、たとえば、ＭＰＥＧ４（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　ｐｈａｓｅ　４）に準拠するファイルフォーマットを適用した場合を例に挙げて説明する。
　動画ファイル８００は、ボックスと呼ばれるデータの集合であり、たとえば、ヘッダ部８０１とデータ部８０２とを有する。ヘッダ部８０１は、ボックスとして、ｆｔｙｐ８１１と、ｕｕｉｄ８１２と、ｍｏｏｖ８１３と、を含む。データ部８０２は、ボックスとして、ｍｄａｔ８２０を含む。
　ｆｔｙｐ８１１は、動画ファイル８００の種別を示す情報を格納するボックスであり、動画ファイル８００内で他のボックスよりも前の位置に配置される。ｕｕｉｄ８１２は、汎用固有識別子を格納するボックスであり、ユーザが拡張可能である。実施例１では、たとえば、ｕｕｉｄ８１２には、この動画ファイル８００におけるフレーム群のフレームレートが第１フレームレート（たとえば、３０［ｆｐｓ］）のみの動画データであるか、第１フレームレートおよび第２フレームレート（６０［ｆｐｓ］）を含む動画データ（第１動画データ７２１および第２動画データ７２２）であるかを識別するフレームレート識別情報が書き込まれてもよい。これにより、伸張や合成、再生時にどの動画データがどのフレームレートであるかを特定することができる。
　ｍｏｏｖ８１３は、動画、音声、テキストといった各種メディアに関するメタデータを格納するボックスである。ｍｄａｔ８２０は、動画、音声、テキストといった各種メディアのデータを格納するボックスである。
　つぎに、ｍｏｏｖ８１３内のボックスについて具体的に説明する。ｍｏｏｖ８１３は、ｕｕｉｄ８３１と、ｕｄｔａ８３２と、ｍｖｈｄ８３３と、ｔｒａｋ８３４ａ，８３４ｂと、付加情報８３５と、を有する。ｔｒａｋ８３４ａ，８３４ｂを区別しない場合には、単に、ｔｒａｋ８３４と表記する。同様に、ｔｒａｋ８３４ａ内のデータのｔｋｈｄ８４１ａ等やｔｒａｋ８３４ｂ内のデータのｔｋｈｄ８４１ｂ等を区別しない場合には、単にｔｋｈｄ８４１と称する。
　ｕｕｉｄ８３１は、ｕｕｉｄ８１２と同様、汎用固有識別子を格納するボックスであり、ユーザが拡張可能である。実施例１では、たとえば、動画ファイル８００の生成の際に、ｕｕｉｄ８３１に、この動画ファイル８００におけるフレームの各々が、第１フレーム７１１であるか、第２フレーム７１３であるかを識別するフレーム種別識別情報が、フレーム番号と対応付けて書き込まれる。
　また、ｕｕｉｄ８３１には、第１動画データ７２１の圧縮データと、第２動画データ７２２の圧縮データと、の格納位置を示す情報が書き込まれてもよい。具体的には、たとえば、第１動画データ７２１の圧縮データの格納位置を示す情報として、（ＳＯＭ（Ｓｔａｒｔ　Ｏｆ　Ｍｏｖｉｅ）８５０ａ，ＥＯＭ（Ｅｎｄ　Ｏｆ　Ｍｏｖｉｅ）８５４ａ）が書き込まれ、第２動画データ７２２の圧縮データの格納位置を示す情報として、（ＳＯＭ８５０ｂ，ＥＯＭ８５４ｂ）が書き込まれる。これにより、伸張や合成、再生時にどの動画データがどの格納位置に格納されているかを特定することができる。
　なお、圧縮データの格納位置は、後述のｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂで特定可能である。したがって、ＳＯＭ８５０ａおよびＥＯＭ８５４ａの代わりにｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂから特定した第１動画データ７２１の圧縮データのアドレスを、第１フレームレートを示す第１フレームレート情報に関連付けて、格納位置を示す情報としてｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂに設定してもよい。
　同様に、ＳＯＭ８５０ｂおよびＥＯＭ８５４ｂの代わりにｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂから特定した第２動画データ７２２の圧縮データのアドレスを、第２フレームレートを示す第２フレームレート情報に関連付けて、格納位置を示す情報としてｓｔｓｚ８４７ａ，８４７ｂおよびｓｔｃｏ８４８ａ，８４８ｂに設定してもよい。
　ｕｄｔａ８３２は、ユーザデータを格納するボックスである。ユーザデータとしては、たとえば、電子機器の識別コードや電子機器の位置情報がある。
　ｍｖｈｄ８３３は、ｔｒａｋ８３４ごとに、タイムスケールと、デュレーションと、を格納するボックスである。タイムスケールは、フレームレートまたはサンプリング周波数である。デュレーションは、タイムスケールを基準にした長さである。デュレーションをタイムスケールで除算すると、そのｔｒａｋ８３４で特定されるメディアの時間長が得られる。
　ｔｒａｋ８３４は、メディアの種類（動画、音声、テキスト）ごとに設定されるボックスである。本実施例では、ｍｏｏｖは、ｔｒａｋ８３４ａ，８３４ｂを含む。ｔｒａｋ８３４ａは、たとえば、３０［ｆｐｓ］の撮像で出力された第１動画データ７２１の動画、音声、テキストに関するメタデータを格納するボックスである。
　ｔｒａｋ８３４ａは、第１動画データ７２１の動画、音声、テキストごとに設定される。ｔｒａｋ８３４ｂは、たとえば、６０［ｆｐｓ］の撮像で出力された第２動画データ７２２の動画、音声、テキストに関するメタデータを格納するボックスである。ｔｒａｋ８３４ｂも、第２動画データ７２２の動画、音声、テキストごとに設定される。
　付加情報８３５は、撮像条件情報と挿入位置情報とを含むボックスである。撮像条件情報とは、撮影条件（たとえば、３０［ｆｐｓ］、６０［ｆｐｓ］のようなフレームレート）ごとに動画ファイル８００内でのメディアの格納位置を示す情報である。挿入位置情報とは、速い方のフレームレートのメディアのデータ（第２動画データ７２２）を遅い方のフレームレートのメディアのデータ（第１動画データ７２１）に挿入する位置を示す情報である。
　つぎに、ｔｒａｋ８３４内のボックスについて具体的に説明する。ｔｒａｋ８３４ａ，８３４ｂはそれぞれ、ｔｋｈｄ８４１ａ，８４１ｂと、ｅｄｔｓ８４２ａ，８４２ｂと、ｔｒｅｆ８４３ａ，８４３ｂと、ｓｔｓｃ８４４ａ，８４４ｂと、ｓｔｔｓ８４５ａ，８４５ｂと、ｓｔｓｓ８４６ａ，８４６ｂと、ｓｔｓｚ８４７ａ，８４７ｂと、ｓｔｃｏ８４８ａ，８４８ｂと、を有する。なお、ｔｋｈｄ８４１ａ～ｓｔｃｏ８４８ａおよびｔｋｈｄ８４１ｂ～ｓｔｃｏ８４８ｂを区別しない場合は、単に、ｔｋｈｄ８４１～ｓｔｃｏ８４８と表記する。
　ｔｋｈｄ８４１は、ｔｒａｋ８３４の再生時間や表示解像度、メディアの種類を決める識別コードといったｔｒａｋ８３４の基本属性を格納するボックスである。たとえば、ｔｒａｋ８３４が動画であればメディアＩＤ＝１、音声であればメディアＩＤ＝２、テキストであればメディアＩＤ＝３となる。
　ｅｄｔｓ８４２は、ｔｒａｋ８３４のエディットリストとして、ｔｒａｋ８３４の再生開始位置と、その再生位置からの再生時間とを、格納するボックスである。ｔｒｅｆ８４３は、ｔｒａｋ８３４間の参照情報を格納するボックスである。たとえば、動画のｔｒａｋ８３４がテキストのｔｒａｋ８３４をチャプタとして参照する場合、動画のｔｒａｋ８３４のｔｒｅｆ８４３には、テキストのｔｒａｋ８３４を示すメディアＩＤ＝３が格納され、テキストのｔｒａｋ８３４をチャプタとして参照するため、識別コードとして「ｃｈａｐ」が格納される。
　ｓｔｓｃ８４４は、１チャンク内のサンプル数を格納するボックスである。チャンクとは、サンプル数分のメディアのデータの集合であり、ｍｄａｔ８２０に格納される。たとえば、メディアが動画である場合、チャンク内のサンプルはフレームである。サンプル数が「３」であれば、１チャンク内に３フレームが格納されることを意味する。
　ｓｔｔｓ８４５は、そのｔｒａｋ８３４内の各チャンクまたはチャンク内のサンプルについての再生時刻を格納するボックスである。ｓｔｓｓ８４６は、キーフレーム（Ｉピクチャ）の間隔に関する情報を格納するボックスである。ＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）が「５」の場合は、ｓｔｓｓ８４６には、「１，６，１１，・・・」と格納される。
　ｓｔｓｚ８４７は、ｍｄａｔ８２０内のサンプルごとのデータサイズを格納するボックスである。ｓｔｃｏ８４８は、ｍｄａｔ８２０内のチャンクごとに動画ファイル８００の先頭アドレスからのオフセットを格納するボックスである。ｓｔｓｚ８４７およびｓｔｃｏ８４８を参照することで、ｍｄａｔ８２０内のメディアのデータ（フレーム、音声データ、テキスト（チャプタ））の位置を特定することが可能となる。
　ｍｄａｔ８２０は、メディアごとのチャンクを格納するボックスである。ＳＯＭ８５０ａ，８５０ｂ（区別しない場合は、ＳＯＭ８５０と表記）は、ある撮像条件のチャンク群の格納開始位置を示す識別子である。また、ＥＯＭ８５４ａ，８５４ｂ（区別しない場合は、ＥＯＭ８５４と表記）は、ある撮像条件のチャンク群の格納終了位置を示す識別子である。
　図８では、ｍｄａｔ８２０は、動画チャンク８５１－１、音声チャンク８５２－１、テキストチャンク８５３－１、…、動画チャンク８５１－２、音声チャンク８５２－２、テキストチャンク８５３－２、…、動画チャンク８５１－３、音声チャンク８５２－３、テキストチャンク８５３－３を格納する。
　本例は、２つの撮像条件（３０［ｆｐｓ］，６０［ｆｐｓ］）で動画撮影をおこなう例であるため、撮像条件ごとにチャンクが区分けされる。具体的には、たとえば、ＳＯＭ８５０ａ～ＥＯＭ８５４ａまでが３０［ｆｐｓ］の撮像タイミングで得られたチャンク群が格納され、ＳＯＭ８５０ｂ～ＥＯＭ８５４ｂまでが６０［ｆｐｓ］の撮像タイミングで得られたチャンク群が格納される。
　動画チャンク８５１－１は、３０［ｆｐｓ］の撮像で出力されたサンプルである特定被写体検出前の第１フレーム７１１の圧縮フレーム、すなわち、圧縮フレーム８６１－ｓ１、８６１－ｓ２、８６１－ｓ３を格納する。動画チャンク８５１－２は、３０［ｆｐｓ］の撮像で出力されたサンプルである特定被写体検出時の第１フレーム７１１の圧縮フレーム、すなわち、圧縮フレーム８６２－ｓ１、８６２－ｓ２、８６２－ｓ３を格納する。フレーム８６２－ｓ１、８６２－ｓ２、８６２－ｓ３は、６０［ｆｐｓ］と撮像タイミングが重複するため、６０［ｆｐｓ］での特定被写体像（第２画像領域ａ２）が含まれる。
　動画チャンク８５１－３は、６０［ｆｐｓ］の撮像で出力されたサンプルである特定被写体検出時の第２フレーム７１３の圧縮フレーム、すなわち、圧縮フレーム８６３－ｓ１、８６３－ｓ２、８６３－ｓ３を格納する。
　＜付加情報＞
　図９は、フレームと付加情報８３５との関係を示す説明図である。（Ａ）はフレームＦのデータ構造例を示す。フレームＦは、フレーム番号９０１とフレームデータ９０２とを有する。フレームデータ９０２は、撮像により生成された画像データである。
　（Ｂ）は、圧縮フレーム列を示す。（Ｂ）では、左（最古）から右（最新）に時系列に圧縮フレームが配列されている。＃１ａ～＃６ａは、３０［ｆｐｓ］の撮像で出力された圧縮フレーム８６１－ｓ１、８６１－ｓ２、８６１－ｓ３、８６２－ｓ１、８６２－ｓ２、８６２－ｓ３のフレーム番号である。＃１ｂ～＃３ｂは、６０［ｆｐｓ］の撮像で出力された圧縮フレーム８６３－ｓ１、８６３－ｓ２、８６３－ｓ３のフレーム番号である。
　（Ｃ）は、付加情報８３５のデータ構造例を示す。付加情報８３５は、撮像条件情報９１０と、挿入位置情報９２０と、を有する。撮像条件情報９１０は、上述したように、撮影条件（たとえば、３０［ｆｐｓ］、６０［ｆｐｓ］のようなフレームレート）ごとに動画ファイル８００内でのメディアの格納位置を示す情報である。撮像条件情報９１０は、フレームレート情報９１１と位置情報９１２とを有する。
　フレームレート情報９１１は、たとえば、３０［ｆｐｓ］、６０［ｆｐｓ］のようなフレームレートである。位置情報９１２は、動画ファイル８００内での圧縮フレームの格納位置を示す情報であり、ｓｔｓｚ８４７およびｓｔｃｏ８４８を参照することで特定される。具体的には、たとえば、フレームレート情報９１１が３０［ｆｐｓ］の圧縮フレームの位置情報９１２の値Ｐａは、ＳＯＭ８５０ａ～ＥＯＭ８５４ａの範囲のアドレスを示す。同様に、フレームレート情報９１１が６０［ｆｐｓ］の圧縮フレームの位置情報９１２の値Ｐｂは、ＳＯＭ８５０ｂ～ＥＯＭ８５４ｂの範囲のアドレスを示す。
　挿入位置情報９２０は、速い方のフレームレート（６０［ｆｐｓ］）のメディアのデータ（第２動画データ７２２）を遅い方のフレームレート（３０［ｆｐｓ］）のメディアのデータ（第１動画データ７２１）に挿入する位置を示す情報である。挿入位置情報９２０は、挿入フレーム番号９２１と、挿入先９２２と、を有する。挿入フレーム番号９２１は、挿入対象となる圧縮フレームのフレーム番号を示す。本例では、フレーム番号＃１ｂ～＃３ｂで特定される圧縮フレーム８６３－ｓ１、８６３－ｓ２、８６３－ｓ３が挿入対象となる圧縮フレームである。
　挿入先９２２は、挿入フレーム番号９２１で特定される圧縮フレームの挿入位置を示す。挿入先９２２は、具体的には、たとえば、２つのフレーム番号の間として特定される。たとえば、挿入フレーム番号＃１ｂの圧縮フレーム８６３－ｓ１は、挿入先９２２の２つのフレーム番号（＃３ａ，＃４ａ）で特定される圧縮フレーム８６１－ｓ３と圧縮フレーム８６２－ｓ１との間に挿入される。なお、図９では、挿入先９２２をフレーム番号を用いて特定したが、アドレス（ｓｔｓｚ８４７およびｓｔｃｏ８４８）を参照することで特定）を用いて特定してもよい。
　なお、図８および図９においては、１つの動画ファイル８００に、第１フレーム７１１を圧縮した圧縮データと、第２フレーム７１３を圧縮した圧縮データと、を格納する例について説明したが、第１フレーム７１１を圧縮した動画ファイルと、第２フレーム７１３を圧縮した動画ファイルと、を別々に生成してもよい。この場合、両動画ファイル８００のヘッダ部８０１に、一方の動画ファイル８００が他方の動画ファイル８００と関連付ける関連情報が格納される。関連情報は、たとえば、ヘッダ部８０１のｕｕｉｄ８１２，８３１やｍｖｈｄ８３３に格納される。
　これにより、１つの動画ファイル８００にまとめた場合と同様、伸張、合成、再生をおこなうことができる。たとえば、第１フレームレートが選択された場合には、第１フレーム７１１を圧縮した動画ファイルが伸張および再生され、第２フレームレートが選択された場合には、第１フレーム７１１を圧縮した動画ファイル８００および第２フレーム７１３を圧縮した動画ファイル８００が伸張され、合成および再生が実行される。
　なお、付加情報８３５は、ｍｏｏｖ８１３内に格納されていれば、他のボックス（８３１～８３４）に格納されていてもよい。
　＜合成処理例＞
　図１０は、図７に示した合成部７０３における合成処理例１を示す説明図である。合成処理例１では、電子機器５００は、田んぼ、山、および空を含む風景の定点撮影中に、特定被写体として、走行する電車を撮影する。特定被写体である電車は、上述した周知の被写体検出技術により特定される。撮影されたフレームＦは、時系列順にフレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５とする。ここでは、電車は、フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５内において、右から左に向かって走行するものとする。
　フレームＦ１，Ｆ３，Ｆ５は、第１撮像領域が３０［ｆｐｓ］の第１フレームレートの撮像で出力された第１画像領域ａ１の画像データと、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データと、を含む第１フレーム７１１である。フレームＦ２－６０，Ｆ４－６０は、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データを含み、かつ、背景が黒塗りで補完された第２フレーム７１３である。
　具体的には、たとえば、フレームＦ１，Ｆ３，Ｆ５は、第１画像領域ａ１に田んぼ、山、および空を含む風景が撮像され、第２画像領域ａ２に特定被写体として走行する電車が撮像された第１フレーム７１１である。フレームＦ２－６０，Ｆ４－６０は、第２画像領域ａ２に電車が撮像されたフレームである。
　すなわち、フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５において、電車が撮像された第２画像領域ａ２の画像データが、第２撮像領域（６０［ｆｐｓ］）の撮像で出力された画像データである。また、フレームＦ１，Ｆ３，Ｆ５において、風景が撮像された第１画像領域ａ１の画像データが、第１撮像領域（３０［ｆｐｓ］）の撮像で出力された画像データである。第１画像領域ａ１は、第１フレームレート（３０［ｆｐｓ］）の撮像で出力されるため、第２フレームレート（６０［ｆｐｓ］）の撮像で出力されるフレームＦ２－６０，Ｆ４－６０の補完領域７１２ｙは、特定色（黒）で塗りつぶされている。
　フレームＦ１，Ｆ２－６０，Ｆ３，Ｆ４－６０，Ｆ５…は、上述した第１動画データ７２１および第２動画データ７２２に相当する。第２動画データ７２２は、補完領域７１２ｙが黒塗りの第２フレーム７１３を含むため、合成部７０３は、第１動画データ７２１と第２動画データ７２２とを合成する。
　具体的には、たとえば、合成部７０３は、フレームＦ２－６０よりも時間的に１つ前のフレームＦ１の第１画像領域ａ１の画像データ（電車を除いた風景）に、フレームＦ２－６０の第２画像領域ａ２の画像データ（電車）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ２を生成する。
　フレームＦ４－６０も同様に、合成部７０３は、フレームＦ４－６０よりも時間的に１つ前のフレームＦ３の第１画像領域ａ１の画像データ（電車を除いた風景）に、フレームＦ４－６０の第２画像領域ａ２の画像データ（電車）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ４を生成する。そして、合成部７０３は、フレームＦ１～Ｆ５を含む第４動画データ７４０を出力する。
　このようにして、フレームＦ２－６０，Ｆ４－６０の補完領域７１２ｙに、時間的に１つ前の第１フレームレートのフレームＦ１、Ｆ３の第１画像領域ａ１を設定することにより、第１画像領域ａ１について、フレームＦ１，Ｆ２間の差分をほぼ０にし、フレームＦ３，Ｆ４間の差分をほぼ０にすることができる。これにより、違和感のない動画を再生することができる。
　したがって、第１フレーム７１１と第３フレーム７３０とが混在するフレーム列である第４動画データ７４０を再生することが可能となる。また、第１動画データ７２１および第２動画データ７２２をそれぞれ従来の圧縮伸張部７０２により伸張することができ、伸張処理の処理負荷の低減を図ることができる。また、３０［ｆｐｓ］で再生する場合は、圧縮伸張部７０２は、第１動画データ７２１のみ伸張するだけで、合成部７０３による合成は不要であるため、再生処理の効率化を図ることができる。
　なお、フレームＦ２では、フレームＦ１の第１画像領域ａ１の画像データ（電車を除いた風景）が複製される。したがって、本来フレームＦ１の第２画像領域ａ２だった部分（電車の末尾）がフレームＦ２に複製されない。このため、フレームＦ２は、何も出力されていない補完画像部分Ｄａ１を有する。
　同様に、フレームＦ４では、フレームＦ３の第１画像領域ａ１の画像データ（電車を除いた風景）が複製される。したがって、本来フレームＦ３の第２画像領域ａ２だった部分（電車の末尾）がフレームＦ４に複製されない。このため、フレームＦ４は、何も出力されていない補完画像部分Ｄａ３を有する。
　実施例１では、補完画像部分Ｄａ１，Ｄａ３については、合成部７０３は、塗りつぶした特定色のままでもよく、周辺画素を用いて補間処理を実行してもよい。これにより、動画圧縮が可能で、かつ、違和感がより少ないフレームＦ２，Ｆ４，…を再現することができる。
　図１１は、図７に示した合成部７０３における合成処理例２を示す説明図である。合成処理例２では、電子機器５００は、たとえば、ドライブレコーダであり、前方を走行する車（先行車）および風景を撮影する。この場合、先行車が追尾対象となる特定被写体であり、風景が自走により変化する。撮影により生成されたフレームＦは、時系列順にフレームＦ６，Ｆ７－６０，Ｆ８，Ｆ９－６０，Ｆ１０とする。
　フレームＦ６，Ｆ８，Ｆ１０は、第１撮像領域が３０［ｆｐｓ］の第１フレームレートの撮像で出力された第１画像領域ａ１の画像データと、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データ７１２と、を含む第１フレーム７１１である。フレームＦ７－６０，Ｆ９－６０は、第２撮像領域が６０［ｆｐｓ］の第２フレームレートの撮像で出力された第２画像領域ａ２の画像データ７１２である。
　具体的には、たとえば、フレームＦ６，Ｆ８，Ｆ１０は、第１画像領域ａ１に先行車が撮像され、第２画像領域ａ２に変わりゆく風景が撮像された第１フレーム７１１である。フレームＦ７－６０，Ｆ９－６０は、第２画像領域ａ２に風景が撮像されたフレームである。
　すなわち、フレームＦ６，Ｆ７－６０，Ｆ８，Ｆ９－６０，Ｆ１０において、風景が撮像された第２画像領域ａ２の画像データが、第２撮像領域（６０［ｆｐｓ］）の撮像で出力された画像データある。また、フレームＦ６，Ｆ８，Ｆ１０において、先行車が撮像された第１画像領域ａ１の画像データが、第１撮像領域（３０［ｆｐｓ］）の撮像で出力された動画データである。第１撮像領域は、第１フレームレート（３０［ｆｐｓ］）の撮像で出力されるため、第２フレームレート（６０［ｆｐｓ］）の撮像で出力されるフレームＦ７－６０，Ｆ９－６０の第１画像領域ａ１は、圧縮時に第１生成部７０１により黒塗りにされる。
　合成部７０３は、フレームＦ７－６０よりも時間的に１つ前のフレームＦ６の第１画像領域ａ１の画像データ（風景を除いた先行車）に、フレームＦ７－６０の第２画像領域ａ２の画像データ（風景）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ７を生成する。
　フレームＦ９も同様に、合成部７０３は、フレームＦ９－６０よりも時間的に１つ前のフレームＦ８の第１画像領域ａ１の画像データ（風景を除いた先行車）に、フレームＦ９－６０の第２画像領域ａ２の画像データ（風景）を複製する。これにより、合成部７０３は、第３フレーム７３０であるフレームＦ９を生成する。そして、合成部７０３は、フレームＦ６～Ｆ１０を含む第４動画データ７４０を出力する。
　このようにして、フレームＦ７－６０，Ｆ９－６０の補完領域７１２ｙに、時間的に１つ前の第１フレームレートのフレームＦ６，Ｆ８の第２画像領域ａ２を設定することにより、第１画像領域ａ１について、フレームＦ６，Ｆ７間の差分を０にし、フレームＦ８，Ｆ９間の差分を０にすることができる。
　したがって、第１フレーム７１１と画像データ７１２とが混在するフレーム列である第４動画データ７４０を再生することが可能となる。また、第１動画データ７２１および第２動画データ７２２をそれぞれ従来の圧縮伸張部７０２により伸張することができ、伸張処理の処理負荷の低減を図ることができる。また、３０［ｆｐｓ］で再生する場合は、圧縮伸張部７０２は、第１動画データ７２１のみ伸張するだけで、合成部７０３による合成は不要であるため、再生処理の効率化を図ることができる。
　＜制御部５０２の構成例＞
　図１２は、図５に示した制御部５０２の構成例を示すブロック図である。制御部５０２は、前処理部１２１０と、第１生成部７０１と、取得部１２２０と、圧縮伸張部７０２と、特定部１２４０と、合成部７０３と、再生部７０４と、を有する。制御部５０２は、プロセッサ１２０１、記憶デバイス１２０２、集積回路１２０３、およびこれらを接続するバス１２０４により構成される。なお、記憶デバイス１２０２、伸張部１２３４、特定部１２４０、合成部７０３、および再生部７０４は、電子機器５００とアクセス可能な他の装置に実装されていてもよい。
　前処理部１２１０、第１生成部７０１、取得部１２２０、圧縮伸張部７０２、特定部１２４０、合成部７０３、および再生部７０４は、記憶デバイス１２０２に記憶されたプログラムをプロセッサ１２０１に実行させることにより実現してもよく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの集積回路１２０３により実現してもよい。また、プロセッサ１２０１は、記憶デバイス１２０２をワークエリアとして利用してもよい。また、集積回路１２０３は、記憶デバイス１２０２を、画像データを含む各種データを一時的に保持するバッファとして利用してもよい。
　なお、少なくとも圧縮伸張部７０２内の圧縮部１２３１を含む装置は、動画圧縮装置となる。少なくとも圧縮伸張部７０２内の第２生成部１２３２を含む装置は、生成装置となる。また、少なくとも圧縮伸張部７０２内の伸張部１２３４を含む装置は、伸張装置となる。また、少なくとも再生部７０４を含む装置は、再生装置となる。
　前処理部１２１０は、撮像素子１００からの入力動画データ７１０について動画ファイル８００の生成の前処理を実行する。具体的には、たとえば、前処理部１２１０は、検出部１２１１と設定部１２１２とを有する。検出部１２１１は、上述した周知の被写体検出技術により、特定被写体を検出する。
　設定部１２１２は、撮像素子１００の撮像面２００のうち、特定被写体が検出された撮像領域を第１フレームレート（たとえば、３０［ｆｐｓ］）から第２フレームレート（たとえば、６０［ｆｐｓ］）に変更する。
　具体的には、たとえば、設定部１２１２は、入力フレームでの特定被写体が検出された撮像領域と入力済みフレームの特定被写体が検出された撮像領域との差分から特定被写体の動きベクトルを検出して、次の入力フレームでの特定被写体の撮像領域を予測する。設定部１２１２は、予測した撮像領域について第２フレームレートに変更する。設定部１２１２は、第１フレームレート（たとえば、３０［ｆｐｓ］）の画像領域と第２フレームレート（たとえば、６０［ｆｐｓ］）の画像領域とを示す情報をフレームＦに付与する。
　第１生成部７０１は、特定被写体が撮像された第２フレームレートの画像領域である画像データ７１２について、第２フレームレートの撮像で出力されかなった欠損領域７１２ｘを特定色で補完して、補完領域７１２ｙにする。具体的には、たとえば、図１０のフレームＦ２－６０、Ｆ４－６０では、６０［ｆｐｓ］の撮像で出力された特定被写体像である第２画像領域ａ２以外の画像領域（背景に相当）が補完領域７１２ｙである。
　また、図１１のフレームＦ７－６０、Ｆ９－６０では、６０［ｆｐｓ］で撮像された変わりゆく風景である第２画像領域ａ２以外の画像領域（先行車に相当）が補完領域７１２ｙである。第１生成部７０１は当該欠損領域７１２ｘを特定色に設定し、欠損領域７１２ｘを解消する。
　このように、特定色である補完領域７１２ｙの画像データは、第２撮像領域からの出力に基づかないデータであり、第２撮像領域からの出力データとは無関係な所定のデータとして構成される。
　取得部１２２０は、前処理部１２１０から出力された入力動画データ７１０、または、第１動画データ７２１および第２動画データ７２２を取得して、記憶デバイス１２０２に保持し、所定のタイミングで複数のフレームを時系列順に１フレームずつ圧縮伸張部７０２に出力する。具体的には、たとえば、取得部１２２０は、特定被写体が検出されていない場合は前処理部から入力動画データ７１０を取得し、特定被写体が検出された場合は、第１動画データ７２１および第２動画データ７２２を取得する。
　圧縮伸張部７０２は、圧縮部１２３１と第２生成部１２３２と選択部１２３３と伸張部１２３４と格納部１２３５とを有する。圧縮部１２３１は、取得部１２２０からの動画データを圧縮する。具体的には、たとえば、圧縮部１２３１は、特定被写体が検出されていない動画データを取得した場合、各フレームは、第１画像領域ａ１であるため、動き検出や動き補償が不要な圧縮処理を実行する。
　また、圧縮部１２３１は、第１動画データ７２１および第２動画データ７２２を取得した場合、第１動画データ７２１と第２動画データ７２２とをそれぞれ圧縮する。具体的には、たとえば、圧縮部１２３１は、第１動画データ７２１の場合、第１画像領域ａ１の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の領域については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。
　また、圧縮部１２３１は、第２動画データ７２２の場合も、補完領域７１２ｙ（黒塗り）の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の補完領域７１２ｙについては、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。また、補完領域７１２ｙが存在するため、第２フレーム７１３は、第１フレーム７１１と同様に、通常の動画圧縮処理の適用が可能となる。
　このように、第２フレームレート（６０［ｆｐｓ］）で得られた第２フレーム７１３は、第１フレームレート（３０［ｆｐｓ］）で得られた第１フレーム７１１と同サイズとなる。したがって、第２フレーム７１３は、第１フレーム７１１の圧縮処理と同じ圧縮処理が適用されるため、画像データ７１２のサイズに適合する他の圧縮処理を適用する必要がない。すなわち、圧縮部１２３１は、第１フレーム７１１で適用した圧縮処理を、第２フレーム７１３にもそのまま適用することができる。このため、画像データ７１２用の他の圧縮処理を実装する必要がない。
　第２生成部１２３２は、圧縮部１２３１で圧縮された動画データ（圧縮データ）を含む動画ファイル８００を生成する。具体的には、たとえば、第２生成部１２３２は、図８に示したようなファイルフォーマットに従って、動画ファイル８００を生成する。格納部１２３５は、生成した動画ファイル８００を記憶デバイス１２０２に格納する。
　なお、圧縮部１２３１は、たとえば、圧縮データをバッファメモリに格納し、第２生成部１２３２は、バッファメモリに格納された圧縮データを読み出して、動画ファイル８００を生成してもよい。
　選択部１２３３は、動画ファイル８００の再生指示を操作部５０５から受け付けて、伸張対象となる動画ファイル８００を記憶デバイス１２０２から読み出して、伸張部１２３４に渡す。伸張部１２３４は、選択部１２３３から渡された動画ファイル８００を、ファイルフォーマットに従って伸張する。
　すなわち、伸張部１２３４は、汎用の伸張処理を実行する。具体的には、たとえば、伸張部１２３４は、入力された圧縮フレームに可変長復号処理、逆量子化、逆変換を実行し、フレーム内予測またはフレーム間予測を適用して、圧縮フレームを元のフレームに伸張する。
　動画ファイル８００には、特定被写体が検出されていない動画データを圧縮した動画ファイル８００と、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００とがある。前者の動画ファイル８００は、本例では、３０［ｆｐｓ］のフレームレートの撮像で出力された、たとえば、電車が通過していない風景のみの定点撮影された動画データである。したがって、伸張部１２３４は、選択部１２３３が当該動画ファイル８００の再生指示の選択を受け付けると、当該動画ファイル８００をファイルフォーマットに従って伸張する。
　一方、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００は、第１動画データ７２１および第２動画データ７２２の圧縮動画データを含む。したがって、選択部１２３３は、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００の再生指示の選択を受け付けた場合には、当該再生指示で選択されているフレームレート（たとえば、３０［ｆｐｓ］，６０［ｆｐｓ］）を特定する。
　選択フレームレートが３０［ｆｐｓ］である場合、選択部１２３３は、第１動画データ７２１の圧縮データとして、動画ファイル８００のｍｄａｔ８２０内のＳＯＭ８５０ａ～ＥＯＭ８５４ａの間に存在するチャンク群を伸張部１２３４に渡す。これにより、伸張部１２３４は、第１動画データ７２１の圧縮データを第１動画データ７２１に伸張することができる。
　選択フレームレートが６０［ｆｐｓ］である場合、選択部１２３３は、第１動画データ７２１の圧縮データとして、動画ファイル８００のｍｄａｔ８２０内のＳＯＭ８５０ａ～ＥＯＭ８５４ａの間に存在するチャンク群を伸張部１２３４に渡すとともに、第２動画データ７２２の圧縮データとして、動画ファイル８００のｍｄａｔ８２０内のＳＯＭ８５０ｂ～ＥＯＭ８５４ｂの間に存在するチャンク群を伸張部１２３４に渡す。これにより、伸張部１２３４は、第１動画データ７２１の圧縮データを第１動画データ７２１に伸張し、かつ、第２動画データ７２２の圧縮データを第２動画データ７２２に伸張することができる。
　なお、このように、伸張部１２３４は、伸張対象の圧縮データが２つ存在する場合、第１動画データ７２１の圧縮データ，第２動画データ７２２の圧縮データの順（逆でもよい）に伸張してもよく、第１動画データ７２１の圧縮データ，第２動画データ７２２の圧縮データを並列に伸張してもよい。
　特定部１２４０は、伸張部１２３４で第１動画データ７２１および第２動画データ７２２が伸張された場合、第１動画データ７２１内の第１フレーム７１１（たとえば、図１０のフレームＦ１）と、第２動画データ７２２内の第２フレーム７１３（たとえば、図１０のフレームＦ２－６０）と、に基づいて、差分領域を特定する。
　差分領域とは、第１フレーム７１１における第２撮像領域に対応する第２画像領域ａ２と、第２フレーム７１３における第２撮像領域に対応する第２画像領域ａ２と、の差分を示す領域である。フレームＦ１とフレームＦ２－６０との差分領域は、フレームＦ２－６０における電車の後方の白点線矩形の領域Ｄａ１となる。フレームＦ３とフレームＦ４－６０との差分領域は、フレームＦ４－６０における電車の後方の白点線矩形の領域Ｄａ３となる。
　合成部７０３は、図７～図１１に示したように、第２フレーム７１３（たとえば、図１０のフレームＦ２－６０）に、時間的に１つ前の第１画像領域ａ１の画像データを含む第１フレーム７１１（たとえば、図１０のフレームＦ１）を複製して合成し、第３フレーム７３０（たとえば、図１０のフレームＦ２）を生成する。なお、合成部７０３は、特定部１２４０で特定された差分領域（Ｄａ１，Ｄａ３）に、第１フレーム７１１において当該差分領域と同一位置における第２画像領域ａ２の画像データ（電車の末尾部分）を複製してもよい。これにより、時間的に連続する第１フレーム７１１と第３フレーム７３０との差分をほぼ０にすることができる。したがって、違和感のない動画を再生することができる。
　なお、特定部１２４０および合成部７０３において、フレームＦ２－６０の第１動画データ７２１への挿入位置は、付加情報８３５の挿入位置情報９２０で特定される。たとえば、フレームＦ１、Ｆ３のフレーム番号がそれぞれ＃４ａ，＃５ａ、フレームＦ２－６０のフレーム番号が＃２ｂとすると、挿入フレーム番号９２１の値＃２ｂの挿入位置９２２は（＃４ａ，＃５ａ）となる。したがって、フレームＦ２－６０の挿入位置は、フレームＦ１、Ｆ３の間と特定される。
　＜圧縮部１２３１の構成例＞
　図１３は、圧縮部１２３１の構成例を示すブロック図である。上述したように、圧縮部１２３１は、動き補償フレーム間予測（ＭＣ）と離散コサイン変換（ＤＣＴ）とに、エントロピー符号化を組み合わせたハイブリッド符号化によって、取得部１２２０からの各フレームＦを圧縮する。
　圧縮部１２３１は、減算部１３０１と、ＤＣＴ部１３０２と、量子化部１３０３と、エントロピー符号化部１３０４と、符号量制御部１３０５と、逆量子化部１３０６と、逆ＤＣＴ部１３０７と、生成部１３０８と、フレームメモリ１３０９と、動き検出部１３１０と、動き補償部１３１１と、圧縮制御部１３１２と、を有する。減算部１３０１～動き補償部１３１１は、既存の圧縮器と同様な構成である。
　具体的には、たとえば、減算部１３０１は、入力フレームから、当該入力フレームを予測する動き補償部１３１１からの予測フレームを減算して差分データを出力する。ＤＣＴ部１３０２は、減算部１３０１からの差分データを離散コサイン変換する。
　量子化部１３０３は、離散コサイン変換された差分データを量子化する。エントロピー符号化部１３０４は、量子化された差分データをエントロピー符号化し、また、動き検出部１３１０からの動きベクトルもエントロピー符号化する。
　符号量制御部１３０５は、量子化部１３０３による量子化を制御する。逆量子化部１３０６は、量子化部１３０３で量子化された差分データを逆量子化して、離散コサイン変換された差分データにする。逆ＤＣＴ部１３０７は、逆量子化された差分データを逆離散コサイン変換する。
　生成部１３０８は、逆離散コサイン変換された差分データと、動き補償部１３１１からの予測フレームとを加算して、当該入力フレームよりも時間的に後に入力されるフレームが参照する参照フレームを生成する。フレームメモリ１３０９は、生成部１３０８から得られた参照フレームを保持する。動き検出部１３１０は、入力フレームと参照フレームとを用いて、動きベクトルを検出する。動き補償部１３１１は、参照フレームと動きベクトルとを用いて、予測フレームを生成する。
　動き補償部１３１１は、具体的には、たとえば、フレームメモリ１３０９に保持された複数の参照フレームのうち特定の参照フレームと動きベクトルとを用いて、第２フレームレートの撮像で出力されたフレームの動き補償を実行する。参照フレームを特定の参照フレームとすることにより、特定の参照フレーム以外の他の参照フレームをも用いた高負荷の動き補償を抑制することができる。また、特定の参照フレームを、入力フレームの時間的に１つ前のフレームから得られた１枚の参照フレームとすることにより、高負荷な動き補償を回避して、動き補償の処理負荷の低減を図ることができる。
　圧縮制御部１３１２は、動き検出部１３１０と動き補償部１３１１を制御する。具体的には、たとえば、圧縮制御部１３１２は、動き検出部１３１０で動きがないことを示す特定の動きベクトルを設定する第１圧縮制御方法と、動き検出自体をスキップする第２圧縮制御方法を実行する。
　第１圧縮制御方法について説明する。第１動画データ７２１の場合、圧縮制御部１３１２は、動き検出部１３１０を制御して、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１については、動きベクトルの検出ではなく、動きがないことを示す特定の動きベクトルを設定して、動き補償部１３１１に出力する。また、圧縮制御部１３１２は、動き検出部１３１０を制御して、第２フレームレート（たとえば、６０［ｆｐｓ］）の撮像で出力された第２画像領域ａ２については、動きベクトルを検出して、動き補償部１３１１に出力する。特定の動きベクトルは、方向が規定されず、かつ、動き量が０の動きベクトルである。このように、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１については、動きベクトルの検出は行わない。
　この場合、圧縮制御部１３１２は、動き補償部１３１１を制御して、第１画像領域ａ１の画像データについては、特定の動きベクトルと参照フレームとに基づいて動き補償を実行する。圧縮制御部１３１２は、第２画像領域ａ２の画像データについては、動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。なお、第２動画データ７２２の場合は、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１を特定色で塗りつぶした領域に置き換えればよい。
　第２圧縮制御方法について説明する。第１動画データ７２１の場合、圧縮制御部１３１２は、動き検出部１３１０を制御して、補完領域７１２ｙの画像データについては、動きベクトルの検出を実行しない。また、圧縮制御部１３１２は、動き検出部１３１０を制御して、第２フレームレート（たとえば、６０［ｆｐｓ］）の撮像で出力された第２画像領域ａ２については、動きベクトルの検出を実行する。
　この場合、圧縮制御部１３１２は、動き補償部１３１１を制御して、第１画像領域ａ１の画像データについては、参照フレームに基づいて動き補償を実行する。すなわち、動きベクトルがないため、圧縮制御部１３１２は、動き補償部１３１１を制御して、補完領域７１２ｙの画像データについては、参照フレームを、入力フレームの時間的に１つ後のフレームを予測する予測フレームに決定する。
　また、圧縮制御部１３１２は、動き補償部１３１１を制御して、第２画像領域ａ２の画像データについては、参照フレームと動き検出部１３１０によって検出された動きベクトルに基づいて動き補償を実行する。なお、第２動画データ７２２の場合は、第１フレームレート（たとえば、３０［ｆｐｓ］）の撮像で出力された第１画像領域ａ１を補完領域７１２ｙに置き換えればよい。
　第１圧縮制御方法によれば、動きベクトルが特定の動きベクトルであるため、第１画像領域ａ１および補完領域７１２ｙでの動き検出が簡略化される。したがって、動画圧縮の処理負荷の低減を図る。また、第２圧縮制御方法によれば、第１画像領域ａ１および補完領域７１２ｙについて動き検出自体が実行されないため、第１圧縮制御方法よりも、動画圧縮の処理負荷の低減を図る。
　＜制御部５０２の動作処理手順例＞
　図１４は、制御部５０２の動作処理手順例を示すシーケンス図である。図１４では、説明の便宜上、取得部１２２０を省略する。前処理部１２１０は、たとえば、ユーザが操作部５０５を操作することにより、または、ステップＳ１４１２の特定被写体の非検出の場合（ステップＳ１４１２：Ｙｅｓ）は自動で、撮像素子１００の撮像面２００全域の撮像条件を第１フレームレート（たとえば、３０［ｆｐｓ］）に設定する（ステップＳ１４０１）。
　これにより、撮像素子１００では、撮像面２００全域の撮像条件が第１フレームレートに設定され（ステップＳ１４０２）、撮像素子１００は、被写体を第１フレームレートで撮像して、入力動画データ７１０を前処理部１２１０に出力する（ステップＳ１４０３）。
　前処理部１２１０は、入力動画データ７１０が入力されると（ステップＳ１４０３）、設定処理を実行する（ステップＳ１４０４）。設定処理（ステップＳ１４０４）は、入力動画データ７１０の各フレームに、フレームレートを設定する。たとえば、第１フレームレート（たとえば、３０［ｆｐｓ］）が付加された画像領域は、第１画像領域ａ１として認識され、第２フレームレート（たとえば、６０［ｆｐｓ］）が付加された画像領域は、第２画像領域ａ２として認識される。
　また、前処理部１２１０は、入力動画データ７１０を第１生成部７０１に出力する（ステップＳ１４０５）。また、前処理部１２１０は、設定処理（ステップＳ１４０４）で次の入力フレームの第２フレームレートの画像領域が検出されなかった場合（ステップＳ１４０６：Ｎｏ）、ステップＳ１４０３の入力動画データ７１０の入力を待ち受ける。一方、前処理部１２１０は、設定処理（ステップＳ１４０４）で次の入力フレームの第２フレームレートの画像領域が検出された場合（ステップＳ１４０６：Ｙｅｓ）、特定被写体を含む第２画像領域ａ２を第２フレームレート（たとえば、６０［ｆｐｓ］）に設定変更する（ステップＳ１４０７）。
　そして、ステップＳ１４０７の設定変更内容にしたがって撮像面２００全域のうち第２撮像領域の撮像条件が第２フレームレートに設定される（ステップＳ１４０８）。これにより、撮像素子１００は、撮像素子１００は、被写体を第１撮像領域では第１フレームレートで撮像し、第２撮像領域では第２フレームレートで撮像して、入力動画データ７１０を前処理部１２１０に出力する（ステップＳ１４０９）。
　前処理部１２１０は、入力動画データ７１０が入力されると（ステップＳ１４０９）、設定処理を実行する（ステップＳ１４１０）。設定処理（ステップＳ１４１０）は、設定処理（ステップＳ１４０４）と同一処理である。設定処理（ステップＳ１４１０）の詳細については、図１５で後述する。前処理部１２１０は、入力動画データ７１０を第１生成部７０１に出力する（ステップＳ１４１１）。
　前処理部１２１０は、特定被写体が非検出になった場合（ステップＳ１４１２：Ｙｅｓ）、ステップＳ１４０１に戻り、撮像面２００全域を第１フレームレートに設定変更する（ステップＳ１４０１）。一方、特定被写体が検出され続けている場合（ステップＳ１４１２：Ｎｏ）、ステップＳ１４０７に戻り、特定被写体の検出位置に応じた第２画像領域ａ２を第２フレームレートに変更する（ステップＳ１４０７）。なお、この場合、特定被写体が検出されなくなった画像領域については、前処理部１２１０は、第１フレームレートに設定変更する。
　また、第１生成部７０１は、入力動画データ７１０が入力されると（ステップＳ１４０５）、補完処理を実行する（ステップＳ１４１３）。なお、補完処理（ステップＳ１４１３）では、第１生成部７０１は、各フレームのフレームレートを参照して、入力動画データ７１０の各フレームは、第１フレーム７１１のみであると特定する。
　したがって、特定被写体が撮像されていないため画像データ７１２が存在しない。したがって、第１生成部７０１は、画像データ７１２を補完しない。補完処理（ステップＳ１４１３）の詳細については、図１８で後述する。第１生成部７０１は、入力動画データ７１０を圧縮部１２３１に出力する（ステップＳ１４１４）。
　また、第１生成部７０１は、入力動画データ７１０が入力されると（ステップＳ１４１１）、補完処理を実行する（ステップＳ１４１５）。なお、補完処理（ステップＳ１４１５）では、第１生成部７０１は、各フレームのフレームレートを参照して、入力動画データ７１０の各フレームは、第１フレーム７１１および画像データ７１２を含むと判断する。
　したがって、第１フレーム７１１および画像データ７１２に特定被写体が撮像されているため、第１生成部７０１は、第２フレーム７１３を生成する。補完処理（ステップＳ１４１５）の詳細については、図１８で後述する。第１生成部７０１は、第１フレーム７１１および第２フレーム７１３を圧縮部１２３１に出力する（ステップＳ１４１６）。
　圧縮部１２３１および第２生成部１２３２は、入力動画データ７１０が入力されると（ステップＳ１４１４）、入力動画データ７１０の動画ファイル生成処理を実行する（ステップＳ１４１７）。入力動画データ７１０は、第１フレーム７１１のみで構成されるため、圧縮部１２３１は、圧縮処理（ステップＳ１４１７）において、動き検出や動き補償が不要な圧縮符号化を実行する。動画ファイル生成処理（ステップＳ１４１７）の詳細については、図１８～図２４で後述する。
　また、圧縮部１２３１および第２生成部１２３２は、第１動画データ７２１および第２動画データ７２２が入力されると（ステップＳ１４１６）、第１動画データ７２１および第２動画データ７２２の動画ファイル生成処理を実行する（ステップＳ１４１８）。第１動画データ７２１は、第１フレーム７１１で構成され、第２動画データ７２２は、第２フレーム７１３で構成される。
　圧縮部１２３１は、動画ファイル生成処理（ステップＳ１４１８）において、圧縮対象が第１動画データ７２１である場合、第１画像領域ａ１の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の領域については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。
　また、圧縮部１２３１は、圧縮対象が第２動画データ７２２である場合も、補完領域７１２ｙ（黒塗り）の画像データについては、動き検出や動き補償が不要な圧縮処理を実行し、特定被写体が撮像された第２画像領域ａ２の画像データについては、上述したハイブリッド符号化によって圧縮する。このように、特定被写体像以外の領域については、動き検出や動き補償が実行されないため、動画圧縮の処理負荷の低減を図る。動画ファイル生成処理（ステップＳ１４１８）の詳細については、図１８～図２４で後述する。
　＜設定処理（ステップＳ１４０４、Ｓ１４１０）＞
　図１５は、図１４に示した設定処理（ステップＳ１４０４、Ｓ１４１０）の詳細な処理手順例を示すフローチャートである。図１５では、撮像素子１００には、あらかじめ第１フレームレート（例：３０［［ｆｐｓ］）が設定されており、検出部１２１１の被写体検出技術により第２フレームレート（例：６０［［ｆｐｓ］）の画像領域を追尾して、撮像素子１００にフィードバックする。なお、第１フレームレートおよび第２フレームレートの画像領域は、常時固定でもよい。
　前処理部１２１０は、入力動画データ７１０を構成するフレームの入力を待ち受け（ステップＳ１５０１）、フレームが入力された場合（ステップＳ１５０１：Ｙｅｓ）、検出部１２１１により主要被写体などの特定被写体が検出されたか否かを判断する（ステップＳ１５０２）。特定被写体が検出されていない場合（ステップＳ１５０２：Ｎｏ）、ステップＳ１５０４に移行する。
　一方、特定被写体が検出された場合（ステップＳ１５０２：Ｙｅｓ）、前処理部１２１０は、検出部１２１１により、時間的に１つ前のフレーム（たとえば、参照フレーム）と入力フレームとを比較して動きベクトルを検出し、次の入力フレームでの第２フレームレートの画像領域を予測し、撮像素子１００に出力し、ステップＳ１５０４に移行する（ステップＳ１５０３）。これにより、撮像素子１００は、予測された画像領域に対応する撮像領域を構成するブロック２０２の撮像条件を第２フレームレートに設定し、残余のブロック２０２の撮像条件を第１フレームレートに設定して、被写体を撮像することができる。
　そして、前処理部１２１０は、入力フレームについてフレームレート設定処理を実行し（ステップＳ１５０４）、ステップＳ１５０１に戻る。フレームレート設定処理（ステップＳ１５０５）は、上述したフレームレートをフレームＦに設定する処理であり、図１６で詳細に説明する。
　フレームＦの入力がない場合（ステップＳ１５０１：Ｎｏ）、入力動画データ７１０の入力が終了しているため、前処理部１２１０は、設定処理（ステップＳ１４０４、Ｓ１４１０）を終了する。
　＜フレームレート設定処理（ステップＳ１５０４）＞
　図１６は、図１５に示したフレームレート設定処理（ステップＳ１５０４）の詳細な処理手順例を示すフローチャートである。前処理部１２１０は、フレームが入力されると（ステップＳ１６０１）、入力フレームに未選択画像領域があるか否かを判断する（ステップＳ１６０２）。未選択画像領域がある場合（ステップＳ１６０２：Ｙｅｓ）、前処理部１２１０は、未選択画像領域を１つ選択し（ステップＳ１６０３）、特定被写体の検出フラグがＯＮであるか否かを判断する（ステップＳ１６０４）。検出フラグは、特定被写体の検出の有無を示す情報であり、デフォルトはＯＦＦ（非検出）である。
　図１４のステップＳ１４０６で特定被写体が検出された場合（ステップＳ１４０６：Ｙｅｓ）、前処理部１２１０は、検出フラグをＯＦＦからＯＮ（検出中）に変更する。ステップＳ１４１２で特定被写体が非検出となった場合（ステップＳ１４１２：Ｙｅｓ）、前処理部１２１０は、検出フラグをＯＮからＯＦＦに変更する。
　検出フラグがＯＦＦである場合（ステップＳ１６０４：Ｎｏ）、選択画像領域について第１フレームレートを示す情報を入力フレームに設定し（ステップＳ１６０５）、ステップＳ１６０２に戻る。一方、検出フラグがＯＮである場合（ステップＳ１６０４：Ｙｅｓ）、前処理部１２１０は、選択画像領域は、特定被写体像が存在する画像領域であるか否かを判断する（ステップＳ１６０６）。
　特定被写体像が存在しない場合（ステップＳ１６０６：Ｎｏ）、ステップＳ１６０２に戻る。一方、特定被写体像が存在する場合（ステップＳ１６０６：Ｙｅｓ）、前処理部１２１０は、選択画像領域について第２フレームレートを示す情報を入力フレームに設定し（ステップＳ１６０７）、ステップＳ１６０２に戻る。
　ステップＳ１６０２において、未選択画像領域がない場合（ステップＳ１６０２：Ｎｏ）、前処理部１２１０は、フレームレート設定処理を終了する。このあと、前処理部１２１０は、フレームレートを撮像素子１００に設定する（ステップＳ１４０１、Ｓ１４０７）。
　各フレームの画像領域ごとに、フレームレートを示す情報を設定することにより、前処理部１２１０は、どの画像領域に対応する撮像素子１００の撮像領域をどのフレームレートに設定すればよいかを特定することができる。また、第１生成部７０１および圧縮部１２３１は、入力されたフレームＦの各画像領域のフレームレートを特定することができる。
　＜補完処理（ステップＳ１４１３，Ｓ１４１５）＞
　図１７は、第１生成部７０１による補完処理手順例を示すフローチャートである。第１生成部７０１は、フレームＦの入力を受け付けると（ステップＳ１７０１）、入力フレームのフレームレートを参照する（ステップＳ１７０２）。第２フレームレート（６０［ｆｐｓ］）のみでない場合（ステップＳ１７０３：Ｎｏ）、第１生成部７０１は、補完処理を実行せずに終了する。第２フレームレート（６０［ｆｐｓ］）のみである場合（ステップＳ１７０３：Ｙｅｓ）、入力フレームは画像データ７１２であるため、第１生成部７０１は、補完処理を実行して、入力フレームを第２フレーム７１３にする（ステップＳ１７０４）。これにより、図１０に示したフレームＦ２－６０、フレームＦ４－６０、図１１に示したフレームＦ７－６０、フレームＦ９－６０を生成することができる。
　＜動画ファイル生成処理（ステップＳ１４１７、Ｓ１４１８）＞
　図１８は、図１４に示した動画ファイル生成処理（ステップＳ１４１７、Ｓ１４１８）の詳細な処理手順例を示すフローチャートである。圧縮部１２３１は、第１フレーム７１１からなる第１動画データ７２１の圧縮と、第２フレーム７１３からなる第２動画データ７２２の圧縮と、を別々に行うことになる。圧縮部１２３１は、フレームＦの入力を受け付けると（ステップＳ１８０１）、入力フレームについて圧縮符号化を実行する（ステップＳ１８０２）。圧縮符号化の詳細な制御内容については、図１９～図２４を用いて後述する。
　このあと、第２生成部１２３２は、圧縮符号化したデータから、図８に示したｕｕｉｄ８３１，ｕｄｔａ８３２，ｍｖｈｄ８３３，ｔｒａｋ８３４などのメタデータを生成する（ステップＳ１８０３）。なお、第２生成部１２３２は、圧縮前の情報が必要なメタデータについては、ステップＳ１８０３を、圧縮符号化（ステップＳ１８０２）の前に実行してもよい。
　第２生成部１２３２は、フレームＦに付与されたフレームレートを示す情報を参照して、撮像条件情報９１０を生成し（ステップＳ１８０４）、チャンクの位置情報（ｓｔｓｚ８４７およびｓｔｃｏ８４８）を参照し、第２フレーム７１３の挿入先を特定して、挿入位置情報を生成する（ステップＳ１８０５）。ステップＳ１８０４、Ｓ１８０５により付加情報８３５が生成される。そして、第２生成部１２３２は、ヘッダ部８０１とデータ部８０２とを合わせて動画ファイル８００を生成し（ステップＳ１８０６）、記憶デバイス１２０２に格納する（ステップＳ１８０７）。
　＜圧縮処理例：第１圧縮制御方法＞
　つぎに、図１８に示した圧縮部１２３１による圧縮符号化（ステップＳ１８０２）を第１圧縮制御方法と第２圧縮制御方法に分けて説明する。
　図１９は、圧縮制御部１３１２による第１圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。圧縮制御部１３１２は、入力フレーム（第１フレーム７１１または第２フレーム７１３）を取得し（ステップＳ１９０１）、取得した入力フレームから未選択画像領域を選択する（ステップＳ１９０２）。そして、圧縮制御部１３１２は、選択画像領域のフレームレートを入力フレームから参照する（ステップＳ１９０３）。
　なお、入力フレームが第１フレーム７１１である場合、選択画像領域は、第１フレームレートの撮像で出力された第１画像領域ａ１または第２フレームレートの撮像で出力された第２画像領域ａ２となる。また、入力フレームが第２フレーム７１３である場合、選択画像領域は、第１フレームレートの撮像で出力された第１画像領域ａ１に対応する補完領域７１２ｙまたは第２フレームレートの撮像で出力された第２画像領域ａ２となる。
　選択画像領域のフレームレートが第２フレームレートである場合（ステップＳ１９０３：第２ＦＲ）、圧縮制御部１３１２は、選択画像領域の画像データを動き検出部１３１０に出力する（ステップＳ１９０４）。これにより、動き検出部１３１０は、第２フレームレートの選択画像領域については、通常通り、参照フレームを用いて動きベクトルを検出する。
　一方、選択画像領域のフレームレートが第１フレームレートである場合（ステップＳ１９０３：第１ＦＲ）、圧縮制御部１３１２は、第１フレームレートの選択画像領域にスキップフラグを設定して、動き検出部１３１０に出力する（ステップＳ１９０５）。これにより、動き検出部１３１０は、第１フレームレートの選択画像領域については、動きがないことを示す特定の動きベクトルを設定することになる。
　ステップＳ１９０４またはＳ１９０５のあと、圧縮制御部１３１２は、取得した入力フレームに未選択画像領域があるか否かを判断する（ステップＳ１９０６）。未選択画像領域がある場合（ステップＳ１９０６：Ｙｅｓ）、ステップＳ１９０２に戻る。一方、未選択画像領域がない場合（ステップＳ１９０６：Ｎｏ）、圧縮制御部１３１２は、一連の処理を終了する。
　図２０は、動き検出部１３１０による第１圧縮制御方法の動き検出処理手順例を示すフローチャートである。動き検出部１３１０は、入力フレームよりも時間的に１つ前の参照フレームをフレームメモリ１３０９から取得し（ステップＳ２００１）、図１９のステップＳ１９０４またはＳ１９０５で出力された選択画像領域の入力を待ち受ける（ステップＳ２００２：Ｎｏ）。
　選択画像領域が入力された場合（ステップＳ２００２：Ｙｅｓ）、動き検出部１３１０は、選択画像領域と同一箇所の画像領域の画像データを参照フレームから取得する（ステップＳ２００３）。そして、動き検出部１３１０は、選択画像領域にスキップフラグがあるか否かを判断する（ステップＳ２００４）。スキップフラグがない場合（ステップＳ２００４：Ｎｏ）、選択画像領域のフレームレートが第２フレームレートである。したがって、動き検出部１３１０は、選択画像領域の画像データと、ステップＳ２００３で取得した参照フレームの画像領域の画像データとを用いて、動きベクトルを検出する（ステップＳ２００５）。
　一方、スキップフラグがある場合（ステップＳ２００４：Ｙｅｓ）、動き検出部１３１０は、動きがないことを示す特定の動きベクトルを設定する（ステップＳ２００６）。これにより、動き検出部１３１０での動き検出処理は、常に、動きがないことを示す特定の動きベクトルを用いるため、第１フレームレートの選択画像領域について、動き検出の処理負荷が低減される。そして、動き検出部１３１０は、ステップＳ２００５またはＳ２００６で得られた動きベクトルを動き補償部１３１１に出力して（ステップＳ２００７）、一連の処理を終了する。
　図２１は、動き補償部１３１１による第１圧縮制御方法の動き補償処理手順例を示すフローチャートである。動き補償部１３１１は、フレームメモリ１３０９から参照フレームを取得する（ステップＳ２１０１）。動き補償部１３１１は、選択画像領域と同一箇所の画像領域を参照フレームから取得する（ステップＳ２１０２）。
　そして、動き補償部１３１１は、動き検出部１３１０からの選択画像領域についての動きベクトルと、ステップＳ２１０２で取得された参照フレームの画像領域とを用いて、動き補償を実行する（ステップＳ２１０３）。これにより、動き補償部１３１１は、選択画像領域における予測画像データを生成することができる。
　そして、動き補償部１３１１は、全選択画像領域の動き補償が終了したか否かを判断する（ステップＳ２１０４）。具体的には、たとえば、圧縮制御部１３１２がステップＳ１９０６で未選択画像領域があると判断した場合に（ステップＳ１９０６：Ｙｅｓ）、動き補償部１３１１は、全選択画像領域の動き補償が終了していないと判断し（ステップＳ２１０４：Ｎｏ）、ステップＳ２１０２に戻る。
　一方、圧縮制御部１３１２がステップＳ１９０６で未選択画像領域がないと判断した場合に（ステップＳ１９０６：Ｎｏ）、動き補償部１３１１は、全選択画像領域の動き補償が終了したと判断する（ステップＳ２１０４：Ｙｅｓ）。そして、動き補償部１３１１は、全選択画像領域についての予測画像データを結合した予測フレームを減算部１３０１および生成部１３０８に出力して（ステップＳ２１０５）、一連の処理を終了する。
　＜圧縮処理例：第２圧縮制御方法＞
　図２２は、圧縮制御部１３１２による第２圧縮制御方法の圧縮制御処理手順例を示すフローチャートである。圧縮制御部１３１２は、入力フレームを取得し（ステップＳ２２０１）、取得した入力フレームから未選択画像領域を選択する（ステップＳ２２０２）。そして、圧縮制御部１３１２は、選択画像領域のフレームレートを入力フレームから参照する（ステップＳ２２０３）。
　選択画像領域のフレームレートが第２フレームレートである場合（ステップＳ２２０３：第２ＦＲ）、圧縮制御部１３１２は、選択画像領域を動き検出部１３１０に出力する（ステップＳ２２０４）。これにより、動き検出部１３１０は、第２フレームレートの選択画像領域については、通常通り、参照フレームを用いて動きベクトルを検出する。
　一方、選択画像領域のフレームレートが第１フレームレートである場合（ステップＳ２２０３：第１ＦＲ）、圧縮制御部１３１２は、第１フレームレートの選択画像領域にスキップフラグを設定して、動き検出部１３１０に出力する（ステップＳ２２０５）。これにより、動き検出部１３１０は、第１フレームレートの選択画像領域については、動き検出を実行しないことになる。そして、圧縮制御部１３１２は、選択画像領域の動き補償停止指示を発行して、動き補償部１３１１に出力する（ステップＳ２２０６）。これにより、当該選択画像領域について動き補償の実行を停止することができる。
　ステップＳ２２０４またはＳ２２０６のあと、圧縮制御部１３１２は、取得した入力フレームに未選択画像領域があるか否かを判断する（ステップＳ２２０７）。未選択画像領域がある場合（ステップＳ２２０７：Ｙｅｓ）、ステップＳ２２０２に戻る。一方、未選択画像領域がない場合（ステップＳ２２０７：Ｎｏ）、圧縮制御部１３１２は、一連の処理を終了する。
　図２３は、動き検出部１３１０による第２圧縮制御方法の動き検出処理手順例を示すフローチャートである。動き検出部１３１０は、入力フレームＦよりも時間的に１つ前の参照フレームをフレームメモリ１３０９から取得し（ステップＳ２３０１）、図２２のステップＳ２２０４またはＳ２２０５で出力された選択画像領域の入力を待ち受ける（ステップＳ２３０２：Ｎｏ）。
　選択画像領域が入力された場合（ステップＳ２３０２：Ｙｅｓ）、動き検出部１３１０は、選択画像領域と同一箇所の画像領域の画像データを参照フレームから取得する（ステップＳ２３０３）。そして、動き検出部１３１０は、選択画像領域にスキップフラグがあるか否かを判断する（ステップＳ２３０４）。スキップフラグがない場合（ステップＳ２３０４：Ｎｏ）、選択画像領域のフレームレートが第２フレームレートである。したがって、動き検出部１３１０は、選択画像領域の画像データと、ステップＳ２００３で取得した参照フレームの画像領域の画像データとを用いて、動きベクトルを検出する（ステップＳ２３０５）。
　そして、動き検出部１３１０は、ステップＳ２３０５で得られた動きベクトルを動き補償部１３１１に出力して（ステップＳ２３０６）、一連の処理を終了する。一方、スキップフラグがある場合（ステップＳ２３０４：Ｙｅｓ）、動き検出部１３１０は、動き検出を実行せずに、一連の処理を終了する。
　図２４は、動き補償部１３１１による第２圧縮制御方法の動き補償処理手順例を示すフローチャートである。動き補償部１３１１は、フレームメモリ１３０９から参照フレームを取得する（ステップＳ２４０１）。動き補償部１３１１は、選択画像領域と同一箇所の画像領域を参照フレームから取得する（ステップＳ２４０２）。
　そして、動き補償部１３１１は、選択画像領域についての動き補償のトリガ入力が動きベクトルか動き補償停止指示のいずれかであるかを判断する（ステップＳ２４０３）。トリガ入力が動きベクトルである場合（ステップＳ２４０３：動きベクトル）、動き補償部１３１１は、動き検出部１３１０からの選択画像領域についての動きベクトルと、ステップＳ２４０２で取得された参照フレームの画像領域とを用いて、動き補償を実行する（ステップＳ２４０４）。これにより、動き補償部１３１１は、選択画像領域における予測画像データを生成することができる。
　一方、トリガ入力が動き補償停止指示である場合（ステップＳ２４０３：動き補償停止指示）、動き補償部１３１１は、取得画像領域の画像データを予測画像領域の画像データ（予測画像データ）に決定する（ステップＳ２４０５）。
　そして、動き補償部１３１１は、ステップＳ２４０４またはＳ２４０５のあと、全選択画像領域の動き補償が終了したか否かを判断する（ステップＳ２４０６）。具体的には、たとえば、圧縮制御部１３１２がステップＳ２２０７で未選択画像領域があると判断した場合に（ステップＳ２００７：Ｙｅｓ）、動き補償部１３１１は、全選択画像領域の動き補償が終了していないと判断し（ステップＳ２４０６：Ｎｏ）、ステップＳ２４０２に戻る。
　一方、圧縮制御部１３１２がステップＳ２２０７で未選択画像領域がないと判断した場合に（ステップＳ２２０７：Ｎｏ）、動き補償部１３１１は、全選択画像領域の動き補償が終了したと判断する（ステップＳ２４０６：Ｙｅｓ）。そして、動き補償部１３１１は、全選択画像領域についての予測画像データを結合した予測フレームを減算部１３０１および生成部１３０８に出力して（ステップＳ２４０７）、一連の処理を終了する。
　＜伸張から再生までの処理＞
　図２５は、伸張から再生までの処理手順例を示すフローチャートである。選択部１２３３は、操作部５０５から再生指示の選択を待ち受け（ステップＳ２５０１：Ｎｏ）、再生指示の選択があった場合（ステップＳ２５０１：Ｙｅｓ）、選択部１２３３は、再生対象となる動画ファイル８００のフレームレートが選択可能か否かを判断する（ステップＳ２５０２）。選択可能でない場合（ステップＳ２５０２：Ｎｏ）、動画ファイル８００は、第１フレームレート（３０［ｆｐｓ］）のみのフレーム群を圧縮した動画ファイル８００である。この場合、伸張部１２３４は、当該動画ファイル８００を伸張し（ステップＳ２５０４）、ステップＳ２５０８に移行する。
　一方、ステップＳ２５０２で選択可能である場合（ステップＳ２５０２：Ｙｅｓ）、選択部１２３３は、選択されたフレームレートが第１フレームレート（３０［ｆｐｓ］）であるか否かを判断する（ステップＳ２５０３）。第１フレームレート（３０［ｆｐｓ］）が選択された場合（ステップＳ２５０３：Ｙｅｓ）、再生対象となる動画ファイル８００は、第１動画データ７２１を圧縮した動画ファイル８００である。したがって、伸張部１２３４は、当該動画ファイル８００を伸張して（ステップＳ２５０４）、ステップＳ２５０８に移行する。
　一方、第２フレームレート（６０［ｆｐｓ］）が選択された場合（ステップＳ２５０３：Ｎｏ）、再生対象となる動画ファイル８００は、第１動画データ７２１および第２動画データ７２２を圧縮した動画ファイル８００である。したがって、伸張部１２３４は、当該動画ファイル８００を伸張して、第１動画データ７２１および第２動画データ７２２を出力する（ステップＳ２５０５）。
　そして、特定部１２４０は、ステップＳ２５０５で伸張された第１動画データ７２１および第２動画データ７２２を参照して、差分領域を特定する（ステップＳ２５０６）。このあと、合成部７０３は、図１０、図１１に示したように、第１動画データ７２１および第２動画データ７２２の合成処理を実行する（ステップＳ２５０７）。合成処理（ステップＳ２５０７）の詳細については、図２６で後述する。最後に、再生部７０４は、合成処理（ステップＳ２５０７）またはステップＳ２５０４で得られた動画データを液晶モニタに再生する（ステップＳ２５０８）。
　＜合成処理（ステップＳ２５０７）＞
　図２６は、図２５に示した合成処理（ステップＳ２５０７）の詳細な処理手順例を示すフローチャートである。合成部７０３は、挿入位置情報９２０に従い、フレームＦの出力順を設定する（ステップＳ２６０１）。つぎに、合成部７０３は、再生部７０４へ未出力の残存フレームがあるか否かを判断する（ステップＳ２６０２）。残存フレームがある場合（ステップＳ２６０２：Ｙｅｓ）、合成部７０３は、出力順でフレームを取得する（ステップＳ２６０３）。
　合成部７０３は、たとえば、ｕｕｉｄ８３１に書き込まれたフレーム種別識別情報を参照して、取得フレームが第２フレーム７１３であるか否かを判断する（ステップＳ２６０４）。第２フレーム７１３でない場合（ステップＳ２６０４：Ｎｏ）、取得フレームは第１フレーム７１１であるため、合成部７０３は、取得フレームを再生対象として再生部７０４に出力し、バッファに書き込む（ステップＳ２６０５）。そして、ステップＳ２６０２に戻る。
　一方、ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、合成部７０３は、バッファ内のフレームと、取得フレームとを合成して、第３フレーム７３０を生成し、再生対象として再生部７０４に出力する（ステップＳ２６０６）。そして、ステップＳ２６０２に戻る。ステップＳ２６０２において、残存フレームがない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。
　これにより、合成部７０３は、図１０、図１１に示したように、第２フレーム７１３と、時間的に１つ前の第１フレーム７１１と、を用いて、第１画像領域ａ１および第２画像領域ａ２を含む第３フレーム７３０に合成することができる。したがって、１フレーム内のフレームレートの相違を吸収することができる。
　（１－１）このように、動画圧縮装置は、第１撮像領域から出力されたデータに基づいて複数の第１フレームを生成し、第２撮像領域から出力されたデータに基づいて複数の第２フレームを生成し、複数の第１フレーム７１１を圧縮するとともに、複数の第２フレーム７１３を圧縮する。これにより、画像領域毎にフレームレートが異なる動画データを圧縮する際に、当該動画データを別々に圧縮することができる。
　（１－２）また、上記（１－１）において、動画圧縮装置は、第１撮像領域から出力されたデータと、第２撮像領域から出力されたデータと、に基づいて、第１フレーム７１１を生成する。これにより、複数の撮像領域からの出力により欠損のないフレームを生成することができる。
　（１－３）また、上記（１－１）において、動画圧縮装置は、第２撮像領域から出力されたデータと、撮像素子１００からの出力に基づかないデータと、に基づいて、第２フレーム７１３を生成する。これにより、撮像素子１００からの出力に基づかないデータとは、第１撮像領域からのデータではなく、たとえば、欠損領域７１２ｘについて画像処理で得られたデータである。したがって、第２フレーム７１３を第１フレーム７１１と同じように圧縮することができる。
　（１－４）また、上記（１－３）において、動画圧縮装置は、第２撮像領域から出力されたデータと、所定のデータと、に基づいて、第２フレーム７１３を生成する。所定のデータとは、たとえば、欠損領域７１２ｘについて画像処理で得られたデータである。したがって、第２フレーム７１３を第１フレーム７１１と同じように圧縮することができる。
　（１－５）また、上記（１－４）において、動画圧縮装置は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった領域（欠損領域７１２ｘ）を補完することにより、第２フレーム７１３を生成する。これにより、欠損領域７１２ｘを補って第２フレーム７１３を第１フレーム７１１と同じように圧縮することができる。
　（１－６）また、上記（１－５）において、動画圧縮装置は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった領域を特定色で補完することにより、第２フレーム７１３を生成する。これにより、圧縮効率の向上を図ることができる。
　（１－７）また、上記（１－３）～（１－６）において、動画圧縮装置は、記第２フレームのうちの、前記第２撮像領域から出力されたデータに基づいて生成された領域の画像データについては動きベクトルを検出する。これにより、たとえば、第１画像領域ａ１および補完領域７１２ｙの画像データについては動きベクトルの検出に替えて特定の動きベクトルを設定することにより、動き検出が実行されないこととなり、圧縮処理の負荷低減を図ることができる。
　（１－８）また、上記（１－７）において、動画圧縮装置は、前記第２撮像領域から出力されたデータに基づいて生成された領域以外の領域の画像データについては動きベクトルを検出しない。これにより、たとえば、第１画像領域ａ１および補完領域７１２ｙの画像データについて動き検出を実行しないことにより、圧縮処理の負荷低減を図ることができる。
　（１－９）また、上記（１－７）または（１－８）において、動画圧縮装置は、動きベクトル検出結果に基づいて動き補償を実行する。これにより、圧縮処理の負荷低減を図ることができる。
　このように、上述した動画圧縮装置によれば、第１フレーム７１１からなる第１動画データ７２１と、補完後第２フレーム７１３からなる第２動画データ７２２と、を別々に圧縮することができる。すなわち、異なるフレームレートが混在する入力動画データ７１０をフレームレートの撮像タイミングで区分けして圧縮することができる。
　したがって、伸張や再生をしたい場合、伸張や再生の対象として、第１動画データ７２１や、第１動画データ７２１および第２動画データ７２２の両方といった選択が可能となる。たとえば、第１フレーム７１１の撮像タイミングである３０［ｆｐｓ］で再生したい場合は、第１動画データ７２１のみ伸張して再生すればよい。
　これにより、第２動画データ７２２の伸張処理が不要となり、再生対象の伸張処理の高速化および省電力化を図ることができる。また、たとえば、画像データ７１２の撮像タイミングである６０［ｆｐｓ］で再生したい場合には、第１動画データ７２１および第２動画データ７２２の両方を伸張して合成すればよい。これにより、必要に応じて被写体動画の再現性が高まり、よりリアルな映像として再生することができる。
　（２－１）また、生成装置は、第１フレームレート（たとえば、３０［ｆｐｓ］）が設定された第１撮像領域から出力されたデータに基づいて生成された複数の第１フレーム７１１を圧縮した第１圧縮データと、第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）が設定された第２撮像領域から出力されたデータに基づいて生成された複数の第２フレーム７１３を圧縮した第２圧縮データと、第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイル８００を生成する生成部（第２生成部１２３２）と、生成部によって生成された動画ファイル８００を記憶デバイス１２０２に格納する格納部１２３５と、を有する。
　これにより、撮像タイミングが異なる第１フレーム７１１および第２フレーム７１３の各圧縮動画データを共通の圧縮方法で圧縮することにより、１つの動画ファイル８００にまとめることができる。
　（２－２）また、上記（２－１）の生成装置では、第１フレーム７１１は、第１撮像領域から出力されたデータと、第２撮像領域から出力されたデータと、に基づいて生成されたフレームとしてもよい。
　これにより、第１フレームレートの撮像タイミングで撮像された第１フレーム７１１の圧縮データと、第２フレームレートの撮像タイミングで撮像された第２フレーム７１３の圧縮データとを、共通の圧縮方法で圧縮することにより、１つの動画ファイル８００にまとめることができる。
　（２－３）また、上記（２－１）の生成装置では、第２フレーム７１３は、第２撮像領域から出力されたデータと、撮像素子１００からの出力に基づかないデータと、に基づいて生成されたフレームとしてもよい。
　これにより、第２フレームレートの撮像タイミングで出力されていない画像領域（欠損領域７１２ｘ）が存在しても、第２撮像領域から出力されたデータを第２フレーム７１３として扱うことで、第１フレーム７１１と共通の圧縮方法で圧縮することができる。
　（２－４）また、上記（２－３）の生成装置では、撮像素子１００からの出力に基づかないデータは、所定のデータとしてもよい。これにより、撮像素子１００からの出力とは無関係なデータにより、第２フレーム７１３を構成することができ、第１フレーム７１１と共通の圧縮方法で圧縮することができる。
　（２－５）また、上記（２－４）の生成装置では、第２フレーム７１３は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった欠損領域７１２ｘを補完することにより生成されたフレームとしてもよい。これにより、第２フレーム７１３は、第２フレームレートの撮像タイミングで出力されていない欠損領域７１２ｘが補完されて補完領域７１２ｙに設定されているため、第１フレーム７１１と共通の圧縮方法で圧縮することができる。
　（２－６）また、上記（２－１）の生成装置では、生成部は、第１圧縮データおよび第２圧縮データをデータ部８０２に設定し、第１位置情報および第２位置情報をヘッダ部８０１に設定することにより、データ部８０２およびヘッダ部８０１を含む動画ファイル８００を生成する。これにより、データ部８０２の圧縮データをヘッダ部８０１を参照して読みだすことができる。
　（２－７）また、上記（２－５）の生成装置では、生成部は、ヘッダ部８０１に、第１フレームレートを示す第１フレームレート情報（９１１の「３０［ｆｐｓ］」）を、第１位置情報（９１２のＰａ）に関連付けて設定し、第２フレームレートを示す第２フレームレート情報（９１１の「６０［ｆｐｓ］」）を、第１位置情報（９１２のＰａ）および前記第２位置情報（９１２のＰｂ）に関連付けて設定することにより、ヘッダ部８０１およびデータ部８０２を含む動画ファイル８００を生成する。
　これにより、第１フレームレート情報に関連付けられた第１位置情報で特定される第１動画データ７２１の圧縮データを読み出したり、第１フレームレート情報に関連付けられた第１位置情報で特定される第１動画データ７２１を圧縮した第１圧縮動画データと、第２フレームレート情報に関連付けられた第２位置情報で特定される第２動画データ７２２を圧縮した第２圧縮動画データと、を読み出すことができる。
　これにより、第１フレームレートが選択された場合に、動画ファイル８００から確実に第１動画データ７２１を圧縮した第１圧縮動画データを呼び出すことができる。また、第２フレームレートが選択された場合に、動画ファイル８００から確実に第２動画データ７２２を圧縮した第２圧縮動画データを呼び出すことができる。さらに、第１フレームレートが選択された場合に、動画ファイル８００からの第１圧縮動画データの呼び出し漏れを抑制することができる。
　（２－８）また、上記（２－７）の生成装置では、第２生成部１２３２は、ヘッダ部８０１に、第２フレーム７１３が挿入される第１フレーム７１１内の挿入先を示す情報（挿入位置情報９２０）を設定することにより、ヘッダ部８０１およびデータ部８０２を含む動画ファイル８００を生成する。
　これにより、第１動画データ７２１および第２動画データ７２２の合成の高精度化を図ることができ、被写体動画の再現性が高まり、よりリアルな映像として再生することができる。
　（２－９）また、上記（２－３）の生成装置では、生成部は、第１動画データ７２１および第２動画データ７２２ごとに動画ファイル８００を生成して、両動画ファイル８００を関連付けてもよい。これにより、第１動画データ７２１の動画ファイル８００単体で流通させることができる。また、第２フレームレートで再生したい場合は、別途第２動画データ７２２の動画ファイル８００を取得すればよい。
　このように、第１動画データ７２１と第２動画データ７２２とを別々の動画ファイル８００とすることで、条件に応じた動画ファイル８００の流通（たとえば、ダウンロード）を図ることができる。たとえば、動画配信サービスに無課金のユーザの端末は、第１動画データ７２１の動画ファイル８００のみダウンロード可能であり、課金したユーザの端末は、両動画ファイル８００がダウンロード可能となる。
　（３－１）また、再生装置は、第１フレームレートが設定された第１撮像領域から出力されたデータに基づいて生成された複数の第１フレーム７１１を圧縮した第１圧縮データと、第１フレームレートよりも速い第２フレームレートが設定された第２撮像領域から出力されたデータに基づいて生成された複数の第２フレーム７１３を圧縮した第２圧縮データと、を含む動画ファイルを読み込んで、第１圧縮データおよび第２圧縮データのうちの少なくとも第１圧縮データを伸張する伸張部１２３４と、伸張部１２３４によって伸張された複数のフレームを再生する再生部７０４と、を有する。
　したがって、再生の対象として、第１動画データ７２１や、第１動画データ７２１およびの両方といった選択が可能となる。たとえば、第１フレーム７１１の撮像タイミングである３０［ｆｐｓ］で再生したい場合は、複数の第１フレーム７１１のみ再生すればよい。
　これにより、複数の第２フレーム７１３の無駄な再生処理が不要となり、省電力化を図ることができる。また、たとえば、画像データ７１２の撮像タイミングである６０［ｆｐｓ］で再生したい場合には、第１動画データ７２１および第２動画データ７２２の両方を再生すればよい。これにより、必要に応じて被写体動画の再現性が高まり、よりリアルな映像として再生することができる。
　（３－２）また、上記（３－１）の再生装置では、第１フレーム７１１は、第１撮像領域から出力されたデータと、第２撮像領域から出力されたデータと、に基づいて生成されたフレームとしてもよい。
　これにより、第１フレームレートの撮像タイミングで撮像された第１フレーム７１１の圧縮データと、第２フレームレートの撮像タイミングで撮像された第２フレーム７１３の圧縮データとが、共通の圧縮方法で圧縮されて動画ファイル８００が生成されているため、動画ファイル８００を伸張することで、第１動画データ７２１や、第１動画データ７２１および第２動画データ７２２の両方といった再生対象の選択が可能となる。
　（３－３）また、上記（３－１）の再生装置では、第２フレーム７１３は、第２撮像領域から出力されたデータと、撮像素子１００からの出力に基づかないデータと、に基づいて生成されたフレームとしてもよい。
　これにより、第２フレームレートの撮像タイミングで出力されていない画像領域（欠損領域７１２ｘ）が存在しても、第２撮像領域から出力されたデータを第２フレーム７１３として扱うことで、第１フレーム７１１と共通の圧縮方法で圧縮されて動画ファイル８００が生成されているため、動画ファイル８００を伸張することで、第１フレームレートおよび第２フレームレートのいずれのフレームレートでも動画再生が可能となる。
　（３－４）また、上記（３－３）の再生装置では、撮像素子１００からの出力に基づかないデータは、所定のデータとしてもよい。これにより、撮像素子１００からの出力とは無関係なデータを用いて構成された第２フレーム７１３と第１フレーム７１１とが共通の圧縮方法で圧縮されて動画ファイル８００が生成されているため、動画ファイル８００を伸張することで、第２フレームレートで再生する場合、第１動画データ７２１および第２動画データ７２２の両方を組み合わせて再生することができる。
　（３－５）また、上記（３－４）の再生装置では、第２フレーム７１３は、第２撮像領域から出力されたデータに対して、第１撮像領域からデータが出力されなかった欠損領域７１２ｘを補完することにより生成されたフレームとしてもよい。これにより、第２フレームレートで再生する場合、第１動画データ７２１および第２動画データ７２２の両方を組み合わせて再生することができる。
　（３－６）また、上記（３－１）の再生装置では、再生するフレームレートを選択する選択部１２３３を備え、伸張部１２３４は、選択部１２３３によって選択されたフレームレートに基づいて、第１圧縮データおよび第２圧縮データを伸張する。これにより、第１動画データ７２１および第２動画データ７２２の両方といった再生対象を、再生したいフレームレートを選択することにより再生することができる。
　（３－７）また、上記（３－６）の再生装置では、伸張部１２３４は、選択部１２３３によって第１フレームレートが選択された場合、第１圧縮データを伸張し、選択部１２３３によって第２フレームレートが選択された場合、第１圧縮データおよび第２圧縮データを伸張する。これにより、選択するフレームレートに応じて再生対象を変えることができる。
　このように、伸張の対象として、第１圧縮動画データや、第１圧縮動画データおよび第２圧縮動画データの両方といった選択が可能となる。たとえば、第１フレーム７１１の撮像タイミングである３０［ｆｐｓ］で再生したい場合は、第１圧縮動画データのみ伸張して第１動画データ７２１を再生すればよい。
　これにより、第２圧縮動画データの無駄な伸張処理が不要となり、省電力化を図ることができる。また、たとえば、画像データ７１２の撮像タイミングである６０［ｆｐｓ］で再生したい場合には、第１圧縮動画データおよび第２圧縮動画データの両方を伸張して、第１動画データ７２１および第２動画データ７２２を再生すればよい。これにより、必要に応じて被写体動画の再現性が高まり、よりリアルな映像として再生することができる。
　実施例２について説明する。実施例１では、図１０に示したフレームＦ２，Ｆ４，…において、補完画像部分Ｄａ１，Ｄａ３，…が存在するため、当該範囲は、特定色に塗りつぶしたり、デモザイク処理を実行したりした。実施例２では、合成部７０３は、そのような画像処理を実行することなく、より違和感がより少ないフレームＦ２，Ｆ４，…を生成する。なお、実施例２では、実施例１と共通部分については、同一符号を用い、その説明を省略する。
　＜フレームの合成例＞
　ここで、実施例２におけるフレームＦの合成例について説明する。図１０では、電子機器５００は、田んぼ、山、および空を含む風景の定点撮影中に、特定被写体として、走行する電車を撮影する合成例について説明した。以下、当該合成例の処理の流れを具体的に説明する。
　図２７は、図１０に示した合成例の具体的な処理の流れを示す説明図である。図１０でも説明したように、撮像素子１００は、時系列順にフレームＦ１，Ｆ２－６０，Ｆ３，…を出力する。電車は、フレームＦ１，Ｆ２－６０，Ｆ３内において、右から左に向かって走行するものとする。
　図２７において、フレームＦ１～Ｆ３の枝番は、当該フレームＦ１～Ｆ３のフレームレートを示す。たとえば、奇数番号のフレームＦ１－３０は、フレームＦ１のうち３０［ｆｐｓ］のフレームレートの撮像で出力された第１画像領域ｒ１－３０の画像データを示し、フレームＦ１－６０は、フレームＦ１のうち６０［ｆｐｓ］のフレームレートの撮像で出力された第２画像領域ｒ１－６０の画像データを示す。
　フレームＦ１－６０の６０［ｆｐｓ］のフレームレートの撮像で出力された第２画像領域ｒ１－６０は電車の画像データを有するが、フレームＦ１－３０では、第２画像領域ｒ１－６０はない。フレームＦ１－３０におけるこのような領域を非画像領域ｎ１－６０と称す。フレームＦ１－６０も同様に、フレームＦ１－３０の３０［ｆｐｓ］のフレームレートの撮像で出力された第１画像領域ｒ１－３０は風景の画像データを有するが、フレームＦ１－６０では、第２画像領域ｒ１－６０にない。フレームＦ１－６０におけるこのような領域を非画像領域ｎ１－３０と称す。
　フレームＦ３においても同様に、フレームＦ３－３０は、風景の画像データが出力されている第１画像領域ｒ３－３０と、何も出力されない非画像領域ｎ３－６０と、で構成され、フレームＦ３－６０は、電車の画像データが出力されている第２画像領域ｒ３－６０と、何も出力されない非画像領域ｎ３－６０と、で構成される。フレームＦ３－３０，Ｆ３－６０以降の不図示の奇数番号フレームについても同様である。
　また、偶数番号のフレームＦ２－６０は、６０［ｆｐｓ］のフレームレートの撮像で出力された第２画像領域ｒ２－６０の画像データ（電車）と、特定色（たとえば、黒）で塗りつぶされた補完領域７１２ｙと、で構成される第２フレーム７１３である。以降の不図示の偶数番号フレームについても同様である。
　合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０の画像データ（電車）と、フレームＦ１－３０の第１画像領域ｒ１－３０の画像データ（風景）とを合成することにより、合成画像データであるフレームＦ２を生成する。この場合、図１０でも説明したように、フレームＦ２は、フレームＦ１－３０の非画像領域ｎ１－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとの重複する補完画像部分Ｄａ１を有する。
　実施例１では、合成部７０３が、補完画像部分Ｄａ１を特定色に塗りつぶしたり、デモザイク処理を実行したりしたが、実施例２では、合成部７０３は、そのような画像処理を行うことなく、他の画像領域における補完画像部分Ｄａ１の画像データを複製する。これにより、合成部７０３は、より違和感がより少ないフレームＦ２を生成する。補完画像部分Ｄａ３についても同様であるが、実施例２では、補完画像部分Ｄａ１に着目して説明する。
　＜フレームＦ２の合成例＞
　つぎに、合成部７０３によるフレームＦ２の合成例について説明する。
［合成例１］
　図２８は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例１を示す説明図である。合成例１は、補完画像部分Ｄａ１への複製対象となる他の画像領域として、フレームＦ２－６０よりも時間的に１つ後のフレームＦ３の第１画像領域ｒ３－３０において補完画像部分Ｄａ１と同一位置の補完画像部分Ｄｂ１を用いる例である。補完画像部分Ｄｂ１の画像データは、風景の一部である。
　図２８において、合成部７０３は、フレームＦ１－３０の非画像領域ｎ１－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙと、が重複する補完画像部分Ｄａ１を特定し、特定した補完画像部分Ｄａ１と同一位置の補完画像部分Ｄｂ１をフレームＦ３から特定する。そして、合成部７０３は、フレームＦ２における補完画像部分Ｄａ１に補完画像部分Ｄｂ１の画像データを複製する。これにより、合成部７０３は、違和感がより少ないフレームＦ２を生成することができる。
［合成例２］
　図２９は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例２を示す説明図である。合成例１では、フレームＦ１－３０の第１画像領域ｒ１－３０の画像データをフレームＦ２の第１画像領域への複製元とし、フレームＦ３の補完画像部分Ｄｂ１の画像データを補完画像部分Ｄａ１への複製元としたが、合成例２では逆に、フレームＦ３－３０の第１画像領域ｒ３－３０の画像データをフレームＦ２の第１画像領域への複製元とし、フレームＦ１の補完画像部分Ｄｂ２の画像データを補完画像部分Ｄａ２への複製元とする。
　ここで、補完画像部分Ｄａ２は、フレームＦ３－３０の非画像領域ｎ３－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する範囲である。フレームＦ１の補完画像部分Ｄｂ２は、補完画像部分Ｄａ２と同一位置の範囲である。
　図２９において、合成部７０３は、フレームＦ３－３０の非画像領域ｎ３－６０と、非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙと、が重複する補完画像部分Ｄａ２を特定し、特定した補完画像部分Ｄａ２と同一位置の補完画像部分Ｄｂ２をフレームＦ１から特定する。そして、合成部７０３は、フレームＦ２における補完画像部分Ｄａ２に補完画像部分Ｄｂ２の画像データを複製する。これにより、合成部７０３は、違和感がより少ないフレームＦ２を生成することができる。
［合成例３］
　合成例３は、合成例１および合成例２のうちいずれか一方を選択して合成する例である。合成例３では、合成部７０３は、合成例１における補完画像部分Ｄａ１と合成例２における補完画像部分Ｄａ２とを特定する。合成部７０３は、補完画像部分Ｄａ１，Ｄａ２のうちいずれか一方を選択し、選択した範囲を特定した合成例を適用する。合成部７０３は、補完画像部分Ｄａ１が選択された場合は合成例１、補完画像部分Ｄａ２が選択された場合は合成例２を適用する。
　合成部７０３は、補完画像部分Ｄａ１，Ｄａ２のうちいずれか一方を選択する選択基準として、たとえば、範囲の狭さを選択基準とする。図２８および図２９の例では、補完画像部分Ｄａ１が補完画像部分Ｄａ２よりも狭いため、合成例１が適用される。狭い方の範囲を選択することにより、複製による違和感を最小限度に留めることができる。
［合成例４］
　図３０は、実施例２にかかる６０［ｆｐｓ］のフレームＦ２の合成例４を示す説明図である。合成例４は、合成例１における補完画像部分Ｄａ１の複製元を、フレームＦ３の第１画像領域ｒ３－３０内における補完画像部分Ｄｂ１の画像データ（風景の一部）ではなく、フレームＦ１の第２画像領域ｒ１－６０における補完画像部分Ｄｂ３の画像データ（電車の末尾）とする。
　これにより、フレームＦ２において第２画像領域ｒ２－６０の画像データ（電車）は、補完画像部分Ｄｂ３の画像データが追加されたことになるが、第２画像領域ｒ２－６０の画像データ（電車）の進行方向反対側に追加されるため、ユーザが映像を見た場合に、当該第２画像領域ｒ２－６０の画像データ（電車）を、走行する電車の残像と錯覚する。したがって、この場合も違和感がより少ないフレームＦ２，Ｆ４，…を生成することができる。
　＜フレームＦ２の合成処理手順例＞
　以下、上述した合成例１～合成例４によるフレームＦ２の合成処理手順例について説明する。以下のフローチャートでは、第２フレーム７１３は、合成対象となる第２フレームレート（たとえば、６０［［ｆｐｓ］）のみの撮像で出力され、かつ、欠損領域７１２ｘが特定色（黒）で塗りつぶされたフレームである。たとえば、図２７～図３０のフレームＦ２－６０が第２フレーム７１３である。
　また、第１フレーム７１１は、第２フレーム７１３よりも時間的に１つ前で、かつ、第１フレームレート（たとえば、３０［［ｆｐｓ］）および第２フレームレートのうち少なくとも第１フレームレートの撮像で出力された画像領域を含むフレームである。たとえば、図２７～図３０のフレームＦ１が第１フレーム７１１である。
　また、第３フレーム７３０は、第２フレーム７１３と第１フレーム７１１または第３フレーム７３０とにより合成されたフレームである。たとえば、図２７～図３０のフレームＦ２が第３フレーム７３０である。
　また、第４フレームは、第２フレーム７１３よりも時間的に１つ後で、かつ、第１フレームレートおよび第２フレームレートのうち少なくとも第１フレームレートの撮像で出力された画像領域を含むフレームである。たとえば、図２７～図３０のフレームＦ３が第４フレームである。
［合成例１］
　図３１は、合成部７０３によるフレームＦ２の合成例１による合成処理手順例１を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。
　ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第１フレーム７１１の非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる範囲を特定する（ステップＳ３１０１）。具体的には、たとえば、特定部１２４０は、図２８に示したように、フレームＦ１－３０の非画像領域ｎ１－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ１を特定する。
　つぎに、合成部７０３は、第１フレーム７１１の第１画像領域ａ１の画像データを複製する（ステップＳ３１０２）。具体的には、たとえば、合成部７０３は、図２８に示したように、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製する。
　そして、合成部７０３は、ステップＳ３１０１で特定した範囲の画像データを第４フレームから複製する（ステップＳ３１０３）。具体的には、たとえば、合成部７０３は、図２８に示したように、ステップＳ３１０１で特定した補完画像部分Ｄａ１と同補完画像部分Ｄｂ１の画像データをフレームＦ３から複製する。
　つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３１０４）。具体的には、たとえば、合成部７０３は、図２８に示したように、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ１の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。
　このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、図２８に示したように、違和感がより少ないフレームＦ２を生成することができる。
［合成例２］
　図３２は、合成部７０３によるフレームＦ２の合成例２による合成処理手順例２を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。
　ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第４フレームの非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる範囲を特定する（ステップＳ３２０１）。具体的には、たとえば、特定部１２４０は、図２９に示したように、フレームＦ３－３０の非画像領域ｎ３－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ２を特定する。
　つぎに、合成部７０３は、第４フレームの第１画像領域ａ１の画像データを複製する（ステップＳ３２０２）。具体的には、たとえば、合成部７０３は、図２９に示したように、フレームＦ３の第１画像領域ｒ３－３０の画像データ（風景）を複製する。
　そして、合成部７０３は、ステップＳ３２０１で特定した範囲の画像データを第１フレーム７１１から複製する（ステップＳ３２０３）。具体的には、たとえば、合成部７０３は、図２９に示したように、ステップＳ３２０１で特定した補完画像部分Ｄａ２と同補完画像部分Ｄｂ２の画像データをフレームＦ１から複製する。
　つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３２０４）。具体的には、たとえば、合成部７０３は、図２９に示したように、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ３－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ２の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。
　このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、図２９に示したように、違和感がより少ないフレームＦ２を生成することができる。
［合成例３］
　図３３は、合成部７０３によるフレームＦ２の合成例３による合成処理手順例３を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。
　ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第１フレーム７１１の非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる第１範囲を特定する（ステップＳ３３０１）。具体的には、たとえば、特定部１２４０は、図２８に示したように、フレームＦ１－３０の非画像領域ｎ１－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ１を特定する。
　特定部１２４０は、第４フレームの非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる第２範囲を特定する（ステップＳ３３０２）。具体的には、たとえば、特定部１２４０は、図２９に示したように、フレームＦ３－３０の非画像領域ｎ３－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ２を特定する。
　つぎに、合成部７０３は、特定した第１範囲および第２範囲のいずれか一方の範囲を選択する（ステップＳ３３０３）。具体的には、たとえば、合成部７０３は、第１範囲および第２範囲のうち狭い方（面積が小さい方）の範囲を選択する。選択された範囲を選択範囲と称す。補完画像部分Ｄａ１、Ｄａ２の場合、合成部７０３は、補完画像部分Ｄａ１を選択する。これにより、合成に用いる範囲を最小限に抑制することができ、違和感をより一層抑制することができる。
　そして、合成部７０３は、選択フレームの第１画像領域ａ１の画像データを複製する（ステップＳ３３０４）。選択フレームとは、選択範囲の特定元となるフレームであり、たとえば、第１範囲（補完画像部分Ｄａ１）が選択された場合は、選択フレームは、第１フレーム７１１（フレームＦ１）であり、第２範囲（補完画像部分Ｄａ２）が選択された場合は、選択フレームは、第４フレーム（フレームＦ３）である。
　したがって、選択フレームの第１画像領域ａ１の画像データとは、選択フレームがフレームＦ１であれば、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）であり、選択フレームがフレームＦ３であれば、フレームＦ３の第１画像領域ｒ３－３０の画像データ（風景）である。
　そして、合成部７０３は、ステップＳ３３０３の選択範囲の画像データを非選択フレームから複製する（ステップＳ３３０５）。非選択フレームとは、選択されなかった範囲の特定元となるフレームであり、たとえば、第１範囲（補完画像部分Ｄａ１）が選択されなかった場合は、非選択フレームは、第１フレーム７１１（フレームＦ１）であり、第２範囲（補完画像部分Ｄａ２）が選択されなかった場合は、非選択フレームは、第４フレーム（フレームＦ３）である。したがって、合成部７０３は、選択範囲が補完画像部分Ｄａ１であれば、補完画像部分Ｄａ１と同位置の補完画像部分Ｄｂ１の画像データをフレームＦ３から複製し、選択範囲が補完画像部分Ｄａ２であれば、補完画像部分Ｄａ２と同位置の補完画像部分Ｄｂ２の画像データをフレームＦ１から複製する。
　つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３３０６）。具体的には、たとえば、選択範囲が第１範囲（補完画像部分Ｄａ１）である場合、合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ１の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。
　また、選択範囲が第２範囲（補完画像部分Ｄａ２）である場合、合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ３－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ２の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。
　このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、狭い方の範囲を選択することにより、複製による違和感を最小限度に留めることができる。
［合成例４］
　図３４は、合成部７０３によるフレームＦ２の合成例４による合成処理手順例４を示すフローチャートである。なお、図２６と同一ステップには同一ステップ番号を付し、その説明を省略する。
　ステップＳ２６０４において、取得フレームが第２フレーム７１３である場合（ステップＳ２６０４：Ｙｅｓ）、特定部１２４０は、第１フレーム７１１の非画像領域でかつ第２フレーム７１３の補完領域７１２ｙとなる範囲を特定する（ステップＳ３４０１）。具体的には、たとえば、合成部７０３は、図３０に示したように、フレームＦ１－３０の非画像領域ｎ１－６０と非画像領域ｎ２－３０から補完されたフレームＦ２－６０の補完領域７１２ｙとが重複する補完画像部分Ｄａ１を特定する。
　つぎに、合成部７０３は、第１フレーム７１１の第１画像領域ａ１の画像データを複製する（ステップＳ３４０２）。具体的には、たとえば、合成部７０３は、フレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製する。
　そして、合成部７０３は、ステップＳ３４０１で特定した範囲の画像データを第１フレーム７１１から複製する（ステップＳ３４０３）。具体的には、たとえば、合成部７０３は、ステップＳ３４０１で特定した補完画像部分Ｄａ１と同補完画像部分Ｄｂ３の画像データをフレームＦ１から複製する。
　つぎに、合成部７０３は、合成により第３フレーム７３０を生成する（ステップＳ３４０４）。具体的には、たとえば、合成部７０３は、フレームＦ２－６０の第２画像領域ｒ２－６０と、複製した第１画像領域ｒ１－３０の画像データ（風景）と、複製した補完画像部分Ｄｂ３の画像データと、を合成することにより、フレームＦ２－６０をフレームＦ２（第３フレーム７３０）に更新する。
　このあと、ステップＳ２６０２に戻る。残存フレームがバッファにない場合（ステップＳ２６０２：Ｎｏ）、合成部７０３は、合成処理（ステップＳ２５０７）を終了する。これにより、合成部７０３は、図３０に示したように、違和感がより少ないフレームＦ２を生成することができる。
　（３－８）このように、実施例１に示した上記（３－６）の再生装置は、合成部７０３を有する。合成部７０３は、第２フレームレートが選択された場合、記憶デバイス１２０２から第１動画データ７２１および第２動画データ７２２を取得して、第１フレーム７１１と、第１フレーム７１１よりも時間的に後に得られた第２フレーム７１３と、を合成して、第２フレーム７１３を、第１フレーム７１１における第１画像領域ａ１の画像データと第２フレーム７１３における第２画像領域ａ２の画像データとを合成した第３フレーム７３０を生成する。
　これにより、フレームレートの相違による第２フレーム７１３での画像データの欠落を抑制することができる。したがって、１枚のフレームにフレームレートの相違がある場合でも、第３フレーム７３０により被写体動画の再現性が高まり、よりリアルな映像として再生することができる。
　（３－９）また、上記（３－８）の再生装置では、合成部７０３は、第２フレーム７１３における第２画像領域ａ２の画像データにおいて、第１フレーム７１１における第１画像領域ａ１の画像データと重複する領域については、第２フレーム７１３における第２画像領域ａ２の画像データを適用することにより、第３フレーム７３０を生成する。
　これにより、たとえば、第２フレーム７１３であるフレームＦ２－６０の電車の先頭部分と第１フレーム７１１であるフレームＦ１の背景領域とが重複する領域では、合成部７０３は、第２フレーム７１３であるフレームＦ２の電車の先頭部分を優先適用する。したがって、違和感がより少ない画像（第３フレーム７３０であるフレームＦ２）を得ることができ、被写体動画の再現性が高まり、よりリアルな映像として再生することができる。
　（３－１０）また、上記（３－８）の再生装置では、合成部７０３は、第２フレーム７１３における第２画像領域ａ２および第１フレーム７１１における第１画像領域ａ１のいずれにも属さない領域については、第１フレーム７１１における第２画像領域ａ２の画像データを適用することにより、第３フレーム７３０を生成する。
　これにより、たとえば、第２フレーム７１３であるフレームＦ２－６０の第２フレームの電車の末尾部分と第１フレーム７１１であるフレームＦ１の背景領域との間の画像領域については、第１フレーム７１１であるフレームＦ１における第２画像領域ａ２の画像データ（電車の末尾）を優先適用する。したがって、違和感がより少ない画像（第３フレーム７３０であるフレームＦ２）を得ることができ、被写体動画の再現性が高まり、よりリアルな映像として再生することができる。
　（３－１１）また、上記（３－５）の再生装置では、特定部１２４０は、第１フレーム７１１と、第２フレーム７１３と、に基づいて、第１フレーム７１１における第２撮像領域に対応する非画像領域ｎ１－６０で、かつ、第２フレーム７１３における補完領域７１２ｙである補完画像部分Ｄａ１を特定する。
　合成部７０３は、第２フレーム７１３における第２画像領域ａ２の画像データと、第１フレーム７１１における第１撮像領域に対応する第１画像領域ａ１（ｒ１－３０）の画像データと、第１フレーム７１１における第１画像領域ａ１（ｒ１－３０）の画像データおよび第２フレーム７１３における第２画像領域ａ２の画像データ以外の他の画像領域において特定部１２４０によって特定された補完画像部分Ｄａ１の特定の画像データと、を合成する。
　これにより、画像データ７１２の撮像で出力されかなった非画像領域ｎ２－３０を、画像データ７１２と時間的に近いフレームにより補うことができる。したがって、画像データ７１２よりも違和感が少ない合成フレームを得ることができる。
　（３－１２）また、上記（３－１１）の再生装置では、第１フレーム７１１は、第２フレーム７１３よりも時間的に前に生成されたフレーム（たとえば、フレームＦ１）であり、特定の画像データは、第２フレーム７１３よりも時間的に後に第１撮像領域および第２撮像領域からの出力により生成されたフレーム（たとえば、フレームＦ３）の第１画像領域ａ１（ｒ３－３０）における範囲（Ｄａ１）の画像データ（すなわち、補完画像部分Ｄｂ１の画像データ）としてもよい。
　これにより、第２フレーム７１３の撮像で出力されかなった非画像領域ｎ２－３０を、第２フレーム７１３の時間的に１つ前の第１フレーム７１１と１つ後の第４フレームとにより補うことができる。したがって、違和感が少ない合成フレーム（第３フレーム７３０）を得ることができる。
　また、上記（３－１１）の再生装置では、第１フレーム７１１は、第２フレーム７１３よりも時間的に後に生成されたフレーム（たとえば、フレームＦ３）であり、特定の画像データは、第２フレーム７１３よりも時間的に前に第１撮像領域および第２撮像領域からの出力により生成されたフレーム（たとえば、フレームＦ１）の第１画像領域ａ１（ｒ１－３０）における範囲（Ｄａ２）の画像データ（すなわち、補完画像部分Ｄｂ２の画像データ）としてもよい。
　これにより、第２フレーム７１３の補完領域７１２ｙである非画像領域ｎ２－３０を、第２フレーム７１３の時間的に１つ前の第１フレーム７１１と１つ後の第４フレームとにより補うことができる。したがって、違和感が少ない合成フレーム（第３フレーム７３０）を得ることができる。
　また、上記（３－５）の再生装置では、特定部１２４０は、第１範囲（Ｄａ１）と第２範囲（Ｄａ２）とに基づいて、合成部７０３で用いる範囲を特定する。また、合成部７０３は、第２フレーム７１３と、第１フレーム７１１および第４フレームのうち特定部１２４０によって特定された一方の範囲（Ｄａ１／Ｄａ２）の特定元となる一方のフレーム（Ｆ１／Ｆ３）における第１画像領域ａ１（ｒ１－３０／ｒ３－３０）の画像データと、第１フレーム７１１および第４フレームのうち特定部１２４０によって特定されなかった他方の範囲（Ｄａ２／Ｄａ１）の特定元となる他方のフレーム（Ｆ３／Ｆ１）の第１画像領域ａ１（ｒ３－３０／ｒ１－３０）における一方の範囲（Ｄａ１／Ｄａ２）の画像データ（Ｄｂ１／Ｄｂ２）と、を合成する。
　これにより、合成部７０３は、狭い方の範囲を選択することにより、複製による違和感を最小限度に留めることができる。
　また、上記（３－５）の再生装置では、第１フレーム７１１は、第２フレーム７１３よりも時間的に前に生成されたフレームであり、特定の画像データは、第１フレーム７１１の第２画像領域ａ２における範囲（Ｄａ１）の画像データ（すなわち、補完画像部分Ｄｂ３の画像データ）としてもよい。
　これにより、第２フレーム７１３の補完領域７１２ｙである非画像領域ｎ２－３０を、第２フレーム７１３の時間的に１つ前の第１フレーム７１１により補うことができる。したがって、違和感が少ない合成フレーム（第３フレーム７３０）を得ることができる。
　実施例３について説明する。実施例１では、図１０に示したフレームＦ２，Ｆ４，…において、補完画像部分Ｄａ１，Ｄａ３，…が存在するため、合成部７０３が、特定色に塗りつぶしたり、デモザイク処理を実行したりした。実施例３では、実施例２と同様、合成部７０３は、そのような画像処理を実行することなく、より違和感がより少ないフレームＦ２，Ｆ４，…を生成する。
　なお、実施例３では、実施例１および実施例２と共通部分については、同一符号を用い、その説明を省略する。ただし、図３５および図３６では、符号が不鮮明となるため、補完による黒塗りは施されていない。
　図３５は、実施例３にかかる６０［［ｆｐｓ］のフレームＦ２の合成例を示す説明図である。フレームＦ２－６０の撮像前に、前処理部１２１０は、フレームＦ２－６０以前のフレームＦ１などから電車などの特定被写体を検出し、１つ前のフレームＦ１での特定被写体の動きベクトルを検出する。前処理部１２１０は、フレームＦ１の特定被写体の画像領域と動きベクトルとにより、次のフレームＦ２－６０で、６０［ｆｐｓ］の画像領域Ｒ１２－６０を得ることができる。
　また、合成フレームであるフレームＦ２の合成では、実施例１と同様に、合成部７０３は、１つ前のフレームＦ１の第１画像領域ｒ１－３０の画像データ（風景）を複製し、第１画像領域ｒ１－３０の画像データ（風景）と、画像領域Ｒ１２－６０の画像データ（電車と風景の一部）とを合成することにより、フレームＦ２を得ることができる。
　図３６は、撮像領域の設定とフレームＦ２－６０の画像領域との対応関係を示す説明図である。（Ａ）は、動きベクトルの検出例を示し、（Ｂ）は、撮像領域の設定とフレームＦ２－６０の画像領域との対応関係を示す。
　撮像領域ｐ１－６０は、フレームＦ１の時間的に１つ前のフレームＦ０－６０の生成後、フレームＦ１の生成前にすでに検出済みの特定被写体の撮像領域である。したがって、フレームＦ１では、特定被写体（電車）の画像データｏ１は、撮像領域ｐ１－６０に対応する第２画像領域ｒ１－６０に存在する。
　前処理部１２１０は、検出部１２１１により、フレームＦ０の特定被写体の画像データｏ１とフレームＦ１の特定被写体の画像データｏ１とにより特定被写体の動きベクトルｍｖを検出する。そして、前処理部１２１０は、フレームＦ１の特定被写体の第２画像領域ｒ１－６０と動きベクトルｍｖとにより、次のフレームＦ２－６０で特定被写体が映し出される第２画像領域ｒ２－６０を検出し、検出した第２画像領域ｒ２－６０に対応する撮像素子１００の撮像面２００の検出撮像領域ｐ２－６０を検出する。
　前処理部１２１０は、設定部１２１２により、フレームＦ１の生成の際に特定済みの撮像領域ｐ１－６０と、検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定し、当該設定指示を撮像素子１００に出力する。これにより、撮像素子１００は、特定の撮像領域Ｐ１２－６０を第２フレームレートに設定して撮像し、画像データ７１２を生成する。
　第１生成部７０１は、設定部１２１２によって設定された第２フレームレートでの撮像により生成された画像データ７１２を補完して、第２フレーム７１３（Ｆ２－６０）を出力する。この場合、特定の撮像領域Ｐ１２－６０から出力された画像データが、画像領域Ｒ１２－６０の画像データとなる。
　合成部７０３は、フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、第２フレーム７１３（Ｆ２－６０）に含まれる特定の撮像領域Ｐ１２－６０からの画像データ（画像領域Ｒ１２－６０）と、を合成する。これにより、フレームＦ２－６０は、フレームＦ２（第３フレーム７３０）に更新される。
　なお、フレームＦ２－６０の生成後、次のフレームＦ３の生成前において、前処理部１２１０は、検出撮像領域ｐ２－６０のフレームレートを第２フレームレートに設定し、撮像面２００のうち検出撮像領域ｐ２－６０以外の他の撮像領域のフレームレートを第１フレームレートに設定してもよい。
　これにより、第１フレームレートの撮像領域を含む撮像で得られるフレームＦ３の生成においては、フレームＦ１と同様、第２フレームレートが設定される第２撮像領域は検出撮像領域ｐ２－６０のみとなる。このように、合成対象となるフレームＦ２－６０，Ｆ４－６０，…について特定の検出撮像領域が設定されるため、フレームＦ１，Ｆ３，…での無駄な処理が抑制される。
　フレームＦ２－６０は、画像領域Ｒ１２－６０に、特定被写体（電車）の画像データｏ１と風景の一部の画像データｏ２を含む。このように、画像領域Ｒ１２－６０は、第２画像領域ｒ２－６０に比べて、特定被写体の移動方向の反対側において拡張される。したがって、実施例２のように補完画像部分Ｄａ１，Ｄａ２を特定して、他のフレームの補完画像部分Ｄｂ１、Ｄｂ２の画像データを複製して合成する必要がない。なお、実施例３の合成処理は、たとえば、図２５のステップＳ２５０７で実行される。また、この合成処理は、フレームＦ２－６０，Ｆ４－６０，…の合成の場合に適用され、第１フレームレートの画像領域を含むフレームＦ１，Ｆ３，…では実行されない。
　このように、実施例３では、合成元の画像データが、第２フレーム７１３内の画像領域Ｒ１２－６０とフレームＦ１の第１画像領域ｒ１－３０の２つであるため、違和感がより少ないフレームＦ２を生成することができる。すなわち、画像データｏ１，ｏ２は同一タイミングの撮像で出力された画像データであるため、画像データｏ１，ｏ２の境界は不自然ではなく違和感がない。また、実施例２のように、補完画像部分Ｄａ１，Ｄａ２を特定したり、補完画像部分Ｄａ１，Ｄａ２から最適な範囲を選択したりするという処理が不要となるため、フレームＦ２の合成処理の負荷低減を図ることができる。
　（４－１）このように、実施例３にかかる撮像装置は、撮像素子１００と、検出部１２１１と、設定部１２１２と、を有する。撮像素子１００は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能である。
　検出部１２１１は、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の検出撮像領域ｐ２－６０を検出する。設定部１２１２は、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出部１２１１によって検出された撮像領域（以下、検出撮像領域）ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定する。
　これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する補完画像部分Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートの撮像で出力されるフレームＦ２－６０の画像欠損を抑制することができる。
　（４－２）また、上記（４－１）の撮像装置では、検出部１２１１は、フレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０と、フレームＦ１とフレームＦ１よりも時間的に前のフレームＦ０－６０との間における特定被写体の動きベクトルｍｖと、に基づいて、特定被写体の検出撮像領域ｐ２－６０を検出する。
　これにより、特定被写体の検出撮像領域ｐ２－６０の予測を容易に実現することができる。
　（４－３）また、上記（４－１）の撮像装置では、設定部１２１２は、フレームが第１撮像領域からの出力により生成された第１フレームＦ１である場合に、特定の撮像領域のフレームレートを第２フレームレートに設定し、フレームが第１フレームＦ１の後に特定の撮像領域からの出力により生成された第２フレームＦ２－６０である場合に、検出撮像領域ｐ２－６０のフレームレートを第２フレームレートに設定し、検出撮像領域ｐ２－６０以外の他の撮像領域（撮像面２００のうち検出撮像領域ｐ２－６０を除いた部分）のフレームレートを第１フレームレートに設定する。
　これにより、合成対象となるフレームＦ２－６０，Ｆ４－６０，…についてのみ特定の検出撮像領域が設定されるため、フレームＦ１，Ｆ３，…での無駄な処理の抑制を図ることができる。
　（４－４）また、実施例３にかかる画像処理装置は、被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有し、第１撮像領域に第１フレームレート（たとえば、３０［ｆｐｓ］）を設定可能であり、かつ、第２撮像領域に第１フレームレートよりも速い第２フレームレート（たとえば、６０［ｆｐｓ］）を設定可能な撮像素子１００からの出力により生成されたフレームを画像処理する。
　この画像処理装置は、検出部１２１１と、設定部１２１２と、第１生成部７０１と、合成部７０３と、を有する。検出部１２１１は、撮像素子１００からの出力により生成されたフレームＦ１に含まれる特定被写体の第２画像領域ｒ１－６０に基づいて、撮像素子１００における特定被写体の撮像領域ｐ２－６０を検出する。設定部１２１２は、フレームＦ１の生成に用いられた特定被写体の撮像領域ｐ１－６０と、検出部１２１１によって検出された検出撮像領域ｐ２－６０と、を包含する特定の撮像領域Ｐ１２－６０のフレームレートを、第２フレームレートに設定する。
　第１生成部７０１は、設定部１２１２によって設定された第２フレームレートでの撮像により生成された画像データ７１２を補完して、第２フレーム７１３（Ｆ２－６０）を出力する。
　合成部７０３は、第１フレームＦ１に含まれる第１画像領域ｒ１－３０の画像データと、第２フレーム７１３（Ｆ２－６０）に含まれる特定の撮像領域Ｐ１２－６０からの画像データ（画像領域Ｒ１２－６０）と、を合成する。
　これにより、第２フレームレートでの撮像領域を拡張設定して、フレームＦ１，Ｆ２で非画像領域が重複する補完画像部分Ｄａ１が生じないように第２フレームレートで特定被写体を撮像することができ、第２フレームレートの撮像で出力されるフレームＦ２－６０の画像欠損を抑制することができる。また、合成の際、重複する補完画像部分Ｄａ１について補う必要がないため、より違和感の少ない画像を得ることができ、また、合成処理の負荷低減を図ることができる。
　なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであってもよい。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。
１００　撮像素子、７０１　補完部、７０２　圧縮伸張部、７０３　合成部、７０４　再生部、８００　動画ファイル、８０１　ヘッダ部、８０２　データ部、８３５　付加情報、９１０　撮像条件情報、９１１　フレームレート情報、９１２　位置情報、９２０　挿入位置情報、９２１　挿入フレーム番号、９２２　挿入先、１２０１　プロセッサ、１２０２　記憶デバイス、１２１０　前処理部、１２１１　検出部、１２１２　設定部、１２２０　取得部、１２３１　圧縮部、１２３２　生成部、１２３３　選択部、１２３４　伸張部、１２４０　特定部

Claims (16)

  1. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルを生成する生成装置であって、
    　第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイルを生成する生成部と、
    　前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、
    　を有する生成装置。
  2. 　請求項１に記載の生成装置において、
    　前記第１フレームは、前記第１撮像領域から出力されたデータと、前記第２撮像領域から出力されたデータと、に基づいて生成されたフレームである、生成装置。
  3. 　請求項１に記載の生成装置において、
    　前記第２フレームは、前記第２撮像領域から出力されたデータと、前記撮像素子からの出力に基づかないデータと、に基づいて生成されたフレームである、生成装置。
  4. 　請求項３に記載の生成装置において、
    　前記撮像素子からの出力に基づかないデータは、所定のデータである、生成装置。
  5. 　請求項４に記載の生成装置において、
    　前記第２フレームは、前記第２撮像領域から出力されたデータに対して、前記第１撮像領域からデータが出力されなかった欠損領域を補完することにより生成されたフレームである、生成装置。
  6. 　請求項１に記載の生成装置において、
    　前記生成部は、前記第１圧縮データおよび前記第２圧縮データをデータ部に設定し、前記第１位置情報および前記第２位置情報をヘッダ部に設定することにより、前記データ部および前記ヘッダ部を含む前記動画ファイルを生成する、生成装置。
  7. 　請求項５に記載の生成装置であって、
    　前記生成部は、前記ヘッダ部に、前記第１フレームレートを示す第１フレームレート情報を、前記第１位置情報に関連付けて設定し、前記第２フレームレートを示す第２フレームレート情報を、前記第１位置情報および前記第２位置情報に関連付けて設定することにより、前記ヘッダ部および前記データ部を含む前記動画ファイルを生成する、生成装置。
  8. 　請求項７に記載の生成装置であって、
    　前記生成部は、前記ヘッダ部に、前記第２フレームが挿入される前記複数の第１フレーム内の挿入先を示す情報を設定することにより、前記ヘッダ部および前記データ部を含む前記動画ファイルを生成する、生成装置。
  9. 　請求項５に記載の生成装置であって、
    　前記生成部は、前記第１圧縮データを第１データ部に設定し、かつ、前記第１圧縮データの格納位置を指定する第１位置情報および前記第２圧縮データと関連付ける第１関連付け情報を第１ヘッダ部に設定することにより、前記第１ヘッダ部および前記第１データ部を含む第１動画ファイルを生成して、前記記憶デバイスに格納するとともに、前記第２圧縮データを第２データ部に設定し、かつ、前記第２圧縮データの格納位置を指定する第２位置情報を第２ヘッダ部に設定することにより、前記第２ヘッダ部および前記第２データ部を含む第２動画ファイルを生成する、生成装置。
  10. 　請求項５に記載の生成装置であって、
    　前記生成部は、前記第１圧縮データを第１データ部に設定し、かつ、前記第１圧縮データの格納位置を指定する第１位置情報を第１ヘッダ部に設定することにより、前記第１ヘッダ部および前記第１データ部を含む第１動画ファイルを生成して、前記記憶デバイスに格納するとともに、前記第２圧縮データを第２データ部に設定し、かつ、前記第２圧縮データの格納位置を指定する第２位置情報および前記第１圧縮データと関連付ける第２関連付け情報を第２ヘッダ部に設定することにより、前記第２ヘッダ部および前記第２データ部を含む第２動画ファイルを生成する、生成装置。
  11. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルを生成する生成装置であって、
    　第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を含む動画ファイルを生成する生成部と、
    　前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、
    　を有する生成装置。
  12. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子と、
    　第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイルを生成する生成部と、
    　前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、
    　を有する電子機器。
  13. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子と、
    　第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を含む動画ファイルを生成する生成部と、
    　前記生成部によって生成された動画ファイルを記憶デバイスに格納する格納部と、
    　を有する電子機器。
  14. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルの生成をプロセッサに実行させる生成プログラムであって、
    　前記プロセッサに、
    　第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を含む動画ファイルを生成する生成処理と、
    　前記生成処理によって生成された動画ファイルを記憶デバイスに格納する格納処理と、
    　を実行させる生成プログラム。
  15. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルの生成をプロセッサに実行させる生成プログラムであって、
    　前記プロセッサに、
    　第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を含む動画ファイルを生成する生成処理と、
    　前記生成処理によって生成された動画ファイルを記憶デバイスに格納する格納処理と、
    　を実行させる生成プログラム。
  16. 　被写体を撮像する第１撮像領域と、被写体を撮像する第２撮像領域と、を有する撮像素子から出力されたデータを圧縮した動画ファイルのデータ構造であって、
    　第１フレームレートが設定された前記第１撮像領域から出力されたデータに基づいて生成された複数の第１フレームを圧縮した第１圧縮データと、前記第１フレームレートよりも速い第２フレームレートが設定された前記第２撮像領域から出力されたデータに基づいて生成された複数の第２フレームを圧縮した第２圧縮データと、を格納するデータ部と、
    　前記第１圧縮データの格納位置を示す第１位置情報と、前記第２圧縮データの格納位置を示す第２位置情報と、を格納するヘッダ部と、
    　を有するデータ構造。
PCT/JP2019/012893 2018-03-30 2019-03-26 生成装置、電子機器、生成プログラムおよびデータ構造 WO2019189199A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018070249 2018-03-30
JP2018-070249 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019189199A1 true WO2019189199A1 (ja) 2019-10-03

Family

ID=68062176

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012893 WO2019189199A1 (ja) 2018-03-30 2019-03-26 生成装置、電子機器、生成プログラムおよびデータ構造

Country Status (1)

Country Link
WO (1) WO2019189199A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012178860A (ja) * 2007-01-15 2012-09-13 Panasonic Corp 撮像装置
WO2017175802A1 (ja) * 2016-04-06 2017-10-12 株式会社ニコン 画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法
JP2017224970A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、および撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012178860A (ja) * 2007-01-15 2012-09-13 Panasonic Corp 撮像装置
WO2017175802A1 (ja) * 2016-04-06 2017-10-12 株式会社ニコン 画像処理装置、電子機器、再生装置、再生プログラムおよび再生方法
JP2017224970A (ja) * 2016-06-15 2017-12-21 ソニー株式会社 画像処理装置、画像処理方法、および撮像装置

Similar Documents

Publication Publication Date Title
JP2023166557A (ja) 動画圧縮装置
CN111194547B (zh) 视频压缩装置、电子设备以及存储介质
US6373523B1 (en) CCD camera with two CCDs having mutually different color filter arrays
CN104272721A (zh) 拍摄装置
JP2013211645A (ja) 画像処理装置
US8564685B2 (en) Video signal capturing apparatus, signal processing and control apparatus, and video signal capturing, video signal processing, and transferring system and method
JP4178634B2 (ja) 映像信号伝送装置、映像信号伝送方法、映像信号撮像装置および映像信号処理装置
JP2009253667A (ja) 動画処理装置及び動画処理方法、動画処理プログラム
WO2019065919A1 (ja) 撮像装置、画像処理装置、動画圧縮装置、設定プログラム、画像処理プログラム、および動画圧縮プログラム
JP2005303972A (ja) 処理装置及びガンマ値調整プログラム
WO2019189199A1 (ja) 生成装置、電子機器、生成プログラムおよびデータ構造
WO2019189206A1 (ja) 再生装置、伸張装置、電子機器、再生プログラムおよび伸張プログラム
KR20140103521A (ko) 동영상 데이터를 기록하는 방법, 및 이 방법을 채용한 촬영 장치
WO2019065918A1 (ja) 画像処理装置、動画圧縮装置、画像処理プログラム、および動画圧縮プログラム
KR100195129B1 (ko) 가정용 hdtv 카메라를 위한 수직라인 배속 변환방법 및 그 회로
JP7156367B2 (ja) 動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラム
JP2003283906A (ja) 高解像度撮像装置
JP7167928B2 (ja) 動画圧縮装置、電子機器、および動画圧縮プログラム
JP2013211644A (ja) 画像処理装置
WO2019065917A1 (ja) 動画圧縮装置、電子機器、および動画圧縮プログラム
CN112689175A (zh) 一种可直播滑板车
Sato et al. 8K Camera Recorder using Organic CMOS Image Sensor
JP2008263650A (ja) 固体撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19777170

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19777170

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP