WO2010032457A1 - 撮像装置および動画データ作成方法 - Google Patents

撮像装置および動画データ作成方法 Download PDF

Info

Publication number
WO2010032457A1
WO2010032457A1 PCT/JP2009/004655 JP2009004655W WO2010032457A1 WO 2010032457 A1 WO2010032457 A1 WO 2010032457A1 JP 2009004655 W JP2009004655 W JP 2009004655W WO 2010032457 A1 WO2010032457 A1 WO 2010032457A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
encoder
moving image
power supply
unit
Prior art date
Application number
PCT/JP2009/004655
Other languages
English (en)
French (fr)
Inventor
岡秀美
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/119,103 priority Critical patent/US8411168B2/en
Priority to JP2010529639A priority patent/JP5081306B2/ja
Publication of WO2010032457A1 publication Critical patent/WO2010032457A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Definitions

  • the present invention relates to an imaging apparatus.
  • the present invention relates to an imaging apparatus having a function of shooting a subject for a long time and recording an image obtained by shooting at a predetermined time interval.
  • the present invention also relates to a moving image data creation method that can be employed in such an imaging apparatus.
  • a video camera that records moving image data on a recording medium such as a semiconductor memory is known.
  • MPEG-2 Motion Picture Experts Group Phase 2
  • H.264. H.264 / AVC Advanced Video Cording
  • This type of video camera often has various shooting functions.
  • One of them is an intermittent recording function that can reproduce a scene that moves slowly over a long time with a short moving image by recording at a predetermined time interval.
  • Japanese Patent Laying-Open No. 2007-159056 discloses an encoding device that can be applied to an intermittent recording function. According to this encoding apparatus, inter-frame encoding is performed so that encoding is completed for each unit, with image data obtained within a predetermined shooting time as one unit.
  • the present invention An imaging unit for imaging a subject; An image generation unit that generates processed image data by processing the output of the imaging unit; An encoder that creates moving image data by encoding the image data; As a recording mode of the imaging apparatus, a recording mode setting unit that sets an intermittent recording mode in which the frequency of creating one unit of moving image data per unit time is lower than the frequency of creating the moving image data in a normal recording mode When, In the intermittent recording mode, a plurality of the moving image data created by the encoder is collected (merged), and a recording control unit that records one intermittent moving image data; In the intermittent recording mode, the power supply to the encoder is stopped every time the encoding of the image data is completed, and the power supply to the encoder is resumed when it becomes necessary to perform the encoding of the image data next time. A power supply control unit; A continuation information management unit that manages continuation information necessary to create a plurality of the moving image data so that the intermittent moving image data becomes a continuously reproducible stream; An imaging apparatus including the above is provided.
  • the present invention provides: Imaging a subject to generate image data; Creating moving image data by encoding the image data; As an operation mode of the encoder that encodes the image data, there is an intermittent recording mode in which the frequency of creating one unit of moving image data per unit time is lower than the frequency of creating the moving image data in a normal recording mode.
  • continuation information necessary to create a plurality of moving image data is managed on behalf of the encoder while power supply to the encoder is stopped so that the intermittent moving image data becomes a stream that can be continuously reproduced.
  • the encoder can reflect the referenced continuation information in the next encoding process, that is, the creation of the next moving image data. Thereby, intermittent moving image data which can be continuously reproduced can be created.
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 1 of the present invention.
  • Schematic showing how to create video data in intermittent recording mode Schematic diagram of the buffer occupancy of the virtual decoder simulated by the encoder (image compression unit) in the encoding process
  • Schematic diagram showing problems when the buffer occupancy before power supply stoppage is not inherited by the encoding process after power supply stoppage Schematic showing that the problem shown in FIG. 4 can be solved by this embodiment
  • Flow chart of processing executed in intermittent recording mode Flowchart of intermittent recording according to Embodiment 2 of the present invention
  • Flowchart of intermittent recording according to Embodiment 3 of the present invention Flowchart of intermittent recording according to Embodiment 4 of the present invention
  • the encoder generates an encoded bit stream so as not to break down a decoder that decodes the bit stream (flow of image data).
  • a bit stream generated by an encoder is stored in a storage such as a memory card.
  • the bit stream read from the storage is input to the decoder buffer.
  • the decoder takes out the bit stream from the buffer, decodes it, and reproduces the image.
  • the decoder buffer overflows or underflows, the decoder may not be able to correctly decode the bitstream.
  • the encoder needs to encode the bitstream so that the decoder buffer does not underflow and overflow.
  • MPEG-2 and H.264 H.264 / AVC introduces the concept of “virtual decoder”.
  • the “virtual decoder” is a virtual model of the behavior of the decoder, that is, the state of the decoder buffer. The encoder needs to generate a bitstream so that the virtual decoder does not fail.
  • the encoder When the encoder is always in an active state, the encoder itself can always grasp the state of the virtual decoder, so that it is possible to continuously create video data that can avoid a buffer failure. However, if the encoder is paused for the purpose of reducing power consumption, the continuity of the virtual decoder is lost, and some measures must be taken to create appropriate video data.
  • the encoder encodes the image data while simulating the buffer occupancy in the virtual decoder that models the state of the buffer of the decoder of the imaging device or other playback device provided with it. It is configured to create moving image data that can avoid underflow of the decoder buffer.
  • the continuation information includes information for specifying the buffer occupancy when the latest past encoding process is completed. By referring to the continuation information after the power supply is resumed, the encoder performs a new encoding process based on the buffer occupancy at the time when the latest past encoding process is completed.
  • the buffer occupancy of the virtual decoder is managed on behalf of the encoder while power supply to the encoder is stopped so that continuation information can be provided to the encoder after power supply is resumed.
  • the encoder can identify the buffer occupancy of the virtual decoder at the time of completion of the latest past encoding process by referring to the continuation information, and perform a new encoding process based on the specified buffer occupancy. Do. In this way, even if power supply to the encoder is stopped or restarted in the intermittent recording mode, it is possible to create an appropriate encoded bit stream that does not cause the decoder buffer of the playback apparatus to fail.
  • FIG. 1 is a block diagram showing the configuration of an imaging apparatus according to Embodiment 1 of the present invention, and in detail shows the configuration of a video camera.
  • the video camera 100 includes an optical system 10, an image sensor 20, an ADC 30 (Analog-Digital Converter), an image processing unit 40, a controller 70, a buffer 71, a microphone 50, an audio processing unit 60, a system encoder 72, a system decoder 73, and a card slot. 81, a liquid crystal display 82, a speaker 83, an operation unit 84, and a power supply control unit 75. Not all of these elements are essential to the practice of the invention.
  • FIG. 1 only shows a typical configuration of the video camera 100. Hereinafter, the configuration of the video camera 100 will be described in detail.
  • the optical system 10 includes, for example, an objective lens, a zoom lens, a diaphragm, an OIS unit (Optical Image Stabilizer Unit), and a focus lens.
  • the optical system 10 collects light from the subject and forms a subject image.
  • the image sensor 20 captures a subject image formed by the optical system 10 and generates image data.
  • the image sensor 20 is typically composed of a CMOS image sensor (Complementary Metal-Oxide Semiconductor) or a CCD image sensor (Charge-Coupled Device).
  • the ADC 30 converts the image data generated by the image sensor 20 into a digital signal.
  • the optical system 10, the image sensor 20, and the ADC 30 constitute an imaging unit that generates image data.
  • the image processing unit 40 performs various processes on the image data converted by the ADC 30.
  • the image processing unit 40 generates image data to be input to the system encoder 72 from the image data generated by the imaging unit, or generates image data to be displayed on the liquid crystal display 82. Further, the image processing unit 40 performs image processing on the image data output from the system decoder 73 to generate image data to be displayed on the liquid crystal display 82 or to re-input the image data to the system encoder 72. Or generate data.
  • the image processing unit 40 can be configured by a DSP (Digital Signal Processor) or a microcomputer.
  • the image processing unit 40 includes an image preprocessing unit 41, an image compression unit 42, and an image expansion unit 43 in detail.
  • the image preprocessing unit 41 performs various types of image processing such as gamma correction and white balance correction on the image data converted into a digital signal by the ADC 30 to generate processed image data.
  • the image compression unit 42 compresses image data using techniques such as discrete cosine transform, Huffman coding (variable length coding), and inter-frame prediction.
  • the image compression unit 42 supports compression of both image data of moving image data and still image data.
  • a compression method of moving image data for example, MPEG-2 and H.264 are used. H.264 / AVC.
  • still image data compression methods include JPEG (Joint Photographic Experts Group) and GIF (Graphics Interchange Format).
  • the image expansion unit 43 decodes the image data into an uncompressed state.
  • the microphone 50 collects sound and generates sound data.
  • the microphone 50 may be composed of a plurality of microphones.
  • the sound processing unit 60 performs various processes on the sound data of the microphone 50.
  • the sound processing unit 60 generates sound data to be input to the system encoder 72 or generates sound data to be output to the speaker 83.
  • the audio processing unit 60 generates audio data to be output to the speaker 83 by performing audio processing on the audio data to be output by the system decoder 73, or audio data to be re-input to the system encoder 72. Or generate.
  • the audio processing unit 60 can be configured by a DSP or a microcomputer.
  • the audio processing unit 60 includes an audio preprocessing unit 61, an audio compression unit 62, and an audio expansion unit 63 in detail.
  • the sound preprocessing unit 61 converts the analog sound data collected by the microphone 50 into sound data of a digital signal.
  • the sound preprocessing unit 61 also performs various sound processing such as stereo sound generation and multi-channel sound generation.
  • the audio compression unit 62 encodes audio data by a known compression method typified by MP3 (MPEG-1 Audio Layer 3) and AAC (Advanced Audio Audio Coding).
  • the audio decompression unit 63 decodes the audio data when the encoded audio data output from the system decoder 73 is output by the speaker 83 or the like.
  • the system encoder 72 multiplexes the encoded image data output from the image processing unit 40 and the encoded audio data output from the audio processing unit 60, thereby to record AV data (Audio and) to be recorded in the memory card 80. Generate Visual Data.
  • the system decoder 73 decodes the AV data recorded on the memory card 80, and generates encoded image data and encoded audio data.
  • the system decoder 73 also outputs the generated encoded image data to the image expansion unit 43 and the encoded audio data to the audio expansion unit 63, respectively.
  • the controller 70 controls the entire video camera 100.
  • the controller 70 also serves as a recording control unit that records a plurality of moving image data that can be continuously reproduced by collecting a plurality of moving image data created by the image compression unit 42 during intermittent recording.
  • the function to be provided by the controller 70 can be realized by a combination of hardware such as a DSP and software including a control program to be executed using the hardware.
  • the ADC 30, the image processing unit 40, the audio processing unit 60, the controller 70, the buffer 71, the system encoder 72, and the system decoder 73 may be configured by a one-chip system LSI (Large-Scale Integration) designed exclusively. Good.
  • the buffer 71 can be composed of, for example, a DRAM (Dynamic Random Access Memory), a ferroelectric memory, a magnetic memory, or the like.
  • the buffer 71 not only functions as a work memory for the controller 70 but also is used for various purposes such as temporarily storing and managing image data and various information generated by the image processing unit 40 as necessary.
  • the controller 70 can access the memory card 80 installed in the card slot 81 via the card slot 81.
  • the memory card 80 includes a nonvolatile memory such as a flash memory, a ferroelectric memory, and a magnetic memory.
  • the memory card 80 can store various data such as AV data, audio data, and image data.
  • a hard disk drive and / or a built-in memory may be provided as a storage for storing various data.
  • the liquid crystal display 82 is a display unit that displays an image based on image data generated by the image sensor 20 and an image based on image data in AV data read from the memory card 80.
  • the liquid crystal display 82 can also display various setting information and shooting time of the video camera 100.
  • the speaker 83 can output sound based on the sound data collected by the microphone 50 and sound based on the sound data in the AV data read from the memory card 80.
  • the power source 74 is a battery in a portable video camera.
  • the power source 74 is not limited to a battery but may be an AC power source.
  • the power supply control unit 75 includes, for example, a power supply circuit, a reset circuit, and a clock circuit.
  • the power supply control unit 75 plays a role of supplying power from the clock and the power supply 74 to each block in accordance with an instruction from the controller 70.
  • the operation unit 84 is a component that collectively refers to various types of operation means, and receives a user instruction and plays a role of transmitting the instruction to the controller 70.
  • a part of the operation unit 84 may be configured by a touch screen using the liquid crystal display 82.
  • the operation unit 84 includes a recording mode setting unit.
  • the recording mode setting unit is an operation unit for the user to set whether to perform shooting in the normal recording mode or in the intermittent recording mode.
  • the intermittent recording mode is a recording mode in which the frequency of creating one unit of moving image data per unit time is lower than the frequency of creating moving image data in the normal recording mode. For example, in a normal recording mode, when 24 frames of pictures are captured per second and a unit of moving image data is created using a collection of 12 frames of pictures (1 GOP: Group Of Picture), 2 units per second Movie data is created.
  • the picture capturing interval is increased. For example, one frame of picture is captured every 1 second, 10 seconds, 30 seconds, 1 minute, or 2 minutes. Then, as in the normal recording mode, one unit of moving image data is created using 12 frames of pictures. When capturing one frame of picture per second, one unit of moving image data is created every 12 seconds. The plurality of moving image data created in this way is finally handled as one piece of intermittent moving image data that can be continuously reproduced. In this way, a scene that moves slowly over a long time can be reproduced with a short video.
  • encoding is performed by capturing a plurality of frames at the same rate as the normal recording mode, and nothing is performed until the timing of capturing the next plurality of frames.
  • the picture capture interval itself is made constant, a moving image that can be seen smoothly by human eyes can be created.
  • the image compression unit 42 encodes image data while simulating the buffer occupancy of the virtual decoder that models the state of the buffer of the decoder of the video camera 100 or other playback device. This creates moving image data that can avoid underflow of the decoder buffer during reproduction. This is the same in both the normal recording mode and the intermittent recording mode.
  • the virtual decoder model defined by MPEG-2 is called a video buffer verifier (VBV).
  • a model of a virtual decoder defined by H.264 / AVC is called a virtual reference decoder (HRD).
  • FIG. 3 is a schematic diagram of the buffer occupancy of the virtual decoder simulated by the encoder (corresponding to the image compression unit 42 in the present embodiment) in the encoding process.
  • the vertical axis represents the buffer occupancy of the virtual decoder, in other words, the bit amount in the buffer.
  • the horizontal axis represents time.
  • “Buffer size” represents a buffer size of a decoder necessary for reproducing a moving image.
  • the “delay time” is information for notifying the decoder of the playback apparatus to wait for decoding until the time elapses after the input of the bit stream to the buffer is started.
  • “Buffer size” and “delay time” are values determined by the standard, and are described in the bitstream by the encoder.
  • the “buffer size” and “delay time” are usually described in portions corresponding to various headers in the bitstream so that the decoder of the playback device can recognize them. Further, in the portion corresponding to various headers in the bit stream, in addition to information essential for the decoder to decode the stream, such as motion vector information and picture type, the “input bit rate” and “buffer” shown in FIG. The bit extraction time from "is described.
  • the bit stream is input at a predetermined bit rate when the virtual decoder buffer is empty. After the delay time has elapsed, a bit corresponding to one picture is instantaneously extracted from the buffer and decoded instantaneously by the virtual decoder. When bit extraction occurs, the amount of bits in the buffer decreases. Thereafter, bits are accumulated at a predetermined bit rate until the next extraction time. An “underflow” occurs when the bit extraction time has arrived even though the bits for one picture are not stored in the buffer. That is, since the bits to be extracted by the decoder are exhausted, the decoder waits until enough bits are accumulated. As a result, problems such as so-called frame dropping occur. On the other hand, if the bit stream is input beyond the buffer size, “overflow” occurs. Since bits cannot be accumulated beyond the physical capacity of the buffer, there is a possibility that problems such as dropped frames may occur in this case.
  • the image compression unit 42 can create moving image data that can avoid underflow and overflow of the decoder buffer during reproduction by encoding the image data while simulating the buffer occupancy of the virtual decoder. For example, when the amount of bits in the buffer is too small or too large at a certain extraction time, the encoder adjusts the quantization coefficient used when quantizing the image data to adjust bits corresponding to one picture (or slice). Decrease or increase the amount.
  • the input bit rate to the buffer is variable like a DVD (Digital Versatile Disc) playback device, it is usually sufficient to avoid only underflow. However, depending on the playback device, the input bit rate may be fixed. Therefore, it is desirable to create moving image data that can avoid both underflow and overflow. In addition, when the input bit rate to the buffer is fixed as in television broadcasting, it is necessary to create moving image data that can avoid both underflow and overflow.
  • DVD Digital Versatile Disc
  • the model of the virtual buffer shown in FIG. 3 represents a case where moving image data is recorded in a normal recording mode.
  • power supply to the image compression unit 42 is stopped or restarted as necessary. That is, the image compression unit 42 is paused despite the creation of continuously reproducible moving image data.
  • the image compression unit 42 itself can always grasp the state of the virtual decoder, so that moving image data that can avoid a buffer failure can be continuously created.
  • the image compression unit 42 when a pause (power supply stop) of the image compression unit 42 is sandwiched between one encoding process and the next encoding process, the image compression unit 42 performs the latest past encoding process. Forget buffer occupancy at completion. As a result, the continuity of the virtual decoder is broken. If intermittent video data is generated ignoring the continuity of the virtual decoder, there is a risk of buffer failure (underflow and / or overflow) during reproduction of the video data. For example, since the amount of bits in the buffer would otherwise depletion Pounds and D 1, the next encoding process in consideration of the bit amount D 1, though must be made to adjust such increase the compression ratio, the initial Encoding processing is performed on the assumption that there is a delay. As a result, intermittent moving image data in which underflow occurs during reproduction is created.
  • the buffer occupancy (bit amount D 1 ) at the time of completion of the latest past encoding process is managed while the power supply to the image compression unit 42 is stopped, and the image is restored after the power supply is resumed. If it can be referred to by the compression unit 42, the image compression unit 42 can perform a new encoding process based on the referenced buffer occupancy (point D 1 ).
  • the buffer occupancy at the completion of the last past encoding process is inherited by the next encoding process, that is, the continuity of the virtual decoder is maintained, so appropriate intermittent video data that does not break the buffer during playback is created it can.
  • continuous information is used as information necessary to create a plurality of moving image data so that intermittent moving image data becomes a stream that can be continuously reproduced.
  • continuous playback is possible means that the buffer of the playback device is not broken during playback.
  • the continuation information simply includes information for specifying the buffer occupancy at the time when the latest past encoding process is completed.
  • the continuation information can be stored in the buffer 71, the memory card 80, or a nonvolatile built-in memory (not shown).
  • the buffer 71, the memory card 80, or the built-in memory plays a role as a continuation information management unit that manages continuation information while power supply to the image compression unit 42 is stopped.
  • the continuation information may include a time stamp.
  • the “time stamp” is information for specifying the decoding time of the bit stream constituting the intermittent moving image data.
  • the “bit extraction time” shown in FIG. 3 corresponds to the time stamp. Thereby, intermittent moving image data that can be reproduced without delay can be created.
  • the buffer occupancy of the virtual decoder is information that is not included in the intermittent video data.
  • the buffer occupancy in the continuation information is only information that is temporarily created during intermittent recording.
  • the time stamp is information to be described in the intermittent moving image data, and is described for each frame in a portion corresponding to the header in the stream by the image compression unit 42 when the moving image data is created.
  • the controller 70 executes the process shown in FIG. 6 in response to acquiring the trigger for starting intermittent recording.
  • the start opportunity occurs, for example, when an operation for starting intermittent recording is performed by the user.
  • intermittent recording is started in response to an input operation for starting recording in a state where the intermittent recording mode is set.
  • an operation button for starting intermittent recording may be provided in the operation unit 84, and intermittent recording may be started in response to the operation button being turned on.
  • the controller 70 takes in the image data generated by the image preprocessing unit 41 from the image generation unit 41 at a predetermined time interval in the form of still image data (step S201).
  • the user can set a still image data capture interval (predetermined time interval) using the operation unit 84.
  • the set time interval is stored in the buffer 71 or a built-in memory (not shown).
  • the controller 70 temporarily stores the captured still image data in the buffer 71 (step S202).
  • the buffer 71 functions as a storage unit that can store the image data generated by the image generation unit 41.
  • power supply to the image compression unit 42 is stopped.
  • a memory card 80 that can be attached to and detached from the card slot 81 of the video camera 100 can be used as the storage destination of the still image data, instead of the buffer 71. Since the capacity of the memory card 80 is sufficiently larger than the capacity of the buffer 71, there is no need to worry about the storage capacity when the memory card 80 is used. When an internal memory or a hard disk drive is provided, still image data may be temporarily stored in those storages.
  • the controller 70 confirms the number of time-series still image data stored in the buffer 71 (step S203). If the number of still image data does not reach the predetermined number, the still image data is continuously taken in.
  • the power supply control unit 75 is instructed to start power supply to the image compression unit 42 (restart after the second time).
  • the power supply control unit 75 starts power supply to the image compression unit 42 (step S204).
  • the power supply control unit 75 performs power control such as clock supply to the image compression unit 42 and reset release. Generally, if the clock supply to a circuit block that is not operating is stopped, the overall power consumption is reliably reduced.
  • the power control may be executed by a user operation, and then the creation of the moving image data may be started.
  • the controller 70 instructs the image compression unit 42 to read the continuation information (step S205).
  • the image compression unit 42 checks the presence / absence of continuation information in the buffer 71 (continuation information management unit), reads out continuation information when continuation information exists, and reads out continuation information when continuation information does not exist. Without executing the following processing. As can be understood from the description of FIGS. 3 to 5, if the encoding process (step S206) has not been performed once after the start of intermittent recording, the continuation information does not yet exist.
  • the continuation information is newly created and first stored in the buffer 71 after the first encoding process is completed.
  • the controller 70 instructs the image compression unit 42 to create moving image data (step S206).
  • the image compression unit 42 acquires time-series still image data from the buffer 71 as image data to be encoded, and generates one unit of moving image data by encoding the still image data.
  • the encoding process is MPEG-2 or H.264. H.264 / AVC. In some cases, motionJPEG may be employed.
  • the image compression unit 42 encodes these still image data to generate moving image data. Is generated. For example, when still image data is captured at intervals of 2 minutes, 12 frames of still image data are accumulated in the buffer 71 at a cycle of 24 minutes, so that the creation of moving image data may be performed at intervals of 24 minutes. When encoding is performed at a frame rate of 24 fps (Frame Per Second), moving image data that can be reproduced in about 0.5 seconds is obtained by encoding 12 frames of still image data.
  • the controller 70 stores or updates the buffer occupancy and time stamp of the virtual decoder recognized at that time by the image compression unit 42 in the buffer 71 as continuation information. (Step S207).
  • the buffer occupancy (bit amount D 1 ) at the completion of the most recent past encoding process is usually the buffer occupancy (bit amount D 2 ) at the completion of the subsequent encoding process. It is different. Therefore, the continuation information is updated every time the encoding process is completed.
  • the controller 70 instructs the power supply control unit 75 to stop power supply to the image compression unit 42 (step S208).
  • the power supply control unit 75 stops power supply by stopping the clock supply to the circuit blocks constituting the image compression unit 42.
  • the power supply control unit 75 stops the power supply to the image compression unit 42 every time the encoding of the image data is completed, and next, it is necessary to encode the image data. Then, the power supply to the image compression unit 42 is resumed. Thereby, power consumption can be sufficiently suppressed.
  • the controller 70 records the created moving image data in the memory card 80 (step S209).
  • the previously created moving image data and the moving image data to be newly recorded can be combined and continuously reproduced.
  • Create intermittent video data Since these moving image data are created by the image compression unit 42 while ensuring the continuity of the virtual decoder, even if the moving image data is combined into one moving image data, the buffer of the playback device is not broken down.
  • the controller 70 performs processing for adding new moving image data after the sequence of the previous moving image data and correcting the end code of the sequence.
  • the controller 70 determines whether or not the intermittent recording end condition is satisfied (step S210). Specifically, it is determined whether or not the user has performed an intermittent recording end operation. When the intermittent recording is continued, the processing from step S201 to step S209 is repeated. It should be noted that the elapse of a preset intermittent recording time may be the intermittent recording end condition. That is, the time from the start of intermittent recording may be measured, and the intermittent recording may be terminated when the set intermittent recording time is reached.
  • the power supply to the image compression unit 42 is stopped or restarted.
  • the image compression unit 42 has the buffer occupancy of the latest past virtual decoder. And the next encoding process can be performed based on the recognized buffer occupancy.
  • the intermittent moving image data obtained by combining a plurality of moving image data created in this way is not different from moving image data created in the normal recording mode.
  • the created intermittent moving image data is managed as one file, there is no problem that a large number of AV data is recorded in the memory card 80 and it takes a long time to search the AV data.
  • the data to be recorded on the memory card 80 in the intermittent recording mode may be multiplexed intermittent AV data.
  • the moving image data created by the image compression unit 42 is multiplexed with audio data by a system encoder 72 (for example, MPEG-2 system) and recorded on the memory card 80.
  • Audio data is not essential for the stream, but if there is no audio data, there is a possibility that playback may become impossible depending on the playback device. Therefore, it is preferable to create intermittent AV data using some audio data. Any audio data can be used. For example, voice data collected by the microphone 50 and generated by the voice processing unit 60 and voice data silenced can be used.
  • music data prepared in advance by the user in the built-in memory, hard disk drive, memory card 80 or the like of the video camera 100 may be used to create intermittent AV data.
  • multiplexing can be freely performed so that the original music flows without interruption when intermittent AV data is reproduced.
  • the configuration of the video camera according to the following second to fourth embodiments is the same as that of the first embodiment, description thereof is omitted.
  • the method of creating intermittent moving image data is slightly different from that in the first embodiment.
  • all the configurations and methods described in the first embodiment can be naturally combined with the second to fourth embodiments.
  • steps S401 to S408 correspond to steps S201 to S208 of the first embodiment, respectively.
  • the controller 70 replaces the moving image data created by the image compression unit 42 with the free space in the buffer 71 (storage unit) instead of recording the moving image data on the memory card 80 one by one. Save temporarily. Then, in response to acquiring an opportunity to stop intermittent recording, intermittent moving image data is created using a plurality of moving image data stored in the buffer 71 and recorded in the memory card 80 (step S411).
  • the controller 70 stores the created plurality of moving image data in the buffer 71 from the start of intermittent recording until the end condition of intermittent recording is satisfied.
  • the controller 70 collects all the moving image data on the buffer 71 and creates one intermittent moving image data.
  • the controller 70 does not need to access the memory card 80 each time moving image data is created by the image compression unit 42. Since the processing for collecting a plurality of moving image data is performed only once, the load on the controller 70 can be reduced. Multiplexing to be performed by the system encoder 72 is sufficient.
  • the data to be temporarily stored in the buffer 71 may be AV data including audio data and moving image data.
  • a process of creating a plurality of moving image data together to create intermittent moving image data according to the amount of free space in the buffer 71 may be performed.
  • intermittent moving image data may be created using a plurality of moving image data stored in the buffer 71 when the free space in the buffer 71 falls below a predetermined amount. In this way, shortage of the capacity of the buffer 71 can be avoided and intermittent moving picture data having a size exceeding the capacity of the buffer 71 can be created.
  • the still image data when still image data is stored in the buffer 71, the still image data is temporarily compressed. As shown in FIG. 8, after fetching still image data, the controller 70 compresses the fetched still image data and stores the compressed still image data in the buffer 71 (steps S501 and S502). Examples of the still image data compression method include JPEG and GIF.
  • the controller 70 checks the number of time-series still image data stored in the buffer 71 (step S503). If the number of still image data has reached a predetermined number, the still image data is read from the buffer 71 and the still image data is expanded (step S504).
  • the subsequent steps S505 to 511 correspond to steps S204 to 210 of the first embodiment, respectively.
  • the controller 70 includes (i) a function as a still image compression encoder that generates compressed still image data by encoding image data in units of frames; It functions as a still image expansion decoder for decoding still image data.
  • the controller 70 stores the compressed still image data in the buffer 71, and reads out the compressed still image data from the buffer 71 and decodes it after the power supply is resumed.
  • the expanded still image data is prepared for the image compression unit 42.
  • the controller 70 captures still image data, and then checks whether there is moving image data or still image data recorded on the memory card 80 after the start of intermittent recording (step S601). . If neither moving image data nor still image data exists, the captured still image data is stored in the memory card 80 (step S602). Thereafter, the still image data is captured again (step S601). If still image data exists, the still image data is read from the memory card 80, and moving image data is created using the still image data and the newly captured still image data. After the created moving image data is recorded in the memory card 80, still image data is captured again (step S601).
  • the moving image data is read from the memory card 80 (step S603).
  • the controller 70 instructs the power supply control unit 75 to start power supply to the image expansion unit 43.
  • the power supply control unit 75 starts power supply to the image expansion unit 42 (step S604).
  • the image decompression unit 43 is instructed to decompress the read moving image data (step S605).
  • power supply to the image expansion unit 43 is stopped (step S606).
  • steps S607 and 608 correspond to steps S204 and 205 in the first embodiment, respectively.
  • the controller 70 instructs the image compression unit 42 to create moving image data (step S609).
  • the image compression unit 42 extracts reference frames necessary for the inter-frame encoding process from the expanded moving image data, adds the still image data captured in step S602, and creates new moving image data.
  • the captured still image data is added to the expanded moving image data to create newly encoded moving image data.
  • Steps S610 and 611 correspond to steps S207 and 208 of the first embodiment, respectively.
  • the controller 70 After power supply to the image compression unit 42 is stopped, the controller 70 records new moving image data on the memory card 80 (step S612).
  • the controller 70 may record new moving image data by overwriting the moving image data read in step S603. Thereby, the size of the moving image data on the memory card 80 can be suppressed. Further, the controller 70 may additionally record only the newly generated difference data in the new moving image data in the moving image data read in step S603.
  • the buffer 71 functions as a storage unit that can store still image data
  • the memory card 80 functions as a storage unit that can store moving image data generated by the image compression unit 42.
  • the controller 70 captures image data from the image preprocessing unit 41 in the form of still image data at predetermined time intervals.
  • the power supply to the image compression unit 42 is resumed in response to the acquisition of new still image data.
  • moving image data previously created exists on the memory card 80 after the power supply is resumed
  • the moving image data previously created is decoded by the image decompression unit 43 and the moving image data obtained by decoding is decoded.
  • the image compression unit 42 performs an encoding process for creating new moving image data using the data and the new still image data. New moving image data created by the image compression unit 42 is re-recorded on the memory card 80.
  • each time still image data is captured moving image data encoded using the still image data is created. Therefore, when intermittent recording is interrupted for some reason, such as when the battery is exhausted, it is possible to prevent the loss of all still image data captured up to that point, and the video data up to just before the interruption can be reliably stored in the memory card 80. Can be recorded.
  • sound data may be handled together with moving image data.
  • the AV data recorded on the memory card 80 is divided into moving image data and audio data by the system decoder 73, and the processing described in this embodiment is performed on the separated moving image data.
  • the present invention is useful for an imaging apparatus having an intermittent recording function, for example, a video camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

　画像データ（静止画データ）の符号化を行うことによって動画データを作成する。間欠記録モードが設定されている場合に、エンコーダ（画像圧縮部４２）によって作成された複数の動画データをマージして１つの間欠動画データを記録する。間欠記録モードにおいて、画像データの符号化が完了する都度エンコーダへの給電を停止する。エンコーダへの給電停止後、次に画像データの符号化を行う必要が生じた場合にエンコーダへの給電を再開する。間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な継続情報をエンコーダへの給電停止中に管理する。

Description

撮像装置および動画データ作成方法
　本発明は、撮像装置に関する。特に、被写体を長時間撮影するとともに、撮影により得られた画像を所定の時間間隔で記録する機能を持った撮像装置に関する。本発明は、また、そのような撮像装置に採用できる動画データ作成方法に関する。
　従来、動画データを半導体メモリ等の記録媒体に記録するビデオカメラが知られている。このようなビデオカメラにおいては、ＭＰＥＧ－２（Moving Picture Experts Group Phase 2）およびＨ．２６４／ＡＶＣ（Advanced Video Cording）に代表される圧縮符号化方式を用いて動画データを作成し、作成した動画データを半導体メモリに記録する。
　この種のビデオカメラは様々な撮影機能を持っていることが多い。その１つに、所定の時間間隔で記録を行うことによって、長時間かけてゆっくり動くシーンを短時間の動画で再現できる間欠記録機能がある。例えば特開２００７－１５９０５６号公報には、間欠記録機能に適用できる符号化装置が開示されている。この符号化装置によると、予め定められた１回の撮影時間内に得られた画像データを１単位として、１単位毎に符号化が完結するようにフレーム間符号化を行う。
特開２００７－１５９０５６号公報
　間欠記録を行う場合、長時間の撮影が望まれる。持ち運び可能なビデオカメラは、バッテリで駆動されるため、長時間の撮影を行えるよう、撮影時に使用する電力を抑える必要がある。消費電力を抑えるには、必要に応じてシステムの一部、例えばエンコーダを休止させることが有効である。しかし、エンコーダを休止させると連続再生可能な動画データを作成できない可能性がある。
　本発明は、間欠記録を行う場合においても連続再生可能な動画データを作成できる撮像装置を提供することを目的とする。さらに、本発明は、その撮像装置に採用できる動画データ作成方法を提供することを目的とする。
　すなわち、本発明は、
　被写体を撮像する撮像部と、
　前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
　前記画像データの符号化を行うことによって動画データを作成するエンコーダと、
　当該撮像装置の記録モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードを設定する記録モード設定部と、
　前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて（マージして）、１つの間欠動画データを記録する記録制御部と、
　前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するとともに、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
　前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理する継続情報管理部と、
　を備えた、撮像装置を提供する。
　他の側面において、本発明は、
　被写体を撮像して画像データを生成するステップと、
　前記画像データの符号化を行うことによって動画データを作成するステップと、
　前記画像データの符号化を行うエンコーダの動作モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録するステップと、
　前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するステップと、
　前記エンコーダへの給電停止後、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
　前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理するステップと、
　を含む、動画データ作成方法を提供する。
　本発明では、間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な継続情報をエンコーダへの給電停止中にエンコーダに代わって管理する。給電再開後、エンコーダは、参照した継続情報を次の符号化処理、すなわち次の動画データの作成に反映させうる。これにより、連続再生可能な間欠動画データを作成できる。
　なお、本明細書では「符号化」および「復号化」をそれぞれ「圧縮」および「伸張」と同じ意味で用いるものとする。
本発明の実施形態１に係る撮像装置の構成を示すブロック図 間欠記録モードでの動画データの作成方法を示す概略図 符号化処理においてエンコーダ（画像圧縮部）がシミュレートする仮想デコーダのバッファ占有度の概略図 給電停止前のバッファ占有度を給電停止後の符号化処理に引き継がない場合の問題点を示す概略図 図４に示す問題点を本実施形態によって解決できることを示す概略図 間欠記録モードで実行される処理のフローチャート 本発明の実施形態２に係る間欠記録のフローチャート 本発明の実施形態３に係る間欠記録のフローチャート 本発明の実施形態４に係る間欠記録のフローチャート
　当業者に知られているように、エンコーダは、ビットストリーム（画像データの流れ）を復号化するデコーダを破綻させることがないように、符号化されたビットストリームを生成する。ビデオカメラを例にすると、エンコーダで生成されたビットストリームは、メモリカード等のストレージに格納される。再生時において、ストレージから読み出されたビットストリームは、デコーダのバッファに入力される。デコーダは、バッファからビットストリームを取り出して復号化し、画像を再生する。このとき、デコーダのバッファがオーバーフローしたり、アンダーフローしたりしてしまうと、デコーダはビットストリームを正しく復号化できない場合がある。この不具合を未然に防ぐために、エンコーダは、デコーダのバッファをアンダーフローおよびオーバーフローさせないように、ビットストリームを符号化する必要がある。この要求を満たすため、ＭＰＥＧ－２およびＨ．２６４／ＡＶＣでは、「仮想デコーダ」という概念が導入されている。「仮想デコーダ」とは、デコーダの振る舞い、すなわちデコーダのバッファの状態を仮想的にモデル化したものである。エンコーダは、この仮想デコーダを破綻させないように、ビットストリームを生成する必要がある。
　エンコーダが常時活動状態にある場合、エンコーダ自身が仮想デコーダの状態を常に把握できるため、バッファの破綻を回避しうる動画データを継続的に作成できる。しかし、消費電力を抑える目的でエンコーダを休止させた場合は、仮想デコーダの継続性が絶たれるので、適正な動画データを作成するのに何らかの措置を講ずる必要がでてくる。
　これに対し、以下のような一つの実施形態を提案できる。すなわち、エンコーダは、自身が設けられた撮像装置または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダにおけるバッファ占有度をシミュレートしつつ画像データの符号化を行うことによって、再生時にデコーダのバッファのアンダーフローを回避しうる動画データを作成するように構成されている。継続情報は、直近の過去の符号化処理の完了時におけるバッファ占有度を特定するための情報を含む。給電再開後に継続情報を参照することによって、エンコーダは、直近の過去の符号化処理の完了時におけるバッファ占有度を基準として新たな符号化処理を行う。
　上記の構成によれば、給電再開後にエンコーダに継続情報を提供できるように、エンコーダへの給電停止中にエンコーダに代わって仮想デコーダのバッファ占有度を管理する。給電再開後、エンコーダは継続情報を参照することで、直近の過去の符号化処理の完了時における仮想デコーダのバッファ占有度を特定できるとともに、特定したバッファ占有度を基準として新たな符号化処理を行う。このようにすれば、間欠記録モードでエンコーダへの給電を止めたり再開したりしても、再生装置のデコーダのバッファを破綻させない適正な符号化ビットストリームを作成できる。
　以下、本発明の実施形態について、図面を用いて詳細に説明する。
（実施形態１）
１．構成
　図１は、本発明の実施形態１に係る撮像装置の構成を示すブロック図であり、詳細には、ビデオカメラの構成を示している。ビデオカメラ１００は、光学系１０、撮像素子２０、ＡＤＣ３０（Analog-Digital Converter）、画像処理部４０、コントローラ７０、バッファ７１、マイクロホン５０、音声処理部６０、システムエンコーダ７２、システムデコーダ７３、カードスロット８１、液晶ディスプレイ８２、スピーカ８３、操作部８４および給電制御部７５を備えている。本発明の実施にこれら全ての要素が不可欠というわけではない。図１はビデオカメラ１００の典型的な構成を表しているに過ぎない。以下、ビデオカメラ１００の構成を詳細に説明する。
　光学系１０は、例えば、対物レンズ、ズームレンズ、絞り、ＯＩＳユニット（Optical Image Stabilizer Unit）およびフォーカスレンズを含む。光学系１０は、被写体からの光を集め、被写体像を形成する。撮像素子２０は、光学系１０で形成された被写体像を撮像して、画像データを生成する。撮像素子２０は、典型的には、ＣＭＯＳイメージセンサ（Complementary Metal-Oxide Semiconductor）またはＣＣＤイメージセンサ（Charge-Coupled Device）で構成されている。ＡＤＣ３０は、撮像素子２０で生成された画像データをデジタル信号に変換する。光学系１０、撮像素子２０およびＡＤＣ３０は、画像データを生成する撮像部を構成している。
　画像処理部４０は、ＡＤＣ３０で変換された画像データに対して各種の処理を施す。画像処理部４０は、上記撮像部で生成された画像データから、システムエンコーダ７２へ入力するべき画像データを生成したり、液晶ディスプレイ８２に表示するべき画像データを生成したりする。また、画像処理部４０は、システムデコーダ７３から出力された画像データに対して画像処理を施すことによって、液晶ディスプレイ８２に表示するべき画像データを生成したり、システムエンコーダ７２へ再入力するべき画像データを生成したりする。画像処理部４０は、ＤＳＰ（Digital Signal Processor）またはマイクロコンピュータで構成されうる。
　画像処理部４０は、詳細には、画像前処理部４１、画像圧縮部４２および画像伸張部４３を含む。画像前処理部４１は、ＡＤＣ３０でデジタル信号に変換された画像データに対して、ガンマ補正およびホワイトバランス補正等の各種画像処理を行い、処理された画像データを生成する。
　画像圧縮部４２（エンコーダ）は、離散コサイン変換、ハフマン符号化（可変長符号化）、フレーム間予測等の技術を用いて画像データを圧縮する。画像圧縮部４２は、動画データおよび静止画データのいずれの画像データの圧縮にも対応している。動画データの圧縮方式として、例えば、ＭＰＥＧ－２およびＨ．２６４／ＡＶＣが挙げられる。静止画データの圧縮方式として、例えば、ＪＰＥＧ（Joint Photographic Experts Group）およびＧＩＦ（Graphics Interchange Format）が挙げられる。
　画像伸張部４３（デコーダ）は、例えば、システムデコーダ７３から出力された符号化画像データを液晶ディスプレイ８２で再生する場合に、この画像データを非圧縮の状態に復号化する。
　マイクロホン５０は、音声を集めて音声データを生成する。ステレオ音声およびマルチチャネル音声の入力に対応するために、マイクロホン５０は、複数のマイクロホンで構成されていてもよい。
　音声処理部６０は、マイクロホン５０の音声データに対して各種の処理を施す。音声処理部６０は、システムエンコーダ７２へ入力するべき音声データを生成したり、スピーカ８３に出力するべき音声データを生成したりする。また、音声処理部６０は、システムデコーダ７３が出力するべき音声データに対して音声処理を施すことによって、スピーカ８３に出力するべき音声データを生成したり、システムエンコーダ７２へ再入力するべき音声データを生成したりする。音声処理部６０は、ＤＳＰまたはマイクロコンピュータで構成されうる。
　音声処理部６０は、詳細には、音声前処理部６１、音声圧縮部６２および音声伸張部６３を含む。音声前処理部６１は、マイクロホン５０で集められたアナログの音声データをデジタル信号の音声データへと変換する。音声前処理部６１は、また、ステレオ音声の生成およびマルチチャネル音声の生成等の各種音声処理を行う。
　音声圧縮部６２（エンコーダ）は、ＭＰ３（MPEG-1 Audio Layer 3）およびＡＡＣ（Advanced Audio Coding）に代表される公知の圧縮方式で音声データを符号化する。
　音声伸張部６３（デコーダ）は、システムデコーダ７３から出力された符号化音声データをスピーカ８３で出力する場合等に、この音声データを復号化する。
　システムエンコーダ７２は、画像処理部４０から出力された符号化画像データ、および音声処理部６０から出力された符号化音声データを多重化することによって、メモリカード８０に記録するべきＡＶデータ（Audio and Visual Data）を生成する。
　システムデコーダ７３は、メモリカード８０に記録されたＡＶデータを復号化し、符号化画像データおよび符号化音声データを生成する。システムデコーダ７３は、また、生成した符号化画像データを画像伸張部４３へ、符号化音声データを音声伸張部６３へそれぞれ出力する。
　コントローラ７０は、ビデオカメラ１００の全体を制御する。コントローラ７０は、また、間欠記録時に画像圧縮部４２によって作成された複数の動画データをまとめて、連続再生可能な１つの動画データを記録する記録制御部としての役割を担う。コントローラ７０が提供するべき機能は、ＤＳＰ等のハードウェアと、そのハードウェアを用いて実行されるべき制御プログラムを含むソフトウェアとの組み合わせで実現されうる。また、ＡＤＣ３０、画像処理部４０、音声処理部６０、コントローラ７０、バッファ７１、システムエンコーダ７２およびシステムデコーダ７３は、専用設計された１チップのシステムＬＳＩ（Large-Scale Integration）で構成されていてもよい。
　バッファ７１は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、強誘電体メモリ、磁気メモリ等で構成できる。バッファ７１は、コントローラ７０のワークメモリとして機能するだけでなく、必要に応じて、画像処理部４０で生成した画像データおよび各種情報を一時的に保存および管理する役割等、種々の目的で使用される。
　コントローラ７０は、カードスロット８１を介して、カードスロット８１に装着されたメモリカード８０にアクセスできる。メモリカード８０は、フラッシュメモリ、強誘電体メモリおよび磁気メモリ等の不揮発性メモリで構成されている。メモリカード８０には、ＡＶデータ、音声データおよび画像データ等の各種データを格納できる。なお、メモリカード８０に代えて、またはメモリカード８０とともに、ハードディスクドライブおよび／または内蔵メモリが、各種データを格納するためのストレージとして設けられていてもよい。
　液晶ディスプレイ８２は、撮像素子２０で生成した画像データに基づく画像およびメモリカード８０から読み出したＡＶデータ中の画像データに基づく画像を表示する表示部である。また、液晶ディスプレイ８２は、ビデオカメラ１００の各種の設定情報および撮影時間も表示できる。
　スピーカ８３は、マイクロホン５０で集めた音声データに基づく音声およびメモリカード８０から読み出したＡＶデータ中の音声データに基づく音声を出力できる。
　電源７４は、持ち運び可能なビデオカメラにおいてはバッテリである。電源７４はバッテリに限らず、ＡＣ電源であってもよい。給電制御部７５は、例えば、電源回路、リセット回路およびクロック回路で構成されている。給電制御部７５は、コントローラ７０の指示に従って、各ブロックにクロックおよび電源７４からの電力を供給する役割を担う。
　操作部８４は、各種の操作手段を総称した構成要素であり、ユーザの指示を受け付け、その指示をコントローラ７０に伝達する役割を担う。操作部８４の一部は、液晶ディスプレイ８２を使用したタッチスクリーンで構成されていてもよい。
　本実施形態において、操作部８４は、記録モード設定部を含む。記録モード設定部とは、通常の記録モードで撮影を行うか、間欠記録モードで撮影を行うかをユーザが設定するための操作部である。間欠記録モードとは、単位時間あたりに１単位の動画データを作成する頻度が通常の記録モードで動画データを作成する場合の頻度よりも低い記録モードである。例えば、通常の記録モードにおいて、１秒間に２４フレームのピクチャを取り込み、１２フレームのピクチャの集まり（１ＧＯＰ：Group Of Picture）を用いて１単位の動画データを作成する場合、１秒あたり２単位の動画データが作成される。
　他方、図２に示すように、間欠記録モードでは、ピクチャの取り込み間隔を長くする。例えば、１秒、１０秒、３０秒、１分または２分毎に、１フレームのピクチャを取り込む。そして、通常の記録モードのときと同じように、１２フレームのピクチャを用いて１単位の動画データを作成する。１秒に１フレームのピクチャを取り込む場合には、１２秒毎に１単位の動画データが作成される。こうして作成された複数の動画データは、最終的に、１つの連続再生可能な間欠動画データとして取り扱われる。このようすれば、長時間かけてゆっくり動くシーンを短時間の動画で再現できる。
　なお、特開２００７－１５９０５６号公報に記載されているように、複数フレームのピクチャを通常の記録モードと同じレートで取り込んで符号化を行い、次の複数フレームのピクチャを取り込むタイミングまで何もしない方法もある。すなわち、短い時間間隔で動画データを作成し、それらをまとめて１つの間欠動画データを生成することもできる。ただし、本実施形態のように、ピクチャの取り込み間隔そのものを一定にした方が、人の目に滑らかに映る動画を作成できる。
　画像圧縮部４２は、ビデオカメラ１００または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダのバッファ占有度をシミュレートしつつ画像データの符号化を行う。それにより、再生時にデコーダのバッファのアンダーフローを回避しうる動画データを作成する。このことは、通常の記録モードであっても間欠記録モードであっても同じである。ＭＰＥＧ－２が規定する仮想デコーダのモデルは、ビデオバッファ検証器（ＶＢＶ：Video Buffer Verifier）と呼ばれている。Ｈ．２６４／ＡＶＣが規定する仮想デコーダのモデルは、仮想参照デコーダ（ＨＲＤ：Hypothetical Reference Decoder）と呼ばれている。
　図３は、符号化処理においてエンコーダ（本実施形態では画像圧縮部４２に相当する）がシミュレートする仮想デコーダのバッファ占有度の概略図である。図３において、縦軸が仮想デコーダのバッファ占有度、言い換えればバッファ内のビット量を表している。横軸は時間を表している。「バッファサイズ」は、動画を再生するのに必要なデコーダのバッファサイズを表す。「遅延時間」は、バッファへのビットストリームの入力を開始後、その時間が経過するまで復号化を待つように再生装置のデコーダに通知するための情報である。「バッファサイズ」および「遅延時間」は、規格で定められた値であって、エンコーダによってビットストリーム中に記述される。具体的に、「バッファサイズ」および「遅延時間」は、再生装置のデコーダが認識できるように、通常、ビットストリーム中の各種ヘッダに相当する部分に記述されている。また、ビットストリーム中の各種ヘッダに相当する部分には、動きベクトル情報およびピクチャタイプ等、デコーダがストリームを復号するのに不可欠な情報に加え、図３中に示す「入力ビットレート」および「バッファからのビット引き抜き時刻」等が記述されている。
　図３に示すように、ビットストリームは、仮想デコーダのバッファが空の状態から所定のビットレートで入力される。遅延時間の経過後、バッファから１ピクチャに相当するビットが瞬時に引き抜かれ、仮想デコーダによって瞬時に復号化される。ビットの引き抜きが起こると、バッファ内のビット量は減る。その後、次の引き抜き時刻まで所定のビットレートでビットが蓄積される。バッファ内に１ピクチャ分のビットが蓄積されていないにも拘らず、ビット引き抜き時刻が到来した場合には、「アンダーフロー」が起こる。すなわち、デコーダによって引き抜かれるべきビットが枯渇しているので、デコーダは十分なビットが蓄積されるまで待機する。結果として、いわゆるコマ落ち等の不具合が起こる。他方、バッファサイズを越えてビットストリームが入力された場合には、「オーバーフロー」が起こる。バッファの物理的な容量を超えてビットを蓄積することはできないので、この場合にもコマ落ち等の不具合が起こる可能性がある。
　画像圧縮部４２は、仮想デコーダのバッファ占有度をシミュレートしつつ、画像データの符号化を行うことによって、再生時にデコーダのバッファのアンダーフローおよびオーバーフローを回避しうる動画データを作成できる。例えば、ある引き抜き時刻でバッファ内のビット量が少なすぎたり多すぎたりする場合、エンコーダは、画像データを量子化する際の量子化係数を調整することによって１ピクチャ（またはスライス）に相当するビット量を下げたり上げたりする。こうして作成された動画データは、バッファ内のビット量を常に空の状態（＝０）と上限（＝バッファサイズ）との間に保ちうるものとなる。
　ＤＶＤ（Digital Versatile Disc）の再生装置のように、バッファへの入力ビットレートが可変である場合は、通常、アンダーフローのみ回避できれば足りる。ただし、再生装置によっては、入力ビットレートが固定の場合もありうる。したがって、アンダーフローおよびオーバーフローの両方を回避しうる動画データの作成が望ましい。また、テレビ放送のように、バッファへの入力ビットレートが固定の場合は、アンダーフローおよびオーバーフローの両方を回避しうる動画データを作成する必要がある。
　図３に示す仮想バッファのモデルは、あくまでも通常の記録モードで動画データを記録する場合を表している。他方、本実施形態では、間欠記録モードでの消費電力を抑えるために、画像圧縮部４２への給電を必要に応じて止めたり再開したりする。すなわち、連続再生可能な動画データの作成中にも拘らず、画像圧縮部４２を休止させる。画像圧縮部４２が常時活動状態にある場合、画像圧縮部４２自身が仮想デコーダの状態を常に把握できるため、バッファの破綻を回避しうる動画データを継続的に作成できる。
　しかし、図４に示すように、ある符号化処理と次の符号化処理との間に画像圧縮部４２の休止（給電停止）が挟まると、画像圧縮部４２は直近の過去の符号化処理の完了時におけるバッファ占有度を忘れる。その結果、仮想デコーダの継続性が絶たれる。仮想デコーダの継続性を無視して間欠動画データを作成すると、その動画データの再生時にバッファの破綻（アンダーフローおよび／またはオーバーフロー）を招くおそれがある。例えば、本来ならばバッファ内のビット量がＤ1と枯渇気味なので、次の符号化処理ではこのビット量Ｄ1を考慮して、圧縮率を高める等の調整を行わなければならないのに、初期遅延があることを前提に符号化処理を行ってしまう。その結果、再生時にアンダーフローが起こる間欠動画データが作成される。
　これに対し、図５に示すように、直近の過去の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ1）を画像圧縮部４２への給電停止中に管理するとともに、給電再開後に画像圧縮部４２によって参照できるようにすれば、画像圧縮部４２は、その参照したバッファ占有度（点Ｄ1）を基準として新たな符号化処理を行なえる。直近の過去の符号化処理の完了時におけるバッファ占有度が次の符号化処理に引き継がれる、すなわち、仮想デコーダの継続性は保たれるので、再生時にバッファを破綻させない適正な間欠動画データを作成できる。
　本実施形態では、間欠動画データが連続再生可能なストリームとなるように複数の動画データを作成するために必要な情報として、「継続情報」を用いる。ここでいう「連続再生可能」とは、再生時に再生装置のバッファを破綻させないことを意味している。
　継続情報は、簡単には、直近の過去の符号化処理の完了時におけるバッファ占有度を特定するための情報を含む。継続情報は、バッファ７１、メモリカード８０または不揮発性の内蔵メモリ（図示せず）に保存されうる。バッファ７１、メモリカード８０または内蔵メモリは、継続情報を画像圧縮部４２への給電停止中に管理する継続情報管理部としての役割を担う。さらに、継続情報には、タイムスタンプが含まれていてもよい。「タイムスタンプ」とは、間欠動画データを構成するビットストリームのデコード時刻を特定するための情報である。言い換えれば、図３に示す「ビット引き抜き時刻」がタイムスタンプに対応する。これにより、滞りなく再生できる間欠動画データを作成できる。
　なお、継続情報のうち、仮想デコーダのバッファ占有度は、間欠動画データに含まれない情報である。継続情報におけるバッファ占有度は、間欠記録時に一時的に作成される情報に過ぎない。他方、タイムスタンプは、間欠動画データに記述されるべき情報であって、動画データの作成時に画像圧縮部４２によって、ストリーム中のヘッダに相当する部分にフレーム毎に記述される。
２．動作
　次に、図６のフローチャートを参照して、間欠記録モードで実行される処理を説明する。コントローラ７０は、間欠記録の開始契機を取得することに応じて、図６に示す処理を実行する。開始契機は、例えば、ユーザによって間欠記録の開始操作が行われたときに発生する。具体的には、ビデオカメラ１００の記録モードとして、間欠記録モードが設定されている状態で記録開始の入力操作が行われることに応じて間欠記録を開始する。あるいは、操作部８４に間欠記録開始用の操作ボタンを設け、その操作ボタンがオンされることに応じて間欠記録を開始してもよい。
　コントローラ７０は、画像前処理部４１によって生成された画像データを静止画データの形にて所定の時間間隔で画像生成部４１から取り込む（ステップＳ２０１）。ユーザは、操作部８４を用いて静止画データの取り込み間隔（所定の時間間隔）を設定できる。設定された時間間隔は、バッファ７１または図示しない内蔵メモリ上に保存される。
　コントローラ７０は、取り込んだ静止画データをバッファ７１に一時的に保存する（ステップＳ２０２）。バッファ７１は、画像生成部４１によって生成された画像データを保存可能な記憶部として機能する。ステップＳ２０１および２０２の時点で、画像圧縮部４２への給電は停止中である。なお、静止画データの保存先として、バッファ７１に代えて、ビデオカメラ１００のカードスロット８１に着脱可能なメモリカード８０を用いることもできる。バッファ７１の容量に比べメモリカード８０の容量は十分に大きいので、メモリカード８０を使用する場合には記憶容量の心配をせずに済む。内蔵メモリまたはハードディスクドライブを設けた場合には、それらのストレージに静止画データを一時的に保存してもよい。
　次に、コントローラ７０は、バッファ７１に保存された時系列の静止画データの数を確認する（ステップＳ２０３）。静止画データの数が所定数に達していない場合には、静止画データの取り込みを続ける。静止画データの数が所定数に達していた場合、画像圧縮部４２への給電を開始（２回目以降は再開）すべき旨を給電制御部７５に指示する。給電制御部７５は、コントローラ７０の指示を受け、画像圧縮部４２への給電を開始する（ステップＳ２０４）。詳細には、給電制御部７５は、画像圧縮部４２へのクロック供給およびリセット解除といった電力制御を実行する。一般に、動作していない回路ブロックのクロック供給を停止すれば、全体の消費電力は確実に下がる。クロック供給が遮断された回路ブロックの電流は静的リーク電流のみになり、その回路ブロックの消費電力が極小となるからである。符号化処理を行う画像圧縮部４２の電力消費量は特に大きいので、画像圧縮部４２への給電を停止すること（クロック供給の遮断）による消費電力の低減を十分に期待できる。
　なお、静止画データの計数および電力制御がコントローラ７０によって自動的に行われることに代えて、ユーザの操作によって電力制御を実行し、その後、動画データの作成を開始してもよい。
　画像圧縮部４２への給電開始後、コントローラ７０は、画像圧縮部４２に継続情報の読み出しを指示する（ステップＳ２０５）。画像圧縮部４２は、バッファ７１（継続情報管理部）の継続情報の有無を確認し、継続情報が存在する場合には継続情報を読み出し、継続情報が存在しない場合には継続情報の読み出しを行わずに次の処理を実行する。図３～５の説明から理解できるように、間欠記録を開始後、１回も符号化処理（ステップＳ２０６）が行われていない場合には、継続情報は未だ存在しない。継続情報が新規に作成され、かつ最初にバッファ７１に保存されるのは、１回目の符号化処理が終わってからである。
　次に、コントローラ７０は、画像圧縮部４２に動画データの作成を指示する（ステップＳ２０６）。画像圧縮部４２は、符号化されるべき画像データとしてバッファ７１から時系列の静止画データを取得し、それら静止画データを符号化することによって１単位の動画データを作成する。符号化処理は、ＭＰＥＧ－２またはＨ．２６４／ＡＶＣに準拠した方式にて行える。場合によっては、ｍｏｔｉｏｎＪＰＥＧも採用しうる。
　図２を参照して説明したように、静止画データの数が所定数（本実施形態では１２フレーム）に達した場合に、画像圧縮部４２は、これらの静止画データを符号化し、動画データを生成する。例えば、２分間隔で静止画データを取り込んだ場合には、２４分の周期で１２フレームの静止画データがバッファ７１に蓄積されるので、動画データの作成は２４分間隔で実施すればよい。２４ｆｐｓ（Frame Per Second）のフレームレートで符号化を行った場合、１２フレームの静止画データの符号化によって約０．５秒で再生可能な動画データが得られる。
　動画データの作成が完了すると、コントローラ７０は、画像圧縮部４２に対し、画像圧縮部４２がその時点で認識している仮想デコーダのバッファ占有度およびタイムスタンプを継続情報としてバッファ７１に記憶ないし更新させるように指示する（ステップＳ２０７）。図５に示すように、直近の過去の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ1）は、通常、その後の符号化処理の完了時におけるバッファ占有度（ビット量Ｄ2）と相違している。したがって、符号化処理が完了する都度、継続情報を更新する。
　さらに、動画データの作成が完了すると、コントローラ７０は、給電制御部７５に対し、画像圧縮部４２への給電を停止すべき旨の指示を出す（ステップＳ２０８）。給電制御部７５は、画像圧縮部４２を構成している回路ブロックへのクロック供給を停止することによって給電を停止する。このように、間欠記録モードにおいて、給電制御部７５は、画像データの符号化が完了する都度画像圧縮部４２への給電を停止するとともに、次に画像データの符号化を行う必要が生じた場合に画像圧縮部４２への給電を再開する。これにより、電力の消費を十分に抑制できる。
　次に、コントローラ７０は、作成された動画データをメモリカード８０に記録する（ステップＳ２０９）。現在実行中の間欠記録で先に作成された動画データがメモリカード８０に存在する場合、先に作成された動画データと、新たに記録するべき動画データとをまとめて、連続再生可能な１つの間欠動画データを作成する。これらの動画データは、画像圧縮部４２によって、仮想デコーダの継続性を担保しつつ作成されたものであるから、１つの動画データにまとめたとしても、再生装置のバッファを破綻させないものとなる。具体的に、コントローラ７０は、先の動画データのシーケンスの後ろに新たな動画データを付加し、シーケンスの終了コードを修正する処理を行う。
　最後に、コントローラ７０は、間欠記録の終了条件の成否を判断する（ステップＳ２１０）。具体的には、ユーザによって間欠記録の終了操作が行われたかどうかを判断する。間欠記録を継続する場合、ステップＳ２０１からステップＳ２０９の処理を繰り返す。なお、予め設定された間欠記録時間の経過を間欠記録の終了条件としてもよい。すなわち、間欠記録開始からの時間を計測するとともに、設定された間欠記録時間に達した場合に、間欠記録を終了してもよい。
　本実施形態によれば、画像圧縮部４２への給電を止めたり再開したりするが、給電再開時に継続情報を参照することにより、画像圧縮部４２は、直近の過去の仮想デコーダのバッファ占有度を認識でき、認識したバッファ占有度を基準として次の符号化処理を行える。このようにして作成された複数の動画データをまとめることによって得られた間欠動画データは、通常の記録モードで作成した動画データと何ら変わらない。また、作成された間欠動画データは１つのファイルで管理されるので、メモリカード８０に多数のＡＶデータが記録され、ＡＶデータの検索に時間がかかるといった問題も生じない。
　なお、本実施形態では動画データのみに注目しているが、本発明はこれに限定されない。例えば、間欠記録モードでメモリカード８０に記録するべきデータが、多重化された間欠ＡＶデータであってもよい。具体的には、画像圧縮部４２で作成された動画データをシステムエンコーダ７２（例えばＭＰＥＧ－２システム）で音声データと多重化し、メモリカード８０に記録する。ストリームに音声データが必須というわけではないが、音声データが存在しない場合、再生装置によっては再生不能に陥る可能性もある。そのため、何らかの音声データを用いて、間欠ＡＶデータを作成するのが好ましい。使用できる音声データとしては、どのようなものでも構わない。例えば、マイクロホン５０で集めて音声処理部６０で生成した音声データ、および無音化した音声データを使用できる。また、ビデオカメラ１００の内蔵メモリ、ハードディスクドライブ、メモリカード８０等にユーザが予め準備した音楽データを間欠ＡＶデータの作成に用いてもよい。この場合、間欠ＡＶデータを再生したときに、もとの音楽が途切れることなく流れるように多重化を自由に行える利点がある。
　以下の実施形態２～４にかかるビデオカメラの構成は実施形態１のそれと同じなので、説明を省略する。実施形態２～４では、間欠動画データの作成の方法が、実施形態１でのそれと少し異なる。ただし、技術的な矛盾が生じない限り、実施形態１で説明した全ての構成および方法は、実施形態２～４に当然に組み合わせることができる。
（実施形態２）
　図７に示すように、ステップＳ４０１～ステップＳ４０８は、それぞれ、実施形態１のステップＳ２０１～ステップＳ２０８に対応している。ステップＳ４０９に示すように、本実施形態によると、コントローラ７０は、画像圧縮部４２によって作成された動画データをメモリカード８０に逐一記録することに代えて、バッファ７１（記憶部）の空き領域に一時的に保存する。そして、間欠記録を停止すべき旨の契機を取得することに応じて、バッファ７１に保存された複数の動画データを用いて間欠動画データを作成し、メモリカード８０に記録する（ステップＳ４１１）。
　つまり、コントローラ７０は、間欠記録の開始から間欠記録の終了条件が成立するまでの間、作成した複数の動画データをバッファ７１に保存する。間欠記録の終了条件が成立したら、コントローラ７０は、バッファ７１上の全ての動画データをまとめて１つの間欠動画データを作成する。このような方法によると、画像圧縮部４２によって動画データが作成される都度、コントローラ７０がメモリカード８０にアクセスせずに済む。複数の動画データをまとめるための処理も１回で済むので、コントローラ７０の負荷が軽減されうる。システムエンコーダ７２で行うべき多重化も１回で済む。なお、実施形態１と同様、バッファ７１に一時的に保存するべきデータは、音声データと動画データとを含むＡＶデータであってもよい。
　また、間欠記録を停止すべき旨の契機を取得することに代えて、バッファ７１の空き容量の多寡に応じて、複数の動画データをまとめて間欠動画データを作成する処理を行ってもよい。例えば、バッファ７１の空き容量が所定量を下回った時点で、バッファ７１に保存された複数の動画データを用いて間欠動画データを作成してもよい。このようにすれば、バッファ７１の容量不足を回避できるとともに、バッファ７１の容量を超えるサイズの間欠動画データを作成できる。
（実施形態３）
　本実施形態では、静止画データをバッファ７１に保存する際、その静止画データをいったん圧縮している。図８に示すように、コントローラ７０は、静止画データを取り込んだ後、取り込んだ静止画データを圧縮するとともに、圧縮された静止画データをバッファ７１に保存する（ステップＳ５０１およびＳ５０２）。静止画データの圧縮方式として、例えば、ＪＰＥＧおよびＧＩＦが挙げられる。
　次に、コントローラ７０は、バッファ７１に保存された時系列の静止画データの数を確認する（ステップＳ５０３）。静止画データの数が所定数に達していた場合、バッファ７１から静止画データを読み出し、静止画データを伸張する（ステップＳ５０４）。以降のステップＳ５０５～５１１は、それぞれ、実施形態１のステップＳ２０４～２１０に対応している。
　本実施形態によれば、コントローラ７０は、（i）画像データをフレーム単位で符号化することによって、圧縮された静止画データを生成する静止画圧縮用エンコーダとしての機能と、（ii)圧縮された静止画データを復号化する静止画伸張用デコーダとしての機能とを担う。コントローラ７０は、圧縮された静止画データをバッファ７１に保存するとともに、給電再開後において、圧縮された静止画データをバッファ７１から読み出して復号化することによって、符号化されるべき画像データとしての伸張された静止画データを画像圧縮部４２のために準備する。圧縮された静止画データをバッファ７１に記憶することによって、バッファ７１の容量不足を回避できる。
（実施形態４）
　図９に示すように、本実施形態において、コントローラ７０は、静止画データを取り込んだ後、間欠記録の開始後にメモリカード８０に記録した動画データまたは静止画データの有無を確認する（ステップＳ６０１）。動画データおよび静止画データのいずれも存在しない場合は、取り込んだ静止画データをメモリカード８０に保存する（ステップＳ６０２）。その後、再度、静止画データの取り込みを行う（ステップＳ６０１）。静止画データが存在する場合は、その静止画データをメモリカード８０から読み出し、その静止画データと新たに取り込んだ静止画データとを用いて、動画データを作成する。作成した動画データをメモリカード８０に記録した後、再度、静止画データの取り込みを行う（ステップＳ６０１）。
　他方、動画データが存在する場合は、メモリカード８０から動画データを読み出す（ステップＳ６０３）。
　次に、コントローラ７０は、画像伸張部４３への給電を開始すべき旨を給電制御部７５に指示する。給電制御部７５は、コントローラ７０の指示を受け、画像伸張部４２への給電を開始する（ステップＳ６０４）。そして、画像伸張部４３に対し、読み出した動画データの伸張を行うように指示する（ステップＳ６０５）。伸張後、画像伸張部４３への給電を停止する（ステップＳ６０６）。
　ステップＳ６０７および６０８の処理は、それぞれ、実施形態１のステップＳ２０４および２０５に対応している。
　画像圧縮部４２への給電開始後、コントローラ７０は、画像圧縮部４２に対し、動画データの作成を指示する（ステップＳ６０９）。画像圧縮部４２は、伸張した動画データからフレーム間符号化処理に必要な参照フレームを抽出し、ステップＳ６０２で取り込んだ静止画データを加えて、新たな動画データを作成する。すなわち、本実施形態では、伸張した動画データに、取り込んだ静止画データを加えて、新たに符号化された動画データを作成する。
　ステップＳ６１０および６１１は、それぞれ、実施形態１のステップＳ２０７および２０８に対応している。
　画像圧縮部４２への給電停止後、コントローラ７０は、新たな動画データをメモリカード８０に記録する（ステップＳ６１２）。コントローラ７０は、新たな動画データを、ステップＳ６０３で読み込んだ動画データに上書き記録してもよい。これにより、メモリカード８０上の動画データのサイズを抑えることができる。また、コントローラ７０は、新たな動画データ中の新たに生成した差分データのみを、ステップＳ６０３で読み込んだ動画データに追加的に記録してもよい。
　本実施形態において、バッファ７１は、静止画データを保存可能な記憶部として機能し、メモリカード８０は、画像圧縮部４２が生成した動画データを保存可能な記憶部として機能している。画像圧縮部４２への給電停止中において、コントローラ７０は、画像データを静止画データの形にて所定の時間間隔で画像前処理部４１から取り込む。新たな静止画データの取り込みに応じて画像圧縮部４２への給電が再開される。給電再開後において、メモリカード８０上に先に作成された動画データが存在する場合に、先に作成された動画データの復号化が画像伸張部４３によって行われるとともに、復号化によって得られた動画データと新たな静止画データとを用いて新たな動画データを作成するための符号化処理が画像圧縮部４２によって行われる。画像圧縮部４２によって作成された新たな動画データがメモリカード８０に再記録される。
　本実施形態の方法によれば、静止画データを取り込む都度、その静止画データを用いて符号化された動画データを作成する。そのため、バッテリが空になる等、何らかの原因によって間欠記録が中断した場合に、その時点までに取り込んだ静止画データが全て失われるのを防止でき、中断直前までの動画データをメモリカード８０に確実に記録できる。
　なお、本実施形態においても、動画データとともに音声データを取り扱ってもよい。この場合、メモリカード８０に記録されたＡＶデータは、システムデコーダ７３によって動画データと音声データとに分けられ、分離した動画データに対して、本実施形態で説明した処理が行われる。
　本発明は、間欠記録機能を備えた撮像装置、例えばビデオカメラに有用である。

Claims (12)

  1. 　被写体を撮像する撮像部と、
    　前記撮像部の出力を処理することによって、処理された画像データを生成する画像生成部と、
    　前記画像データの符号化を行うことによって動画データを作成するエンコーダと、
    　当該撮像装置の記録モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードを設定する記録モード設定部と、
    　前記間欠記録モードにおいて、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録する記録制御部と、
    　前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するとともに、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開する給電制御部と、
    　前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理する継続情報管理部と、
    　を備えた、撮像装置。
  2. 　前記エンコーダは、当該撮像装置または他の再生装置のデコーダのバッファの状態をモデル化した仮想デコーダにおけるバッファ占有度をシミュレートしつつ前記画像データの符号化を行うことによって、再生時に前記デコーダのバッファのアンダーフローを回避しうる前記動画データを作成するように構成され、
    　前記継続情報が、直近の過去の符号化処理の完了時における前記バッファ占有度を特定するための情報を含み、
    　給電再開後に前記継続情報を参照することによって、前記エンコーダは、直近の過去の符号化処理の完了時における前記バッファ占有度を基準として新たな符号化処理を行う、請求項１に記載の撮像装置。
  3. 　前記給電制御部は、前記エンコーダを構成している回路ブロックへのクロック供給を停止することによって給電を停止する、請求項１に記載の撮像装置。
  4. 　前記画像生成部によって生成された前記画像データを保存可能な記憶部をさらに備え、
    　前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得して前記記憶部に一時的に保存するとともに、前記記憶部に保存された時系列の前記静止画データが所定数に到達した場合に、前記エンコーダへの給電を再開すべき旨を前記給電制御部に指示し、
    　前記給電制御部による給電再開後、前記エンコーダは、符号化されるべき前記画像データとして前記記憶部から時系列の前記静止画データを取得し、それら静止画データを符号化することによって１単位の前記動画データを作成する、請求項１に記載の撮像装置。
  5. 　前記記録制御部は、前記エンコーダによって作成された前記動画データを前記記憶部に一時的に保存するとともに、間欠記録を停止すべき旨の契機を取得することに応じて、前記記憶部に保存された複数の前記動画データを用いて前記間欠動画データを作成する、請求項４に記載の撮像装置。
  6. 　前記記録制御部は、（i）前記画像データをフレーム単位で符号化することによって、圧縮された前記静止画データを生成する静止画圧縮用エンコーダと、（ii)圧縮された前記静止画データを復号化する静止画伸張用デコーダとを含み、圧縮された前記静止画データを前記記憶部に保存するとともに、給電再開後において、圧縮された前記静止画データを復号化することによって、符号化されるべき前記画像データとしての伸張された静止画データを前記エンコーダのために準備する、請求項４に記載の撮像装置。
  7. 　前記記憶部が、当該撮像装置に着脱可能なメモリカードを含む、請求項４に記載の撮像装置。
  8. 　前記継続情報は、前記間欠動画データを構成するビットストリームのデコード時刻を特定するためのタイムスタンプをさらに含む、請求項１に記載の撮像装置。
  9. 　前記エンコーダによる動画圧縮方式が、ＭＰＥＧ－２またはＨ．２６４／ＡＶＣである、請求項１に記載の撮像装置。
  10. 　前記撮像装置が、バッテリで駆動するビデオカメラである、請求項１に記載の撮像装置。
  11. 　前記画像生成部によって生成された前記画像データと、前記エンコーダが生成した前記動画データとを保存可能な記憶部と、
    　前記動画データを復号化するデコーダと、をさらに備え、
    　前記エンコーダへの給電停止中において、前記記録制御部は、前記画像データを静止画データの形にて所定の時間間隔で前記画像生成部から取得する一方、
    　新たな静止画データの取得に応じて前記エンコーダへの給電が再開され、
    　給電再開後において、前記記憶部上に先に作成された動画データが存在する場合に、先に作成された前記動画データの復号化が前記デコーダによって行われるとともに、復号化によって得られたデータと前記新たな静止画データとを用いて新たな動画データを作成するための符号化処理が前記エンコーダによって行われ、
    　前記エンコーダによって作成された前記新たな動画データが前記記憶部に再記録される、請求項１に記載の撮像装置。
  12. 　被写体を撮像して画像データを生成するステップと、
    　前記画像データの符号化を行うことによって動画データを作成するステップと、
    　前記画像データの符号化を行うエンコーダの動作モードとして、単位時間あたりに１単位の前記動画データを作成する頻度が通常の記録モードで前記動画データを作成する場合の頻度よりも低い間欠記録モードが設定されている場合に、前記エンコーダによって作成された複数の前記動画データをまとめて、１つの間欠動画データを記録するステップと、
    　前記間欠記録モードにおいて、前記画像データの符号化が完了する都度前記エンコーダへの給電を停止するステップと、
    　前記エンコーダへの給電停止後、次に前記画像データの符号化を行う必要が生じた場合に前記エンコーダへの給電を再開するステップと、
    　前記間欠動画データが連続再生可能なストリームとなるように複数の前記動画データを作成するために必要な継続情報を前記エンコーダへの給電停止中に管理するステップと、
    　を含む、動画データ作成方法。
PCT/JP2009/004655 2008-09-16 2009-09-16 撮像装置および動画データ作成方法 WO2010032457A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/119,103 US8411168B2 (en) 2008-09-16 2009-09-16 Imaging apparatus and video data creating method
JP2010529639A JP5081306B2 (ja) 2008-09-16 2009-09-16 撮像装置および動画データ作成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-236073 2008-09-16
JP2008236073 2008-09-16

Publications (1)

Publication Number Publication Date
WO2010032457A1 true WO2010032457A1 (ja) 2010-03-25

Family

ID=42039305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004655 WO2010032457A1 (ja) 2008-09-16 2009-09-16 撮像装置および動画データ作成方法

Country Status (3)

Country Link
US (1) US8411168B2 (ja)
JP (1) JP5081306B2 (ja)
WO (1) WO2010032457A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051534A (ja) * 2011-08-31 2013-03-14 Nexpoint Co Ltd 監視カメラシステム及び監視方法
JP2015173506A (ja) * 2015-06-05 2015-10-01 株式会社Ｎｅｘｐｏｉｎｔ 監視カメラシステム及び監視方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102986212B (zh) 2010-05-07 2015-11-25 日本电信电话株式会社 活动图像编码控制方法、活动图像编码装置
WO2011142291A1 (ja) * 2010-05-12 2011-11-17 日本電信電話株式会社 動画像符号化制御方法，動画像符号化装置および動画像符号化プログラム
JP5895409B2 (ja) * 2011-09-14 2016-03-30 株式会社リコー 撮像装置
JP2014155139A (ja) * 2013-02-13 2014-08-25 Mega Chips Corp カメラ装置および画像記録システム
JP6137980B2 (ja) * 2013-07-30 2017-05-31 キヤノン株式会社 記録装置およびその制御方法
US9996488B2 (en) 2013-09-09 2018-06-12 Qualcomm Incorporated I3C high data rate (HDR) always-on image sensor 8-bit operation indicator and buffer over threshold indicator
US10353837B2 (en) 2013-09-09 2019-07-16 Qualcomm Incorporated Method and apparatus to enable multiple masters to operate in a single master bus architecture
US9690725B2 (en) 2014-01-14 2017-06-27 Qualcomm Incorporated Camera control interface extension with in-band interrupt
JP6411480B2 (ja) 2013-10-09 2018-10-24 クアルコム，インコーポレイテッド ＣＣＩｅプロトコルを介したエラー検出能力
US9684624B2 (en) 2014-01-14 2017-06-20 Qualcomm Incorporated Receive clock calibration for a serial bus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319315A (ja) * 2002-02-21 2003-11-07 Matsushita Electric Ind Co Ltd 録画装置、コンピュータ読取可能なプログラム。
JP2005130044A (ja) * 2003-10-21 2005-05-19 Nikon System:Kk 電子カメラ
JP2007159056A (ja) * 2005-12-08 2007-06-21 Canon Inc 符号化装置及び方法、及び撮像装置
JP2008016130A (ja) * 2006-07-06 2008-01-24 Canon Inc 記録装置、記録方法、及びプログラム
JP2008085673A (ja) * 2006-09-27 2008-04-10 Toshiba Corp 動画像符号化装置及びその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5809454A (en) * 1995-06-30 1998-09-15 Sanyo Electric Co., Ltd. Audio reproducing apparatus having voice speed converting function
JP3529599B2 (ja) * 1997-09-02 2004-05-24 株式会社東芝 符号化装置における編集可能点挿入方法および符号化装置
JP3594547B2 (ja) * 1999-11-22 2004-12-02 三洋電機株式会社 データ記録装置
US7382968B2 (en) 2002-02-21 2008-06-03 Matsushita Electric Industrial Co., Ltd. Recording apparatus and computer-readable program
JP4221669B2 (ja) * 2004-09-06 2009-02-12 ソニー株式会社 記録装置および方法、記録媒体、並びにプログラム
US20060239563A1 (en) * 2005-04-25 2006-10-26 Nokia Corporation Method and device for compressed domain video editing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319315A (ja) * 2002-02-21 2003-11-07 Matsushita Electric Ind Co Ltd 録画装置、コンピュータ読取可能なプログラム。
JP2005130044A (ja) * 2003-10-21 2005-05-19 Nikon System:Kk 電子カメラ
JP2007159056A (ja) * 2005-12-08 2007-06-21 Canon Inc 符号化装置及び方法、及び撮像装置
JP2008016130A (ja) * 2006-07-06 2008-01-24 Canon Inc 記録装置、記録方法、及びプログラム
JP2008085673A (ja) * 2006-09-27 2008-04-10 Toshiba Corp 動画像符号化装置及びその方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013051534A (ja) * 2011-08-31 2013-03-14 Nexpoint Co Ltd 監視カメラシステム及び監視方法
JP2015173506A (ja) * 2015-06-05 2015-10-01 株式会社Ｎｅｘｐｏｉｎｔ 監視カメラシステム及び監視方法

Also Published As

Publication number Publication date
US8411168B2 (en) 2013-04-02
JPWO2010032457A1 (ja) 2012-02-09
JP5081306B2 (ja) 2012-11-28
US20110199504A1 (en) 2011-08-18

Similar Documents

Publication Publication Date Title
JP5081306B2 (ja) 撮像装置および動画データ作成方法
US8948574B2 (en) Multimedia recording apparatus and method
JP4669902B2 (ja) 映像記録装置、多重方法、プログラム、及び記録媒体
US9014538B2 (en) Moving image processing apparatus, moving image playback apparatus, moving image processing method, moving image playback method, and storage medium
JP2006345485A (ja) 撮像装置及びその制御方法
JP2005318502A (ja) 可変フレームレート記録のための映像記録装置、多重方法、映像符号化方法、プログラム、及び記録媒体
US9357194B2 (en) Imaging apparatus for minimizing repetitive recording of moving image data of a similar scene on a recording medium
US7903947B2 (en) Recording apparatus and method, playback apparatus and method, recording medium, and computer-readable medium for recording and playing back moving images
US20120194702A1 (en) Moving image data recording apparatus
JP5164610B2 (ja) 撮像装置及びその制御方法
US8190000B2 (en) Recording apparatus, recording method, and recording program
JP2004349993A (ja) 画像記録装置
RU2518173C2 (ru) Устройство записи данных изображения
JP5818599B2 (ja) 動画記録装置
JP2005039792A (ja) 記録装置及び再生装置
JP5773855B2 (ja) 画像処理装置
US20120189283A1 (en) Moving image data recording apparatus
JP2007158432A (ja) 映像記録装置
JP2013058853A (ja) 動画再生装置、動画再生方法及びプログラム
JP2004104193A (ja) 撮像装置及び記録装置
JP2015029211A (ja) 撮像装置
JP2020065219A (ja) 撮像装置および撮像装置の制御方法
JP2013005054A (ja) 再生装置及び再生方法
JP2020141207A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2006041700A (ja) 記録装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09814302

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010529639

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13119103

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09814302

Country of ref document: EP

Kind code of ref document: A1