WO2004025957A1 - 動画像記録装置 - Google Patents

動画像記録装置 Download PDF

Info

Publication number
WO2004025957A1
WO2004025957A1 PCT/JP2003/011280 JP0311280W WO2004025957A1 WO 2004025957 A1 WO2004025957 A1 WO 2004025957A1 JP 0311280 W JP0311280 W JP 0311280W WO 2004025957 A1 WO2004025957 A1 WO 2004025957A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
data
jpeg
image signal
processing
Prior art date
Application number
PCT/JP2003/011280
Other languages
English (en)
French (fr)
Inventor
Junya Kaku
Original Assignee
Sanyo Electric Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co., Ltd. filed Critical Sanyo Electric Co., Ltd.
Priority to US10/526,900 priority Critical patent/US7609301B2/en
Priority to AU2003261918A priority patent/AU2003261918A1/en
Priority to EP03795289A priority patent/EP1549063A4/en
Publication of WO2004025957A1 publication Critical patent/WO2004025957A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/808—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal
    • H04N9/8081—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction
    • H04N2009/8084—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the composite colour video-signal involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to a moving image recording apparatus, and more particularly to a moving image recording apparatus which is applied to, for example, a video camera and records a moving image signal in a compressed state on a recording medium.
  • a moving image recording apparatus which is applied to, for example, a video camera and records a moving image signal in a compressed state on a recording medium.
  • a main object of the present invention is to provide a moving image recording device capable of controlling the continuous recordable time of a moving image.
  • a moving image recording apparatus is a moving image recording apparatus that includes a processor equipped with a multitasking OS and records a moving image signal on a recording medium in a compressed state, and a plurality of tasks executed by the processor include:
  • the first task includes a first task involved in the compression processing of the moving image signal and a second task involved in the recording processing of the compressed moving image signal.
  • the first task periodically determines the recording processing speed of the compressed moving image signal.
  • a change process of changing the compression ratio of the moving image signal based on the determination result of the determination process.
  • the moving image signal is recorded in a compressed state on a recording medium under the control of a processor equipped with a multitasking OS.
  • the tasks performed by the processor are: Includes a first task involved in video signal compression processing and a second task involved in compressed video signal recording processing. Further, the first task includes a determination process of periodically determining the recording processing speed of the compressed moving image signal, and a change process of changing the compression ratio of the moving image signal based on the determination result of the determination process.
  • each of multiple tasks is executed only in time division. Then, the recording processing speed of the compressed moving image signal fluctuates due to the load fluctuation of each task. Therefore, the recording processing speed is periodically determined, and the compression ratio of the moving image signal is changed according to the result of the determination. This makes it possible to control the continuous recordable time of a moving image.
  • the second task includes a transfer process of transferring the compressed moving image signal to the recording medium by a predetermined amount.
  • the second task is interrupted after the specified amount of transfer is completed.
  • the plurality of tasks further include a third task involved in adjusting the capturing condition.
  • this adjustment process causes a change in the recording processing speed.
  • the capturing means includes photographing means for photographing the subject, and the capturing condition includes photographing conditions of the photographing means.
  • the shooting conditions need to be adjusted depends on external factors such as the brightness and color of the object.
  • the third task starts at an arbitrary timing, and the recording processing speed fluctuates accordingly.
  • the determination processing preferably determines the recording processing speed based on the size of the unrecorded compressed moving image signal stored in the memory.
  • a moving picture recording apparatus comprises: a fetching means for fetching a moving picture signal; a compressing means for compressing a moving picture signal every predetermined number of screens to generate a compressed moving picture signal; Recording means for recording on a recording medium; discrimination means for periodically discriminating the processing speed of the recording means; and changing means for changing the compression ratio of the compression means based on the discrimination result by the discrimination means.
  • the moving image signal captured by the capturing means is compressed by the compression means for each predetermined number of screens.
  • the compressed moving image signal is recorded on a recording medium by a recording unit.
  • the processing speed of the recording means is periodically determined by the determination means, and the change means changes the compression ratio of the compression means based on the determination result of the determination means. This makes it possible to control the continuous recordable time of a moving image.
  • a bus connected to the memory is used for transferring the moving image signal and the compressed moving image signal.
  • the zoom unit performs an electronic zoom process on the moving image signal in a mode selected by the selection unit.
  • the zoom means extracts a part of the moving image signal using the memory, and performs the enlargement zoom on the extracted moving image signal. Therefore, when the enlargement zoom is selected, the bus is used to transfer the moving image signal, and the occupancy of the bus for transferring the compressed moving image signal, that is, the processing speed of the recording unit is reduced.
  • the determination processing preferably determines the recording processing speed based on the size of the unrecorded compressed moving image signal stored in the memory.
  • FIG. 1 is a block diagram showing one embodiment of the present invention
  • FIG. 2 is an illustrative view showing one example of a mapping state of SDRAM
  • FIG. 3 is an illustrative view showing another example of the mating state of the SDRAM;
  • FIG. 4 is an illustrative view showing an example of the configuration of the instruction list;
  • FIG. 5 is an illustrative view showing one example of a configuration of an access information table
  • FIG. 6 is an illustrative view showing one example of a configuration of a recording medium
  • FIG. 7 is an illustrative view showing one example of a configuration of a free space table
  • FIG. 8 is an illustrative view showing a structure of a completed movie file
  • FIG. 9 (A) is an illustrative view showing a part of the index information creating process
  • FIG. 9 (B) is an illustrative view showing another part of the index information creating process
  • FIG. 9 (C) is Illustrated illustrations showing another part of the index information creation process
  • FIG. 10 (A) is an illustrative view showing a part of an access information table creating process
  • FIG. 10 (B) is an illustrative view showing another part of an access information table creating process
  • FIG. 10 (C) is an illustrative view showing another portion of the access information table creation processing
  • FIG. 11A is an illustrative view showing one portion of a process of creating index information.
  • FIG. 11 (B) is an illustrative view showing another part of the index information creating process;
  • FIG. 11 (C) is an illustrative view showing another part of the index information creating process;
  • FIG. 12 (A) is an illustrative view showing a part of an access information table creating process
  • FIG. 12 (B) is an illustrative view showing another part of an access information table creating process
  • Figure 12 (C) is an illustrative view showing another part of the process of creating the access information table
  • Figure 13 is a flowchart showing a part of the operation of CPU when performing the imaging processing task
  • FIG. 14 is a flowchart showing another part of the operation of the CPU when performing the imaging processing task
  • Figure 15 is a flow diagram showing another part of the operation of CPU when performing the imaging processing task
  • Figure 16 is a flowchart showing yet another part of the operation of the CPU when performing the imaging processing task
  • Figure 17 is a flowchart showing another part of the operation of the CPU when performing the imaging processing task
  • Figure 18 is a flow chart showing another part of the operation of CPU when performing the imaging processing task
  • Fig. 19 is a flowchart showing yet another part of the operation of the CPU when performing the imaging processing task
  • Figure 20 is a flowchart showing a part of the operation of the CPU when performing the BG processing task. Yes;
  • FIG. 21 is a flowchart showing another part of the operation of the CPU when performing the BG processing task.
  • a digital video camera 10 of this embodiment includes an image sensor 12.
  • An aperture unit and an optical lens are arranged in front of the image sensor 12, and an optical image of a subject is irradiated on the image sensor 12 via these members.
  • the CPU 52 is a multitasking CPU equipped with a multitasking OS such as ITRON.
  • a shooting processing task a shooting condition control task
  • a BG (Back Ground) processing task are executed in parallel. Be executed. Specifically, each task is executed in a time-sharing manner in response to a vertical synchronization signal, which will be described later, according to a preset priority.
  • the operator can select a desired shooting mode from a plurality of shooting modes by operating the menu key 60. Either the resolution and frame rate of the captured image, or the audio system, bit rate, or sampling rate of the captured audio differs in each shooting mode.
  • a desired photographing mode is selected, a corresponding information signal is supplied from the system controller 56 to the CPU 52.
  • the CPU 52 stores the shooting mode information (resolution, frame rate, sound system, bit rate, sampling rate) indicating the selected shooting mode and the file name of the movie file to be created in the register r gst.
  • the CPU 52 also instructs the timing generator (TG) 14 to perform shooting at the resolution and frame rate indicated by the shooting mode information.
  • the TG 14 generates a timing signal according to a desired photographing mode (resolution, frame rate) based on a vertical synchronizing signal and a horizontal synchronizing signal output from the signal generator (SG) 16, and rasterizes the image sensor 12. Drive by scan method.
  • Image sensor 12 From this, a raw image signal (charge) having a desired resolution is output at a desired frame rate, and the output raw image signal passes through a CDSZAGC circuit 18 and an AZD converter 20 to output raw image data as a digital signal. Is input to the signal processing circuit 22.
  • the signal processing circuit 22 When the set zoom magnification is “1.0”, the signal processing circuit 22 performs a series of signal processing such as white balance adjustment, color separation, and YUV conversion on the raw image data input from the A / D converter 20. To generate 1.0 times YUV data.
  • the set zoom magnification is less than "1.0”
  • the raw image data input from the AZD converter 20 is first subjected to the reduced zoom by the zoom circuit 22a, and after the reduced zoom, the above-described series of signals is output. Processing is executed.
  • the YUV data generated by such processing is stored in the SDRAM 26 via the bus B1 and the memory control circuit 26.
  • the zoom circuit 22 a first converts the raw image data input from the AZD conversion device 20 to the bus B. Write once to SDRAM26 through 1 and memory control circuit 24. Subsequently, the zoom circuit 22a reads out the raw image data of a part of the area necessary for the enlargement zoom processing through the bus B1 and the memory control circuit 24, and enlarges the raw image data of the read part of the area. Apply zoom. The enlarged raw image data is converted to YUV data by the above-described series of signal processing. As a result, YUV data having a magnification larger than "1.0" is generated. The generated YUV data is stored in the SDRAM 26 via the bus B1 and the memory control circuit 26.
  • the video encoder 28 reads the YUV data from the SDRAM 26 through the bus B1 and the memory control circuit 24, and encodes the read YUV data into a composite image signal.
  • the encoded composite image signal is displayed on the monitor 3
  • the real-time moving image (through image) of the subject is monitored.
  • the CPU 52 controls shooting conditions such as an aperture amount, an exposure time, a white balance adjustment gain, and an electronic zoom magnification. Specifically, adjust the aperture or exposure time according to the brightness of the subject, and adjust the white balance according to the color of the subject. The gain is corrected, and the electronic zoom magnification is adjusted according to a change in a state signal indicating the operation state of the zoom key 64. As a result, changes in the brightness and hue of the through image are prevented, and the zoom magnification of the through image changes in response to the operation of the zoom key 64.
  • the recording medium 50 is a detachable recording medium that can be accessed by the IZF 46 when the recording medium 50 is inserted into the slot 48.
  • the recording medium 50 is provided with a CPU 50a, a buffer memory 50b, and a hard disk 50c.
  • the hard disk 50c has a FAT area 501c, a root directory area 502c, and a data area 503c as shown in FIG. You.
  • the data writing to the data overnight area 503c is performed by a predetermined amount via the buffer memory 50b.
  • the CPU 52 When recording a moving image, the CPU 52 starts a BG processing task. At this time, an instruction list 52a as shown in FIG. 4 is created so that processing can be smoothly performed between the imaging processing task and the BG processing task.
  • the CPU 52 In order to create a header, processing to capture thumbnail images and create header information is performed in the next one frame period.
  • the signal processing circuit 22 is instructed to perform a thinning process, and the JPEG codec 32 is instructed to perform a compression process.
  • the signal processing circuit 22 performs a thinning process in addition to the above-described YUV conversion, and writes the generated thumbnail YUV data to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the JPEG codec 32 reads the thumbnail YUV data from the SDRAM 26 through the bus B1 and the memory control circuit 24, and performs JPEG compression on the read thumbnail YUV data.
  • the JPEG codec 32 then writes the JPEG raw data Rth of the thumbnail image generated by the JPEG compression to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the CPU 46 also creates a JPEG header Hth of the thumbnail image by itself and writes the created JPEG header Hth to the SD RAM 26 through the bus B1 and the memory control circuit 24.
  • the CPU 46 further creates the header information H inf including the above-described shooting mode information by itself, and writes the created header information H Inf to the SDRAM 26 through the bus B 1 and the memory control circuit 24.
  • the JPEG raw data Rth, the JPEG header Hth and the header information Hinf are mapped to the SDRAM 26 as shown in FIG.
  • the CPU 52 When the creation of the movie file header is completed, the CPU 52 performs an image capturing process and an audio capturing process each time a vertical synchronization signal is generated.
  • the JPEG header created by itself is written to the SDRAM 26 through the bus B1 and the memory control circuit 24, and a compression instruction is given to the JPEG codec 32.
  • JPEG codec 32 when given a compression instruction
  • the YUV data of the current frame is read from the S-DRAM 26 through the bus B1 and the memory control circuit 24, and the read YUV data is compressed to a target size.
  • the JPEG codec 32 writes the JPEG raw data to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the target size at the time of JPEG compression is changed according to the recording status on the recording medium 50.
  • the processing may break down due to a bottleneck, so the recording status of the recording medium 50 is periodically detected, and the target size at the time of JPEG compression is changed according to the detection result. Is done.
  • This target size change processing will be described in detail later.
  • a processing instruction is given to the signal processing circuit 38.
  • the signal processing circuit 38 writes the audio data corresponding to one frame stored in the SRAM 38a to the SDRAM 26 through the path B1 and the memory control circuit 38a.
  • the JPEG header, JPEG raw data and audio data of each frame are mapped to the SDRAM 26 as shown in FIG.
  • the JPEG header and JPEG raw data are assigned serial numbers 0, 1, 2,... Every frame, while the audio data are assigned serial numbers 0, 1, 2 every 3 frames. ,... Are attached.
  • one frame of JPEG data is formed by the JPEG header and the JPEG raw data having the same number, and the beginning and end of the JPEG data of each frame are, as shown in FIG.
  • the powers SO I (Start Of Image) and E ⁇ I (End Of Image) are assigned.
  • the CPU 52 also creates the access information of the JPEG raw data, the access information of the JPEG header, and the index information of the JPEG data every time one frame period elapses, and every three frame periods elapses. Create audio data access information and audio data index information.
  • the access information of the JPEG raw data consists of the data size of each frame and the start address in the SDRAM 26, and the access information of the JPEG header also contains the data size of each frame and the start address in the SDRAM 26.
  • Consists of The index information of the JPEG data is composed of the data size of each frame and the distance from the head of the movie file when written to the recording medium 50.
  • the access information of the audio data is composed of a data size equivalent to 3 frames and a start address in the SDRAM 26, and the index information of the audio data is equivalent to a data size equivalent to 3 frames and written to the recording medium 50. It consists of a g separation from the beginning of the movie file.
  • the access information is created in the access information table 52b shown in FIG. 5, and the index information is created in the SDRAM 26 in the manner shown in FIG.
  • the SDRAM address and data size of the JPEG raw data for three frames the SDRAM address and data size of the JPEG header for three frames, and the SDRAM for audio data equivalent to three frames Address and data size are associated with each other.
  • the position information and size information of the audio data corresponding to three frames and the position information and size information of the JPEG data for three frames are alternately mapped to the SDRAM 26.
  • sampling frequency of the audio signal may deviate between the actual processing by hardware and the calculation by software.
  • thinning-out interpolation is performed on the index information and access information of the JPEG data in order to compensate for this deviation. This decimation / interpolation processing will be described later in detail.
  • the CPU 52 sets “write file” in the instruction list 52a based on the access information described above so as to write audio data equivalent to three frames and JPEG data of three frames to the recording medium 50.
  • This “file writing” by the BG process three frames of audio data and three frames of JPEG data are read out from the SDRAM 26 and recorded via the bus B 1 and the IZF circuit 46.
  • Given in medium 50 In a data area 503c of the recording medium 50, an audio chunk composed of audio data equivalent to three frames and an image chunk composed of three frames of JPEG data are recorded. As shown in FIG. 8, audio chunks and image chunks are alternately mapped on the movie file.
  • the CPU 52 The voice capture is stopped, and "file write” is set in the instruction list 52a so that the index information created in the SD RAM 26 is recorded on the recording medium 50 as shown in FIG.
  • the index information is read out from the SDRAM 26 and given to the recording medium 50 via the bus B 1 and the IZF circuit 46.
  • the index chunk shown in Fig. 8 is formed at the end of the movie file.
  • the position and size of the audio data on the file are managed every time corresponding to three frames, and the position and size of the JPEG data on the file are managed for each frame.
  • the CPU 52 calculates the total size value of the movie file created this time, and sets “write file” in the instruction list 52a to write the calculated total size value to the movie file header. I do.
  • the file size is added to the header information Hi ⁇ ⁇ ⁇ of the Mopie file header by executing this file writing by the BG processing task, thereby creating a movie file satisfying the QuickTime standard ⁇ Complete.
  • the CPU 52 sets "file close” and "BG processing end” in the instruction list 52a.
  • "file close” is executed by the BG process
  • the size information written in the root directory area 502c and the FAT information written in the FAT area 501c are updated.
  • the file name of the movie file created this time is detected from the directory entry, and the size information assigned to the detected file name is updated from "0" to the total size value.
  • the FAT information is updated so that a link is formed in the write area (cluster) of the movie file created this time.
  • the BG processing is ended by "BG processing end".
  • the playback mode is selected by the mode switching switch 62 and the desired copy file is selected by the menu key 60
  • a corresponding status signal is given to the system controller 56.
  • the CPU 52 detects the selected movie file from the recording medium 50, and reproduces the audio data and JPEG data in the detected movie file. At this time, the playback order is based on the index information in the movie file. follow the information.
  • the audio data and JPEG data will be recorded as audio data 0, JPEG data 0 to 2, audio data 1, and jp EG data.
  • the read audio data and JPEG data are first stored in the SDRAM 26 by the memory control circuit 24.
  • the CPU 52 gives a decompression command to the JPEG codec 32 in the order according to the index information of the JPEG data, and gives a processing command to the signal processing circuit 40 in the order according to the index information of the audio data.
  • the JPEG codec 32 reads the JPEG raw data forming the JPEG data of the desired frame from the SDRAM 26 through the bus B1 and the memory control circuit 24, and decompresses the JPEG raw data into the read JPEG raw data. Is applied.
  • the YUV data generated by the JPEG decompression is stored in the SDRAM 26 through the bus B1 and the memory control circuit 24, and is then supplied to the video encoder 28 through the bus B1 and the memory control circuit 24. As a result, the corresponding reproduced image is displayed on the monitor 30.
  • the signal processing circuit 40 reads audio data corresponding to the desired three frames from the SDRAM 26 through the bus B1 and the memory control circuit 24, and stores the read audio data in the SRAM 40a.
  • the audio data stored in the SRAM 40a is then converted into an analog audio signal by the D / A converter 42, and the converted audio signal is output from the speaker 44.
  • the reproduced moving image is displayed on the monitor 30, and an audio signal synchronized with the reproduced moving image is output from the speaker 44.
  • the CPU 52 executes the photographing processing task shown in FIGS. 13 to 19 and the BG processing task shown in FIGS. 20 to 21 in accordance with the control program stored in the ROM 54.
  • step S1 a shooting mode determination process is performed. Specifically, a menu indicating a plurality of shooting modes is displayed on the monitor 30, and a desired shooting mode is determined in response to the operation of the menu key 52. When the shooting mode is determined, the process proceeds to step S3, and shooting mode information indicating the determined shooting mode is created. Setting The constant information is, for example, "resolution: VGA”, “frame rate: 30 fps”, “sound system: monaural”, “bit rate: 8 bits”, and "sampling rate: 8040 Hz”.
  • step S5 the file name of the movie file created by the current shooting processing is determined. The file name is, for example, "VCLP 0003. MOV”. The created shooting mode information and file name are registered in the register rgst.
  • step S7 various variables are initialized. Specifically, each of the variables f rmc nt, flsz, BG-RemData, re-i f 1 sz, t-i sz and au d-sz is set to "0", and the variable trgt-sz is set to the maximum value MAX. And then set the variable aud s z_fps to the theoretical value LG.
  • the variables i and frmcnt are both variables indicating the frame number.
  • the variable i continues to be incremented in response to the vertical sync signal, and the variable f rmcnt is cyclically updated between "0" and "3" in response to the vertical sync signal.
  • the numerical values "0" to "3” taken by the variable ⁇ rmc n t those that actually have no meaning are "0" to "2".
  • one image chunk is formed by three frames of JPEG data.
  • the variable f rmcn t is used to specify the order of the J PEG data of interest in the image chunk.
  • the variable f 1 s z is a variable indicating the total size value of the JPEG raw data generated by JPEG compression.
  • the variable BG—RemD ata is a variable that indicates the size of the JPEG raw data that has been set in the instruction list 52a shown in FIG. 4 but has not yet been recorded on the recording medium 50. It is.
  • the variable p re — ⁇ 1 s z is a variable indicating the total size value of the JPEG raw data already recorded on the recording medium 50.
  • variable trg t — s z is a variable indicating the target size value when compressing the YUV data of each frame
  • variable t — s z is a variable used for calculating the target size value
  • the variable aud-sz is a variable that indicates the total size value (bytes) of the captured audio data
  • the variable aud sz-fps is a variable that indicates the size of the audio data equivalent to one frame.
  • step S9 a processing instruction is given to each of the TG 14, the signal processing circuit 22, and the video encoder 28 in order to display a through image.
  • a through image of the object is displayed.
  • FILE—STRT is set as a command for “Start BG processing”, and a command, FILE—CREATE as a parameter 1 and 2 for “Create file”, and a drive number (for the drive that drives the recording medium 44). Number) and file path are set.
  • commands and parameters 1 Is set as FILE-SET-ALLOC and drive number
  • "File Open” is set as FILE-OPEN, drive number and file path as command, parameters 1 and 2.
  • the file path set in the "file creation” includes the size information and the file name determined in step S25, and the size information and the file name are written in the directory entry. However, since the movie file is incomplete, the size information indicates "0".
  • step S21 When the vertical synchronization signal is output from the SG 16 after the processing in step S19 is completed, YES is determined in step S21, and the value of the variable i is determined in step S23. If the variable i is equal to or greater than "1", the process proceeds to step S31. If the variable i is "0", the process proceeds to steps S31 through S25 to S29. In step S25, a thumbnail image capturing process is performed. Specifically, the JPEG header Hth created by itself is written into the SDRAM 26, and the signal processing circuit 22 and the JPEG codec 32 are each instructed to perform a thinning process and a compression process.
  • the signal processing circuit 22 performs the thinning process of the YUV data over one frame period, and writes the thumbnail YUV data thus generated to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the JPEG codec 32 reads out the thumbnail YUV data from the SD RAM 26 through the bus B1 and the memory control circuit 24, performs JPEG compression processing on the read thumbnail YUV data, and outputs the JPEG raw data Rth. Then, the JPEG raw data R th is written to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the JPEG header Hth and the JPEG raw data Rth are mapped to the SDRAM M26 as shown in FIG.
  • header information H inf including the above-mentioned shooting mode information (resolution, frame rate, sound system, bit rate, sampling rate) is created, and the header information H inf is transmitted to the path B1 and the memory control circuit.
  • the header information H inf is mapped onto the J PEG header H th as shown in FIG.
  • “file writing” is performed in step S 29 by listing numbers “4” and “5” in the instruction list 52 a shown in FIG. Field.
  • Table 1 in “File Write”, FILE-WRITE, handle number (obtained by file open processing), SDRAM address, data size and data size are used as parameters, parameters 1, 2, 3 and 4.
  • the type is set. The two “file write” settings are made because the header information H i ⁇ ⁇ and J? £ & header 11 s are continuous on the SDRAM 26, but the J PEG raw data R th Is stored at a remote location.
  • the start address of the header information Hi is set as the SDRAM address
  • the total size of the header information Hinf and the JPEG header Hth is set as the data size
  • the data type is set as the data type.
  • “Multi-file header” is set.
  • the start address of the JPEG raw data Rth is set as the SDRAM address
  • the size of the JPEG raw data Rth is set as the data size
  • the data type is set. Is set as "movie file header”.
  • the header information Hinf, the JPEG header Hth, and the JPEG raw data Rth are consecutive in this order.
  • JPEG data TH is formed by the JPEG header Hth and the JPEG raw data Rth.
  • a compression processing instruction is given to the JPEG codec 32.
  • the compression processing instruction includes a target size value according to the variable trgt-sz.
  • the JPEG codec 32 reads one frame of YUV data from the SDRAM 26 through the path B 1 and the memory control circuit 24, compresses the read YUV data, and executes JPEG raw data of a size close to the target size. An overnight is created, and the generated JPEG raw data is written to the SDRAM 26 through the path B 1 and the memory control circuit 24. JPEG raw data is mapped to SDRAM 26 as shown in Fig. 2.
  • J PEG data of the frame is formed by the J PEG header and J PEG raw data obtained in the same frame, and markers SO I and E ⁇ ⁇ ⁇ I are provided at the beginning and end of the J PEG data.
  • a processing instruction is given to the signal processing circuit 38 in order to perform a process of capturing audio data corresponding to one frame.
  • the signal processing circuit 38 writes the audio data of one frame given from the AZD converter 36 and held in the SRAM 38 a to the SDRAM 26 through the bus B 1 and the memory control circuit 24.
  • the audio data is mapped to the SDRAM 26 as shown in FIG.
  • the signal processing circuit 38 also returns the size value of the audio data written in the SDRAM 26, that is, the fetched size value, to the CPU 52. Therefore, in step S35, the calculation according to Equation 1 is performed, and the returned captured size value is integrated into the variable a ud—sz.
  • step S37 it is determined in step S37 whether or not the JPEG compression has been completed.
  • the JPEG codec 32 returns the size value of the generated JPEG raw data, that is, the compressed size value, and a compression completion signal to the CPU 46. Therefore, in step S37, it is determined as YES when the compression completion signal is returned.
  • step S39 the operation of Expression 2 is performed to add the returned compressed size value to the variable f1sz.
  • step S41 the JPEG header created by itself is written to the SDRAM 26 through the path B1 and the memory control circuit 24, and in the following step S43, the index information of the JPEG data of the current frame is transferred to the bus B1 and the memory control circuit. Write to SDRAM 26 through circuit 24.
  • the JPEG header is mapped to the SDRAM 26 as shown in FIG. 2, and the index information is mapped to the SDRAM 26 as shown in FIG.
  • step S43 the position information and size information of one frame of JPEG data are created as index information. Also, in the movie file, J for 3 frames One image chunk is formed by PEG decoding. For this reason, in step S43, the number of the current frame in three consecutive frames is specified from the variable f rmcnt, thereby determining the position of the index information to be created in the SDR AM 26. I do.
  • step S45 JPEG raw data of the current frame and access information of the JPEG header are created in the access information table 52b shown in FIG. That is, the start address information and the size information of the JPEG raw data of the current frame existing in the SDRAM 26 are created as access information of the JPEG raw data of the current frame, and the start address of the JPEG header of the current frame existing in the SDRAM 26 is generated. Information and size information are created as access information for the JPEG header of the current frame. Then, each created access information is assigned to the variable i set in the access information table 52b.
  • step S45 Upon completion of the process in the step S45, the variable i is compared with a frame rate value FPS of the current shooting mode in a step S47. If the frame rate in the current shooting mode is 30 fps, the frame rate value FPS is "30" and the variable i is compared with "30". If i is FPS, the process directly proceeds to step S83, but if i ⁇ FPS, the process proceeds to steps S81 through S49-81. In step S49, it is determined whether the variable f 1 is less than “111” 11 1; power “2”, and if YES, it is determined in step S51 whether the condition of Expression 3 is satisfied. If nt is equal to or greater than "2”, it is determined in step S59 whether the condition of Expression 4 is satisfied.
  • aud sz-fps * (i + 1))-aud-sz> aud sz-fs aud-sz is the total size value of the audio data actually captured, and aud sz-fps * (i + 1) Is the product of the number of frames from the start of capture and the theoretical value LG.
  • the difference between the two values is compared to the theoretical value LG. As long as the difference value is less than or equal to the theoretical value LG, The process proceeds to step S63 as it is, but if the difference value exceeds the theoretical value LG, the process proceeds to step S63 via steps S53 to S57 or via step S61.
  • the error between the two is 3Hz. Then, the size of the audio data corresponding to one second is shifted by 3 bytes. Since the theoretical value LG is 268 bytes, the condition of Expression 3 is satisfied about once every 90 seconds, and steps S53 to S57 are processed. If the actual sampling rate is 8034 Hz and the sampling rate calculated by software is 8040 Hz, the error between the two is 6 Hz. At this time, the condition of Expression 4 is satisfied about once every 45 seconds, and the process of step S61 is executed.
  • step S53 each of the variables i and f rmcn t is incremented.
  • step S55 the same image index information as the previous time, that is, the same index information as the index information created in the previous step S43 is created in the SD RAM 26.
  • step S57 the same access information as the previous time, that is, the previous step S43 is created. Create the same access information as in step 45 in the access information table 52b.
  • step S63 Upon completion of the process in the step S57, the process proceeds to a step S63.
  • step S61 each of the variables i and frmcnt is decremented, and then the process proceeds to step S63.
  • the condition shown in Expression 3 is satisfied.
  • the index information of the same JPEG data is set in the SDRAM 26 as shown in FIG. 9B, and the JPEG raw data forming the same JPEG data is set.
  • Evening and JPEG header access information is set in the access information table 52b as shown in FIG. 10 (B).
  • the index information of the JPEG data P is set in the SDRAM 26.
  • the variable frcmnt is incremented, and the index information created in the immediately preceding step S43 is re-enabled, so that the index information of the JPEG data P is interpolated as shown in FIG. 9 (B). Is done.
  • the index information of the JPEG data P + 1 is set as shown in FIG. 9 (C).
  • the variable i is incremented and the access information created in the previous step S45 is re-validated
  • the access to the JPEG raw data P and the JPEG header P is performed as shown in Fig. 10 (B).
  • step S61 a part of the index information is overwritten by the subsequent index information as shown in FIG. 11 (B), and the access information is deleted as shown in FIG. 12 (B). Part is overwritten by subsequent access information.
  • the index information of the JPEG data P and the index information of the JPEG data P + 1 are set in the SDRAM 26.
  • the variable frcmnt is decremented, the index information of the JPEG data P + 1 is changed to the JPEG data P + 2 as shown in FIG. Is overwritten by the index information.
  • the index information of the JPEG data P + 1 is thinned out.
  • the index information of the JPEG data P + 3 is set as shown in FIG. 11 (C).
  • the access information of the JPEG raw data P and the JPEG header P and the access information of the JPEG raw data P + 1 and the JPEG header P + 1 are set in the access information table 52b. ing.
  • the variable i is decremented, the access information of the J PEG raw data P + 1 and the J PEG header P + 1 is obtained as shown in FIG. Is overwritten by the access information of J PEG raw data P + 2 and J PEG header P + 2.
  • the access information of the JPEG data P + 1 is thinned out.
  • the access information of the J PEG raw data P + 3 and the J PEG header P + 3 is set as shown in Fig. 12 (C). Is done.
  • variable i is incremented in step S53, and the determination of NO is continued in the next and subsequent steps S51. Since the variable i is decremented in step S61, the determination of NO is succeeded in the next step NO in step S59.
  • the process proceeds to step S83 as it is, but if the remainder is "0", the process proceeds to steps S65 to S81 and proceeds to step S83. Since the excessive force S becomes "0" only once in 30 frames, the processing in steps S65 to S81 is executed once in 30 frames.
  • step S65 the variable f 1 sz and pre_f 1 sz are subjected to an operation according to equation 5, and in step S67, the difference value ⁇ ⁇ 1 sz obtained by equation 5 and the variable BG—RemData and the frame rate value FPS are calculated. The operation according to Equation 6 is performed.
  • t_s z ( ⁇ f 1 s z— BG— R emD a t a) / ⁇ P S
  • the variable f 1 sz is the total size value of the JPEG raw data obtained by the JPEG compression
  • the variable pre_f 1 sz is the JPEG raw data already recorded on the recording medium 50. Is the total size value.
  • the variable pre_f 1 sz is updated only once every 30 frames, and the operation according to Equation 5 is also updated only once every 30 frames. Indicates the total size of the JPEG raw data generated in 30 frames.
  • the variable BG—RemData is a J PEG for which the “write file” instruction has been set in the instruction list 52a but has not yet been recorded on the recording medium 50. Raw data! This is the size of one tall size.
  • This variable BG—RemData decreases as the time required for "file write” processing decreases, and increases as the time required for "file write” processing increases.
  • the subtraction value obtained by subtracting such a variable BG—RemData from the difference value ⁇ f1sz reflects the current processing speed of “file writing”, and this subtraction value is divided by the frame rate value FPS.
  • the division value is the compressed size value that allows the variation of the variable BG-RemData under the current processing speed to fall within the specified range. Such a compressed size value is calculated as a variable t-sz.
  • the factors that cause the processing speed of "file writing" to vary include the processing speed of the CPU 50a / the characteristics of the recording medium 50 such as the capacity of the buffer memory 50b, as well as the occupancy of the bus B1 and the BG processing task.
  • the processing status of the task may be considered.
  • the raw image data is temporarily stored in the SDRAM 26 and then input to the signal processing circuit 22. You. At this time, the raw image data is provided to the SDRAM 26 via the bus B1 and returned to the signal processing circuit 22 via the bus B1.
  • the occupation rate of the bus B1 increases due to the raw image data transfer processing, thereby decreasing the processing speed of "file writing".
  • the shooting condition control task is activated and the aperture, exposure time, white balance adjustment gain, etc. are adjusted. Since each task cannot be executed at the same time, when the imaging condition control task is activated, the BG processing task is interrupted, which slows down the "file write" processing speed.
  • variable t-sz is updated periodically in consideration of the fluctuation in the processing speed of the "file writing".
  • the target size value and thus the J PEG compression ratio are updated as described later.
  • step S69 the calculated variable t__s z is compared with the variable trgt—sz. If t—s z ⁇ trg t_s z, the variable t—sz is compared with the minimum value M IN in step S71. If t—sz ⁇ MIN, the process proceeds directly to step S79, but if t—sz and MIN, the variable t—sz is set to the minimum value MI in step S73. After updating to N, proceed to step S79. On the other hand, if it is determined in step S69 that t ⁇ sz ⁇ trg t_sz, the variable t ⁇ sz is compared with the maximum value MAX in step S75.
  • step S79 If t-sz ⁇ MAX, the process directly proceeds to step S79. If t_sz> MAX, the variable t-sz is updated to the maximum value MAX in step S77, and then the process proceeds to step S79. In a step S79, a variable t—sz is set as a variable trg t_s z.
  • Equation 6 the variable t—sz decreases when the variable BG—RemDa ta is large, and conversely, the variable t__sz increases when the variable BG—RemData is small. Therefore, “t ⁇ sz ⁇ trgt ⁇ sz” means that the amount of unrecorded JPEG data is large, that is, the processing speed of “file write” is slow. Further, “t_s z ⁇ tr r t — s z” means that the amount of unrecorded J PEG data is small, that is, the recording characteristics of the recording medium 50 are excellent.
  • variable t—sz when the variable t—sz is less than the variable trgt—sz, the variable t—sz is set as the variable trg t_sz to enable a smaller target size value (higher JPEG compression ratio) in the next second.
  • target size value higher JPEG compression ratio
  • variable t—sz is greater than or equal to the variable trgt—sz
  • the variable t—sz is changed to the variable trgt—sz to enable a larger target size value (lower JPEG compression ratio) in the next second.
  • the size of the JPEG data generated in the next one second is larger than that of the JPEG data generated in the current one second, and the image quality deterioration due to the compression process is reduced.
  • step S81 the variable: f 1 s z and BG—RemD a ta are subjected to the operation of Expression 7 to update the variable p re — f 1 s z.
  • Equation 7 the total size value of the unrecorded JPEG raw data is subtracted from the previously generated JPEG raw data size. This operation Is also executed every 30 frames, so the variable pre_f 1 sz is updated once every 30 frames. In the next operation, that is, in the operation of Equation 5 after 30 frames, the updated variable P ree — f 1 sz is subtracted from the latest variable f 1 sz. In step S83, the variable ⁇ rmcnt is incremented, and in the following step S85, the value of the incremented variable frmcnt is determined.
  • step S87 the index information of the audio data is written into the SDRAM 26.
  • the movie file shown in Fig. 7 one audio chunk is formed by audio data corresponding to three frames.
  • the position and size of audio data in a file are managed at intervals corresponding to three frames. For this reason, in step S85, position information and size information of the audio data corresponding to the latest three frames are created, and the created index information is written to the SDRAM 26 as shown in FIG.
  • the access information of the audio data is written to the access information table 52b. That is, the head address information and the size information of the audio data corresponding to three frames existing in the SDRAM 26 are created as access information, and the created access information is written in the access information table 52b. At this time, the access information is associated with the access information of the JPEG data of the three frames of interest.
  • step S91 three frames of JPEG raw data set in the access information table 52b, three frames of JPEG header access information, and three frames of audio data access information are stored. Referring to FIG. 4, "write file" is set in the instruction list 52a shown in FIG. As shown in FIG.
  • step S91 audio data corresponding to three frames is continuous on the SDRAM 26, but JPEG raw data and a JPEG header of three frames are discretely distributed on the SDRAM 26. For this reason, in step S91, a total of seven "file writing" are set in the instruction list 52a.
  • the SDRAM address is the start key of the audio data equivalent to the three frames of interest.
  • the data size indicates the size of the audio data corresponding to the three frames of interest, and the data type indicates the audio chunk.
  • the start address and data size are equal to the SDRAM address and data size forming the access information created in step S87.
  • the SDRAM address indicates the start address of the JPEG header of the three frames of interest
  • the data size is the size of the JPEG header of the three frames of interest. Indicates the size
  • the data type indicates the JPEG header.
  • the start address and the data size are equal to the SDRAM address and the data size forming the access information of the JPEG header of the latest three frames created in step S45 or S57.
  • the SDRAM address indicates the start address of the JPEG raw data of the three frames of interest
  • the data size is the size of the JPEG raw data of the three frames of interest. Indicates the size
  • the data type indicates JPEG raw data.
  • the start address and data size are equal to the SDRAM address and data size forming the latest three frames of JPEG raw data—evening access information created in step S45 or S57.
  • step S93 the calculation of equation 8 is performed to add the size value of the three-frame JPEG raw data set in the instruction list 52a in step S91 to the variable BG—RemDat a.
  • step S95 the frame number i is incremented.
  • step S97 it is determined whether or not the shirt button 58 has been operated. Steps S21 to S95 are repeated as long as the shirt button 58 is not pressed.
  • the PEG header, JPEG raw data, and audio data are mapped to the SDRAM 26 as shown in FIG.
  • step S99 determines the value of the variable f rmc n t.
  • the process proceeds to step S103, but if the variable f rmcnt force is "1" or "2”, "file writing" is instructed in step S101 in the list 52. After setting to a, go to step S103.
  • variable rmcnt When the variable rmcnt is "1", the last audio chunk and image chunk are formed by one frame of audio data and JPEG data, and a total of three "file writing" are set in the instruction list 52a.
  • Variable f rmcn t When the variable rmcnt is "1", the last audio chunk and image chunk are formed by one frame of audio data and JPEG data, and a total of three "file writing" are set in the instruction list 52a.
  • the instruction list 52a contains a total of five
  • step S103 "write file” is set in the instruction list 52a in order to write the index information shown in FIG. 3 into the movie file.
  • the SDRAM address and data size set here indicate the start address and total size of the index information shown in FIG. 3, and the data type indicates the movie file header.
  • step S105 the total size of the movie file is calculated based on the size information included in the index information, and the calculated total size data is written to the SDRAM 26.
  • steps S107 to S111 "write file”, "close file” and “end BG processing” are set in the instruction list 52a.
  • the SDRAM address and data size set in “Write file” indicate the head address and data size of the total size data, and the data type indicates the movie file header.
  • "File close” is FILE— CLOSE Is set as a command
  • FILE-END is a command in "End BG processing”.
  • the total size value is added to the size information of the movie file header.
  • the size information of the directory entry (the size information written based on the process of step S15) is updated from “0” to the total size value,
  • the FAT information in the FAT area 501c is updated so that a link is formed in the writing area of the movie file created this time.
  • the BG processing ends with "BG processing end”.
  • step S121 the read destination list number L is set to "0", and in subsequent step S123, it is determined whether the command read from the list number L is FILE-STRT. If YES here, the list number L is incremented in step S125, and the contents of the command read from the incremented list number L are stored in steps S127, S131, S135, S139, and S147. Each is determined. If the read command is FILE-CREATE, YES is determined in step S127, and file creation processing is performed in step S129.
  • the recording medium 50 is specified by the drive number set in parameter 1 and the file name and size 0 are indicated in the directory entry of the recording medium 50 based on the file path set in parameter 2. Write the size information. Upon completion of the process, the process returns to step S125.
  • step S131 If the read command is FILE-SET-ALLOC, YES is determined in step S131, and table creation processing is performed in step S133.
  • the recording medium 50 is specified by the drive number set in the parameter “1”, and the empty area cassette 52c shown in FIG. 7 is created by referring to the FAT information.
  • the process Upon completion of the process, the process returns to the step S125.
  • the read command is FILE-OPEN, the flow advances from step S135 to step S137 to perform a file open process. That is, the recording medium 50 is specified by the drive number set in the parameter 1, the file is specified based on the file path set in the parameter 2, and an eight-digit number assigned to this file is created. The created handle number is used for the photographing process.
  • the process Upon completion of the process, the process returns to the step S125.
  • step S141 If the read command is FILE-WRITE, the process proceeds from step S139 to step S141 to perform a file write process.
  • the movie file to be written is specified by the handle number set in parameter 1 and the read start address and read are set according to the SDRAM address and data size set in parameters 2 and 3. Specify the size. Then, based on the read start address and the read size, the data is read from the SDRAM 26 in units of a code, and the read data is provided to the CPU 50a of the recording medium 50 together with the write destination movie file information.
  • a BUSY signal is returned from the CPU 50a to the CPU 52 when the buffer memory 50b becomes full. You.
  • the process in step S141 is interrupted in response to the BUSY signal.
  • a READY signal is returned from the CPU 50a to the CPU 52.
  • the process in step S141 is restarted in response to the READY signal.
  • step S143 the type of parameter set for parameter 4 is determined. If the data type is not "JPEG raw data”, the process directly returns to step S125, but if the data type is "JPEG raw data", the calculation according to equation 9 is performed in step S145. Then, the process returns to step S125. [Formula 9]
  • BG—RemDat a BG_RemDat a—J PEG raw data size value According to Equation 9, the data size set in parameter 3 is subtracted from the variable BG—RemDat a. As a result, the variable BG—RemDat a indicates the size of the JPEG raw data set in the instruction list 52 a but not yet recorded on the recording medium 50.
  • step S147 If the read command is FILE-CLOSE, the process proceeds from step S147 to step S149 to perform a file closing process. Specifically, the size information assigned to the file name of the open file is updated by the total size value held in the SDRAM 26, and the FAT area 501c is updated by the FAT information held in the SDRAM 26. Update FAT information for. Upon completion of the process, the process returns to the step S125.
  • step S147 If the read command is FILE-END, it is determined in step S147 that the command is N ⁇ , and the process returns to step S121.
  • the BG process shifts to a standby state.
  • the YUV data of a plurality of frames forming a moving image is recorded in a compressed state on the recording medium 50 under the control of the CPU 52 equipped with a multitasking OS.
  • the plurality of tasks executed by the CPU 52 include an imaging processing task involved in compression processing of YUV data of a plurality of frames and a BG processing task involved in recording processing of JPEG data of a plurality of frames.
  • the shooting processing task is a discrimination processing that periodically determines the recording processing speed of JPEG data.
  • each of the tasks is executed only in a time-sharing manner. Then, the recording processing speed of JPEG data fluctuates depending on the load fluctuation of each task.
  • the zoom circuit 22a writes the raw image data once to the SDRA M26 through the bus B1 and the memory control circuit 24 when the enlargement zoom is selected by the zoom key 64, and partially writes the raw image data to the bus B1 and the bus B1.
  • the data is read through the memory control circuit 24, and the read raw image data is subjected to an enlarged zoom. For this reason, even when the magnified zoom is selected, it is recorded due to the reduced occupancy of bus B1.
  • the recording processing speed decreases. Therefore, in this embodiment, the recording processing speed is periodically determined, and the compression ratio of the YUV data is changed according to the determination result. This makes it possible to control the continuous recordable time of a moving image.
  • the image compression is performed by the JPEG method.
  • the MPEG method may be adopted instead of the JPEG method, and the target size value may be updated in GOP units.
  • the target size value is updated every 30 frames.
  • the target size value is changed to 32 frames, 64 frames, and 128 frames.
  • the target size may be updated for each number of frames corresponding to a power.
  • the number of frames of the JPEG data is adjusted when performing the recording process.
  • the number of frames may be adjusted during the reproduction process.
  • both the access information and the index information are thinned / interpolated.
  • the playback order of JPEG data is controlled based on only the index information, only the index information is used.
  • a thinning-out Z-interpolation may be applied to the data. As a result, it is possible to prevent the JPEG data from being lost due to the access information thinning process.
  • the FAT method is adopted as the recording method of the moving image signal, but a UDF (Universal Disk Format) method may be adopted instead.
  • UDF Universal Disk Format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

ディジタルビデオカメラ(10)は、マルチタスクＯＳを搭載したＣＰＵ(52)を含む。動画像を形成する複数フレームのＹＵＶデータは、ＣＰＵ(52)の制御の下、圧縮状態で記録媒体(50)に記録される。ここで、ＣＰＵ(52)によって実行される複数のタスクは、複数フレームのＹＵＶデータの圧縮処理に関与する撮影処理タスク、および複数フレームのＪＰＥＧデータの記録処理に関与するＢＧ処理タスクを含む。さらに、撮影処理タスクは、ＪＰＥＧデータの記録処理速度を周期的に判別する判別処理、およびその判別結果に基づいてＹＵＶデータの圧縮率を変更する変更処理を含む。

Description

動画像記録装置 技術分野
この発明は、 動画像記録装置に関し、 特にたとえばビデオカメラに適用され、 動画像信号を圧縮状態で記録媒体に記録する、 動画像記録装置に関する。 従来技術
従来のこの種のビデオカメラの一例が 2 0 0 0年 6月 3 0日付で出願公開され た特開 2 0 0 0— 1 8 4 3 3 0号公報に開示されている。この従来技術によれば、 動画像を形成する現フレームの静止画像信号の圧縮率， 圧縮サイズおよび目標サ ィズに基づいて次フレームの静止画像信号の圧縮率を算出し、 これによつて各フ レームの圧縮処理に要する時間の短縮化を図っている。
しかし、 従来技術では、 目標サイズは固定であったため、 記録速度の遅い記録 媒体では、各フレームの圧縮静止画像信号の記録に時間がかかっていた。つまり、 従来技術では、 動画像の連続記録可能時間が記録媒体の記録特性によって左右さ れるという問題があった。 発明の概要
それゆえに、 この発明の主たる目的は、 動画像の連続記録可能時間を制御する ことができる、 動画像記録装置を提供することである。
この発明に従う動画像記録装置は、 マルチタスク O Sを搭載したプロセサを備 え、 動画像信号を圧縮状態で記録媒体に記録する動画像記録装置であって、 プロ セサによって実行される複数のタスクは、 動画像信号の圧縮処理に関与する第 1 タスク、 および圧縮動画像信号の記録処理に関与する第 2タスクを含み、 第 1夕 スクは、 圧縮動画像信号の記録処理速度を周期的に判別する判別処理、 および判 別処理の判別結果に基づいて動画像信号の圧縮率を変更する変更処理を含む。 動画像信号は、 マルチタスク O Sを搭載したプロセサの制御の下、 圧縮状態で 記録媒体に記録される。 ここで、 プロセサによって実行される複数のタスクは、 動画像信号の圧縮処理に関与する第 1タスク、 および圧縮動画像信号の記録処理 に関与する第 2タスクを含む。 さらに、 第 1タスクは、 圧縮動画像信号の記録処 理速度を周期的に判別する判別処理、 および判別処理の判別結果に基づいて動画 像信号の圧縮率を変更する変更処理を含む。
マルチタスク O Sでは、 複数のタスクの各々は時分割でしか実行されない。 す ると、 各々のタスクの負荷変動によって、 圧縮動画像信号の記録処理速度が変動 する。 そこで、 記録処理速度を周期的に判別し、 判別結果に応じて動画像信号の 圧縮率を変更する。 これによつて、 動画像の連続記録可能時間の制御が可能とな る。
好ましくは、 第 2タスクは、 圧縮動画像信号を規定量ずつ記録媒体に転送する 転送処理を含む。 他のタスクが実行されるとき、 第 2タスクは規定量の転送が完 了する毎に中断される。
動画像信号を取り込み条件に従って取り込む場合、 複数のタスクは取り込み条 件の調整に関与する第 3タスクをさらに含む。 第 3タスクによって取り込み条件 が調整される場合、 この調整処理が記録処理速度の変動要因となる。
好ましくは、 取り込み手段は被写体を撮影する撮影手段を含み、 取り込み条件 は撮影手段の撮影条件を含む。 この場合、 撮影条件の調整が必要かどうかは、 被 写体の明るさや色あいなどの外的要因に依存する。 第 3タスクは任意のタイミン グで起動し、 これによつて記録処理速度が変動する。
圧縮動画像信号をメモリに一時的に格納する場合、判別処理では、好ましくは、 メモリに格納された未記録の圧縮動画像信号のサイズに基づいて記録処理速度が 判別される。
この発明に従う動画像記録装置は、 次のものを備える：動画像信号を取り込む 取り込み手段；動画像信号を所定画面数毎に圧縮して圧縮動画像信号を生成する 圧縮手段；圧縮動画像信号を記録媒体に記録する記録手段；記録手段の処理速度 を周期的に判別する判別手段；および判別手段による判別結果に基づいて圧縮手 段の圧縮率を変更する変更手段。
取り込み手段によつて取り込まれた動画像信号は、 圧縮手段によつて所定画面 数毎に圧縮される。圧縮動画像信号は、記録手段によって記録媒体に記録される。 記録手段の処理速度は判別手段によって周期的に判別され、 変更手段は、 判別手 段の判別結果に基づいて圧縮手段の圧縮率を変更する。 これによつて、 動画像の 連続記録可能時間を制御することができる。
好ましくは、 メモリと接続されたバスが、 動画像信号および圧縮動画像信号の 転送に使用される。 ズーム手段は、 選択手段によって選択された態様で動画像信 号に電子ズーム処理を施す。 選択手段によって拡大ズームが選択されたとき、 ズ ーム手段は、 メモリを用いて動画像信号の一部を抽出し、 抽出された動画像信号 に拡大ズームを施す。 したがって、 拡大ズームが選択されたときは、 動画像信号 の転送にバスが使用され、 圧縮動画像信号の転送のためのバスの占有率すなわち 記録手段の処理速度が低下する。
圧縮動画像信号をメモリに一時的に格納する場合、判別処理では、好ましくは、 メモリに格納された未記録の圧縮動画像信号のサイズに基づいて記録処理速度が 判別される。
この発明の上述の目的， その他の目的， 特徴および利点は、 図面を参照して行 う以下の実施例の詳細な説明から一層明らかとなろう。 図面の簡単な説明
図 1はこの発明の一実施例を示すブロック図であり ；
図 2は S D R AMのマツピング状態の一例を示す図解図であり ；
図 3は S D R AMのマツビング状態の他の一例を示す図解図であり ； 図 4は指示リストの構成の一例を示す図解図であり ；
図 5はアクセス情報テーブルの構成の一例を示す図解図であり；
図 6は記録媒体の構成の一例を示す図解図であり ；
図 7は空き領域テーブルの構成の一例を示す図解図であり ；
図 8は完成状態のムービファイルの構造を示す図解図であり；
図 9 (A) はインデックス情報の作成処理の一部を示す図解図であり ； 図 9 (B) はインデックス情報の作成処理の他の一部を示す図解図であり ； 図 9 (C) はインデックス情報の作成処理のその他の一部を示す図解図であ ； 図 1 0 (A)はアクセス情報テーブルの作成処理の一部を示す図解図であり； 図 1 0 (B) はアクセス情報テーブルの作成処理の他の一部を示す図解図で あり ；
図 1 0 (C) はアクセス情報テーブルの作成処理のその他の一部を示す図解 図であり ；
図 1 1 (A) はインデックス情報の作成処理の一部を示す図解図であ。り； 図 1 1 (B )はインデックス情報の作成処理の他の一部を示す図解図であり； 図 1 1 (C) はインデックス情報の作成処理のその他の一部を示す図解図で あり ；
図 1 2 (A)はアクセス情報テ一ブルの作成処理の一部を示す図解図であり； 図 1 2 (B) はアクセス情報テーブルの作成処理の他の一部を示す図解図で あり ；
図 1 2 (C) はアクセス情報テーブルの作成処理のその他の一部を示す図解 図であり ；
図 1 3は撮影処理タスクを行うときの C P Uの動作の一部を示すフロー図で あり ；
図 1 4は撮影処理タスクを行うときの C P Uの動作の他の一部を示すフロー 図であり ；
図 1 5は撮影処理タスクを行うときの C P Uの動作のその他の一部を示すフ ロー図であり ； ，
図 1 6は撮影処理タスクを行うときの C P Uの動作のさらにその他の一部を 示すフロー図であり ；
図 1 7は撮影処理タスクを行うときの C P Uの動作の他の一部を示すフロー 図であり ；
図 1 8は撮影処理タスクを行うときの C P Uの動作のその他の一部を示すフ ロー図であり ；
図 1 9は撮影処理タスクを行うときの C P Uの動作のさらにその他の一部を 示すフロ一図であり ；
図 2 0は B G処理タスクを行うときの C P Uの動作の一部を示すフロー図で あり；そして
図 21は B G処理タスクを行うときの C P Uの動作の他の一部を示すフロー 図である。 発明を実施するための最良の形態
図 1を参照して、 この実施例のディジタルビデオカメラ 10は、 イメージセン サ 12を含む。 イメージセンサ 12の前方には図示しない絞りュニットおよび光 学レンズが配置されており、 被写体の光学像は、 これらの部材を経て、 イメージ センサ 12に照射される。
モード切換スィッチ 62によって撮影モードが選択されると、 対応する状態信 号がシステムコントローラ 56から CPU 52に与えられる。 CPU 52は I T RONのようなマルチタスク OSを搭載したマルチタスク CPUであり、 撮影 モードでは、 撮影処理タスク、 撮影条件制御タスク、 BG (Back Ground) 処理 タスクなどの複数の夕スクが並列して実行される。具体的には、各々のタスクは、 予め設定された優先順位に従って、 力 後述する垂直同期信号に応答して、 時分 割で実行される。
撮影処理タスクでは、 オペレータはメニューキ一60の操作によって複数の撮 影モードから所望の撮影モードを選択できる。 撮影画像の解像度およびフレーム レートならびに取込音声の音響方式， ビットレートおよびサンプリングレートの いずれかが、 各撮影モードにおいて異なる。 所望の撮影モードが選択されると、 対応する情報信号がシステムコントローラ 56から CPU 52に与えられる。 C PU52は、 選択された撮影モードを示す撮影モード情報 (解像度, フレームレ ート， 音響方式， ビットレート， サンプリングレート） と、 これから作成するム ービファイルのファイル名とをレジスタ r g s tに格納する。
CPU52はまた、 撮影モード情報が示す解像度およびフレームレートでの撮 影をタイミングジェネレータ （TG) 14に命令する。 TG14は、 シグナルジ エネレ一タ （SG) 16から出力される垂直同期信号および水平同期信号に基づ いて所望の撮影モ一ド （解像度， フレームレート） に従うタイミング信号を生成 し、 イメージセンサ 12をラスタスキャン方式で駆動する。 イメージセンサ 12 からは、 所望の解像度を持つ生画像信号 （電荷） が所望のフレームレートで出力 され、 出力された生画像信号は、 CDSZAGC回路 18および AZD変換器 2 0を経て、 デイジタリレ信号である生画像データとして信号処理回路 22に入力さ れる。
設定されたズーム倍率が " 1. 0" のとき、 信号処理回路 22は、 A/D変換 器 20から入力された生画像データに白バランス調整， 色分離， YUV変換など の一連の信号処理を施して 1. 0倍の YUVデータを生成する。 設定されたズー ム倍率が " 1. 0"未満のとき、 AZD変換器 20から入力された生画像データ は、 まずズーム回路 22 aによって縮小ズームを施され、 縮小ズームの後に上述 の一連の信号処理が実行される。かかる処理によって生成された YUVデータは、 バス B 1およびメモリ制御回路 26を介して SDRAM 26に格納される。
一方、 設定されたズーム倍率が "1. 0" よりも大きいとき、 つまり拡大ズー ム処理が必要なとき、 ズーム回路 22 aは、 まず AZD変換機器 20から入力さ れた生画像データをバス B 1およびメモリ制御回路 24を通して SDRAM26 に一旦書き込む。 ズーム回路 22 aは続いて、 拡大ズーム処理に必要な一部のェ リアの生画像データをバス B 1およびメモリ制御回路 24を通して読み出し、 読 み出された一部のエリァの生画像データに拡大ズームを施す。 拡大された生画像 データは、 上述の一連の信号処理によって YUVデータに変換される。 これによ つて、 "1. 0"よりも大きい倍率の YUVデータが生成される。生成された YU Vデータは、 バス B 1およびメモリ制御回路 26を介して SDRAM 26に格納 される。
ビデオエンコーダ 28は、 バス B 1およびメモリ制御回路 24を通して SDR AM 26から YUVデータを読み出し、 読み出した YUVデ一夕をコンポジット 画像信号にエンコードする。 エンコードされたコンポジット画像信号はモニタ 3
0に与えられ、 この結果、 被写体のリアルタイム動画像 （スルー画像） がモニタ
30に表示される。
撮影条件制御タスクでは、 CPU52は、 絞り量， 露光時間， 白バランス調整 ゲイン， 電子ズーム倍率などの撮影条件を制御する。 具体的には、 被写体の明る さに応じて絞り量または露光時間を調整し、 被写体の色に応じて白バランス調整 ゲインを補正し、 そしてズームキ一64の操作状態を示す状態信号の変動に応じ て電子ズーム倍率を調整する。 この結果、 スルー画像の明るさおよび色あいの変 動が防止され、 ズ一ムキー 64の操作に応答してスルー画像のズーム倍率が変化 する。
なお、 ズームキー 64によって "1. 0" よりも大きなズーム倍率が選択され たとき、 上述のような生画像データを SDRAM 26に一旦格納する処理が実行 される。
オペレー夕によってシャツ夕ポタン 58が押され、 対応する状態信号がシステ ムコントローラ 56から与えられると、 CPU52は、 撮影された動画像を格納 したムービファイルを記録媒体 50に作成する。 ここで、 記録媒体 50は着脱自 在の記録媒体であり、 スロット 48に装着されたときに IZF 46によってァク セス可能となる。 記録媒体 50には CPU50 a， バッファメモリ 50 bおよび ハードディスク 50 cが設けられ、 ハードディスク 50 cには図 6に示すように FAT領域 501 c, ルートディレクトリ領域 502 cおよびデータ領域 503 c力 S形成される。 デ一夕領域 503 cへのデ一夕書き込みは、 バッファメモリ 5 0 bを介して所定量ずつ行われる。
動画像の記録時、 CPU52は、 BG処理タスクを起動する。 このとき、 撮影 処理タスクと B G処理タスクとの間で処理が円滑に行なれるように、 図 4に示す ような指示リスト 52 aが作成される。
指示リスト 52 aには、 まず " BG処理開始"， "ファイル作成"， "テーブル作 成"および "ファイルオープン" の各々に対応するコマンドおよびパラメ一夕が 設定される。 "BG処理開始" によって BG処理タスクが開始され、 "ファイル作 成" によってム一ビファイルのファイル名と "0" を示すサイズ情報とが図 6に 示すルートディレクトリ領域 502 cに書き込まれる。 "テーブル作成"では、図 7に示すような空き領域テーブル 52 cが作成される。 図 7によれば、 データ領 域 503 cに形成された各々の空き領域の先頭アドレスおよび空きサイズが、 サ ィズが大きい順に設定される。 "ファイルオープン"では、データを書き込むムー ビファイルを特定するためのハンドル番号が作成される。
こうしてデータ書き込みの準備が完了すると、 CPU52は、 ム一ビファイル ヘッダを作成すべく、 次の 1フレーム期間においてサムネイル画像の取り込み処 理およびヘッダ情報の作成処理を行う。 まず、 信号処理回路 22に間引き処理を 命令し、 J PEGコ一デック 32に圧縮処理を命令する。 信号処理回路 22は、 上述の YUV変換に加えて間引き処理を行い、 これによつて生成されたサムネィ ル YUVデータをバス B 1およびメモリ制御回路 24を通して SDRAM 26に 書き込む。 J PEGコーデック 32は、 バス B 1およびメモリ制御回路 24を通 して SDRAM26からサムネイル YUVデータを読み出し、 読み出されたサム ネイル YUVデータに J PEG圧縮を施す。 J PEGコーデック 32はその後、 J PEG圧縮によって生成されたサムネイル画像の J PEG生データ R t hをバ ス B 1およびメモリ制御回路 24を通して SDRAM26に書き込む。
CPU46はまた、 サムネイル画像の J PEGヘッダ H t hを自ら作成し、 作 成した J PEGヘッダ H t hをバス B 1およびメモリ制御回路 24を通して SD RAM26に書き込む。 CPU46はさらに、 上述の撮影モード情報を含むへッ ダ情報 H i n f を自ら作成し、 作成したヘッダ情報 H i n f をバス B 1およびメ モリ制御回路 24を通して SDRAM 26に書き込む。 これによつて、 J PEG 生データ R t h， J P E Gヘッダ H t hおよびへッダ情報 H i n fが、 図 2に示 すように SDRAM26にマッピングされる。
指示リスト 52 aには、 "ファイル書き込み"が設定される。 この "ファイル書 き込み" が BG処理によって実行されることで、 】？£0生データ尺 1： ] , J P EGヘッダ H t hおよびヘッダ情報 H i n fが SDRAM26から読み出され、 バス B 1および IZF回路 46を介して記録媒体 50に与えられる。 これによつ て、 図 7に示すムービファイルヘッダが図 6に示すデータ領域 503 cに作成さ れる。 なお、 J PEGヘッダ H t hおよび J PEG生データ R t hによって、 図 7に示す J PEGデータ THが形成される。
ムービファイルヘッダの作成が完了すると、 CPU52は、 垂直同期信号が発 生する毎に画像取り込み処理および音声取り込み処理を行う。
画像取り込み処理では、 自ら作成した J PEGヘッダをバス B 1およびメモリ 制御回路 24を通.して SDRAM 26に書き込むとともに、 J PEGコ一デック 32に圧縮命令を与える。 J P E Gコーデック 32は、 圧縮命令が与えられたと き、 現フレームの YUVデ一タをバス B 1およびメモリ制御回路 24を通して S - DRAM 26から読み出し、 読み出された YUVデータを目標サイズまで圧縮す る。 圧縮処理によって現フレームの J PEG生データが生成されると、 J PEG コ一デック 32は、 この J PEG生データをバス B 1およびメモリ制御回路 24 を通して SDRAM 26に書き込む。
ここで、 J PEG圧縮時の目標サイズは記録媒体 50への記録状況に応じて変 更される。 つまり、 記録処理速度が遅いと、 ボトルネックによって処理が破綻す る可能性があるため、 記録媒体 50の記録状況が周期的に検出され、 検出結果に 応じて J P EG圧縮時の目標サイズが変更される。 この目標サイズ変更処理につ いては、 後段で詳しく説明する。
音声取り込み処理では、 信号処理回路 38に処理命令を与える。 信号処理回路 38は、 処理命令が与えられたとき、 SRAM38 aに蓄積された 1フレーム相 当の音声データをパス B 1およびメモリ制御回路 38 aを通して SDRAM26 に書き込む。 このような画像取り込み処理および音声取り込み処理が 1フレーム 期間毎に行なわれた結果、 各フレームの J P E Gヘッダ， J P E G生データおよ び音声データは、 図 2に示すように SDRAM 26にマッピングされる。
なお、 図 2において J PEGヘッダおよび J PEG生データには 1フレーム毎 に連続番号 0, 1， 2, …が付されるが、 音声データには 3フレーム毎に連続番 号 0， 1， 2， …が付される。 また、 同じ番号が付された J PEGヘッダおよび J PEG生データによって 1フレーム分の J PEGデータが形成され、 各フレー ムの J PEGデータの先頭および末尾には、 図 8に示すようにマ一力 SO I (Start Of Image) および E〇 I (End Of Image) が割り当てられる。
CPU52はまた、 1フレーム期間が経過する毎に J PE G生デ一夕のァクセ ス情報， J PEGヘッダのアクセス情報および J PEGデータのインデックス情 報を作成し、 3フレーム期間が経過する毎に音声データのアクセス情報および音 声データのインデックス情報を作成する。
J PEG生デ一夕のアクセス情報は、 各フレームのデ一夕サイズと SDRAM 26における先頭アドレスとからなり、 J PEGヘッダのアクセス情報もまた、 各フレームのデータサイズと S D R AM 26における先頭ァドレスとからなる。 J PEGデ一夕のインデックス情報は、 各フレームのデータサイズと記録媒体 5 0に書き込まれたときのムービフアイルの先頭からの距離とからなる。
また、 音声データのアクセス情報は、 3フレーム相当のデータサイズと SDR AM26における先頭アドレスとからなり、 音声デ一夕のインデックス情報は、 3フレーム相当のデータサイズと記録媒体 50に書き込まれたときのムービファ ィルの先頭からの g巨離とからなる。
アクセス情報は図 5に示すアクセス情報テーブル 52 bに作成され、 インデッ クス情報は図 3に示す要領で SDRAM26に作成される。 図 5によれば、 3フ レーム分の J PEG生データの SDRAMアドレスおよびデータサイズと、 3フ レーム分の J PEGヘッダの SDR AMアドレスおよびデータサイズと、 3フレ ーム相当の音声データの SDRAMアドレスおよびデータサイズとが、 互いに関 連付けられる。 また、 図 3によれば、 3フレーム相当の音声データの位置情報お よびサイズ情報と 3フレーム分の J P E Gデータの位置情報およびサイズ情報と が、 SDRAM26に交互にマッピングされる。
なお、 音声信号のサンプリング周波数には、 ハードウェアによる実際の処理と ソフトウェアの計算との間でずれが生じる場合がある。 この実施例では、 このず れを補償するべく、 J PEGデータのインデックス情報およびアクセス情報に間 引きノ補間が施される。 この間引き/補間処理については、 後段で詳しく説明す る。
CPU 52は、 3フレーム相当の音声データと 3フレームの J PEGデータと を記録媒体 50に書き込むべく、 上述のアクセス情報に基づいて "ファイル書き 込み" を指示リスト 52 aに設定する。 BG処理によってこの "ファイル書き込 み"が実行されることで、 3フレーム相当の音声データと 3フレームの J PEG データとが SDRAM26から読み出され、 バス B 1および IZF回路 46を介 して記録媒体 50に与えられる。 記録媒体 50のデータ領域 503 cには、 3フ レーム相当の音声データからなる音声チヤンクと 3フレームの J P E Gデータか らなる画像チャンクとが記録される。 図 8に示すように、 音声チャンクおよび画 像チャンクは、 ムービファイル上に交互にマッピングされる。
シャツ夕ポタン 58が再度押されると、 CPU52は、 画像取り込みおよび音 声取り込みを中止し、 図 3に示す要領で S D RAM 26に作成されたィンデック ス情報を記録媒体 50に記録するべく "ファイル書き込み" を指示リスト 52 a に設定する。 BG処理タスクによってこの "ファイル書き込み" が実行されるこ とで、 インデックス情報が SDRAM26から読み出され、 バス B 1および IZ F回路 46を介して記録媒体 50に与えられる。 この結果、 図 8に示すインデッ クスチャンクがム一ビファイルの末尾に形成される。インデックスチャンクでは、 音声デ一夕のファイル上の位置およびサイズは 3フレームに相当する時間毎に管 理され、 J PEGデータのファイル上の位置およびサイズは 1フレ一ム毎に管理 される。
インデックスチャンクの作成が完了すると、 CPU52は、 今回作成されたム —ビファイルのトータルサイズ値を算出し、 算出したトータルサイズ値をムービ ファイルヘッダに書き込むべく "ファイル書き込み" を指示リスト 52 aに設定 する。 このファイル書き込みが BG処理タスクによって実行されることでトー夕 ルサイズ値がムーピファイルヘッダのヘッダ情報 H i η ίに追加され、 これによ つて QuickTime規格を満足するム一ビファイルの作成力 ^完了する。
CPU52は続いて、 "ファイルクローズ"および" BG処理終了"を指示リス ト 52 aに設定する。 "ファイルクローズ"が BG処理によって実行されると、ル —トディレクトリ領域 502 cに書き込まれたサイズ情報と FAT領域 501 c に書き込まれた FAT情報とが更新される。 具体的には、 今回作成されたム一ビ ファイルのファイル名がディレクトリエントリから検出され、 検出されたフアイ ル名に割り当てられたサイズ情報が "0"からトータルサイズ値に更新される。 また、 今回作成されたムービファイルの書き込み領域 （クラスタ） にリンクが形 成されるように FAT情報が更新される。 BG処理は、 "BG処理終了"によって 終了される。
モード切換スィッチ 62によって再生モードが選択され、 かつメニューキー 6 0によって所望のム一ピファイルが選択されると、 対応する状態信号がシステム コントローラ 56に与えられる。 CPU 52は、 選択されたムービファイルを記 録媒体 50から検出し、 検出したム一ビファイル内の音声データおよび J PEG データを再生する。 このとき、 再生順序は、 ムービファイル内のインデックス情 報に従う。
図 3に示す要領で作成されたィンデックス情報がムービファイルに存在する場 合、音声デ一夕および J PEGデ一夕は、音声データ 0, J PEGデータ 0〜2, 音声データ 1， j p E Gデータ 3〜 5，…の順で記録媒体 50から読み出される。 読み出された音声データおよび J PEGデータは、 まずメモリ制御回路 24によ つて SDRAM26に格納される。 CPU52は、 J P E Gデータのインデック ス情報に従う順序で J PEGコーデック 32に伸長命令を与え、 音声データのィ ンデックス情報に従う順序で信号処理回路 40に処理命令を与える。
J PEGコーデック 32は、 所望フレームの J PEGデータを形成する J PE G生データをバス B 1およびメモリ制御回路 24を通して SDR AM 26から読 み出し、 読み出された J PEG生データに J PEG伸長を施す。 J PEG伸長に よって生成された YUVデータは、 バス B 1およびメモリ制御回路 24を通して SDRAM 26に格納され、 その後バス B 1およびメモリ制御回路 24を通して ビデオエンコーダ 28に与えられる。 この結果、 対応する再生画像がモニタ 30 に表示される。
信号処理回路 40は、 所望の 3フレームに相当する音声データをバス B 1およ びメモリ制御回路 24を通して SDRAM 26から読み出し、 読み出された音声 データを SRAM 40 aに蓄積する。 SRAM 40 aに蓄積された音声データは その後 D/A変換機 42によってアナログ音声信号に変換され、 変換された音声 信号がスピー力 44から出力される。
このような処理が繰り返されることで、 再生動画像がモニタ 30に表示され、 この再生動画像に同期する音声信号がスピー力 44から出力される。
撮影モードが選択されたとき、 CPU52は、 ROM 54に記憶された制御プ ログラムに従って、 図 13〜図 19に示す撮影処理タスクと図 20〜図 21に示 す B G処理タスクとを実行する。
まず図 13を参照して、 ステップ S 1では撮影モード決定処理を行う。 具体的 には、 複数の撮影モードを示すメニューをモニタ 30に表示し、 メニュ一キー 5 2の操作に応答して所望の撮影モードを決定する。 撮影モ一ドが決定されるとス テツプ S 3に進み、 決定された撮影モードを示す撮影モード情報を作成する。 設 定情報は、 たとえば "解像度： VGA", "フレームレート： 30 f p s"， "音響 方式：モノラル"， "ビットレ一ト： 8ビット"， "サンプリングレート： 8040 Hz" とされる。 ステップ S 5では、 今回の撮影処理によって作成するムービフ アイルのファイル名を決定する。 ファイル名は、 たとえば " VCLP 0003. MOV" とされる。 作成 決定された撮影モード情報およびファイル名は、 レジ ス夕 r g s tに登録される。
ステップ S 7では、 各種変数を初期化する。 具体的には、 変数 f rmc n t , f l s z， B G― RemDa t a, r e一 f 1 s z , t一 s zおよび au d— s zの各々を" 0"に設定し、変数 t r g t— s zを最大値 MAXに設定し、 そして変数 aud s z_f p sを理論値 LGに設定する。
ここで、 変数 iおよび f rmc n tは、 いずれもフレーム番号を示す変数であ る。 変数 iは垂直同期信号に応答してインクリメントされ続け、 変数 f rmcn tは垂直同期信号に応答して "0"〜 "3" の間で循環的に更新される。 変数 ί rmc n tがとる数値" 0"〜 "3"のうち、実際に意 B未を持つのは "0"〜"2" である。 上述のように、 3フレームの J PEGデータによって 1つの画像チャン クが形成される。 変数 f rmcn tは、 注目する J P E Gデータが画像チャンク の何番目のデータであるかを特定するために使用される。
変数 f 1 s zは、 J PEG圧縮によって生成された J PEG生デ一夕のトー夕 ルサイズ値を示す変数である。 変数 BG— RemD a t aは、 "ファイル書き込 み" の指示が図 4に示す指示リスト 52 aに設定されたが未だ記録媒体 50に記 録されていない J PEG生デ一夕のサイズを示す変数である。 変数 p r e— ί 1 s zは、 記録媒体 50に既に記録された J PEG生データのトータルサイズ値を 示す変数である。
変数 t r g t— s zは、 各フレームの YUVデータを圧縮するときの目標サイ ズ値を示す変数であり、 変数 t— s zは、 この目標サイズ値の算出に使用される 変数である。
変数 a u d—s zは取り込まれた音声データのトータルサイズ値 （バイト） を 示す変数であり、 変数 aud s z— f p sは 1フレーム相当の音声デ一夕のサイ ズ値を示す変数である。 ただし、 変数 aud s z— f p sとして設定される理論 値 LGは、 ソフトウェア計算上のサンプリングレートに基づいて決定された 1フ レーム相当の音声デ一夕のサイズ値である。 たとえば、 決定された撮影モードの 実際のサンプリングレートが 8043Hzであれば、 ソフトウェア計算上のサン プリングレートは 804 OHzとされ、理論値 LGは 268 (=8040/30) バイトとされる。 なお、 804 OHzという数値は、 ハードウェア上でのデ一夕 転送が 1ワード （=4バイト） 単位で実行されること、 および理論値 LGを整数 で表現できることを根拠とするものである。
ステップ S 9では、 スルー画像表示を行うべく、 TG14, 信号処理回路 22 およびビデオエンコーダ 28の各々に処理命令を与える。 モニタ 30には、 被写 体のスルー画像が表示される。 スルー画像が表示されている状態でオペレータに よってシャツ夕ポタン 58が押されると、 ステップ S 11〜S 19の各々で "B G処理開始"， "ファイル作成"， "テーブル作成"および "ファイルオープン" を 図 4に示す指示リスト 52 aのリスト番号 " 0 " 〜 " 3 " に設定する。
[表 1]
Figure imgf000016_0001
表 1を参照して、 " B G処理開始"ではコマンドとして FILE— STRTが設定さ れ、 "ファイル作成" ではコマンド， パラメータ 1および 2として FILE— CREATE, ドライブ番号 （記録媒体 44を駆動するドライブの番号） およびファ ィルパスが設定される。また、 "テーブル作成"ではコマンドおよびパラメータ 1 として FILE— SET— ALLOCおよびドライブ番号が設定され、 "ファイルオーブ ン" ではコマンド， パラメータ 1および 2として FILE— OPEN, ドライブ番号 およびフアイルパスが設定される。 "フアイル作成"で設定されるフアイルパスに はサイズ情報とステップ S 25で決定されたファイル名とが含まれ、 このサイズ 情報およびファイル名がディレクトリエントリに書き込まれる。 ただし、 ム一ビ ファイルは未完成であるため、 サイズ情報は "0" を示す。
ステップ S 19の処理が完了した後、 SG16から垂直同期信号が出力される と、ステップ S 21で YESと判断し、ステップ S 23で変数 iの値を判別する。 ここで変数 iが " 1 "以上の値であればそのままステップ S 31に進むが、 変数 iが" 0"であればステップ S 25〜S 29の処理を経てステップ S 31に進む。 ステップ S 25では、 サムネイル画像の取り込み処理を行う。 具体的には、 自 ら作成した J PEGへッダH t hを SDRAM 26に書き込むとともに、 信号処 理回路 22および J PEGコーデック 32の各々に間引き処理および圧縮処理を 命令する。
信号処理回路 22は、 YUVデータの間引き処理を 1フレーム期間にわたって 行い、 これによつて生成されたサムネイル YUVデータをバス B 1およびメモリ 制御回路 24を通して SDRAM 26に書き込む。 J PEGコーデック 32は、 このサムネイル YUVデータをバス B 1およびメモリ制御回路 24を通して SD RAM 26から読み出し、 読み出されたサムネイル YUVデータに J PEG圧縮 処理を施して J PEG生デ一夕 R t hを生成し、 そして J PEG生デ一夕 R t h をバス B 1およびメモリ制御回路 24を通して SDRAM26に書き込む。 J P EGヘッダ H t hおよび J PEG生データ R t hは、 図 2に示すように SDRA M26にマッピングされる。
続くステップ S 27では、 上述の撮影モード情報 （解像度， フレームレート， 音響方式， ビットレート， サンプリングレート） を含むヘッダ情報 H i n f を作 成し、 このヘッダ情報 H i n f をパス B 1およびメモリ制御回路 24を通して S D RAM 26に書き込む。 へッダ情報 H i n fは、 図 2に示すように J P E Gへ ッダ H t hの上にマッピングされる。
こうしてムービファイルヘッダを形成するヘッダ情報 H i n f , J PEGへッ ダ H t hおよび J P EG生データ R t hが SDR AM 26に格納されると、 ステ ップ S 29で "ファイル書き込み" を図 4に示す指示リスト 52 aのリス卜番号 "4"および" 5"の欄に設定する。表 1から分かるように、 "ファイフレ書き込み" ではコマンド， パラメ一夕 1, 2， 3および 4として FILE— WRITE, ハンドル 番号（ファイルオープン処理によって獲得)， SDRAMアドレス， デ一夕サイズ およびデ一夕種別が設定される。 "ファイル書き込み"が 2つ設定されるのは、 S DRAM 26上においてヘッダ情報 H i η ίおよび J ?£&へッダ11セ hは連続 しているものの、 J PEG生デ一夕 R t hは離れた位置に格納されているからで ある。
リスト番号 "4" の欄では、 SDRAMアドレスとしてヘッダ情報 H i の 開始ァドレスが設定され、 データサイズとしてヘッダ情報 H i n fおよび J PE Gヘッダ H t hの合計サイズが設定され、 そしてデ一夕種別として "ム一ビファ ィルヘッダ" が設定される。 また、 リスト番号 "5" の欄では、 SDRAMアド レスとして J PEG生データ R t hの開始アドレスが設定され、 データサイズと して J PEG生データ R t hのサイズが設定され、 そしてデ一夕種別として "ム ービファイルヘッダ" が設定される。 この結果、 図 8に示すムービファイルへッ ダ上では、 へッダ情報 H i n f， J P E Gヘッダ H t hおよび J P E G生デ一夕 R t hがこの順で連続することとなる。 なお、 上述のように J PEGヘッダ H t hおよび J P EG生データ R t hによって、 J PEGデ一タ THが形成される。 ステップ S 31では、 J PEGコーデック 32に圧縮処理命令を与える。 この 圧縮処理命令には、 変数 t r g t— s zに従う目標サイズ値が含まれる。 J P E Gコ一デック 32は、 1フレーム分の YUVデータをパス B 1およびメモリ制御 回路 24を通して SDRAM26から読み出し、 読み出された YUVデータに圧 縮処理を施して目標サイズに近いサイズの J PEG生デ一夕を作成し、 そして生 成された J PEG生データをパス B 1およびメモリ制御回路 24を通して SDR AM 26に書き込む。 J P E G生データは、 図 2に示す要領で S D R AM 26に マッピングされる。 上述のように、 同じフレームで得られた J PEGヘッダおよ び J PEG生データによって当該フレームの J PEGデータが形成され、 この J PEGデータの先頭および末尾にはマーカ SO Iおよび E〇 Iが書き込まれる。 ステップ S 33では、 1フレームに相当する音声データの取り込み処理を行う ベく、 信号処理回路 38に処理命令を与える。 信号処理回路 38は、 AZD変換 器 36から与えられかつ SRAM 38 aに保持された 1フレーム相当の音声デー 夕を、 バス B 1およびメモリ制御回路 24を通して SDRAM 26に書き込む。 音声データは、 図 2に示す要領で SDRAM26にマッピングされる。 信号処理 回路 38はまた、 SDRAM 26に書き込んだ音声デ一夕のサイズ値つまり取り 込みサイズ値を CPU 52に返送する。 このため、 ステップ S 35では数式 1に 従う演算を実行し、返送された取り込みサイズ値を変数 a ud— s zに積算する。
[数式 1〕
a u d— s z = a u d— s z +取り込みサイズ値
数式 1の演算が完了すると、 ステップ S 37で J PEG圧縮の完了の有無を判 別する。 J PEGコーデック 32は、 ステップ S 31の圧縮命令に基づく J PE G圧縮が完了すると、 生成された J PEG生データのサイズ値つまり圧縮サイズ 値と圧縮完了信号とを CPU 46に返送する。 このため、 ステップ S 37では、 圧縮完了信号が返送されたときに YESと判断される。
ステップ S 39では、返送された圧縮サイズ値を変数 f 1 s zに加算するべぐ 数式 2の演算を実行する。
[数式 2]
f 1 s z = f 1 s z +圧縮サイズ値
ステップ S 41では、 自ら作成した J PEGヘッダをパス B 1およびメモリ制 御回路 24を通して SDRAM 26に書き込み、 続くステップ S 43では、 現フ レームの J PEGデータのインデックス情報をバス B 1およびメモリ制御回路 2 4を通して SDRAM 26に書き込む。 J P E Gヘッダは図 2に示す要領で S D RAM26にマッピングされ、 インデックス情報は図 3に示す要領で SDRAM 26にマッピングされる。
上述のように、 ム一ビファイルのインデックスチャンクでは、 J PEGデータ のファイル上の位置およびサイズは 1フレーム毎に管理される。 このため、 ステ ップ S 43では、 1フレームの J P E Gデ一夕の位置情報およびサイズ情報をィ ンデックス情報として作成する。 また、 ム一ビファイル上では 3フレーム分の J PEGデ一夕によって 1つの画像チャンクが形成される。 このため、 ステップ S 43では、 現フレームが連続する 3フレームの何番目であるかを変数 f rmc n tから特定し、 これによつてインデックス情報を SDR AM 26のどの位置に作 成するかを決定する。
ステップ S 45では、 現フレームの J PEG生データおよび J PEGヘッダの アクセス情報を図 5に示すアクセス情報テーブル 52 b内に作成する。 つまり、 SDRAM 26に存在する現フレームの J PEG生データの先頭アドレス情報お よびサイズ情報を現フレームの J PEG生データのアクセス情報として作成し、 SDRAM26に存在する現フレームの J PEGヘッダの先頭アドレス情報およ びサイズ情報を現フレームの J PEGヘッダのアクセス情報として作成する。 そ して作成した各々のアクセス情報をアクセス情報テーブル 52 bに設定された変 数 iに割り当てる。
ステップ S 45の処理が完了すると、 ステップ S 47で変数 iを現撮影モード のフレ一ムレート値 FP Sと比較する。 現撮影モードのフレームレートが 30 f p sであれば、 フレームレー卜値 F P Sは " 30 " となり、 変数 iは " 30 " と 比較される。 そして、 iく FPSであればそのままステップ S 83に進むが、 i ≥FP Sであればステップ S 49〜81の処理を経てステップ S 81に進む。 ステップ S 49では変数 f 1"111じ 11 1;カ "2"未満かどうか判断し、 YESで あれば、数式 3の条件が満たされるかどうかをステップ S 51で判断する。一方、 変数 f rmc n tが "2" 以上であれば、 数式 4の条件が満たされるかどうかを ステップ S 59で判断する。
[数式 3]
a u d― s z― (aud s z― f p s * 、i + l)) > a u d s z一 f p s [数式 4]
(aud s z― f p s * ( i + 1 )) — a u d― s z>aud s z一 f s aud— s zは、 実際に取り込まれた音声データのトータルサイズ値であり、 aud s z— f p s * (i + 1) は、 取り込み開始からのフレーム数と理論値 L Gとの掛け算値である。 数式 3および数式 4のいずれにおいても、 両数値の差分 値が理論値 LGと比較される。 そして、 差分値が理論値 LG以下である限りはそ のままステップ S 63に進むが、 差分値が理論値 LGを上回ると、 ステップ S 5 3〜S 57を経て、 あるいはステップ S 61を経て、 ステップ S 63に進む。 たとえば、 実際のサンプリングレートが 8043Hzであり、 ソフトウェア計 算上のサンプリングレートが 8040Hzであれば、両者の誤差は 3 Hzである。 すると、 1秒に相当する音声データのサイズ値に 3バイトのずれが発生する。 理 論値 LGは 268バイトであるため、 約 90秒に 1回の割合で数式 3の条件が満 たされ、 ステップ S 53〜S 57が処理される。 また、 実際のサンプリングレー トが 8034Hzでソフトウェア計算上のサンプリングレートが 8040Hzで あれば、 両者の誤差は 6Hzとなる。 このときは、 約 45秒に 1回の割合で数式 4の条件が満たされ、 ステップ S 61の処理が実行される。
ステップ S 53では、変数 iおよび f rmcn tの各々をインクリメントする。 ステップ S 55では前回と同じ画像インデックス情報つまり直前のステップ S 4 3で作成したィンデックス情報と同じィンデックス情報を S D RAM 26内に作 成し、 ステップ S 57では前回と同じアクセス情報つまり直前のステップ S 45 で作成したアクセス情報と同じアクセス情報をアクセス情報テーブル 52 b内に 作成する。 ステップ S 57の処理が完了すると、 ステップ S 63に進む。 一方、 ステップ S 61では変数 iおよび f r m c n tの各々をディクリメントし、 その 後ステップ S 63に進む。
したがって、 インデックス情報が図 9 (A) に示す要領で SDRAM 26に設 定されかつアクセス情報が図 10 (A) に示す要領でアクセス情報テーブル 52 bに設定された後に数式 3に示す条件が満たされた場合、 ステップ S 53〜S 5 7の処理によって、 同じ J PEGデータのインデックス情報が図 9 (B) に示す ように SDRAM 26に設定され、 同じ J PEGデータを形成する J PEG生デ 一夕および J PEGヘッダのアクセス情報が図 10 (B) に示すようにアクセス 情報テーブル 52 bに設定される。
図 9 (A) によれば、 J P E Gデータ Pのィンデヅクス情報が S DRAM 26 に設定されている。 この状態で、 変数 f rmc n tがインクリメントされ、 かつ 直前のステップ S 43で作成したインデックス情報が再度有効ィ匕されるため、 図 9 (B) に示すように J PEGデータ Pのインデックス情報が補間される。 J P EGデ一夕 Pのインデックス情報が補間された後は、 図 9 (C) に示すように J P E Gデータ P + 1のィンデックス情報が設定される。
図 10 (A) によれば、 J PEG生データ Pおよび J PEGヘッダ Pのァクセ ス情報が変数 i (·=Ρ) に割り当てられている。 この状態で変数 iがインクリメ ントされ、 かつ直前のステップ S 45で作成したアクセス情報が再度有効化され るため、 図 10 (B) に示すように J PEG生データ Pおよび J PEGヘッダ P のアクセス情報が変数 i (=P+ 1) に割り当てられることになる。 J PEG生 データ Pおよび J PEGヘッダ Pのアクセス情報が補間された後は、図 10 (C) に示すように J PEG生データ P + 1および J PEGヘッダ P+1のアクセス情 報が変数 i (=P + 2) に割り当てられる。
一方、 インデックス情報が図 11 (A) に示す要領で SDRAM26に設定さ れかつアクセス情報が図 12 (A) に示す要領でアクセス情報テーブル 52 に 設定された後に数式 4に示す条件が満たされた場合、 ステップ S 61の処理によ つて、 図 1 1 (B) に示すように、 インデックス情報の一部が後続のインデック ス情報によって上書きされ、 図 12 (B) に示すようにアクセス情報の一部が後 続のアクセス情報によって上書きされる。
図 11 (A) によれば、 J PEGデ一夕 Pのインデックス情報と J PEGデー 夕 P+ 1のインデックス情報とが、 SDRAM26に設定されている。 この状態 で変数 f rmc n tがデイクリメントされるため、 次回のステップ S 43の処理 によって、 図 11 (B) に示すように、 J PEGデータ P+1のインデックス情 報が J PEGデータ P + 2のインデックス情報によって上書きされる。 これによ つて、 J PEGデータ P+ 1のインデックス情報が間引かれる。 J PEGデータ P + 2のインデックス情報の次は、 図 11 (C) に示すように J PEGデータ P + 3のインデックス情報が設定される。
図 12 (A) によれば、 J PEG生データ Pおよび J PEGヘッダ Pのァクセ ス情報と J PEG生データ P+ 1および J PEGヘッダ P+ 1のアクセス情報と が、 アクセス情報テーブル 52 bに設定されている。 この状態で変数 iがデイク リメントされるため、 次回のステップ S 45の処理によって、 図 12 (B) に示 すように、 J PEG生データ P+ 1および J PEGヘッダ P+ 1のアクセス情報 が J PEG生デ一夕 P + 2および J PEGヘッダ P + 2のアクセス情報によって 上書きされる。 これによつて、 J PEGデータ P+ 1のアクセス情報が間引かれ る。 J PEG生デ一夕 P + 2および J PEGヘッダ P + 2のアクセス情報の次は、 図 12 (C) に示すように J PEG生データ P+ 3および J PEGヘッダ P + 3 のァクセス情報が設定される。
なお、 ステップ S 53で変数 iがインクリメントされることで、 次回以降のス テツプ S 51では NOとの判断が継続する。 また、 ステップ S 61で変数 iがデ イクリメントされることで、 次回以降 NOステップ S 59では NOとの判断が継 ¾ 9る。
ステップ S 63では、 変数 iをフレームレート値 FPSで割り算したときの余 り （= i %FPS) を判別する。 ここで余りが " 0" でなければ、 そのままステ ップ S 83に進むが、 余りが "0"であればステップ S 65〜S 81の処理を経 てステップ S 83に進む。 余り力 S "0" となるのは 30フレームの 1回であるた め、 ステップ S 65〜S 81の処理は 30フレームに 1回の割合で実行される。 ステップ S 65では変数 f 1 s zおよび p r e_f 1 s zに数式 5に従う演算 を施し、 ステップ S 67では数式 5によって求められた差分値△ ί 1 s zと変数 BG— RemDa t aとフレームレート値 F P Sとに数式 6に従う演算を施す。
[数式 5]
Δ f 1 s z = f 1 s z— p r e― f 1 s z
[数式 6]
t_s z = (Δ f 1 s z— BG— R emD a t a) /¥ P S
数式 5において、 変数 f 1 s zは J PEG圧縮によって得られた J PEG生デ 一夕のトータルサイズ値であり、 変数 p r e_f 1 s zは記録媒体 50に既に記 録された J PEG生デ一夕のトータルサイズ値である。 後述するように変数 p r e_f 1 s zは 30フレームに 1回に割合でしか更新されず、 数式 5に従う演算 もまた 30フレームに 1回の割合でしか更新されないため、 差分値 Δ f 1 s zは 最新の 30フレームで生成された J PEG生データのトータルサイズを示す。 数式 6において、変数 BG— RemDa t aは、 "ファイル書き込み"の指示が 指示リスト 52 aに設定されたが未だ記録媒体 50に記録されていない J PEG 生データの！ ^一タルサイズ値である。この変数 BG— Re mD a t aは、 "フアイ ル書き込み" の処理に要する時間が短いほど小さくなり、 逆に "ファイル書き込 み" の処理に要する時間が長いほど大きくなる。 差分値 Δ f 1 s zからこのよう な変数 BG— RemDa t aを引き算した引き算値は、 現時点の "ファイル書き 込み" の処理速度を反映し、 この引き算値をフレームレ一ト値 FPSで割り算し た割り算値は、 現時点の処理速度の下での変数 BG一 RemDa t aの変動量が 規定の範囲内に収まる圧縮サイズ値となる。 かかる圧縮サイズ値が、 変数 t— s zとして算出される。
ここで、 "ファイル書き込み"の処理速度の変動要因としては、 CPU50 aの 処理速度ゃバッファメモリ 50bの容量のような記録媒体 50の特性のほかに、 バス B 1の占有率や B G処理タスク以外のタスクの処理状況などが考えられる。 上述のように、 ズ一ムキー 64の操作によって "1. 0" よりも大きいズーム 倍率が選択されると、 生画像デ一夕は、 SDRAM26に一旦格納されてから信 号処理回路 22に入力される。 このとき、 生画像データは、 バス B 1を介して S DRAM26に与えられ、 バス B 1を介して信号処理回路 22に戻される。 バス B 1の占有率は生画像データの転送処理によって上昇し、 これによつて "フアイ ル書き込み" の処理速度が低下してしまう。
また、 カメラのパンニングゃチルティングによって被写体の明るさや色あいが 大きく変化すると、 撮影条件制御タスクが起動して、 絞り量， 露光時間， 白バラ ンス調整ゲインなどが調整される。 各々のタスクを同時に実行することはできな いため、 撮影条件制御タスクが起動すると、 BG処理タスクは中断され、 これに よって "ファイル書き込み" の処理速度が低下してしまう。
この実施例では、 かかる "ファイル書き込み" の処理速度の変動を考慮して、 変数 t— s zを周期的に更新するようにしている。 変数 t一 s zの更新の結果、 後述するように目標サイズ値ひいては J P E G圧縮率が更新される。
ステップ S 69では算出された変数 t__s zを変数 t r g t— s zと比較し、 t— s z<t r g t_s zであれば、 ステップ S 71で変数 t— s zを最小値 M INと比較する。 そして、 t— s z≥MI Nであればそのままステップ S 79に 進むが、 t— s zく M I Nであればステツプ S 73で変数 t— s zを最小値 M I Nに更新してからステップ S 79に進む。 一方、 ステップ S 69で t— s z≥ t r g t_s zと判断されると、 ステップ S 75で変数 t— s zを最大値 MAXと 比較する。そして、 t— s z≤MAXであればそのままステップ S 79に進むが、 t_s z>MAXであればステップ S 77で変数 t— s zを最大値 MAXに更新 してからステップ S 79に進む。 ステップ S 79では、 変数 t— s zを変数 t r g t_s zとして設定する。
数式 6によれば、 変数 BG— RemDa t aが大きいと変数 t— s zが小さく なり、 逆に変数 BG— RemD a t aが小さいと変数 t__s zが大きくなる。 し たがつて、 " t— s zく t r g t— s z "は、未記録の J P E Gデ一夕量が多いこ と、 即ち "ファイル書き込み"の処理速度が遅いことを意味する。 また、 "t_s z≥ t r g t— s z " は、 未記録の J P E Gデータ量が少ないこと、 即ち記録媒 体 50の記録特性が優れていることを意味する。
そこで、 変数 t— s zが変数 t r g t— s zを下回るときは、 より小さい目標 サイズ値 （より高い J PEG圧縮率） を次の 1秒間で有効化するべく、 変数 t— s zが変数 t r g t_s zとして設定する。 これによつて、 次回の 1秒間で生成 される J PEGデ一夕のサイズは今回の 1秒間で生成された J PEGデータより も小さくなり、 "ファイル書き込み"の処理速度の低下に起因する処理の破綻が回 避される。
一方、 変数 t— s zが変数 t r g t— s z以上であるときは、 より大きな目標 サイズ値 （より低い J PEG圧縮率） を次の 1秒間で有効化するべく、 変数 t— s zを変数 t r g t— s zに設定する。 これによつて、 次回の 1秒間で生成され る J P E Gデータのサイズは今回の 1秒間で生成された J P E Gデータよりも大 きくなり、 圧縮処理に起因する画質の劣ィヒが低減される。
ステップ S 81では、 変数： f 1 s zおよび BG— RemD a t aに数式 7の演 算を施して、 変数 p r e_f 1 s zを更新する。
[数式 7 ]
r e― f 1 s z = f 1 s z— B G― R e mD a t a
数式 7によれば、 これまでに生成された J PEG生デ一夕のト一夕ソレサイズ値 から、 未記録の J PEG生データのトータルサイズ値が引き算される。 この演算 もまた 30フレーム毎に実行されるため、 変数 p r e_f 1 s zは 30フレーム に 1回の割合で更新される。 次回つまり 30フレーム後の数式 5の演算では、 こ うして更新された変数 P r e_f 1 s zが最新の変数 f 1 s zから引き算される。 ステップ S 83では変数 ί rmc n tをインクリメントし、 続くステップ S 8 5ではインクリメントされた変数 f rmc n tの値を判別する。 そして、 変数 rmc n t力 S "1" または "2" であればそのままステップ S 95に進むが、 変 数 f rmc n tが " 3" であれば、 ステップ S 87〜S 93の処理を経てステツ プ S 95に進む。
ステップ S 87では音声デ一夕のインデックス情報を SDRAM26に書き込 む。 図 7に示すム一ビファイル上では、 3フレームに相当する時間の音声データ によって 1つの音声チャンクが形成される。 また、 インデックスチャンクでは、 音声データのファイル上の位置およびサイズは 3フレームに相当する時間毎に管 理される。 このため、 ステップ S 85では、 最新の 3フレームに相当する音声デ 一夕の位置情報およびサイズ情報を作成し、 作成したィンデックス情報を図 3に 示すように S D R AM 26に書き込む。
続くステップ S 89では音声データのアクセス情報をアクセス情報テーブル 5 2 bに書き込む。 つまり、 SDRAM 26に存在する 3フレーム相当の音声デー 夕の先頭ァドレス情報とサイズ情報とをアクセス情報として作成し、 作成したァ クセス情報をアクセス情報テーブル 52 bに書き込む。 このとき、 アクセス情報 は、 注目する 3フレームの J PEGデータのアクセス情報に関連付けられる。 ステップ S 91では、 アクセス情報テーブル 52 bに設定された 3フレーム分 の J PEG生デ一夕と、 3フレーム分の J PEGヘッダのアクセス情報と、 3フ レーム相当の音声データのアクセス情報とを参照して、 "ファイル書き込み"を図 4に示す指示リスト 52 aに設定する。 図 2に示すように、 3フレーム相当の音 声データは SDRAM 26上で連続するが、 3フレームの J PEG生データおよ び J PEGヘッダは SDRAM26上で離散的に分布する。 このため、 ステップ S 91では、合計 7つ分の"ファイル書き込み"を指示リスト 52 aに設定する。 この 7つの "ファイル書き込み" のうち 1番目に設定される "ファイル書き込 み" では、 SDRAMアドレスは注目する 3フレーム相当の音声データの開始ァ ドレスを示し、 データサイズは注目する 3フレーム相当の音声データのサイズを 示し、 そしてデ一夕種別は音声チャンクを示す。 ここで、 開始アドレスおよびデ —夕サイズは、 ステップ S 87で作成されたアクセス情報を形成する SDRAM ァドレスおよびデータサイズに等しい。
2番目， 4番目および 6番目に設定される "ファイル書き込み" では、 SDR AMアドレスは注目する 3フレームの J PEGヘッダの開始アドレスを示し、 デ 一夕サイズは注目する 3フレームの J PEGヘッダのサイズを示し、 そしてデー 夕種別は J PEGヘッダを示す。 ここで、 開始アドレスおよびデータサイズは、 ステップ S 45または S 57で作成された最新 3フレームの J PEGヘッダのァ クセス情報を形成する S D RAMアドレスおよびデータサイズに等しい。
3番目， 5番目および 7番目に設定される "ファイル書き込み" では、 SDR AMアドレスは注目する 3フレームの J PEG生データの開始アドレスを示し、 データサイズは注目する 3フレームの J PEG生データのサイズを示し、 そして データ種別は J PEG生データを示す。 ここで、 開始アドレスおよびデータサイ ズは、 ステップ S 45または S 57で作成された最新 3フレームの J PEG生デ —夕のアクセス情報を形成する S D R AMァドレスおよびデータサイズに等しい。 このような指示リスト 52 aの指示が BG処理タスクで実行されることで、 3 フレーム相当の音声データと 3フレ一ムの J P E Gデータとがメモリ制御回路 2 4によって SDRAM26から読み出され、 バス B 1および I /F回路 46を通 して記録媒体 50に与えられる。 この結果、 音声チャンクおよび画像チャンクが 図 8に示すムービファイル上で交互に分布することになる。
ステップ S 93では、 ステップ S 91で指示リス卜 52 aに設定した 3フレー ムの J PEG生データのサイズ値を変数 BG— R emD a t aに加算するべく、 数式 8の演算を実行する。
[数式 8]
BG— RemDa t a = BG_RemDa t a+ J PEG生データサイズ値 ステップ S 95ではフレーム番号 iをインクリメントし、 続くステップ S 97 ではシャツ夕ポタン 58の操作の有無を判別する。 シャツ夕ポタン 58が押され ない限りステップ S 21〜S 95の処理を繰り返し、 各フレームで生成された J PEGヘッダ， J PEG生データおよび音声データは、 SDRAM26に図 2に 示す要領でマッビングされる。
シャツタポタン 58が押されるとステップ S 99に進み、 変数 f rmc n tの 値を判別する。 ここで変数 f rmcn tが " 3" であればそのままステップ S 1 03に進むが、 変数 f rmc n t力 "1" または "2" であればステップ S 10 1で "ファイル書き込み" を指示リスト 52 aに設定してからステップ S 103 に進む。
変数 rmcn tが "1" の場合、 最後の音声チャンクおよび画像チャンクは 1フレーム分の音声データおよび J PEGデータによって形成され、 指示リスト 52 aには合計 3つの "ファイル書き込み" が設定される。 変数 f rmcn tが
"2" の場合、 最後の音声チャンクおよび画像チャンクは 2フレーム分の音声デ —夕および J PEGデ一夕によって形成され、 指示リスト 52 aには合計 5つの
"ファイル書き込み" が設定される。 これによつて、 1フレーム分または 2フレ —ム分の音声データからなる音声チャンクと、 1フレームまたは 2フレームの J P E Gデ一夕からなる画像チヤンクとが、 ムービファイルに形成される。
ステップ S 103では、 図 3に示すインデックス情報をムービファイルに書き 込むべく、 "ファイル書き込み"を指示リスト 52 aに設定する。 ここで設定され る S D R AMァドレスおよびデ一タサイズは、 図 3に示すィンデックス情報の開 始アドレスおよび合計サイズを示し、データ種別はム一ビファイルヘッダを示す。 BG処理によってこの "ファイル書き込み" が実行されることで、 図 3に示す全 てのインデックス情報を含むィンデックスチャンクがム一ビファイルの末尾に形 成される。
ステップ S 105では、 インデックス情報に含まれるサイズ情報に基づいてム ービファイルのトータルサイズを算出し、 算出されたトータルサイズデータを S DRAM 26に書き込む。続くステップ S 107〜S 111では、 "ファイル書き 込み"， "ファイルクローズ" および " BG処理終了" を指示リスト 52 aに設定 する。 "ファイル書き込み"で設定される S D R AMァドレスおよびデータサイズ はトータルサイズデータの先頭ァドレスおよびデータサイズを示し、 デ一夕種別 はムービファイルヘッダを示す。また、 "ファイルクローズ"では FILE— CLOSE がコマンドとして設定され、 " B G処理終了" では FILE— ENDがコマンドとし こ B殳疋 iれ 。
"ファイル書き込み" が BG処理によって実行されることで、 トータルサイズ 値がム一ビファイルヘッダのサイズ情報に追加される。 また、 "ファイルクロー ズ" が BG処理によって実行されることで、 ディレクトリエントリのサイズ情報 (ステップ S 15の処理に基づいて書き込まれたサイズ情報） が "0" からトー タルサイズ値に更新され、 かつ今回作成されたム一ビファイルの書き込み領域に リンクが形成されるように FAT領域 501 cの FAT情報が更新される。 BG 処理は、 "BG処理終了" によって終了する。
なお、 トータルサイズ値をムービファイルヘッダに書き込むためには、 書き込 み先アドレスを更新する必要があり、 実際には、 ステップ S 105の "ファイル 書き込み" の設定に先立って "シーク処理" が指示リスト 52 aに設定される。
BG処理タスクは、 図 20〜図 21に示すフロー図に従う。 まずステップ S 1 21で読み出し先のリスト番号 Lを " 0" に設定し、 続くステップ S 123では リスト番号 Lから読み出されたコマンドが FILE— STRTであるかどうか判断す る。 ここで YESであれば、 ステップ S 125でリスト番号 Lをインクリメント し、 インクリメント後のリスト番号 Lから読み出されたコマンドの内容をステツ プ S 127， S 131, S 135, S 139, S 147の各々で判別する。 読み出されたコマンドが FILE— CREATEであればステップ S 127で YES と判断し、 ステップ S 129でファイル作成処理を行う。 具体的には、 パラメ一 夕 1に設定されたドライブ番号によって記録媒体 50を特定し、 パラメータ 2に 設定されたファイルパスに基づいて記録媒体 50のディレクトリエントリにファ ィル名とサイズ 0を示すサイズ情報とを書き込む。 処理を終えると、 ステップ S 125に戻る。
読み出されたコマンドが FILE— SET— ALLOCであればステップ S 131で YESと判断し、 ステップ S 133でテーブル作成処理を行う。 つまり、 パラメ 一夕 1に設定されたドライブ番号によって記録媒体 50を特定し、 FAT情報を 参照して図 7に示す空き領域テ一カレ 52 cを作成する。 処理を終えると、 ステ ップ S 125に戻る。 読み出されたコマンドが FILE— OPENであればステップ S 135からステツ プ S 137に進み、 ファイルオープン処理を行う。 つまり、 パラメータ 1に設定 されたドライブ番号によって記録媒体 50を特定し、 パラメ一夕 2に設定された フアイルパスに基づいてファィルを特定し、 そしてこのフアイルに割り当てる八 ンドル番号を作成する。 作成したハンドル番号は撮影処理に用いられる。 処理を 終えると、 ステップ S 125に戻る。
読み出されたコマンドが FILE— WRITEであればステップ S 139からステ ップ S 141に進み、 ファイル書き込み処理を行う。 具体的には、 パラメ一夕 1 に設定されたハンドル番号によって書き込み先のムービファイルを特定し、 パラ メータ 2および 3に設定された S D R AMァドレスおよぴデ一夕サイズに従って 読み出し開始アドレスおよび読み出しサイズを特定する。 そして、 読み出し開始 ァドレスおよび読み出しサイズに基づいて S D R AM 26からヮ一ド単位でデー タを読み出し、 読み出したデータを書き込み先のムービファイル情報とともに記 録媒体 50の CPU 50 aに与える。
パラメ一夕 3に設定された読み出しサイズが記録媒体 50に設けられたバッフ ァメモリ 50 bよりも大きければ、 バッファメモリ 50 bが満杯となった時点で CPU 50 aから CPU 52に B U S Y信号が返送される。 ステップ S 141の 処理は、 BUSY信号に応答して中断される。 ノ ッファメモリ 50 bからハード ディスク 50 cへのデータ転送によってバッファメモリ 50 bに十分な空き容量 が確保されると、 CPU 50 aから CPU 52に R E AD Y信号が返送される。 ステップ S 141の処理は、 この READY信号に応答して再開される。
パラメ一夕 3に設定された読み出しサイズに相当するデータの記録媒体 50へ の転送が完了すると、 この読み出しサイズを積算するとともに、 1クラス夕分の 書き込みが完了する毎に書込クラスタのリンク状態を示す FAT情報を作成する。 データサイズの積算値および FAT情報は、 SDRAM26に保持される。
ステップ S 143では、 パラメ一夕 4に設定されたデ一夕種別を判別する。 こ こでデータ種別が " J PEG生デ一夕" でなければそのままステップ S 125に 戻るが、 データ種別が " J PEG生デ一夕"であれば、 ステップ S 145で数式 9に従う演算を実行してからステップ S 125に戻る。 [数式 9]
BG— RemDa t a = BG_RemD a t a— J PEG生データサイズ値 数式 9によれば、 パラメ一夕 3に設定されたデータサイズが、 変数 BG— Re mD a t aから引き算される。 これによつて、 変数 BG— R emD a t aが、 指 示リスト 52 aに設定されたが未だ記録媒体 50に記録されていない J PEG生 データのサイズを示すこととなる。
読み出されたコマンドが FILE— CLOSEであればステップ S 147からステ ップ S 149に進み、 ファイルクローズ処理を行う。 具体的には、 オープンして いるム一ビフアイルのファイル名に割り当てられたサイズ情報を S D R AM 26 に保持されたトータルサイズ値によって更新し、 SDRAM 26によって保持さ れた FAT情報によって FAT領域 501 cの FAT情報を更新する。 処理が完 了すると、 ステップ S 125に戻る。
読み出されたコマンドが FILE— ENDであれば、ステップ S 147で N〇と判 断し、 ステップ S 121に戻る。 BG処理は待機状態に移行する。
以上の説明から分かるように、 動画像を形成する複数フレームの YUVデータ は、 マルチタスク OSを搭載した CPU52の制御の下、 圧縮状態で記録媒体 5 0に記録される。 ここで、 CPU 52によって実行される複数のタスクは、 複数 フレームの YUVデータの圧縮処理に関与する撮影処理タスク、 および複数フレ ームの J PEGデータの記録処理に関与する BG処理タスクを含む。 さらに、 撮 影処理タスクは、 J PEGデータの記録処理速度を周期的に判別する判別処理
(S63)、およびその判別結果に基づいて YUVデータの圧縮率を変更する変更処 理 （S79) を含む。
マルチタスク OSでは、 複数のタスクの各々は時分割でしか実行されない。 す ると、 各々のタスクの負荷変動によって、 J PEGデータの記録処理速度が変動 する。 また、 ズーム回路 22 aは、 ズームキー 64によって拡大ズームが選択さ れたとき、 生画像データをバス B 1およびメモリ制御回路 24を通して SDRA M26に一旦書き込み、 一部の生画像データをバス B 1およびメモリ制御回路 2 4を通して読み出し、 そして読み出された生.画像データに拡大ズームを施す。 こ のため、 拡大ズームが選択されたときも、 バス B 1の占有率の低下に起因して記 録処理速度が低下する。 そこで、 この実施例では、 記録処理速度を周期的に判別 し、 判別結果に応じて YUVデータの圧縮率を変更する。 これによつて、 動画像 の連続記録可能時間の制御が可能となる。
なお、 この実施例では、 J P E G方式で画像圧縮を行うようにしているが、 J P E G方式に代えて MP E G方式を採用し、 目標サイズ値を G O P単位で更新す るようにしてもよい。
また、 この実施例では、 目標サイズ値を 3 0フレーム毎に更新するようにして いるが、 ソフトウェア計算を容易にするために、 3 2フレーム， 6 4フレーム， 1 2 8フレームのような 2のべき乗に相当するフレーム数毎に目標サイズを更新 するようにしてもよい。
さらに、 この実施例では、 フレーム数を調整するかどうかの判断に用いる閾値 を 1フレーム相当の音声データ量 （= 2 6 8バイト） に設定するようにしている が、 この閾値は、 2 6 8バイトの整数倍としてもよい。
また、 この実施例では、 記録処理を行うときに J P E Gデータのフレーム数を 調整するようにしているが、 フレーム数の調整は再生処理の際に行うようにして もよい。
さらに、 この実施例では、 アクセス情報およびインデックス情報の両方に間引 き/補間を施すようにしているが、 インデックス情報のみに基づいて J P E Gデ 一夕の再生順序を制御する場合は、 インデックス情報のみに間引き Z補間を施す ようにしてもよい。 これによつて、 アクセス情報の間引き処理に起因する J P E Gデータの欠落を防止することができる。
さらにまた、 この実施例では、 動画像信号の記録方式として F AT方式を採用 しているが、 これに代えて UD F (Universal Disk Format) 方式を採用しても よい。
さらにまた、この実施例ではディジタルビデオカメラを用いて説明しているが、 この発明は、 たとえば TV番組を録画する据え置き型のハードディスクレコーダ にも適用できることは言うまでもない。
この発明が詳細に説明され図示されたが、 それは単なる図解および一例として 用いたものであり、 限定であると解されるべきではないことは明らかであり、 こ の発明の精神および範囲は添付されたクレームの文言によってのみ限定される <

Claims

請求の範囲
1 . マルチタスク O Sを搭載したプロセサを備え、 動画像信号を圧縮状態で記 録媒体に記録する動画像記録装置において、
前記プロセサによって実行される複数のタスクは、 前記動画像信号の圧縮処理 に関与する第 1タスク、 および圧縮動画像信号の記録処理に関与する第 2タスク を含み、
前記第 1タスクは、 前記圧縮動画像信号の記録処理速度を周期的に判別する判 別処理、 および前記判別処理の判別結果に基づいて前記動画像信号の圧縮率を変 更する変更処理を含む。
2 . クレーム 1に従属する動画像記録装置であって、 前記第 2タスクは前記圧 縮動画像信号を規定量ずつ前記記録媒体に転送する転送処理を含む。
3 . クレーム 1または 2に従属する動画像記録装置であって、 前記動画像信号 を取り込み条件に従つて取り込む取り込み手段をさらに備え、 前記複数のタスク は前記取り込み条件の調整に関与する第 3タスクをさらに含む。
4. クレーム 3に従属する動画像記録装置であって、 前記取り込み手段は被写 体を撮影する撮影手段を含み、 前記取り込み条件は前記撮影手段の撮影条件を含 む。
5 . クレーム 1ないし 4のいずれかに従属する動画像記録装置であって、 前記 圧縮動画像信号を一時的に格納するメモリをさらに備え、 前記判別処理では前記 メモリに格納された未記録の圧縮動画像信号のサイズに基づいて前記記録処理速 度を判別する。
6 . 動画像記録装置であって、 次のものをさらに備える：
動画像信号を取り込む取り込み手段；
前記動画像信号を所定画面数毎に圧縮して圧縮動画像信号を生成する圧縮手 段；
前記圧縮動画像信号を記録媒体に記録する記録手段；
前記記録手段の処理速度を周期的に判別する判別手段；および
前記判別手段による判別結果に基づいて前記圧縮手段の圧縮率を変更する変更 手段。
7 . クレーム 6に従属する動画像記録装置であって、
前記動画像信号および圧縮動画像信号の転送に使用されるバス；
前記バスを通して転送された前記動画像信号および前記圧縮動画像信号を格納 するメモリ ；
前記動画像信号に電子ズーム処理を施すズーム手段；および
前記ズーム手段のズーム態様を任意に選択する選択手段をさらに備え、 前記ズーム手段は、 前記選択手段によって拡大ズームが選択されたとき、 前記 メモリを用いて前記動画像信号の一部を抽出し、 かつ抽出された動画像信号に拡 大ズームを施す。
8 . クレーム 6または 7に従属する動画像記録装置であって、 前記圧縮動画像 信号を一時的に格納するメモリをさらに備え、 前記判別手段は前記メモリに格納 された未記録の圧縮動画像信号のサイズに基づいて前記処理速度を判別する。
PCT/JP2003/011280 2002-09-10 2003-09-03 動画像記録装置 WO2004025957A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/526,900 US7609301B2 (en) 2002-09-10 2003-09-03 Motion image recording device with compression ratio control
AU2003261918A AU2003261918A1 (en) 2002-09-10 2003-09-03 Moving image recording device
EP03795289A EP1549063A4 (en) 2002-09-10 2003-09-03 DEVICE FOR RECORDING IMAGES IN MOTION

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-263769 2002-09-10
JP2002263769A JP4179831B2 (ja) 2002-09-10 2002-09-10 動画像記録装置

Publications (1)

Publication Number Publication Date
WO2004025957A1 true WO2004025957A1 (ja) 2004-03-25

Family

ID=31986469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/011280 WO2004025957A1 (ja) 2002-09-10 2003-09-03 動画像記録装置

Country Status (7)

Country Link
US (1) US7609301B2 (ja)
EP (1) EP1549063A4 (ja)
JP (1) JP4179831B2 (ja)
KR (1) KR100675468B1 (ja)
CN (1) CN100403791C (ja)
AU (1) AU2003261918A1 (ja)
WO (1) WO2004025957A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL364275A1 (en) * 2003-12-30 2005-07-11 Advanced Digital Broadcast Ltd. Method and system for recording and tracing markers in a data flow
JP2006344283A (ja) * 2005-06-08 2006-12-21 Toshiba Corp 録画再生装置及び録画再生方法
JP4720387B2 (ja) * 2005-09-07 2011-07-13 ソニー株式会社 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
US8098295B2 (en) * 2006-03-06 2012-01-17 Given Imaging Ltd. In-vivo imaging system device and method with image stream construction using a raw images
US9138656B2 (en) * 2006-06-14 2015-09-22 D-Box Technologies Inc. Control of a plurality of motion platforms in synchrony with a sequence of images
CN101335166B (zh) * 2007-06-27 2010-06-30 中国科学院电子学研究所 一种阴极用三元合金膜及制备覆膜浸渍扩散阴极的方法
US8023562B2 (en) * 2007-09-07 2011-09-20 Vanguard Software Solutions, Inc. Real-time video coding/decoding
JP2009147549A (ja) * 2007-12-12 2009-07-02 Samsung Techwin Co Ltd 動画像記録装置、動画像再生装置及びプログラム
JP2009152672A (ja) * 2007-12-18 2009-07-09 Samsung Techwin Co Ltd 記録装置、再生装置、記録方法、再生方法及びプログラム
WO2011100347A2 (en) 2010-02-09 2011-08-18 Vanguard Software Solutions, Inc. Video sequence encoding system and algorithms
CN102428705B (zh) * 2010-03-18 2014-12-24 松下电器（美国）知识产权公司 数据处理装置以及数据处理方法
US8693551B2 (en) 2011-11-16 2014-04-08 Vanguard Software Solutions, Inc. Optimal angular intra prediction for block-based video coding
US9106922B2 (en) 2012-12-19 2015-08-11 Vanguard Software Solutions, Inc. Motion estimation engine for video encoding
US20140245319A1 (en) * 2013-02-27 2014-08-28 Greenbutton Limited Method for enabling an application to run on a cloud computing system
KR102370881B1 (ko) * 2017-07-21 2022-03-07 삼성전자주식회사 이미지 데이터의 속성에 기반하여 이미지를 압축할 수 있는 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164503A (ja) * 1996-11-26 1998-06-19 Matsushita Electric Ind Co Ltd 映像処理装置及び方法
JP2000184330A (ja) * 1998-12-11 2000-06-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2000253360A (ja) * 1999-03-04 2000-09-14 Matsushita Electric Ind Co Ltd 信号記録装置
JP2001136429A (ja) * 1999-11-09 2001-05-18 Nikon Corp 電子カメラ
JP2002247509A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd カメラ装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115799A (en) * 1996-07-19 2000-09-05 Canon Kabushiki Kaisha Information processing apparatus and associated method for managing a memory using a next fit and for reducing a memory fragmentation problem
JPH11331673A (ja) 1998-05-19 1999-11-30 Sony Corp カメラ一体型レコーダ
US20020057893A1 (en) * 1998-08-11 2002-05-16 Anthony Wood Digital recording and playback
US6590607B1 (en) * 1998-08-19 2003-07-08 Hewlett-Packard Development Company, L.P. Method and apparatus for storing an uninterrupted digital video stream
JP3172500B2 (ja) * 1998-10-19 2001-06-04 三洋電機株式会社 電子カメラ
JP3433125B2 (ja) * 1999-01-27 2003-08-04 三洋電機株式会社 動画像再生装置
JP3631034B2 (ja) * 1999-02-17 2005-03-23 三洋電機株式会社 ディジタルカメラ
JP4365941B2 (ja) 1999-07-09 2009-11-18 キヤノン株式会社 符号化装置、画像処理装置、カメラ一体型画像記録装置、画像処理システム、符号化方法、及び記憶媒体
JP4616432B2 (ja) 1999-07-16 2011-01-19 富士フイルム株式会社 信号処理装置
JP2001320705A (ja) * 2000-05-09 2001-11-16 Oki Electric Ind Co Ltd 監視カメラの画像データ圧縮装置
JP2002247517A (ja) * 2001-02-14 2002-08-30 Sanyo Electric Co Ltd ディジタルカメラ
JP4226231B2 (ja) * 2001-06-13 2009-02-18 株式会社日立国際電気 映像信号処理システム
JP2002237984A (ja) 2002-01-23 2002-08-23 Sanyo Electric Co Ltd ディジタルカメラ
JP4162454B2 (ja) * 2002-09-10 2008-10-08 三洋電機株式会社 データ処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164503A (ja) * 1996-11-26 1998-06-19 Matsushita Electric Ind Co Ltd 映像処理装置及び方法
JP2000184330A (ja) * 1998-12-11 2000-06-30 Sanyo Electric Co Ltd ディジタルカメラ
JP2000253360A (ja) * 1999-03-04 2000-09-14 Matsushita Electric Ind Co Ltd 信号記録装置
JP2001136429A (ja) * 1999-11-09 2001-05-18 Nikon Corp 電子カメラ
JP2002247509A (ja) * 2001-02-21 2002-08-30 Sanyo Electric Co Ltd カメラ装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1549063A4 *

Also Published As

Publication number Publication date
JP4179831B2 (ja) 2008-11-12
KR100675468B1 (ko) 2007-01-29
US20060153539A1 (en) 2006-07-13
CN1679328A (zh) 2005-10-05
AU2003261918A1 (en) 2004-04-30
JP2004104472A (ja) 2004-04-02
EP1549063A1 (en) 2005-06-29
KR20050040942A (ko) 2005-05-03
EP1549063A4 (en) 2010-09-01
US7609301B2 (en) 2009-10-27
CN100403791C (zh) 2008-07-16

Similar Documents

Publication Publication Date Title
JP4179831B2 (ja) 動画像記録装置
JP3819669B2 (ja) ディジタルカメラ
US20060256203A1 (en) Image sensing apparatus and its control method
JP2000224535A (ja) 動画像再生装置
WO2006129868A1 (ja) 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム
WO2006101112A1 (ja) 撮影装置、情報処理装置、情報処理方法、プログラム、およびプログラム記録媒体
KR100581323B1 (ko) 데이터 처리 장치
JP3495709B2 (ja) データ記録装置
US7146052B2 (en) Image processing apparatus and surveillance camera system utilizing the same
KR100564186B1 (ko) 전자 카메라
US7509019B2 (en) Contents editing apparatus with frequency adjustment
US20030113099A1 (en) Image recording apparatus
JP4717101B2 (ja) 動画像記録装置
JP4262913B2 (ja) 画像処理装置
JP7214538B2 (ja) 撮像装置及び記録制御方法
JP7171337B2 (ja) 撮像装置、画像記録方法及びプログラム
JP2003125385A (ja) 画像処理装置
US20060023083A1 (en) Method of controlling digital photographing apparatus for efficient reproduction operation and digital photographing apparatus adopting the same
JP5269639B2 (ja) 撮像装置および通信システム
JP6332963B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2003110995A (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2003111025A (ja) 動画像記録再生装置
JP2005038179A (ja) データ処理装置
JP2003309817A (ja) 動画像再生装置
JP2006060503A (ja) 動画再生方法及び動画再生装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20038209225

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2006153539

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10526900

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003795289

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020057004167

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020057004167

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2003795289

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10526900

Country of ref document: US