WO2004025956A1 - データ処理装置 - Google Patents

データ処理装置 Download PDF

Info

Publication number
WO2004025956A1
WO2004025956A1 PCT/JP2003/011279 JP0311279W WO2004025956A1 WO 2004025956 A1 WO2004025956 A1 WO 2004025956A1 JP 0311279 W JP0311279 W JP 0311279W WO 2004025956 A1 WO2004025956 A1 WO 2004025956A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
jpeg
file
processing
variable
Prior art date
Application number
PCT/JP2003/011279
Other languages
English (en)
French (fr)
Inventor
Junya Kaku
Original Assignee
Sanyo Electric Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co., Ltd. filed Critical Sanyo Electric Co., Ltd.
Priority to KR1020047007677A priority Critical patent/KR100581323B1/ko
Priority to AU2003264380A priority patent/AU2003264380A1/en
Priority to EP03795288A priority patent/EP1549062A4/en
Priority to US10/526,897 priority patent/US7382401B2/en
Publication of WO2004025956A1 publication Critical patent/WO2004025956A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to a data processing device, and more particularly to a data processing device that is applied to, for example, a video camera and that processes audio data and still image data of a plurality of screens in parallel with each other.
  • Conventional technology is applied to, for example, a video camera and that processes audio data and still image data of a plurality of screens in parallel with each other.
  • the moving image data captured by the image sensor and the audio data captured from the microphone are recorded in parallel, and when the playback mode is selected, the video data is read from the recording medium.
  • the reproduced moving image data and audio data are subjected to reproduction processing in parallel.
  • the sampling frequency of the audio data was shifted between the actual processing by the hardware and the calculation of the software due to design reasons. Specifically, while the actual sampling frequency on the hardware was 804 Hz, the sampling frequency used for the calculation on the software was 804 Hz. For this reason, in the related art, synchronization between the moving image data and the audio data is ensured by thinning / interpolating the audio data. However, there is a problem in that when the Z interpolation is applied to the audio data overnight, audio noise is generated, which causes discomfort to the viewer. Summary of the Invention
  • a main object of the present invention is to provide a data processing device capable of ensuring synchronization between image data and audio data and preventing generation of audio noise.
  • an error between the actual processing amount and the virtual processing amount of the audio data is calculated at a predetermined cycle by the calculating means.
  • the adjusting means adjusts the number of screens in a still image based on the calculated error.
  • the number of screens of still image data is adjusted, unlike the related art in which audio data is adjusted. Therefore, synchronization between the image data and the audio data is ensured while preventing the generation of audio noise.
  • the number of screens of the processed still image data is counted by the counting means, and the actual processing amount of the audio data is integrated by the integrating means every screen period.
  • the calculating means calculates a difference value between the first integrated value obtained by integrating the virtual processing amount corresponding to one screen based on the count value by the counting means and the second integrated value obtained by the integrating means. Ask.
  • the adjustment means compares the calculated error with a virtual processing amount of audio data corresponding to an N (N: an integer of 1 or more) screen, and performs adjustment based on the comparison result.
  • the number of screens is increased when the integrated value is a numerical value for the shortage, and the number of screens is reduced when the integrated value is a numerical value for the surplus.
  • the processing procedure information is created based on the comparison result. Is used to adjust the number of screens.
  • the audio data and the still image data of a plurality of screens are recorded on the recording medium by the first recording means, and the index information of the still image data of each screen is recorded on the recording medium by the second recording means.
  • the adjustment executing means performs thinning / interpolation on the index information recorded by the second recording means based on the comparison result of the comparing means.
  • the number of screens in a still image to be reproduced can be adjusted by thinning out the index information and interpolation.
  • the virtual processing amount indicates a numerical value that approximates the actual processing amount and is suitable for software calculation.
  • FIG. 1 is a block diagram showing one embodiment of the present invention
  • FIG. 2 is an illustrative view showing one example of a matting state of SDRAM
  • FIG. 3 is an illustrative view showing another example of the mating state of the SDRAM;
  • FIG. 4 is an illustrative view showing an example of the configuration of the instruction list;
  • FIG. 5 is an illustrative view showing one example of a configuration of an access information table
  • FIG. 6 is an illustrative view showing one example of a configuration of a recording medium
  • FIG. 7 is an illustrative view showing one example of a configuration of a free space table
  • FIG. 8 is an illustrative view showing the structure of a completed movie file
  • FIG. 9 (A) is an illustrative view showing a part of the index information creating process
  • FIG. 9 (B) is an illustrative view showing another part of the index information creating process
  • FIG. 9 (C) is FIG. 4 is an illustrative view showing another portion of the creation processing of the index information
  • FIG. 10 (A) is an illustrative view showing a part of an access information table creating process
  • FIG. 10 (B) is an illustrative view showing another part of an access information table creating process
  • FIG. 10 (C) is an illustrative view showing another part of the process of creating the access information table
  • FIG. 11 (A) is an illustrative view showing a part of the index information creating process
  • FIG. 11 (B) is an illustrative view showing another part of the index information creating process
  • C) is an illustrative view showing another portion of the index information creating process
  • FIG. 12 (A) is an illustrative view showing a part of an access information table creating process
  • FIG. 12 (B) is an illustrative view showing another part of an access information table creating process
  • Figure 12 (C) is an illustrative view showing another part of the process of creating the access information table
  • FIG. 13 is a flowchart showing a part of the operation of the CPU when performing the shooting processing task
  • FIG. 14 is a flowchart showing another part of the operation of the CPU when performing the imaging process
  • Figure 15 is a flow chart showing another part of the operation of CPU when performing the imaging processing task
  • Figure 16 is a flowchart showing yet another part of the operation of the CPU when performing the imaging processing task
  • Figure 17 is a front view showing another part of the operation of the CPU when performing the shooting process
  • Figure 18 is a flow chart showing another part of the operation of CPU when performing the imaging processing task
  • Fig. 19 is a flowchart showing yet another part of the operation of the CPU when performing the imaging processing task
  • FIG. 20 is a flowchart showing a part of the operation of the CPU when performing the BG processing task.
  • FIG. 21 is a flowchart showing another part of the operation of the CPU when performing the BG processing task.
  • digital video camera 10 of this embodiment includes an image sensor 12.
  • An aperture unit and an optical lens are arranged in front of the image sensor 12, and an optical image of a subject is irradiated on the image sensor 12 via these members.
  • the CPU 52 is a multi-task CPU equipped with a multitasking S like ITRON.In the shooting mode, multiple tasks such as a shooting processing task, a shooting condition control task, and a BG (Back Ground) processing task are executed in parallel. Executed. Specifically, each task is It is executed in a time-sharing manner according to a preset priority and in response to a vertical synchronization signal described later.
  • the operator can select a desired shooting mode from a plurality of shooting modes by operating the menu key 60. Either the resolution and frame rate of the captured image, or the audio system, bit rate, and sampling rate of the captured audio are different in each shooting mode.
  • a desired photographing mode is selected, a corresponding information signal is provided from the system controller 56 to the CPU 52.
  • the CPU 52 stores the shooting mode information (resolution, frame rate, sound system, bit rate, sampling rate) indicating the selected shooting mode and the file name of the movie file to be created in the register rgst. Store.
  • the CPU 52 also instructs the timing generator (TG) 14 to shoot at the resolution and frame rate indicated by the shooting mode information.
  • the TG 14 generates a timing signal according to a desired photographing mode (resolution, frame rate) based on a vertical synchronizing signal and a horizontal synchronizing signal output from the signal generator (SG) 16, and controls the image sensor 12 to use a raster scan method.
  • a raw image signal (charge) having a desired resolution is output at a desired frame rate, and the output raw image signal passes through a CDS / AGC circuit 18 and an A / D converter 20.
  • the digital image data is input to the signal processing circuit 22 as raw image data.
  • the signal processing circuit 22 When the set zoom magnification is “1.0”, the signal processing circuit 22 performs a series of signal processing such as white balance adjustment, color separation, and YUV conversion on the raw image data input from the AZD converter 20. 1. Generate 0x YUV data. When the set zoom magnification is less than "1.0", the raw image data input from the A / D converter 20 is first subjected to the reduced zoom by the zoom circuit 22a, and after the reduced zoom, the above-described series is performed. Is performed. The YUV data generated by such processing is stored in the SDRAM 26 via the path B1 and the memory control circuit 26.
  • the zoom circuit 22a first converts the raw image data input from the A / D converter 20 into SDRAM 26 through bus B 1 and memory control circuit 24 Once. Subsequently, the zoom circuit 22a reads the raw image data of a part of the area necessary for the enlargement zoom processing through the bus B1 and the memory control circuit 24, and enlarges the raw image data of the read part of the area. Apply zoom. The enlarged raw image is converted into YUV data by the above-described series of signal processing. As a result, YUV data having a magnification larger than "1.0" is generated. The generated YUV data is stored in the SDRAM 26 via the bus B1 and the memory control circuit 26.
  • the video encoder 28 reads the YUV data from the SDRAM 26 through the bus B1 and the memory control circuit 24, and encodes the read YUV data into a composite image signal.
  • the encoded composite image signal is
  • the CPU 52 controls shooting conditions such as an aperture amount, an exposure time, a white balance adjustment gain, and an electronic zoom magnification. Specifically, the aperture amount or the exposure time is adjusted according to the brightness of the subject, the white balance adjustment gain is corrected according to the color of the subject, and the variation in the state signal indicating the operation state of the zoom key 64 is adjusted. To adjust the electronic zoom magnification. As a result, changes in the brightness and tint of the through image are prevented, and the zoom magnification of the through image changes in response to the operation of the zoom key 64.
  • the recording medium 50 is a detachable recording medium that can be accessed by the I / F 46 when the recording medium 50 is inserted into the slot 48.
  • the recording medium 50 is provided with a CPU 50a, a notch memory 50b, and a hard disk 50c.
  • the hard disk 50c has a FAT area 501c, a root directory area 502c, and a data area 503 as shown in FIG. c is formed. Data writing to the data storage area 503c is performed by a predetermined amount via the buffer memory 50b.
  • the CPU 52 When recording a moving image, the CPU 52 starts a BG processing task. At this time, an instruction list 52a as shown in FIG. 4 is created so that processing can be smoothly performed between the imaging processing task and the BG processing task.
  • the CPU 52 performs a thumbnail image capturing process and a header information creating process in the next one frame period in order to create a movie file header.
  • the signal processing circuit 22 is instructed to perform a thinning process, and the JPEG codec 32 is instructed to perform a compression process.
  • the signal processing circuit 22 performs a thinning process in addition to the above-described YUV conversion, and writes the generated thumbnail YUV data into the SDRAM 26 through the path B1 and the memory control circuit 24.
  • the JPEG codec 32 reads the thumbnail YUV data from the SDRAM 26 through the bus B1 and the memory control circuit 24, and performs JPEG compression on the read thumbnail YUV data.
  • the JPEG codec 32 then writes the JPEG raw data Rth of the thumbnail image generated by the JPEG compression to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the CPU 46 also creates the J PEG header H th of the thumbnail image by itself, and writes the created J PEG header H th to the SD RAM 26 through the bus B 1 and the memory control circuit 24.
  • the CPU 46 further creates its own header information H inf including the above-described shooting mode information, and transfers the created header information H inf to the bus B1 and the memory. Write to SDRAM 26 through memory control circuit 24.
  • the JPEG raw data Rth, the JPEG header Hth and the header information Hinf are mapped to the SDRAM 26 as shown in FIG.
  • the CPU 52 When the creation of the movie file header is completed, the CPU 52 performs an image capturing process and an audio capturing process each time a vertical synchronization signal is generated.
  • the JPEG header created by itself is written into the SDRAM 26 through the bus B1 and the memory control circuit 24, and a compression instruction is given to the JPEG codec 32.
  • the JPEG codec 32 reads the YUV data of the current frame from the SDRAM 26 through the bus B1 and the memory control circuit 24, and compresses the read YUV data to a target size.
  • the JPEG codec 32 writes the JPEG raw data to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the target size at the time of JPEG compression is changed according to the recording status on the recording medium 50.
  • the recording processing speed is slow, the processing may break down due to a bottleneck.
  • the recording status of the recording medium 50 is periodically detected, and the target size at the time of JPEG compression is changed according to the detection result. Is done. This target size change processing will be described in detail later.
  • a processing instruction is given to the signal processing circuit 38.
  • the signal processing circuit 38 writes the audio data corresponding to one frame stored in the SRAM 38a to the SDRAM 26 through the bus B1 and the memory control circuit 38a.
  • This kind of image capture processing and audio capture processing is one frame
  • the JPEG header, JPEG raw data and audio data of each frame are mapped to the SDRAM 26 as shown in FIG.
  • serial numbers 0, 1, 2,... are assigned to the JPEG header and JPEG raw data for each frame, while the serial numbers 0, 1, 2 are assigned to the audio data every 3 frames. ,... Are attached.
  • JPEG data for one frame is formed by the JPEG header and JPEG raw data with the same number, and the start and end of the JPEG data of each frame are shown in Fig. 8. Thus, markers SOI (Start Of Image) and EOI (End Of Image) are allocated.
  • the CPU 52 also creates JPEG raw data access information, JPEG header access information and JPEG data index information every time one frame period elapses, and generates audio data every three frame periods elapses. Create access information and voice data index information.
  • the access information of the JPEG raw data includes the data size of each frame and the start address in the SDRAM 26.
  • the access information of the JPEG header also includes the data size of each frame and the start address in the SDRAM 26.
  • the index information of the JPEG data includes the data size of each frame and the distance from the beginning of the movie file when written to the recording medium 50.
  • the access information of the audio data is composed of a data size equivalent to three frames and a start address in the SDRAM 26, and the index information of the audio data is composed of a data size equivalent to three frames and a movie file when written to the recording medium 50. Distance from the beginning of the file.
  • the access information is created in the access information table 52b shown in FIG. 5, and the index information is created in the SDRAM 26 in the manner shown in FIG.
  • the SDRAM address and data size of the JPEG raw data for three frames the SDRAM address and data size of the JPEG header for three frames, and the SDRAM address of audio data equivalent to three frames And data size are associated with each other.
  • position information and size information of audio data corresponding to three frames and position information and size information of JPEG data for three frames are alternately mapped to the SDRAM 26.
  • the sampling frequency of the audio signal may deviate between the actual processing by hardware and the calculation by software.
  • thinning out Z interpolation is performed on the index information and access information of the JPEG data. This decimation / interpolation processing will be described later in detail.
  • the CPU 52 sets “write file” in the instruction list 52a based on the access information described above so as to write audio data equivalent to three frames and JPEG data of three frames into the recording medium 50.
  • audio data equivalent to three frames and JPEG data of three frames are read out from the SDRAM 26 and transmitted via the bus B 1 and the IZF circuit 46. And given to the recording medium 50.
  • a data area 503c of the recording medium 50 an audio chunk composed of audio data equivalent to three frames and an image chunk composed of three frames of JPEG data are recorded. As shown in FIG. 8, audio chunks and image chunks are mapped alternately on a movie file.
  • the CPU 52 stops the image capture and the voice capture, and “writes the file” in order to record the index information created in the SDRAM 26 in the manner shown in FIG. Is set to the instruction list 52a.
  • the index information is read out from the SDRAM 26 and given to the recording medium 50 via the bus B 1 and the I / F circuit 46.
  • the index chunk shown in Fig. 8 is formed at the end of the movie file.
  • the position and size of audio data on a file are managed every time corresponding to three frames, and the position and size of JPEG data on a file are managed for each frame.
  • the CPU 52 calculates the total size value of the copy file created this time and instructs “write file” to write the calculated total size value to the copy file header. Set to. This file writing is executed by the BG processing task, so that the total size value is added to the header information H inf of the movie file header. This completes the creation of a copy file that satisfies the QuickTime standard.
  • the CPU 52 sets “file close” and “BG processing end” in the instruction list 52a.
  • the size information written in the root directory area 502c and the FAT information written in the FAT area 501c are updated. Specifically, the file name of the movie file created this time is detected from the directory entry, and the size information assigned to the detected file name is updated from "0" to the total size value. Also, the FAT information is updated so that a link is formed in the write area (cluster) of the movie file created this time.
  • the BG processing is ended by "BG processing end".
  • the playback mode When the playback mode is selected by the mode switching switch 62 and the desired movie file is selected by the menu key 60, a corresponding status signal is given to the system controller 56.
  • the CPU 52 detects the selected movie file from the recording medium 50, and reproduces the audio data and the JPEG data in the detected movie file. At this time, the playback order follows the index information in the movie file.
  • audio data and JPEG data will be audio data 0, J?
  • the data is read from the recording medium 50 in the order of 3 to 5,.
  • the read audio data and JPEG data are first stored in the SDRAM 26 by the memory control circuit 24.
  • the CPU 52 gives a decompression instruction to the JPEG codec 32 in the order according to the index information of the JPEG data, and gives a processing instruction to the signal processing circuit 40 in the order according to the index information of the audio data.
  • the JPEG codec 32 reads the JPEG raw data forming the JPEG data of the desired frame from the SDRAM 26 through the bus B1 and the memory control circuit 24, and reads the read JPEG raw data. Perform JPEG decompression overnight.
  • the YUV data generated by the JPEG decompression is stored in the SDRAM 26 through the bus B1 and the memory control circuit 24, and is then supplied to the video encoder 28 through the bus B1 and the memory control circuit 24. As a result, the corresponding playback image is displayed on the monitor. Will be displayed.
  • the signal processing circuit 40 reads audio data corresponding to the desired three frames from the SDRAM 26 through the bus B1 and the memory control circuit 24, and stores the read audio data in the SRAM 40a.
  • the audio data stored in the SRAM 40a is then converted into an analog audio signal by the DZA converter 42, and the converted audio signal is output from the speaker 44.
  • the reproduced moving image is displayed on the monitor 30, and an audio signal synchronized with the reproduced moving image is output from the speaker 44.
  • the CPU 52 executes the photographing processing task shown in FIGS. 13 to 19 and the BG processing task shown in FIGS. 20 to 21 according to the control program stored in the ROM 54.
  • step S1 a shooting mode determination process is performed. Specifically, a menu indicating a plurality of shooting modes is displayed on the monitor 30, and a desired shooting mode is determined in response to the operation of the menu key 52. When the shooting mode is determined, the process proceeds to step S3, and shooting mode information indicating the determined shooting mode is created.
  • the setting information is, for example, "resolution: VGA”, "frame rate: 30 fps", "sound system: monaural”, “bit rate: 8 bits", and "sampling rate: 8040 Hz”.
  • step S5 the file name of the movie file created by the current shooting processing is determined. The file name is, for example, "VCLP 0003. MOV”. Creation Z The determined shooting mode information and file name are registered in the register rgst.
  • step S7 various variables are initialized. Specifically, each of the variables f rmc nt, flsz, BG-RemData, re-f 1 sz, t-sz and au d_s z is set to "0", and the variable trgt-sz is set to the maximum value MAX And sets the variable a ud s z_fps to the theoretical value LG.
  • the variables i and frmcnt are both variables indicating the frame number.
  • the variable i is continuously incremented in response to the vertical synchronization signal, and the variable f rmcnt is cyclically updated between “0” and “3” in response to the vertical synchronization signal.
  • the numerical values "0" to "3” taken by the variable f rmc nt those that actually have meaning are "0" to "2" It is.
  • one image chunk is formed by three frames of JPEG data.
  • the variable f rmcn t is used to specify the order of the JPEG data of interest in the image chunk.
  • the variable ⁇ 1 s z is a variable indicating the total size value of JPEG raw data generated by JPEG compression.
  • the variable BG—RemD ata is a variable that indicates the size of the JPEG raw data for which the “write file” instruction has been set in the instruction list 52a shown in FIG. 4 but has not yet been recorded on the recording medium 50.
  • the variable p re — f 1 s z is a variable indicating the total size value of the JPEG raw data already recorded on the recording medium 50.
  • variable trgt_sz is a variable indicating the target size value when compressing the YUV data of each frame
  • variable t-sz is a variable used for calculating the target size value
  • variable a ud—s z is a variable that indicates the total size value (bytes) of the captured audio data
  • the variable aud s z—fps is a variable that indicates the size of the audio data equivalent to one frame.
  • step S9 a processing instruction is given to each of the TG 14, the signal processing circuit 22, and the video encoder 28 in order to display a through image.
  • a through image of the object is displayed.
  • FILE-STRT is set as a command for "Start BG processing", and a command, parameters 1 and 2 for FILE-CREATE, and drive number (for driving recording medium 44) Drive number) and file path are set.
  • FILE-SET-ALLOC and drive number are set as command and parameter 1
  • File open command, parameter FILE-OPEN, drive number and file path are set as parameters 1 and 2. Is done.
  • the file path set in "Create file” includes the size information and the file name determined in step S25, and the size information and the file name are written to the directory entry. However, since the movie file is incomplete, the size information indicates "0".
  • step S21 When the vertical synchronization signal is output from the SG 16 after the processing in step S19 is completed, YES is determined in step S21, and the value of the variable i is determined in step S23.
  • the variable i if the variable i is equal to or greater than "1", the process proceeds to step S31, but if the variable i is "0", the process proceeds to steps S31 through S29 through S29. .
  • step S25 a thumbnail image capturing process is performed. Specifically, the JPEG header H th created by itself is written into the SD RAM 26, and the signal processing circuit 22 and the JPEG codec 32 are instructed to perform the thinning process and the compression process, respectively.
  • the signal processing circuit 22 performs the thinning process of the YUV data over one frame period, and writes the thumbnail YUV data thus generated to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the JPEG codec 32 reads out the thumbnail YUV data from the SD RAM 26 through the bus B1 and the memory control circuit 24, performs JPEG compression processing on the read thumbnail YUV data, and outputs the JPEG raw data R th, and writes the J PEG raw data R th to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • JP EG header H th and J PEG raw data R th are mapped to SDRAM M26 as shown in FIG. '
  • header information H inf including the above-mentioned shooting mode information (resolution, frame rate, sound system, bit rate, sampling rate) is created, and the header information H inf is transferred to the bus B1 and the memory.
  • the header information H inf is mapped onto the J PEG header H th as shown in FIG.
  • the “file write” is performed in step S29 in FIG. Set them in the list numbers "4" and "5" of the instruction list 52a shown.
  • "file write” sets the command, parameters FILE-WRITE, handle number (obtained by file open processing), SDRAM address, data size and data type as parameters 1, 2, 3 and 4. You.
  • the two "file write” settings are that the header information H inf and the J PEG header H th are continuous on the SDRAM 26, but the J PEG raw data R th is stored at a remote location. Because it is.
  • the start address of the header information H inf is set as the SDRAM address
  • the total size of the header information H inf and the JPEG header H th is set as the data size
  • the data type is set.
  • "Movie file header” is set.
  • the start address of JPEG raw data Rth is set as the SDRAM address
  • the data size and Then, the size of the JPEG raw data Rth is set
  • "movie file header” is set as the data type.
  • a compression processing instruction is given to the JPEG codec 32.
  • the compression processing instruction includes a target size value according to the variable trgt-sz.
  • the JPEG codec 32 reads one frame of YUV data from the SDRAM 26 through the bus B1 and the memory control circuit 24, compresses the read YUV data, and outputs a JPEG raw data having a size close to the target size. An overnight is created, and the generated JPEG raw data is written to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • the JPEG raw data is mapped to the SDRAM 26 in the manner shown in FIG.
  • step S33 a processing instruction is given to the signal processing circuit 38 in order to perform a process of capturing audio data corresponding to one frame.
  • the signal processing circuit 38 writes the audio data of one frame given from the A / D converter 36 and held in the SRAM 38 a to the SDRAM 26 through the bus B 1 and the memory control circuit 24.
  • the audio data is mapped to the SDRAM 26 as shown in FIG.
  • the signal processing circuit 38 also returns the size value of the audio data written in the SDRAM 26, that is, the fetched size value, to the CPU 52. Therefore, in step S35, the calculation according to Equation 1 is performed, and the returned captured size value is integrated into the variable au d_s z.
  • step S37 it is determined in step S37 whether or not the JPEG compression has been completed.
  • the JPEG codec 32 returns the generated JPEG raw data size value, that is, the compressed size value and the compression completion signal to the CPU 46. . Therefore, in step S37, It is determined as YES when the compression completion signal is returned.
  • step S39 the operation of Expression 2 is performed to add the returned compressed size value to the variable f1sz.
  • step S41 the self-created JPEG header is written to the SDRAM 26 through the bus B1 and the memory control circuit 24.
  • step S43 the index information of the current frame is: Write to SDRAM 26 through circuit 24.
  • the J PEG header is mapped to the SDRAM 26 as shown in FIG. 2, and the index information is mapped to the SDRAM 26 as shown in FIG.
  • step S43 position information and size information of one frame of JPEG data are created as index information.
  • one image chunk is formed by three frames of JPEG data.
  • step S43 the number of the current frame in the three consecutive frames is specified from the variable f rmcnt, thereby determining at which position in the SDRAM 26 the index information is created. .
  • step S45 JPEG raw data of the current frame and access information of the JPEG header are created in the access information table 52b shown in FIG. That is, the start address information and the size information of the JPEG raw data of the current frame existing in the SDRAM 26 are created as access information of the JPEG raw data of the current frame, and the JPEG header of the current frame existing in the SDRAM 26 is generated. Creates start address information and size information as access information for the JPEG header of the current frame. Then, each created access information is assigned to the variable i set in the access information table 52b.
  • step S47 the variable i is compared with the frame rate value FPS of the current shooting mode.
  • the current shooting mode frame rate is 30 f If ps, the frame rate value F PS will be "30" and the variable i will be compared to "30". If i is less than FPS, the process directly proceeds to step S83, but if i ⁇ FPS, the process proceeds to step S81 via the processes of steps S49 to S81.
  • step S49 it is determined whether or not the variable f rmcn t force S is less than "2". If YES, it is determined in step S51 whether or not the condition of Expression 3 is satisfied. On the other hand, if the variable rmcnt is equal to or greater than "2", it is determined in step S59 whether the condition of Expression 4 is satisfied.
  • aud sz-fps * (i + 1))-aud one sz> aud sz-fps aud_s z is the total size value of the audio data actually captured, and aud sz-fps * (i + 1) is , This is the product of the number of frames from the start of capture and the theoretical value LG.
  • the difference between the two values is compared to the theoretical value LG. Then, as long as the difference value is equal to or less than the theoretical value LG, the process proceeds to step S63.If the difference value exceeds the theoretical value LG, the process proceeds through steps S53 to S57 or through step S61. Proceed to step S63.
  • the error between the two is 3Hz. Then, the size of the audio data corresponding to one second is shifted by 3 bytes. Since the theoretical value LG is 268 bytes, the condition of Expression 3 is satisfied about once every 90 seconds, and steps S53 to S57 are processed. If the actual sampling rate is 8034 Hz and the sampling rate calculated by software is 8040 Hz, the error between the two is 6 Hz. At this time, the condition of Expression 4 is satisfied about once every 45 seconds, and the process of step S61 is executed.
  • step S53 each of the variables i and frmcnt is incremented.
  • step S55 the same image index information as the previous time, that is, the same index information as the index information created in the previous step S43 is created in the SDR AM 26.
  • step S57 the same access information as the previous time, that is, the previous step S43 is created. 45 Create the same access information in the access information table 52b as the access information created in step 5.
  • step S61 each of the variables i and f rmcn t is decremented, and then the process proceeds to step S63.
  • the condition shown in Expression 3 is satisfied.
  • the index information of the same JPEG data is set in the SDRAM 26 as shown in FIG. 9B by the processing in steps S53 to S57, and the JPEG data forming the same JPEG data is generated.
  • the access information of the header and the JPEG header is set in the access information table 52b as shown in FIG. 10 (B).
  • the index information of the JPEG data P is set in the SDRAM 26.
  • the variable frcmnt is incremented and the index information created in the previous step S43 is re-enabled, so that the index information of the JPEG data P is interpolated as shown in FIG. 9 (B).
  • the index information of the JPEG data P + 1 is set as shown in FIG. 9 (C).
  • the access to the JPEG raw data P and the JPEG header P is performed as shown in Fig. 10 (B).
  • the information will be assigned to the variable i (-P + 1).
  • the index information of the JPEG data P and the index information of the JPEG data P + 1 are set in the SDRAM 26.
  • the index information of the JPEG data P + 1 is converted to the JPEG data P + by the processing of the next step S43, as shown in FIG. 11 (B). Overwritten by the index information of 2.
  • the index information of J PEG data P + 1 is thinned out.
  • the index information of the JPEG data P + 3 is set as shown in FIG. 11 (C).
  • the access information of the JPEG raw data P and the access information of the JPEG header P and the access information of the JPEG raw data P + 1 and the JPEG header P + 1 are shown in the access information table.
  • Set to b In this state, since the variable i is decremented, the access information of the J PEG raw data P + 1 and the J PEG header P + 1 is changed to the J PEG header by the processing in the next step S45, as shown in FIG. Overwritten by the access information of raw data P + 2 and J PEG header P + 2. As a result, the access information of the JPEG data P + 1 is thinned out. Following the access information of J PEG raw data P + 2 and J PEG header P + 2, the access information of J PEG raw data P + 3 and J PEG header P + 3 is set as shown in FIG. 12 (C). .
  • variable i is incremented in step S53, and the determination of NO is continued in the next and subsequent steps S51. Since the variable i is decremented in step S61, the determination of NO is continued in the next step NO in step S59.
  • the process proceeds directly to step S83, but if the remaining force is “0”, the process proceeds to step S83 via the processes of steps S65 to S81. Since the excessive force S becomes "0" only once in 30 frames, the processing in steps S65 to S81 is executed once in 30 frames.
  • step S65 the variable f 1 sz and pre_f 1 sz are subjected to an operation according to equation 5, and in step S67, the difference value ⁇ f 1 sz, the variable BG—RemData and the frame rate value FPS obtained by equation 5 are calculated. The operation according to Equation 6 is performed.
  • a f 1 s z f 1 s z— p r e-i f l s z
  • t_s z ( ⁇ f 1 s z-BG-R emD a t a) / FP S
  • the variable f 1 sz is the total size value of J PEG raw data obtained by J PEG compression
  • the variable pre_f 1 sz is the total of the J PEG raw data already recorded on the recording medium 50.
  • the variable! E_f 1 sz is updated only once every 30 frames, and the operation according to Equation 5 is also updated only once every 30 frames, so the difference value ⁇ f 1 sz Indicates the total size of the JPEG raw data generated in the latest 30 frames.
  • the variable BG—RemData is the total size value of the J PEG raw data that has been set in the instruction list 52a but not yet recorded on the recording medium 50.
  • This variable BG—RemData is smaller when the time required for "file writing” is shorter, and is larger when the time required for "file writing” is longer.
  • the subtraction value obtained by subtracting such a variable BG—RemData from the difference value ⁇ f 1 sz reflects the current processing speed of “file writing”, and divides this subtraction value by the frame rate FPS.
  • the value is a compressed size value where the variation of the variable BG-RemData under the current processing speed falls within the specified range. Such a compressed size value is calculated as a variable t-sz.
  • the processing speed of the "file writing" may be varied by the characteristics of the recording medium 50, such as the processing speed of the CPU 50a and the capacity of the buffer memory 50b, as well as the occupancy of the bus B1 and the BG processing task.
  • the processing status of tasks other than the above may be considered.
  • a zoom magnification larger than “1.0” is selected by operating the zoom key 64
  • the raw image data is temporarily stored in the SDRAM 26 and then input to the signal processing circuit 22.
  • the raw image de The signal is supplied to the DRAM 26 and returned to the signal processing circuit 22 via the bus B1.
  • the occupation rate of the bus B1 increases due to the raw image data transfer processing, thereby decreasing the processing speed of "file writing".
  • a shooting condition control task is started, and the aperture / exposure time, white-parameter adjustment gain, and the like are adjusted. Since each task cannot be executed at the same time, when the imaging condition control task is activated, the BG processing task is interrupted, which slows down the "file write" processing speed.
  • variable t-sz is updated periodically in consideration of the fluctuation in the processing speed of the "file writing".
  • the target size value and thus the J PEG compression ratio are updated as described later.
  • step S69 the calculated variable t—sz is compared with the variable trg t_sz. If t_sz ⁇ trgt—sz, the variable t—sz is compared with the minimum value MIN in step S71. If t-sz ⁇ MIN, the process directly proceeds to step S79. If t-sz ⁇ MIN, the variable t-sz is updated to the minimum value MIN in step S73, and then the process proceeds to step S79. On the other hand, if it is determined in step S69 that t-sz ⁇ trgt-sz, the variable t-sz is compared with the maximum value MAX in step S75.
  • step S79 the variable t—sz is set as the variable trg t_sz.
  • Equation 6 the variable t—sz decreases when the variable BG—RemDa t a is large, and conversely, the variable t—sz increases when the variable BG—RemDa t a is small. Therefore, “t ⁇ sz ⁇ trgt ⁇ sz” means that the amount of unrecorded JPEG data is large, that is, the processing speed of “file write” is slow. “T ⁇ sz ⁇ trgt ⁇ sz” means that the amount of unrecorded JPEG data is small, that is, the recording characteristics of the recording medium 50 are excellent.
  • variable t—sz is less than the variable trg t__s z
  • the variable t_sz is used to enable a smaller target size value (higher JPEG compression ratio) in the next second.
  • sz is set as a variable trgt—sz.
  • variable t—sz is greater than or equal to the variable trgt—sz
  • the variable t—sz is changed to the variable trgt—sz to enable a larger target size value (lower JPEG compression ratio) in the next second.
  • the size of the JPEG data generated in the next one second is larger than the size of the JPEG data generated in the current one second, and the deterioration of the image quality due to the compression processing is reduced.
  • step S81 the variable f 1 s z and BG—RemData are subjected to the operation of Expression 7 to update the variable pre_f 1 s z.
  • Equation 7 the total size value of the unrecorded JPEG raw data is subtracted from the total size value of the JPEG raw data generated so far. Since this operation is also performed every 30 frames, the variable p re_f 1s z is updated once every 30 frames. In the next operation, that is, in the operation of Equation 5 after 30 frames, the updated variable pre_f 1 s z is subtracted from the latest variable f 1 s z. In step S83, the variable frmcnt is incremented, and in the following step S85, the value of the incremented variable frmcnt is determined.
  • variable f rmc nt force S is “1” or “2”
  • the process proceeds directly to step S 95, but if the variable f rmc nt is “3”, the process proceeds through the processes of steps S 87 to S 93. Proceed to S95.
  • step S87 the index information of the audio data is written into the SDRAM 26.
  • the movie file shown in Fig. 7 one audio chunk is formed by audio data corresponding to three frames.
  • the position and size of audio data in the file are managed at intervals corresponding to three frames. For this reason, in step S85, the audio data corresponding to the latest three frames—the evening position information and the size information are created, and the created index information is shown in FIG. Write to SDR AM 26 as shown.
  • the access information of the audio data is written to the access information table 52b. That is, the head address information and the size information of the audio data corresponding to three frames existing in the SDRAM 26 are created as access information, and the created access information is written in the access information table 52b. At this time, the access information is associated with the access information of the JPEG data of the three frames of interest.
  • step S91 three frames of JPEG raw data set in the access information table 52b, three frames of JPEG header access information, and three frames of audio data access information are referenced. Then, "write file" is set in the instruction list 52a shown in FIG. As shown in FIG.
  • step S91 a total of seven "file writing” are set in the instruction list 52a.
  • “File Write”, which is the first of these seven “File Writes” the SDRAM address indicates the start address of the audio data equivalent to the three frames of interest, and the data size is the three frames of interest. Indicates the size of the audio data equivalent to 1 m, and the data type indicates the audio chunk.
  • the start address and the data size are equal to the SDRAM address and data size forming the access information created in step S87.
  • the SDRAM address indicates the start address of the JPEG header of the three frames of interest
  • the data size is the size of the JPEG header of the three frames of interest. Indicates the size, and the data type indicates the JPEG header.
  • the start address and the data size are equal to the SDRAM address and data size forming the access information of the JPEG header of the latest three frames created in step S45 or S57.
  • the SDRAM address indicates the start address of the JPEG raw data of the target 3 frames
  • the data size is the size of the JPEG raw data of the target 3 frames.
  • the data type indicates JPEG raw data.
  • the size is equal to the SDRAM address and data size forming the latest 3 frames of JPEG raw data—evening access information created in step S45 or S57.
  • step S93 the calculation of equation 8 is performed to add the size values of the three-frame JPEG raw data set in the instruction list 52a in step S91 to the variable BG—RemDat a.
  • step S95 the frame number i is incremented, and in step S97, it is determined whether or not the shirt tapotan 58 has been operated. Steps S21 to S95 are repeated unless the shirt button 58 is pressed, and the JPEG header, JPEG raw data and audio data generated in each frame are mapped to the SDRAM 26 as shown in FIG. .
  • step S99 determines the value of the variable f rmc n t. If the variable f rmcnt is "3", the process proceeds to step S103. If the variable f rmcn t is "1" or "2”, "file write” is instructed in step S101. After setting to a, go to step S103.
  • variable f rmc nt force S "1"
  • the last audio chunk and image chunk are formed by one frame of audio data and JPEG data
  • the instruction list 52a has a total of three "file writing”. Is set.
  • the variable f rmc nt is "2”
  • the last audio chunk and image chunk are formed by two frames of audio data and J PEG data
  • the instruction list 52a has a total of five "write files”. Is set.
  • An image chunk consisting of PEG data is formed in the movie file. .
  • step S103 "write file” is set in the instruction list 52a in order to write the index information shown in FIG. 3 into the movie file.
  • the SDRAM address and data size set here indicate the start address and the total size of the index information shown in Fig. 3, and the data type indicates the movie file header.
  • step S105 the total size of the movie file is calculated based on the size information included in the index information, and the calculated total size data is written to the SDRAM 26.
  • steps S107 to S111 "write file”, "close file” and “end BG processing” are set in the instruction list 52a.
  • the SDRAM address and data size set in “File write” indicate the start address and data size of the total size data, and the data type indicates the movie file header.
  • File close FILE-CLOSE is set as a command
  • End BG processing FILE-END is set as a command.
  • the total size value is added to the size information of the movie file header.
  • the size information of the directory entry (the size information written based on the process in step S15) is updated from “0” to the total size value.
  • the FAT information in the FAT area 501c is updated.
  • the BG processing ends with "BG processing end”.
  • step S 1 2 the read destination list number L is set to “0”, and in subsequent step S 1 2 3 Determines whether the command read from list number L is FILE-STRT. If it is YE S, the list number L is incremented in step S125 and the contents of the command read from the incremented list number L are incremented in steps S127, S131, S1. Discrimination is made for each of 35, S139 and S147. If the read command is FILE-CREATE, YES is determined in step S127 and file creation processing is performed in step S129.
  • the recording medium 50 is specified by the drive number set in parameter 1 and the file name and the file name are set in the directory entry of the recording medium 50 based on the file path set in parameter 2.
  • Write size information indicating size 0.
  • step S133 a table creation process is performed in step S133. That is, the recording medium 50 is specified by the drive number set in the parameter — evening 1 and the free area table 52 c shown in FIG. 7 is created by referring to the FAT information.
  • the process returns to step S125.
  • step S135 the flow advances from step S135 to step S137 to perform a file open process. That is, the recording medium 50 is specified by the drive number set in the parameter 1, the file is specified based on the file path set in the parameter 2, and a handle number to be assigned to this file is created. The created handle number is used for the photographing process. Upon completion of the processing, the flow returns to step S125.
  • the flow advances from step S139 to step S141 to perform a file write process.
  • the write destination movie file is specified by the handle number set in parameter 1 and the read start address and read size are determined according to the SD RAM address and data size set in parameters 2 and 3. Identify. Then, based on the read start address and the read size, data is read from the SD RAM 26 in units of code, and the read data is stored in the CPU 50a of the recording medium 50 together with the write destination movie file information. give. If the read size set in the parameter 3 is larger than the buffer memory 50b provided in the recording medium 50, a BUSY signal is returned from the CPU 50a to the CPU 52 when the buffer memory 50b becomes full.
  • step S141 is interrupted in response to the BUSY signal.
  • a READY signal is returned from the CPU 50 a to the CPU 52.
  • the process in step S141 is restarted in response to the READY signal.
  • step S143 the type of parameter set for parameter 4 is determined.
  • the process directly returns to step S 125, but if the data type is “J PEG raw data”, the calculation according to equation 9 is executed in step S 145. From step S125.
  • B G—R emD a t a B G_R emD t a-J PE G Raw data size value According to Equation 9, the data size set in parameter 3 is subtracted from the variable BG—Re mD a t a. As a result, the variable BG—RemDat a indicates the size of the JPEG image data set in the instruction list 52a but not yet recorded on the recording medium 50.
  • step S149 the process advances from step S147 to step S149 to perform a file close process. Specifically, the size information assigned to the file name of the opened movie file is updated with the total size value held in the SDRAM 26, and the FAT information stored in the SDRAM 26 is used to update the FAT area 501c. Update FAT information. Upon completion of the process, the process returns to the step S125.
  • step S147 If the read command is FILE-END, NO is determined in step S147, and the process returns to step S121.
  • the BG process shifts to a standby state.
  • the number of frames of JPEG data recorded on the recording medium 50 is adjusted (S53 to S57, S61). Specifically, the number of frames is adjusted by thinning out interpolation of index information and access information. Therefore, synchronization between the reproduced moving image and the reproduced sound can be ensured while preventing the generation of audio noise.
  • the image compression is performed by the JPEG system, but the MPEG system may be adopted instead of the JPEG system, and the target size value may be updated in G ⁇ P units.
  • the target size value is updated every 30 frames.
  • the target size value is changed to 32 frames, 64 frames, and 128 frames.
  • the target size may be updated for each number of frames corresponding to a power.
  • the number of frames of the JPEG data is adjusted when performing the recording process.
  • the number of frames may be adjusted during the reproduction process.
  • both the access information and the index information are thinned out / interpolated.
  • only the index information is used. It is also possible to apply thinning / interpolation to the data. As a result, it is possible to prevent the JPEG data from being lost due to the access information thinning process.
  • the FAT method is adopted as the recording method of the moving image signal, but a UDF (Universal Disk Format) method may be adopted instead.
  • the description is made using a digital video camera.
  • the present invention can also be applied to a stationary hard disk recorder that records TV programs.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Synchronizing For Television (AREA)
  • Studio Devices (AREA)

Abstract

ディジタルビデオカメラ(10)は、マイク(34)を含む。マイク(34)およびＡ／Ｄ変換器(36)を通して取り込まれた音声データとＪＰＥＧコーデック(32)によって生成された複数画面のＪＰＥＧデータとに並行して記録処理を施すとき、音声データの実処理量（＝８０４３バイト／秒）と仮想処理量（＝８０４０バイト／秒）との誤差が、ＣＰＵ(52)によって３０フレーム毎に算出される。算出された誤差が閾値を上回ると、記録媒体(50)に記録されるＪＰＥＧデータのフレーム数が間引き／補間によって調整される。

Description

明細書
データ処理装置 技術分野
この発明は、 データ処理装置に関し、 特にたとえばビデオカメラに適用され、 互いに関連する音声データと複数画面の静止画像データとを並行して処理する、 データ処理装置に関する。 従来技術
ビデオカメラでは、 撮影モードが選択されると、 イメージセンサによって撮影 された動画像データとマイクから取り込まれた音声データとが並行して記録処理 を施され、 再生モードが選択されると記録媒体から再生された動画像データと音 声データとが並行して再生処理を施される。
ただし、 従来技術では、 設計の都合上、 ハードウェアによる実際の処理とソフ トウエアの計算との間で音声データのサンプリング周波数にずれが生じていた。 具体的には、 ハードウエア上での実際のサンプリング周波数が 8 0 4 3 H zであ るのに対して、 ソフトウェア上で計算に使用するサンプリング周波数は、 8 0 4 0 H zであった。 このため、 従来技術では、 音声データの間引き/補間によって 動画像データと音声デ一夕との同期を確保するようにしていた。 しかし、 音声デ 一夕に間引き Z補間を施すと、 音声ノイズが発生して視聴者に不快感を与えると いう問題があった。 発明の概要
それゆえに、 この発明の主たる目的は、 画像デ一夕と音声データとの同期を確 保でき、 かつ音声ノイズの発生を防止することができる、 データ処理装置を提供 することである。
この発明によれば、 互いに関連する音声デ一夕と複数画面の静止画像データと を並行して処理するデータ処理装置は、 次のものを備える：音声データの実処理 量と仮想処理量との誤差を所定周期で算出する算出手段；および算出手段によつ て算出された誤差に基づいて静止画像デ一夕の画面数を調整する調整手段。
互いに関連する音声データと複数画面の静止画像データとを並行して処理する にあたって、 音声データの実処理量と仮想処理量との誤差が、 算出手段によって 所定周期で算出される。 調整手段は、 算出された誤差に基づいて静止画像デ一夕 の画面数を調整する。
つまり、 この発明では、 音声データを調整していた従来技術と異なり、 静止画 像データの画面数が調整される。 このため、 音声ノイズの発生を防止しつつ、 画 像データと音声デ一夕との同期が確保される。
好ましくは、 処理された静止画像データの画面数が力ゥント手段によってカウ ントされ、音声データの実処理量が 1画面期間毎に積算手段によって積算される。 このとき、 算出手段は、 1画面に相当する仮想処理量をカウント手段によるカウ ント値に基づレ ^て積算した第 1積算値と積算手段によって求められた第 2積算値 との差分値を求める。
調整手段は、 好ましくは、 算出された誤差を N (N： 1以上の整数） 画面に相 当する音声データの仮想処理量と比較し、 比較結果に基づいて調整を行う。
画面調整では、詳しくは、積算値が不足分の数値であるとき画面数が増加され、 積算値が余剰分の数値であるとき画面数が減少される。
複数画面の静止画像データをメモリに一時的に格納し、 メモリに格納された静 止画像データを処理手順情報に従う順序で読み出す場合、 好ましくは、 比較結果 に基づいてこの処理手順情報を作成することで、 画面数が調整される。
好ましくは、 音声データおよび複数画面の静止画像データは第 1記録手段によ つて記録媒体に記録され、 各画面の静止画像デ一夕のインデックス情報は第 2記 録手段によって記録媒体に記録される。 このとき、 調整実行手段は、 比較手段の 比較結果に基づいて、 第 2記録手段によって記録されるインデックス情報に間引 き/補間を施す。 インデックス情報の間引き 補間によって、 再生される静止画 像デ一夕の画面数の調整が可能となる。
好ましくは、 仮想処理量は実処理量に近似するかつソフトウェア計算に適した 数値を示す。
この発明の上述の目的， その他の目的， 特徴および利点は、 図面を参照して行 う以下の実施例の詳細な説明から一層明らかとなろう。 図面の簡単な説明
図 1はこの発明の一実施例を示すブロック図であり ；
図 2は S D R AMのマツビング状態の一例を示す図解図であり ；
図 3は S D R AMのマツビング状態の他の一例を示す図解図であり ； 図 4は指示リストの構成の一例を示す図解図であり ；
図 5はアクセス情報テーブルの構成の一例を示す図解図であり ；
図 6は記録媒体の構成の一例を示す図解図であり ；
図 7は空き領域テーブルの構成の一例を示す図解図であり ；
図 8は完成状態のム一ビファイルの構造を示す図解図であり ；
図 9 (A) はインデックス情報の作成処理の一部を示す図解図であり ； 図 9 (B) はインデックス情報の作成処理の他の一部を示す図解図であり ； 図 9 ( C) はインデックス情報の作成処理のその他の一部を示す図解図であ り ；
図 1 0 (A)はアクセス情報テーブルの作成処理の一部を示す図解図であり； 図 1 0 (B) はアクセス情報テーブルの作成処理の他の一部を示す図解図で あり ；
図 1 0 (C) はアクセス情報テ一ブルの作成処理のその他の一部を示す図解 図であり；
図 1 1 (A) はインデックス情報の作成処理の一部を示す図解図であり ； 図 1 1 (B)はインデックス情報の作成処理の他の一部を示す図解図であり； 図 1 1 (C) はインデックス情報の作成処理のその他の一部を示す図解図で あり ；
図 1 2 (A)はアクセス情報テーブルの作成処理の一部を示す図解図であり； 図 1 2 (B) はアクセス情報テーブルの作成処理の他の一部を示す図解図で あり ；
図 1 2 (C) はアクセス情報テーブルの作成処理のその他の一部を示す図解 図であり ； 図 1 3は撮影処理タスクを行うときの C P Uの動作の一部を示すフロー図で あり；
図 1 4は撮'影処理夕スクを行うときの C P Uの動作の他の一部を示すフロー 図であり ；
図 1 5は撮影処理タスクを行うときの C P Uの動作のその他の一部を示すフ ロー図であり ；
図 1 6は撮影処理タスクを行うときの C P Uの動作のさらにその他の一部を 示すフロー図であり ；
図 1 7は撮影処理夕スクを行うときの C P Uの動作の他の一部を示すフ口一 図であり ；
図 1 8は撮影処理タスクを行うときの C P Uの動作のその他の一部を示すフ ロー図であり ；
図 1 9は撮影処理タスクを行うときの C P Uの動作のさらにその他の一部を 示すフロー図であり ；
図 2 0は B G処理タスクを行うときの C P Uの動作の一部を示すフロー図で あり ；そして
図 2 1は B G処理タスクを行うときの C P Uの動作の他の一部を示すフロー 図である。 発明を実施するための最良の形態
図 1を参照して、 この実施例のディジタルビデオカメラ 1 0は、 イメージセン サ 1 2を含む。 イメージセンサ 1 2の前方には図示しない絞りュニットおよび光 学レンズが配置されており、 被写体の光学像は、 これらの部材を経て、 イメージ センサ 1 2に照射される。
モード切換スィッチ 6 2によって撮影モードが選択されると、 対応する状態信 号がシステムコント口一ラ 5 6から C P U 5 2に与えられる。 C P U 5 2は I T R O Nのようなマルチタスク〇 Sを搭載したマルチ夕スク C P Uであり、 撮影 モードでは、 撮影処理タスク、 撮影条件制御タスク、 B G (Back Ground) 処理 タスクなどの複数のタスクが並列して実行される。具体的には、各々のタスクは、 予め設定された優先順位に従って、 かつ後述する垂直同期信号に応答して、 時分 割で実行される。
撮影処理タスクでは、 オペレータはメニューキー 60の操作によって複数の撮 影モ一ドから所望の撮影モードを選択できる。 撮影画像の解像度およびフレーム レ^ ·トならびに取込音声の音響方式， ビットレートおよびサンプリングレートの いずれかが、 各撮影モードにおいて異なる。 所望の撮影モードが選択されると、 対応する情報信号がシステムコントローラ 56から CPU52に与えられる。 C PU52は、 選択された撮影モ一ドを示す撮影モード情報 （解像度， フレームレ 一卜， 音響方式， ビットレート， サンプリングレート） と、 これから作成するム —ビファイルのファイル名とをレジスタ r g s tに格納する。
CPU52はまた、 撮影モード情報が示す解像度およびフレームレ一トでの撮 影をタイミングジェネレータ (TG) 14に命令する。 TG 14は、 シグナルジ エネレー夕 （SG) 16から出力される垂直同期信号および水平同期信号に基づ いて所望の撮影モード （解像度， フレームレート） に従うタイミング信号を生成 し、 イメージセンサ 12をラスタスキャン方式で駆動する。 イメージセンサ 12 からは、 所望の解像度を持つ生画像信号 （電荷） が所望のフレームレートで出力 され、 出力された生画像信号は、 CDS/AGC回路 18および A/D変換器 2 0を経て、 ディジタル信号である生画像データとして信号処理回路 22に入力さ れる。
設定されたズーム倍率が " 1. 0" のとき、 信号処理回路 22は、 AZD変換 器 20から入力された生画像データに白バランス調整， 色分離， YUV変換など の一連の信号処理を施して 1. 0倍の YUVデータを生成する。 設定されたズー ム倍率が " 1. 0" 未満のとき、 A/D変換器 20から入力された生画像データ は、 まずズーム回路 22 aによって縮小ズームを施され、 縮小ズームの後に上述 の一連の信号処理が実行される。かかる処理によって生成された YUVデータは、 パス B 1およびメモリ制御回路 26を介して SDRAM 26に格納される。
一方、 設定されたズーム倍率が " 1. 0" よりも大きいとき、 つまり拡大ズー ム処理が必要なとき、 ズーム回路 22 aは、 まず A/D変換機器 20から入力さ れた生画像データをバス B 1およびメモリ制御回路 24を通して SDRAM 26 に一旦書き込む。 ズーム回路 22 aは続いて、 拡大ズーム処理に必要な一部のェ リアの生画像データをバス B 1およびメモリ制御回路 24を通して読み出し、 読 み出された一部のエリアの生画像データに拡大ズームを施す。 拡大された生画像 デ一夕は、 上述の一連の信号処理によって YUVデータに変換される。 これによ つて、 "1. 0"よりも大きい倍率の YUVデータが生成される。生成された YU Vデータは、 バス B 1およびメモリ制御回路 26を介して SDRAM26に格納 される。
ビデオエンコーダ 28は、 バス B 1およびメモリ制御回路 24を通して SDR AM 26から YUVデータを読み出し、 読み出した YUVデータをコンポジット 画像信号にェンコ一ドする。 ェンコ一ドされたコンポジット画像信号はモニタ 3
0に与えられ、 この結果、 被写体のリアルタイム動画像 （スル一画像） がモニタ
30に表示される。
撮影条件制御タスクでは、 CPU52は、 絞り量， 露光時間， 白バランス調整 ゲイン， 電子ズーム倍率などの撮影条件を制御する。 具体的には、 被写体の明る さに応じて絞り量または露光時間を調整し、 被写体の色に応じて白バランス調整 ゲインを補正し、 そしてズームキ一64の操作状態を示す状態信号の変動に応じ て電子ズーム倍率を調整する。 この結果、 スルー画像の明るさおよび色あいの変 動が防止され、 ズームキ一64の操作に応答してスルー画像のズーム倍率が変化 する。
なお、 ズ一ムキー 64によって "1. 0" よりも大きなズーム倍率が選択され たとき、 上述のような生画像データを SDRAM 26に一旦格納する処理が実行 される。
オペレータによってシャツ夕ポタン 58が押され、 対応する状態信号がシステ ムコントローラ 56から与えられると、 CPU 52は、 撮影された動画像を格納 したムービファイルを記録媒体 50に作成する。 ここで、 記録媒体 50は着脱自 在の記録媒体であり、 スロット 48に装着されたときに I/F 46によってァク セス可能となる。 記録媒体 50には CPU 50 a, ノ ツファメモリ 50 bおよび ハードディスク 50 cが設けられ、 ハードディスク 50 cには図 6に示すように FAT領域 501 c, ルートディレクトリ領域 502 cおよびデータ領域 503 cが形成される。 デ一夕領域 503 cへのデータ書き込みは、 バッファメモリ 5 0 bを介して所定量ずつ行われる。
動画像の記録時、 CPU52は、 BG処理タスクを起動する。 このとき、 撮影 処理タスクと B G処理タスクとの間で処理が円滑に行なれるように、 図 4に示す ような指示リスト 52 aが作成される。
指示リスト 52 aには、 まず " BG処理開始"， "ファイル作成"， "テーブル作 成" および "ファイルオープン" の各々に対応するコマンドおよびパラメ一夕が 設定される。 "BG処理開始" によって BG処理タスクが開始され、 "ファイル作 成" によってムービファイルのファイル名と "0" を示すサイズ情報とが図 6に 示すルートディレクトリ領域 502 cに書き込まれる。 "テーブル作成"では、図 7に示すような空き領域テーブル 52 cが作成される。 図 7によれば、 データ領 域 503 cに形成された各々の空き領域の先頭ァドレスおよび空きサイズが、 サ ィズが大きい順に設定される。 "ファイルオープン"では、データを書き込むムー ビフアイルを特定するためのハンドル番号が作成される。
こうしてデータ書き込みの準備が完了すると、 CPU52は、 ムービファイル ヘッダを作成すべく、 次の 1フレーム期間においてサムネイル画像の取り込み処 理およびヘッダ情報の作成処理を行う。 まず、 信号処理回路 22に間引き処理を 命令し、 J PEGコーデック 32に圧縮処理を命令する。 信号処理回路 22は、 上述の YUV変換に加えて間引き処理を行い、 これによつて生成されたサムネィ ル YUVデータをパス B 1およびメモリ制御回路 24を通して SDRAM 26に 書き込む。 J PEGコ一デック 32は、 バス B 1およびメモリ制御回路 24を通 して SDRAM26からサムネイル YUVデータを読み出し、 読み出されたサム ネイル YUVデ一夕に J PEG圧縮を施す。 J PEGコ一デック 32はその後、 J PEG圧縮によって生成されたサムネイル画像の J PEG生データ R t hをバ ス B 1およびメモリ制御回路 24を通して SDRAM 26に書き込む。
CPU46はまた、 サムネイル画像の J PEGヘッダ H t hを自ら作成し、 作 成した J PEGヘッダ H t hをバス B 1およびメモリ制御回路 24を通して SD RAM 26に書き込む。 C PU46はさらに、 上述の撮影モード情報を含むへッ ダ情報 H i n f を自ら作成し、 作成したヘッダ情報 H i n f をバス B 1およびメ モリ制御回路 24を通して SDR AM 26に書き込む。 これによつて、 J PEG 生データ R t h， J P E Gヘッダ H t hおよびへッダ情報 H i n fが、 図 2に示 すように SDRAM 26にマッピングされる。
指示リスト 52 aには、 "ファイル書き込み"が設定される。 この "ファイル書 き込み"が BG処理によって実行されることで、 了？£0生デ一タ 1; ] , J P EGヘッダ H t hおよびヘッダ情報 H i n fが SDRAM26から読み出され、 バス B 1および IZF回路 46を介して記録媒体 50に与えられる。 これによつ て、 図 7に示すムービファイルヘッダが図 6に示すデータ領域 503 cに作成さ れる。 なお、 J PEGヘッダ H t hおよび J PEG生データ R t hによって、 図 7に示す J PEGデータ THが形成される。
ムービファイルヘッダの作成が完了すると、 CPU52は、 垂直同期信号が発 生する毎に画像取り込み処理および音声取り込み処理を行う。
画像取り込み処理では、 自ら作成した J PEGヘッダをバス B 1およびメモリ 制御回路 24を通して SDRAM26に書き込むとともに、 J PEGコーデック 32に圧縮命令を与える。 J PEGコーデック 32は、 圧縮命令が与えられたと き、 現フレームの YUVデータをバス B 1およびメモリ制御回路 24を通して S DRAM26から読み出し、 読み出された YUVデータを目標サイズまで圧縮す る。 圧縮処理によって現フレームの J PEG生データが生成されると、 J PEG コーデック 32は、 この J PEG生データをバス B 1およびメモリ制御回路 24 を通して SDRAM26に書き込む。
ここで、 J PEG圧縮時の目標サイズは記録媒体 50への記録状況に応じて変 更される。 つまり、 記録処理速度が遅いと、 ボトルネックによって処理が破綻す る可能性があるため、 記録媒体 50の記録状況が周期的に検出され、 検出結果に 応じて J PEG圧縮時の目標サイズが変更される。 この目標サイズ変更処理につ いては、 後段で詳しく説明する。
音声取り込み処理では、 信号処理回路 38に処理命令を与える。 信号処理回路 38は、 処理命令が与えられたとき、 SRAM38 aに蓄積された 1フレーム相 当の音声デ一夕をバス B 1およびメモリ制御回路 38 aを通して SDRAM 26 に書き込む。 このような画像取り込み処理および音声取り込み処理が 1.フレーム 期間毎に行なわれた結果、 各フレームの J PEGヘッダ， J PEG生デ一夕およ び音声データは、 図 2に示すように SDRAM 26にマッピングされる。
なお、 図 2において J PEGヘッダおよび J PEG生データには 1フレーム毎 に連続番号 0， 1， 2, …が付されるが、 音声データには 3フレーム毎に連続番 号 0, 1, 2， …が付される。 また、 同じ番号が付された J PEGヘッダおよび J PEG生デ一夕によって 1フレ一ム分の J PEGデータが形成され、 各フレー ムの J PEGデータの先頭および末尾には、 図 8に示すようにマーカ SO I (Start Of Image) および E O I (End Of Image) が割り当てられる。
CPU 52はまた、 1フレーム期間が経過する毎に J PEG生データのァクセ ス情報， J PEGヘッダのアクセス情報および J PEGデータのインデックス情 報を作成し、 3フレーム期間が経過する毎に音声データのアクセス情報および音 声データのインデックス情報を作成する。
J PEG生データのアクセス情報は、 各フレームのデータサイズと SDRAM 26における先頭アドレスとからなり、 J PEGヘッダのアクセス情報もまた、 各フレームのデータサイズと S D R AM 26における先頭ァドレスとからなる。 J PEGデータのインデックス情報は、 各フレームのデータサイズと記録媒体 5 0に書き込まれたときのムービファイルの先頭からの距離とからなる。
また、 音声データのアクセス情報は、 3フレーム相当のデータサイズと SDR AM 26における先頭アドレスとからなり、 音声データのインデックス情報は、 3フレーム相当のデータサイズと記録媒体 50に書き込まれたときのムービファ ィルの先頭からの距離とからなる。
アクセス情報は図 5に示すアクセス情報テーブル 52 bに作成され、 インデッ クス情報は図 3に示す要領で SDRAM 26に作成される。 図 5によれば、 3フ レーム分の J PEG生データの SDRAMアドレスおよびデータサイズと、 3フ レーム分の J PEGヘッダの SDRAMアドレスおよびデータサイズと、 3フレ —ム相当の音声データの SDRAMアドレスおよびデータサイズとが、 互いに関 連付けられる。 また、 図 3によれば、 3フレーム相当の音声データの位置情報お よびサイズ情報と 3フレーム分の J P E Gデータの位置情報およびサイズ情報と が、 SDRAM26に交互にマッピングされる。 なお、 音声信号のサンプリング周波数には、 ハードウェアによる実際の処理と ソフトウェアの計算との間でずれが生じる場合がある。 この実施例では、 このず れを補償するべく、 J PEGデ一夕のインデックス情報およびアクセス情報に間 引き Z補間が施される。 この間引き/補間処理については、 後段で詳しく説明す る。
CPU 52は、 3フレーム相当の音声データと 3フレームの J PEGデ一夕と を記録媒体 50に書き込むべく、 上述のアクセス情報に基づいて "ファイル書き 込み" を指示リスト 52 aに設定する。 BG処理によってこの "ファイル書き込 み" が実行されることで、 3フレーム相当の音声データと 3フレームの J PEG データとが SDR AM 26から読み出され、 バス B 1および I ZF回路 46を介 して記録媒体 50に与えられる。 記録媒体 50のデータ領域 503 cには、 3フ レーム相当の音声データからなる音声チャンクと 3フレームの J PEGデータか らなる画像チャンクとが記録される。 図 8に示すように、 音声チャンクおよび画 像チヤンクは、 ム一ビフアイル上に交互にマツピングされる。
シャツ夕ポタン 58が再度押されると、 CPU52は、 画像取り込みおよび音 声取り込みを中止し、 図 3に示す要領で SDRAM 26に作成されたインデック ス情報を記録媒体 50に記録するべく "ファイル書き込み" を指示リスト 52 a に設定する。 BG処理タスクによってこの "ファイル書き込み" が実行されるこ とで、 インデックス情報が SDRAM 26から読み出され、 バス B 1および Iノ F回路 46を介して記録媒体 50に与えられる。 この結果、 図 8に示すインデッ クスチャンクがムービフアイルの末尾に形成される。インデックスチャンクでは、 音声データのファイル上の位置およびサイズは 3フレームに相当する時間毎に管 理され、 J PEGデータのファイル上の位置およびサイズは 1フレーム毎に管理 される。
インデックスチャンクの作成が完了すると、 CPU52は、 今回作成されたム —ピファイルのトータルサイズ値を算出し、 算出したトータルサイズ値をム一ピ ファイルヘッダに書き込むべく "ファイル書き込み" を指示リスト 52 aに設定 する。 このファイル書き込みが BG処理タスクによって実行されることでト一タ ルサイズ値がムービファイルヘッダのヘッダ情報 H i n f に追加され、 これによ つて QuickTime規格を満足するムーピファイルの作成が完了する。
CPU 52は続いて、 "ファイルクローズ"および" BG処理終了"を指示リス ト 52 aに設定する。 "ファイルクローズ"が BG処理によって実行されると、ル ートディレクトリ領域 502 cに書き込まれたサイズ情報と FAT領域 501 c に書き込まれた FAT情報とが更新される。 具体的には、 今回作成されたム一ビ ファイルのファイル名がディレクトリエントリから検出され、 検出されたフアイ ル名に割り当てられたサイズ情報が "0"からトータルサイズ値に更新される。 また、 今回作成されたムービファイルの書き込み領域 （クラスタ） にリンクが形 成されるように FAT情報が更新される。 BG処理は、 "BG処理終了"によって 終了される。
モード切換スィッチ 62によって再生モードが選択され、 かつメニューキー 6 0によって所望のムービファイルが選択されると、 対応する状態信号がシステム コント口一ラ 56に与えられる。 CPU 52は、 選択されたムービファイルを記 録媒体 50から検出し、 検出したムービファイル内の音声デ一夕および J PEG デ一夕を再生する。 このとき、 再生順序は、 ム一ビファイル内のインデックス情 報に従う。
図 3に示す要領で作成されたィンデックス情報がム一ビファイルに存在する場 合、音声データおよび J PEGデータは、音声データ 0, J ?£&デ一夕0〜2， 音声データ 1， J P E Gデータ 3〜 5，…の順で記録媒体 50から読み出される。 読み出された音声データおよび J PEGデータは、 まずメモリ制御回路 24によ つて SDRAM 26に格納される。 CPU 52は、 J P E Gデ一夕のインデック ス情報に従う順序で J P E Gコーデック 32に伸長命令を与え、 音声データのィ ンデックス情報に従う順序で信号処理回路 40に処理命令を与える。
J PEGコ一デック 32は、 所望フレームの J PEGデ一夕を形成する J PE G生データをバス B 1およびメモリ制御回路 24を通して SDR AM 26から読 み出し、 読み出された J PEG生デ一夕に J PEG伸長を施す。 J PEG伸長に よって生成された YUVデータは、 バス B 1およびメモリ制御回路 24を通して SDRAM26に格納され、 その後バス B 1およびメモリ制御回路 24を通して ビデオエンコーダ 28に与えられる。 この結果、 対応する再生画像がモニタ 30 に表示される。
信号処理回路 40は、 所望の 3フレームに相当する音声データをバス B 1およ びメモリ制御回路 24を通して SDRAM26から読み出し、 読み出された音声 データを SRAM40 aに蓄積する。 SRAM 40 aに蓄積された音声データは その後 DZA変換機 42によってアナログ音声信号に変換され、 変換された音声 信号がスピー力 44から出力される。
このような処理が繰り返されることで、 再生動画像がモニタ 30に表示され、 この再生動画像に同期する音声信号がスピー力 44から出力される。
撮影モードが選択されたとき、 CPU52は、 ROM 54に記憶された制御プ ログラムに従って、 図 13〜図 1 9に示す撮影処理タスクと図 20〜図 21に示 す B G処理タスクとを実行する。
まず図 13を参照して、 ステップ S 1では撮影モード決定処理を行う。 具体的 には、 複数の撮影モードを示すメニューをモニタ 30に表示し、 メニューキー 5 2の操作に応答して所望の撮影モ一ドを決定する。 撮影モードが決定されるとス テツプ S 3に進み、 決定された撮影モードを示す撮影モード情報を作成する。 設 定情報は、 たとえば "解像度： VGA", "フレームレート： 30 f p s", "音響 方式：モノラル"， "ビットレート： 8ビット"， "サンプリングレート： 8040 Hz" とされる。 ステップ S 5では、 今回の撮影処理によって作成するムービフ アイルのファイル名を決定する。 ファイル名は、 たとえば " VCLP 0003. MOV" とされる。 作成 Z決定された撮影モード情報およびファイル名は、 レジ スタ r g s tに登録される。
ステップ S 7では、 各種変数を初期化する。 具体的には、 変数 f rmc n t , f l s z, B G― RemDa t a, r e― f 1 s z , t― s zおよび au d_s zの各々を" 0"に設定し、変数 t r g t— s zを最大値 MAXに設定し、 そして変数 a ud s z_f p sを理論値 LGに設定する。
ここで、 変数 iおよび f rmc n tは、 いずれもフレーム番号を示す変数であ る。 変数 iは垂直同期信号に応答してインクリメントされ続け、 変数 f rmc n tは垂直同期信号に応答して "0" 〜 "3" の間で循環的に更新される。 変数 f rmc n tがとる数値 "0"〜 "3"のうち、実際に意味を持つのは "0"〜 "2" である。 上述のように、 3フレームの J PEGデータによって 1つの画像チャン クが形成される。 変数 f rmcn tは、 注目する J P E Gデータが画像チャンク の何番目のデータであるかを特定するために使用される。
変数 ί 1 s zは、 J PEG圧縮によって生成された J PEG生データのトー夕 ルサイズ値を示す変数である。 変数 BG— RemD a t aは、 "ファイル書き込 み" の指示が図 4に示す指示リスト 52 aに設定されたが未だ記録媒体 50に記 録されていない J PEG生データのサイズを示す変数である。 変数 p r e— f 1 s zは、 記録媒体 50に既に記録された J PEG生データのトータルサイズ値を 示す変数である。
変数 t r g t_s zは、 各フレームの YUVデ一夕を圧縮するときの目標サイ ズ値を示す変数であり、 変数 t— s zは、 この目標サイズ値の算出に使用される 変数である。
変数 a ud—s zは取り込まれた音声データのトータルサイズ値 （バイト） を 示す変数であり、 変数 aud s z— f p sは 1フレーム相当の音声データのサイ ズ値を示す変数である。 ただし、 変数 aud s z一: f p sとして設定される理論 値 LGは、 ソフトウエア計算上のサンプリングレートに基づいて決定された 1フ レーム相当の音声データのサイズ値である。 たとえば、 決定された撮影モードの' 実際のサンプリングレートが 8043Hzであれば、 ソフトウェア計算上のサン プリングレートは 8040Hzとされ、理論値 LGは 268 (=8040/30) バイトとされる。 なお、 8040Hzという数値は、 ハードウェア上でのデータ 転送が 1ワード （=4バイト） 単位で実行されること、 および理論値 LGを整数 で表現できることを根拠とするものである。
ステップ S 9では、 スルー画像表示を行うべく、 TG14, 信号処理回路 22 およびビデオエンコーダ 28の各々に処理命令を与える。 モニタ 30には、 被写 体のスルー画像が表示される。 スルー画像が表示されている状態でオペレータに よってシャツ夕ポタン 58が押されると、 ステップ S 11〜S 19の各々で "B G処理開始"， "ファイル作成"， "テーブル作成"および "ファイルオープン" を 図 4に示す指示リスト 52 aのリスト番号 " 0 "〜 " 3 " に設定する。
1] コマンド パラメータ 1 パラメータ 2 パラメータ 3 ノ ラメータ 4
BG処理
FILE一 STRT
開始
ファイル
FILE— CLEATE ドライブ番号 フアイノレパス
作成
テーブル FILE—SET
ドライブ番号
作成 ALLOC
ファイル
FILE— OPEN ドライブ番号 フアイノレパス
オープン
ファイル
FILE— WRITE ハンドル番号 SDRAMァドレス サイズ（byte) データ種別 書込
ファイル
FILE— CLOSE
クローズ
BG処理
FILE— END
終了 表 1を参照して、 " B G処理開始"ではコマンドとして FILE— STRTが設定さ れ、 "ファイル作成" ではコマンド， パラメータ 1および 2として FILE一 CREATE, ドライブ番号 （記録媒体 4 4を駆動するドライブの番号） およびファ ィルパスが設定される。また、 "テーブル作成"ではコマンドおよびパラメータ 1 として FILE— SET— ALLOCおよびドライブ番号が設定され、 "ファイルオーブ ン" ではコマンド， パラメ一夕 1および 2として FILE— OPEN, ドライブ番号 およびファイルパスが設定される。 "ファイル作成"で設定されるファイルパスに はサイズ情報とステップ S 2 5で決定されたファイル名とが含まれ、 このサイズ 情報およびファイル名がディレクトリエントリに書き込まれる。 ただし、 ム一ビ ファイルは未完成であるため、 サイズ情報は " 0 " を示す。
ステップ S 1 9の処理が完了した後、 S G 1 6から垂直同期信号が出力される と、ステップ S 2 1で Y E Sと判断し、ステップ S 2 3で変数 iの値を判別する。 ここで変数 iが " 1 "以上の値であればそのままステツプ S 3 1に進むが、 変数 iが" 0 "であればステップ S 2 5〜S 2 9の処理を経てステップ S 3 1に進む。 ステップ S 2 5では、 サムネイル画像の取り込み処理を行う。 具体的には、 自 ら作成した J P E Gヘッダ H t hを S D RAM 2 6に書き込むとともに、 信号処 理回路 2 2および J P E Gコ一デック 3 2の各々に間引き処理および圧縮処理を 命令する。 信号処理回路 22は、 YUVデータの間引き処理を 1フレーム期間にわたって 行い、 これによつて生成されたサムネイル YUVデータをバス B 1およびメモリ 制御回路 24を通して SDRAM 26に書き込む。 J PEGコ一デック 32は、 このサムネイル YUVデ一夕をバス B 1およびメモリ制御回路 24を通して SD RAM 26から読み出し、 読み出されたサムネイル YUVデータに J PEG圧縮 処理を施して J PEG生データ R t hを生成し、 そして J PEG生デ一夕 R t h をバス B 1およびメモリ制御回路 24を通して SDR AM26に書き込む。 J P EGヘッダ H t hおよび J PEG生データ R t hは、 図 2に示すように SDRA M26にマッピングされる。 '
続くステップ S 27では、 上述の撮影モード情報 （解像度， フレームレート， 音響方式， ビットレート， サンプリングレート） を含むヘッダ情報 H i n fを作 成し、 このへッダ情報 H i n f をバス B 1およびメモリ制御回路 24を通して S D RAM 26に書き込む。 ヘッダ情報 H i n fは、 図 2に示すように J P E Gへ ッダ H t hの上にマッピングされる。
こうしてムービファイルヘッダを形成するヘッダ情報 H i n f , J PEGへッ ダ H t hおよび J PEG生デ一タ R t hが SDRAM26に格納されると、 ステ ップ S 29で "ファイル書き込み" を図 4に示す指示リスト 52 aのリスト番号 "4"および" 5"の欄に設定する。表 1から分かるように、 "ファイル書き込み" ではコマンド, パラメ一夕 1， 2, 3および 4として FILE— WRITE, ハンドル 番号（ファイルオープン処理によって獲得)， SDRAMアドレス， データサイズ およびデータ種別が設定される。 "ファイル書き込み"が 2つ設定されるのは、 S DRAM 26上においてヘッダ情報 H i n fおよび J PEGヘッダ H t hは連続 しているものの、 J PEG生デ一夕 R t hは離れた位置に格納されているからで ある。
リスト番号 " 4 " の欄では、 S D R AMァドレスとしてへッダ情報 H i n fの 開始アドレスが設定され、 データサイズとしてヘッダ情報 H i n fおよび J PE Gヘッダ H t hの合計サイズが設定され、 そしてデータ種別として "ムービファ ィルヘッダ"が設定される。 また、 リスト番号 " 5" の欄では、 SDRAMアド レスとして J PEG生データ R t hの開始アドレスが設定され、 データサイズと して J PEG生データ R t hのサイズが設定され、 そしてデータ種別として "ム ービファイルヘッダ" が設定される。 この結果、 図 8に示すムービファイルへッ ダ上では、 ヘッダ情報 H i n f , J ΡΕ Gヘッダ Η t hおよび J P E G生データ R t hがこの順で連続することとなる。 なお、 上述のように J PEGヘッダ H t hおよび J PEG生デ一夕 R t hによって、 J PEGデ一夕 THが形成される。 ステップ S 31では、 J PEGコーデック 32に圧縮処理命令を与える。 この 圧縮処理命令には、 変数 t r g t— s zに従う目標サイズ値が含まれる。 J P E Gコーデック 32は、 1フレーム分の YUVデ一夕をバス B 1およびメモリ制御 回路 24を通して SDRAM26から読み出し、 読み出された YUVデータに圧 縮処理を施して目標サイズに近いサイズの J PEG生デ一夕を作成し、 そして生 成された J PEG生データをバス B 1およびメモリ制御回路 24を通して SDR AM 26に書き込む。 J PEG生データは、 図 2に示す要領で SDRAM26に マッピングされる。 上述のように、 同じフレームで得られた J PEGヘッダおよ び J PEG生データによって当該フレームの J PEGデ一夕が形成され、 この J PEGデータの先頭および末尾にはマーカ SO Iおよび E〇 Iが書き込まれる。 ステップ S 33では、 1フレームに相当する音声データの取り込み処理を行う ベく、 信号処理回路 38に処理命令を与える。 信号処理回路 38は、 A/D変換 器 36から与えられかつ SRAM 38 aに保持された 1フレーム相当の音声デー 夕を、 バス B 1およびメモリ制御回路 24を通して SDRAM 26に書き込む。 音声デ—夕は、 図 2に示す要領で SDRAM26にマッピングされる。 信号処理 回路 38はまた、 SDRAM 26に書き込んだ音声データのサイズ値つまり取り 込みサイズ値を CPU 52に返送する。 このため、 ステップ S 35では数式 1に 従う演算を実行し、返送された取り込みサイズ値を変数 a u d_s zに積算する。
[数式 1]
a u d__ s z = a u d— s z +取り込みサイズ値
数式 1の演算が完了すると、 ステップ S 37で J PEG圧縮の完了の有無を判 別する。 J PEGコ一デック 32は、 ステップ S 31の圧縮命令に基づく J PE G圧縮が完了すると、 生成された J PEG生デ一夕のサイズ値つまり圧縮サイズ 値と圧縮完了信号とを CPU46に返送する。 このため、 ステップ S37では、 圧縮完了信号が返送されたときに YESと判断される。
ステップ S 39では、返送された圧縮サイズ値を変数 f 1 s zに加算するべく、 数式 2の演算を実行する。
[数式 2]
f 1 s z = f 1 s z +圧縮サイズ値
ステップ S 41では、 自ら作成した J PEGヘッダをバス B 1およびメモリ制 御回路 24を通して SDRAM26に書き込み、 続くステップ S 43では、 現フ レームの： Γ PEGデータのィンデックス情報をパス B 1およびメモリ制御回路 2 4を通して SDRAM 26に書き込む。 J P E Gヘッダは図 2に示す要領で S D RAM 26にマッピングされ、 インデックス情報は図 3に示す要領で SDRAM 26にマッピングされる。
上述のように、 ムービファイルのインデックスチャンクでは、 J PEGデータ のファイル上の位置およびサイズは 1フレーム毎に管理される。 このため、 ステ ップ S 43では、 1フレ一ムの J P E Gデータの位置情報およびサイズ情報をィ ンデックス情報として作成する。 また、 ム一ビファイル上では 3フレーム分の J PEGデータによって 1つの画像チャンクが形成される。 このため、 ステップ S 43では、 現フレームが連続する 3フレームの何番目であるかを変数 f rmc n tから特定し、 これによつてインデックス情報を SDRAM 26のどの位置に作 成するかを決定する。
ステップ S 45では、 現フレームの J PEG生データおよび J PEGヘッダの アクセス情報を図 5に示すアクセス情報テ一ブル 52 b内に作成する。 つまり、 SDRAM 26に存在する現フレームの J PEG生データの先頭アドレス情報お よびサイズ情報を現フレームの J PEG生デ一夕のアクセス情報として作成し、 SDRAM26に存在する現フレームの J PEGヘッダの先頭アドレス情報およ びサイズ情報を現フレームの J PEGヘッダのアクセス情報として作成する。 そ して作成した各々のアクセス情報をアクセス情報テーブル 52 bに設定された変 数 iに割り当てる。
ステツプ S 45の処理が完了すると、 ステツプ S 47で変数 iを現撮影モ一ド のフレームレート値 FPSと比較する。 現撮影モードのフレームレートが 30 f p sであれば、 フレームレート値 F PSは "30" となり、 変数 iは " 30" と 比較される。 そして、 iく FPSであればそのままステップ S 83に進むが、 i ≥FPSであればステップ S 49〜81の処理を経てステップ S 81に進む。 ステップ S 49では変数 f rmcn t力 S "2"未満かどうか判断し、 YESで あれば、数式 3の条件が満たされるかどうかをステップ S 51で判断する。一方、 変数 rmcn tが "2"以上であれば、 数式 4の条件が満たされるかどうかを ステップ S 59で判断する。
[数式 3]
a u d― s z― (aud s z― f p s * ( i + 1 )) > a u d s z― f p s [数式 4]
(aud s z― f p s * ( i + 1 )) — a u d一 s z>aud s z― f p s aud_s zは、 実際に取り込まれた音声データのトータルサイズ値であり、 aud s z— f p s * ( i + 1) は、 取り込み開始からのフレーム数と理論値 L Gとの掛け算値である。 数式 3および数式 4のいずれにおいても、 両数値の差分 値が理論値 LGと比較される。 そして、 差分値が理論値 LG以下である限りはそ のままステップ S 63に進むが、 差分値が理論値 LGを上回ると、 ステップ S 5 3〜S 57を経て、 あるいはステップ S 61を経て、 ステップ S 63に進む。 たとえば、 実際のサンプリングレートが 8043Hzであり、 ソフトウェア計 算上のサンプリングレートが 8040Hzであれば、両者の誤差は 3Hzである。 すると、 1秒に相当する音声データのサイズ値に 3バイトのずれが発生する。 理 論値 L Gは 268バイ卜であるため、 約 90秒に 1回の割合で数式 3の条件が満 たされ、 ステップ S 53〜S 57が処理される。 また、 実際のサンプリングレ一 卜が 8034Hzでソフトウエア計算上のサンプリングレートが 8040Hzで あれば、 両者の誤差は 6Hzとなる。 このときは、 約 45秒に 1回の割合で数式 4の条件が満たされ、 ステップ S 61の処理が実行される。
ステップ S 53では、変数 iおよび f rmc n tの各々をインクリメントする。 ステップ S 55では前回と同じ画像インデックス情報つまり直前のステップ S 4 3で作成したィンデックス情報と同じィンデックス情報を S D R AM 26内に作 成し、 ステップ S 57では前回と同じアクセス情報つまり直前のステップ S 45 で作成したアクセス情報と同じアクセス情報をアクセス情報テーブル 52 b内に 作成する。 ステップ S 57の処理が完了すると、 ステップ S 63に進む。 一方、 ステップ S 61では変数 iおよび f rmcn tの各々をデイクリメントし、 その 後ステップ S 63に進む。
したがって、 インデックス情報が図 9 (A) に示す要領で SDRAM 26に設 定されかつアクセス情報が図 10 (A) に示す要領でアクセス情報テーブル 52 bに設定された後に数式 3に示す条件が満たされた場合、 ステップ S 53〜S 5 7の処理によって、 同じ J PEGデータのインデックス情報が図 9 (B) に示す ように SDRAM 26に設定され、 同じ J PEGデ一夕を形成する J PEG生デ 一夕および J PEGヘッダのアクセス情報が図 10 (B) に示すようにアクセス 情報テーブル 52 bに設定される。
図 9 (A) によれば、 J PEGデータ Pのインデックス情報が SDRAM26 に設定されている。 この状態で、 変数 f rmc n tがインクリメントされ、 かつ 直前のステップ S 43で作成したインデックス情報が再度有効化されるため、 図 9 (B) に示すように J PEGデータ Pのインデックス情報が補間される。 J P EGデータ Pのインデックス情報が補間された後は、 図 9 (C) に示すように J P E Gデータ P + 1のィンデックス情報が設定される。
図 10 (A) によれば、 J PEG生デ一夕 Pおよび J PEGヘッダ Pのァクセ ス情報が変数 i (=P) に割り当てられている。 この状態で変数 iがインクリメ ントされ、 かつ直前のステップ S 45で作成したアクセス情報が再度有効化され るため、 図 10 (B) に示すように J PEG生データ Pおよび J PEGヘッダ P のアクセス情報が変数 i (-P+1) に割り当てられることになる。 J PEG生 データ Pおよび J PEGヘッダ Pのアクセス情報が補間された後は、図 10 (C) に示すように J PEG生データ P+ 1および J PEGヘッダ P+1のアクセス情 報が変数 i (=P + 2) に割り当てられる。
一方、 インデックス情報が図 11 (A) に示す要領で SDRAM26に設定さ れかつアクセス情報が図 12 (A) に示す要領でアクセス情報テーブル 52 bに 設定された後に数式 4に示す条件が満たされた場合、 ステップ S 61の処理によ つて、 図 11 (B) に示すように、 インデックス情報の一部が後続のインデック ス情報によって上書きされ、 図 12 (B) に示すようにアクセス情報の一部が後 続のアクセス情報によって上書きされる。
図 11 (A) によれば、 J P E Gデータ Pのィンデックス情報と J P E Gデー タ P+ 1のインデックス情報とが、 SDRAM26に設定されている。 この状態 で変数 f rmc n tがデイクリメントされるため、 次回のステップ S 43の処理 によって、 図 11 (B) に示すように、 J PEGデ一夕 P+1のインデックス情 報が J P E Gデータ P + 2のィンデックス情報によって上書きされる。 これによ つて、 J PEGデ一夕 P+1のインデックス情報が間引かれる。 J PEGデ一夕 P + 2のインデックス情報の次は、 図 11 (C) に示すように J PEGデータ P + 3のィンデックス情報が設定される。
図 12 (A) によれば、 J PEG生データ Pおよび J PEGヘッダ Pのァクセ ス情報と J PEG生デ一夕 P+ 1および J PEGヘッダ P+ 1のアクセス情報と が、 アクセス情報テ一ブル 52 bに設定されている。 この状態で変数 iがデイク リメントされるため、 次回のステップ S 45の処理によって、 図 12 (B) に示 すように、 J PEG生データ P+ 1および J PEGヘッダ P+ 1のアクセス情報 が J PEG生データ P + 2および J PEGヘッダ P + 2のアクセス情報によって 上書きされる。 これによつて、 J PEGデータ P+ 1のアクセス情報が間引かれ る。 J PEG生データ P + 2および J PEGヘッダ P + 2のアクセス情報の次は、 図 12 (C) に示すように J PEG生データ P + 3および J PEGヘッダ P+ 3 のアクセス情報が設定される。
なお、 ステップ S 53で変数 iがインクリメントされることで、 次回以降のス テツプ S 51では NOとの判断が継続する。 また、 ステップ S 61で変数 iがデ イクリメントされることで、 次回以降 NOステップ S 59では NOとの判断が継 続する。
ステップ S 63では、 変数 iをフレームレ一ト値 FP Sで割り算したときの余 り （= i %FPS) を判別する。 ここで余り力 "0"でなければ、 そのままステ ップ S 83に進むが、 余りが "0"であればステップ S 65〜S 81の処理を経 てステップ S 83に進む。 余り力 S "0" となるのは 30フレームの 1回であるた め、 ステップ S 65〜S 81の処理は 30フレームに 1回の割合で実行される。 ステップ S 65では変数 f 1 s zおよび p r e_f 1 s zに数式 5に従う演算 を施し、 ステップ S 67では数式 5によって求められた差分値 Δ f 1 s zと変数 BG— RemDa t aとフレームレート値 F P Sとに数式 6に従う演算を施す。
[数式 5]
A f 1 s z = f 1 s z— p r e一 f l s z
[数式 6]
t_s z = (Δ f 1 s z一 BG— R emD a t a) /FP S
数式 5において、 変数 f 1 s zは J PEG圧縮によって得られた J PEG生デ —夕のトータルサイズ値であり、 変数 p r e_f 1 s zは記録媒体 50に既に記 録された J PEG生データのトータルサイズ値である。 後述するように変数!） r e_f 1 s zは 30フレームに 1回に割合でしか更新されず、 数式 5に従う演算 もまた 30フレームに 1回の割合でしか更新されないため、 差分値△ f 1 s zは 最新の 30フレームで生成された J PEG生デ一夕のトータルサイズを示す。 数式 6において、変数 BG— RemDa t aは、 "ファイル書き込み"の指示が 指示リスト 52 aに設定されたが未だ記録媒体 50に記録されていない J PEG 生デ一夕の] タルサイズ値である。この変数 BG— RemDa t aは、 "フアイ ル書き込み" の処理に要する時間が短いほど小さくなり、 逆に "ファイル書き込 み" の処理に要する時間が長いほど大きくなる。 差分値 Δ f 1 s zからこのよう な変数 BG— RemDa t aを引き算した引き算値は、 現時点の "ファイル書き 込み" の処理速度を反映し、 この引き算値をフレームレー卜値 FPSで割り算し た割り算値は、 現時点の処理速度の下での変数 BG— RemDa t aの変動量が 規定の範囲内に収まる圧縮サイズ値となる。 かかる圧縮サイズ値が、 変数 t— s zとして算出される。
ここで、 "ファイル書き込み"の処理速度の変動要因としては、 CPU50 aの 処理速度やバッファメモリ 50 bの容量のような記録媒体 50の特性のほかに、 バス B 1の占有率や BG処理タスク以外のタスクの処理状況などが考えられる。 上述のように、 ズームキー 64の操作によって "1. 0" よりも大きいズーム 倍率が選択されると、 生画像デ一夕は、 SDRAM26に一旦格納されてから信 号処理回路 22に入力される。 このとき、 生画像デ一夕は、 バス B 1を介して S DRAM26に与えられ、 バス B 1を介して信号処理回路 22に戻される。 バス B 1の占有率は生画像データの転送処理によって上昇し、 これによつて "フアイ ル書き込み" の処理速度が低下してしまう。
また、 カメラのパンニングゃチルティングによって被写体の明るさや色あいが 大きく変化すると、 撮影条件制御タスクが起動して、 絞り氪 露光時間， 白パラ ンス調整ゲインなどが調整される。 各々のタスクを同時に実行することはできな いため、 撮影条件制御タスクが起動すると、 BG処理タスクは中断され、 これに よって "ファイル書き込み" の処理速度が低下してしまう。
この実施例では、 かかる "ファイル書き込み" の処理速度の変動を考慮して、 変数 t— s zを周期的に更新するようにしている。 変数 t— s zの更新の結果、 後述するように目標サイズ値ひいては J P E G圧縮率が更新される。
ステップ S 69では算出された変数 t— s zを変数 t r g t_s zと比較し、 t_s z< t r g t— s zであれば、 ステップ S 71で変数 t— s zを最小値 M I Nと比較する。 そして、 t— s z≥MINであればそのままステップ S 79に 進むが、 t— s z <M I Nであればステップ S 73で変数 t— s zを最小値 M I Nに更新してからステップ S 79に進む。 一方、 ステップ S 69で t— s z≥ t r g t— s zと判断されると、 ステップ S 75で変数 t— s zを最大値 MAXと 比較する。そして、 t— s z≤MAXであればそのままステップ S 79に進むが、 t— s z>MAXであればステップ S 77で変数 t— s zを最大値 MAXに更新 してからステップ S 79に進む。 ステップ S 79では、 変数 t— s zを変数 t r g t_s zとして設定する。
数式 6によれば、 変数 BG— RemDa t aが大きいと変数 t— s zが小さく なり、 逆に変数 BG— RemDa t aが小さいと変数 t— s zが大きくなる。 し たがつて、 " t— s zく t r g t— s z "は、未記録の J P E Gデータ量が多いこ と、 即ち "ファイル書き込み"の処理速度が遅いことを意味する。 また、 "t— s z≥t r g t— s z" は、 未記録の J PEGデータ量が少ないこと、 即ち記録媒 体 50の記録特性が優れていることを意味する。
そこで、 変数 t— s zが変数 t r g t__s zを下回るときは、 より小さい目標 サイズ値 （より高い J PEG圧縮率） を次の 1秒間で有効化するべく、 変数 t_ s zが変数 t r g t— s zとして設定する。 これによつて、 次回の 1秒間で生成 される J P E Gデータのサイズは今回の 1秒間で生成された J P E Gデータより も小さくなり、 "ファイル書き込み"の処理速度の低下に起因する処理の破綻が回 避される。
一方、 変数 t— s zが変数 t r g t— s z以上であるときは、 より大きな目標 サイズ値 （より低い J PEG圧縮率） を次の 1秒間で有効化するべく、 変数 t— s zを変数 t r g t— s zに設定する。 これによつて、 次回の 1秒間で生成され る J P E Gデータのサイズは今回の 1秒間で生成された J P E Gデータよりも大 きくなり、 圧縮処理に起因する画質の劣化が低減される。
ステップ S 81では、 変数 f 1 s zおよび BG— RemDa t aに数式 7の演 算を施して、 変数 p r e_f 1 s zを更新する。
[数式 7]
p r e― f 1 s z = f 1 s z— B G一 R e mD a t a
数式 7によれば、 これまでに生成された J PEG生データのトータルサイズ値 から、 未記録の J PEG生デ一夕のトータルサイズ値が引き算される。 この演算 もまた 30フレーム毎に実行されるため、 変数 p r e_f 1 s zは 30フレーム に 1回の割合で更新される。 次回つまり 30フレーム後の数式 5の演算では、 こ うして更新された変数 p r e_f 1 s zが最新の変数 f 1 s zから引き算される。 ステップ S 83では変数 f rmc n tをインクリメントし、 続くステップ S 8 5ではインクリメントされた変数 f rmc n tの値を判別する。 そして、 変数 f rmc n t力 S "1" または "2" であればそのままステップ S 95に進むが、 変 数 f rmc n tが " 3" であれば、 ステップ S 87〜S 93の処理を経てステツ プ S 95に進む。
ステップ S 87では音声データのインデックス情報を SDRAM26に書き込 む。 図 7に示すム一ビファイル上では、 3フレームに相当する時間の音声データ によって 1つの音声チャンクが形成される。 また、 インデックスチャンクでは、 音声データのファイル上の位置およびサイズは 3フレームに相当する時間毎に管 理される。 このため、 ステップ S 85では、 最新の 3フレームに相当する音声デ —夕の位置情報およびサイズ情報を作成し、 作成したインデックス情報を図 3に 示すように S D R AM 26に書き込む。
続くステップ S 89では音声データのアクセス情報をアクセス情報テーブル 5 2 bに書き込む。 つまり、 SDRAM 26に存在する 3フレーム相当の音声デー 夕の先頭ァドレス情報とサイズ情報とをアクセス情報として作成し、 作成したァ クセス情報をアクセス情報テーブル 52 bに書き込む。 このとき、 アクセス情報 は、 注目する 3フレームの J PEGデータのアクセス情報に関連付けられる。 ステップ S 91では、 アクセス情報テーブル 52 bに設定された 3フレーム分 の J PEG生データと、 3フレーム分の J PEGヘッダのアクセス情報と、 3フ レーム相当の音声データのアクセス情報とを参照して、 "ファイル書き込み"を図 4に示す指示リスト 52 aに設定する。 図 2に示すように、 3フレーム相当の音 声デ一夕は SDRAM 26上で連続するが、 3フレームの J PEG生データおよ び J PEGヘッダは SDRAM26上で離散的に分布する。 このため、 ステップ S 91では、合計 7つ分の"ファイル書き込み"を指示リスト 52 aに設定する。 この 7つの "ファイル書き込み" のうち 1番目に設定される "ファイル書き込 み" では、 SDRAMアドレスは注目する 3フレーム相当の音声デ一夕の開始ァ ドレスを示し、 データサイズは注目する 3フレ一ム相当の音声データのサイズを 示し、 そしてデータ種別は音声チャンクを示す。 ここで、 開始アドレスおよびデ 一夕サイズは、 ステップ S 87で作成されたアクセス情報を形成する SDRAM アドレスおよびデータサイズに等しい。
2番目， 4番目および 6番目に設定される "ファイル書き込み" では、 SDR AMアドレスは注目する 3フレームの J PEGヘッダの開始アドレスを示し、 デ 一夕サイズは注目する 3フレームの J PEGヘッダのサイズを示し、 そしてデー 夕種別は J PEGヘッダを示す。 ここで、 開始アドレスおよびデータサイズは、 ステップ S 45または S 57で作成された最新 3フレ一ムの J PEGヘッダのァ クセス情報を形成する S D R AMァドレスおよびデータサイズに等しい。
3番目， 5番目および 7番目に設定される "ファイル書き込み" では、 SDR AMァドレスは注目する 3フレームの J P E G生データの開始ァドレスを示し、 データサイズは注目する 3フレームの J PEG生データのサイズを示し、 そして データ種別は J PEG生デ一タを示す。 ここで、 開始アドレスおよびデータサイ ズは、 ステップ S 45または S 57で作成された最新 3フレームの J PEG生デ —夕のァクセス情報を形成する SDRAMアドレスおよびデータサイズに等しい。 このような指示リスト 52 aの指示が BG処理タスクで実行されることで、 3 フレーム相当の音声データと 3フレームの J P E Gデータとがメモリ制御回路 2 4によって SDRAM 26から読み出され、 バス B 1および I /F回路 46を通 して記録媒体 50に与えられる。 この結果、 音声チャンクおよび画像チャンクが 図 8に示すムービファイル上で交互に分布することになる。
ステップ S 93では、 ステップ S 91で指示リスト 52 aに設定した 3フレー ムの J PEG生データのサイズ値を変数 BG— Re mD a t aに加算するべく、 数式 8の演算を実行する。
[数式 8]
BG— RemDa t a = BG— RemDa t a+ J PEG生データサイズ値 ステップ S 95ではフレ一ム番号 iをインクリメントし、 続くステップ S 97 ではシャツタポタン 58の操作の有無を判別する。 シャツ夕ポタン 58が押され ない限りステップ S 21〜S 95の処理を繰り返し、 各フレームで生成された J PEGヘッダ， J PEG生データおよび音声データは、 SDRAM26に図 2に 示す要領でマツピングされる。
シャツ夕ポタン 58が押されるとステップ S 99に進み、 変数 f rmc n tの 値を判別する。 ここで変数 f rmc n tが " 3" であればそのままステップ S 1 03に進むが、 変数 f rmcn tが " 1" または "2" であればステップ S 10 1で "ファイル書き込み" を指示リスト 52 aに設定してからステップ S 103 に進む。
変数 f rmc n t力 S "1" の場合、 最後の音声チャンクおよび画像チャンクは 1フレーム分の音声デ一夕および J PEGデータによって形成され、 指示リスト 52 aには合計 3つの "フアイリレ書き込み"が設定される。 変数 f rmc n tが "2" の場合、 最後の音声チャンクおよび画像チャンクは 2フレーム分の音声デ 一夕および J PEGデ一夕によって形成され、 指示リスト 52 aには合計 5つの "ファイル書き込み"が設定される。 これによつて、 1フレーム分または 2フレ ーム分の音声データからなる音声チャンクと、 1フレームまたは 2フレームの J P E Gデ一夕からなる画像チャンクとが、 ムービファイルに形成される。 .
ステップ S 1 0 3では、 図 3に示すインデックス情報をムービファイルに書き 込むべく、 "ファイル書き込み"を指示リスト 5 2 aに設定する。ここで設定され る S D R AMァドレスおよびデータサイズは、 図 3に示すィンデックス情報の閼 始アドレスおよび合計サイズを示し、デ一夕種別はム一ビファイルヘッダを示す。 B G処理によってこの "ファイル書き込み"が実行されることで、 図 3に示す全 てのインデックス情報を含むインデックスチャンクがム一ビファイルの末尾に形 成される。
ステップ S 1 0 5では、 インデックス情報に含まれるサイズ情報に基づいてム ービファイルのトータルサイズを算出し、 算出されたトータルサイズデータを S D RAM 2 6に書き込む。続くステップ S 1 0 7〜S 1 1 1では、 "ファイル書き 込み"， "ファイルクローズ" および " B G処理終了" を指示リスト 5 2 aに設定 する。 "ファイル書き込み"で設定される S D RAMアドレスおよびデータサイズ はトータルサイズデータの先頭ァドレスおよびデータサイズを示し、 デ一夕種別 はム一ビファイルヘッダを示す。また、 "ファイルクローズ"では FILE— CLOSE がコマンドとして設定され、 " B G処理終了" では FILE— ENDがコマンドとし て設定される。
"ファイル書き込み" が B G処理によって実行されることで、 トータルサイズ 値がム一ビファイルヘッダのサイズ情報に追加される。 また、 "ファイルクロー ズ" が B G処理によって実行されることで、 ディレクトリエントリのサイズ情報 (ステップ S 1 5の処理に基づいて書き込まれたサイズ情報） が " 0 " からトー タルサイズ値に更新され、 力、つ今回作成されたムービファイルの書き込み領域に リンクが形成されるように： F AT領域 5 0 1 cの F AT情報が更新される。 B G 処理は、 "B G処理終了" によって終了する。
なお、 トータルサイズ値をムービファイルヘッダに書き込むためには、 書き込 み先アドレスを更新する必要があり、 実際には、 ステップ S 1 0 5の "ファイル 書き込み" の設定に先立って "シーク処理"が指示リスト 5 2 aに設定される。
B G処理タスクは、 図 2 0〜図 2 1に示すフロー図に従う。 まずステップ S 1 2 1で読み出し先のリスト番号 Lを " 0 " に設定し、 続くステップ S 1 2 3では リスト番号 Lから読み出されたコマンドが FILE— STRTであるかどうか判断す る。 ここで YE Sであれば、 ステップ S 1 2 5でリスト番号 Lをインクリメント し、 インクリメント後のリスト番号 Lから読み出されたコマンドの内容をステツ プ S 1 2 7， S 1 3 1 , S 1 3 5 , S 1 3 9 , S 1 4 7の各々で判別する。 読み出されたコマンドが FILE— CREATEであればステップ S 1 2 7で Y E S と判断し、 ステップ S 1 2 9でファイル作成処理を行う。 具体的には、 パラメ一 夕 1に設定されたドライブ番号によって記録媒体 5 0を特定し、 パラメ一夕 2に 設定されたファイルパスに基づいて記録媒体 5 0のディレクトリエントリにファ ィル名とサイズ 0を示すサイズ情報とを書き込む。 処理を終えると、 ステップ S 1 2 5に戻る。
読み出されたコマンドが FILE— SET— ALLOCであればステップ S 1 3 1で
o
Y E Sと判断し、 ステップ S 1 3 3でテーブル作成処理を行う。 つまり、 パラメ —夕 1に設定されたドライブ番号によって記録媒体 5 0を特定し、 F AT情報を 参照して図 7に示す空き領域テーブル 5 2 cを作成する。 処理を終えると、 ステ ップ S 1 2 5に戻る。
読み出されたコマンドが FILE— OPENであればステップ S 1 3 5からステツ プ S 1 3 7に進み、 ファイルオープン処理を行う。 つまり、 パラメ一夕 1に設定 されたドライブ番号によって記録媒体 5 0を特定し、 パラメ一夕 2に設定された フアイルパスに基づいてファィルを特定し、 そしてこのファイルに割り当てるハ ンドル番号を作成する。 作成したハンドル番号は撮影処理に用いられる。 処理を 終えると、 ステップ S 1 2 5に戻る。
読み出されたコマンドが FILE— WRITEであればステツプ S 1 3 9からステ ップ S 1 4 1に進み、 ファイル書き込み処理を行う。 具体的には、 パラメ一夕 1 に設定されたハンドル番号によって書き込み先のム一ビファイルを特定し、 パラ メータ 2および 3に設定された S D RAMアドレスおよびデータサイズに従って 読み出し開始アドレスおよび読み出しサイズを特定する。 そして、 読み出し開始 ァドレスおよび読み出しサイズに基づいて S D RAM 2 6からヮード単位でデー 夕を読み出し、 読み出したデ一夕を書き込み先のム一ビファイル情報とともに記 録媒体 5 0の C P U 5 0 aに与える。 パラメータ 3に設定された読み出しサイズが記録媒体 50に設けられたパッフ ァメモリ 50 bよりも大きければ、 バッファメモリ 50 bが満杯となつた時点で CPU50 aから CPU52に B U S Y信号が返送される。 ステップ S 141の 処理は、 BUSY信号に応答して中断される。 ノ ソファメモリ 50 bからハード ディスク 50 cへのデ一夕転送によってバッファメモリ 5 Obに十分な空き容量 が確保されると、 CPU50 aから CPU52に R E AD Y信号が返送される。 ステップ S 141の処理は、 この READY信号に応答して再開される。
パラメ一夕 3に設定された読み出しサイズに相当するデ一夕の記録媒体 50へ の転送が完了すると、 この読み出しサイズを積算するとともに、 1クラスタ分の 書き込みが完了する毎に書込クラス夕のリンク状態を示す FAT情報を作成する。 データサイズの積算値および FAT情報は、 SDRAM26に保持される。
ステップ S 143では、 パラメ一夕 4に設定されたデ一夕種別を判別する。 こ こでデータ種別が " J PEG生デ一夕" でなければそのままステップ S 125に 戻るが、 データ種別が " J PEG生データ" であれば、 ステップ S 145で数式 9に従う演算を実行してからステップ S 125に戻る。
[数式 9]
B G— R e mD a t a = B G_R emD t a-J PE G生データサイズ値 数式 9によれば、 パラメ一夕 3に設定されたデ一夕サイズが、 変数 BG— Re mD a t aから引き算される。 これによつて、 変数 B G— R e mD a t aが、 指 示リスト 52 aに設定されたが未だ記録媒体 50に記録されていない J P E G生 デ一夕のサイズを示すこととなる。
読み出されたコマンドが FILE— CLOSEであればステップ S 147からステ ップ S 149に進み、 ファイルクロ一ズ処理を行う。 具体的には、 オープンして いるム一ビファイルのファイル名に割り当てられたサイズ情報を SDRAM 26 に保持されたトータルサイズ値によって更新し、 SDRAM26によって保持さ れた FAT情報によって FAT領域 501 cの FAT情報を更新する。 処理が完 了すると、 ステップ S 125に戻る。
読み出されたコマンドが FILE— ENDであれば、ステップ S 147で NOと判 断し、 ステップ S 121に戻る。 BG処理は待機状態に移行する。 以上の説明から分かるように、 互いに関連する音声データと複数画面の J P E Gデータとに並行して記録処理を施すとき、 音声データの実処理量 （= 8 0 4 3 バイト 秒） と仮想処理量 （= 8 0 4 0バイト Z秒） との誤差が、 C？ U 5 2に よって 3 0フレーム毎に算出される （S51,S59)。算出された誤差が閾値を上回る と、 記録媒体 5 0に記録される J P E Gデ一夕のフレーム数が調整される (S53~S57,S61)。 具体的には、 インデックス情報およびアクセス情報の間引き 補間によってフレーム数が調整される。 このため、 音声ノイズの発生を防止し つつ、 再生動画像と再生音声との同期を確保することができる。
なお、 この実施例では、 J P E G方式で画像圧縮を行うようにしているが、 J P E G方式に代えて MP E G方式を採用し、 目標サイズ値を G〇 P単位で更新す るようにしてもよい。
また、 この実施例では、 目標サイズ値を 3 0フレーム毎に更新するようにして いるが、 ソフトウェア計算を容易にするために、 3 2フレーム， 6 4フレーム， 1 2 8フレームのような 2のべき乗に相当するフレーム数毎に目標サイズを更新 するようにしてもよい。
さらに、 この実施例では、 フレーム数を調整するかどうかの判断に用いる閾値 を 1フレーム相当の音声データ量 （= 2 6 8バイト） に設定するようにしている が、 この閾値は、 2 6 8バイトの整数倍としてもよい。
また、 この実施例では、 記録処理を行うときに J P E Gデータのフレーム数を 調整するようにしているが、 フレーム数の調整は再生処理の際に行うようにして もよい。
さらに、 この実施例では、 アクセス情報およびインデックス情報の両方に間引 き/補間を施すようにしているが、 インデックス情報のみに基づいて J P E Gデ —夕の再生順序を制御する場合は、 インデックス情報のみに間引き/補間を施す ようにしてもよい。 これによつて、 アクセス情報の間引き処理に起因する J P E Gデータの欠落を防止することができる。
さらにまた、 この実施例では、 動画像信号の記録方式として F AT方式を採用 しているが、 これに代えて UD F (Universal Disk Format) 方式を採用しても よい。 さらにまた、この実施例ではディジタルビデオカメラを用いて説明しているが、 この発明は、 たとえば T V番組を録画する据え置き型のハードディスクレコーダ にも適用できることは言うまでもない。
この発明が詳細に説明され図示されたが、 それは単なる図解および一例として 用いたものであり、 限定であると解されるべきではないことは明らかであり、 こ の発明の精神および範囲は添付されたクレームの文言によってのみ限定される。

Claims

請求の範囲
1 . 互いに関連する音声データと複数画面の静止画像データとを並行して処理 するデータ処理装置であって、 次のものを備える：
前記音声データの仮想処理量と実処理量との誤差を所定周期で算出する算出手 段；および
前記算出手段によって算出された誤差に基づいて前記静止画像データの画面数 を調整する調整手段。
2 . クレーム 1に従属するデータ処理装置であって、
処理された静止画像デ一夕の画面数をカウントするカウント手段；および 前記音声データの実処理量を 1画面期間毎に積算する積算手段をさらに備え、 前記算出手段は、 1画面に相当する仮想処理量を前記カウント手段によるカウ ント値に基づいて積算した第 1積算値と前記積算手段によって求められた第 2積 算値との差分を求める。
3 .クレーム 1または 2に従属するデータ処理装置であって、前記調整手段は、 前記誤差を N (N： 1以上の整数） 画面に相当する音声データの仮想処理量と比 較する比較手段、 および前記比較手段の比較結果に基づいて調整を行う調整実行 手段を含む。
4. クレーム 3に従属するデータ処理装置であって、 前記調整実行手段は、 前 記誤差が不足分の数値であるとき前記静止画像データの画面数を増加させる増加 手段、 および前記誤差が余剰分の数値であるとき前記静止画像データの画面数を 減少させる減少手段を含む。
5 . クレーム 3または 4に従属するデータ処理装置であって、
前記複数画面の静止画像データを一時的に格納するメモリ ；および
前記メモリに格納された静止画像データを処理順序情報に従う順序で読み出す 読み出し手段をさらに備え、
前記調整実行手段は前記比較手段の比較結果に基づいて前記処理順序情報を作 成する。
6 . クレーム 3ないし 5のいずれかに記載のデータ処理装置であって、 前記音声データおよび前記複数画面の静止画像データを記録媒体に記録する第 1記録手段；および
各画面の静止画像データのィンデックス情報を前記記録媒体に記録する第 2記 録手段をさらに備え、
前記調整実行手段は前記比較手段の比較結果に基づいて前記第 2記録手段によ つて記録されるインデックス情報に間引き Z補間を施す。
7 . クレーム 1ないし 6のいずれかに従属するデータ処理装置であって、 前記仮想処理量は前記実処理量に近似するかつソフトウェア計算に適した数値 を示す。
8 . クレーム 1ないし 7のいずれかに記載のデータ処理装置を備える、 ビデオ カメラ。
PCT/JP2003/011279 2002-09-10 2003-09-03 データ処理装置 WO2004025956A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020047007677A KR100581323B1 (ko) 2002-09-10 2003-09-03 데이터 처리 장치
AU2003264380A AU2003264380A1 (en) 2002-09-10 2003-09-03 Data processing device
EP03795288A EP1549062A4 (en) 2002-09-10 2003-09-03 DATA PROCESSING DEVICE
US10/526,897 US7382401B2 (en) 2002-09-10 2003-09-03 Data processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002-263768 2002-09-10
JP2002263768A JP4162454B2 (ja) 2002-09-10 2002-09-10 データ処理装置

Publications (1)

Publication Number Publication Date
WO2004025956A1 true WO2004025956A1 (ja) 2004-03-25

Family

ID=31986468

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/011279 WO2004025956A1 (ja) 2002-09-10 2003-09-03 データ処理装置

Country Status (7)

Country Link
US (1) US7382401B2 (ja)
EP (1) EP1549062A4 (ja)
JP (1) JP4162454B2 (ja)
KR (1) KR100581323B1 (ja)
CN (1) CN1330180C (ja)
AU (1) AU2003264380A1 (ja)
WO (1) WO2004025956A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4179831B2 (ja) * 2002-09-10 2008-11-12 三洋電機株式会社 動画像記録装置
US7634005B2 (en) 2004-11-15 2009-12-15 Mediatek Incorporation Method and apparatus for synchronized recording of audio and video streams
US7873106B2 (en) 2004-11-15 2011-01-18 Mediatek Inc. Method and apparatus for synchronized recording of audio and video streams
KR100639109B1 (ko) * 2005-03-23 2006-10-31 주식회사 코아로직 섬네일 제이피이지 이미지의 생성 장치, 그의 생성 방법 및그의 저장 매체
KR101156115B1 (ko) * 2005-05-18 2012-06-21 삼성전자주식회사 디지털 영상 처리 장치의 제어 방법
KR100709892B1 (ko) * 2005-07-20 2007-04-20 삼성테크윈 주식회사 디지털 이미지 리사이즈 방법 및 이를 수행하는 디지털이미지 처리장치
US20070186250A1 (en) * 2006-02-03 2007-08-09 Sona Innovations Inc. Video processing methods and systems for portable electronic devices lacking native video support
JP5018332B2 (ja) * 2007-08-17 2012-09-05 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
WO2009069254A1 (ja) * 2007-11-27 2009-06-04 Panasonic Corporation 動画像再生装置、デジタルカメラ、半導体集積回路および動画像再生方法
KR101607295B1 (ko) * 2009-07-31 2016-04-11 엘지전자 주식회사 압축 파일 생성 방법 및 장치, 이와 관련된 카메라 모듈 및 이를 포함하는 단말기
KR101490468B1 (ko) * 2010-02-04 2015-02-06 삼성전자 주식회사 데이터 처리 장치 및 방법
JP6190236B2 (ja) * 2013-10-10 2017-08-30 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121276A (ja) * 1992-10-07 1994-04-28 Nec Corp 画像及び音声情報の圧縮再生システム
JPH08102908A (ja) * 1994-10-03 1996-04-16 Canon Inc 再生装置
JPH11164256A (ja) * 1997-11-26 1999-06-18 Nec Corp オーディオ・ビデオ同期再生装置及び方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3255308B2 (ja) * 1992-12-18 2002-02-12 ソニー株式会社 データ再生装置
KR100307618B1 (ko) * 1994-05-31 2001-11-30 윤종용 영상부호화방법및장치
JPH08212071A (ja) 1995-02-02 1996-08-20 Mitsubishi Electric Corp 命令コード生成方法
US6115421A (en) * 1996-04-25 2000-09-05 Matsushita Electric Industrial Co., Ltd. Moving picture encoding apparatus and method
JP3193947B2 (ja) * 1997-01-08 2001-07-30 株式会社ディジタル・ビジョン・ラボラトリーズ データ送信システム及びデータ送信方法
JPH10228728A (ja) * 1997-02-17 1998-08-25 Sony Corp デジタル信号記録方法及び装置、デジタル信号再生方法及び装置
US6160847A (en) * 1998-06-26 2000-12-12 Lsi Logic Corporation Detection mechanism for video channel underflow in MPEG-2 video decoding
US6963608B1 (en) * 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6643402B1 (en) * 1999-03-23 2003-11-04 Sanyo Electric Co., Ltd Image compression device allowing rapid and highly precise encoding while suppressing code amount of image data after compression
US7145597B1 (en) * 1999-10-28 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for image processing
JP3941305B2 (ja) * 1999-11-22 2007-07-04 ソニー株式会社 光ディスク装置及びデータ再生方法
JP3495709B2 (ja) 2001-01-12 2004-02-09 三洋電機株式会社 データ記録装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121276A (ja) * 1992-10-07 1994-04-28 Nec Corp 画像及び音声情報の圧縮再生システム
JPH08102908A (ja) * 1994-10-03 1996-04-16 Canon Inc 再生装置
JPH11164256A (ja) * 1997-11-26 1999-06-18 Nec Corp オーディオ・ビデオ同期再生装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1549062A4 *

Also Published As

Publication number Publication date
AU2003264380A1 (en) 2004-04-30
US20060164519A1 (en) 2006-07-27
EP1549062A1 (en) 2005-06-29
JP4162454B2 (ja) 2008-10-08
CN1606877A (zh) 2005-04-13
EP1549062A4 (en) 2010-06-02
KR20040054788A (ko) 2004-06-25
CN1330180C (zh) 2007-08-01
US7382401B2 (en) 2008-06-03
KR100581323B1 (ko) 2006-11-17
JP2004104471A (ja) 2004-04-02

Similar Documents

Publication Publication Date Title
US8208792B2 (en) Content shooting apparatus for generating scene representation metadata
JP3819669B2 (ja) ディジタルカメラ
JP4179831B2 (ja) 動画像記録装置
WO2006129868A1 (ja) 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム
WO2004025956A1 (ja) データ処理装置
JP4992639B2 (ja) コンテンツ撮影装置
JP4161773B2 (ja) 映像編集装置，映像編集装置の処理方法
JP2009194770A (ja) 撮像装置、動画再生装置及びそのプログラム
US7146052B2 (en) Image processing apparatus and surveillance camera system utilizing the same
JP5213503B2 (ja) 記憶再生装置
JP2002207625A (ja) データ記録装置
US20130063621A1 (en) Imaging device
US7509019B2 (en) Contents editing apparatus with frequency adjustment
US20030113099A1 (en) Image recording apparatus
JP4717101B2 (ja) 動画像記録装置
JP2003189227A (ja) 画像記録装置
JP4262913B2 (ja) 画像処理装置
JP2003125385A (ja) 画像処理装置
JP3789346B2 (ja) 動画像記録再生装置
JP6332963B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2000184330A (ja) ディジタルカメラ
JPH0870420A (ja) 電子スチルカメラおよび該電子スチルカメラの画像データ記録方法
JP2003309817A (ja) 動画像再生装置
JP2003101931A (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020047007677

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038017423

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2003795288

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006164519

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10526897

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2003795288

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10526897

Country of ref document: US