WO2005041569A1 - ファイル記録装置及びビデオエフェクトの編集方法 - Google Patents

ファイル記録装置及びビデオエフェクトの編集方法 Download PDF

Info

Publication number
WO2005041569A1
WO2005041569A1 PCT/JP2004/015287 JP2004015287W WO2005041569A1 WO 2005041569 A1 WO2005041569 A1 WO 2005041569A1 JP 2004015287 W JP2004015287 W JP 2004015287W WO 2005041569 A1 WO2005041569 A1 WO 2005041569A1
Authority
WO
WIPO (PCT)
Prior art keywords
effect
atom
track
data
recording
Prior art date
Application number
PCT/JP2004/015287
Other languages
English (en)
French (fr)
Inventor
Hiroyuki Kihara
Satoshi Tsujii
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP04792504A priority Critical patent/EP1684512A4/en
Priority to US10/572,807 priority patent/US7565058B2/en
Publication of WO2005041569A1 publication Critical patent/WO2005041569A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525—Magneto-optical [MO] discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2545—CDs

Definitions

  • the present invention relates to a file recording device applied to a video camera or the like that records an imaging result using a QT format file, and further relates to a video effect editing method.
  • the Quick Time file format (hereinafter referred to as the QT format) has been widely known as a file format compatible with multimedia.
  • an ISO Base Media file format MPEG4— Partl2
  • MP4 MPEG4-part14
  • Motion JPEG2000 MJ2
  • AVC Advanced Video Coding: MPEG4-partl5
  • the movie atom forms various atoms with a hierarchical structure by grouping management information for each attribute.
  • various tracks and the like are created by the management information block corresponding to the type of the actual data by the atom having the hierarchical structure.
  • a movie atom when the media data is video data and sound data, a video track and an audio track are formed, respectively, and each track corresponds to a corresponding movie data atom (Movie Data Atom). It is designed to manage data.
  • the video track has a video Image data of still images as well as video data is allocated.
  • data in which video data and audio data are multiplexed such as MPEG2-PS (Program Stream) data
  • the track to which the management information is assigned is not classified as a video track, and is called a base media track.
  • the video data is assigned to! /
  • the actual data by any of the tracks is edited, it is subject to editing.
  • the term “video track” is used to include a base media track for managing actual data including video data, as appropriate.
  • a reference is made to a video track, it means a track other than a sound track to which video data management information is assigned.
  • a movie data atom (Movie Data Atom) has real data separated by a sample (Sample), which is a predetermined minimum management unit.
  • sample which is a predetermined minimum management unit.
  • management information is assigned to each of the minimum management units of the real data. It is set to Movie Atom.
  • one frame or lGOP Group Of Pictures
  • one sample (Sample) is usually set to one sample (Sample) in consideration of processing convenience. ing.
  • video data that has been actually converted into actual data that has been subjected to effect editing is assigned to a movie data atom (Movie Data Atom), and the video data By forming a movie atom (Movie Atom) from video tracks, a file based on the edited result can be created.
  • a movie data atom Movie Atom
  • the QT format uses a movie data atom (Movie Data Atom) based on original video data instead of a movie data atom (Movie Data Atom) based on edited video data that has already been processed with an effect.
  • a movie data atom (Movie Data Atom)
  • Menose Data Atom a movie data atom
  • an effect track to which management information relating to the editing process is assigned is generated as a movie atom (Movie Atom)
  • the input source of the effect track is a movie data corresponding to the original video data.
  • An atom (Movie Data Atom) is assigned.
  • a display device mounted on a mopile device or the like is small, and thus the amount of information that can be displayed is limited. Therefore, when applying an effect to a movie, it is difficult to prepare an editing screen that displays a plurality of continuous frames and sets an effect section. Disclosure of the invention
  • An object of the present invention is to provide a novel file recording apparatus and a video effect editing method which can solve the problems of the conventional technology.
  • Another object of the present invention is to provide an apparatus which can implement video effects and record and Z or play back video and audio using a file format based on the QT format, when the movie is recorded, the original movie, Decide to create multiple Movie Atoms (Movie Atoms) for different purposes, such as movies with effects applied to the movie.
  • Movie Atoms Motion Atoms
  • Still another object of the present invention is to automatically create a Movie Atom having an effect track by an instruction such as pressing a button in a section where the user wants to apply an effect during movie recording and / or playback. , To be edited.
  • management information for managing actual data is organized in a hierarchical structure, and management information having at least a video track based on the video data management information and an effect track based on the EQ management information set for the video data is provided. Recorded as a file having a block and at least a block of actual data having actual data related to the effect track.
  • a file recording / reproducing apparatus for recording / reproducing video data via a recording medium comprising: a recording / reproducing unit for recording / reproducing actual data and data of a box of management information via a recording medium;
  • the management information is sequentially acquired and stored in the memory in accordance with the recording and reproduction of the actual data, and upon completion of the recording of the actual data, the data of the management information box is transmitted to the recording / reproduction unit by the management information retained in the memory.
  • the data processing unit to be output and the input of the user, and the creation and deletion of effect tracks, and the creation, processing, and deletion of effect track sections within the effect tracks are implemented. Create multiple pieces of management information for different playback purposes, such as original movies, movies with effects applied to the movies, etc. Provided with a control unit.
  • the present invention has management information for managing actual data arranged in a hierarchical structure, and has at least a video track based on video data management information and an effect track based on effect management information set for video data.
  • Video effect editing in a file recording / reproducing apparatus that records and reproduces video data via a recording medium as a file having a block of management information and at least a block of actual data having actual data relating to an effect track.
  • This method accepts user input and implements editing functions for creating and deleting effect tracks, creating, processing, and deleting effect track sections within the effect track. Movie with effects applied to the movie The different management information of reproduction purposes such as a movie is obtained so as to create multiple.
  • the effect can be easily applied simply by pressing a button or the like in a section where the user selects the desired effect type 'parameter and applies the effect. Movie can be created.
  • a desired effect is selected at the time of recording or playback of video data, and the editing work is realized by turning the effect ONZOFF at an arbitrary place. do not need. If this operation is performed in an effect section where effects are already applied, effects can be switched or multiple effects can be changed. You can easily create a movie of the game.
  • the effect is not applied, and the original state can be easily restored.
  • FIG. 1 is a block diagram showing a video disk device used as a recording / reproducing unit of a video disk camera to which the present invention is applied.
  • FIG. 2 is a diagram showing an example of a simplified structure of a QT-based file recorded on an optical disc.
  • FIG. 3 is a diagram showing the structure of a QT-based file that handles audio data and image data.
  • FIG. 4 (A)-(C) of FIG. 4 are diagrams showing the first half of an atom structure called a one-source effect in QT, which is described in a C-language style.
  • FIG. 5 Fig. 5 (A)-(C) shows two-source effect implementation examples of the track configuration in a movie file, the outline of the movie atom (Movie Atom) structure, and the movie data atom (Movie Data Atom).
  • FIG. 5 (A)-(C) shows two-source effect implementation examples of the track configuration in a movie file, the outline of the movie atom (Movie Atom) structure, and the movie data atom (Movie Data Atom).
  • FIG. 6 is an external perspective view showing a video disk camera equipped with a video disk device.
  • FIG. 7 is a diagram showing an effect section table.
  • FIG. 8A to FIG. 8D are diagrams for explaining processing for organizing the effect section table
  • FIG. 8A shows the original effect section table
  • FIG. 8B shows the state after the section table of FIG. 8C shows the original effect section table
  • FIG. 8D shows the effect section tables 1 and 2 after the effect section table shown in FIG. 8C is arranged.
  • FIGS. 9A to 9D are diagrams showing states of effect section entries corresponding to processing for organizing the effect section table.
  • FIG. 10 is a flowchart showing an effect section registration process A of a multiple effect type. It is.
  • FIG. 11 is a diagram showing an example of a state of an effect section table immediately after the effect section registration processing A of the multiple effect type.
  • FIG. 12 is a flowchart showing an effect section registration process B of a multiple effect type.
  • FIG. 13 is a diagram showing an example of the state of the effect section table immediately after the effect section registration processing B of the multiple effect type.
  • FIG. 14 is a flowchart showing an overwrite-type effect section registration process A
  • FIG. 15 is a diagram showing an example of a state of an effect interval table immediately after the overwriting type effect interval registration process A;
  • FIG. 16 is a flowchart showing an overwrite-type effect section registration process B
  • FIG. 17 is a diagram showing an example of the state of the effect interval table immediately after the overwrite type effect interval registration process B;
  • FIG. 18 is a diagram showing a mark table.
  • FIG. 19 is a flowchart showing a procedure of a process executed by a user input unit.
  • FIG. 20 shows a case where an effect is designated by a user's instruction during recording and shooting.
  • FIG. 3 is a flowchart illustrating a procedure of a process executed by a main unit.
  • FIG. 21 shows a case where an effect is designated by a user's instruction during recording and shooting.
  • FIG. 3 is a flowchart illustrating a procedure of a process executed by a main unit.
  • FIG. 22A to FIG. 22E are diagrams showing specific examples of processing executed by the main unit.
  • FIG. 23 is a flowchart showing a procedure of a reproducing process executed by the main unit at the time of reproducing.
  • FIG. 24A to FIG. 24D are diagrams showing specific examples of the reproduction processing executed by the main unit.
  • FIG. 25A and FIG. 25B are diagrams showing specific examples of the reproduction processing executed by the main unit.
  • FIG. 26A to FIG. 26D are diagrams showing a specific example of a reproduction process executed by the main unit.
  • FIG. 27A and FIG. 27B are diagrams showing specific examples of a reproduction process executed by the main unit.
  • FIG. 28 is a flowchart showing a procedure of processing executed by the main unit when a time axis is marked by an instruction from a user.
  • FIG. 29A to FIG. 29D are diagrams showing a specific example of a process of creating an effect section.
  • FIG. 30A to FIG. 30C are diagrams showing a specific example of a process of creating an effect section.
  • MPEG4 MPEG4
  • the present invention is applied to, for example, a video disk camera that records a signal compressed by MPEG using an optical disk as a recording medium in a QT-based file format.
  • FIG. 1 is a block diagram showing a video disk device 30 to which the present invention is applied.
  • the video disk device 30 is used as a recording / reproducing unit of a video disk camera.
  • a video disk device 30 shown in FIG. 1 acquires a video signal and an audio signal of a subject by an imaging unit and an audio acquisition unit (not shown), records an imaging result based on the video signal and the audio signal on the optical disk 20, and The imaging result recorded on the LCD 20 is reproduced and displayed on a display unit using a liquid crystal display panel, output from an audio output unit using a speaker, and output to an external device.
  • a spindle motor 21, a magnetic head 22 for recording and reproducing data via an optical disc 20, and An optical head 23 is provided.
  • the video disk device 30 receives a video encoder 1 to which a video signal Vs of a subject obtained by an imaging unit is input and an audio signal Au obtained by an audio obtaining unit (not shown).
  • An audio encoder 2 a video decoder 3 for outputting a video signal Vs to a display means such as a liquid crystal display panel (not shown), and an audio signal for outputting an audio signal Au to an audio output unit for a short time (not shown)
  • File generator 5 connected to decoder 4, video encoder 1 and audio encoder 2, file decoder 6 connected to video decoder 3 and audio decoder 4, file generator 5 and file
  • the memory controller 7 connected to the decoder 6, the memory 8 and the error correction code Z connected to the memory controller 7, and the error correction code
  • a memory 10 and a data modulator / demodulator 11 connected to the Z decoder 9; and a magnetic field modulation driver 12 connected to the data modulator / demodulator 11.
  • a magnetic head 22 is connected to the magnetic field modulation driver 12.
  • the video disk device 30 includes a system control microcomputer (hereinafter, referred to as a system control microcomputer) 13, a drive control microcomputer (hereinafter, referred to as a drive control microcomputer) 14, and a servo circuit 15.
  • a system control microcomputer hereinafter, referred to as a system control microcomputer
  • a drive control microcomputer hereinafter, referred to as a drive control microcomputer
  • a video signal is input to the video encoder 1 and encoded, and an audio signal is input to the audio encoder 2 and encoded.
  • the video and audio encoders 1 and 2 perform, for example, MPEG video compression and audio compression.
  • the video encoder 1 performs analog-to-digital conversion processing on a video signal obtained as an imaging result to generate video data, performs encoding processing on the video data in accordance with the MPEG format, and performs an elementary operation based on the video data. Output a stream.
  • the audio encoder 2 performs an analog-to-digital conversion process on an audio signal obtained as an imaging result to generate audio data, encodes the audio data in accordance with an MPEG format, and performs an elementary operation based on the audio data. Output stream.
  • the compressed video data and audio data are multiplexed by the file generator 5 in synchronization with encoding of video and audio.
  • the file generator 5 stores information for managing real data to be multiplexed called a movie atom (type name: 'moov) for generating a file format conforming to the QT format described later.
  • the part includes the mounting memory and the software and hardware built on that memory.
  • This Movie Atom is not something that is recorded on the disk at any time during one recording and shooting, but can be completed only after recording and shooting is completed.
  • the information is recorded on the disk at the end of the recording and photographing as needed.
  • the actual data to be multiplexed is stored in a part called the media data atom (type name: 'mdat') in the QT format described later, which is different from the movie atom (Movie Atom). At any time during recording, it is recorded on the disc through the following processing.
  • the multiplexed data is sequentially written to the memory 8 via the memory controller 7.
  • the memory controller 7 reads the multiplexed video data and audio data from the memory 8 in response to the data write request to the disk input by the system control microcomputer 13 and outputs the multiplexed video data and audio data to the error correction code Z decoder 9. I do.
  • the multiplexed data is usually stored almost continuously in the memory.
  • reading of the memory 8 is performed intermittently while the system control microcomputer 13 monitors that the memory 8 does not overflow or underflow.
  • the file generator 5 synchronizes and multiplexes the elementary streams of video data and audio data output from the video encoder 1 and the audio encoder 2 during recording, and performs the multiplexing processing. Create QT file under control. For this reason, the file generator 5 multiplexes the sequentially input video data and each elementary stream of the audio data, and sequentially outputs the data of the movie data atom (Movie Data Atom). Data necessary for generating a movie atom (Movie Atom) is added to memory 8 corresponding to the data of (Data Atom). When the recording of the movie data atom (Movie Data Atom) is completed, the data force held in the memory 8 is generated and output.
  • the error correction code Z decoder 9 writes the multiplexed data input from the memory controller 7 into the memory 10, adds a code for interleaving and error correction, reads the multiplexed data from the memory 10 again, and reads the multiplexed data from the memory 10 again. Is output to the data modulator / demodulator 11.
  • the data modulator / demodulator 11 performs a predetermined modulation for recording on the optical disc 20, and then outputs the signal to the magnetic field modulation driver 12 and simultaneously outputs a signal for driving the optical head 23.
  • the magnetic field modulation driver 12 drives a magnetic field coil to apply a magnetic field to the optical disc 20 according to the input signal.
  • the optical head 23 irradiates a recording laser beam onto the optical disc 20 to record a signal on the optical disc 20.
  • the recording operation on the optical disc 20 performs recording processing on intermittent data read from the memory controller 7. Therefore, normally, continuous recording is not performed.
  • the operation to interrupt the operation and wait until the next recording request is performed. In these operations, in response to a request from the system control microcomputer 13, a request is issued to the drive control microcomputer 14 and the servo circuit 15 to control the entire disk drive.
  • the optical disk 20 as a disk-shaped recording medium is a magneto-optical disk (MO:
  • a rewritable optical disk such as a Magneto-Optical Disk) or a phase change disk is used.
  • the spindle motor 21 controls a constant linear velocity (CLV: Constant Linear Velocity), a constant angular velocity, (CAV: Constant Angular Velocity), and a constant CLV (ZCLV: Zone constant) under the control of the servo circuit 15.
  • the optical disc 20 is rotationally driven under conditions such as Linear Velocity.
  • the servo circuit 15 controls the operation of the spindle motor 21 based on various signals output from the optical head 23, and executes a spindle control process. Similarly, the servo circuit 15 performs tracking control and focus control of the optical head 23, seeks the optical head 23 and the magnetic field head 22, and executes processes such as focus search.
  • the drive control microcomputer 14 controls operations such as seeking in these servo circuits 15 in accordance with instructions from the system control microcomputer 13.
  • the optical head 23 irradiates the optical disk 20 with a laser beam and receives the return light thereof in a predetermined manner.
  • the light is received by the element and the result of the light reception is processed to generate and output various control signals, and a reproduced signal whose signal level changes according to the pit row and mark row formed on the optical disc 20 is output. I do.
  • the operation of the optical head 23 is switched by the control of the system control microcomputer 13, and when the optical disk 20 is a magneto-optical disk, the light amount of the laser beam applied to the optical disk 20 is intermittently started during recording. That is, in the video disk device 30, the imaging result is recorded on the optical disk 20 by a so-called "nor-strain" method.
  • the optical head 23 changes the light amount of the laser beam applied to the optical disk 20 from the light amount at the time of reproduction to the light amount at the time of writing according to the output data of the data modulator / demodulator 11.
  • the imaging result is recorded on the optical disk 20 by applying the thermal recording method.
  • the file generation is performed.
  • the QT format file is converted into a QT format file by the modulator 5, and the QT format file is sequentially converted by the optical head 23 and the magnetic field head 22 through the memory controller 7, the error correction code Z decoder 9, and the data modulator / demodulator 11. To record.
  • a laser beam for reproduction is irradiated on the optical disk 20 by the optical head 23, and the amount of the beam reflected from the optical disk 20 is photoelectrically converted into an electric signal. obtain.
  • playback as in the case of recording, when playback is performed at a transfer rate higher than the multiplexed signal of video and audio data to be recorded, continuous playback is usually performed. Instead, when a certain amount of data is reproduced, the reproduction operation is interrupted and an operation is performed to wait for the next reproduction request. In these operations, as in the recording operation, a request is issued to the drive control microcomputer 14 and the servo circuit 15 in response to a request from the system control microcomputer 13 to control the entire disk drive.
  • the signal reproduced by the optical head 23 is input to the data modulator / demodulator 11 and subjected to a predetermined demodulation process, and then temporarily written to the memory 10 via the error correction code Z decoder 9
  • the error correction code Z decoder 9 performs deinterleaving and error correction processing. Since the error-corrected data is restored as multiplexed data of video data and audio data, the data is written to the memory 8 via the memory controller 7.
  • the multiplexed data written to the memory 8 is output to the file decoder 6 according to the request of the system control microcomputer 13 in synchronization with the synchronization demultiplexing, and separated into video data and audio data. You.
  • the file decoder 6 decodes the actual data management information stored in the movie atom (type name: 'moov') and multiplexes and stores it in the media data atom (type name: 'mdat') Interpret how to decode and output the decoded real data.
  • the separated video data is decoded by the video decoder 3 and output as a video signal.
  • audio data is decoded by the audio decoder 4 and output as an audio signal.
  • the system control microcomputer 13 reproduces a signal from the optical disk 20 and a data amount read from the memory 8 and output to the video decoder 3 and the audio decoder 4 in order to continuously reproduce the video data and the audio data. Then, the amount of data written to the memory 8 is monitored, and the memory controller 7 and the drive control microcomputer 14 are requested to read data of the disk capacity so that the memory 8 does not overflow or underflow.
  • optical disk in this example is a force-change disk described assuming a magneto-optical disk that performs magnetic field modulation.
  • the QT format is a file format created as an extended function of the OS (Operating System) for playing moving images without using special hardware.
  • the QT format is a time-based multimedia file format that can play back real-time data in various formats such as video, audio, still images, text, MIDI, etc. on a single time axis. It has been made to support the above streaming.
  • the actual data in these various formats is stored as individual tracks as media data, and the actual data tracks of moving images, voices, and characters are respectively recorded in video tracks, sound tracks (audio tracks), and audio tracks. It is called a text track and is strictly managed on the time axis.
  • QT files also contain video data and formats.
  • MPEG2-PS track that manages multiplexed data such as MPEG2-PS (Program Stream) data.
  • a QT file is roughly divided into two parts called a movie atom (type name: 'moov') and a movie data atom (type name: 'mdat').
  • a set of tracks forms a movie data atom (Movie Data Atom), and management information of each track of the movie data atom (Movie Data Atom) is put together to form a movie atom (Movie Atom).
  • an atom may be expressed as a box.
  • a movie atom (Movie Atom) may be expressed as a movie resource (Movie Resource).
  • a media data atom Media Data Atom may be expressed as movie data (Movie Data).
  • the movie atom (Movie Atom) stores the time information necessary to play this QT-based file and the location information necessary to refer to the actual data ('mdat').
  • the media data atom (Media Atom) Data Atom) stores actual video and audio data.
  • the QT-based file format eliminates the need to store 'moov' and 'mdat' in a single file.
  • the management information for specifying the external file name including the media data to be externally referenced using, for example, a relative path or an absolute path on the recording medium is also included in the Movie Atom. It can be stored inside.
  • FIG. 2 shows a simplified example of the structure of a QT-based file recorded on the optical disc 20.
  • the optical disc 20 shown in FIG. 2 has two types of QT files Fl and F2 recorded thereon.
  • One QT file F1 has a movie atom (Movie Atom) and a media data atom (Media Data Atom) as a set. This is an inclusive file.
  • Another QT file F2 is an externally referenced file that consists of only movie atoms (Movie Atom) and refers to actual data in another file.
  • Fig. 3 shows a QT-based firmware that handles audio data and image data as an example. 2 shows the structure of a file.
  • the largest components are a movie atom (Movie Atom) 110 and a media data atom (Media Data Atom) 120.
  • the movie atom (Movie Atom) stores time information necessary for playing the file, location information for referencing actual data, and the like.
  • a media data atom (Media Data Atom) 120 stores actual data such as video and audio.
  • the Movie Atom 110 has multiple hierarchies, called tracks, for storing different types of media data such as sound, video, and text as separate tracks, as necessary. I do.
  • Each track (Track) has a media hierarchy for managing the compression method, storage location, and display time of each real data, and among them, a media data atom (Media) that stores the real data.
  • Data Atom The size of the sample (Sample) as the minimum management unit that indicates the unit in which data is stored in 120, and the chunk (Chunk) obtained by collecting several samples (Sample) Information such as the storage location of the chunk and the display time of each sample is stored.
  • the movie atom (Movie Atom) 110 has a hierarchical structure of track atoms ('trak,) describing information on data for each track stored in the media data atom (Media Data Atom) 120.
  • the track atom has a hierarchical structure of media atoms ('mdia') that describe information on actual data actually used in the track.
  • a media atom has a hierarchical structure of media information atoms ('minf,) that describe information represented by the media type.
  • the media information atom (Media Information Atom) has a hierarchical structure of a sample table atom ('stbl') that describes information on a sample (Sample) which is the minimum management unit of the actual data of the medium. It should be noted that this movie atom diagram describes details of one video track, and although not shown, a similar structure is described for an audio track.
  • the movie atom (Movie Atom) 110 includes a movie header atom ('mvhd,) describing header information relating to the entire file.
  • the track atom (Track Atom) includes a T track header atom ('tkhd') that describes header information relating to the entire track, and an edit atom ('edts,) that describes information about the time relationship with the media that constitutes the track. included.
  • the edit atom (Edit Atom) includes an edit atom ('elst') that describes the relationship between the time axis of the track and the time axis of the media.
  • the media atom (Media Atom) 110 includes a media header atom ('mdhd,) which describes header information relating to the entire medium, and a handler reference atom (' hdlr,) which describes information regarding handling of each medium. .
  • the media information atom includes a video media header atom ('vmhd') that describes header information related to video media if it is a video track, and a handler reference atom ('hdlr, ), A data information atom ('dinf,) that describes information about the storage location of the data to be actually referenced.
  • the data information atom includes a data reference atom ('dref') that describes the storage method, location, and file name of the actual data to be referenced. For an audio track, it is included instead of the sound media header atom (' sm hd') 1S video media header atom ('vmhd,') that describes header information related to sound media.
  • the sample table atom contains a sample description atom ('s tsd') that describes information about the compression method and characteristics of each sample (Sample), and the relationship between each sample (Sample) and time.
  • a chunk atom ('stsc,) that describes the chunk, a chunk offset atom (' stco,) that describes the starting position of each chunk from the beginning of the file, and the random accessibility of each sample (Sample)
  • Table 1 shows a list of almost equivalent atom structures in C language style. Note that the structure shown in Fig. 3 and Table 1 is an example of a file structure based on the QT format, and there are other atom types that are used in addition to the structure shown here. ing.
  • a media data atom includes, for example, audio data encoded by a compression encoding method based on MPEG1 Audio Layer 2, and encoding by a compression encoding method conforming to the MPEG2 Video specification, for example.
  • the image data is stored in chunks each composed of a predetermined number of samples.
  • the encoding method is not limited to these.
  • Motion JPEG, Motion JPEG2000, MPEG4 and AVC Advanced Video Coding: MPEG4—partlO
  • audio such as Dolby AC3 and ATRAC (Adaptive Transform Acoustic Coding) can be used. It is also possible to store non-compressed linear data.
  • Tables 1 and 2 show examples of QT-based atom structures including video effects in the present invention, which are described in a C language style.
  • Atom Type Movie atom ⁇ I moov I ⁇ Header atom I mvhd 'I Track atom (video 1) ⁇ I trak, I
  • Track atom (video 2) ⁇ trak, Track Header atom I tkhd 'I Edit atom ⁇ edts' I
  • the atom structure shown in Fig. 3 and Tables 1 and 2 is an example of a file structure based on the QT format, and there are atom types used other than the structure shown here. The main ones are shown.
  • a media data atom includes, for example, audio data encoded by a compression encoding method based on MPEG1 Audio Layer 2, and encoding by a compression encoding method conforming to the MPEG2 Video specification, for example.
  • the image data is stored in chunks each composed of a predetermined number of samples.
  • the encoding method is not limited to these.
  • Motion JPEG, Motion JPEG2000, MPEG4 and AVC Advanced Video Coding: MPEG4—partlO
  • audio such as Dolby AC3 and ATRAC (Adaptive Transform Acoustic Coding) can be used. It is also possible to store non-compressed linear data.
  • the files shown in Table 1 are the effect tracks that apply the desired video effect to one video track that is the target track (source track) to which the effect is applied, which is called the “one-source effect” in QT. It is a basic thing including. Examples of effects that can be realized include monochrome-to-sepia conversion and shaking mosaic as examples of filtering effects for one video source.
  • the files shown in Table 2 apply the desired video effects to the two video tracks that are the target tracks (source tracks) to which the effects are applied, which are called two-source effects in QT. This is a basic thing including the effect track to be applied.
  • an open crossfade or the like can be given.
  • a track that is an input source for the above-described effects is a video track, and video data and audio data are multiplexed, such as an MPEG-PS track.
  • the track atom of the effect track requires a track reference atom ('t ref,) that describes information for specifying the reference relationship with the source track to which the effect is applied.
  • 't ref track reference atom
  • Track reference type atom ('ssrc'). Note that in a single source effect with one source track, the track reference type atom (Track Reference Type Atom) has one track ID, and in a two-source effect with two source tracks, two. Become.
  • the media atom (Media Atom) of the effect track includes a track input map atom ('imap') which describes information about a source track which is an object to which an effect is applied to the effect track and which is an input to the effect track. )Is required.
  • the track input map atom (Track Input Map Atom) is slightly different from the atom structure that has appeared so far, and is composed of what is called the QT atom structure in QT.
  • the QT atom container ('sean') is the Multiple track input QT atoms ('in,) packed by the container as the upper atom are included as necessary.
  • the track input QT atom contains an input type QT atom ('ty') that specifies that the input source is video media, and a data that gives a unique name to the source track.
  • Data source type QT atom ('dtst,) is included.
  • the actual data of the effect track is stored in the movie data atom (Movie Data Atom) for each effect sample as in the case of the video data of the source track.
  • the stored effect track data is the effect track sample description described below.
  • parameter data for the effect processing defined for each effect type set in the data format field is stored as needed.
  • a desired filter effect is applied to a specific section of the track according to the effect parameter data shown in FIG.
  • This is an example of applying a null effect (Motion Atom) except for the specific section.
  • An effect that has no apparent effect realized by setting a specific parameter for a specific effect type is called a null effect.
  • the track reference atom ('tref,) is used to specify [1] as the track ID number of the source track
  • the track input map atom ('Imap,) is used to give' srcA, 'as a source-specific name.
  • a desired transition effect is applied to a specific section where those tracks are overlapped, as shown in FIG. 5 (C).
  • a movie atom shown in Fig. 5 (B) is created.
  • Null Effect is applied to either of the source tracks except for the specific section.
  • there are two source tracks the first one is 1 and the second is 2 as the Track ID number of those source tracks, and the first is “srcA”, 2 The third is to give 'srcB ,.
  • effect type 2 a section where a desired effect (effect type 2) is applied is shaded in FIG. 4B and FIG. 5B.
  • effect type 1 a specific value
  • effect type 2 a specific value of the effect
  • the effect track has three effect samples, and the first and third effect samples are samples of the effect type 1.
  • the second effect sample is an effect type 2 sample.
  • the source track ST, ST1, ST2 can be specified by the track reference atom (Track Reference Atom (tref)) and the track input map atom (Track Input Map Atom (imap)) of the effect track ET.
  • Fig. 4 (A)-Fig. 4 (C) show the relationship between video data related to actual data and effect processing by comparison with effect tracks. Is shown.
  • An effect track with the original video track as the source track can be the source track for another effect track.
  • effects that can be achieved include blurring the sepia-converted image.
  • Normal effects use the original video track as the source track for the effect track.
  • Multiple effects use the same track reference atom ('tref,) as the normal effect, except that the effect track is used as the source track. This is realized by configuring a track input map atom ('imap'). However, the following points are different in the Sample Table Atom in order to realize multiple effects.
  • An effect track used as a source track of another effect needs an extended atom in the sample description entry table (Sample Description Entry Table) stored in the sample description atom ('stsd,). is there.
  • 'idfm' sample description entry
  • the type name of the extension atom is 'idfm'. It has one 4-byte data field and specifies the 4-character alphabet of 'fxat.' The effect track with this data field will be the source track for the effect track and will be available for IJ.
  • Table 3 describes a sample description atom ('stsd') that describes the characteristics and attributes of the effect track sample (Sample) that is not used as a source track of a normal non-multiplexed effect track or another effect track. It shows the internal structure of the atom, including the Sample Description Entry Table stored in it.
  • Video track support (sample description)
  • sample description size Size
  • type name type name
  • Version Version
  • flag flag
  • number of entries number of Entries
  • Video sample description entry an entry based on the data compression method and related information is allocated by the number of entries.
  • each entry (Video sample description entry)
  • each entry (Video sample description entry)
  • the size (Size) of the video sample description entry) is assigned, and the data compression method is described by the following data format (Data Format).
  • Data Format data format
  • a field (Frame Count) describing the number of frames to be allocated to one sample is assigned as information related to the data format (Data Format).
  • Table 4 shows the same structure as Table 3 except that the effect track used as the source track for another effect track during multiple effects:
  • the present invention achieves convenience realized by creating a plurality of movie atoms (Movie Atom) having different reproduction purposes when recording video and audio.
  • a movie atom (Movie Atom) for an original movie and a movie atom (Movie Atom) for a movie with an effect applied to the movie are recorded.
  • An example in which they are created at the same time will be described.
  • the two movie atoms (Movie Atom) take a method of externally referencing the same movie data atom (Movie Data Atom).
  • a movie data atom (Movie Data Atom), which is the actual state of the encoded video and audio data, is sequentially recorded on the optical disc 20.
  • a movie data atom (Movie Data Atom) having only a video track for the original movie is sequentially recorded in the memory 8.
  • they are simultaneously recorded in the Movie Atom memory 8 for a movie having a video track and an effect track.
  • the movie data atom (Movie Data Atom) is completed, and at the same time, two movie atoms (Movie Atom) are written out from the memory 8 onto the optical disc 20, and the movie atom (Movie Atom) is completed.
  • the track configuration of the movie atom (Movie Atom) having only the video track for the original movie is as shown in FIG. 22C described later. It becomes a Movie Atom with only one original track.
  • the track configuration of a movie atom (Movie Atom) for a movie having a video track and an effect track is as shown in FIG. 22D. It consists of a source track that manages the original movie and an effect track.
  • Movie Atom for a movie with effects
  • the ON / OFF information of the event is reflected in the management information of the effect track of this movie atom (Movie Atom) when recording or reproduction is completed.
  • the data of a movie atom (Movie Atom) is not always recorded in its actual state, but may be recorded in a coded form.
  • information common to both atoms of the movie atom (Movie Atom) for the original movie and the movie atom (Movie Atom) for the movie with the effect applied to the movie is shared in the memory 8. There are things.
  • the recording and playback programs to be implemented are divided into a main part and a user input part.
  • the main section is responsible for the general flow of recording and shooting.
  • the user input section is responsible for issuing user requests depending on the state of the user interface.
  • the video disk camera 100 equipped with the video disk device 30 has a user interface as a recording start button 41, a reproduction start button 42, a stop button 43, an effect button 44, an effect type parameter Various operation buttons such as a change button 45 and a mark button 46 are provided.
  • the video disk camera 100 includes an imaging lens 47 and a disk drive unit 48.
  • the main section uses an effect section table, a mark table, and an effect switch. First, it is explained.
  • the effect section table describes, as shown in FIG. 7, in a movie having an effect track to be played back or recorded, what kind of parameter effect is applied to which section. Can be placed on top. Also, there is one effect section table for each effect track in the movie atom (Movie Atom). In the case of a movie atom (Movie Atom) having many effect tracks, there are as many effect section tables as there are. The section without effect (Null effect section) is not described in this table. To delete an effect, register “effect release” as an effect section. Add effect section to effect section table In this case, the effect section to be added is added as the last entry.
  • the effect section table shown in Fig. 8C that gives the effect shown in Fig. 9C is arranged as shown in Fig. 8D.
  • a plurality of tables each serve as management information for a plurality of effect tracks.
  • Effect section tables 1 and 2 shown in FIG. 8D provide Effect-1 and Effect-2 shown in FIG. 8D.
  • effect section registration processing A the registration of one entry in the effect section table is performed twice when the effect is turned on and when the effect is turned off.
  • effect section registration processing B effect section registration processing
  • an entry in the ef- fect section table is added, and a processing SA for writing the effect start time and type in the table is performed.
  • a processing SA for writing the effect start time and type in the table is performed in the effect section registration process A of the multiple effect type.
  • an example of the state of the effect section table immediately after the processing is to register the desired effect type 'parameter and the start time in the effect section table and continue. I don't have time.
  • a processing SB for calculating the effect duration time and recording it in the effect section table is performed.
  • the overwriting type effect section registration processing A As shown in FIG. 14, an entry in the efeto section table is added, the type is canceled, and the processing of writing the start time into the table SA1 is performed. A process SA2 of adding the entry of the effect section table and storing the effect start time and type for the desired effect in the table is performed.
  • the overwriting type effect section registration processing A as shown in FIG. 15, an example of the state of the effect section table immediately after the processing is added to the effect section table with two entries of the effect release and the desired effect. For both entries, register the effect type parameter and start time, and do not enter any duration.
  • the processing of the effect duration is performed, the processing SB 1 for recording in the effect section table for effect cancellation is performed, and the effect duration is calculated. Then, a process SB2 for recording in the effect interval table for the desired effect is performed.
  • the mark table is a table in which recording start, reproduction start, stop, and the time from the start of reproduction or recording when the mark button is pressed are registered.
  • the effect type and parameters are preset so that the developer can select the one prepared by the developer.
  • the user also selects the preset medium power using the effect type 'parameter change button.
  • the effect switch is a variable representing ON (effect is applied! /, RU) / OFF (no effect is applied).
  • the effect button 44 provided as a user interface on the video disc camera 100 is used. Each time the button is pressed, the ONZOFF state toggles. Next, the user input unit will be described.
  • the user input section is a function commonly called from the main section. According to the procedure shown in the flowchart of FIG. 19, the recording start button 41, the reproduction start button 42, the stop button 43, the effect button 44, and the effect type 'parameter change button 45 It reads the status of the user and issues the user request.
  • step S1 the past recording start request, reproduction request, stop request user request, and mark request are cleared.
  • step S2 the button state of the user interface is obtained.
  • step S3 it is determined whether or not the recording start button 41 has been pressed. If the determination result in step S3 is YES, that is, if the recording start button 41 is pressed, the flow proceeds to step S4, issues a recording start request, and proceeds to step S5.
  • step S3 determines whether the recording start button 41 has been pressed. If the determination result in step S3 is NO, that is, if the recording start button 41 has not been pressed, the process proceeds to step S5.
  • step S5 it is determined whether or not the reproduction start button 42 has been pressed.
  • step S5 determines whether the reproduction start button 42 is pressed. If the determination result in step S5 is YES, that is, if the reproduction start button 42 is pressed, the flow proceeds to step S6, issues a reproduction start request, and proceeds to step S7.
  • step S5 determines whether the reproduction start button 42 is not pressed. If the determination result in step S5 is NO, that is, if the reproduction start button 42 is not pressed, the process proceeds to step S7.
  • step S7 it is determined whether or not the stop button 43 has been pressed.
  • step S7 If the result of the determination in step S7 is YES, that is, if the stop button 43 has been pressed, the operation proceeds to step S8, where a stop start request is issued, and the operation proceeds to step S9.
  • step S7 determines whether the stop button 43 has been pressed. If the determination result in step S7 is NO, that is, if the stop button 43 has not been pressed, the process proceeds to step S9.
  • step S9 it is determined whether or not the effect button 44 has been pressed. If the result of the determination in step S9 is YES, that is, if the effect button 44 has been pressed, the flow advances to step S10 to determine whether or not the force is in the ON state of the effect switch. If the result of the determination in step S10 is YES, that is, if the effect switch is in the ON state, the flow proceeds to step S11 to turn off the effect switch, and then proceeds to step S13.
  • step S10 determines whether the effect switch is in the OFF state. If the determination result in step S10 is NO, that is, if the effect switch is in the OFF state, the process proceeds to step S12, where the effect switch is turned on, and the process proceeds to step S13.
  • step S9 determines whether the effect button 44 is not pressed. If the determination result in step S9 is NO, that is, when the effect button 44 is not pressed, the process proceeds to step S13.
  • step S13 it is determined whether or not the effect type 'parameter change button 45 is pressed.
  • step S13 determines whether the effect type / parameter change button 45 is pressed. If the determination result in step S13 is YES, that is, if the effect type / parameter change button 45 is pressed, the process proceeds to step S14 to change the effect type 'parameter, and then proceeds to step S15.
  • step S13 If the result of the determination in step S13 is NO, that is, if the effect type / parameter change button 45 is pressed! / ⁇ , the process proceeds to step S15.
  • step S15 it is determined whether or not the mark button 46 has been pressed.
  • step S15 If the result of the determination in step S15 is YES, that is, if the mark button 46 has been pressed, the flow advances to step S16 to issue a mark request and end the user input process. If the result of the determination in step S15 is NO, that is, if the mark button 46 has not been pressed, the user input processing is immediately terminated.
  • the following shows an example of processing in which an arbitrary effect section is created at an arbitrary time according to an instruction from the user at the time of recording and shooting, and a Null effect is applied when the effect is not applied throughout until the shooting start force also ends.
  • the main unit performs this processing according to the procedure shown in the flowchart of FIG.
  • step S21 a user input is performed by the user input unit.
  • step S22 it is determined whether or not the recording start request has been made.
  • step S22 If the determination result in step S22 is NO, that is, if there is no recording start request, the process returns to step S21, and repeats the processing of steps S21 and S22 to wait until there is a user power recording start request. .
  • step S22 If the decision result in the step S22 is YES, that is, if there is a recording start request, the process proceeds to the next step S23.
  • step S23 it is determined whether or not the effect switch is in the ON state.
  • step S23 determines whether the effect switch is OFF. If the determination result in step S23 is NO, that is, if the effect switch is OFF, the process proceeds to step S25.
  • step S23 If the determination result in step S23 is YES, that is, if the effect switch is ON, the process proceeds to step S24 to perform the above-described effect section registration process A, that is, the effect type 'parameter and the start time at that time are set in the effect section. Record in the table and proceed to step S25.
  • step S25 the video and audio data is recorded as a movie data atom (Movie Data Atom) on the optical disc 20, which is a storage.
  • a movie data atom Menovie Data Atom
  • the video and audio management information is recorded as a movie atom (Movie Atom) in the mounting memory 8.
  • step S27 user input is performed by the user input unit.
  • step S28 it is determined whether or not the effect button 44 has been pressed as the user input in step S27 and the state of the effect switch has changed.
  • step S28 determines whether the state of the effect switch has not changed. If the determination result in step S28 is NO, that is, if the state of the effect switch has not changed, the process directly proceeds to step S32.
  • step S28 determines whether the effect switch is in the ON state.
  • step S29 If the result of the determination in step S29 is YES, that is, if the effect switch is ON, the flow proceeds to step S30 to perform the above-described effect section registration processing A, that is, to step S31, and proceeds to step S31 to determine the effect at that time.
  • step S31 Type 'parameter and start time effect Record in the section table and proceed to step S32.
  • step S23 When the determination result in step S23 is NO, that is, when the effect switch is OFF, the above-described effect section registration processing B is performed, that is, at that time, the duration is obtained from the start time and end time of the effect section. The duration is recorded together with the effect type 'parameter already recorded in the table, an effect section is added, and the process proceeds to step S32.
  • step S32 it is determined whether or not the stop request has been made.
  • step S32 If the decision result in the step S32 is NO, that is, if there is no stop request, the process returns to the step S25, and the processes from the step S25 to the step S32 are repeated.
  • step S32 determines whether or not the effect switch is in the ON state. If the decision result in the step S33 is NO, that is, if the effect switch is not in the ON state, the process directly proceeds to the step S35.
  • step S33 If the result of the determination in step S33 is YES, that is, if the effect switch is in the ON state, the process proceeds to step S34 to perform the above-described effect section registration processing B, that is, the effect section is registered based on the effect disclosure time and the end time. Is obtained, the effect type and the effect section are recorded in the memory 8, and the process proceeds to step S35.
  • step S35 management information having only the original track, that is, a movie atom (Movie Atom) is read from the memory 8 and written to the optical disc 20.
  • a movie atom Movie Atom
  • the original track is used as a source track, and management information having an effect track, that is, a movie atom (Movie Atom) is read from the memory 8 and written to the optical disc 20.
  • a movie atom Menovie Atom
  • an arbitrary effect section is created at an arbitrary time according to the user's instruction at the time of recording and shooting, and if the effect is not applied all the time until the shooting start force also ends, the main part that applies the null effect The process is completed.
  • step S41 a user input is performed by the user input unit.
  • step S42 it is determined whether or not the recording start request has been made.
  • step S42 determines whether there is no recording start request. If the determination result in step S42 is NO, that is, if there is no recording start request, the process returns to step S41, and the processing of steps S41 and S42 is repeated. .
  • step S42 determines whether there is a recording start request. If the result of the determination in step S42 is YES, that is, if there is a recording start request, the flow advances to the next step S43.
  • step S43 it is determined whether or not the effect switch is in the ON state.
  • step S43 determines whether the effect switch is OFF. If the determination result in step S43 is NO, that is, if the effect switch is OFF, the process proceeds to step S45.
  • step S43 determines whether the effect switch is ON. If the determination result in step S43 is YES, that is, if the effect switch is ON, the process proceeds to step S44 to perform the above-described effect section registration processing A, that is, the effect type 'parameter and the start time at that time are stored in the effect section. Record on the table and proceed to step S45.
  • step S45 the video / audio data is recorded as a movie data atom (Movie Data Atom) on the optical disc 20 as a storage.
  • a movie data atom Menovie Data Atom
  • step S46 video and audio management information is recorded as a movie atom (Movie Atom) in the mounting memory 8.
  • step S47 user input is performed by the user input unit.
  • step S48 it is determined whether or not the effect button 44 has been pressed as a user input in the above step S47 and the state of the effect switch has changed.
  • step S48 determines whether the state of the effect switch has been changed. If the determination result in step S48 is NO, that is, if the state of the effect switch has not changed, the process directly proceeds to step S52.
  • step S48 determines whether the effect switch is in the ON state.
  • step S49 When the result of step S49 is YES, that is, when the effect switch is ON, Proceeds to step S50, performs the above-described effect section registration processing A, that is, records the effect type 'parameter and the start time at that point in the effect section table, and then proceeds to step S52.
  • step S43 determines whether the effect switch is OFF. If the decision result in the step S43 is NO, that is, if the effect switch is OFF, the process proceeds to a step S51 to perform the above-described effect section registration processing B, that is, the start and end times of the effect at that time. Then, the duration is recorded together with the effect type 'parameter already recorded in the effect section table, the effect section is added, and the process proceeds to step S52.
  • step S52 it is determined whether or not the stop request has been made.
  • step S52 If the decision result in the step S52 is NO, that is, if there is no stop request, the process returns to the step S45, and the processes from the step S45 to the step S52 are repeated.
  • step S52 determines whether or not the effect switch is in the ON state. If the decision result in the step S53 is NO, that is, if the effect switch is not in the ON state, the process directly proceeds to the step S55.
  • step S53 determines whether the effect switch is in the ON state. If the determination result in step S53 is YES, that is, if the effect switch is in the ON state, the process proceeds to step S54 to perform the above-described effect section registration process B, that is, the effect section is registered based on the effect disclosure time and the end time. Is obtained, the effect type and the effect section are recorded in the memory 8, and the process proceeds to step S55.
  • step S55 management information having only the original track, that is, a movie atom (Movie Atom) is read from the memory 8 and written to the optical disc 20.
  • a movie atom Movie Atom
  • next step S56 it is determined whether or not an effect section exists in the memory 8.
  • step S56 If the decision result in the step S56 is NO, that is, if the effect section is not in the memory 8, the processing is terminated as it is.
  • step S56 determines whether the effect section exists in the memory 8 is the effect section exists in the memory 8. If the determination result in step S56 is NO, that is, if the effect section exists in the memory 8, the process proceeds to step S57, in which the original track is set as the source track, and management information having the effect track, that is, a movie atom (Movie Atom) is stored. Read from memory 8. And writes it on the optical disc 20. At this time, create an effect section for the Null effect for sections other than the effect section of the 'effect type' parameter that has an apparent effect. That is, after the stop request is made and the recording and shooting are stopped, if there is information on the section outside the effect in the mounting memory 8, a movie atom (Movie Atom) including an effect track is written to the optical disc 20, and otherwise nothing is written. No, that is, a movie atom including an effect track is not created on the optical disc 20. That is, the process other than the determination process in step S56 is the same as the process shown in the flowchart of FIG.
  • FIGS. 22A to 22E specific examples of the processing shown in the flowchart of FIG. 20 are shown in FIGS. 22A to 22E.
  • the effect section as shown in Fig.22B during recording Media data as shown in FIG. 22E is created on the table memory 8 and recorded on the disc.
  • a movie atom (Movie Atom) having only the original track and a movie atom (Movie Atom) having the source track and the effect track are created on the optical disc 20 as shown in FIGS. 22C and 22D.
  • the video track or effect track in each Movie Atom externally references the media data.
  • black portions indicate video data
  • dotted portions indicate EffecU
  • white paper portions indicate Null Effect.
  • FIG. 23 shows an example of the effect editing process at the time of reproduction in which an effect is created at an arbitrary time at an arbitrary time according to a user's instruction at the time of reproduction.
  • the main section that performs this processing executes the reproduction processing according to the procedure shown in the flowchart of FIG.
  • step S61 a user input is performed by the user input unit.
  • next step S62 it is determined whether or not a force for which a reproduction start request has been issued.
  • step S62 If the decision result in this step S62 is NO, that is, if there is no reproduction start request, the process returns to the step S61, and the above steps S61 and S62 are repeated to wait until there is a user power reproduction start request. .
  • step S62 If the decision result in the step S62 is YES, that is, if there is a reproduction start request, the process proceeds to the next step S63.
  • step S63 it is determined whether a movie atom (Movie Atom) having an effect track exists.
  • step S63 determines whether there is a movie atom (Movie Atom) having an effect track. If the determination result in step S63 is YES, that is, if there is a movie atom (Movie Atom) having an effect track, the flow advances to step S64 to read an arbitrary movie atom (Movie Atom) from the optical disc 20 and write it to the memory 8. Further, an effect section table is constructed based on the information of the fat track, and the process proceeds to step S66. If the result of the determination in step S63 is NO, that is, if there is no movie atom (Movie Atom) having an effect track, the process proceeds to step S65, where a movie atom (Movie Atom) containing only the original video track is read from the optical disc 20. Read and write to memory 8, and proceed to step S66.
  • step S66 it is determined whether the effect switch is in the ON state.
  • step S66 If the decision result in the step S66 is NO, that is, if the effect switch is in the OFF state, the process directly proceeds to the step S68.
  • step S66 determines whether the effect switch is ON. If the determination result in step S66 is YES, that is, if the effect switch is ON, the process proceeds to step S67 to perform the effect section registration process A described above, that is, the effect type 'parameter and the start time at that time. Is recorded in the effect section table, and the process proceeds to step S68.
  • step S68 video / audio data, that is, a movie data atom (Movie Data Atom) is read from the optical disc 20 as a storage into the memory 8, decoded, and video and audio are output to the device.
  • a movie data atom Menovie Data Atom
  • step S69 user input is performed by the user input unit.
  • step S70 it is determined whether or not the effect button 44 has been pressed as a user input in step S47 and the state of the effect switch has changed.
  • step S70 If the decision result in the step S70 is NO, that is, if the state of the effect switch has not changed, the process directly proceeds to the step S74.
  • step S70 determines whether or not the effect switch is in the ON state. If the decision result in this step S71 is YES, that is, if the effect switch is ON, the flow advances to step S72 to perform the above-described effect section registration process A, that is, the effect type 'parameter and the start time at that time. Is recorded in the effect section table, and the process proceeds to step S74.
  • step S71 determines whether the effect switch is OFF. If the determination result in step S71 is NO, that is, if the effect switch is OFF, the process proceeds to step S73 to perform the above-described effect section registration processing B, that is, the start and end times of the effect at that time. Then, the duration is recorded together with the effect type 'parameter already recorded in the effect section table, the effect section is added, and the process proceeds to step S74.
  • step S74 it is determined whether or not the video / audio data to be reproduced from the optical disc 20 has run out, and whether or not the stop request has been made.
  • step S74 If the determination result in this step S74 is NO, that is, if there is no stop request for the video and audio data to be reproduced from the optical disk 20, the process returns to the step S68, and the processing from the step S68 to the step S74 is repeated.
  • step S74 determines whether or not the force is in the ON state of the feedback switch.
  • step S75 If the decision result in the step S75 is NO, that is, if the effect switch is not in the ON state, the process directly proceeds to the step S77.
  • step S75 determines whether the effect switch is ON. If the determination result in step S75 is YES, that is, if the effect switch is ON, the process proceeds to step S76 to perform the above-described effect section registration processing B, that is, the effect section is registered based on the effect disclosure time and the end time. Is obtained, the effect type and the effect section are recorded in the memory 8, and the process proceeds to step S77.
  • step S77 it is determined whether or not the entire movie is a null effect.
  • step S77 If the decision result in the step S77 is NO, that is, if the effect recorded in the memory 8 has one or more entries in the effect section table in the entire movie, a movie atom having a fate track is read from the memory 8 and the optical disk 20 is read. And the reproduction process ends. If the result of the determination in step S77 is YES, that is, if the entire movie is null, the playback process is terminated.
  • FIGS. 24A to 24D, FIGS. 25A to 25B, FIGS. 26A to 26D, and FIGS. 27A to 27B show specific examples of the reproduction processing shown in the flowchart of FIG.
  • FIG. 24A when the movie shown in Fig. 22 starts playing, the effect button is pressed after 2 minutes, the effect button is pressed after 3 minutes, and the playback is stopped after 5 minutes.
  • an effect section table as shown in FIG. 24B is read from the optical disc 20 and written in the memory 8, and an effect section as shown in FIG. 24C is added during reproduction.
  • the table is organized, and an effect section table is newly created as shown in Fig. 24D, and an effect section is newly added there.
  • the effect type for the newly added effect section is recorded on the disc as the parameter type media data.
  • a Movie Atom having a multiple effect structure as shown in FIG.
  • a video track or an effect track in a movie atom externally references media data (Media Data) as shown in FIG. 25B as indicated by an arrow.
  • black indicates video data
  • a dotted portion indicates EffecU
  • a hatched portion indicates Effect_2
  • a white paper portion indicates Null Effect.
  • the movie shown in FIG. 26A the movie shown in FIG. In the specific example of pressing the Tato button, pressing the effect button 3 minutes later, and stopping the playback 5 minutes later, the effect section is overwritten immediately after the start of playback. It is read out and written into the memory 8, and an effect section as shown in FIG. 26C is added during playback. The table is organized and the effect section table is rebuilt as shown in Figure 26D. In this case, the original effect section is divided. The effect type 'parameter of the newly added effect section is recorded on the optical disc 20 as media data.
  • a Movie Atom having an effect track as shown in FIG.
  • the video track or effect track in the movie atom externally references the media data as shown by the arrow in FIG. 27B.
  • black indicates video data
  • a portion indicated by a dot indicates EffecU
  • a portion indicated by hatching indicates Effect_2
  • a portion indicated by white paper indicates Null Effect.
  • FIG. 28 shows an example of a process in which the effect type parameter and the parameter are set in a section between arbitrary marks, and a movie atom (Movie Atom) having an effect track according to the setting is created.
  • the main unit that performs this processing executes the reproduction processing according to the procedure shown in the flowchart of FIG. That is, in step S81, a user input is performed by the user input unit.
  • step S82 it is determined whether or not the recording start request has been made.
  • step S82 determines whether there is a recording start request. If the determination result in step S82 is NO, that is, if there is no recording start request, the process returns to step S81, and repeats the processing in steps S81 and S82 to wait until there is a user input recording start request.
  • step S82 determines whether there is a recording start request. If the decision result in this step S82 is YES, that is, if there is a recording start request, the process proceeds to the next step S83.
  • step S83 the mark table on the memory 8 is emptied.
  • the time is recorded in the mark table.
  • the video and audio data is recorded as a movie data atom (Movie Data Atom) on the optical disc 20, which is a storage. Also, the video / audio data is recorded as a movie data atom (Movie Data Atom) on a disk which is a storage.
  • the video and audio management information is recorded as a movie atom (Movie Atom) in the mounting memory 8.
  • step S87 user input is performed by the user input unit.
  • step S88 it is determined whether or not a force for which a mark request was made by pressing the mark button 46 as a user input in the above step S87.
  • step S88 If the decision result in the step S88 is NO, that is, there is no mark request, the process directly proceeds to a step S90.
  • step S88 determines whether there is a mark request for the user power. If the result of the determination in step S88 is YES, that is, if there is a mark request for the user power, the process proceeds to step S89, where the time from the start of recording is added to the mark table, and the process proceeds to step S90.
  • step S90 it is determined whether or not there is a force requested to stop by pressing the stop button 43.
  • step S90 If the decision result in the step S90 is NO, that is, if the video / audio data to be reproduced remains or there is no stop request, the process returns to the step S85, and the processes from the steps S85 to S90 are repeated.
  • step S90 determines whether there is a user power stop request. If the determination result in step S90 is YES, that is, if there is a user power stop request, the process proceeds to step S91, and the time from the start of recording is added to the entry in the mark table.
  • step S92 management information having only the original video track, that is, Movie Atom, is written from the memory 8 from the optical disk 20 as a storage, and the flow advances to step S93.
  • step S93 a process of creating an effect section is performed.
  • step S94 it is determined whether or not the entire movie is a null effect. If the decision result in this step S94 is NO, that is, if there is at least one effect section having an apparent effect in the effect section table recorded in the memory 8, step S Proceeding to 95, the original track is used as a source track, and a movie atom (Movie Atom) having an effect track is read from the memory 8 and written on the optical disc 20, and the recording process is completed.
  • a movie atom Morovie Atom
  • step S94 If the result of the determination in step S94 is YES, that is, if the entire movie is null, the recording process ends.
  • step S93 specific examples of the effect section creation processing are shown in FIGS. 29A to 29D and FIGS. 30A to 30C.
  • a movie atom (Movie Atom) having only the original track and a movie atom (Movie Atom) having the source track and the effect track are created on the optical disc 20.
  • the video track or effect track in each Movie Atom externally refers to the media data as shown by the arrow in FIG. 30C.
  • black indicates video data
  • the portion indicated by dots indicates Effect_l
  • the portion indicated by diagonal lines indicates Effect_2
  • the portion of white paper indicates Null Effect.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

　本発明は、ムービー記録及び／又は再生中にユーザがエフェクトをかけたいと思う区間でボタンを押すなどの指示により、エフェクトトラックを持つムービーアトム（Movie Atom）を自動的に作成、編集するようにしたビデオエフェクトの編集方法であり、ユーザによる入力を受け付けて、エフェクトトラックの作成、削除、そのエフェクトトラック内のエフェクトトラック区間の作成、加工、削除の編集機能を実装する際に、ビデオデータの記録時に、オリジナルのムービー、そのムービーにエフェクトの施されたムービーなどの再生目的の異なる管理情報を複数作成する。

Description

明 細 書
ファイル記録装置及びビデオエフェクトの編集方法
技術分野
[0001] 本発明は、 QTフォーマットのファイルにより撮像結果を記録するビデオカメラ等に 適用されるファイル記録装置に関し、さらに、ビデオエフェクトの編集方法に関する。 本出願は、 日本国において 2003年 10月 28日に出願された日本特許出願番号 20 03— 367808を基礎として優先権を主張するものであり、この出願は参照することに より、本出願に援用される。
背景技術
[0002] 従来、マルチメディア対応のファイルフォーマットとして Quick Timeファイルフォーマ ット（以下、 QTフォーマットという。）が広く知られており、近年、この QTフォーマットを 基礎にした ISO Base Mediaファイルフォーマット（MPEG4— partl2)と、そのアプリ ケーシヨンフォーマットである MPEG4 (MP4) MPEG4— part 14や Motion JPEG20 00 (MJ2)ファイルフォーマット、 AVC (Advanced Video Coding： MPEG4— partl5) ファイルフォーマット等が標準化されて 、る。
この QTフォーマットは、動画、静止画、音声等による実データがまとめられてブロッ ク化され、この実データのブロックとは別に、この実データを管理する管理情報がまと められてブロック化される。以下、このようなブロックをアトムと呼び、実データをまとめ たアトムをムービーデータアトム（Movie Data Atom )という。また、管理情報をまとめ たアトムをムービーアトム（Movie Atom)と!、う。
ここで、ムービーアトム（Movie Atom)は、属性毎に管理情報をまとめてボックス化し て階層構造により各種アトムが形成される。ムービーアトム（Movie Atom)は、この階 層構造によるアトムにより実データの種類に対応した管理情報のブロックによる各種ト ラック等が作成される。具体的に、ムービーアトム（Movie Atom)では、メディアデータ がビデオデータ、サウンドデータの場合、それぞれビデオトラック、オーディオトラック が形成され、それぞれ各トラックによりムービーデータアトム（Movie Data Atom )の対 応する実データを管理するようになされている。しかして、ビデオトラックには、動画に よるビデオデータだけでなぐ静止画による画像データも割り当てられるようになされ ているものの、例えば、 MPEG2-PS (Program Stream)データ等の、ビデオデータと オーディオデータが多重化されたデータにあっては、その管理情報を割り当てたトラ ックについてはビデオトラックには分類されず、ベースメディアトラックと称される。この ように種類が異なって 、る場合であっても、ビデオデータが割り当てられて!/、る場合 にあっては、いずれのトラックによる実データおいても編集の対象とされており、以下 において、ビデオトラックは、適宜、ビデオデータを含んでなる実データを管理するべ ースメディアトラックをも含む意味で使用する。また、敢えてビデオのトラックとの言及 がある場合には、サウンドトラック以外の、ビデオデータの管理情報が割り当てられて Vヽる卜ラックを意味するちのとする。
このような実データの管理にあっては、一体に保持されたムービーデータアトム（ Movie Data Atom )に限らず、他のファイルに保持されたムービーデータアトム（ Movie Data Atom )についても管理できるようになされ、いわゆる内部参照形式、外 部参照形式により各種メディアを提供できるようになされて ヽる。
これに対し、ムービーデータアトム（Movie Data Atom )は、実データが所定の最小 管理単位であるサンプル（Sample)で区切られ、 QTフォーマットでは、この実データ の最小管理単位に対してそれぞれ管理情報がムービーアトム (Movie Atom)に設定 されるようになされている。しかして、 QTフォーマットによりファイルを作成する場合、 処理の利便性を考慮して、通常、表示の単位に対応する 1フレーム又は lGOP ( Group Of Pictures )を 1サンプル（Sample)に設定するようになされている。
QTフォーマットにおけるビデオデータのエフェクトを付加する編集処理においては 、実際にエフェクトカ卩ェ済みの実データに作り替えたビデオデータをムービーデータ アトム（Movie Data Atom )に割り当てるとともに、このビデオデータに対応するビデオ トラックによりムービーアトム (Movie Atom)を形成することにより編集結果によるフアイ ルを作成できるようになされて 、る。
また、 QTフォーマットは、このような実際にエフェクトカ卩ェ済みの編集処理したビデ ォデータによるムービーデータアトム（Movie Data Atom )に代えて、元のビデオデー タによるムービーデータアトム（Movie Data Atom )を用いてビデオデータに再生時ェ フエタト付加する編集処理できるようにも構成されるようになされて!、る。このようなビ デォデータの編集においては、編集処理に係る管理情報を割り当てたエフェクトトラ ックをムービーアトム（Movie Atom)に开成し、このエフェクトトラックの入力ソースに元 のビデオデータに係るムービーデータアトム（Movie Data Atom )が割り当てられるよ うになされている。
ところで、ビデオエフェクトを実装し、 QTフォーマットをベースとするファイルフォー マットを用いて映像や音声の記録及び Z又は再生ができる装置において、記録時に エフェクトを施したムービーを記録した場合、そのエフェクトを無効にして元のムービ 一に戻したり、別のエフェクトに入れ替えたりすることは不可能である。
また、モパイル機器などに搭載されて 、る表示装置は小さ 、ゆえに表示できる情報 量は限られている。そのため、ムービーにエフェクトを施す際、複数の連続したフレー ムを表示してエフェクト区間を設定するような編集画面を用意することは困難である。 発明の開示
発明が解決しょうとする課題
本発明の目的は、従来の技術が有する問題点を解決し得る新規なファイル記録装 置及びビデオエフェクトの編集方法を提供することにある。
本発明の他の目的は、ビデオエフェクトを実装し、 QTフォーマットをベースとするフ アイルフォーマットを用いて映像や音声の記録及び Z又は再生ができる装置におい て、ムービーを記録時にオリジナルのムービー、そのムービーにエフェクトの施された ムービーなどの再生目的の異なるムービーアトム（Movie Atom)を複数作成すること にめる。
本発明のさらに他の目的は、ムービー記録及び又は再生中にユーザがエフェクトを かけたいと思う区間でボタンを押すなどの指示により、エフェクトトラックを持つムービ 一アトム（Movie Atom)が自動的に作成、編集されるようにすることにある。
本発明は、実データを管理する管理情報が階層構造によりまとめられて、少なくとも ビデオデータの管理情報によるビデオのトラックと、ビデオデータに設定するエフエタ トの管理情報によるエフェクトトラックとを有する管理情報のブロックと、少なくともエフ ェクトトラックに係る実データを有する実データのブロックとを有するファイルとして記 録媒体を介してビデオデータの記録再生を行うファイル記録再生装置であって、実 データ及び管理情報のボックスのデータを記録媒体を介して記録再生する記録再生 部と、実データに管理単位を順次設定し、実データの記録再生に対応して管理情報 を順次取得してメモリに保持し、実データの記録の終了により、メモリに保持した管理 情報により管理情報のボックスのデータを記録再生部に出力するデータ処理部と、 ユーザによる入力を受け付けて、エフェクトトラックの作成、削除、そのエフェクトトラッ ク内のエフェクトトラック区間の作成、加工、削除の編集機能を実装する際に、ビデオ データの記録時に、オリジナルのムービー、そのムービーにエフェクトの施されたム 一ビーなどの再生目的の異なる管理情報を複数作成する制御部を備える。
また、本発明は、実データを管理する管理情報が階層構造によりまとめられて、少 なくともビデオデータの管理情報によるビデオのトラックと、ビデオデータに設定する エフェクトの管理情報によるエフェクトトラックとを有する管理情報のブロックと、少なく ともエフェクトトラックに係る実データを有する実データのブロックとを有するファイルと して記録媒体を介してビデオデータの記録再生を行うファイル記録再生装置におけ るビデオエフェクトの編集方法であって、ユーザによる入力を受け付けて、エフェクトト ラックの作成、削除、そのエフェクトトラック内のエフェクトトラック区間の作成、加工、 削除の編集機能を実装する際に、ビデオデータの記録時に、オリジナルのムービー 、そのムービーにエフェクトの施されたムービーなどの再生目的の異なる管理情報を 複数作成するようにしたものである。
本発明では、ビデオデータの記録直後にオリジナルのムービーだけでなくそのムー ビーにエフェクト編集のされたムービーが同時に作成される。
また、本発明では、ビデオデータの記録又は再生中、ユーザが所望のエフェクト種 別'パラメータを選択しエフェクトをかけた 、と思う区間でボタンを押すなどの指示だ けで、簡単にエフェクトの施されたムービーを作成することができる。
さらに、本発明では、エフェクト編集作業において、ビデオデータの記録時又は再 生時に所望のエフェクトを選択して任意の場所でエフェクトの ONZOFFことにより編 集作業を実現する為、解像度の高い表示装置を必要としない。この操作を既にエフ ェタトが施されているエフェクト区間ですると、エフェクトを入れ替えたり、多重エフエタ トのムービーを簡単に作成することができる。
さらに、本発明では、ムービーの一部又は全部にエフェクトを施した後、エフェクトの 施されてな!、元の状態に簡単に戻すことができる。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下において 図面を参照して説明される実施の形態の説明力 一層明らかにされるであろう。 図面の簡単な説明
[図 1]図 1は、本発明を適用したビデオディスクカメラの記録再生部として用いられる ビデオディスク装置を示すブロック図である。
[図 2]図 2は、光ディスク上に記録した QTベースのファイルの簡略ィ匕した構造の一例 を示す図である。
[図 3]図 3は、オーディオデータと画像データとを扱う QTベースのファイルの構造を示 す図である。
[図 4]図 4の（A)— (C)は、 QTにおいて 1ソースエフェクト（One- source Effect)と称さ れるアトム構造を C言語風により一覧記述した前半部分を示す図である。
[図 5]図 5の（A)—（C)は、 2ソースエフェクトの実現例として、ムービーファイルにお けるトラック構成、ムービーアトム（Movie Atom)構造の概略及びムービーデータアト ム（Movie Data Atom)構造の概略を示す図である。
[図 6]図 6は、ビデオディスク装置を搭載したビデオディスクカメラを示す外観斜視図 である。
[図 7]図 7は、エフェクト区間テーブルを示す図である。
[図 8]図 8A—図 8Dはエフェクト区間テーブルを整理する処理について説明する為の 図であり、図 8Aは元のエフェクト区間テーブルを示し、図 8Bは図 8Aの区間テープ ルを整理した後のエフェクト区間テーブルを示し、図 8Cは元のエフェクト区間テープ ルを示し、図 8Dは図 8Cに示すエフェクト区間テーブルを整理した後のエフェクト区 間テーブル 1、 2を示す。
[図 9]図 9A—図 9Dは、エフェクト区間テーブルを整理する処理に対応するエフェクト 区間エントリの状態を示す図である。
[図 10]図 10は、多重エフェクトタイプのエフェクト区間登録処理 Aを示すフローチヤ一 トである。
[図 11]図 11は、多重エフェクトタイプのエフェクト区間登録処理 Aの処理直後のエフ ェクト区間テーブルの状態の一例を示す図である。
[図 12]図 12は、多重エフェクトタイプのエフェクト区間登録処理 Bを示すフローチヤ一 トである。
[図 13]図 13は、多重エフェクトタイプのエフェクト区間登録処理 Bの処理直後のエフ ェクト区間テーブルの状態の一例を示す図である。
[図 14]図 14は、上書きタイプのエフェクト区間登録処理 Aを示すフローチャートである
[図 15]図 15は、上書きタイプのエフェクト区間登録処理 Aの処理直後のエフェクト区 間テーブルの状態の一例を示す図である。
[図 16]図 16は、上書きタイプのエフェクト区間登録処理 Bを示すフローチャートである
[図 17]図 17は、上書きタイプのエフェクト区間登録処理 Bの処理直後のエフェクト区 間テーブルの状態の一例を示す図である。
[図 18]図 18は、マークテーブルを示す図である。
[図 19]図 19は、ユーザ入力部により実行される処理の手順を示すフローチャートであ る。
[図 20]図 20は、記録撮影時にユーザからの指示によりエフェクトが指定された場合に
、メイン部により実行される処理の手順を示すフローチャートである。
[図 21]図 21は、記録撮影時にユーザからの指示によりエフェクトが指定された場合に
、メイン部により実行される処理の手順を示すフローチャートである。
[図 22]図 22A—図 22Eは、メイン部により実行される処理の具体例を示す図である。
[図 23]図 23は、再生時にメイン部により実行される再生処理の手順を示すフローチヤ ートである。
[図 24]図 24A—図 24Dは、メイン部により実行される再生処理の具体例を示す図で める。
[図 25]図 25A、図 25Bは、メイン部により実行される再生処理の具体例を示す図であ る。
[図 26]図 26A—図 26Dは、メイン部により実行される再生処理の具体例を示す図で ある。
[図 27]図 27A、図 27Bは、メイン部により実行される再生処理の具体例を示す図であ る。
[図 28]図 28は、ユーザ力ゝらの指示により時間軸にマークを付けられた場合にメイン部 により実行される処理の手順を示すフローチャートである。
[図 29]図 29A—図 29Dは、エフェクト区間の作成処理の具体例を示す図である。
[図 30]図 30A—図 30Cは、エフェクト区間の作成処理の具体例を示す図である。 発明を実施するための最良の形態
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
以下に述べる実施の形態では、 QT (Quick Time)フォーマット及び QTフォーマット をベースにした ISO Base Mediaファイルフォーマット（MPEG4— part 12)と、そのァ プリケーシヨンフォーマットである MPEG4 (MP4) MPEG4— part 14や Motion JPE G2000 (MJ2)ファイルフォーマット、 AVC (Advanced Video Coding： MPEG4— part 15)ファイルフォーマットのような実データ格納部と管理情報格納部に分かれた形式 のファイル構造を持つ、画像や音声などのマルチメディアファイルを作成するソフトゥ エアやノヽードウエアによるファイル作成方法について説明する。
本発明は、例えば光ディスクを記録媒体とする MPEGで圧縮した信号を QTベース のファイルフォーマット形式で記録するビデオディスクカメラに適用される。
図 1は、本発明を適用したビデオディスク装置 30を示すブロック図である。このビデ ォディスク装置 30は、ビデオディスクカメラの記録再生部として用いられる。
図 1に示すビデオディスク装置 30は、図示しない撮像部、音声取得部により被写体 のビデオ信号、オーディオ信号を取得し、このビデオ信号及びオーディオ信号に基 づく撮像結果を光ディスク 20に記録し、この光ディスク 20に記録した撮像結果を再 生して液晶表示パネルを用いた表示部に表示し、スピーカによる音声出力部より出 力し、また外部機器に出力するものであって、光ディスク 20を回転駆動するスピンド ルモータ 21、光ディスク 20を介してデータの記録再生を行う為の磁気ヘッド 22及び 光学ヘッド 23を備える。
このビデオディスク装置 30は、図示しな 、撮像手段により取得された被写体のビデ ォ信号 Vsが入力されるビデオ符号化器 1と、図示しない音声取得部により取得され たオーディオ信号 Auが入力されるオーディオ符号化器 2と、図示しな ヽ液晶表示パ ネルによる表示手段にビデオ信号 Vsを出力するビデオ復号器 3と、図示しな ヽスピ 一力による音声出力部にオーディオ信号 Auを出力するオーディオ復号器 4、ビデオ 符号化器 1及びオーディオ符号化器 2に接続されたファイル生成器 5と、ビデオ復号 器 3及びオーディオ復号器 4に接続されたファイル復号器 6と、ファイル生成器 5及び ファイル復号器 6に接続されたメモリコントローラ 7と、このメモリコントローラ 7に接続さ れたメモリ 8及びエラー訂正符号 Z復号器 9と、このエラー訂正符号 Z復号器 9に接 続されたメモリ 10及びデータ変復調器 11と、このデータ変復調器 11に接続された磁 界変調ドライバ 12とを備え、磁気ヘッド 22が磁界変調ドライバ 12に接続され、また、 光学ヘッド 23がデータ変復調器 11に接続されて!、る。
さらに、ビデオディスク装置 30は、システム制御用のマイクロコンピュータ（以下、シ ステム制御マイコンという） 13と、ドライブ制御用のマイクロコンピュータ（以下、ドライ ブ制御マイコンという） 14とサーボ回路 15とを備える。
このビデオディスク装置 30において、動画を記録するときは、まず最初に、ビデオ 信号はビデオ符号化器 1に入力されて符号化され、オーディオ信号はオーディオ符 号化器 2に入力されて符号化されて、各々ディジタル信号のデータ列に変換される。 ここで、ビデオ及び音声の符号化器 1、 2では、例えば、 MPEGによるビデオ圧縮及 び音声圧縮を行う。
すなわち、ビデオ符号化器 1は、撮像結果として得られたビデオ信号をアナログデ イジタル変換処理してビデオデータを生成し、このビデオデータを MPEGのフォーマ ットに従って符号化処理し、ビデオデータによるエレメンタリストリームを出力する。ま た、オーディオ符号化器 2は、撮像結果として得られたオーディオ信号をアナログデ イジタル変換処理してオーディオデータを生成し、このオーディオデータを MPEGの フォーマットに従って符号ィ匕処理し、オーディオデータによるエレメンタリストリームを 出力する。 次に、圧縮されたビデオデータ及びオーディオデータは、ファイル生成器 5により、 ビデオ及び音声の符号化ときの同期がとられて多重化される。また、ファイル生成器 5には、後述する QTフォーマットに準じたファイル形式を生成する為の、ムービーアト ム (タイプ名： 'moov )と称される多重化する実データを管理する情報を格納する部 分を、実装メモリとそのメモリ上で組み上げるソフトウェア並びにハードウェアを含んで いる。このムービーアトム（Movie Atom)は 1回の記録撮影中に随時ディスクに記録し ていくものではなぐ記録撮影が終了して初めてムービーアトム（Movie Atom)が完結 できるものであるので、実装メモリ上で随時糸且み上げておき、記録撮影が終了した時 点で最終的にディスク上に記録されるものである。カロえて、多重化される実データは 後述する QTフォーマットでは、メディアデータアトム（タイプ名： 'mdat' )と称される部 分に格納されることになり、ムービーアトム (Movie Atom)とは異なり、記録中に随時、 次のような処理を経てディスク上に記録されていく。
そして、多重化されたデータは、メモリコントローラ 7を介して、メモリ 8に順次書き込 まれる。メモリコントローラ 7は、システム制御マイコン 13によって入力されるディスクへ のデータの書込要求に応じて、メモリ 8から多重化されたビデオデータ及びオーディ ォデータを読み出して、エラー訂正符号 Z復号器 9に出力する。ここで、ビデオデー タ及びオーディオデータを多重化したデータの転送レートが、ディスクへのデータ書 込みの転送レートよりも低い場合には、多重化されたデータは、通常、ほぼ連続的に メモリ 8に書き込まれるのに対して、メモリ 8力もの読出しは、メモリ 8がオーバフロー及 びアンダフローしないことをシステム制御マイコン 13が監視しながら、間欠的に行わ れる。
すなわち、ファイル生成器 5は、記録時にビデオ符号化器 1及びオーディオ符号ィ匕 器 2から出力されるビデオデータ及びオーディオデータの各エレメンタリストリームを 同期化して多重化処理し、システム制御マイコン 13の制御により QTファイルを作成 する。このためファイル生成器 5は、順次入力されるビデオデータ及びオーディオデ 一タの各エレメンタリストリームを多重化してムービーデータアトム（Movie Data Atom )のデータを順次出力しながら、このムービーデータアトム（Movie Data Atom )のデ ータに対応してメモリ 8にムービーアトム（Movie Atom)の生成に必要なデータを追記 して保持し、ムービーデータアトム（Movie Data Atom )の記録の完了によりメモリ 8に 保持したデータ力 ムービーアトム（Movie Atom)のデータ列を生成して出力する。 エラー訂正符号 Z復号器 9は、メモリコントローラ 7から入力された多重化データをメ モリ 10にー且書き込んで、インタリーブ及びエラー訂正の為の符号を付加した後、再 び、メモリ 10から読み出して、データ変復調器 11に出力する。
データ変復調器 11は、光ディスク 20に記録する為の所定の変調を施した後、磁界 変調ドライバ 12に出力すると同時に、光学ヘッド 23を駆動する為の信号を出力する 。磁界変調ドライバ 12は、入力された信号に応じて、磁界用のコイルを駆動して光デ イスク 20に磁界を印加する。光学ヘッド 23は、記録用のレーザビームを光ディスク 20 に照射して、光ディスク 20に信号を記録する。なお、光ディスク 20への記録動作は、 メモリコントローラ 7から読み出される間欠的なデータに対して記録処理を行うので、 通常は、連続的な記録が行われずに、一定のデータ量を記録したら記録動作を中断 して、次の記録要求まで待機するような動作を行う。これらの動作は、システム制御マ イコン 13からの要求に応じて、ドライブ制御マイコン 14力 サーボ回路 15に要求を出 して、ディスクドライブ全体の制御を行う。
ここで、ディスク状記録媒体としての光ディスク 20は、光磁気ディスク (MO :
Magneto-Optical Disk)、相変化型ディスク等の書換可能な光ディスクが用いられる。 スピンドルモータ 21は、この光ディスク 20のフォーマットに従って、サーボ回路 15の 制御により線速度一定（CLV : Constant Linear Velocity)、角速度一定、（CAV: Constant Angular Velocity)、ン ~~ン CLV (ZCLV : Zone constant Linear Velocity ) 等の条件により光ディスク 20を回転駆動する。
サーボ回路 15は、光学ヘッド 23から出力される各種信号に基づいて、スピンドルモ ータ 21の動作を制御し、スピンドル制御の処理を実行する。また、サーボ回路 15は、 同様にして光学ヘッド 23をトラッキング制御、フォーカス制御し、また光学ヘッド 23及 び磁界ヘッド 22をシークさせ、さらにはフォーカスサーチ等の処理を実行する。 ドライブ制御マイコン 14は、システム制御マイコン 13の指示により、これらサーボ回 路 15におけるシーク等の動作を制御する。
光学ヘッド 23は、光ディスク 20にレーザビームを照射してその戻り光を所定の受光 素子により受光し、受光結果を演算処理することにより、各種制御用の信号を生成し て出力し、また光ディスク 20に形成されたピット列、マーク列に応じて信号レベルが 変化する再生信号を出力する。また、光学ヘッド 23は、システム制御マイコン 13の制 御により動作を切り換え、光ディスク 20が光磁気ディスクの場合、記録時、光ディスク 20に照射するレーザビームの光量を間欠的に立ち上げる。すなわち、このビデオデ イスク装置 30では、いわゆるノ《ルストレイン方式により光ディスク 20に撮像結果を記 録するようになされている。また光学ヘッド 23は、光ディスク 20が相変化型ディスク等 の場合、データ変復調器 11の出力データに応じて光ディスク 20に照射するレーザビ ームの光量を再生時の光量から書込時の光量に立ち上げ、熱記録の手法を適用し て光ディスク 20に撮像結果を記録するようになされている。
このように、このビデオディスク装置 30では、撮像結果として得られたビデオ信号及 びオーディオ信号をビデオ符号化器 1及びオーディオ符号化器 2によりデータ圧縮し てエレメンタリストリームに変換した後、ファイル生成器 5により QTフォーマットのフアイ ルに変換し、メモリコントローラ 7、エラー訂正符号 Z復号器 9、データ変復調器 11を 順次介して、光学ヘッド 23及び磁界ヘッド 22により、この QTフォーマットのファイル を光ディスク 20に記録する。
次に、このビデオディスク装置 30における再生時の動作について説明する。
すなわち、このビデオディスク装置 30において、再生時には、光学ヘッド 23により 再生用のレーザビームを光ディスク 20に照射して、光ディスク 20から反射されたビー ム量カも電気信号に光電変換し、再生信号を得る。再生時においても、記録時と同 様、記録されて!ヽるビデオデータ及びオーディオデータの多重化信号よりも高!、転 送レートで再生する場合には、通常は、連続的な再生が行われずに、一定のデータ 量を再生したら再生動作を中断して、次の再生要求まで待機するような動作を行う。 これらの動作は、記録時と同様、システム制御マイコン 13からの要求に応じて、ドライ ブ制御マイコン 14力 サーボ回路 15に要求を出して、ディスクドライブ全体の制御を 行う。
光学ヘッド 23により再生された信号は、データ変復調器 11に入力されて、所定の 復調処理を施した後、エラー訂正符号 Z復号器 9を介してメモリ 10に一旦書き込ま れ、エラー訂正符号 Z復号器 9によるデ 'インタリーブ及びエラー訂正処理が行われ る。エラー訂正処理されたデータは、ビデオデータ及びオーディオデータの多重化 データとして復元されているので、そのデータは、メモリコントローラ 7を介してメモリ 8 に書き込まれる。メモリ 8に書き込まれた多重化データは、システム制御マイコン 13の 要求に応じて、多重化を解く同期のタイミングに合わせて、ファイル復号器 6に出力さ れて、ビデオデータとオーディオデータに分離される。また、ファイル復号器 6では、 ムービーアトム (タイプ名： 'moov' )に格納された実データ管理情報の解読を行い、 メディアデータアトム（タイプ名： 'mdat' )の中に多重化されて格納された実データを どのように復号及び出力すれば良いかを解釈する。分離されたビデオデータは、ビ デォ復号器 3によって復号されてビデオ信号として出力される。同様に、オーディオ データは、オーディオ復号器 4によって復号されてオーディオ信号として出力される。 ここで、システム制御マイコン 13は、ビデオデータ及びオーディオデータを連続再 生する為に、メモリ 8から読み出してビデオ復号器 3及びオーディオ復号器 4に出力さ れるデータ量と、光ディスク 20から信号を再生してメモリ 8に書き込まれるデータ量を 監視して、メモリ 8がオーバフロー又はアンダフローしないように、メモリコントローラ 7 やドライブ制御マイコン 14に対して、ディスク力ものデータの読出要求を行う。
なお、本例での光ディスクは、磁界変調を行う光磁気ディスクを想定して説明してい る力 相変化ディスクになっても基本は同じである。
次に、 QTフォーマットについて概略的に説明する。
QTフォーマットは、特殊なハードウェアを用いずに動画等を再生する為の OS ( Operating System)の拡張機能として生まれたファイルフォーマットである。 QTフォー マットは、動画、音声、静止画、文字、 MIDI等の種々の形式による実データを 1つの 時間軸で同期させて再生することができるタイムベースのマルチメディアファイルフォ 一マットであり、ネットワーク上のストリーミングにも対応できるようになされている。
QTファイルにおいて、これら種々の形式による実データは、メディアデータとしてそ れぞれ個別のトラックとして格納され、それぞれ動画、音声、文字による実データのト ラックがビデオトラック、サウンドトラック (オーディオトラック）、テキストトラックと称され、 時間軸で厳密に管理されている。なお QTファイルには、他にも、ビデオデータとォー ディォデータが多重化されたデータ、例えば MPEG2-PS(Program Stream)データを管 理する MPEG2-PSトラックなどもある。
QTファイルは、大きくはムービーアトム（タイプ名： 'moov' )と、ムービーデータアト ム（タイプ名： 'mdat' )と呼ばれる 2つの部分に分かれている。トラックの集合によりム 一ビーデータアトム（Movie Data Atom )が形成され、このムービーデータアトム（ Movie Data Atom )の各トラックの管理情報等がまとめられてムービーアトム（Movie Atom)が形成される。
なお、アトムは、ボックス（Box)と表現することもある。また、ムービーアトム（Movie Atom)は、ムービーリソース（Movie Resource)と表現することもある。さらに、メディア データアトム（Media Data Atom)は、ムービーデータ（Movie Data)と表現することもあ る。
ムービーアトム（Movie Atom)には、この QTベースのファイルを再生するのに必要 な時間情報や実データ（ 'mdat' )を参照するのに必要な場所情報などが格納され、 メディアデータアトム（Media Data Atom)にビデオやオーディオの実データが格納さ れている。なお、 QTベースのファイルフォーマットは、 'moov，と' mdat，を 1つのファ ィル内に閉じて格納している必要性はなぐ例えば、他のファイルに存在するメディア データを参照できるように、ムービーアトム（Movie Atom)内には、外部参照するメデ ィァデータを含んで 、る外部ファイル名を、例えば記録媒体上の相対パスや絶対パ スを用いて指定する管理情報もムービーアトム (Movie Atom)内に格納することがで きる。
ここで、図 2に、光ディスク 20上に記録した QTベースのファイルの構造の一例を簡 略化して示す。
図 2に示す光ディスク 20には、 2種類の QTファイル Fl, F2が記録されており、 1つ の QTファイル F1はムービーアトム（Movie Atom)とメディアデータアトム（Media Data Atom)をセットで持つ自己内包型ファイルである。もう一つの QTファイル F2は、フアイ ルとしてはムービーアトム（Movie Atom)のみで構成され、別ファイル中の実データを 参照する、外部参照型ファイルである。
次に、図 3に、一例としてオーディオデータと画像データとを扱う QTベースのフアイ ルの構造を示す。
最も大きな構成部分は、ムービーアトム (Movie Atom) 110とメディアデータアトム（ Media Data Atom) 120である。ムービーアトム（Movie Atom)には、そのファイルを再 生するのに必要な時間情報や実データ参照の為の場所情報などが格納される。また 、メディアデータアトム（Media Data Atom) 120には、ビデオやオーディオなどの実デ ータが格納される。
ムービーアトム（Movie Atom) 110には、サウンドやビデオやテキストといった異なる タイプのメディアデータ（Media Data)をそれぞれ別のトラックとして格納する為のトラッ ク (Track)と呼ばれる階層が必要に応じて複数存在する。各トラック (Track)には、そ れぞれの実データの圧縮方式や格納場所や表示時間を管理する為のメディア階層 を持っており、その中で、実データを格納したメディアデータアトム（Media Data Atom ) 120に、どのような単位でデータを格納されているかを示す管理最小単位のサンプ ル（Sample)のサイズや、そのサンプル (Sample)を幾つか集めてブロック化したチャン ク（Chunk)、そのチャンク（Chunk)の格納場所、そして各サンプル（Sample)の表示時 間などの情報を格納して 、る。
そして、ムービーアトム（Movie Atom) 110には、メディアデータアトム（Media Data Atom) 120に格納したトラック毎のデータに関する情報を記述するトラックアトム（ 'tra k，）の階層構造を有する。また、トラックアトム (Track Atom)には、そのトラックで実際 に用いられる実データに関する情報を記述するメディアアトム（ 'mdia' )の階層構造 を有する。メディアアトム（Media Atom)には、そのメディアタイプで表現される情報を 記述するメディアインフォメーションアトム（ 'minf， )の階層構造を有する。メディアィ ンフオメーシヨンアトム（Media Information Atom)には、そのメディアの実データの最 小管理単位であるサンプル (Sample)に関する情報を記述するサンプルテーブルアト ム（' stbl' )の階層構造を有する。なお、このムービーアトム図は、 1つのビデオトラッ クに関して詳細を記載したものであり、図示を省略するが、オーディオトラックに関し て同様の構造が記述される。
ムービーアトム（Movie Atom) 110には、ファイル全体に関わるヘッダ情報を記述す るムービーヘッダーアトム（ 'mvhd，）が含まれる。 トラックアトム（Track Atom)には、トラック全体に関わるヘッダ情報を記述する Tトラ ックヘッダアトム（ 'tkhd' )と、トラックを構成するメディアとの時間関係に関する情報 を記述するエディットアトム（ 'edts，）が含まれる。エディットアトム（Edit Atom)には、ト ラックの時間軸とメディアの時間軸の関係を記述するエディットリストアトム（ 'elst' )が 含まれる。
メディアアトム（Media Atom) 110には、メディア全体に関わるヘッダ情報を記述する メディアヘッダアトム（ 'mdhd，）と、メディア毎の取扱いに関する情報を記述するハン ドラリファレンスアトム（ 'hdlr，）が含まれる。
メディアインフォメーションアトム（Media Information Atom)には、ビデオトラックなら ばビデオメディアに関わるヘッダ情報を記述するビデオメディアヘッダアトム（ 'vmhd ' )、そのデータの取扱いに関する情報を記述するハンドラリファレンスアトム（ 'hdlr，） 、実際に参照するデータの格納先に関する情報を記述するデータインフォメーション アトム（ 'dinf， )が含まれる。データインフォメーションアトム（Data Information Atom) には、参照する実データの格納方法や場所やファイル名に関する情報を記述するデ 一タリファレンスアトム（'dref ' )が含まれる。なお、オーディオトラックならばサウンドメ ディアに関わるヘッダ情報を記述するサウンドメディアヘッダアトム（ ' smhd' ) 1S ビ デォメディアヘッダアトム（ ' vmhd，）の代わりに含まれる。
サンプルテーブルアトム（Sample Table Atom)には、各サンプル（Sample)に関する 圧縮方式やその特性に関する情報の記述を行うサンプルディスクリプシヨンアトム（' s tsd' )、各サンプル (Sample)と時間の関係を記述する時間サンプルアトム（ ' stts' )、 各サンプル (Sample)のデータ量を記述するサンプルサイズアトム（ ' stsz，）、チャンク (Chunk)とそのチャンク（Chunk)を構成するサンプル (Sample)の関係を記述するサ ンプルチヤンクアトム（ ' stsc， )、ファイル先頭からの各チャンク（Chunk)の先頭位置を 記述するチャンクオフセットアトム（ ' stco， )、各サンプル (Sample)のランダムアクセス 性を記述するシンクサンプルアトム（ ' stss' )、各サンプル (Sample)と表示上の時間と の関係を記述するコンポジションタイムサンプルアトム（ 'ctts' )などが格納されて!、る ここで、ほぼ同等のアトム構造を C言語風に一覧記述したものを表 1に示している。 なお、図 3及び表 1を用いて示した構造は、 QTフォーマットをベースとするファイル 構造の一例であり、ここに示す構造以外にも用いられるアトムタイプが存在するが、主 要なものを示している。
これに対して、メディアデータアトム（Media Data Atom)には、例えば MPEG1 Audio Layer2に基づく圧縮符号ィ匕方式によって符号ィ匕されたオーディオデータ、及 び例えば MPEG2 Video規定に従う圧縮符号ィ匕方式によって符号ィ匕された画像デー タカ それぞれ所定数のサンプル (Sample)で構成されるチャンク（Chunk)を単位とし て格納されている。勿論、符号ィ匕方式はこれらに限定するものではなぐ例えば Motion JPEGや Motion JPEG2000や MPEG4や AVC (Advanced Video Coding： MPEG4— partlO)、オーディオなら Dolby AC3や ATRAC (Adaptive Transform Acoustic Coding)などでも良ぐまた、圧縮符号化が施されていないリニアデータを格 納することも可能である。
次に、本発明においてのビデオエフェクトを含む QTベースのアトム構造の例を C言 語風に一覧記述したものを表 1及び表 2に示す。
Atom Type
Movie atom { I moov I
Movie Header atom I mvhd' I
Track atom (video) { I trak' I
Track Header atom I tkhd' I
Edit atom { edts' I
Edit List atom I elst' I
I
Media atom { I mdia I
Media Header atom I mdhd' I
Media Handler Reference atom I hdlr' Media Information atom { I minf I Video Media Information Header atom I vmhd' Data Handler Reference atom I hdlr， I Data Information atom { dinf I Data Reference atom dref I
} I
Sample Table atom { I stbl' I
Sample Description atom I stsd' I Time— to— Sample atom I stts， I Sample Size atom stsz' I Sample— to - Chunk atom I stsc， し hunk Offset atom I stco' I
Track atom (effect) { I trak， I
Track Header atom I tkhd， I Edit atom { sdts, I
Edit List atom I elst' I
} I
Track Reference atom { I tref I Track Reference Type atom I ssrc'
I
Media atom { I mdia I
Media Header atom I mdhd' I Media Handler Reference atom I hdlr' Media Information atom { I minf I Video Media Information Header atom I vmhd' Data Handler Reference atom I hdlr' I Data Information atom { dinf I Data Reference atom dref I
} I
Sample Table atom { I stbl' I
Sample Description atom I stsd' Time— to— Sample atom I stts， I Sample Size atom stsz' I Sample— to - Chunk atom I stsc' Chunk Offset atom I stco' I
Track Input Map atom { I imap I QTatom container { sean' I Track Input QTatom { I in' l Input Type QTatom I ty' | Data Source Type QTatom I dtst'
Movie Data atom mdat' 表 2
Atom Type Movie atom { I moov I Μονίθ Header atom I mvhd' I Track atom (video 1) { I trak， I
Track Header atom I tkhd， I Edit atom { edts' I
Edit List atom I elst' I
} I I
Media atom { I mdia' |
Media Header atom I mdhd' I Media Handler Reference atom I hdlr' I Media Information atom { I mini" I Video Media Information Header atom I vmhd' Data Handler Reference atom I hdlr' I Data Information atom { I dinf I Data Reference atom I dref I
} I I
Sample Table atom { I stbl' I
Sample Description atom I stsd' I Time— to— Sample atom I stts' I Sample Size atom I stsz' I Sample— to— Chunk atom I stsc' I Chunk Offset atom I stco' I
}
Track atom (video 2) { trak， Track Header atom I tkhd' I Edit atom { edts' I
Edit List atom I elst， I
} I I
Media atom { I mdia I
Media Header atom I mdhd' I Media Handler Reference atom I hdlr' I Media Information atom { I minf I Video Media Information Header atom I vmhd' Data Handler Reference atom I hdlr' I Data Information atom { I dinf I Data Reference atom I dref I
} I I
Sample Table atom { I stbl' I
Sample Description atom I stsd' I Time— to— Sample atom I stts' I Sample Size atom I stsz I Sample— to - Chunk atom I stsc' I Chunk Offset atom I stco' I
} I
Track atom (effect) { I trak' I
Track Header atom I tkhd' Edit atom { edts' I
Edit List atom I elst' I Track Reference atom { I tref I Track Reference Type atom I ssrc' I
} I I
Media atom { mdia I
Media Header atom I mdhd' I Media Handler Reference atom I hdlr' I Media Information atom { I minf I Video Media Information Header atom I vmhd' Data Handler Reference atom I hdlr' I Data Information atom { I dinf I Data Reference atom I dref I
} I I
Sample Table atom { I stbl' I
Sample Description atom I stsd' I Time— to— Sample atom I stts' I Sample Size atom I stsz' I Sample - to - Chunk atom I stsc' I Chunk Offset atom I stco' I
Track Input Map atom { I imap I QTatom container { sean' | Track Input QTatom { I in' l Input Type QTatom I ty' | Data Source Type QTatom I dtst'
Track Input QTatom { I in' l Input Type QTatom I ty' | Data Source Type QTatom dtst'
Movie Data atom | mdat' |
なお、図 3、及び表 1、表 2を用いて示したアトム構造は、 QTフォーマットをベースと するファイル構造の一例であり、ここに示す構造以外にも用いられるアトムタイプが存 在するが、主要なものを示している。
これに対して、メディアデータアトム（Media Data Atom)には、例えば MPEG1 Audio Layer2に基づく圧縮符号ィ匕方式によって符号ィ匕されたオーディオデータ、及 び例えば MPEG2 Video規定に従う圧縮符号ィ匕方式によって符号ィ匕された画像デー タカ それぞれ所定数のサンプル (Sample)で構成されるチャンク（Chunk)を単位とし て格納されている。勿論、符号ィ匕方式はこれらに限定するものではなぐ例えば Motion JPEGや Motion JPEG2000や MPEG4や AVC (Advanced Video Coding： MPEG4— partlO)、オーディオなら Dolby AC3や ATRAC (Adaptive Transform Acoustic Coding)などでも良ぐまた、圧縮符号化が施されていないリニアデータを格 納することも可能である。
表 1に示すファイルは、 QTにおいて 1ソースエフェクト（One- source Effect)と称され る、エフェクトを施す対象トラック (ソーストラック）となる 1つのビデオトラックに対して、 所望のビデオエフェクトを施すエフェクトトラックを含んだ基本的なものである。実現さ れるエフェクト例としては、 1つのビデオソースに対するフィルタ効果例として、モノクロ ームゃセピア色変換、ぼ力しゃモザイクなどが挙げられる。
また、表 2に示すファイルは、 QTにおいて 2ソースエフェクト（Two- source Effect)と 称される、エフェクトを施す対象トラック (ソーストラック）となる 2つのビデオトラックに対 して、所望のビデオエフェクトを施す Effectトラックを含んだ基本的なものである。実 現されるエフェクト例としては、 2つのビデオソース間のトランジシヨン効果例として、ヮ ィプゃクロスフェードなどが挙げられる。
なお、この実施の形態では、ビデオエフェクトを対象としているので、オーディオトラ ックは図には記載していない。また、上述のエフェクトにとっての入力ソースとなるトラ ックは、ビデオトラックにカ卩え、ビデオデータとオーディオデータが多重化されている、 例えば MPEG-PSトラックも対象となる。
表 1、表 2において、エフェクトトラックはメディアタイプとしては、通常のビデオトラッ クと同じく、ビデオメディアとして扱われる。したがって、トラックアトム（Track Atom)以 下の構造は、ほぼ同じものであるが、次に挙げる 2点のみ、エフェクトトラックとして機 能する為に追加で必要となるアトム構造が存在する。
エフェクトトラックのトラックアトム（Track Atom)には、エフェクトを施す対象であるソ 一ストラックとの参照関係を指定する為の情報を記述するトラックリファレンスアトム（ 't ref，）が必要となる。トラックリファレンスアトム（Track Reference Atom)には、実際にソ 一ストラックを指定する為に、指定対象となるトラックのトラックヘッダアトム (Track Header Atom)内に格納されているトラック固有のトラック IDを指定するトラックリファレ ンスタイプアトム（' ssrc' )が含まれる。なお、ソーストラックが 1つである 1ソースェフエ タトにおいては、トラックリファレンスタイプアトム（Track Reference Type Atom)に格納 するトラック IDは 1個で、ソーストラックが 2つである 2ソースエフェクトにおいては 2個と なる。
また、エフェクトトラックのメディアアトム（Media Atom)には、エフェクトトラックにとつ て、エフェクトを施す対象でありエフェクトトラックにとっての入力であるソーストラックに 関する情報を記述するトラックインプットマップアトム（ 'imap ' )が必要となる。トラック インプットマップアトム（Track Input Map Atom)には、これまでに登場したアトム構造 とは少し異なり、 QTにおいて QTアトム構造と呼ばれるもので構成されており、 QTァ トムコンテナ ( ' sean' )を最上位アトムとするコンテナによってパッキングされたトラック インプット QTアトム（ 'in，）が必要に応じて複数含まれる。トラックインプット QTアトム（ Track Input QTatom)には、入力ソースがビデオメディアであることを指定するインプ ットタイプ QTアトム（ 'ty' )、それ力 ソーストラックに対して固有の名称を与えるデー タソースタイプ QTアトム（ 'dtst，）が含まれる。
なお、表 1、表 2に示すとおり、ソーストラックが 1つである 1ソースエフェクトにおいて は、トラックインプット QTアトム（Track Input QTatom)は 1個で、ソーストラックが 2つで ある 2ソースエフェクトにおいては 2個となる。
なお、詳細は省略するが、エフェクトトラックの実データは、ソーストラックのビデオデ ータと同じぐエフェクトサンプル毎にムービーデータアトム（Movie Data Atom)内に 格納される。格納されるエフェクトトラックのデータとは、下記で説明するエフェクトトラ ックのサンプノレディスクリフ。シヨンアトム (Sample Description Atom)内で、データフォ 一マットフィールドにて設定するエフェクト種別毎に定義された、そのエフェクト処理 の為のパラメータデータを必要に応じて格納する。
ここで、表 1に例示した 1ソースエフェクトの実現例として、ムービーファイルにおける トラック構成、ムービーアトム（Movie Atom)構造の概略及びムービーデータアトム（ Movie Data Atom)構造の概略を図 4の（A)—（C)に示す。
ここで、図 4の（A)に示す 1つのソーストラックに対して、そのトラックのある特定区間 に所望のフィルタエフェクトを、図 4の（B)に示すエフェクトパラメータデータに従って 、図 4の（C)に示すムービーアトム（Movie Atom)により施すもので、その特定区間以 外は Nullエフェクト（Null Effect)を施す例である。特定のエフェクト種別に特定のパラ メータ設定をすることによって実現される見た目上効果のないエフェクトを Nullェフエ タトと呼ぶ。この実現例では、ソーストラックが 1つで、そのソーストラックを指定する為 に、トラックリファレンスアトム（ 'tref， )を使ってソーストラックのトラック ID番号として [1 ]を指定し、トラックインプットマップアトム（ 'imap，）を使ってソース固有の名前として ' srcA，を与えている。
また、表 2に例示した 2ソースエフェクトの実現例として、ムービーファイルにおけるト ラック構成、ムービーアトム（Movie Atom)構造の概略及びムービーデータアトム（ Movie Data Atom)構造の概略を図 5の（A)—図の（5) Cに示す。
ここで、図 5の（A)及び図 5の（B)に示す 2つのソーストラックを使って、それらのトラ ックを重ねる特定区間に対して所望のトランジシヨンエフェクトを図 5の（C)に示すェ フエタトパラメータデータに従って、図 5の（B)に示すムービーアトム（Movie Atom)に より施すもので、その特定区間以外は、どちらかのソーストラックに対して Nullェフエ タト（Null Effect)を施す例である。この実現例では、ソーストラックが 2つで、それらの ソーストラックの Track ID番号として 1つ目は 1、 2つ目は 2を指定し、ソース固有の 名前として 1つ目は' srcA'、 2つ目は' srcB，を与えて、、る。
なお、所望のエフェクト（エフェクト種別 2)を施す区間は、図 4の（B)及び図 5の（B) では網掛けとして示している。網掛け以外の区間は、 1つ目若しくは 2つ目のソースト ラックに対してある特定のエフェクト（エフェクト種別 1)を、後述するエフェクトパラメ一 タとして標準値を与えることにより、見かけ上は効果が現れない設定としている。また 、エフェクトトラックは 3つのエフェクトサンプルを持ち、 1つ目と 3つ目のエフェクトサン プルがエフェクト種別 1のサンプルである。 2つ目のエフェクトサンプルはエフェクト種 別 2のサンプルである。
このように QTファイルでは、図 4の（C)及び図 5の（C)にそれぞれ 1ソースエフェクト 及び 2ソースエフェクトに係るムービーアトム（ムービーリソース）とムービーデータアト ムとの関係を示すように、エフェクトトラック ETのトラックリファレンスアトム（Track Reference Atom (tref) )、トフックインフットマップフトム (Track Input Map Atom (imapノ )によりソーストラック ST、 ST1、 ST2を特定できるようになされている。なお、図 4の（ A)—図 4の（C)、図 5の（A)—図 5の（C)は、実データに係るビデオデータとエフヱク トの処理との関係をエフェクトトラックとの対比により示している。
次に、 QTにおける多重エフェクトについて説明する。
多重エフェクトは、 QTにおいてスタックエフェクト（Stack Effect)と称される。オリジナ ルのビデオトラックをソーストラックとしたエフェクトトラックを別のエフェクトトラックのソ 一ストラックとすることができる。実現されるエフェクト例としては、セピア色変換したも のにぼかしを施すなどが挙げられる。
通常のエフェクトはエフェクトトラックのソーストラックとしてオリジナルのビデオトラッ クを用いる力 多重エフェクトはソーストラックとしてエフェクトトラックを用いる点が異な る以外は、通常のエフェクトと同様にとトラックリファレンスアトム（'tref，）、トラックイン プットマップアトム（'imap' )を構成することで実現される。ただし、多重エフェクト実現 するにはサンプルテーブルアトム（Sample Table Atom)において次に示す点が異な る。
別のエフェクトのソーストラックとして用いられるエフェクトトラックには、そのサンプル ディスクリプシヨンアトム（ ' stsd，）の中に格納するサンプルディスクリプシヨンエントリテ 一ブル（Sample Description Entry Table)に拡張アトムが必要である。
ここで、この点について具体的に説明する。
本来、エフェクトトラックにおけるサンプルディスクリプシヨンアトム（' stsd' )において は、ビデオトラックにおける圧縮符号ィ匕方式を指定する為のデータフォーマツトフィー ルドが存在する。このフィールドにはアスキーコードとして 4文字アルファベット（4Byt e)を用いて、その圧縮符号ィ匕方式を指定する。 QTのエフェクトトラックにおいては、 このフィールドに圧縮符号ィ匕方式ではなぐエフェクト種別を示す情報を同じく 4文字 アルファベットとして格納するものである。
多重エフェクトを実現するには、別のエフェクトトラックのソーストラックとして用いら れるエフェクトトラックのサンプルディスクリプシヨンエントリ（Sample Description Entry) ットアトム（'idfm' )を拡張追加する必要がある。拡張アトムのタイプ名は、 'idfm'で ある。 4Byteのデータフィールドを 1つ持ち 'fxat，の 4文字アルファベットを指定する 。このデータフィールドを持つエフェクトトラックがエフェクトトラックのソーストラックとし て禾 IJ用可會 になる。
表 3に多重でない通常のエフェクトトラックあるいは別のエフェクトトラックのソーストラ ックとして用いられな 、エフェクトトラックのサンプル (Sample)の特性や属性などを記 述するサンプルディスクリプシヨンアトム（ ' stsd' )と、その中に格納するサンプルディ スクリプシヨンエントリテーブル（Sample Description Entry Table)も含めてアトム内部 の構造について示す。
表 3
sample Description atom {
(4) Size
(4) Type(=stsd')
(1) Version (3) Flags
(4) Number of Entries
(112) Effect Sample Description entryftl
(112) Effect Sample Description entry#M
Effect Sample Description entry {
(4) Size
(4) Data Format
(6) Reserved
(2) Data Reference Index
(2) Version
(2) Revision Level
(4) Vendor
(4) Temporal Quality
(4) Spatial Quality
(2) Width
(2) Height
(4) Horizontal Resolution
(4) Vertical Resolution
(4) Data Size
(2) Frame Count
(32) Compressor Name
(2) Depth
(2) Color Table ID
}
ビデオトラックのサ: (sample description)【こお 、て ίま、
(sample description)のサイズ (Size)、タイプ名 (stsd )、バージョン、フラグが順次割り当てられる。またこのサンプルディスクリプシヨンアト ム（sample description)のエントリ数（number of Entries )が割り当てられ、このエントリ 数の分だけ、データ圧縮方式、関連する情報によるエントリ (Videosample description entry)が割り当てられる。
また各エントリ（Video sample description entry)においては、各エントリ（
Videosample description entry)のサイズ（Size)が割り当てられ、続くデータフォーマツ ト（Data Format )によりデータ圧縮方式が記述される。なお各エントリ（Video sample description entry)においては、このデータフォーマット（Data Format )に関連する情 報として、 1サンプルに割り当てるフレーム数を記述するフィールド（Frame Count )等 が割り当てられる。
表 4には表 3と同じ構造で、多重エフェクト時、別のエフェクトトラックのソーストラック として用いられるエフェクトトラックのサ：
Description Atom) 同様に不す。
表 4
sample Description atom {
(4) Size
(4) Type(=stsd')
(1) Version
(3) Flags
(4) Number of Entries
(112) Effect Sample Description entry#l
(112) Effect Sample Description entry#M
Effect Sample Description entry {
(4) Size
(4) Data Format
(6) Reserved (2) Data Reference Index
(2) Version
(2) Revision Level
(4) Vendor
(4) Temporal Quality
(4) Spatial Quality
(2) Width
(2) Height
(4) Horizontal Resolution
(4) Vertical Resolution
(4) Data Size
(2) Frame Count
(32) Compressor Name
(2) Depth
(2) Color Table ID
I * Data Format extension atom */
(12) Image Description Extension Describing Sample Format Atom
Image Description Extension Describing Sample Format Atom {
(4) Size
(4) Type(=idftn')
(4) Data(=feat') エフェクトトラックのサンプノレディスクリフ。シヨンアトム (sample description)において は、表 3との対比により表 4に示すように、ビデオトラックのサンプルディスクリプシヨン アトム（sample description)と同様に、サイズ（Size)、タイプ名 (stsd)、バージョン、フラ グ、エントリ数 (number of Entries )が割り当てられ、続いて所定数だけエフェクトに係 るエントリ（Effect sample description entry )が割り当てられる。 各エフェクトに係るエントリ（Effect sample description entry )は、さらにリザーブ、デ 一タリファレンスインデッス等の、ビデオトラックにおけるエントリと同一のフィールドが 連続し、末尾に、データフォーマットの拡張情報を記述する為に用意される拡張アト ムが割り当てられる。
なお、上記表 3及び表 4においては、括弧書により各フィールドのデータ量をバイト 数で示す。
ここで、本発明は、映像及び音声を記録時に再生目的の異なるムービーアトム（ Movie Atom)を複数作成することにより実現される利便性を達成するものである。カム コーダで映像及び音声をディスクへ記録撮影する際、オリジナルのムービーの為の ムービーアトム（Movie Atom)と、そのムービーにエフェクトの施されたムービーの為 のムービーアトム（Movie Atom)の 2つを同時に作成する場合を例にして説明する。 以下の説明において、この 2つのムービーアトム（Movie Atom)は同一のムービー データアトム（Movie Data Atom)を外部参照する方式をとる。
まず、概要を説明する。記録撮影中、符号化された映像及び音声データの実態で あるムービーデータアトム（Movie Data Atom)が光ディスク 20へ順次記録される。同 時にオリジナルムービー用のビデオトラックのみを持つムービーデータアトム（Movie Data Atom)がメモリ 8へ順次記録される。さらに、同時にビデオトラックとエフェクトトラ ックを持つムービー用のムービーアトム（Movie Atom)カ モリ 8へ順次記録される。 記録撮影が終了した時点でムービーデータアトム（Movie Data Atom)が完結すると 同時に、 2つのムービーアトム（Movie Atom)がメモリ 8から光ディスク 20上に書き出さ れ、ムービーアトム（Movie Atom)が完結する。このときのオリジナルムービー用のビ デォトラックのみを持つムービーアトム（Movie Atom)のトラック構成は、後述する図 2 2Cのようになる。オリジナルトラックを 1つだけ持つムービーアトム（Movie Atom)とな る。また、ビデオトラックとエフェクトトラックを持つムービー用のムービーアトム（Movie Atom)のトラック構成は、図 22Dに示すようになる。オリジナルムービーを管理するソ 一ストラックとエフェクトトラックで構成される。
エフェクトの施されたムービーの為のムービーアトム（Movie Atom)については、映 像及び音声を記録又は再生時にユーザからの指示によるエフェクトの選択、エフエタ トの ON/OFFの情報をこのムービーアトム（Movie Atom)のエフェクトトラックの管理 情報へ記録又は再生終了時に反映する。
記録撮影時のメモリ 8内においてムービーアトム（Movie Atom)のデータは、実態そ のものが記録されるとは限らず、コード化されて記録されることもある。また、オリジナ ルのムービーの為のムービーアトム（Movie Atom)と、そのムービーにエフェクトの施 されたムービーの為のムービーアトム（Movie Atom)の両アトムで共通な情報はメモリ 8内で共用されることちある。
次に、記録撮影時、再生時エフェクト編集の詳細について例を示す。実装される記 録撮影時、再生時のプログラムはメイン部とユーザ入力部に分かれる。メイン部は記 録撮影時の大まかな流れを受け持つ。ユーザ入力部ではユーザインタフェースの状 態によりユーザ要求を発行する部分を受け持つ。
このビデオディスク装置 30を搭載したビデオディスクカメラ 100は、例えば、図 6に 示すように、ユーザインタフェースとして、記録開始ボタン 41、再生開始ボタン 42、停 止ボタン 43、エフェクトボタン 44、エフェクト種別'パラメータ変更ボタン 45、マークボ タン 46等の各種操作ボタンを備える。
このビデオディスクカメラ 100は、撮像レンズ 47を備え、さらにディスクドライブ部 48 を備えている。
まず、説明に必要な実装プログラムで使用するテーブルとビデオディスクカメラ 100 のユーザインタフェースについて説明する。メイン部ではエフェクト区間テーブル、マ ークテーブル、エフェクトスィッチを用いる。まず、それについての説明をする。
エフェクト区間テーブルは、図 7に示すように、再生あるいは録画されるエフェクトト ラックを持つムービーにおいて、どのような種別'パラメータのエフェクトがどの区間施 されるかを記述しているもので、メモリ 8上に置力れる。また、ムービーアトム（Movie Atom)内のエフェクトトラック 1つにつきエフェクト区間テーブルが 1つ存在する。エフ ェクトトラックを多数持つムービーアトム（Movie Atom)の場合はそれと同数のエフエタ ト区間テーブルが存在する。エフェクトの施されてない区間（Nullエフェクト区間）はこ のテーブルに記述しない。エフェクトを削除する場合は、「エフェクト解除」をエフェクト 区間として登録することにより行う。エフェクト区間テーブルへエフェクト区間を追加す る場合には追加するエフェクト区間は最後のエントリとして追加する。
ここで、エフェクト区間テーブルを整理する処理について説明する。
図 8Aのようなエフェクト区間テーブルの状態では、図 9Aに示すようにエフェクト区 間エントリがオーバーラップして 、る。
そこで、上記エフェクト区間テーブル整理を行い図 8Bのようにすることによって、図 9Bに示すようにエフェクト区間エントリがオーバーラップしな 、状態となる。
このように、区間がオーバーラップしている場合は、エフェクト区間テーブルを整理 し再構築する。
図 8Aの状態から図 8Bの状態への整理にお!、て、 00： 01： 00— 00： 02： 00区間で は、もとからエフェクトがな ヽ（Nullエフェクト）。 00： 01： 00— 00： 02： 00の区間では Effect— 1がそのまま残って!/、る。 00： 01： 00— 00： 02： 00の区間では Effect— 1 がエフェクト解除により Nullエフェクトとなる。さらにそこへ Effect— 2が埋め込まれ、 結果的に Effect— 1が Effect— 2で上書きされる。 00： 03： 00— 00： 04： 00の区間 では Effect— 1がそのまま残って!/、る。 00： 04： 00— 00： 05： 00区間ではもとからェ フエタトがな ヽ（Nullエフェクト）。このような規則で整理が行われる。
また、図 9Cに示すようなエフェクトを与える図 8Cに示すエフェクト区間テーブルを 整理すると図 8Dのようにする。すなわち、エフェクト区間を整理してもオーバラップが 残る場合は、エフェクト区間テーブルを新たに作成し、後から追加したエフェクト区間 エントリをそこへ移動する。複数のテーブルはそれぞれ複数のエフェクトトラックの管 理情報となる。図 8Dに示すエフェクト区間テーブル 1, 2は、図 8Dに示す Effect— 1 及び Effect— 2を与える。
実際の処理ではエフェクト区間テーブルへの 1エントリの登録は、エフェクトが ONに なったとき、 OFFになったときの 2回に分けて行う。それぞれエフェクト区間登録処理 A、エフェクト区間登録処理 Bと呼ぶことにする。この処理には、多重エフェクトタイプ と上書きタイプの 2種類ある。
多重エフェクトタイプのエフェクト区間登録処理 Aでは、図 10に示すように、エフエタ ト区間テーブルのエントリを追加し、エフェクト開始時刻、種別をテーブルに書き込む 処理 SAを行う。 この多重エフェクトタイプのエフェクト区間登録処理 Aでは、処理直後のエフェクト区 間テーブルの状態の一例を図 11に示すように、エフェクト区間テーブルに所望のェ フエタト種別'パラメータ、開始時刻を登録し、継続時間は何も入れない。
そして、多重エフェクトタイプのエフェクト区間登録処理 Bでは、エフェクト継続時間 を計算し、エフェクト区間テーブルに記録する処理 SBを行う。
この多重エフェクトタイプのエフェクト区間登録処理 Bでは、図 12に示すように、処 理直後のエフェクト区間テーブルの状態の一例を図 13に示すように、 «続時間を登 録する。
これに対し、上書きタイプのエフェクト区間登録処理 Aでは、図 14に示すように、ェ フエタト区間テーブルのエントリを追加し、種別を解除として開始時刻をテーブルに書 き込む処理 SA1を行い、さらに、エフェクト区間テーブルのエントリを追カ卩し、所望の エフェクトの為のエフェクト開始時刻、種別をテーブルに格納する処理 SA2を行う。 この上書きタイプのエフェクト区間登録処理 Aでは、処理直後のエフェクト区間テー ブルの状態の一例を図 15に示すように、エフェクト区間テーブルにエフェクト解除と 所望のエフェクトの 2つのエントリを追加する。 2つのエントリともにエフェクト種別'パラ メータ、開始時刻を登録し、継続時間は何も入れない。
そして、上書きタイプのエフェクト区間登録処理 Bでは、図 16に示すように、エフエタ ト継続時間を計算し、エフェクト解除用のエフェクト区間テーブルに記録する処理 SB 1を行い、さらに、エフェクト継続時間を計算し、所望のエフェクトの為のエフェクト区 間テーブルに記録する処理 SB2を行う。
この上書きタイプのエフェクト区間登録処理 Bでは、処理直後のエフェクト区間テー ブルの状態の一例を図 17に示すように、 2つのエントリに対し継続時間を登録する。 さらに、マークテーブルは、図 18に示すように、録画開始、再生開始、停止、マーク ボタンが押されたときに再生又は録画開始からの時刻を登録するテーブルである。 ここで、エフェクトの種別及びパラメータはプリセットで開発者が用意したものを選択 できるような方法をとる。ユーザは、エフェクト種別'パラメータ変更ボタンによってプリ セットの中力も選ぶ。その中には、ぼかし'弱、モザイク '小などの他に、任意のェフエ タト区間を削除する場合に用いるエフェ外解除も含まれる。 エフェクトスィッチは、 ON (エフェクトが施されて!/、る） /OFF (エフェクトが施されて いない）を表す変数であり、このビデオディスクカメラ 100にユーザインタフェースとし て備えられているエフェクトボタン 44が押される毎に ONZOFFの状態がトグルする 次に、ユーザ入力部について説明する。
ユーザ入力部は、メイン部から共通に呼ばれる関数であり、図 19のフローチャート に示す手順に従って、記録開始ボタン 41、再生開始ボタン 42、停止ボタン 43、エフ ェクトボタン 44やエフェクト種別'パラメータ変更ボタン 45の状態を読み取って、ユー ザ要求を発行する処理を行う。
すなわち、まず、ステップ S1では、過去の録画開始要求、再生要求、停止要求ュ 一ザ要求、マーク要求をクリアする。
次のステップ S 2では、ユーザインタフェースのボタン状態を取得する。
そして、次のステップ S3では、記録開始ボタン 41が押された力否かを判定する。 このステップ S3における判定結果が YESすなわち記録開始ボタン 41が押された 場合は、ステップ S4に進んで録画開始要求を発行して、ステップ S5に進む。
また、このステップ S3における判定結果が NOすなわち記録開始ボタン 41が押さ れていない場合は、ステップ S5に進む。
ステップ S5では、再生開始ボタン 42が押された力否かを判定する。
このステップ S5における判定結果が YESすなわち再生開始ボタン 42が押された 場合は、ステップ S6に進んで再生開始要求を発行して、ステップ S7に進む。
また、このステップ S5における判定結果が NOすなわち再生開始ボタン 42が押さ れていない場合は、ステップ S7に進む。
ステップ S7では、停止ボタン 43が押された力否かを判定する。
このステップ S7における判定結果が YESすなわち停止ボタン 43が押された場合 は、ステップ S8に進んで停止始要求を発行して、ステップ S9に進む。
また、このステップ S7における判定結果が NOすなわち停止ボタン 43が押されてい ない場合は、ステップ S9に進む。
ステップ S9では、エフェクトボタン 44が押されたか否かを判定する。 このステップ S9における判定結果が YESすなわちエフェクトボタン 44が押された場 合は、ステップ S 10に進んでエフェクトスィッチが ON状態にある力否かを判定する。 このステップ S10における判定結果が YESすなわちエフェクトスィッチが ON状態 にある場合にはステップ S 11に進んでエフェクトスィッチを OFFにして、ステップ S 13 に進む。
また、このステップ S10における判定結果が NOすなわちエフェクトスィッチが OFF 状態にある場合にはステップ S12に進んでエフェクトスィッチを ONにして、ステップ S 13に進む。
さらに、上記ステップ S9における判定結果が NOすなわちエフェクトボタン 44が押 されていない場合は、ステップ S 13に進む。
ステップ S 13では、エフェクト種別'パラメータ変更ボタン 45が押された力否かを判 定する。
このステップ S 13における判定結果が YESすなわちエフェクト種別 ·パラメータ変更 ボタン 45が押された場合は、ステップ S14に進んでエフェクト種別'パラメータを変更 して、ステップ S 15に進む。
また、このステップ S 13における判定結果が NOすなわちエフェクト種別 ·パラメータ 変更ボタン 45が押されて!/ヽな 、場合は、ステップ S 15に進む。
ステップ S 15では、マークボタン 46が押されたか否かを判定する。
このステップ S 15における判定結果が YESすなわちマークボタン 46が押された場 合は、ステップ S16に進んでマーク要求を発行して、ユーザ入力処理を終了する。 また、このステップ S 15における判定結果が NOすなわちマークボタン 46が押され ていない場合は、直ちにユーザ入力処理を終了する。
次に、メイン部について説明する。
記録撮影時にユーザからの指示によりエフェクトが任意の時間に任意のエフェクト 区間が作成され、撮影開始力も終了するまで終始エフェ外を施さな力 た場合は N ullエフェクトを施す処理の例を示す。メイン部は、図 20のフローチャートに示す手順 に従って、この処理を行う。
すなわち、ステップ S21では、上記ユーザ入力部によるユーザ入力を行う。 次のステップ S22では、録画開始要求があった力否かを判定する。
このステップ S22における判定結果が NOすなわち録画開始要求がない場合には ステップ S21に戻り、上記ステップ S21とステップ S22の処理を繰り返すことにより、ュ 一ザ力 録画開始要求があるまで待機して 、る。
このステップ S22における判定結果が YESすなわち録画開始要求があると、次の ステップ S23に進む。
ステップ S23では、エフェクトスィッチが ON状態にあるか否かを判定する。
このステップ S23判定結果が NOすなわちエフェクトスィッチが OFFのときは、その ままステップ S25に進む。
また、このステップ S23判定結果が YESすなわちエフェクトスィッチが ONのときは ステップ S24に進んで、上述のエフェクト区間登録処理 Aを行って、すなわち、その 時点でのエフェクト種別'パラメータと開始時刻をエフェクト区間テーブルへ記録して 、ステップ S25に進む。
ステップ S25では、映像音声データをムービーデータアトム（Movie Data Atom)とし てストレージである光ディスク 20に記録する。
次のステップ S26では、映像や音声の管理情報をムービーアトム（Movie Atom)とし 実装メモリ 8に記録する。
次のステップ S27では、上記ユーザ入力部によるユーザ入力を行う。
次のステップ S28では、上記ステップ S27におけるユーザ入力としてエフェクトボタ ン 44が押されてエフェクトスィッチの状態が変化したか否かを判定する。
このステップ S28判定結果が NOすなわちエフェクトスィッチの状態が変化していな いときは、そのままステップ S32に進む。
また、このステップ S28における判定結果が YESすなわちエフェクトスィッチの状態 が変化した場合には、ステップ S29に進んで、エフェクトスィッチが ON状態にあるか 否かを判定する。
そして、このステップ S 29判定結果が YESすなわちエフェクトスィッチが ONのとき は、ステップ S30に進んで、上述のエフェクト区間登録処理 Aを行って、すなわち、ス テツプ S31に進んで、その時点でのエフェクト種別'パラメータと開始時刻をエフェクト 区間テーブルへ記録して、ステップ S32に進む。
また、このステップ S23における判定結果が NOすなわちエフェクトスィッチが OFF のときは、上述のエフェクト区間登録処理 Bを行って、すなわち、その時点でエフエタ トの開始時刻と終了時刻より継続時間を求めエフェクト区間テーブルに既に記録され ているエフェクト種別'パラメータとともに継続時間を記録しエフェクト区間を追加して 、ステップ S32に進む。
ステップ S32では、停止要求があった力否かを判定する。
このステップ S32における判定結果が NOすなわち停止要求がなければ上記ステツ プ S25に戻り、上記ステップ S25からステップ S32の処理を繰返し行う。
そして、このステップ S32における判定結果が YESすなわち停止要求があれば、 次のステップ S33に進んでエフェクトスィッチが ON状態にあるか否かを判定する。 このステップ S33判定結果が NOすなわちエフェクトスィッチの ON状態にない場合 は、そのままステップ S35に進む。
また、このステップ S33における判定結果が YESすなわちエフェクトスィッチが ON 状態の場合には、ステップ S34に進んで、上述のエフェクト区間登録処理 Bを行って 、すなわち、エフェクトの開示時刻と終了時刻からエフェクト区間を求め、エフェクト種 別、エフェクト区間をメモリ 8に記録して、ステップ S35に進む。
ステップ S35では、オリジナルトラックのみを持つ管理情報すなわちムービーアトム（ Movie Atom)をメモリ 8から読み出して光ディスク 20に書き込む。
そして、次のステップ S36では、オリジナルトラックをソーストラックとし、エフェクトトラ ックを持つ管理情報すなわちムービーアトム (Movie Atom)をメモリ 8から読み出して 光ディスク 20に書き込む。その際、見かけ上効果のあるエフェクト種別'パラメータの エフェクト区間以外の区間は、 Nullエフェクトのエフェクト区間を作成する。
以上の動作で、記録撮影時にユーザ力 の指示によりエフェクトが任意の時間に任 意のエフェクト区間が作成され、撮影開始力も終了するまで終始エフェ外を施さなか つた場合は Nullエフェクトを施すメイン部の処理は、完了する。
また、記録撮影後、記録撮影開始から終了までの間、見力 4ナ上効果のあるエフエタ ト区間が 1つもないときに、エフェクトトラックを含むムービーアトム（Movie Atom)を作 成しない場合のメイン部の処理は、図 21のフローチャートに示す手順で実行される。 すなわち、ステップ S41では、上記ユーザ入力部によるユーザ入力を行う。
次のステップ S42では、録画開始要求があった力否かを判定する。
このステップ S42における判定結果が NOすなわち録画開始要求がない場合には 上記ステップ S41に戻り、上記ステップ S41とステップ S42の処理を繰り返すことによ り、ユーザ力も録画開始要求があるまで待機している。
そして、このステップ S42における判定結果が YESすなわち録画開始要求があると 、次のステップ S43に進む。
ステップ S43では、エフェクトスィッチが ON状態にあるか否かを判定する。
このステップ S43判定結果が NOすなわちエフェクトスィッチが OFFのときは、その ままステップ S45に進む。
また、このステップ S43判定結果が YESすなわちエフェクトスィッチが ONのときは ステップ S44に進んで、上述のエフェクト区間登録処理 Aを行って、すなわち、その 時点でのエフェクト種別'パラメータと開始時刻をエフェクト区間テーブルへ記録して 、ステップ S45に進む。
ステップ S45では、映像音声データをムービーデータアトム（Movie Data Atom)とし てストレージである光ディスク 20に記録する。
次のステップ S46では、映像や音声の管理情報をムービーアトム（Movie Atom)とし 実装メモリ 8に記録する。
次のステップ S47では、上記ユーザ入力部によるユーザ入力を行う。
次のステップ S48では、上記ステップ S47におけるユーザ入力としてエフェクトボタ ン 44が押されてエフェクトスィッチの状態が変化したか否かを判定する。
このステップ S48判定結果が NOすなわちエフェクトスィッチの状態が変化していな いときは、そのままステップ S52に進む。
また、このステップ S48における判定結果が YESすなわちエフェクトスィッチの状態 が変化した場合には、ステップ S49に進んで、エフェクトスィッチが ON状態にあるか 否かを判定する。
そして、このステップ S49判定結果が YESすなわちエフェクトスィッチが ONのとき は、ステップ S50に進んで、上述のエフェクト区間登録処理 Aを行って、すなわち、そ の時点でのエフェクト種別'パラメータと開始時刻をエフェクト区間テーブルへ記録し て、ステップ S 52に進む。
また、このステップ S43における判定結果が NOすなわちエフェクトスィッチが OFF のときは、ステップ S51に進んで、上述のエフェクト区間登録処理 Bを行って、すなわ ち、その時点でエフェクトの開始時刻と終了時刻より «I続時間を求めエフェクト区間 テーブルに既に記録されているエフェクト種別'パラメータとともに継続時間を記録し エフェクト区間を追加して、ステップ S52に進む。
ステップ S52では、停止要求があった力否かを判定する。
このステップ S52における判定結果が NOすなわち停止要求がなければ上記ステツ プ S45に戻り、上記ステップ S45からステップ S52の処理を繰り返し行う。
そして、このステップ S52における判定結果が YESすなわち停止要求があれば、 次のステップ S53に進んでエフェクトスィッチが ON状態にあるか否かを判定する。 このステップ S53判定結果が NOすなわちエフェクトスィッチの ON状態にない場合 は、そのままステップ S55に進む。
また、このステップ S53における判定結果が YESすなわちエフェクトスィッチが ON 状態の場合には、ステップ S54に進んで、上述のエフェクト区間登録処理 Bを行って 、すなわち、エフェクトの開示時刻と終了時刻からエフェクト区間を求め、エフェクト種 別、エフェクト区間をメモリ 8に記録して、ステップ S55に進む。
ステップ S55では、オリジナルトラックのみを持つ管理情報すなわちムービーアトム（ Movie Atom)をメモリ 8から読み出して光ディスク 20に書き込む。
次のステップ S56では、エフェクト区間がメモリ 8上に存在しているか否かを判定す る。
このステップ S56における判定結果が NOすなわちエフェクト区間がメモリ 8上にな い場合には、そのまま処理を終了する。
また、このステップ S56における判定結果が NOすなわちエフェクト区間がメモリ 8上 にある場合には、ステップ S57に進んで、オリジナルトラックをソーストラックとし、エフ ェクトトラックを持つ管理情報すなわちムービーアトム（Movie Atom)をメモリ 8から読 み出して光ディスク 20に書き込む。その際、見かけ上効果のあるエフェクト種別'パラ メータのエフェクト区間以外の区間は、 Nullエフェクトのエフェクト区間を作成する。 すなわち、停止要求があり記録撮影を停止した後、実装メモリ 8上にエフェ外区間 の情報が存在すれば、エフェクトトラックを含むムービーアトム（Movie Atom)を光ディ スク 20に書き出し、なければ何もしない、すなわち、エフェクトトラックを含むムービー アトム（Movie Atom)を光ディスク 20上に作成しない。すなわち、上記ステップ S56の 判定処理以外は図 20のフローチャートに示した処理との場合と同じである。
ここで、図 20のフローチャートに示した処理の具体例を図 22A—図 22Eに示す。 図 22Aに示すように記録撮影を開始し、 1分後にエフェクトボタンを押し、 4分後に エフェクトボタンを押し、 5分後に記録撮影を停止した場合、記録撮影中に図 22Bに 示すようなエフェクト区間テーブルカ モリ 8上に作成され、図 22Eのようなメディアデ ータがディスク上へ記録される。記録撮影後、図 22C、図 22Dに示すようにオリジナ ルトラックのみを持つムービーアトム（Movie Atom)とソーストラック及びエフェクトトラッ クを持つムービーアトム（Movie Atom)が光ディスク 20上に作成される。それぞれのム 一ビーアトム（Movie Atom)内のビデオトラックあるいはエフェクトトラックはメディアデ ータを外部参照する。
なお、図 22C、図 22Dにおいて、黒色で示す部分はビデオデータを示し、点で示 す部分は EffecUを示し、白書の部分は Null Effectを示す。
次に、再生時にユーザ力 の指示によりエフェクトが任意の時間に任意のエフェクト 区間が作成される再生時エフェクト編集の処理の例を図 23に示す。この処理を行うメ イン部は、図 23のフローチャートに示す手順に従って再生処理を実行する。
すなわち、ステップ S61では、ユーザ入力部によるユーザ入力を行う。
次のステップ S62では、再生開始要求があった力否かを判定する。
このステップ S62における判定結果が NOすなわち再生開始要求がない場合には ステップ S61に戻り、上記ステップ S61とステップ S62の処理を繰り返すことにより、ュ 一ザ力 再生開始要求があるまで待機して 、る。
このステップ S62における判定結果が YESすなわち再生開始要求があると、次の ステップ S63に進む。 ステップ S63では、エフェクトトラックを持つムービーアトム（Movie Atom)が存在す るカゝ否かを判定する。
このステップ S63における判定結果が YESすなわちエフェクトトラックを持つムービ 一アトム（Movie Atom)が存在する場合は、ステップ S64に進んで、光ディスク 20から 任意のムービーアトム（Movie Atom)を読み出してメモリ 8に書き込み、また、エフエタ トトラックの情報をもとにエフェクト区間テーブルを構築して、ステップ S66に進む。 また、このステップ S63における判定結果が NOすなわちエフェクトトラックを持つム 一ビーアトム（Movie Atom)が存在しない場合は、ステップ S65に進んで、光ディスク 20からオリジナルのビデオトラックのみのムービーアトム（Movie Atom)を読み出して メモリ 8に書き込んで、ステップ S66に進む。
ステップ S66では、エフェクトスィッチが ON状態にあるか否かを判定する。
このステップ S66判定結果が NOすなわちエフェクトスィッチが OFF状態のときは、 そのままステップ S68に進む。
また、このステップ S66判定結果が YESすなわちエフェクトスィッチが ON状態のと きはステップ S67に進んで、上述のエフェクト区間登録処理 Aを行って、すなわち、そ の時点でのエフェクト種別'パラメータと開始時刻をエフェクト区間テーブルへ記録し て、ステップ S68に進む。
ステップ S68では、ストレージである光ディスク 20から映像音声データすなわちムー ビーデータアトム（Movie Data Atom)をメモリ 8に読み込み、デコードしてデバイスへ 映像や音声を出力する。
次のステップ S69では、ユーザ入力部によるユーザ入力を行う。
次のステップ S70では、ステップ S47におけるユーザ入力としてエフェクトボタン 44 が押されてエフェクトスィッチの状態が変化した力否かを判定する。
このステップ S70の判定結果が NOすなわちエフェクトスィッチの状態が変化してい ないときは、そのままステップ S74に進む。
また、このステップ S70における判定結果が YESすなわちエフェクトスィッチの状態 が変化した場合には、ステップ S71に進んで、エフェクトスィッチが ON状態にあるか 否かを判定する。 そして、このステップ S 71判定結果が YESすなわちエフェクトスィッチが ONのとき は、ステップ S72に進んで、上述のエフェクト区間登録処理 Aを行って、すなわち、そ の時点でのエフェクト種別'パラメータと開始時刻をエフェクト区間テーブルへ記録し て、ステップ S 74に進む。
また、このステップ S71における判定結果が NOすなわちエフェクトスィッチが OFF のときは、ステップ S73に進んで、上述のエフェクト区間登録処理 Bを行って、すなわ ち、その時点でエフェクトの開始時刻と終了時刻より «I続時間を求めエフェクト区間 テーブルに既に記録されているエフェクト種別'パラメータとともに継続時間を記録し エフェクト区間を追カ卩して、ステップ S74に進む。
ステップ S74では、光ディスク 20から再生する映像音声データがなくなつたか否か 、また、停止要求があった力否かを判定する。
このステップ S74における判定結果が NOすなわち光ディスク 20から再生する映像 音声データあり停止要求なければ、上記ステップ S68に戻り、上記ステップ S68から ステップ S74の処理を繰り返し行う。
そして、このステップ S74における判定結果が YESすなわち光ディスク 20から再生 する映像音声データがなくなる力停止要求があれば、次のステップ S75に進んでェ フエタトスィッチが ON状態にある力否かを判定する。
このステップ S75判定結果が NOすなわちエフェクトスィッチの ON状態にない場合 は、そのままステップ S 77に進む。
また、このステップ S75における判定結果が YESすなわちエフェクトスィッチが ON 状態の場合には、ステップ S76に進んで、上述のエフェクト区間登録処理 Bを行って 、すなわち、エフェクトの開示時刻と終了時刻からエフェクト区間を求め、エフェクト種 別、エフェクト区間をメモリ 8に記録して、ステップ S77に進む。
ステップ S77では、ムービー全体が Nullエフェクトであるか否かを判定する。
このステップ S77における判定結果が NOすなわちメモリ 8に記録されたエフェクト がムービー全体においてエフェクト区間テーブルにエントリが 1つ以上あれば、ェフエ タトトラックを持つムービーアトム（Movie Atom)をメモリ 8から読み出して光ディスク 20 へ書き込んで、再生処理を終了する。 また、このステップ S77における判定結果が YESすなわちムービー全体が Nullェ フエタトである場合は、そのまま再生処理を終了する。
以上のような操作によってエフェクトトラックを持つムービーアトム（Movie Atom)が 新たに作成され、元あったエフェクトトラックを持つムービーアトム（Movie Atom)もそ のまま残すことができる。
ここで、ステップ S78でエフェクトトラックを持つムービーアトム（Movie Atom)を光デ イスク 20へ書き出す際に、エフェクト区間テーブルにおいて、エフェクト区間エントリ が時間的にオーバーラップしている場合がある。このとき、 1つのエフェクトトラックの みを使用してエフェクト区間を上書きしていく方法、又は、新たにエフェクトトラックを 追加しそこにエフェクト区間を作成し多重エフェクトとする方法により対処ことができる ここで、図 23のフローチャートに示した再生処理の具体例を図 24A—図 24D、図 2 5A—図 25B、図 26A—図 26D、図 27A—図 27Bに示す。
図 24Aのように上述の図 22に示したムービーを再生開始し、 2分後にエフェクトボ タンを押し、 3分後にエフェクトボタンを押し、 5分後に再生を停止した場合における 多重エフェクトの具体例では、再生開始直後に図 24Bに示すようなエフェクト区間テ 一ブルが光ディスク 20から読み出されてメモリ 8上に書き込まれ、再生中に図 24Cの ようなエフェクト区間が追加される。テーブルが整理され、図 24Dのようにエフェクト区 間テーブルが新たに作成されそこへエフェクト区間が新たに追加される。新たに追カロ されたエフェクト区間のエフェクト種別'パラメータ力メディアデータとしてディスク上へ 記録される。
再生停止後、図 25Aに示すような多重エフェクトの構造を持つムービーアトム（ Movie Atom)が光ディスク 20上に作成される。ムービーアトム（Movie Atom)内のビデ オトラックあるいはエフェクトトラックは、矢印に示すように、図 25Bのようなメディアデ ータ（Media Data)を外部参照する。
図 25Aにおいて、黒色はビデオデータを示し、点で示す部分は EffecUを示し、斜 線で示す部分は Effect_2を示し、白書の部分は Null Effectを示す。
また、図 26Aのように上述の図 22に示したムービーを再生開始し、 2分後にエフェ タトボタンを押し、 3分後にエフェクトボタンを押し、 5分後に再生を停止した場合にお けるエフェクト区間を上書きする具体例では、再生開始直後に図 26Bに示すようなェ フエタト区間テーブルが光ディスク 20から読み出されてメモリ 8上に書き込まれ、再生 中に図 26Cのようなエフェクト区間が追加される。テーブルが整理されて、図 26Dの ようにエフェクト区間テーブルが再構築される。この場合は元力 あったエフェクト区 間が分断されている。新たに追加されたエフェクト区間のエフェクト種別'パラメータが メディアデータとして光ディスク 20上へ記録される。
そして、再生停止後、図 27Aに示すようなエフェクトトラックを持つムービーアトム（ Movie Atom)が光ディスク 20上に作成される。ムービーアトム（Movie Atom)内のビデ オトラックあるいはエフェクトトラックは、図 27B中の矢印で示すようにメディアデータを 外部参照する。
なお、図 27Aにおいて、黒色はビデオデータを示し、点で示す部分は EffecUを示 し、斜線で示す部分は Effect_2を示し、白書の部分は Null Effectを示す。
次に、記録撮影時に直接エフェクトトラックを持つムービーアトム（Movie Atom)を作 成するのではなぐ記録撮影時にはボタンを押すなどのユーザ力 の指示により時間 軸にマークを付け、記録撮影終了後、任意のエフェクト種別'パラメータ、パラメータ を任意のマークとマークの間の区間に設定し、その設定に従ったエフェクトトラックを 持つムービーアトム（Movie Atom)が作成される処理の例を図 28に示す。この処理を 行うメイン部は、図 28のフローチャートに示す手順に従って再生処理を実行する。 すなわち、ステップ S81では、上記ユーザ入力部によるユーザ入力を行う。
次のステップ S82では、録画開始要求があった力否かを判定する。
このステップ S82における判定結果が NOすなわち録画開始要求がない場合には ステップ S81に戻り、ステップ S81とステップ S82の処理を繰り返すことにより、ユーザ 力 録画開始要求があるまで待機して 、る。
そして、このステップ S82における判定結果が YESすなわち録画開始要求があると 、次のステップ S 83に進む。
ステップ S83では、メモリ 8上のマークテーブルを空にする。
次のステップ S84では、マークテーブルへ時刻を記録する。 次のステップ S85では、映像音声データをムービーデータアトム（Movie Data Atom )としてストレージである光ディスク 20に記録する。また、映像音声データをムービー データアトム（Movie Data Atom)としてストレージであるディスクへ記録する。
次のステップ S86では、映像や音声の管理情報をムービーアトム（Movie Atom)とし 実装メモリ 8に記録する。
次のステップ S87では、上記ユーザ入力部によるユーザ入力を行う。
次のステップ S88では、上記ステップ S87におけるユーザ入力としてマークボタン 4 6の押圧によるマーク要求があった力否かを判定する。
このステップ S88の判定結果が NOすなわちマーク要求がな 、場合には、そのまま ステップ S90に進む。
また、このステップ S88における判定結果が YESすなわちユーザ力もマーク要求が あった場合には、ステップ S89に進んで、録画開始からの時刻をマークテーブルへ エントリ追加して、ステップ S90に進む。
ステップ S90では、停止ボタン 43の押圧による停止要求があった力否かを判定す る。
このステップ S90の判定結果が NOすなわち再生すべき映像音声データが残って いるか停止要求がない場合には、上記ステップ S85に戻って、上記ステップ S85から ステップ S90の処理を繰り返し行う。
そして、このステップ S 90の判定結果が YESすなわちユーザ力 停止要求があつ た場合には、上記ステップ S91に進んで、録画開始からの時刻をマークテーブルへ エントリ追加する。
次のステップ S92では、オリジナルのビデオトラックのみを持つ管理情報すなわちム 一ビーアトム（Movie Atom)をメモリ 8からストレージである光ディスク 20から書き込ん で、ステップ S93に進む。
ステップ S 93では、エフェクト区間の作成処理を行う。
次のステップ S 94では、ムービー全体が Nullエフェクトであるか否かを判定する。 このステップ S94における判定結果が NOすなわちメモリ 8に記録されたエフェクト 区間テーブル内に見かけ上効果のあるエフェクト区間が 1つ以上あれば、ステップ S 95に進んで、オリジナルのトラックをソーストラックとし、エフェクトトラックを持つムービ 一アトム（Movie Atom)をメモリ 8から読み出して光ディスク 20へ書き込んで、記録処 理を終了する。
また、このステップ S94における判定結果が YESすなわちムービー全体が Nullェ フエタトである場合は、そのまま記録処理を終了する。
ここで、ステップ S93では、エフェクト区間の作成処理の具体例を図 29A—図 29D 、及び図 30A—図 30Cに示す。
図 29Aに示すように記録撮影を開始し、 1、 2、 3、 4分後にマークボタン 46を押し、 5分後に記録撮影を停止した場合、記録撮影中に図 29Bに示すようなマークテープ ルカ Sメモリ 8上に作成される。そして、記録撮影停止後、図 29Cに示すような画面上 でエフェクトの種別'パラメータを区間（マークと 1つ次のマーク間）毎にユーザが設定 する。設定が完了すると、図 29Dに示すようなエフェクト区間が作成され、エフェクト の種別'パラメータ力 Sメディアデータが光ディスク 20上へ記録される。
図 30A,図 30Bに示すようにオリジナルトラックのみを持つムービーアトム（Movie Atom)とソーストラック及びエフェクトトラックを持つムービーアトム（Movie Atom)が光 ディスク 20上に作成される。それぞれのムービーアトム（Movie Atom)内のビデオトラ ック、あるいはエフェクトトラックは図 30Cに矢印で示すようにメディアデータを外部参 照する。
ここで、黒色はビデオデータを示し、点で示す部分は Effect_lを示し、斜線で示す部 分は Effect_2を示し、白書の部分は Null Effectを示す。
なお、本発明は、図面を参照して説明した上述の実施例に限定されるものではなく
、添付の請求の範囲及びその主旨を逸脱することなぐ様々な変更、置換又はその 同等のものを行うことができることは当業者にとって明らかである。

Claims

請求の範囲
[1] 1.実データを管理する管理情報が階層構造によりまとめられて、少なくともビデオデ ータの管理情報によるビデオのトラックと、上記ビデオデータに設定するエフェクトの 管理情報によるエフェクトトラックとを有する管理情報のブロックと、少なくとも上記エフ ェクトトラックに係る実データを有する実データのブロックとを有するファイルとして記 録媒体を介してビデオデータの記録再生を行うファイル記録再生装置であって、 上記実データ及び管理情報のボックスのデータを上記記録媒体を介して記録再生 する記録再生部と、
上記実データに管理単位を順次設定し、上記実データの記録再生に対応して上 記管理情報を順次取得してメモリに保持し、上記実データの記録の終了により、上記 メモリに保持した管理情報により上記管理情報のボックスのデータを上記記録再生 手段に出力するデータ処理部と、
ユーザによる入力を受け付けて、エフェクトトラックの作成、削除、そのエフェクトトラ ック内のエフェクトトラック区間の作成、加工、削除の編集機能を実装する際に、ビデ ォデータの記録時に、オリジナルのムービー、そのムービーにエフェクトの施されたム 一ビーなどの再生目的の異なる管理情報を複数作成する制御部を備えファイル記録
[2] 2.上記制御部は、ビデオデータの記録中に、エフェクトをかけたい任意の区間を指 定する指示入力に応じて、エフェクトトラックを持つ管理情報のブロックを自動的に作 成することを特徴とする請求の範囲第 1項記載のファイル記録再生装置。
[3] 3.上記制御部は、記録開始から終了までの間全く指示入力がなければ、エフェクトト ラックを持つ管理情報のブロックを作成しな 、か、エフェクトの効果が現れな 、Null エフェクトを用いたエフェクトトラックを持つ管理情報のブロックを作成することを特徴 とする請求の範囲第 2項記載のファイル記録再生装置。
[4] 4.上記制御部は、ビデオデータの記録又は再生中に、エフェクトをかけたい任意の 区間を指定する指示入力に応じて、上記エフェクトトラック内に所望のエフェクト種別 •パラメータのエフェクト区間を自動的に作成することを特徴とする請求の範囲第 1項 記載のファイル記録再生装置。
[5] 5.上記制御部が作成する上記エフェクト種別'パラメータにはさらにエフェクト解除を 含み、結果的にエフヱ外区間の削除となることを特徴とする請求の範囲第 4項記載 のファイル記録再生装置。
[6] 6.上記制御部は、ビデオデータの記録又は再生終了後、エフヱタトトラック内がすべ てエフェクトの効果が現れな ヽ Nullエフェクトである場合は、エフェクトトラックを持つ 管理情報のブロック自体を削除することを特徴とする請求の範囲第 1項記載のフアイ ル記録再生装置。
[7] 7.上記制御部は、エフェクト区間を作成する場合に、既にその区間の一部又は全部 に別のエフェクト区間が存在する場合、その区間のエフェクトは、以前のエフェクトを 現在のエフェクトで上書きすることを特徴とする請求の範囲第 1項記載のファイル記
[8] 8.上記制御部は、エフェクト区間を作成する場合に、既にその区間の一部又は全部 に別のエフェクト区間が存在する場合、その区間のエフェクトは、新たなエフェクトトラ ックを追加して、そこにエフェクト区間を作成して多重エフェクトとすることを特徴とす る請求の範囲第 1項記載のファイル記録再生装置。
[9] 9.上記制御部は、ビデオデータの記録時に、ユーザからの指示入力により、時間軸 にマークを複数付け、記録撮影終了後任意のエフェクト種別'パラメータを任意のマ ークとマークの間の区間に設定し、その設定に従いエフェクトトラックを持つ管理情報 のブロックを作成すること特徴とする請求の範囲第 1項記載のファイル記録再生装置
[10] 10.実データを管理する管理情報が階層構造によりまとめられて、少なくともビデオ データの管理情報によるビデオのトラックと、上記ビデオデータに設定するエフェクト の管理情報によるエフェクトトラックとを有する管理情報のブロックと、少なくとも上記 エフェクトトラックに係る実データを有する実データのブロックとを有するファイルとして 記録媒体を介してビデオデータの記録再生を行うファイル記録再生装置におけるビ デォエフェクトの編集方法であって、
ユーザによる入力を受け付けて、エフェクトトラックの作成、削除、そのエフェクトトラ ック内のエフェクトトラック区間の作成、加工、削除の編集機能を実装する際に、 ビデオデータの記録時に、オリジナルのムービー、そのムービーにエフェクトの施さ れたムービーなどの再生目的の異なる管理情報を複数作成することを特徴とするビ デォエフェクトの編集方法。
[11] 11.ビデオデータの記録中に、エフェクトをかけたい任意の区間を指定する指示入 力に応じて、エフェクトトラックを持つ管理情報のブロックを自動的に作成することを 特徴とする請求の範囲第 10項記載のビデオエフェクトの編集方法。
[12] 12.記録開始力 終了までの間全く指示入力がなければ、エフェクトトラックを持つ 管理情報のブロックを作成しな 、か、エフェクトの効果が現れな 、Nullエフェクトを用 いたエフェクトトラックを持つ管理情報のブロックを作成することを特徴とする請求の 範囲第 11項記載のビデオエフェクトの編集方法。
[13] 13.ビデオデータの記録又は再生中に、エフェクトをかけたい任意の区間を指定す る指示入力に応じて、上記エフェクトトラック内に所望のエフェクト種別'パラメータの エフェクト区間を自動的に作成することを特徴とする請求の範囲第 10項記載のビデ ォエフェクトの編集方法。
[14] 14.上記エフェクト種別'パラメータにはエフェクト解除も含まれ、結果的にエフェクト 区間の削除となることを特徴とする請求の範囲第 13項記載のビデオエフェクトの編集 方法。
[15] 15.ビデオデータの記録又は再生終了後、エフェクトトラック内がすべてエフェクトの 効果が現れな 、Nullエフェクトである場合は、エフェクトトラックを持つ管理情報のブ ロック自体を削除することを特徴とする請求の範囲第 10項記載のビデオエフェクトの 編集方法。
[16] 16.エフェクト区間を作成する場合に、既にその区間の一部又は全部に別のエフェ タト区間が存在する場合、その区間のエフェクトは、以前のエフェクトを現在のェフエ タトで上書きすることを特徴とする請求の範囲第 10項記載のビデオエフェクトの編集 方法。
[17] 17.エフェクト区間を作成する場合に、既にその区間の一部又は全部に別のエフェ タト区間が存在する場合、その区間のエフェクトは、新たなエフェクトトラックを追加し て、そこにエフェクト区間を作成して多重エフェクトとすることを特徴とする請求の範囲 第 10項記載のビデオエフェクトの編集方法。
[18] 18.ビデオデータの記録時に、ユーザからの指示入力により、時間軸にマークを複 数付け、記録撮影終了後任意のエフェクト種別'パラメータを任意のマークとマークの 間の区間に設定し、その設定に従いエフェクトトラックを持つ管理情報のブロックを作 成すること特徴とする請求の範囲第 10項記載のビデオエフェクトの編集方法。
PCT/JP2004/015287 2003-10-28 2004-10-15 ファイル記録装置及びビデオエフェクトの編集方法 WO2005041569A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP04792504A EP1684512A4 (en) 2003-10-28 2004-10-15 FILE RECORDING APPARATUS AND METHOD FOR EDITING VIDEO EFFECTS
US10/572,807 US7565058B2 (en) 2003-10-28 2004-10-15 File recording apparatus and editing method for video effect

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-367808 2003-10-28
JP2003367808A JP3858883B2 (ja) 2003-10-28 2003-10-28 記録装置及びその制御方法

Publications (1)

Publication Number Publication Date
WO2005041569A1 true WO2005041569A1 (ja) 2005-05-06

Family

ID=34510316

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/015287 WO2005041569A1 (ja) 2003-10-28 2004-10-15 ファイル記録装置及びビデオエフェクトの編集方法

Country Status (7)

Country Link
US (1) US7565058B2 (ja)
EP (1) EP1684512A4 (ja)
JP (1) JP3858883B2 (ja)
KR (1) KR20060090239A (ja)
CN (1) CN100574406C (ja)
TW (1) TWI253861B (ja)
WO (1) WO2005041569A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3835554B2 (ja) * 2003-09-09 2006-10-18 ソニー株式会社 ファイル記録装置、ファイル再生装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
JP2009077105A (ja) * 2007-09-20 2009-04-09 Sony Corp 編集装置および編集方法、プログラム、並びに記録媒体
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
JP5381454B2 (ja) * 2009-07-23 2014-01-08 ソニー株式会社 映像音声記録装置及び編集方法
KR101862900B1 (ko) * 2011-03-09 2018-05-30 르네사스 일렉트로닉스 가부시키가이샤 반도체 장치
WO2012170432A2 (en) * 2011-06-05 2012-12-13 Museami, Inc. Enhanced media recordings and playback
JP6150320B2 (ja) * 2011-12-27 2017-06-21 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN102842325B (zh) * 2012-08-28 2015-11-18 深圳万兴信息科技股份有限公司 一种音视频编辑轨道的管理方法和装置
US9728224B2 (en) * 2013-01-08 2017-08-08 Marcus van Bavel Video editing system user interface using virtual film equipment
WO2015083354A1 (ja) * 2013-12-03 2015-06-11 パナソニックＩｐマネジメント株式会社 ファイル生成方法、再生方法、ファイル生成装置、再生装置および記録媒体
WO2017120221A1 (en) * 2016-01-04 2017-07-13 Walworth Andrew Process for automated video production
US10622021B2 (en) * 2016-02-19 2020-04-14 Avcr Bilgi Teknolojileri A.S Method and system for video editing
US10116878B2 (en) 2016-12-21 2018-10-30 Samsung Electronics Co., Ltd. Method for producing media file and electronic device thereof
CN111757013B (zh) 2020-07-23 2022-04-29 北京字节跳动网络技术有限公司 一种视频处理方法、装置、设备及存储介质
CN116193195A (zh) * 2023-02-23 2023-05-30 北京奇艺世纪科技有限公司 视频的处理方法、装置、处理设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028750A (ja) * 1998-09-18 2001-01-30 Matsushita Electric Ind Co Ltd 画像出力装置，画像再生方法，オブジェクト合成装置，オブジェクト合成方法，及びデータ記憶媒体
EP1130594A1 (en) 2000-03-01 2001-09-05 Sony United Kingdom Limited Method of generating audio and/or video signals and apparatus therefore
US6369835B1 (en) 1999-05-18 2002-04-09 Microsoft Corporation Method and system for generating a movie file from a slide show presentation
JP2002216460A (ja) * 2001-01-16 2002-08-02 Matsushita Electric Ind Co Ltd 情報記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3724719B2 (ja) * 2001-10-02 2005-12-07 ソニー株式会社 再生装置
US20050018050A1 (en) * 2003-07-23 2005-01-27 Casio Computer Co., Ltd. Wireless communication device, dynamic image preparation method and dynamic image preparation program
US20050132406A1 (en) * 2003-12-12 2005-06-16 Yuriy Nesterov Echo channel for home entertainment systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028750A (ja) * 1998-09-18 2001-01-30 Matsushita Electric Ind Co Ltd 画像出力装置，画像再生方法，オブジェクト合成装置，オブジェクト合成方法，及びデータ記憶媒体
US6369835B1 (en) 1999-05-18 2002-04-09 Microsoft Corporation Method and system for generating a movie file from a slide show presentation
EP1130594A1 (en) 2000-03-01 2001-09-05 Sony United Kingdom Limited Method of generating audio and/or video signals and apparatus therefore
JP2002216460A (ja) * 2001-01-16 2002-08-02 Matsushita Electric Ind Co Ltd 情報記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1684512A4

Also Published As

Publication number Publication date
EP1684512A1 (en) 2006-07-26
US7565058B2 (en) 2009-07-21
KR20060090239A (ko) 2006-08-10
JP3858883B2 (ja) 2006-12-20
CN100574406C (zh) 2009-12-23
TW200526039A (en) 2005-08-01
US20070263979A1 (en) 2007-11-15
JP2005136503A (ja) 2005-05-26
EP1684512A4 (en) 2010-10-06
TWI253861B (en) 2006-04-21
CN1875624A (zh) 2006-12-06

Similar Documents

Publication Publication Date Title
KR100832952B1 (ko) 기록 장치, 기록 방법 및 기록 매체
JP4629173B2 (ja) 記録装置および記録方法、並びに記録媒体
US8521003B2 (en) Recording apparatus and recording medium
JP4062230B2 (ja) ファイル記録再生装置、ファイル記録再生方法、ファイル記録再生方法のプログラム及びファイル記録再生方法のプログラムを記録した記録媒体
US7609296B2 (en) Recording apparatus, recording method, and recording medium using an index file
JP3858883B2 (ja) 記録装置及びその制御方法
JP4576725B2 (ja) 記録装置、記録方法、プログラムおよび記録媒体
JP4203812B2 (ja) ファイル記録装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生装置、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
KR101122867B1 (ko) 기록 장치 및 방법, 재생 장치 및 방법, 기록 재생 장치 및 방법, 및 기록 매체
JP3835554B2 (ja) ファイル記録装置、ファイル再生装置、ファイル記録方法、ファイル記録方法のプログラム、ファイル記録方法のプログラムを記録した記録媒体、ファイル再生方法、ファイル再生方法のプログラム及びファイル再生方法のプログラムを記録した記録媒体
JP4292465B2 (ja) ファイル記録装置及びファイル記録方法
JP4100375B2 (ja) 記録装置、記録方法、プログラム、記録媒体および撮像装置
JP4264668B2 (ja) 再生装置、および、再生方法、並びに、プログラム格納媒体
JP4662547B2 (ja) ディジタル記録装置、ディジタル記録方法および記録媒体
JP4013161B2 (ja) 記録装置、記録方法、および、記録媒体、並びに、撮像装置および、再生方法
JP2005311923A (ja) 編集装置、編集方法、編集方法のプログラム、編集方法のプログラムを記録した記録媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200480032123.8

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020067006176

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2004792504

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004792504

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020067006176

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10572807

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10572807

Country of ref document: US