WO2004091204A1 - オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム - Google Patents

オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム Download PDF

Info

Publication number
WO2004091204A1
WO2004091204A1 PCT/JP2004/004857 JP2004004857W WO2004091204A1 WO 2004091204 A1 WO2004091204 A1 WO 2004091204A1 JP 2004004857 W JP2004004857 W JP 2004004857W WO 2004091204 A1 WO2004091204 A1 WO 2004091204A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
video
frame
recording medium
playback
Prior art date
Application number
PCT/JP2004/004857
Other languages
English (en)
French (fr)
Inventor
Norihiko Fuchigami
Seiji Higurashi
Original Assignee
Victor Company Of Japan, Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company Of Japan, Limited filed Critical Victor Company Of Japan, Limited
Priority to EP04725479A priority Critical patent/EP1613075A4/en
Priority to JP2005505271A priority patent/JP4906344B2/ja
Priority to US10/551,766 priority patent/US7941030B2/en
Priority to CNB2004800090801A priority patent/CN100479511C/zh
Publication of WO2004091204A1 publication Critical patent/WO2004091204A1/ja

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Definitions

  • Audio / video recording device recording method, reproducing device, reproducing method, reproducing program, and recording program
  • the present invention relates to an audio / video bright recording apparatus, a recording method, a reproducing apparatus, a reproducing method, and a reproducing program.
  • the present invention relates to a video object and a set of audio data recorded in synchronization with a recording medium such as an optical disk.
  • the present invention relates to an audio / video recording device, a recording method, a reproducing device, a reproducing method, a reproducing program, and a recording program which can be recorded on a recording medium as a recording medium and connect and reproduce a part or all of a plurality of video objects.
  • MPEG Moving Picture Experts Group (MPEG) video is generally used as a video data encoding method.
  • MPEG Moving Picture Experts Group
  • An I picture is a picture that can be decoded independently, and I stands for Intra.
  • a P picture is a picture that is encoded using forward prediction from an I picture or another P picture, and P is an abbreviation of Prediction.
  • a B picture is a picture that is encoded using forward and backward prediction from an I picture or P picture, and B is an abbreviation for Bi-directional-prediction.
  • NT S The video frame period in the system is about 1/30 seconds (accurately 1 / 2.977 seconds), and in the PAL system it is 1 Z 25 seconds.
  • the linear PCM method digital data after sampling and quantization is transmitted.
  • the number of transmission bits is 16, 20, 24, or the like.
  • 48 kHz is used as the sampling frequency.
  • the setting of the audio frame period is optional. For example, 1/600 second (80 samples at 48 kHz) is used.
  • linear PCM data is compressed using orthogonal transform or psychoacoustic model.
  • the reason for using a power-of-two sample count for audio frames in compression coding is that This is because an orthogonal transform for converting sample data into a spectrum is suitable for inputting and outputting a power-of-two sample.
  • VOB video object
  • the video data and the audio data in VOB are synchronized, but the video frame period and the audio frame period are almost never the same, and are recorded at different periods. This is because the video frame period is uniquely determined depending on the TV system, and the audio frame period is separately set to an optimal length in consideration of, for example, efficient compression coding. This is shown in Figure 1.
  • the video frame period (T v ) and the audio frame period ( ⁇ ⁇ ) are different.
  • the video frame boundaries and the audio frame boundaries basically do not coincide (except for the position of the video frame period and the least common multiple of the audio frame period).
  • Fig. 2 shows an example of this case, which shows the time from time X of VOB (i) to the time of VOB (j).
  • Y shows an example of connecting to Y.
  • each picture from time A to time X of VOB (i) is played back, and each picture from time Y to time B of VOB (j) is played back continuously. It is necessary to pay attention to the picture types near the time X and the time Y included in. In other words, decoding of Bi3 and Bi4 of VOB (i) requires Pi2, but Pi2 does not exist in this playback path. Thus, for example, it is necessary to convert B i 4 to P picture type P i 4 ′ and B i 3 to B i 3, (B i 3 is encoded from P i 1 and P i 4 ′). ⁇
  • the reproduction of a video frame at the connection point Z is considered.
  • the above example Basically, it is necessary to play back the I j1 frame immediately after the P i4 frame is played back for one video frame cycle, that is, seamless playback without stopping the video frame image at the Z point. You. In order to perform seamless playback, generally, the following conditions must be satisfied.
  • Fig. 2 the handling of audio frames in connection editing is considered.
  • audio frames cannot be connected seamlessly at connection points. This is because the audio frame period is different from the video frame period.
  • the playback end time of the last audio frame of the connection source and the playback start time of the first audio frame of the connection destination match. Is not expected. For this reason, as shown by G in Fig. 2, in the past, a gap was allowed between audio frames. .
  • FIG. 3 shows an example of a conventional playback device when connection editing as shown in Fig. 2 is considered.
  • FIG. 4 shows an example block diagram.
  • the data of the path indicated by A ⁇ Z ⁇ B in FIG. 2 read from the recording medium 101 by a reproducing mechanism (not shown) passes through a track buffer 10 2. Entered into 3.
  • the demultiplexer 103 demultiplexes the video stream and the audio stream (or other streams, not shown), and the video stream is passed through the video buffer 104 to the video stream.
  • the audio stream is input to the decoder 105, and the audio stream is input to the audio decoder 107 via the audio buffer 106.
  • the video decoder 105 and the audio decoder 107 decode video and audio, respectively.
  • the output side of the video decoder 105 is provided with a reorder buffer 109 for rearranging the picture order into the reproduction order.
  • the STC circuit 108 is a circuit that counts the STC based on a reference time signal such as a system clock reference (SCR) extracted from the VOB data from the demultiplexer 103.
  • STC is also reset.
  • a control signal herein referred to as a mute signal
  • the playback end time X of the last audio frame of the connection source and the playback start time Y of the first audio frame of the connection destination at the connection edit point match, so as shown in Fig. 4, No gap occurs between the connection source audio frame and the connection destination audio frame.
  • the present invention has been made in view of the above points, and an audio Z-video recording device that seamlessly connects and reproduces a set of two different audio data and video data recorded on a recording medium such as an optical disc without noise,
  • the purpose is to provide a recording method, a reproducing device, a reproducing method, a reproducing program, and a recording program.
  • the audio / video recording device of the first invention records a plurality of video objects when recording a set of synchronized video data and audio data as a video object on a recording medium.
  • An audio Z-video recording device that records on a recording medium so that a playback sequence to be played back by connecting a part or all of them can be specified. Windowing processing and orthogonal transformation processing are performed on the audio signal to be recorded.
  • Audio encoding means for outputting audio data by performing encoding including a video frame to be played at the end of the video object of the connection source and a video frame to be played back at the beginning of the video object of the connection destination
  • a video data changing means for changing video data as necessary so that the The playback period of the audio frame to be played last at the end of the source video object includes the time of the connection point of the video frame, and the playback period of the audio frame to be played first at the destination video object
  • Edit point determining means for determining the edit point of the audio frame so as to include the time of the connection point, and using the edit point as registration information in the recording medium.
  • recording means for recording.
  • a video frame to be played at the end of the connection source video object is recorded. Changes the video data as necessary so that the video frame to be played first of the connected video object is played seamlessly at the connection point, and played at the end of the connected video object.
  • the playback period of the audio frame to be included includes the time of the connection point of the video frame, and the playback period of the audio frame to be played first of the connected video object includes the time of the connection point.
  • the edit point of the audio frame is determined, and the edit point is recorded on a recording medium as management information. , It is not necessary to calculate the overlap time and offset time at the time of recording.
  • the second invention provides a method for recording a set of synchronized video data and audio data as a video object on a recording medium, in which some or all of the plurality of video objects are recorded.
  • This is an audio / video recording method for recording on a recording medium so that a playback sequence to be played back can be specified, and performs encoding including windowing processing and orthogonal 'conversion processing on audio signals to be recorded.
  • the first step is to output audio data at the connection point, the video frame to be played at the end of the source video object and the video frame to be played at the beginning of the destination video object are seamless at the connection point.
  • the second step is to change the video data as needed to be played, and the end of the connecting video object Playback period of the audio frame to be reproduced, including the time of the connection point of the video frame, and the destination of the video object
  • a third step of determining an edit point of the audio frame so that the playback period of the audio frame to be played first includes the time of the connection point; and a fourth step of recording the edit point as management information on the recording medium. And a step.
  • the audio Z-video playback device of the third invention is based on playback management information from a recording medium on which video object and management information is recorded by the recording device of the first invention.
  • An audio / video playback device that plays back video data and audio data by using an audio frame to be played at the end of the video object at the connection source, including the edit point obtained from the playback management information, and the audio / video playback device at the connection destination. Calculates the overlap time of the first audio frame to be played in the video object, and the calculated overlap time if the edit point was the first connection point in the specified playback sequence. Connect lap times
  • the value obtained by adding the audio PTS offset time at the previous connection point is calculated as the audio PTS offset time at the current editing point, and played at the end of the connection source video object under the specified conditions '20.
  • the audio frame to be played has a predefined audio value that indicates that it does not need to be played on connection.
  • the calculated audio PTS off Offset means for offsetting the PTS of the audio frame read from the recording medium according to the set time, and video data for reproducing the video data reproduced from the recording medium according to the video PTS attached to the video data
  • the audio frame to be reproduced at the end of the connection source video object and the audio frame to be reproduced at the beginning of the connection destination video object including the edit points obtained from the reproduction management information are overlapped.
  • the audio PTS offset time for offsetting the PTS of the audio frame read from the recording medium is calculated, and the audio frame reproduced from the self-recorded medium is offset. It can be played according to the PTS.
  • the audio / video reproduction method of the fourth invention is based on the reproduction management information from a recording medium on which the video object and the management information are recorded by the recording method of the second invention.
  • An audio / video playback method for playing back video data and audio data comprising: 'an audio frame to be played at the end of a connection source video object, including an edit point obtained from playback management information, and a connection destination video object. Calculate the overlap time of the audio frame to be played first. The first step, and if the edit point was the first connection point in the playback sequence pointed to, the calculated overlap time is used to turn off the audio PTS when playing the audio frame of the connected video object.
  • the value is the sum of the calculated overlap time and the audio PTS offset time at the previous connection point. Is calculated as the audio PTS offset time at the current edit point, and the 'indicating that the audio frame to be played at the end of the connection source video object under predetermined conditions does not need to be played back at the time of connection'
  • the played audio frame is offset in the fourth step; if the audio drop plug output in the third step is played back in accordance with the P-segment and is the specified value, the connected video object
  • the editing points obtained from the reproduction management information are used. Calculates the overlap time between the audio frame to be played at the end of the source video object and the audio frame to be played at the beginning of the connected video object, and the audio read from the recording medium. Since the audio PTS offset time for offsetting the PTS of the frame is calculated, the audio frame reproduced from the recording medium can be reproduced according to the offset PTS.
  • an audio / video recording apparatus provides a method for recording a set of synchronized video data and audio data on a recording medium as a video object, wherein each of the plurality of video objects
  • An audio / video recording device for recording on a recording medium so that a reproduction sequence to be reproduced by connecting a part or all of the audio signal can be specified.
  • the code includes windowing processing and orthogonal transformation processing for an audio signal to be recorded.
  • Audio encoding means for performing encoding and outputting audio data, multiplexing means for multiplexing audio data and video data to generate a video object, and audio data for multiplexing by the multiplexing means.
  • the audio / video recording apparatus of the seventh invention further comprises, in addition to the sixth invention, a video frame to be reproduced last of the video object of the connection source and a connection destination.
  • Video data changing means for changing the video data as needed so that the video frame to be played at the beginning of the video object is played seamlessly at the connection point, and the video object of the connection source before and after the connection point Means for determining the edit point of the audio frame and editing the audio frame so that the playback period of the audio frame of the connected video object and the playback period of the audio frame of the connected video object partially overlap.
  • a second recording means for recording the edit ⁇ on the recording medium as registration information.
  • the code includes windowing processing and orthogonal transformation processing for an audio signal to be recorded.
  • the first step is to output audio data by performing encoding, and when multiplexing audio data with video data, the audio buffer occupancy is determined by the data amount of one audio frame from the specified audio buffer size upper limit.
  • audio data is multiplexed with video data and recorded so that the audio buffer occupancy is equal to or less than a value obtained by subtracting the data amount of one audio frame from the prescribed audio buffer size upper limit. Even if the playback is sometimes delayed by a maximum of one audio frame period, the audio buffer does not overflow.
  • an audio Z-video recording method further includes, in addition to the eighth invention, a video frame to be reproduced at the end of the video object of the connection source, The fourth step of changing the video data as needed so that the video frame to be played first at the destination video object is seamlessly generated at the connection point, and the source video before and after the connection point.
  • an audio / video reproducing apparatus provides a method for managing reproduction from a recording medium on which video object and management information are recorded by the recording apparatus of the seventh aspect.
  • An audio / video playback device that plays back video data and audio data based on information.
  • the audio frame to be played at the end of the video object at the connection source and the! A means for calculating the overlap time of the audio frame to be played at the beginning of the video object, and the calculated overlap if the edit point was the first connection point in the specified playback sequence.
  • the lap time The audio PTS offset time when playing the audio frame of the video object. If the edit point is the second or subsequent connection point in the playback sequence, 'the calculated overlap time and the previous overlap time The sum of the audio PTS offset time at the connection point is calculated as the audio PTS offset time at the current editing point, and the audio to be played at the end of the connection source video object under the specified conditions.
  • offset time calculation means that outputs an audio drop flag with a predetermined value indicating that playback is not required at the time of connection, and seamless connection between video frames to be connected at each connection point of video objects included in the playback sequence
  • STC system time clock
  • the video data playback means to be played back and the audio frame played back from the recording medium are played back according to the offset PTS, and when the audio drop flag is the specified value, it is played back at the end of the connection source video object.
  • Audio frame playback means for controlling the generation of exponential audio frames, and decoding of the audio frames played back by the audio frame playback means, including windowing and orthogonal inverse transformation.
  • Audio decoding means for outputting an audio signal; and It is obtained by the configuration. ;
  • the audio Z-video playback device of the eleventh invention is characterized in that the offset time calculation means of the third invention or the tenth invention is provided with an audio PTS at the calculated connection point. If the offset time is greater than n times the audio off'frame period (where n is 1 or 1Z2), the audio PTS offset time minus the audio frame period is the final value. Means to calculate the audio PTS offset time and to output an audio drop flag with a predetermined value indicating that the last audio frame to be played back from the connection source video object does not need to be played back when connected. It is characterized by having.
  • the amount of synchronization deviation between the audio frame and the video frame after the connection point which is within one audio frame period or within ⁇ 0.5 audio frame period, cannot be basically detected as a lip-sync deviation. it can.
  • an audio video reproducing method comprises: An audio / video reproduction method for reproducing video data and audio data based on the first to seventh steps similar to the fourth invention.
  • the audio frame to be played at the end of the connection source video object and the audio frame to be played back at the beginning of the connection destination video object are included, including the edit points obtained from the playback management information.
  • the audio / video reproduction method of the thirteenth invention is characterized in that the second step of the fourth invention or the twelve invention is obtained by calculating the second stop at the calculated connection point. If the audio PTS offset time is longer than n times the audio frame period (where n is 1 or 1 Z 2), the value obtained by subtracting the audio frame period from the audio PTS offset time is the final value. It is calculated as the audio PTS offset time, and the audio frame power to be played at the end of the connection source video object s, and the output of the audio drop flag of a predetermined value indicating that there is no need to play at the time of connection, are output.
  • the synchronization deviation between the audio frame and the video frame after the connection point is basically an amount that cannot be detected as a lip-sync deviation within one audio frame period or within ⁇ 0.5 audio frame period. be able to.
  • a fifth invention is a video / video playback program according to the 14th invention, which is a video object according to the recording method of the second invention or the ninth invention. And causing a computer to execute a reproduction method for reproducing video data and audio data based on the reproduction sequence from a recording medium on which the reproduction sequence is recorded.
  • the video / video recording device of the fifteenth aspect of the present invention provides a video / audio data recording apparatus that records a set of synchronized video data and audio data as a video object on a recording medium. Specify a playback sequence to connect and play some or all of the objects.
  • An audio / video recording apparatus for recording audio data to be recorded on a recording medium so that the audio signal to be recorded is subjected to encoding including windowing processing and orthogonal transformation processing, and outputs audio data. Change the video data as necessary so that the video frame to be played at the end of the connected video object and the video frame to be played at the beginning of the connected video object are played seamlessly at the connection point.
  • the video data change means and the playback period of the audio frame to be played last at the end of the connection source video object include the time of the connection point of the video frame, and play back at the beginning of the connection destination video object.
  • the audio frame so that the playback period of the audio frame to be included includes the time of the connection point.
  • a video frame to be played back at the end of the connection source video object is determined. If necessary, change the video data so that the video frame to be played at the beginning of the connected video object is played seamlessly at the connection point, and play it at the end of the connected video object.
  • the playback duration of the audio frame should include the time of the connection point of the video frame, and the playback duration of the audio frame to be played first of the connected video object should include the time of the connection point.
  • the audio Z-video recording method relates to a method for recording a set of synchronized video data and audio data as a video object on a recording medium.
  • An audio / video recording method for recording a recording sequence on a recording medium so that a reproduction sequence to be connected and reproduced can be specified.
  • the first step of outputting audio data by performing encoding including orthogonal transformation processing, the video frame to be played last at the video object of the connection source, and the video to be played first at the video object of the connection destination A second step of modifying the video data as needed so that the frame plays seamlessly at the junction; and The duration of the audio frame to be played last at the end of the source video object includes the time of the connection point of the video frame, and the duration of the audio frame to be played first at the destination video object
  • the third step is to determine the edit point of the audio frame so that it includes the time of the connection point, and the last to play, including the connection point .-- The audio frame and the audio frame to play first.
  • the overlap time of the audio frame to be reproduced last and the audio frame to be reproduced first including the connection point are calculated and recorded on the recording medium as management information. To do As a result, there is no need to calculate the upper lap time during playback.
  • a seventeenth aspect of the present invention provides video data and audio data from a recording medium on which a video object and a reproduction sequence are recorded by the recording device of the fifteenth aspect, based on the reproduction sequence.
  • An audio Z-video playback device for playing back data
  • an overlap time playback means for playing back an overlap time from a recording medium, and recording when the connection point is the first connection point in a playback sequence.
  • the overlap time played from the medium is defined as the interval between the audio PTS and the offset B when the audio frame of the connected video object is played, and the connection point is set at the second and subsequent connection points in the playback sequence. If there is, the sum of the overlap time played from the recording medium and the audio PTS offset time at the previous connection point is added.
  • Offset time calculating means for outputting the audio drop flag of the device, and the system time clock (STC) of the device so that video frames to be connected can be seamlessly connected at each connection point of video objects included in the playback sequence.
  • STC system time clock
  • An offset means for offsetting the PTS of the audio frame read from the recording medium according to the calculated audio PTS offset time, and a video data reproduced from the recording medium.
  • the audio data reproduced from the recording medium is reproduced according to the offset PTS, and the audio drop flag is a predetermined value
  • the audio frame to be reproduced at the end of the video object of the connection source Play Audio frame reproducing means for controlling not to perform audio decoding, and audio decoding for performing decoding including windowing processing and orthogonal inverse transformation processing on audio data reproduced by the audio frame reproducing means, and outputting an audio signal.
  • a configuration comprising:
  • connection point read from the recording medium is the first connection point in the reproduction sequence or the second or subsequent connection point is determined based on the overlap time read from the recording medium during reproduction.
  • the audio PTS offset time at the current connection point is calculated accordingly, an audio drop flag of a predetermined value is output under predetermined conditions, and the audio PTS offset time is read from the recording medium in accordance with the calculated audio PTS offset time. Since the PTS of audio frames is offset, it is not necessary to calculate the audio PTS offset time for seamless playback of audio data on the playback side.
  • an audio video reproducing apparatus provides the audio video reproducing apparatus according to the seventeenth aspect, wherein the offset time calculating means calculates the audio PTS offset time at the connection point. If it is longer than n times the frame period (where n is 1 or 1 2), the value obtained by subtracting the audio frame period from the audio PTS offset time is calculated as the final audio PTS offset time.
  • the audio frame to be reproduced at the end of the video object of the connection source is a means for outputting an audio drop flag having a predetermined value indicating that the audio frame does not need to be reproduced at the time of connection.
  • the synchronization deviation between the audio frame and the video frame after the connection point is basically an amount that cannot be detected as a lip-sync deviation within one audio frame period or within ⁇ 0.05 audio frame period. can do.
  • the audio Z-video playback method of the nineteenth invention provides a method for reproducing a video object and a playback sequence from a recording medium on which a video object and a playback sequence are recorded according to the sixteenth invention, based on the playback sequence.
  • An audio / video playback method for playing back video data and audio data through a recording medium where the first step is to play the overlap time, and the connection point is the first connection in the playback sequence. If it is a point, the overlap time played from the recording medium is used as the audio PTS offset time for playing the audio frame of the connected video object, and the connection point is the second or later connection in the playback sequence.
  • the second step is to output the audio drop flag of the value, and the video object included in the playback sequence, and the system time clock is set so that the video frames to be connected are connected seamlessly at each connection point of the eater.
  • STC STC
  • a third step of resetting the STC (STC) a fourth step of offsetting the PTS of the audio frame read from the recording medium in accordance with the calculated audio PTS offset time, and a step of reproducing from the recording medium.
  • the audio data reproduced from the recording medium is reproduced according to the PTS offset in the fourth step, and if the audio drop flag output in the third step is a predetermined value, the video object of the connection source is reproduced.
  • a seventh step of outputting is
  • This invention calculates the audio PTS offset time at the current connection point based on the overlap time read from the recording medium, as in the seventeenth invention. Accordingly, the PTS of the audio frame read from the recording medium is offset, so that it is not necessary to calculate the audio PTS offset time for seamless playback of audio data on the playback side.
  • the audio / "video playback method comprises the second step of the nineteenth aspect, wherein the audio PTS offset time at the calculated connection point is calculated. If the power is greater than n times the audio frame period (where n is 1 or 1/2), the audio PTS offset time minus the audio frame period is subtracted from the final audio PTS. In addition to calculating the offset time, an audio drop flag of a predetermined value indicating that the last audio frame to be played back of the connection source video object does not need to be played back at the time of connection is output.
  • the audio / video reproduction program of the twenty-first invention is read from a recording medium on which a video object and a reproduction sequence are recorded by the audio-video recording method of the sixteenth invention.
  • An audio / video playback program for causing a computer to execute an audio / video playback method for playing back video data and audio data based on the playback sequence.
  • the audio / video recording device of the twenty-second aspect of the present invention provides a method for recording a set of synchronized video data and audio data on a recording medium as a video object by using a plurality of video data.
  • Audio encoding means for outputting audio data by performing encoding including conversion processing, a video frame to be reproduced at the end of a video object of a connection source, and a video to be reproduced at the beginning of a video object of a connection destination Change the video data as needed so that the frame plays seamlessly at the connection point.
  • Means and the duration of the audio frame to be played at the end of the source video object includes the time of the connection point of the video frame, and the duration of the audio frame to be played first of the destination video object
  • Edit point determining means for determining an edit point of an audio frame so as to include the time of the connection point; and an audio frame to be played last and an audio frame to be played first including the connection point.
  • the overlap time calculation means for calculating the overlap time, and if the connection point was the first connection point in the playback sequence, the overlap time is used as the audio for playing the audio frame of the connected video object.
  • the offset time calculating means calculates the value obtained by adding the overlap time and the audio PTS offset time at the previous connection point as the audio PTS offset time at the current connection point, and at least the audio PTS offset time.
  • recording means for recording the recording time as management information on a recording medium.
  • the playback period of the audio frame to be played back includes the time of the connection point of the video frame
  • the playback period of the audio frame to be played first of the connected video object includes the time of the connection point.
  • the synchronization deviation between the video frame and the video frame can be basically detected as a Lip Sync deviation, which is an undetectable amount.
  • the audio video recording device of the twenty-third invention is characterized in that the offset time calculating means of the twenty-second invention comprises an audio PTS offset time at the calculated connection point. If it is longer than 'n times the audio frame period (where n is 1 or 1 to 2), the value obtained by subtracting the audio frame period from the audio PTS offset time is the final audio PTS offset time.
  • the audio frame to be played at the end of the connection source video object is A means for outputting a predetermined value of an audio drop flag indicating that reproduction is not necessary at the time of continuation, and the recording means records the audio PTS offset time and the audio drop flag as management information on a recording medium.
  • the synchronization shift between the audio frame and the video frame after the connection point is basically an amount that cannot be detected as a lip-sync shift within one audio frame period or within ⁇ 0.5 audio frame period. be able to.
  • the audio Z-video recording method provides a method for recording a set of synchronized video 'data and audio data as a video object on a recording medium.
  • An audio / video recording method for recording a recording sequence on a recording medium so that a reproduction sequence to be reproduced by connecting a part or a part of a clip can be specified.
  • the first step of outputting audio data by performing encoding including orthogonal transformation processing, the video frame to be played last at the source video object, and the video frame to be played first at the destination video object A second step of modifying the video data as needed so that the video frame is played seamlessly at the connection point;
  • the playback period of the audio frame to be played at the end of the original video object includes the time of the connection point of the video frame, and the playback period of the audio frame to be played first of the connected video object is
  • the fourth step is to calculate the overlap time and if the connection point was the first connection point in the playback sequence ⁇ The audio PTS offset time when playing the audio frame of the audio object, and if the connection point is the second or later connection point in the playback sequence, the overlap time and the previous connection point.
  • the synchronization deviation between the audio frame and the video frame after the connection point can be basically set to an amount that cannot be detected as a lip-sync deviation. . ,-.
  • the audio / video recording method includes the fifth step of the twenty-fourth aspect, wherein the calculated audio PTS offset time at the connection point is equal to the audio time. If it is greater than n times the frame period (where n is 1 or 1/2), the value obtained by subtracting the audio frame period from the audio PTS offset time is used as the final audio PTS offset time. Calculating and outputting a predetermined audio drop flag indicating that the audio frame to be played last at the connection source video object does not need to be played back at the time of connection. It is characterized in that the PTS offset time and audio drop plug are recorded on a recording medium as management information.
  • an audio Z-video playback device comprises: An audio Z-video playback device that plays back video data and audio data based on a playback sequence, and seamlessly connects video frames to be connected to each other at connection points of video objects included in the playback sequence.
  • Video data playback means that plays back according to the video PTS attached to the video data
  • audio data playback means that plays back the audio data played back from the recording medium according to the offset PTS
  • audio drop played back from the recording medium When the flag is a predetermined value, the drop processing means for controlling not to reproduce the audio frame to be reproduced at the end of the video object, and the audio data reproduced by the audio data reproducing means are windowed.
  • audio decoding means for performing decoding including processing and orthogonal inverse transformation processing to output an audio signal.
  • an audio frame read from a recording medium is read in accordance with an audio PTS offset time read from the recording medium during reproduction.
  • the audio Z-video of the twenty-seventh invention comprises the steps of: outputting a video data and an audio data from a recording medium on which a video object and a playback sequence are recorded by the recording device of the second or the second invention based on the playback sequence.
  • a video playback method in which a system time clock (STC) of a device is reset so that video frames to be connected are seamlessly connected at each connection point of video objects included in a playback sequence.
  • STC system time clock
  • the PTS of the audio frame read from the recording medium is offset according to the audio PTS offset time read from the recording medium during reproduction. This eliminates the need to calculate the audio PTS offset time for seamless playback of audio data on the playback side.
  • an audio / video recording program according to a twenty-eighth invention of the present invention causes a computer to execute the audio / video recording method of the twenty-fourth invention.
  • the audio / video reproducing method according to the twenty-seventh aspect is performed by a computer.
  • FIG. 1 is a diagram illustrating an example of a relationship between a video frame and an audio frame.
  • FIG. 2 is a conceptual diagram of conventional connection editing and video / audio playback.
  • FIG. 3 is a block diagram of an example of a conventional reproducing apparatus.
  • Figure 4 is another conceptual diagram of conventional connection editing and video / audio playback. .
  • FIG. 5 shows an example of a conventional audio waveform at a connection point.
  • FIG. 6 is a conceptual diagram of connection editing and video / audio reproduction in the present invention.
  • FIG. 7 shows a block diagram and an example of a window function of an embodiment of an audio code block and an audio decoded block according to an embodiment of the present invention.
  • FIG. 8 is a conceptual diagram of connection editing and video / Z audio playback according to the first embodiment of the present invention.
  • FIG. 9 is a block diagram of Embodiment I of the audio Z video recording apparatus of the present invention.
  • FIG. 10 is a block diagram of Embodiment I of the audio / video recording method of the present invention.
  • FIG. 11 is a block diagram of Embodiment I of the audio / video playback device of the present invention.
  • FIG. 12 shows the audio / video playback method according to Embodiment I of the present invention. It is a low chart.
  • FIG. 13 is a flowchart of an embodiment of the recording method according to the present invention in which the audio buffer occupancy is taken into account.
  • FIG. 14 is a flowchart of an embodiment of the editing method of the present invention when the audio buffer occupancy is considered.
  • FIG. 15 is a conceptual diagram of connection editing and video / audio reproduction according to the second embodiment of the present invention.
  • FIG. 16 is a block diagram of Embodiment 2 of the audio Z-video recording device of the present invention.
  • FIG. 17 is a flow chart of an audio / video recording method according to an embodiment of the present invention. '
  • FIG. 18 is a block diagram of an audio / video embodiment of the present invention.
  • FIG. 19 is a flowchart of an audio / video reproducing method according to an embodiment of the present invention.
  • FIG. 20 is a block diagram of Embodiment m of the audio / video recording device of the present invention.
  • FIG. 21 is a flowchart of Embodiment HI of the audio / video recording method of the present invention.
  • FIG. 22 is a block diagram of Embodiment m of the audio Z-video playback device of the present invention.
  • FIG. 23 is a flowchart of Embodiment m of the audio / video reproduction method of the present invention.
  • FIG. 6 shows an example of connection editing and video / audio reproduction in an embodiment of the audio / video recording apparatus, recording method, reproducing apparatus, reproducing method and reproducing program according to the present invention.
  • the same parts as those of FIG. 2 are denoted by the same reference numerals, and the description thereof is omitted.
  • the sixth embodiment is an example of connecting from time X of VOB (i) to time Y of VOB (j), as in the conventional example of FIG. This is different from the conventional example.
  • the last audio frame that is valid in VOB (i) after connection editing is the audio frame containing time X (including when the playback end time of the audio frame is equal to time X (* 1)).
  • the first audio frame valid in VOB (j) after connection editing is the audio frame containing time Y (including when the playback start time of the audio frame is equal to time Y (* 2)).
  • the overlap portion indicated by OL in FIG. 6 is referred to as audio overlap (A-overl a) in this specification. If the above * 1 and * 2 are simultaneously satisfied, A—ov er l ap becomes zero.
  • Offsets Presentation Time Stamp for playback. This offset amount is referred to as an audio PTS offset (A-PTS-offset) in this specification.
  • the audio frame of the subsequent VOB is offset, and the gap of the audio frame is eliminated near the connection point.
  • the present embodiment devises the selection of the audio coding method.
  • FIG. 7 (A) is a block diagram of the audio Z-video recording apparatus and the audio apparatus according to the embodiment of the present invention.
  • the input audio signal is subjected to windowing processing by multiplication with a window function in the windowing section 11 and then supplied to the orthogonal transform section 12.
  • compression encoding of a predetermined method is performed.
  • the compression-encoded audio data thus obtained is multiplexed with an MPEG system in a multiplexing unit (not shown) together with video data compressed and encoded by a video data recording system (not shown), for example, as an MPEG program stream.
  • the information is recorded on the recording medium 14 by a known recording means.
  • the multiplexed stream reproduced from the recording medium 14 by known reproducing means is separated into audio data and video data by a demultiplexer (not shown), and the video data is sent to a video data reproducing system (not shown).
  • the output audio data is supplied to a decoding / dequantizing unit 15 in the audio decod block and is decoded.
  • the decoded and inverse-quantized audio data is subjected to orthogonal inverse transform by an orthogonal inverse transform unit 16 and then supplied to a windowing unit 17 to be subjected to a windowing process by multiplication with a predetermined window function. After that, it is restored to the audio signal.
  • the window function used in the windowing units 11 and 17 will be described with reference to FIGS. 7 (B) to (D).
  • the window function of each audio frame is shown in Fig. 7 (C).
  • the left shoulder is f ( ⁇ ) and the right shoulder is g (X).
  • the central bracket and the bracket may or may not be provided.
  • the window function f (X) of +1) overlaps. .
  • the audio sample actually encoded with the audio frame (i) is the portion indicated by the range (i) shown in FIG. 7B.
  • the windowing section 11 on the encoder side and the windowing section 17 on the decoding side perform windowing twice for convenience, the above audio frames (i) and (i + 1) In the wrap part,
  • f (X ) 2 and g (x) 2 window functions allow smooth addition of audio samples, so that there is no discontinuous noise at the connection points. Therefore, the second problem is solved. In other words, the above solves a total of two problems and realizes a seamless connection between audio frames.
  • FIG. 8 shows part of each of VOB1, VOB2, and VOB3.
  • 1 shows a first embodiment of a video Z audio recording method and a reproducing method in the case of connection editing in the following order (note that the illustrations of VOB 1, VOB 2, and VOB 3 before connection are omitted here).
  • each VOB may actually include a frame group corresponding to several tens of seconds to several hours. I want to be.
  • T v is the video frame period already described.
  • an audio frame group indicated by a dotted rectangle is a state before connection
  • an audio frame group indicated by a solid rectangle is a state after connection.
  • all video frames are displayed in a state after connection.
  • STC k is a schematic expression showing a force map of STC values used during VOBk reproduction.
  • STC-delta k is the difference between STC (k-1) and STC k, and is expressed by the following equation.
  • A-PTS-0 ffset k is a necessary offset time for the audio PTS at the time of VOBk reproduction, as described above.
  • PTS k audio — end is the playback start time (PTS value) of the last audio frame of VOB k. This is the value before connection editing.
  • PTS k audio—start is the playback start time (PTS value) of the first audio frame of VOB k. This is the value before connection editing.
  • A- o V er 1 ap k can be calculated in the following manner.
  • A— overlap k (PTS k- 1 audio-1 end + T A )
  • the audio frame is reproduced by shifting the A-PTS-offset from the synchronization relationship with the original video frame by the VOBk after the connection.
  • this shift affects the lip-sync, and if the shift is larger than one or two video frame periods, the deterioration of the lip-sync can be detected. Therefore, the A-PTS-offset value should not be too large. For example, if the audio frame period T A is less than or equal to the video frame period T v , it is effective to keep A__PTS-offset within the audio frame period T A.
  • FIG. 9 shows a block diagram of Embodiment I of the audio / video recording device according to the present invention.
  • recording of a plurality of VOBs has been completed, and the connection editing operation of them will be described.
  • a user interface unit 25, a management information control unit 26, and an object control unit 27 constitute an MPU block 22, and are realized by software processing of an MPU (Micro Processing Unit). .
  • MPU Micro Processing Unit
  • an editing instruction is given from the user through the user interface unit 25.
  • the management information control unit 26 confirms the connection edit point by using the corresponding management information.
  • the edit point of the audio frame is first determined so that the overlap of the audio frame exists at the connection point as described above.
  • picture type conversion processing is performed on video frames as necessary. This is performed through the object control unit 27, the video / audio encode block 24, and the medium recording control unit 23, and is written to the recording medium 21.
  • the management information control unit 26 determines the VOB to be connected, and determines the video connection point (the video frame to be played last of the VOB of the connection source and the video frame to be played first of the VOB of the connection destination). Connection point with Is determined (step SI). Next, it is determined whether or not the change processing of the video picture type is necessary or not according to the video connection point, and if necessary, specific preparation for the change is performed (step S2).
  • an audio frame editing point is determined corresponding to the video connection point (step S3).
  • the playback period of the audio frame to be played last at the connection source VOB includes the time of the video connection point, and the playback period of the audio frame to be played first at the connection destination VOB.
  • the audio frame edit point is determined to include the time of the video connection point.
  • the edited VOB (data near the connection point) is written to the recording medium 21 through the object control unit 27 and the medium recording control unit 23 (step S4). At this time, the above-mentioned information on the editing point is also written on the recording medium 21 as management information.
  • the audio encode block in the video Z audio encode block 24 has the configuration on the encode side in FIG. 7A.
  • the recording method described in FIG. 10 can be implemented by the dedicated device as described in FIG. 9, but can also be implemented as a program on a computer having a recording function of the recording medium. I want to.
  • FIG. 11 shows a block diagram of Embodiment I of an audio / video playback device according to the present invention.
  • an edited VOB that has been edited and recorded by the recording device shown in FIG. 9 is recorded on a recording medium 31.
  • the user interface unit 36, the management information control unit 37, the A-overlap calculation unit 38, the APTS offset calculation unit 39, and the object control unit 40 MPU block 4 1 is configured.
  • a playback instruction is received by the management information control unit 37 via the user interface unit 36.
  • the playback instruction generally specifies which playback sequence is to be played. It is assumed that information for connecting and playing back a plurality of VOBs is registered in the playback sequence. The basic procedure of VOB data playback is described below.
  • the VOB playback-related information registered in the playback sequence is determined by the management information control unit 37, and the VOB data is recorded via the object control unit 40 and the medium playback control unit 32. Is read from. It is assumed that management information such as edit points has already been read from the recording medium 31 via the medium reproduction control unit 32 and is always stored in a memory (not shown) in the MPU block 40.
  • the read VOB data is supplied from the medium reproduction control unit 32 to the demultiplexer 33, where it is separated into video data and audio data.
  • the video data is supplied to the video decode block 34, and the audio data is supplied to the video decode block 34.
  • the clock information such as the SCR is decoded by the demultiplexer 33 and passed to the MPU block 40 as necessary.
  • Clock information such as STC is passed from the MPU block 40 to the demultiplexer 33, the video decode block 34, and the audio decode block 35.
  • the playback timing is controlled in accordance with STc.
  • the recording medium 31 has an overlap time A between the audio frame to be reproduced at the end of the above-mentioned video object at the connection source and the audio frame to be reproduced at the beginning of the video object at the connection destination.
  • the A-o V e r 1 a p calculation unit 38 described the information at the edit point obtained from the information of the reproduction sequence input to the management information control unit 37 as described above.
  • the A_PTS_offset calculator 39 calculates A-PTS-offset from the input expression A_over1a using the expression of [Equation 8], and further, based on the conditional expression of [Equation 9]. Then, AF—drop is calculated, and these are supplied to the management information control unit 37.
  • a sequence to be reproduced is determined, and information on VOB included in the sequence is confirmed (step S11).
  • the A—overla calculation unit 38 calculates A—hi ver 1 ap at the connection point, and further, based on this A—over 1 a, the A—PT S_offset calculation unit 39 Calculate A—PTS—offset (and AF—drop) according to (step S 12).
  • the STC is reset so as to enable a seamless connection, and the A—PTS—of calculated by the A—PTS—of fset calculator 39.
  • fset (and A F_drop) is set to the audio decode block 35 (step S 13).
  • the VOB data is actually read from the recording medium 31, and the video data is supplied to the video decode block 34 via the medium reproduction control unit 32 and the demultiplexer 33, and the audio data is transferred to the audio decode block 3.
  • the audio frame reproduced in this way is coded including windowing processing and orthogonal inverse transformation processing by the decoder shown in FIG. 7 (A) in the audio decoding block 35, and is output as an audio signal. You. Subsequently, it is determined whether or not the above processing has been performed on all the VOBs in the playback sequence (step S16), and if it is the last VOB, the playback ends. Yes (Step SI7).
  • the playback method described with reference to FIG. 12 can be implemented using the playback device as described with reference to FIG. 11, but can also be implemented as a program on a computer having a playback function for the recording medium. Note that there is.
  • audio frames in addition to seamless connection of video frames, audio frames can be connected seamlessly without generating discontinuous noise at connection points.
  • the required amount of audio buffer is determined by the type of audio coding method and the bit rate used.
  • the audio occupancy is limited to the buffer occupancy obtained by subtracting the data amount of one audio frame from the audio buffer size upper limit If the data is multiplexed, the audio buffer will not overflow even if it is played back with a delay of up to one audio frame period during playback.
  • the flag in this case, the audiomuxstatus flag
  • the audio buffer occupancy has been multiplexed without exceeding the audio buffer size upper limit (the amount of data for one audio frame) is set. On disk If recorded, it can be an index when configuring the audio seamless connection of the present invention.
  • FIG. 13 is a flowchart of an audio / video recording method according to an embodiment of the present invention when VOB is recorded in consideration of audio-mux-statsblags.
  • audio_mux_status l, otherwise Defined as 0.
  • the management information control unit 26 in the MPU block 22 determines whether or not to perform multiplexing so as to satisfy the audio buffer condition (predetermined audio multiplexing state) (step S in FIG. 13). twenty one ). At this time, the user's instruction is received through the user interface section 25 as necessary.
  • the video / audio code block 24 is occupied by the audio buffer according to the instruction from the object control unit 27 that has been notified of the satisfaction of the conditions from the management information control unit 26.
  • the audio data is multiplexed with the video data so that the amount is equal to or less than the specified audio buffer upper limit minus the data amount of one audio frame, and the VOB obtained by multiplexing the audio data is recorded in the media recording control unit.
  • the data is recorded on the recording medium 21 via 23 (step S22 in FIG. 13).
  • the management information control unit 26 sets the audio-mux-status flag indicating the audio multiplexing status to 1 and records it on the recording medium 21 via the medium recording control unit 23 together with other management information (see FIG. 13 Step S2 3).
  • step S21 the audio buffer condition is not satisfied. If the management information control unit 26 determines that the condition is not satisfied, the instruction from the object control unit 27 receives a negative notification of the satisfaction of the condition from the management information control unit 26. As a result, the VOB obtained under the normal audio buffer conditions in the video / audio code block 24 is not recorded on the recording medium 21 via the medium recording control unit 23 (step S in FIG. 13). twenty four). Also, the audio_mux_status flag, whose value is set to 0, created by the management information control unit 26 together with other management information, is transmitted to the recording medium 21 via the medium recording control unit 23. It is recorded (step S25 in FIG. 13).
  • FIG. 14 is a flowchart illustrating an audio / video editing method according to an embodiment of the present invention when VOB is edited in consideration of the audio-mux_stats flag.
  • the management information control unit 26 of FIG. 9 determines the connection target VOB, and sets the video connection point (the video frame to be reproduced last of the connection source VOB and the video connection point of the connection destination VOB).
  • a connection point with the video frame to be played back is determined (step S31 in FIG. 14).
  • audio _, mux _ related to the VOB to be connected in the management information read from the recording medium 21 via the medium recording control unit 23 in FIG. 9
  • the management information control unit 26 checks whether the value of the status flag is 1 (step S33 in FIG. 14).
  • audio mu xstatus flag If the value of is 0, the audio frame editing point is determined according to the prior art so as to form an audio gap (step S35 in FIG. 14).
  • step S34 or S35 the edited VOB (data near the connection point) force S is passed through the object control unit 27 and the medium recording control unit 23 to the recording medium 21.
  • the edit point information is also written as management information on the recording medium 21 (step S36 in FIG. 14).
  • the recording location of the edited data (video data and audio data) is determined in consideration of the recording medium to be used and the seek conditions depending on the assumed playback device.
  • the present invention is not particularly limited as long as seamless playback can be guaranteed. That is, irrespective of the recording location of the data, if the edited data is composed substantially with audio overlap and can be played back with the audio PTS offset, the purpose of the present invention is satisfied. .
  • the value of A_PTS_offset is always zero or more (time delay).
  • the value of A—PTS—offset can be negative (time advance).
  • T A is basically set to 0 ⁇ A—PT S_offset, but in the second embodiment, basically 0.5 XT A This is an example where A- 1 PT S_offset ⁇ 0 j 5 XT A (or 0.5 XT A ⁇ A_PTS-offset ⁇ 0.5 XT A ).
  • Equation 10 the calculation in FIG. 15 will be further described.
  • A—PTS—offset 2 A_ over 1 ap 2 , but in this example, A—PTS—offset 2 force S 0.5 XT A , Then the If statement in Equation 10 1 is true and A—PTS—offset 2 is negative (the offset is time-advanced).
  • AF—drop 1 1. That is, the last audio frame of VOB 1 is dropped from playback.
  • FIG. 15 shows a state in which it has been dropped.
  • A-PTS-offset 3 is calculated by [Equation 7] as A-over 1 ap 3 and A-PTS-offset 2 germ.
  • A—PTS—offset 2 is a negative value, so A—PTS—offset 3 is smaller than A—over 1 ap 3 .
  • A-PTS-offset ⁇ is smaller than 0.5 XT A, the If statement in [Equation 10] is false, and A-PTS-offset 3 is a positive value. Will be late).
  • AF—drop 2 0.
  • the configuration of the second embodiment is the same as that of the first embodiment.
  • audio frames can be connected seamlessly without generating discontinuous noise at connection points. it can.
  • the editing method and the reproducing method can be implemented as a program on a computer.
  • the required amount of audio buffer is determined by the type of audio coding system and the bit rate used.
  • the amount of audio buffer occupied during reproduction during VOB creation is considered. Must be multiplexed so that is always more than one audio frame data amount.
  • the upper limit of the buffer occupancy obtained by subtracting the data amount of one audio frame from the upper limit of the audio puff size is If the audio data is multiplexed, the audio buffer will not overflow even if it is played back with a delay of up to 0.5 audio frame period during playback.
  • a flag indicating that the audio buffer occupancy does not exceed (audio buffer size upper limit _ 1 audio frame data amount) and is multiplexed (here, audio_mux_status flag) If this is recorded on a disc, it can be an index when configuring the audio seamless connection of the present invention.
  • a flag indicating that the audio buffer is multiplexed so that the occupation amount of the audio buffer is always equal to or more than the data amount of one audio frame is prepared, It can be an index when configuring an audio seamless connection accordingly.
  • This flag and the previous audio-mux-status flag may be different flags, and may be the same flag.
  • FIGS. Recording and editing are possible with the same processing steps as those described above.
  • the recording location of the edited data should be as long as seamless playback can be guaranteed in consideration of the seek conditions that depend on the playback device that is assumed to be the recording media used. Therefore, the present invention is not particularly limited. In other words, irrespective of the recording location of the data, if the edited data is composed substantially with audio overlap and can be played back with the audio PTS offset, the purpose of the present invention is satisfied. .
  • FIG. 16 is a block diagram showing an embodiment of an audio Z-video recording apparatus according to the present invention. Here, it is assumed that recording of a plurality of VOBs has been completed, and the connection editing operation of them will be described.
  • the user interface unit 45, the management information control unit 46, the A-overlap calculation unit 47, and the object control unit 48 are composed of an IPU hook 4f and a f configuration. ,] Is realized by software processing of Pu (Micro Processing Unit).
  • the editing instruction is given from the user through the user interface section 45.
  • the management information control unit 46 checks the connection edit point using the corresponding management information.
  • the edit point of the audio frame is first determined so that the overlap of the audio frame exists at the connection point as described above.
  • picture type conversion processing is performed on video frames as necessary. These are the object control section 48, the video / audio encoding block 44, and the medium recording control section. This is performed through 43 and written to the recording medium 41.
  • the management information control unit 46 determines the VOB to be connected, and determines the video connection point (the video frame to be played last of the VOB of the connection source and the video frame to be played first of the VOB of the connection destination). Is determined (step S41). Next, it is determined whether or not video picture type change processing is necessary or not in accordance with the video connection point, and if necessary, concrete preparation for change is made (step S42).
  • an audio frame editing point is determined corresponding to the video connection point (step S43). That is, the playback period of the audio frame to be played last at the connection source VOB includes the time of the video connection point, and the playback period of the audio frame to be played first at the connection destination VOB is video
  • the audio frame edit point is determined to include the time of the connection point.
  • the A-over1 ap is calculated in the A-overla calculation section 47 (step S44).
  • the edited VOB data near the connection point
  • the calculated A—o Ver 1 a and management information such as the playback sequence are recorded through the object control unit 48 and the medium recording control unit 43.
  • the data is written on the medium 41 (step S45).
  • the playback sequence includes information on VOBs to be played back, information on connection points, and the like.
  • the audio / audio code block 4 The block has the configuration on the encoding side in (A) of FIG.
  • the recording method described in FIG. 17 can be implemented by the dedicated device as described in FIG. 16 but can also be implemented as a program on a computer having a recording function of the recording medium. Please be careful.
  • FIG. 18 shows a block diagram of an embodiment of the audio / video playback device according to the present invention.
  • a recording medium 51 records edited VOBs and management information edited and recorded by the recording device shown in FIG.
  • the user interface section 56, the management information control section 57, the A-PTS-offfset calculation section 58 and the object control section 59 constitute an MPU block 60.
  • a playback instruction is received by the management information control unit 57 via the user interface unit 56.
  • the playback instruction generally specifies which playback sequence is to be played. It is assumed that information for connecting and reproducing a plurality of VOBs is registered in the reproduction sequence.
  • the basic procedure of VOB data reproduction will be described.
  • the VOB playback-related information registered in the playback sequence is determined by the management information control unit 57, and the VOB data is read from the recording medium 51 via the object control unit 59 and the medium playback control unit 52. . It is assumed that the management information such as the reproduction sequence has already been read from the recording medium 51 via the medium reproduction control unit 52 and is always stored in a memory (not shown) in the MPU block 60.
  • the read VOB data is demultiplexed by the medium reproduction control unit 52.
  • the video data is supplied to a video decoder block 54, and the audio data is supplied to a video decoding block 54.
  • the audio data has the configuration shown as the decoding side in FIG.
  • the video frame and the audio frame after decoding are supplied to the video decoding block 55 and are respectively decoded.
  • clock information such as SCR is decoded by the demultiplexer 53 and passed to the MPU block 60 as necessary.
  • Clock information such as STC is passed from the MPU block 60 to the demultiplexer 53, the video decode block 54, and the audio decod block 55, and the reproduction timing is controlled in accordance with the STC.
  • the management information including A—o Ver 1 ap at the connection point is recorded on the recording medium 5
  • the management information is read out from the recording medium 51 by the medium reproduction control unit 52.
  • the management information is supplied to the management information control unit 57 via the smart object control unit 59, where A—o Ver 1 ap at the connection point is extracted from the management information and A_PTS_offset It is supplied to the calculation unit 58.
  • A—PTS—offset calculator 58 calculates A—PTS—offset based on the input A—over 1 ap by the expression of [Equation 8], and further, based on the conditional expression of [Equation 9]. Then, AF—drop is calculated, and these are supplied to the management information control unit 57.
  • the management information control unit 57 supplies the input A—PTS—offset and AF—dro to the audio decod block 55, and the audio frame playback timing is offset by A—PTS—offset for playback. I do.
  • AF_drop 1, control is performed so that the last audio frame of the VOB is not played back.
  • A—PTS_offset (and AF—drop) is calculated by the A—PTS—offset calculator 58 based on the reproduced A—o Ver 1 ap (step S 5). 2).
  • the STC is reset to enable seamless connection, and the A_PTS_offset calculated by the A_PTS_offset calculation unit 58 (and the AF
  • the VOB data is actually read from the recording medium 51, the video data is supplied to the video decoding block 54 via the medium reproduction control unit 52 and the demultiplexer 53, and the audio data is supplied to the audio decoding block 55.
  • the audio frame reproduced in this manner is subjected to encoding including windowing processing and orthogonal inverse transformation processing by the decoder shown in FIG. 7A, and is output as an audio signal. Subsequently, it is determined whether or not the above processing has been performed on all VOBs in the playback sequence (step S56), and if it is the last VOB, the playback is terminated (step S57).
  • the playback method described in FIG. 19 can be implemented by the playback device described in FIG. 18, it can also be implemented as a program on a computer having a playback function of the recording medium. Please be careful.
  • audio frames in addition to seamless connection of video frames, audio frames can be connected seamlessly without generating discontinuous noise at connection points.
  • FIG. 20 is a block diagram showing an embodiment m of the audio / video recording apparatus according to the present invention.
  • the recording of a plurality of vOBs has been completed, and the connection editing operation thereof will be described.
  • a user interface section 65 a management information control section 66, an A-o Ver 1 ap calculation section 67, an A-PTS-offset calculation section 68 and an object control section 69 are It constitutes the MPU block 62, and is realized by software processing of an MPU (Micro Processing Unit).
  • MPU Micro Processing Unit
  • an editing instruction is given from the user through the user interface section 65.
  • the management information control unit 66 checks the connection edit point using the corresponding management information.
  • the edit point of the audio frame is first determined so that the overlap of the audio frame exists at the connection point, as described above.
  • picture type conversion processing 1 is performed on video frames as necessary. This is performed through the object control unit 69, the video / audio encoding block 64, and the medium recording control unit 63, and is written to the recording medium 61.
  • the management information control unit 66 determines the VOB to be connected and sets the video connection point (the video frame to be played last at the VOB of the connection source and the VOB at the beginning of the VOB at the connection destination). Is determined (step S61). Next, it is determined whether or not the change processing of the video picture type is necessary or not according to the video connection point, and if necessary, concrete preparation for the change is performed (step S62).
  • an audio frame editing point is determined corresponding to the video connection point (step S63). That is, the playback period of the audio frame to be played last at the connection source VOB includes the time of the video connection point, and the playback period of the audio frame to be played first at the connection destination VOB is video
  • the audio frame edit point is determined to include the time of the connection point.
  • step S64 the A-over1 calculation is performed in the A-overla calculation section 67 (step S64), and the A-PTS_offset (A_PTS_offset) described above in the A_PTS-offset calculation section 68 is performed. And AF-dro) are calculated (step S65).
  • the edited VOB (data near the connection point), at least A__PTS—offset (and AF_drop), and management information such as the playback sequence are stored in the object control unit 69 and the medium recording control unit.
  • the data is written to the recording medium 61 through 63 (step S66). At this time, it is optional whether or not A-over 1 ap is also written on the recording medium.
  • the playback sequence includes Includes information on VOBs to be reproduced and information on connection points.
  • the audio encoder block in the video / audio encoder block 64 has the configuration on the encoding side shown in FIG.
  • the recording method described with reference to FIG. 21 can be implemented with a dedicated device as described with reference to FIG. 20, but can also be implemented as a program on a computer having a recording function of the recording medium. Note that
  • FIG. 22 is a block diagram showing an embodiment of an audio / video reproducing apparatus according to the present invention.
  • a recording medium 71 records edited VOBs and management information edited and recorded by the recording device shown in FIG. Further, the user interface unit 76, the management information control unit 77, and the object control unit 78 constitute an MPU block 79.
  • a playback instruction is received by the management information control unit 77 via the user interface unit 76.
  • the playback instruction generally specifies which playback sequence is to be played. It is assumed that information for connecting and reproducing a plurality of VOBs is registered in the reproduction sequence.
  • the basic procedure of VOB data reproduction will be described.
  • the playback-related information of the VOB registered in the playback sequence is determined by the management information control unit 77, and the VOB 'data is transferred from the recording medium 71 via the object control unit 78 and the medium playback control unit 72. Is read. It is assumed that management information such as a playback sequence has already been read from the recording medium 71 via the medium playback control unit 72 and is always stored in a memory (not shown) in the MPU block 79.
  • the read VOB data is supplied from the medium reproduction control unit 72 to the demultiplexer 73, where it is separated into video data and audio data, and the video data is supplied to the video decode block 74, where the audio data is output.
  • an audio decoding block 75 having the configuration shown on the decoding side in FIG.
  • the decoded video and audio frames are output.
  • the clock information such as the SCR is decoded by the demultiplexer 73 and passed to the MPU block 79 as necessary.
  • clock information such as STC is passed from the MPU block 79 to the demultiplexer 3, the video decode block 74, and the audio decode block 75, and the reproduction timing is controlled in accordance with the STC.
  • A-PTS-offset (and AF-drop) at the connection point is read from the management information.
  • step S71 a sequence to be reproduced is determined, and information on VOB included in the sequence is confirmed.
  • start regeneration of VO B At the same time or immediately before the start, the STC is reset to enable seamless connection, and the A-PTS-offset reproduced from the recording medium 71 is set to the audio decoding block 75 ( Steps
  • the VOB data is actually read from the recording medium 71, the video data is supplied to the video decode block 74 via the medium reproduction control unit 72 and the demultiplexer 73, and the audio data is supplied to the audio decode block 75.
  • the video frame and the audio frame are reproduced (step S73).
  • AF_drop 1
  • the last audio frame of VOB is processed so as not to be played back (step S74).
  • it is determined whether or not the above processing has been performed on all VOBs in the playback sequence step S75, and if it is the last VOB, the playback is terminated (step S76).
  • the playback method described in FIG. 23 can be implemented by the playback device as described in FIG. 22, but can also be implemented as a program on a computer having a playback function of the recording medium. Note that there is.
  • audio frames in addition to seamless connection of video frames, audio frames can be connected seamlessly without generating discontinuous noise at connection points.
  • the recording // editing device shown in FIGS. 4, 5, 6, and 7 is the same as that of the first embodiment.
  • the reproducing apparatus and the reproducing method that is, the part of the embodiment I
  • the recording Z editing apparatus and method the reproducing apparatus shown in FIG. 16, FIG. 17, FIG. 18 and FIG.
  • A—o Ver 1 ap and A—PTS_offset (and AF_drop) at the connection point are calculated at the time of recording, and at least A—PTS_offset (and AF—drop)
  • the playback period of the audio frame to be played last at the end of the video object of the connection source is determined by the time at the connection point of the video frame.
  • the edit point of the audio frame is determined so that the playback period of the audio frame to be played first of the connected video object includes the time of the connection point, and the audio frame after the connection point
  • the offset processing is performed so that the synchronization deviation with the frame cannot be detected as a lip-sync deviation basically, so that audio frames can be seamlessly generated without generating discontinuous noise at the connection point. Can be connected.
  • an editing point of an audio frame is determined, the editing point is recorded on a recording medium as management information, and reproduced on the reproduction side at the end of the connection source video object based on the reproduction management information.
  • the audio frame to be played, the overlap time of the audio frame to be played first of the connected video object, and the audio PTS offset time for offsetting the PTS of the audio frame read from the recording medium As a result, the recording side does not calculate the overlap time and the audio PTS offset time, thereby minimizing the burden on the recording side.
  • recording is performed by multiplexing audio data with video data and recording so that the audio buffer occupancy is equal to or less than a value obtained by subtracting the data amount of one audio frame from a prescribed audio buffer size upper limit.
  • the PTS of an audio frame read from a recording medium is offset in accordance with the audio PTS offset time calculated based on the overlap time read from the recording medium during reproduction. Reduces the burden of seamless playback on the playback side by eliminating the need to calculate the overlap time used to calculate the audio PTS offset time for seamless playback of audio data on the playback side. can do.
  • the PTS of the audio frame read from the recording medium is offset in accordance with the audio PTS offset time read from the recording medium during reproduction, so that the audio data on the reproduction side is Since the calculation of the audio PTS offset time for seamless playback is unnecessary, the burden on the playback side during seamless playback can be minimized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

記録時には編集点だけを記録する（ステップＳ４）。再生時にビデオ接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間（Ａ＿ｏｖｅｒｌａｐ）を計算し、更に、このオーバーラップ時間に基づいてオフセット時間を算出する（ステップＳ１２）。算出したオフセット時間を用いてオーディオデータを再生することにより（ステップＳ１４）、接続点付近で、オーディオフレームのギャップを無くして再生することができる。接続点付近では、エンコーダ側及びデコーダ側において、オーディオデータの窓掛け処理を行うことにより、接続元と接続先のオーディオサンプル同士を滑らかに足し合わせる。

Description

オーディオ/ビデオ記録装置、 記録方法、 再生装置、 再生方法、 再生 プログラム及び記録プログラム 技術分野
本発明はオーディオ/ビデオ明記録装置、 記録方法、 再生装置、 再生方 法及び再生プログラムに係り、 特に光ディスク等の記録媒体に同期して 記録したビデオデータとオーディォデ.一書タの組をビデオオブジェク トと して記録媒体に記録でき、 複数のビデオオブジェク トのそれぞれ一部ま たは全部を接続して再生するオーディオ ビデオ記録装置、 記録方法、 再生装置、 再生方法、 再生プログラム及び記録プログラムに関する。 背景技術
オーディオデータとビデオデータを記録媒体に記録する方法には種々 あり、 ビデオテープに対するアナログ記録やデジタル記録、 ディスク媒 体に対するアナログ記録やデジタル記録があるが、 近年、 その高品位と アクセス性などからディスク媒体に対するデジタル記録が主流となりつ つある。 この代表例力 SDVD Digital Versatile Disc ) であり、 DVD— RW、 DVD— RAMなどの記録型メディアに、 高品位なビデ ォデータ及びオーディォデータをシームレスになるように記録 Z再生す ることが行われている （例えば、 再公表特許 WO 9 7/ 1 3 3 6 4号公 報 （図 4 7、 図 6 1 ) 参照）。
ここで、 ビデオデータの符号化方式と しては、 一般的に M P E G ^Moving Picture Experts Group) ビデオが用いられる。 MP E G ビデオ（主に MP E G - 2ビデオ） では、 ビデオデータの各フレーム （ま たはフィールド） を I ピクチャ、 Pピクチャ、 Bピクチャの種別を持つ て符号化する。 I ピクチャとは、独立して復号化可能なピクチャであり、 Iは Intraの略である。 Pピクチャとは、 I ピクチャまたは他の Pピク チヤ から の前方予測を用いて符号化されるピクチャであ り 、 Pは Predictionの略である。 Bピクチャとは、 I ピクチャまたは Pピクチ ャからの前方 Z後方予.測を用いて符号化されるピクチャであり、 Bは Bi - directional - prediction の略である。 なお、 NT S。方式での ビデオフレーム周期は、 約 1 / 3 0秒 （正確には 1 / 2 9 .9 7秒） で あり、 P A L方式の場合は 1 Z 2 5秒である。
一方、 オーディオデータの符号化方式と しては、 大別すると リニア P CM方式と、 圧縮符号化方式の 2種類が存在する。 圧縮符号化方式の中 では、 ドルビーデジタル （AC— 3 ) や D T S (Digital Theater Systems)、. MP E Gオーディォなどがよく用いられる。
リニア P CM方式では、 サンプリング及び量子化後のデジタルデータ を伝送する。 伝送ビッ ト数は 1 6、 2 0、 24等が用いられる。 サンプ リング周波数には 4 8 k H zなどが用いられる。 オーディオフレーム周 期の設定は任意である。 例えば、 1 / 6 0 0秒 （4 8 k H z時に 8 0サ ンプル分） などが用いられる。
圧縮符号化方式では、 リニア P CMデータを直交変換や聴覚心理モデ ルを用いて圧縮する。 オーディオフレーム周期は、 2のべき乗のサンプ ル数 （または更にその整数倍） を適用する場合が多く、 例えば 4 8 k H z時に 1 0 2 4サンプルであれば、 オーディオフレーム周期は約 2 1 m s e c (= 1 0 24/4 8 0 0 0) となる。 圧縮符号化方式でオーディ オフレームに 2のべき乗のサンプル数を使用する理由は、 リニア P CM サンプルデータをスぺク トルに変換する直交変換が、 2のべき乗のサン プルを入出力とするのに適しているからである。
ところで、 音声付ビデオ信号を符号化し、 D V D等の記録媒体に記録 する場合、 ビデオデータとオーディオデータは上記のような符号化方式 で符号化され、 さらに M P E Gシステムによって多重化され、 例えば M P E Gプログラムス ト リ ームとして記録媒体上に記録される。 以下、 こ のような多重化ス トリームデータをビデオオブジェク ト （ V O B ) と呼 ぶことにする。
このとき、 V O B内のビデオデータとオーディォデータは同期してい るが、 ビデオフレーム周期とオーディオフレーム周期は一致しているこ とはまずなく、 別々の周期で記録されている。 というのも、 ビデオフレ ーム周期は T Vシステムに依存して一意に決定され、 オーディオフレー ム周期は、 例えば圧縮符号化の効率化を考えた最適な長さを別途設定さ れるからである。 この様子を図 1に示す。
図 1に示すように、 ビデオフレーム周期 （T v ) とオーディオフレー ム周期 （τ Α ) が異なる。 一連のビデオデータとオーディオデータが同 期して記録される例であり、 データ先頭部分ではビデオデータとオーデ ィォデータのフレーム先頭が一致している、 典型例である。 データの途 中では、 基本的にビデオフレーム境界とオーディオフレーム境界は一致 しない （ビデオフレーム周期とオーディオフレ^ "ム周期の最小公倍数の 位置を除く）。 ' - ここで、 別々に記録された 2つの V Ο Βの全部又は一部分ずつを接続 編集し、 連続して再生する用途が考えられる。 図 2はこの一例を示す。 同図は、 V O B ( i ) の時刻 Xから V O B ( j ) の時刻 Yへ接続する例 を示す。 ビデオフレームに添えられた I、 P、 Bの文字は、 既に説明し たピクチャのタイプを示す。 なお、 図中ビデオフレームもオーディオフ レームも再生時の順序で表示されていることに注意ざれたい。 実際の V OB中では、 I i l、 P i l、 B i l、 B i 2 という順序で記録し、 B i 1や B i 2の複号化が I i 1 と P i 1を使って実行できるようにする 必要がある。
ここで、 再生時に VOB ( i ) の時刻 Aから時刻 Xまでの各ピクチャ を再生し、 引き続き VOB ( j ) の時刻 Yから時刻 Bまでの各ピクチャ を再生するためには、 この再生パスのなかに含まれる時刻 Xおよび時刻 Y付近でのピクチャタイプに注意が必要である。 つまり、 VOB ( i ) の B i 3 と B i 4の復号化には P i 2が必要であるが、 P i 2はこの再 生パスの中に存在しない。 従って、 例えば B i 4を Pピクチヤタイプ P i 4 ' に変換し、 B i 3を B i 3， に変換する必要がある （B i 3， は P i 1 と P i 4 ' から符号化）。 ·
同様に、 VOB ( j ) の Ρ ]' 1の複号化には I ]' 1が必要であるが、 I.j 1はこの再生パスの中に存在しない。 従って、 例えば P j 1を I ピ クチャタイプ I j 1， に変換する必要がある。 こうすることにより、 P i 1→B i 3， → P i 4 ' → I j 1， →B j 3→B j 4というパスでデ ータを再生することが可能になる。便宜上、接続後の接続点を Zとする。 なお、 上記の説明はビデオ符号化方式が MP EGのようなフレーム間 予測を用いたものである場合の一例であり、 例えば DV方式のように符 号化が各フレームで完結している場合には、 このようなピクチャの変換 処理は必要ない。 また、 MP E G等の場合でも、 例えば、 接続元が I ピ クチャの直前の Bピクチャで終り、 接続先が I ピクチャで始まるような 接続点を選ぶ場合などにも、 ピクチャ変換処理は必要ない。
次に、 接続点 Zでのビデオフレームの再生について考える。 上記の例 では、 基本的には P i 4， のフレームを 1 ビデオフレーム周期再生した 直後に I j 1 ， フレームを再生すること、 つまり、 ビデオフレーム画像 を Z点で止めることのないシームレスな再生が要求される。 シームレス 再生を行うためには、一般に次のような条件を満足している必要がある。
( 1 ) A→Z→Bのパスを復号化するのに必要なビデオフレームの データが、 このパスの中に含まれていること （上記の説明）。
( 2 ) システムに規定のバッファが、 A→ Z→Bのパスのデータ読 み込みでバッファアンダーフローを起こさないように、 記録データが配 置されていること。 この目的のため、 Z付近のデータ、 または、 A→Z →Bのパスのデータの.全部または一部が接続編集前の位置とは異なる位 置に再記録される場合がある。
( 3 ) 接続点 Zの前後で、 システムタイムク ロ ック （ S T C ) をリ セッ トする処理を行うこと。 これは、一般に V O B ( i ) 中の時間軸と、 V O B ( j ) 中の時間軸とが異なり、 従って'時刻 Xでの S T C値と、 時 刻 Yでの S T C値は異なる値を持っためである。
ここで、 同じ図 2を用いて、 接続編集でのオーディオフレー厶の扱い について考える。 上記で説明したようにビデオフレーム間をシームレス 接続するようにデータを構成する場合、 基本的に接続点でオーディオフ レームはシームレスに接続できない。 これは、 オーディオフレーム周期 がビデオフレーム周期と異なるからであり、 任意の接続点で、 接続元の 最終オーディオフレームの再生終了時刻と、 接続先の先頭オーディオフ 'レームの再生開始時刻が一致することが期待できないからである。 この ため、 図 2に Gで示したように、 従来はオーディオフレーム間にギヤッ プの存在を許容することになる。 .
図 3は、 図 2のような接続編集を考慮した場合の従来の再生装置の一 例のプロック図を示す。
同図において、 記録媒体 1 0 1から図示しない再生機構により読み出 された、 図 2に A→ Z→Bで示したパスのデータは、 トラックバッファ 1 0 2.を経由してデマルチプレクサ 1 0 3へ入力される。 デマルチプレ クサ 1 0 3ではビデオス ト リームとオーディオス ト リ ーム （またはその 他のス ト リ ーム、 図示しない） の多重化を解き、 ビデオス ト リームはビ デォバッファ 1 0 4を経由してビデオデコーダ 1 0 5に入力し、 オーデ ィォス トリームはオーディォパッファ 1 0 6を経由してオーディォデコ ーダ 1 0 7へ入力する。
ビデオデコーダ 1 0 5 とオーディオデコーダ 1 0 7では、 それぞれビ デォとオーディォの復号化を行う。 ビデオ符号化方式が M P E G等の場 合は、 ビデオデコーダ 1 0 5の出力側に、 ピクチャ順序を再生順序に並 ぺ替えるリオーダーバッファ 1 0 9が装備される。 ここで、 S T C回路 1 0 8は、 デマルチプレクサ 1 0 3からの V O Bデータから抽出したシ ステムクロックリファレンス （S C R ) などの基準時刻信号を基に S T Cをカウントする回路である。 接続点 Zでは S T Cのリセッ トも行う。 また、 図 2に Gで示したようなオーディオ再生のギヤップが発生する位 置で、 これを示す制御信号 （ここではミュート信号と呼ぶ） を発生し、 オーディオデコーダ 1 0 7をギヤップの期間ミュートすることも受け持 つ α
次に、 図 4に示すように、 接続編集点で接続元の最終オーディオフレ ームの再生終了時刻 X.·と、 接続先の先頭オーディオフレームの再生開始 時刻 Υが一致する例を考える。 この場合も、 V O .B ( i ) の B i 3 と B i 4の復号化には P i 2が必要であるが、 P i 2はこの再生パスの中に 存在しない。 従って、 例えば B i 4を Pピクチヤタイプ P i 4 ' に変換 し、 B i 3を B i 3， に変換する必要がある （B i 3， は P i l と P i 4 ' から符号化）。
同様に、 V O B ( j ) の P j 1の復号化には I j 1が必要であるが、 I j 1 はこの再生パスの中に存在しない。 従って、 例えば P j 1を I ピ クチャタイプ I j 1 ' に変換する必要がある。 こうすることにより、 P i 1→ B i 3 ' → P i 4 ' → I j 1， →B j 3→B j 4 とレ、うパスでデ ータを再生することが可能になる。
一方、 オーディオデータに関しては、 接続編集点で接続元の最終ォー ディオフレームの再生終了時刻 Xと、 接続先の先頭オーディオフレーム の再生開始時刻 Yがー致するため、 図 4に示すように、 接続元のオーデ ィォフレームと接続先のオーディオフレーム間にはギヤップが生じない 発明の開示
しかるに、'以上説明した従来のオーディオ Zビデオ記録再生方法及び 装置では、 任意の V O B同士の接続編集において、 接続点でのオーディ ォの再生に問題がある。 すなわち、 ビデオフレームをシームレス接続す ることを基準とする場合、 図 2に示したように A→Z→Bのパスでビデ オフレームをシームレス再生する場合、 接続元と接続先のオーディオフ レーム間にギヤップ Gが生じ、 オーディォ再生は Z点付近のギヤップ点 で一瞬ミュートし、 シームレスには再生されないという問題がある。 また、 図 4に示したように、 接続編集点で接続元の最終オーディオフ レームの再生終了時刻 Xと、 接続先の先頭オーディオフ レームの再生開
'始時刻 Yがー致する場合であっても、 接続元の最後のオーディオサンプ ル値と、 接続先の最初のオーディオサンプル値は一般に不連続であるた め、 図 5に示すように、 復号した接続元オーディオ波形 a と復号した接 続先ォ ディォ波形 b との接続点 Zでノィズが発生する。 このようなォ 一ディオサンプルの不連続は、 リニア P C Mや M P E Gオーディオレイ ャ I、 Πなど、 基本的にオーディオ信号を直交変換することなく時間波 形として符号化する全ての方式で、 本来不連続なオーディオフレーム同 士を接続した場合に見受けられる問題である。
本発明は以上の点に鑑みなされたもので、 光ディスク等の記録媒体に 記録された 2つの異なるオーディオデータとビデオデータの組を、 ノィ ズなくシームレスに接続して再生するオーディオ Zビデオ記録装置、 記 録方法、 再生装置、 再生方法、 再生プログラム及び記録プログ"ラムを提 供することを目的とする。
上記の目的を達成するため、 第 1の発明のオーディオ/ビデオ記録装 置は、 同期したビデオデータとオーディォデータの組をビデオオブジェ ク トとして記録媒体に記録するに際し、 複数のビデオォブジェク トのそ れぞれ一部または全部を接続して再生する再生シーケンスを指定可能な ように記録媒体に記録するオーディオ Zビデオ記録装置であって、 記録 すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む符号化 を行ってオーディオデータを出力するオーディオ符号化手段と、 接続元 のビデオォブジェク トの最後に再生すべきビデオフレームと、 接続先の ビデオオブジェク トの最初に再生すべきビデオフレームが接続点でシー ムレスに再生されるようにビデオデータを必要に応じて変更するビデオ データ変更手段と、 接続元のビデオォプジェ トの最後に再生すべきォ 一ディオアレームの再生期間が、ビデオフレームの接続点の時刻を含み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレ ームの再生期間が、 接続点の時刻を含むように、 オーディオフレームの 編集点を決定する編集点決定手段と、 編集点を記録媒体に登録情報とし て記録する記録手段と、 を有する構成としたものである。
この発明では、 複数のビデオオブジェク トのそれぞれ一部または全部 を接続して再生する再生シーケンスを指定可能なように記録媒体に記録 するに際し、 接続元のビデオオブジェク トの最後に再生すべきビデオフ レームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレ ームが接続点でシームレスに再生されるようにビデオデータを必要に応 じて変更すると共に、 接続元のビ オォブジェク トの最後に再生すべき オーディオフレームの再生期間が、 ビデオフレームの接続点の時刻を含 み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオ フレームの再生期間が、 接続点の時刻を含むように、 オーディオフレー ムの編集点を決定し、 その鎘集点を管理情報として記録媒体に記録する ようにしたため、 記録時にオーバーラップ時間やオフセッ ト時間を計算 しなくて済む。
また、 上記の目的を達成するため、 第 2の発明は、 同期したビデオデ ータとオーディオデータの組をビデオオブジェク トとして記録媒体に記 録するに際し、 複数のビデオオブジェク トのそれぞれ一部または全部を 接続して再生する再生シーケンスを指定可能なように記録媒体に記録す るオーディオ ビデオ記録方法であって、 記録すべきオーディオ信号に 対し、 窓掛け処理と直交'変換処理を含む符号化を行ってオーディオデー タを出力する第 1のステップと、 接続元のビデオオブジェク トの最後に 再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再 生すべきビデオフレームが接続点でシームレ に再生されるようにビデ ォデータを必要に応じて変更する第 2のステップと、 接続元のビデオォ ブジェク トの最後に再生すべきオーディオフレームの再生期間が、 ビデ オフレームの接続点の時刻を含み、 かつ、 接続先のビデオオブジェク ト の最初に再生すべきオーディオフレームの再生期間が、 接続点の時刻を 含むように、オーディオフレームの編集点を決定する第 3のステップと、 編集点を管理情報として記録媒体に記録する第 4のステップと、 を含む ことを特徴とする。 この発明は、 第 1の発明と同様に、 記録時にォー 'パ 5 一ラップ時間や—オフセッ ト時間を計算しなくて済む。
また、 上記の目的を達成するため、 第 3の発明.のオーディオ Zビデオ 再生装置は、 第 1の発明の記録装置により ビデオォブジェク ト及ぴ管理 情報を記録した記録媒体から.、 再生管理情報に基づいてビデオデータ及 びオーディオデータを再生するオーディオ/ビデオ再生装置であって、 10 再生管理情報から得た編集点を含んで、 接続元のビデオォブジェク トの 最後に再生すべきオーディオフレームと、 接続先のビデオオブジェク ト の最初に再生すべきオーディオフレームのオーバーラップ時間を計算す る.オーバーラップ時間計算手段と、 編集点が指定された再生シーケンス 内の最初の接続点であった場合は、 計算したオーバーラップ時間を接続
15 先のビデオオブジェク トのオーディオフレームを再生する際のオーディ ォ P T Sオフセッ ト時間とし、 編集点が再生シーケンス内の 2つ目以降 の接続点であった場合は、 計算したオーバーラップ時間と一つ前の接続 点でのオーディォ P T Sオフセッ ト時間を加算した値を、 現編集点での オーディオ P T Sオフセッ ト時間として算出すると共に、 所定の条件に ' 20 おいて接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームが、 接続時に再生する必要が無いことを示す所定値のオーディオド
' ロップフラグを出力するオフセッ ト時間算出手段と、 再生シ ケンスに 含まれるビデオオブジェク トの各接続点で接続対象のビデオフレーム同 士をシームレスに接続するように、 装置のシ'ステムタイムクロック. ( S
25 T C ) をリセッ トするリセッ ト手段と、 算出したオーディオ P T Sオフ セッ ト時間に応じて、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トするオフセッ ト手.段と、 記録媒体から再生したビデオ データをそのビデオデータに付随したビデオ P T Sに応じて再生するビ デォデータ再生手段と、 記録媒体から再生したオーディオフレームをオ フセッ トした P T Sに応じて再生すると共に、 オーディオドロップフラ グが所定値であるときは、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームを再生しないように制御するオーディオフレー • ム再生手段と、 オーディオフレーム再生手段により再生されたオーディ オフレームに対し、 窓掛け処理と直交逆'変換処理を含む復号化を行って —オーディオ信号を出力するオーディオ復号化手段と、 を有する構成とし たものである。
この発明では、 再生管理情報から得た編集点を含んで、 接続元のビデ ォォブジェク トの最後に再生すべきオーディオフレームと、 接続先のビ デォォブジェク トの最初に再生すべきオーディオフレームのォーパーラ ップ時間を計算すると共に、 記録媒体から読み出したオーディオフレー ムの P T Sをオフセッ トするためのオーディオ P T Sオフセッ ト時間と を計算するようにしたため、 曾己録媒体から再生したオ^-ディオフレーム をオフセッ トした P T Sに応じて再生することができる。
また、 上記の目的を達成するため、 第 4の発明のオーディオ/ビデオ 再生方法は、 第 2の発明の記録方法.により ビデオオブジェク ト及び管理 情報を記録した記録媒体から、 再生管理情報に基づいてビデオデータ及 びオーディオデータを再生するオーディオ ビデオ再生方法であって、 ' 再生管理情報から得た編集点を含んで、 接続元のビデオオブジェク トの 最後に再生すべきオーディオフレームと、 接続先のビデオォブジェク ト の最初に再生すべきオーディオフレームのオーバーラップ時間を計算す る第 1のステップと、 編集点が指 された再生シーケンス内の最初の接 続点であった場合は、 計算したォーパーラップ時間を接続先のビデオォ ブジェク トのオーディオフレームを再生する際のオーディォ P T Sオフ ヤッ ト時間とし、 編集点が再生シーケンス内の 2つ目以降の接続点であ つた場合は、 計算したオーバーラップ時間と一つ前の接続点でのオーデ ィォ P T Sオフセッ ト時間を加算した値を、 現編集点でのオーディオ P T Sオフセッ ト時間と して算出すると共に、 '所定の条件において接続元 のビデオォプジヱク トの最後に再生すべきオーディオフレームが、 接続 時に再生する必要が無いことを示す所^値のオーディオドロップフラグ を出力する第 2のステップと、 再生シーケンスに含まれるビデオォブジ ヱタ トの各接続点で接続対象のビデオフレーム同士をシームレスに接続 するように、 装置のシステムタイムクロック （S T C ) をリセッ トする 第 3のステップと、 第 2のステップで算出したオーディォ P T Sオフセ ッ ト時間に応じ.て、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トする第 4のステップと、 記録媒体から再生したビデオデ ータをそのビデオデータに付随したビデオ P' T Sに応じて再生する第 5 のステップと、 記録媒体から再生したオーディオフレームを第 4のステ ップでオフセッ トした； P丁 Sに応じて再生すると共に、 第 3のステップ で出力したオーディオドロップブラグが所定値であるときは、 接続元の ビデオオブジェク トの最後に再生すべきオーディオフレームを再生しな いように制御する第 6 のステップと、 第 6 のステップ より再生された ォ ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化 を行ってオーディオ信号を出力する第 7のステップと、 を含むことを特 徴する。
この発明では、 第 3 の発明と同様に、 再生管理情報から得た編集点を 含んで、 接続元のビデオオブジェク トの最後に再生すべきオーディオフ レー と、 接続先のビデオォブジェク トの最初に再生すべきオーディオ フレームのオーバーラップ時間.を計算すると共に、 記録媒体から読み出 したオーディオフレームの P T Sをオフセッ トするためのオーディオ P T Sオフセッ ト時間とを計算するようにしたため、 記録媒体から再生し たオーディオフレームをオフセッ トした P T Sに応じて再生することが できる。
また、 上記の目的を達成するため、 第 6の発明のオーディオノビデオ 記録装置は、 同期したビデオデータとオーディオデータの組をビデオォ ブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指定 可能なように記録媒体に記録するオーディオ/ビデオ記録装置であって、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む符 号化を行ってオーディオデータを出力するオーディオ符号化手段と、 ォ 一ディォデータとビデオデータとを多重化してビデオオブジェク トを生 成する多重化手段と、 多重化手段による多重化の際に、 オーディオバッ ファ占有量が規定のオーディオパッフアサイズ上限から 1オーディオフ レームのデータ量を減じた値以下であるように、 多重化手段を制御する と共に、そのオーディオ多重化状態を示すフラグを作成する制御手段と、 制御手段により制御された多重化手段から出力されるビデオオブジェク トを、 制御手段で作成されたオーディオ多重化状態を示すフラグと共に 記録媒体に記録する記録手段と、 を有することを特徴とする
この発明では、 オーディオバッファ占有量が規定のオーディォパッフ ァサイズ上限から 1オ^"ディオフレームのデータ量を減じた値以下であ るようにオーディオデータをビデオデータに多重化して記録するように したため、 再生時に最大 1オーディオフレーム周期分遅れて再生した場 合でも、 オーディオバッファのオーバーフローを生じさせないで済む。 ■ また、 上記の目的を達成するため、 第 7の発明のオーディオ/ビデオ 記録装置は、 第 6の発明に加えて、 更に接続元のビデオオブジェク ドの 最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最 初に再生すべきビデオフレームが接続点でシームレスに再生されるよう にビデオデータを必要 応じて変更するビデオデータ変更手段と、 接続 点の前後に、 接続元のビデオオブジェク トのオーディオフレームの再生 期間と、 接続先のビデオオブジェク トのオーディオフレームの再生期間 とが一部オーバーラップを生じるように、 オーディオフ レームの編集点 'を決定し、 オーディオフレームを編集する手段と、 編集^を記録媒体に 登録情報として記録する第 2の記録手段と、を有することを特徴とする。 また， 上記の目的を達成するため、 第 8の発明のオーディオ/ビデオ 記録方法は、 同期したビデオデータとオーディオデータの組をビデオォ ブジヱタ トとして記録媒体に記録するに際し、 複数のビデオォブジェク トめそれぞれ一部または全部を接続して再生する再生シーケンスを指定 可能なように記録媒体に記録するオーディオ Zビデオ記録方法であって、 記録すべきオーディオ信号.に対し、 窓掛け処理と直交変換処理を含む符 号化を行ってオーディオデータを出力する第 1のステップと、 オーディ ォデータをビデオデータと多重化する際に、 ォ ディォバッファ占有量 が規定のオーディオバッフアサイズ上限から 1オーディオフレームのデ 一タ量を減じた値以下であるように制御する第 2のステップと、 第 2の ステップの制御によるオーディオ多重化状態を示すブラグを、 第 2のス テップの制御の下に多重化して得られたビデオオブジェク トと共に記録 媒体に記録する第 3のステップと、 を含むことを特徴とする。 この発明では、 オーディォバッファ占有量が規定のオーディォバッフ アサイズ上限から 1オーディオフレームのデータ量を減じた値以下であ るようにオーディオデータをビデオデータに多重化して記録するように したため、 再生時に最大 1オーディオフレーム周期分遅れて再生した場 合でも、 オーディオバッファのオーバーフローを生じさせないで済む。
また、 上記の目的を達成するため、 第 9の発明のオーディオ Zビデオ 記録方法は、 上記の第 8の発明に加えて更に、 接続元のビデオオブジェ ク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続点でシームレスに 生され るようにビデオデータを必要に応じて変更する第 4のステップと、 接続 点の前後に、 接続元のビデオオブジェク トのオーディオフレームの再生 期間と、 接続先のビデオオブジェク トのオーディオフレームの再生期間 とが一部ォーパーラップを生じるように、 オーディオフレームの編集点 を決定し、 オーディオフレームを編集する第 5 のステツ.プと、 編集点を 管理情報として記録媒体に記録する第 6 のステップと、 を含むことを特 徴とする。 - また、 上記の目的を達成するため、 第 1 0の発明のオーディオ/ビデ ォ再生装置は、 第 7の発明の記録装置により ビデオオブジェク ト及ぴ管 理情報を記録した記録媒体から、 再生管理情報に基づいてビデオデータ 及ぴオーディオデータを再生するオーディオ/ビデオ再生装置であって、 再生管理情報内の編集点に関して、 接続元のビデオォブジヱク 卜の最後 に再生すべきオーディオフレームと、 接続先の!ビデオオブジェク トの最 初に再生すべきオーディオフレームのオーバーラップ時間を計算するォ 一パーラップ時間計算手段と、 編集点が指定された再生シーケンス内の 最初の接続点であった場合は、 計算したオーバーラップ時間を接続先の ビデオオブジェク トのオーディオフレームを再生する際のオーディォ P T Sオフセッ ト時間とし、 編集点が再生シーケンス内の 2つ目以降の接 続点であった場合は、 '計算したオーバーラップ時間と一つ前の接続点で のオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォー ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件におい て接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム 力 s、 接続時に再生する必要が無いことを示す所定値のオーディオドロッ プフラグを出力するオフセッ ト時間算出手段と、 再生シーケンスに含ま れるビデオォブジェク トの各接続点で接続対象のビデオフレーム同士を シームレスに接続するよ うに、装置のシステムタイムクロック （S T C ) をリセッ トするリセッ ト手段と、 算出したオーディオ P T Sオフセッ 時間に応じで、 記録媒体から読み出したオーディオフレームの P T Sを オフセッ トするオフセッ ト手段と、 記録媒体から再生したビデオデータ をそのビデオデータに付随したビデオ P T Sに応じて再生するビデオデ ータ再生手段と、 記録媒体から再生したオーディオフレームをオフセッ トした P T Sに応じて再生すると共に、 オーディオドロップフラグが所 定値であるときは、 接続元のビデオオブジェク トの最後に再生すべきォ 一ディオフレームを^生しないように制御するオーディオフレーム再生 手段と、 オーディオフレーム再生手段により再生されたオーディオフレ ームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行ってオーデ ィォ信号を出力するオーディオ複号化手段と、 を有する構成としたもの である。 ； ？ この発明では、 オーディォパッファ占有量が規定のオーディォパッフ ァサイズ上限から 1オーディオフレームのデータ量を減じた値以下であ るようにオーディオデータをビデオデータに多重化して記録された記録 媒体からビデオデータ及びオーディォデータを再生するに際し、 再生時 . に最大 1オーディオフレーム周期分遅れて再生した場合でも、 オーディ ォバッファのオーバーフローを生じさせないで済む。
また、 上記の目的を達成するため、 第 1 1の発明のオーディオ Zビデ ォ再生装置は、 第 3の発明又は第 1 0の発明のオフセッ ト時間算出手段 を、 算出した接続点でのオーディオ P T Sオフセッ ト時間が、 オーディ オフ'レーム期間の n倍 （ただし、 nは 1又は 1 Z 2 ) の期間よりも大き い場合には、 オーディオ P T Sオフセッ ト時間からオーディオフレーム 期間を減じた値を最終のオーディオ P T Sオフセッ ト時間と して算出す ると共に、 接続元のビデオオブジェク トの最後に再生すべきオーディオ フレームが、 接続時に再生する必要が無いことを示す所定値のオーディ ォドロップフラグを出力する手段としたことを特徴とする。
この発明では、 接続点以降のオーディオフレームとビデオフレームと の同期ずれほ、 1オーディオフレーム期間以内又は ± 0 . 5オーディオフ レーム期間以内の、 基本的にリ ップシンクずれとして検知できない量と することができる。
また、 上記の目的を達成するため、 第 1 2の発明のオーディオノビデ ォ再生方法は、 第 9の発明の記録方法により ビデオオブジェク ト及び管 理情報を記録した記録媒体から、 再生管理情報に基づいてビデオデータ 及びオーディオデータを再生するオーディオ/ビデオ再生方法であって、 第 4の発明と同—様の第 1乃至第 7のステップにより再生を行う。 これに より、 再生管理情報から得た編集点を含んで、 接続元のビデオオブジェ ク トの最後に再生すべきオーディオフレームと、 接続先のビデオォプジ ェク トの最初に再生すべきオーディオフレームのオーバーラップ時間を 計算すると共に、 記録媒体から読み出したオーディオフレームの P T S をオフセッ トするためのオーディオ P T Sオフセッ ト時間とを計算する よ うにしたため、 記録媒体から再生したオーディオフレ ムをオフセッ トした P T Sに応じて再生することができる。
また、 上記の目的を達成するため、 第 1 3の発明のオーディオ/ビデ ォ再生方法は、 第 4の発明又は第 1 2の発明の第 2のス rップを、 算出 した接続点でのオーディォ P T Sオフセッ ト時間が、 オーディオフレー ム期間の n倍 （ただし、 nは 1又は 1 Z 2 ) の期間よりも大きい場合に は、 オーディオ P T Sオフセッ ト時間からオーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム力 s、 接続時に再生する必要が無いことを示す所定値のオーディオドロップフ ラグを出力することを特徴とする。 -
.この発明では、 接続点以降のオーディオフレームとビデオフレームと の同期ずれは、 1オーディオフレーム期間以内又は ± 0 . 5オーディオフ レーム期間.以内の、 基本的にリ ップシンクずれとして検知できない量と することができる。
また、 上記の目的を達成するため、 第 5の発明; 5は第 1 4の発明のォ 一ディォ /ビデオ再生プ ^グラムは、 第 2の発明又は第 9の発明の記録 方法により ビデオオブジェク ト及び再生シーケンスを記録した記録媒体 から、 再生シーケンスに基づいてビデオデータ及ぴオーディオデータを 再生する再生方法をコンピュータに実行させることを特徴とする。
< また、 上記の目的を達成するため、 第 1 5の発明のォ ディォ /ビデ ォ記録装置は、 同期したビデオデータとオーディオデータの組をビデオ ォブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ ビデオ記録装置であつ て、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、 接続元のビデオォブジヱク トの最後に再生すべきビデオフレームと、 接 続先のビデオォブジヱク トの最初に再生すべきビデオフレ ムが接続点 でシームレスに再生されるようにビデオデータを必要に応じて変更する ビデオデータ変更手段と、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームの再生期間が.、 ビデオフレームの接続点の時刻 を含み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーデ ィォフレームの再生期間が、 接続点の時刻を含むように、 オーディオフ レームの編集点を決定する編集点決定手段と、 接続点を含んで、 最後に 再生すべきオーディオフレームと、 最初に再生すべきオーディオフレー ムのオーバーラップ時間を計算するオーバーラップ時間計算手段と、 少 なく ともオーバ一ラップ時間を管理情報として記録媒体に記録する記録 手段と、 を有する構成としたものである。
この発明では、 複数のビデオォブジェク トのそれぞれ一部または全部 を接続して再生する再生シーケンス.を指定可能なように記録媒体に記録 するに際し、 接続元のビデオォプジヱク トの最後に再生すべきビデオフ レームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレ ームが接続点でシームレスに再生されるようにビデオデータを必要に応 じて変更すると共に、 接続元のビデオオブジェク トの最後に再生すべき 'オーディオフレームの再生期間が、 ビデオフレームの接続.点の時刻を含 み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオ フレームの再生期間が、 接続点の時刻を含むように、 オーディオフレー ムの編集点を決定し、 接続点を含んで、 最後に再生すべきオーディオフ レームと、 最初に再生すべきオーディオフレームのオーバーラップ時間 を算出して管理情報として記録媒体に記録するようにしたため、 再生時 にオーバーラップ時間を計算しなくて済む。
また、 上記の目的を達成するため、 第 1 6の発明のオーディオ Zビデ. ォ記録方法は、 同期したビデオデータとオーディオデータの組をビデオ オブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であつ て、 記録すべきオーディオ信号に対し、 '窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力する第 1 のステップと、 接続 元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先 のビデオォプジヱク トの最初に再生すべきビデオフレームが接続点でシ ームレスに再生されるようにビデオデータを必要に応じて変更する第 2 のステップと、 接続元のビデオオブジェク トの最後に再生すべきオーデ ィォフレームの再生期間が、 ビデオフレームの接続点の時刻を含み、 か つ、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 接続点の時刻を含むように、 オーディオフレームの編 集点を決定する第 3のステップと、 接続点を含んで、 最後に再生すべき. ― オーディオフレームと、 最初に再生すべきオーディオフレームのオーバ 一ラップ時間を計算する第 4のステップと、 少なく ともオーバーラップ 時間を管理情報として記録媒体に記録する第 5のステップと、 を含むこ とを特徴'とする。 '
この発明では、 第 1 5の発明と同様に、 接続点を含んで、 最後に再生 すべきオーディオフレームと、 最初に再生すべきオーディオフレームの オーバーラップ時間を算出して管理情報として記録媒体に記録するよう にしたため、 再生時にォーパーラップ時間を計算しなくて済む。
また、 上記の目的を達成するため、 第 1 7の発明は、 第 1 5の発明の 記録装置により ビデオオブジェク ト及ぴ再生シーケンスを記録した記録 媒体から、 該再生シーケンスに基づいてビデオデータ及びオーディオデ —タを再生するオーディオ Zビデオ再生装置であって、 記録媒体からォ 一バーラップ時間を再生するオーバーラップ時間再生手段と、 接続点が 再生シーケンス内の最初の接続点であった場合は、 記録媒体から再生し たオーバーラップ時間を接続先のビデオオブジェク トのオーディオフレ ームを再生する際のオーディオ P T S ^フセッ ト B 間とし、 接続点が再 生シーケンス内の 2つ目以降の接続点であった場合は、 記録媒体から再 生したオーバーラップ時間と一つ前の接続点でのオーディォ P T Sオフ セッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト 時間として算出すると共に、 所定の条件において接続元のビデオォブジ ェク トの最後に再生すべきオーディオフレームが、 接続時に再生する必 要が無いことを示す所定値のオーディォドロップフラグを出力するオフ セッ ト時間算出手段と、 再生シーケンスに含まれるビデオオブジェク ト の各接続点で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置のシステムタイムクロック （S T C ) をリセッ トするリセッ ト手段と、 算出したオーディオ P T Sオフセッ ト時間に応じて、 記録媒 体から読み出したオーディオフレームの P T Sをオフセッ トするオフセ ッ ト手段と、 記録媒体から再生したビデオデータをそのビデオデータに 付随したビデオ P T Sに応じて再生するビデオデータ再生手段と'、 記録 媒体から再生したオーディオデータをオフセッ トした P T Sに応じて再 生すると共に、 オーディオドロップフラグが所定値であるときは、 接続 元のビデオオブジェク トの最後に再生すべきオーディオフレームを再生 しないように制御するオーディオフレーム再生手段と、 オーディオフレ ーム再生手段により再生されたオーディオデータに対し、 窓掛け処理と 直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーデ ィォ復号化手段と、 を有する構成としたものである。
この発明では、 再生時に記録媒体から読み出したオーバーラップ時間 に基づいて、.記録媒体から読み出した接続点が再生シーケンス内の最初 の接続点であるのか、 2つ目以降の接続点であるのかに応じて、 現接続 点でのオーディオ P T Sオフセッ ト時間として算出すると共に、 所定の 条件において所定値のオーディオドロップフラグを出力し、 算出したォ 一ディォ P T Sオフセッ ト時間に応じて、 記録媒体から読み出したォー ディオフレームの P T Sをオフセッ トするようにしたため、 再生側での オーディォデータのシームレス再生のためのオーディォ P T Sオフセッ ト時間の算出を不要にできる。
また、 上記の目的を達成するため、 第 1 8の発明のオーディオ ビデ ォ再生装置は、 第 1 7の発明におけるオフセッ ト時間算出手段を、 算出 した接続点でのオーディオ P T Sオフセッ ト時間が、 オーディオフレー ム期間の n倍 （ただし、 nは 1又は 1ノ 2 ) の期間よりも大きい場合に は、 該オーディォ P T Sオフセッ ト時間からオーディオフレーム期間を 減じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共 に、 接続元のビデオオブジェク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要が無いことを示す所定値のオーディオドロ ップフラグを出力する手段と'したことを特徴とする。
この発明では、 接続点以降のオーディオフレームとビデオフレームと の同期ずれは、 1オーディオフレーム期間以内又は ± 0 . '5オーディオフ レーム期間以内の、 基本的にリ ップシンクずれとして検知できない量と することができる。
また、 上記の目的を達成するため、 第 1 9の発明のオーディオ Zビデ ォ再生方法は、 第 1 6の発明により ビデオオブジェク ト及ぴ再生シーケ ンスを記録した記録媒体から、 該再生シーケンスに基づいてビデオデ'一 タ及ぴオーディォデータを再生するオーディオ /ビデオ再生方法であつ て、 記録媒体からォ バーラップ時間を再生す.る第 1 のステップと、 接 続点が再生シーケンス内の最初の接続点であった場合は、 記録媒体から 再生したォーパーラップ時間を接続先のビデオォブジェク トのォ ディ オフレームを再生する際のオーディオ P T Sオフセッ ト時間とし、 接続 点が再生シーケンス内の 2つ目以降の接続点であった場合は、 記録媒体 から再生したオーバーラップ時間と一つ前の接続点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現接 点でのオーディオ P T Sオフ セッ ト時間として算出すると共に、 所定の条件において接続元のビデオ オブジェク トの最後に再生すべきオーディオフレームが、 接続時に再生 する必要が無いことを示す所定値のオーディオドロップフラグを出力す る第 2めステップと、 再生シーケンスに含まれるビデオォブジ.エタ トの 各接続点で接続対象のビデオフレーム同士をシームレスに接続するよう に、 装置めシステムタイムク ロ ック （S T C ) をリセッ トする第 3 のス テツプと、 算出したオーディオ P T Sオフセッ ト時間に応じて、 記録媒 体から読み出したオーディオフレームの P T Sをオフセッ トする第 4の ステップと、 記録媒体から再生したビデオデータをそのビデオデータに 付随したビデオ P T Sに応じて再生する第 5のステップと、 記録媒体か ら再生したオーディォデータを第 4のステップでオフセッ トした P T S に応じて再生すると共に、 第 3のステップで出力したオーディオドロッ プフラグが所定値であるときは、 接続元のビデオオブジェク トの最後に 再生すべきオーディオフレームを再生しないように制御する第 6 のステ ップと、 第 6のステップにより再生されたオーディオデータに対し、 窓 掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力 する第 7のステップと、 を含むことを特.徴する。
この発明は、' 第 1 7の発明と同様に、 記録媒体から読み出したオーバ ーラップ時間に基づいて、 現接続点でのオーディォ P T Sオフセッ ト時 間として算出し、 その算出したオーディオ P T Sオフセッ ト時間に応じ て、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ ト するようにしたため、 再生側でのオーディォデータのシームレス再生の ためのオーディオ P T Sオフセッ ト時間の算出を不要にできる。
また、 上記の目的を達成するため、 第 2 0の発明のオーディオ/"ビデ ォ再生方法は、 第 1 9の発明の第 2のステップを、 算,出した接続点での オーディォ P T Sオフセッ ト時間力 、オーディオフレーム期間の n倍（た だし、 nは 1又は 1 / 2 ) の期聞よりも大きい場合には、 オーディオ P T Sオフセッ ト時間からオーディオフレーム期間を減じた値を最終のォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 接続元のビデオ オブジェク トの最後に再生すべきオーディオフレームが、 接続時に再生 する必要が無いことを示す所定値のオーディオドロップフラグを出力す ることを特徴とする。
更に、 上記の目的を達成するため'、 第 2 1の発明のオーディオ/ビデ ォ再生プログラムを、 第 1 6の発明のオーディオ ビデオ記録方法によ り ビデオオブジェク ト及び再生シーケンスを記録した記録媒体から、 該 再生シーケンスに基づいてビデオデータ及ぴオーディオデータを再生す るオーディオ ビデオ再生方法をコンピュータに実行させるオーディオ /ビデオ再生プログラムとしたものである。 また、 上記の目的を達成するため、 第 2 2の発明のオーディオ/ビデ ォ記録装置は、 同期したビデオデータとオーディオデータの組をビデオ ォブジェク トと して記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または全部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ ビデオ記録装置であつ て、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、 接続元のビデオォブジヱク トの最後に再生すべきビデオフレームと、 接 続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続点 でシームレスに再生されるようにビデオデータを必要に応じて変更する ビデオデータ'変更手段と、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームの再生期間が、 ビデオフレームの接続点の時刻 を含み、 かつ、 接続先のビデオォブジェク トの最初に再生すべきオーデ ィォフレームの再生期間が、 接続点の時刻を含むように、 オーディオフ レームの編集点を決定する編集点決定手段と、 接続点を含んで、 最後に 再生すべきオーディオフレームと、 最初に再生すべきオーディオフレー ムのオーバーラップ時間を計算するオーバーラップ時間計算手段と、 接 続点が再生シーケンス内の最初の接続点であった場合は、 オーバーラッ プ時間を接続先のビデオォブジヱク トのオーディオフレームを再生する 際のオーディオ P T Sオフセッ ト時間とし、 続点が再生シーケンス内 の 2っ目以 の接続点であった場合は、 ォーパーラップ時間と一つ前の 接続点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現接続点 でのオーディオ P T Sオフセッ ト時間として算出するオフセッ ト時間算 出手段と、 少なく ともオーディオ P T Sオフセッ ト時間を管理情報とし て記録媒体に記録する記録手段と、 を有する構成としたものである。 この発明では、 複数のビデオオブジェク トのそれぞれ一部または全部 を接続して再生する再生シーケンスを指定可能なように記録媒体に記録 するに際し、 接続元のビデオオブジェク トの最後に再生すべきビデオフ レームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレ ームが接続点でシームレスに再生されるようにビデオデータ'を必要に応 じて変更すると共に'、 接続元のビデオオブジェク トの最後に再生すべき オーディオフレームの再生期間が、 ビデオフレームの接続点の時刻を含 み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーディオ フレームの再生期間が、 接続点の時刻を含むように、 オーディオフレー ムの編集点を決定し、 接続点が再生シーケンス内の最初の接続点であつ た場合は、 オーバーラップ時間を接続先のビデオォブジェク トのオーデ ィオフレームを再生する際のオーディオ P T Sオフセッ ト時間とし、 接 続点が再生シーケンス内の 2つ目以降の接続点であった場合は、 オーバ ーラップ時間と一つ前の接続点でのオーディオ P T Sオフセッ ト時間を 加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算 出して管理情報として記録媒体に記録するようにしたため、 接続点以降 のオーディオフレームと ビデオフレームとの同期ずれを、 基本的にリ ッ プシンクずれとしで検知できない量とすることができる。
また、 上記の目的を達成するため、 第 2 3の発明のオーディオ ビデ ォ記録装置は、 第 2 2の発明のオフセッ ト時間算出手段を、 算出した接 続点でのオーディォ P T Sオフセッ ト時間が、 オーディオフレーム期間 の ' n倍 （ただし、 nは 1又は 1ノ2 ) の期間よりも大きい場合には、 ォ 一ディォ P T Sオフセッ ト時間からオーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 接続 元のビデオオブジェク トの最後に再生すべきオーディオフレームが、 接 続時に再生する必要が無いことを示す所定値のオーディオドロップフラ グを出力する手段とし、 記録手段は、 オーディオ P T Sオフセッ ト時間 とオーディオドロップフラグを管理情報として記録媒体に記録すること を特徴とする。 この発明では、 接続点以降のオーディオフレームとビデ オフレームとの同期ずれは、 1オーディオフ レーム期間以内又は ± 0 . 5オーディオフレーム期間以内の、 基本的にリ ップシンクずれとして検 知できない量とすることができる。
また、 上記の目的を達成するため、 第 2 4の発明のオーディオ Zビデ ォ記録方法は、 同期したビデオ'データとオーディオデータの組をビデオ オブジェク トとして記録媒体に記録するに際し、 複数のビデオオブジェ ク トのそれぞれ一部または垒部を接続して再生する再生シーケンスを指 定可能なように記録媒体に記録するオーディオ/ビデオ記録方法であつ て、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含 む符号化を行ってオーディオデータを出力する第 1 のステップと、 接続 元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先 のビデオオブジェク トの最初に再生すべきビデオフレームが接続点でシ ームレスに再生されるようにビデオデータを必要に応じて変更する第 2 のステップと、 接続元のビデオォブジヱク トの最後に再生すべきオーデ ィォフレームの再生期間が、 ビデオフレームの接続点の時刻を含み、 か つ、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 接続点の時刻を含むように、 オーディオフレームの編 集点を決定する第 3のステップと、 接続点を含んで、 最後に再生すべき オーディオフレームと、 最初に再生すべきオーディオフレームのオーバ ーラップ時間を計算する第 4のステップと、 接続点が再生シーケンス內 の最初の接続点であった場合は、 オーバーラップ時間を接続先のビデオ ォブジヱク トのオーディオフレームを再生する際のオーディォ P T Sォ フセッ ト時間とし、 接続点が再生シーケンス内の 2つ目以降の接続点で あった場合は、 オーバーラップ時間と一つ前の接続点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現接続点でのオーディォ P T Sォ フセッ ト時間として算出する第 5のステップと、 少なく ともオーディォ P T Sオフセッ ト時間を管理情報として記録媒体に記録する第 6 のステ ップと、 を含むこどを特徴とする.。 この発明では、 第 2 2の発明のォー ディオ ビデオ記録装置と同様に、 接続点以降のオーディオフレームと ビデオフレームとの同期ずれを、 基本的にリ ップシンクずれとして検知 できない量とすることができる。 、―.
また、 上記の目的を達成するため、 第 2 5の発明のオーディオ/ビデ ォ記録方法は、 第 2 4の発明の第 5のステップを、 算出した接続点での オーディオ P T Sオフセッ ト時間が、オーディオフレーム期間の n倍（た だし、 nは 1又は 1 / 2 ) の期間よりも大きい場合には、 オーディオ P T Sオフセッ ト時間からオーディオフレーム期間を減じた値を最終のォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 接続元のビデオ オブジェク トの最後に再生すべきオーディオフレームが、 接続時に再生 する必要が無いことを示す所定値のオーディオドロップフラグを出力す るステップとし、 第 6のステップは、 オーディオ P T Sオフセッ ト時間 とオーディオドロ ップブラグを管理情報と して記録媒体に記録すること を特徴とする。 この発明は、 第 2 3の発明のオーディオ/ビデオ記録装 置と同様に、 接続点以降のオーディオフレーム;とビデオフレームとの同 期ずれは、 1オーディオフレーム期間以内又は ± 0 . 5オーディオフレー ム期間以内の、 基本的にリ ップシンクずれとして検知できない量とする ことができる。 また、 上記の目的を達成するため、 第 2 6の発明のオーディオ Zビデ ォ再生装置は、 第 2 2又は第 2 3の発明の記録装置により ビデオォブジ エタ ト及び再生シーケンスを記録した記録媒体から、 再生シーケンスに 基づいてビデオデータ及ぴオーディオデータを再生するオーディオ Zビ デォ再生装置であって、 再生シーケンスに含まれるビデオオブジェク ト の各接続点で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置のシステムタイムクロック （S T C ) をリセッ トするリセッ ト手段と、 記録媒体から読み出したオーディオ P T Sオフセッ ト時間に 応じて、 記録媒体から読み出したオーデ ;ィオフレームの P T Sをオフセ ッ トするオフセッ ト手段と、 記録媒体から再生したビデオデータをその
, ビデオデータに付随したビデオ P T Sに応じて再生するビデオデータ再 生手段と、 記録媒体から再生したオーディオデータをオフセッ トした P T Sに応じて再生するオーディオデータ再生手段と、 記録媒体から再生 したオーディオドロップフラグが所定値であるときは、 当該ビデオォブ ジヱク トの最後に再生すべきオーディオフレームを再生しないように制 御する ドロップ処理手段と、 オーディオデータ再生手段により再生され たオーディオデータに対し、 窓掛け'処理と直交逆変換処理を含む復号化 を行ってオーディオ信号を出力するオーディオ復号化手段と、 を有する 構成としたものである。
この発明では、 再生時に記録媒体から読み出したオーディオ P T Sォ フセッ ト時間に応じて、 記録媒体から読み出したオーディオフレームの
P T Sをオフセッ トするようにしたため、 再生側でのオーディオデータ のシームレス再生のためのオーディオ P T Sオフセッ ト時間の算出を不 要に'できる。
また、 上記の目的を達成するため、 第 2 7の発明のオーディオ Zビデ ォ再生方法は、 第 2 2又は第 2 3の発明の記録装置により ビデオォブジ エタ ト及び再生シーケンスを記録した記録媒体から、 再生シーケンスに 基づいてビデオデータ及ぴオーディォデータを苒生するオーディオノビ -デォ再生方法であって、 再生シーケンスに含まれるビデオオブジェグト の各接続点で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置のシステムタイムクロック （S T C ) をリセッ トする第 1の ステップと、 記録媒体から読み出したオーディオ P T Sオフセッ ト時間 に応じて、 記録媒体から読み出したオーディオフレームの P T Sをオフ セッ トする第 2のステップと、 記録媒^から再生したビデオデータをそ のビデオデータに付随したビデオ P T Sに応じて再生する第 3 のステツ プと、 記録媒体から再生したオーディオデータをオフセッ トした P T S に応じて再生する第 4のステップと、 記録媒体から再生したオーディオ ドロップフラグが所定値であるときは、 当該ビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 5 のス テツプと、 第 4のステップにより再生されたオーディオデータに対し、 窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出 力する第 6 のステップと、 を含むことを特徴する。
この発明では、第 2 6の発明のオーディオ Zビデオ再生装置と同様に、 再生時に記録媒体から読み出したオーディオ P T Sオフセッ ト時間に応 じて、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トするようにしたため、 再生側でのオーディオデータのシームレス再生 のためのオーディオ P T Sオフセッ ト時間の算出を不要にできる。
また、本発明の第 2 8の発明のオーディオ Zビデオ記録プログラムは、 コンピュータにより第 2 4の発明のオーディオ/ビデオ記録方法を実行 させ、 本発明の第 2 9の発明のオーディオ/ビデオ再生プログラムは、 第 2 7の発明のオーディオ/ビデオ再生方法をコンピュータにより実行 させることを特徴とする。
図面の簡単な説明
図 1は、 ビデオフレームとオーディオフレームの関係の 例を示す図 である。
図 2は、 従来の接続編集とビデオ/オーディオ再生の概念図である。 図 3は、 従来の再生装置の一例のブロック図である。
図 4は、 従来の接続編集とビデオ/オーディォ再生の別の概念図であ る。 .
図 5は、 従来における、 接続点でのオーディオ波形の一例である。 図 6は、 本発明における接続編集とビデオ/オーディオ再生の概念図 である。
図 7は、 本発明の要部のオーディォェンコードブロック及ぴオーディ ォデコ一ドブロックの一実施の形態のプロック図及び窓関数の一例を示 す図である。
図 8は、 本発明の第 1の実施の形態の接続編集とビデオ Zオーディオ 再生の概念図である。
図 9は、 本発明のオーディォ Zビデオ記録装置の実施の形態 Iのブロ ック図である。
図 1 0は、 本発明のオーディオ ビデオ記録方法の実施の形態 I のフ
'ローチャートである。 ！ 図 1 1は、 本発明のオーディオ/ビデオ再生装置の実施の形態 Iのブ ロック図である。
図 1 2は、 本発明のオーディオ/ビデオ再生方法の実施の形態 I のフ ローチャートである。
図 1 3は、 オーディオバッファ占有量を考慮した場合の、 本発明の記 録方法の一実施の形態のフローチヤ一トである。
図 1 4は、 オーディオバッファ占有量を考慮した場合の、 本発明の編 集方法の一実施の形態のフローチャートである。
図 1 5は、 本発明の第 2の実施の形態の接続編集とビデオ/オーディ ォ再生の概念図である。
図 1 6は、 本発明のオーディオ Zビデオ記録装置の実施の形態 Πのブ 口ック図である。
図 1 7は、 本発明のオーディオ Ζビデオ記録方法の実施の形態 Πのフ 口一チャートである。 '
図 1 8は、 本発明のオーディオ Ζビデオ再生装置の実施の形態 Πのブ ロック図である。
図 1 9は、 本発明のオーディオ Ζビデオ再生方法の実施の形態 Πのフ ローチャートである。
図 2 0は、 本発明のオーディオ Ζビデオ記録装置の実施の形態 mのブ 口ック図である。
図 2 1は、 本焭明のオーディオ ビデオ記録方法の実施の形態 HIのフ ローチャートである。 図 2 2は、 本発明のオーディオ Zビデオ再生装置の実施の形態 mのブ ロック図である。
図 2 3は、 本発明のオーディオ ビデオ再生方法の実施の形態 mのフ ローチャートである。
発明を実施するための最良の形態 以下、 図面を参照して本発明の実施の形態について説明する。
図 6は本発明になるオーディオ/ビデオ記録装置、 記録方法、 再生装 置、 再生方法及び再生プログラムの一実施の形態における接続編集とビ デォ /オーディオ再生の例を示す。 同図中、 図 2と同一部分には同一符 号を付し、 'その説明を省略する。 図 6め実施の形態は図 2の従来例と同 様に、 VOB ( i ) の時刻 Xから VOB ( j ) の時刻 Yへ接続する例で あるが、 本実施の形態では、 以下の 2つの点が従来例と異なる。
( 1 ) 接続編集後に VOB ( i ) で有効な最後のオーディオフレー ムは、 時刻 Xを含むオーディオフレームである （オーディオフレームの 再生終了時刻が時刻 Xと等しい場合 （* 1 ) を含む。）。 同様に、 接続編 集後に VOB ( j ) で有効な最初のオーディオフレームは、 時刻 Yを含 むオーディオフレームである （オーディオフレームの再生開始時刻が時 刻 Yと等しい場合 （ * 2 ) を含む）。 つまり、 接続後の Z点において、 V OB ( i ) の最後のオーディオフレームと V O B ( j ) の最初のオーデ ィォフレームがオーバーラップする。 図 6に O Lで示すオーバーラップ 部分を、本明細書ではオーディオオーバーラップ （A— o v e r l a ) と呼ぶものとする。 なお、 上記の * 1 と * 2が同時に満足される場合に は、 A— o v e r l a pはゼロとなる。
( 2) V O B ( j ) のオーディオ再生においては、 上記 A— o v e r 1 a pをキャンセルする分だけオーディオフレームの再生時刻 （P T
S ： Presentation Time Stamp) をオフセッ トして再生する。 このォ フセッ ト量を、 本明細書ではオーディオ P T Sオフセッ ト （A— P T S — o f f s e t ) と呼ぶものとする。
このように本実施の形態では、 後続の VOBのオーディオフレームを オフセッ トし、 接続点付近で、 オーディオフレームのギャップを無く し て接続することができ、 上記問題点の 1つが解決される。
更に、—接続点での不連続ノィズを生じさせないため、 本実施の形態で は、 オーディオ符号化方式の選択に工夫を行う。
図 7の （A ) は本発明になるオーディオ Zビデオ記録装置及び再生装 置のオーディオェン ードブロック及ぴオーディォデコード、ブロックの —実施の形態のプロック図を示す。
図 7の （A ) に示すように、 オーディオエンコードブロックでは、 入 力オーディオ信号は、 窓掛け部 1 1において窓関数との乗算による窓掛 け処理された後、 直交変換部 1 2に供給'されて直交変換され、 更に量子 化 Z符号化部 1 3に供給されて所定サンプリング周波数に基づいて量子 化された後、 所定の方式の圧縮符号化が行われる。 これにより得られた 圧縮符号化オーディオデータは、 図示しないビデオデータ記録系で圧縮 符号化されたビデオデータと共に、 図示しない多重化部で M P E Gシス テムの多重化により、 例えば M P E Gプログラムス トリームと して記録 媒体 1 4上に公知の記録手段により記録される。
一方、 記録媒体 1 4から公知の再生手段により再生された多重化ス ト リームは、 図示しない分離化部によりオーディォデータとビデオデータ に分離された後、 ビデオデータは図示しないビデオデータ再生系へ出力 され、 オーディオデータはオーディォデコ一ドプロック内の複号化 逆 量子化部 1 5に供給されて復号化される。 復号化及ぴ逆量子化されたォ 一ディォデータは、 直交逆変換部 1 6により直交逆変換された後、 窓掛 け部 1 7に供給されて所定の窓関数との乗算による窓掛け処理が行われ た後オーディオ信号に復元される。
次に、窓掛け部 1 1及ぴ 1 7で使用される窓関数について、図 7の（B ) 〜（D ) と共に説明する。各オーディオフレームの窓関数は、図 7の （C ) に示すように、 左肩を f ( χ)、 右肩を g ( X ) とした左右対称形をして いる。ここで、中央のブラ,ッ ト部分はあっても無くてもよい。図 7の（B) に模式的に示す隣り合ったオーディオフレーム （ i ) と （ i + 1 ) の間 で、 オーディオフレーム （ i ) の窓関数 g. ( X ) 部分と、 オーディオフ レーム （ i + 1 ) の窓関数 f ( X ) 部分がオーバーラップする。 .
ここで、 実際にオーディオフレーム （ i ) で符号化するオーディオサ ンプルは、 図 7の （B) に示す （ i ) レンジで示した部分であることに 注意されたい。 ェンコ一ド側の窓掛け部 1 1 とデコード側の窓掛け部 1 7で都合 2回の窓掛けを行うことを考慮すると、 上記のオーディオフレ ーム （ i ) と （ i + 1 ) のオーバーラップ部分で、
f ( x) 2+ g (x ) 2= 1 .0 · · · [式 1 ] を満たす必要がある。 このよ うな窓関数の一例としては、
f ( ) = s i n ( x ) · · · [式 2 ] g ( x ) = c o s x； · · · し式 3 ] があるが、 [式 1 ] を満足するのであれば、 どのような関数でもよい。
このよ うな窓関数を使用したオーディォ符号化方式を用いる場合、 本 来不連続なオーディオフレーム同士を接続した場合でも、 図 7の （D) に示すように、 2回の窓掛けによる f ( X ) 2と g (x) 2の窓関数によ り、 オーディオサンプル同士が滑らかに足し合わせられるので、 接続点 で不連続ノイズを生じることは無い。 従って、 2つ目の問題点が解決さ れる。 つまり、 以上により計 2つの問題点が解決され、 オーディオフレ ーム同士のシームレス接続が実現する。
く第 1の実施の形態の接続編集とビデオ オーディオ再生 >
次に、 図と関連する数式を用いて、 第 1の実施の形態について詳細に 説明する。 図 8は VOB l、 VOB 2、 V O B 3のそれぞれの一部をこ の順序で接続編集する場合のビデオ Zオーディォ記録方法及び再生方法 の第 1の実施の形態を示す （なお、 ここでは接続前の V O B 1、 VO B 2、 VO B 3の図は省略してある。 また、 便宜上、 図 8の各 VOBに含 まれるビデオ/オーディオフレーム数は少ないが、 現実には数十秒から 数時間程度に相当するフレーム群が各 VO Bに含まれ得ることに注意さ れたい。）。 なお、 図 8及ぴ後述する図 1 5において、 Tvは既に説明し たビデオフレーム周期である。
図 8において、 点線矩形で示すオーディオフレーム群は、 接続前の状 態であり、 実線矩形で示すオーディオフレーム群が、 接続後の状態であ る。 他方、 ビデオフレーム群は全て接続後の状態で表示されている。 以 下、 図 8およびこれ以降の図と共に、 本実施の形態で使用する変数類に ついてまとめて説明する。 なお、 以下の kは正の整数であり、 図 8の例 では 1、 2、 3のいずれかが入る。
図 8において、 S T C kは、 VO B k再生中に使用する S T C値の力 ゥントァップを示す模式表現である。 S T C— d e l t a kは S T C (k — 1 ) と S T C kの差分であり、 次式で表される。
S T C— d e 1 t a k= S T C (k— 1 ) - S T C k · · · [式 4] また、 TAは、既に説明したように、 オーディオフレーム周期である。 A_ o v e r 1 a p kは、 既に説明し こよ う に、 VOB kと VO B ( k - 1 ) の間のオーディオフレーム同士のオーバーラップ時間である。 な お、 この例では、 VOB 1は先頭なので、 A— o v e r l a p 1 = 0で ある。 ' '
また、 A— P T S— 0 f f s e t kは、 既に説明したように、 VO B k再生時のオーディオ P T Sに対する必要なオアセッ ト時間である。 な お、 この例では、 V Ο Β 1は先頭なので、 A P T S o f f s e t 1 = 0である。 P T S k a u d i o— e n dは、 VO B kの、 最後のォー ディオフレームの再生開始時刻 （P T S値） である。 なお、 これは接続 編集前の値である。
P T S k a u d i o— s t a r tは、 VO B kの、 最初のオーディオ フレームの再生開始時刻 （P T S値） である。 なお、 これは接続編集前 の値である。 このとき、 A— o V e r 1 a p kは次のように計算できる。 . A— o v e r l a p k= (P T S k一1 a u d i o一 e n d +TA)
_ (P T S k a u d i o— s t a r t + S T C— d e l t a "
• · · [式 5 ] なお、 [式 5 ] の右辺第二項は、 S T C k上の時刻を S T C ( k - 1 ) 上 に写像するために、 S T C— d e 1 t a kを足し合わせている。
次に、 A— P T S— o f ί s e t kは、 基本的には A_o v e r 1 a p kをゼロにするように後続の VOBのオーディオフレーム群をオフセ ッ トする量であるので、 図 8の k = 2については、
A—P T S一 o f f s e t 2 = A— o v e r l a p 2 · · · [式 6 ] が成り立つ。 さらに、 図 8の k = 3については、 k = 2において、 既に A— P T S— o f f s e t 2の量だけ VO B 2のオーディオフ レーム群 はオフセッ トされているので、 本来の A— o V e r 1 a p 3に加えて、 A— P T S— o f f s'e t 2の分オーバーラップ量が加算される。 これ をゼロにするため、 k = 3については
A一 P T S _ o f f s e t 3
= A_o v e T 1 a p 3 + A__P T S_o f f s e t 2 · · · [式 7 ] が基本的に要求される。 従って、 一般式としては、 '
A一 P T S— o f f s e t k - = A o v e r 1 a p k + A— P T S— o f f s e t k— 1 …[式 8 ] が成り立つ。
但し、 ここで、 A— P T S— o f f s e t kがオーディオフレーム周 期 TAより も大きくなる場合には、 VO B ( k - 1 ) の最後のオーディ オフレームを再生から落とすことにより、 A— P T S_ o f f s e t k の量を減らすことができる。 図 8では、 X印で示したフレームを脱落さ せる。 この条件式を下に示す。 ここで、 AF— d r o p k-1は、 VOB (k一 1 ) の最後のオーディオフレームを脱落させる場合に値 1を持つ (脱落させない場合は 0 )、 オーディオドロップフラグである。 図 8の例 の場合、 A F— d r o p 2 = 1 となる。
I f (A— P T S— o f f s e t k > = TA) {
A— P T S一 o f f s e t k = A— P T S一 o f f s e t k— TA ; i AF_d r o k_ 1 = l ;
} e 1 s e AF_d r o p k_ 1 = 0 ； · · · [式 9 ] このよ う な脱落処理を行えば、 VOBの接続回数が増えた場合にも A— P T S_ o f f s e tの値が累積して過剰に大きくなるのを防ぐことが できる。
本発明では、 接続後の VO B kでオーディオフレームを本来のビデオ フレームとの同期関係から A—P T S— o f f s e t分だけずらして再 生する。 一般には、 このズレはリ ップシンクに影響を及ぼし、 ズレが 1 〜 2 ビデオフレーム周期より大きくなると、' リ ップシンクの劣化が検知 できるといわれている。 従って、 A—P T S— o f f s e t値は過剰に 大きくならない方がよい。 例えば、 オーディオフレーム周期 TAがビデ オフレーム周期 Tv以下であれば、 A__P T S— o f f s e tをオーデ ィォフレーム周期 TA以内に抑えるのは有効である。 くオーディオ Zビデオ記録装置の実施の形態 I >
次に、 本発明になるオーディオ/ビデオ記録装置の実施の形態 I につ いて説明する。 図 9は、 本発明になるオーディオ/ビデオ記録装置の実 施の形態 Iのブロック図を示す。 ここでは、 複数の VOBの記録は終了 しているものと し、 それらの接続編集動作について説明する。
図 9において、 ユーザーインタフェース部 2 5、 管理情報制御部 2 6 及びオブジェク ト制御部 2 7は、 MPUブロック 2 2を構成しており、 MP U (Micro Processing Unit) のソフ トウェア処理により実現さ れる。
まず、 編集指示はユーザーインタフェース部 2 5を通じてユーザーか ら与えられる。 管理情報制御部 2 6では、' 接続編集点を対応する管理情 報を用いて確認する。 このとき、オーディオフレームの編集点は、まず、 既に説明したように、 接続点でオーディオフレームのオーバーラップが 存在するように決められる。 次に、 ビデオフレームについては必要に応 じてピクチャタイプの変換処理が行われる。 これは、 オブジェク ト制御 部 2 7、 ビデオ オーディオエンコー ドプロック 24、 媒体記録制御部 2 3を通じて行われ、 記録媒体 2 1に書き込まれる。
<オーディオノビデ、ォ記録方法の実施の形態 I 〉
次に、 オーディオシームレス接続のための計算と記録が行われる。 本 発明のオーディオ/ビデオ記録方法の実施の形態 Iのオーディオシーム レス接続のための計算と記録について、 図 1 0のフローチヤ一トを併せ 参照して説明する。 ：
まず、 管理情報制御部 2 6において、 接続対象 VOBが決定され、 か つ、 ビデオ接続点 （接続元の V O Bの最後に再生すべきビデオフレーム と、 接続先の V O Bの最初に再生すべきビデオフレームとの接続点） が 決定される （ステップ S I )。 次に、 ビデオ接続点に対応して、 ビデオピ クチャタイプの変更処理の要不要が判定され、 必要な場合は変更の具体 的準備が行われる （ステップ S 2 )。
次に、 ビデオ接続点に対応して、 オーディオフレーム編集点が決めち れる （ステップ S 3 )。 すなわち、 接続元の V O Bの最後に再生すべきォ 一ディオフレームの再生期間が、 ビデオ接続点の時刻を含むように、 か つ、 接続先の V O Bの最初に再生すべきオーディオフレームの再生期間 カ 、 ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決め られる。 最後に、 編集後の V O B (接続'点付近のデータ） が、 オブジェ ク ト制御部 2 7及び媒体記録制御部 2 3を通して記録媒体 2 1に書き込 まれる （ステップ S 4 )。 このとき、 上記の編集点の情報も管理情報とし て記録媒体 2 1に書き込まれる。 なお、 ビデオ Zオーディオエンコード ブロック 2 4中のオーディオエンコードブロックは、 図 7の （A ) のェ ンコード側の構成を有している。
なお、 図 1 0で説明した記録方法は、 図 9で説明したような専用装置 で実施可能である一方、 当該記録媒体の記録機能を有するコンピュータ 上のプログラムとしても実施可能であることに注意されたい。
くオーディオ Zビデオ再生装置の実施の形態 I >
次に、 本発明になるオーディオ Zビデオ再生装置の実施の形態 Iにつ いて説明する。 図 1 1は本発明になるオーディオ/ビデオ再生装置の実 施の形態 I のブロック図を示す。
図 1 1において、 記録'媒体 3 1には図 9に示した記録装置により編集 記録された編集後の V O Bが記録されている。 また、 ユーザーインタフ エース部 3 6、 管理情報制御部 3 7、 A— o v e r l a p計算部 3 8、 A P T S o f f s e t計算部 3 9及びオブジェク ト制御部 4 0は、 MPUブロック 4 1 を構成している。
この再生装置では、 まず、 再生指示がユーザーインタフェース部 3 6 を介して管理情報制御部 3 7に受け取られる。 再生指示では、 一般にど の再生シーケンスを再生すべきかが指定される。 再生シーケンスには、 複数の VOBを接続して再生する情報が登録されているとする。 以下、 VO Bデータ再生の基本的な手続きを示す。
再生シーケンスに登録されている VO Bの再生関連情報は、 管理情報 制御部 3 7で判定され、 オブジェク ト制御部 4 0及び媒体再生制御部 3 2を介して VOBデータが記録^体 3 1'から読み出される。 なお、 編集 点等の管理情報は、 既に記録媒体 3 1から媒体再生制御部 3 2を介して 読み出され、 M P Uブロック 4 0内のメモリ （図示しない） に常時保存 されて.いるとする。
読み出された VO Bデータは、 媒体再生制御部 3 2よりデマルチプレ クサ 3 3に供給され、 ここでビデオデータとオーディォデータに分離さ れ、 ビデオデータはビデオデコードブロック 3 4に供給され、 オーディ ォデータは図 7の （A) のデコード側として示した構成を有するオーデ ィォデコードプロック 3 5に供給され、 ビデオデータはそのビデオデー タに付随したビデオ P T Sに応じてデコードされてビデオフレームとな り、 またオーディオデータはオフセッ トした P T Sに応じてデコードさ れる。 なお、 AF一 d r o p = lの場合には、 その VO Bの最後のォー ディオフレームは再生されない。
この際、 S C Rなどのクロック情報はデマルチプレクサ 3 3で解読さ れ、 必要に応じて MP Uブロック 4 0へ渡される。 また、 S T Cなどの クロック情報は、 M P Uブロック 4 0力 ら、 デマルチプレクサ 3 3、 ビ デォデコードブロック 34及ぴオーディォデコ一ドブロック 3 5へ渡さ れ、 S T cに準拠して再生タイミングが制御される。
次に、 オーディオの再生について以下に詳細に説明する。 本実施の形 態では、 記録媒体 3 1 には前述した接続元のビデオォプジヱク トの最後 に再生すべきオーディオフレームと、 接続先のビデオオブジェク トの最 初に再生すべきオーディオフレームのオーバーラップ時間 A _ o V e r 1 a p と、 A— o v e r 1 a pをゼロにするように後.続の V O Bのォー ディオフレーム群をオフセッ トして再生するためのオフセッ ト量を示す A _ P T S— o f f s e t と力 S、記録媒体 3 1に記録されていないので、 再生側で計算して用いる。
すなわち、 A— o V e r 1 a p計算部 3 8は、 管理情報制御部 3 7に 入力された再生シーケンスの情報から得た編集点での情報を、 前述した.
[式 5 ] に代入して、 オーバーラップ時間 A— o v e r l a pを計算す る。 また、 A— P T S _ o f f s e t計算部 3 9は、 A— o v e r 1 a p計算部 3 8により計算された接続点での A— o v e r 1 a pが管理情 報制御部 3 7を介して入力されて A—P T S— o f f s e t を計算する。
A _ P T S _ o f f s e t計算部 3 9は、 入力きれた A _ o v e r 1 a に基づいて、 [式 8 ]の演算式により A— P T S— o f f s e t を算 出し、 更に [式 9 ] の条件式に基づいて A F— d r o pを算出し、 これ らを管理情報制御部 3 7に供給する。 管理情報制御部 3 7は入力された A— P T S _ o f f s e t及ぴ A F— d r o をオーディォデコ一ドブ ロ ック 3 5へ供給し、 オーディオフレームの再生タイミングを A— P T S— o f f : s e tの分だけオフセッ トして再生する。 また、 A F— d r o p = 1の場合には、 その V O Bの最後のオーディオフレームを再生し ないように制御する。
<オーディオ/ビデオ再生方法の実施の形態 I > 次に、本発明のオーディオ/ビデオ再生方法の実施の形態 I について、 図 1 2のフローチャートと共に説明する。
まず、 再生すべきシーケンスが決定され、 そのシーケンスに含まれる VO Bの情報が確認される （ステップ S 1 1 )。 続いて、 VO B接続点毎 に、 A— o v e r l a 計算部 3 8により接続点での A—ひ v e r 1 a pを計算し、 更にこの A— o v e r 1 a に基づき A— P T S_o f f s e t計算部 3 9により A— P T S— o f f s e t (及び AF— d r o p ) を計算する （ステップ S 1 2 )。
続いて、 VOBの再生開始と同時または直前に、 シームレス接続を可 能にするように、 S T Cがリセッ トされると共に、 A— P T S— o-f f s e t計算部 3 9により計算された A— P T S _ o f . f s e t (及ぴ A F_ d r o p )が、オーディォデコ一ドブロック 3 5へセッ トされる （ス テツプ S 1 3 )。
その後 VOBデータが実際に記録媒体 3 1から読み出され、 媒体再生 制御部 3 2及ぴデマルチプレクサ 3 3を経てビデオデータはビデオデコ 一ドブロック 34に供給され、 オーディォデータはオーディォデコ一ド ブロック 3 5に供給され、 それぞれデコードされ、 ビデオフレーム及び オーディオフレームが再生される （ステップ S 1 4)。 AF— d r o p = 1の場合、 VOBの最後のオーディオフレームは再生されないように処 理される （ステップ S 1 5 )。
このようにして再生されたオーディオフレームは、 オーディォデコ一 ドブロック 3 5内の図 7の （A) に示したデコーダにより窓掛け処理と 直交逆変換処理を含む符号化がされてオーディオ信号として出力される。 続いて、 再生シーケンス中の全 VOBに対して上記の処理が実施された かどうか判定し （ステップ S 1 6 )、 最後の VOBであれば、 再生を終了 する （ステップ S I 7 )。
なお、 図 1 2で説明した再生方法は、 図 1 1で説明したような再生装 置で実施可能である一方、 当該記録媒体の再生機能を有するコンビユー タ上のプログラムと しても実施可能であることに注意されたい。
このようにして、 本実施の形態によれば、 ビデオフレームのシームレ ス接続に加えて、 オーディオフレームも接続点での不連続ノィズを発生 させること無くシームレスに接続することができる。
次に、 図 1 1の再生装置に関し、 オーディオデコードブロック 3 5に 含まれるオーディオバッファ （図示しない） について説明する。一般に、 必要となるオーディォバッファの量は、オーディオ符号化方式の種類と、 運用するときのビッ トレートなどによって決定される。 本発明の第 1の 実施の形態では、 オーディォパッファからオーディオデコーダへのデー タ転送が、 最大 1オーディオフレーム周期分遅れる。 従って、 本発明に 必要なオーディオバッファの量は、 本発明を適用しない 「A— P T S— o f f s e t = 0」 の場合のオーディォバッファ量に、 1オーディオフ レーム分のデータ量を加えた量になる。
従って、 オーディオバッファサイズに上限を設ける場合においては、 オーディオス トリームを含む V O Bの記録時に、 オーディォバッフアサ ィズ上限から 1オーディオフレーム分のデータ量を減じたバッファ占有- 量を上限として、 オーディオデータを多重化しておけば、 再生時に最大 1オーディオフレーム周期分遅れて再生した場合でも、 オーディォバッ ファのオーバーフローを生じさせないで済む。 'この場合、 オーディオバ ッファ占有量が （オーディォパッフアサイズ上限一 1オーディオフレー ム分のデータ量） を超えないで多重化されたことを示すフラグ （ここで は、 a u d i o m u x s t a t u s フラグとする） をディスク上に 記録しておけば、 本発明のオーディオシームレス接続を構成する場合の 指標となり得る。
図 1 3は、 a u d i o— m u x— s t a t u sブラグを考慮して VO Bを記録する場合の、 本発明のオーディォ /ビデオ記録方法の一実施の 形態のフローチャートを示す。 ここでは、 オーディオバッファサイズ占 有量が （オーディォパッフアサイズ上限一 1オーディオフレームのデー タ量） 以下であるように多重化された場合、 a u d i o _m u x_ s t a t u s = l と し、 そうでない場合 0 と定義する。
以下、 上記の記録方法について図 1 3及ぴ図 9を併せ参照して説明す る。 まず、 M P Uプロック 2 2,内の管理情報制御部 2 6が、 このオーデ ィォバッファ条件 （所定のオーディオ多重化状態） を満足するように多 重化するかどうかを決定する （図 1 3のステップ S 2 1 )。 このとき、 必 要に応じてユーザーィンタフェース部 2 5を解してユーザーの指示を受 ける。
上記の条件を満足させる場合、 管理情報制御部 2 6から条件満足の通 知を受けたォブジェク ト制御部 2 7からの指示により、 ビデオ/オーデ ィォェンコードプロック 2 4はオーディォバッファ占有量が規定のォー ディォバッファ上限から 1オーディオフレームのデータ量を減じた値以 下であるように、 オーディオデータをビデオデータと多重化し、 その多 重化して得られた VO Bを媒体記録制御部 2 3を介して記録媒体 2 1に 記録する （図 1 3のステップ S 2 2 )。 また、 管理情報制御部 2 6はォー ディォ多重化状態を示す a u d i o— m u x— s t a t u sフラグを 1 とし、 他の管理情報と共に媒体記録制御部 2 3を介して記録媒体 2 1に 記録する （図 1 3のステップ S 2 3 )。
他方、 ステップ S 2 1でオーディオバッファ条件を満足させない （ま たは条件を.満足することを保障しない） と管理情報制御部 2 6が判断し た場合、 管理情報制御部 2 6から条件満足の否定通知を受けたオブジェ ク ト制御部 2 7からの指示により、 ビデオ/オーディォェンコードブロ ック 2 4で通常のオーディオバッファ条件により得られた VOBが媒体 記録制御部 2 3を介して記録媒体 2 1に記録ざれる （図 1 3のステップ S 2 4)。 また、 管理情報制御部 2 6により他の管理情報と共に作成され た、 値が 0に設定された上記の a u d i o _m u x _ s t a t u sフラ グが、 媒体記録制御部 2 3を介して記録媒体 2 1に記録される （図 1 3 のステップ S 2 5 )。
図 1 4は、 a u d i o— m u x _ s t a t u sフラグを考慮して V O Bを編集する場合の、 本発明のオーディォ /ビデオ編集方法の一実施の 形態のフローチャートを示す。 図 1 0 と同様に、 図 9の管理情報制御部 2 6において、 接続対象 V O Bが決定され、 かつ、 ビデオ接続点 （接続 元の V O Bの最後に再生すべきビデオフレームと、 接続先の V O Bの最 初に再生すべきビデオフレームとの接続点） が決定される （図 1 4のス テツプ S 3 1 )。 続いて、 ビデオ接続点に対応して、 ビデオピクチャタイ プの変更処理の要不要が判定され、 必要な場合は変更の具体的準備が行 われる （図 1 4のステップ S 3 2 )。
次に、 ビデオ接続点が決定された後、 図 9の媒体記録制御部 2 3を介 して記録媒体 2 1から読み出した管理情報内の接続対象の VO Bに関違 する a u d i o _,m u x _ s t a t u s フラグの値が 1であるか否かを 管理情報制御部 2 6が確認する （図 1 4のステップ S 3 3)。 a u d i o — m u x_ s t a t u s フラグの値が 1の場合、 本発明に従ってオーデ ィ'ォオーバーラップとなるようにオーディオフレーム編集点を決定する (図 1 4のステップ S 3 4)。 a u d i o mu x s t a t u sフラグ の値が 0の場合、 従来技術に従ってオーディオギャップとなるようにォ 一ディオフレーム編集点を決定する （図 1 4のステップ S 3 5 )。
ステップ S 3 4又は S 3 5の処理後に、 編集後の VO B (接続点付近 のデータ） 力 S、 オブジェク ト制御部 2 7及ぴ媒体記録制钾部 2 3を通し て記録媒体 2 1に書き込まれると共に、 編集点の情報も管理情報として 記録媒体 2 1に書き込まれる （図 1 4のステップ S 3 6 )。 '
なお、 上記第 1の実施の形態において、 編集後のデータ （ビデオデー タ、 オーディオデータ） の記録場所については、 使用する記録メディア や前提とする再生装置に依存するシーク条件などを考慮した場合に、 シ ームレス再生が保障できる限りにおいて、特に本発明として限定しない。 つまり、 データの記録場所の如何にかかわらず、 実質的にオーディオォ 一パーラップを持って編集データが構成され、 オーディオ P T Sオフセ ッ トを持って再生可能な場合には、 本発明の趣旨を満足する。
<第 2の実施の形態の接続編集とビデオ Zオーディオ再生〉
次に、 本発明の第 2の実施の形態について、 第 1の実施の形態との相 違点を中心に説明する。 図 8 接続編集とビデオ/オーディオ再生の概 念を示した第 1の実施の形態では、 A_P T S_o f f s e tの値が常 にゼロ以上 （時間遅れ） になる。 これに対し、 図 1 5に示す第 2の実施 の形態では、 A— P T S— o f f s e tの値が負になること （時間進み） も許容する。 言い換えると、 第 1の実施の形態では、 基本的に 0≤A— P T S_ o f f s e t く TAとなるようにしたが、 第 2の実施の形態で は、 基本的に一 0 . 5 X T Aく A一 P T S_o f f s e t ≤ 0 j 5 X T A (又は一 0 .5 X TA≤ A_P T S— o f f s e t < 0 . 5 X TA) となる 場合の例である。
第 2の実施の形態も、 [式 4]〜 [式 8 ]はそのまま適用できるが、 [式 9 ]は上述のように、 A— P T S_o f f s e tの値域を規定するため、 以下の式と置き換えられる。
I f (A— P T S— o f f s e t k > 0 .5 X T A) {
A— P T S— o f f s e t k = A_P T S_ o f f s e t k一 TA ; AF_d r o p k - 1 = l ；
} e 1 s e AF一 d r o p k— · · · [式 1 0] ここで、 図 1 5における計算を更に説明する。 図 1 5の第一の接続点 では、 まず [式 6] により、 A—P T S— o f f s e t 2 = A_ o v e r 1 a p 2となるが、 この例では A— P T S— o f f s e t 2力 S 0 .5 X TAよりも大きいので、 [式 1 0 Γの I f 文が真になり、 A— P T S— o f f s e t 2は負の値になる （オフセッ トが時間進みになる）。 同時に、 A F— d r o p 1 = 1 となる。 つまり、 V O B 1の最後のオーディオフ レームが再生から脱落される。 図 1 5には脱落済みの状態が図示されて いる。
次に、 図 1 5の第二の接続点では、 [式 7 ] により A— P T S— o f f s e t 3は、 A— o v e r 1 a p 3と A一 P T S— o f f s e t 2の禾口と じて計算される。 この例では A— P T S— o f f s e t 2が負の値であ るので、 A— P T S— o f f s e t 3は、 A— o v e r 1 a p 3よりも小 さな値となる。 なお、 A—P T S— o f f s e t ^ 、 0 .5 XTAより も小さいので、 [式 1 0 ] の I f 文が偽になり、 A— P T S— o f f s e t 3は正の値になる （オフセッ トが時間遅れになる）。 同時に、 AF— d r o p 2= 0 となる。
第 2の実施の形態の上記以外の構成は、 第 1の実施の形態と同じであ る。 つまり、 図 9、 図 1 0、 図 1 1、 図 1 2で示した、 記録 編集装置 及び方法、 再生装置及ぴ再生方法のように、 再生時に VOB接続点毎に A— o v e r 1 a pを計算し、 更にこの A— o v e r 1 a pに基づき A — P T S— o f f s e t (及ぴ A F— d r o p ) を計算し、 計算した A — P T S— o f f s e ΐ (及ぴ A F一 d r o p ) をオーディォデコ一ド ブロック 3 5に供給し、 オーディオフレームの再生タイミングを A— P T S_ o f f s e tの分だけオフセッ トして再生するように制御し、 ま た、 A F— d r o p = lの場合には、 その V O Bの最後のオーディオフ レームを再生しないように制御する。
このようにして、 本実施の形態も第 1の実施の形態と同様に、 ビデオ フレームのシームレス接続に加えて、 オーディオフレームも接続点での 不連続ノィズを発生させること無くシームレスに接続することができる。 また、 本実施の形態も、 第 1の実施の形態と同様に、 編集方法や再生方 法がコンピュータ上のプログラムとしても実施できる。
次に、 図 1 1の再生装置に関し、 オーディォデコ一ドブロック 3 5に 含まれるオーディォバッファ （図示しない）について説明する。一般に、 必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、 運用するときのビッ トレートなどによって決定される。 本発明の第 1の 実施の形態では、 オーディォパッファからオーディォデコーダへのデー タ転送が、 最木 1オーディオフレーム周期分遅れる。 従って、 本発明に 必要なオーディオバッファの量は、 本発明を適用しない 「A— P T S— o f f s e t = 0」 の場合のオーディォバッファ量に、 1オーディオフ レーム分のデータ量を加えた量になる。
一方、 第 2の実施の形態の場合も、 最大 0 . 5オーディオフレーム周 期遅れを考慮すると、 必要なオーディオバッファの量は、 本発明を適用 しない 「 A— P T S— o f f s e t = 0」 の場合のオーディォパッファ 量に、 1オーディオフ レーム分のデータ量を加えた量になる。 さらに、 第 2の実施の形態の場合は、 最大 0 . 5オーディオフレーム周期早くォ 一ディォパッファからオーディォデコーダへのデータ転送が行われるこ とを考慮すると、 V O Bの作成時に、 再生時のオーディオバッファ占有 量が常に 1オーディオフレームデータ量以上になるような多重化を行う 必要がある。
従って、 オーディォバッファサイズに上限を設ける場合においては、 オーディオス トリームを含む V O Bの記録時に、 オーディォパッフアサ ィズ上限から 1オーディオフレーム分のデータ量を減じたバッファ占有 量を上限として、 オーディオデータを多重化しておけば、 再生時に最大 0 . 5オーディオフレーム周期分遅れて再生した場合でも、 オーディオ バッファのオーバーフローを生じさせないで済む。 この場合、 オーディ ォバッファ占有量が （オーディオバッファサイズ上限 _ 1オーディオフ レーム分のデータ量） を超えないで、多重化されたことを示すフラグ（こ こでは、 a u d i o _ m u x _ s t a t u sフラグとする） をディスク 上に記録しておけば、 本発明のオーディオシームレス接続を構成する場 合の指標となり得る。
更に、 第 2の実施の形態の場合には、 オーディオバッファ占有量が常 に 1オーディオフレームのデータ量以上になるように多重化されている ことを示すフラグを準備すれば、 この実施の形態に応じてオーディオシ ームレス接続を構成する場合の指標となり得る。 このフラグと先の a u d i o— m u x— s t a t u s フラグは、 別のフラグでもよレヽし、 同一 のフラグで兼ねてもよい。 第 2の実施の形態の場合にも、 オーディオバ i ッファ条件に、 オーディォパッファ占有量が常に 1オーディオフレーム のデータ量以上になるという条件が加わることを除いて、 図 1 3 と図 1 4と同じ処理ステップで記録と編集が可能である。 なお、 編集後のデータ （ビデオデータ、 オーディオデータ） の記録場 所については、 使用する記録メディァゃ前提とする再生装置に依存する シーク条件などを考慮した場合に、 シームレス再生が保障できる限りに おいて、 特に本発明として限定しない。 つまり、 データの記録場所の如 何にかかわらず、 実質的にオーディオオーバーラップを持って編集デー タが構成され、 オーディオ P T Sオフセッ トを持って再生可能な場合に は、 本発明の趣旨を満足する。
<オーディオ Zビデオ記録 Z再生の他の実施の形態 >
次に、 先に説明した本発明になるオーディオ ビデオ記録装置 方法 及び再生装置 Z方法のその他の実施形態について説明する。
<オーディオ/ビデオ記録装置の実施の形態 π >
図 1 6は本発明になるオーディオ Zビデオ記録装置の実施の形態 Πの ブロック図を示す。 ここでは、 複数の VOBの記録は終了しているもの とし、 それらの接続編集動作について説明する。
図 1 6において、 ユーザーインタフェース部 4 5、 管理情報制御部 4 6、 A— o v e r l a p計算部 4 7、 及びオブジェク ト制御部 4 8は、 丄IPUフ 口 ック 4 ム ¾f構成し飞ぉ り'、] P u (Micro Process ingUni t) のソフ トウェア処理により実現される。
まず、 編集指示はユーザーィンタフヱース部 4 5を通じてユーザーか ら与えられる。 管理情報制御部 4 6では、 接続編集点を対応する管理情 報を用いて確認する。 このとき、オーディオフレームの編集点は、先ず、 既に説明したように、 接続点でオーディオフレームのォーパーラップが 存在するように決められる。 次に、 ビデオフレームについては必要に応 じてピクチャタイプの変換処理が行われる。 これは、 オブジェク ト制御 部 4 8、 ビデオ オーディオエンコー ドプロック 44、 媒体記録制御部 4 3を通じて行われ、 記録媒体 4 1に書き込まれる。
<オーディオ/ビデオ記録方法の実施の形態 Π >
次に、 オーディオシームレス接続のための計算と記録が行われる。 本 発明のオーディオ Zビデオ記録方法の実施の形態 πのオーディオシーム .レス接続のための計算と記録について、 図 1 7のフローチャートを併せ 参照して説明する。
まず、 管理情報制御部 4 6において、 接続対象 V O Bが決定され、 か つ、 ビデオ接続点 （接続元の V O Bの最後に再生すべきビデオフレーム と、 接続先の V O Bの最初に再生すべきビデオフレームとの接続点） が 決定される （ステップ S 4 1 )。 次に、 ビデオ接続点に対応して、 ビデオ ピクチャタイプの変更処理の要不要が判定され、 必要な場合は変更の具 体的準備が行われる （ステップ S 4 2 )。
次に、 ビデオ接続点に対応して、 オーディオフレーム編集点が決めら れる （ステップ S 4 3 )。 すなわち、 接続元の V O Bの最後に再生すべき オーディオフレームの再生期間が、 ビデオ接続点の時刻を含むように、 かつ、 接続先の V O Bの最初に再生すべきオーディオフレームの再生期 間が、 ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決 められる。
続いて、 A— o v e r l a 計算部 4 7において、 前述した A— o v e r 1 a pの計算が行われる （,ステップ S 4 4 )。 最後に、 編集後の V O B (接続点付近のデータ）、 計算された A— o V e r 1 a と再生シーケ ンス等の管理情報が、 オブジェク ト制御部 4 8及び媒体記録制御部 4 3 を通して記録媒体 4 1に書き込まれる （ステップ S 4 5 )。 再生シーケン スには、再生すべき V O Bの情報、接続点の情報などが含まれる。なお、 ビデオ/オーディォェンコードプロック 4 4中のオーディォェンコード ブロックは、 図 7の （A ) のエンコード側の構成を有している。
なお、 図 1 7で説明した記録方法は、 図 1 6で説明したような専用装 置で実施可能である一方、 当該記録媒体の記録機能を有するコンビユー タ上のプログラムとしても実施可能であることに注意されたい。
<オーディオ/ビデオ再生装置の実施の形態 Π >
次に、 本発明になるオーディオ/ビデオ再生装置の実施の形態 Πにつ いて説明する。 図 1 8は本発明になるオーディオ/ビデオ再生装置の実 施の开態 Πのプロック図を示す。
図 1 8において、 記録媒体 5 1には図 1 6に示した記録装置により編 集記録された編集後の V O Bや管理情報が記録されている。 また、 ユー ザーィンタフエース部 5 6、 管理情報制御部 5 7 、 A— P T S— o f f s e t計算部 5 8及びオブジェク ト制御部 5 9は、 M P Uブロック 6 0 を構成している。
この再生装置では、 まず、 再生指示がユーザーインタフェース部 5 6 を介して管理情報制御部 5 7に受け取られる。 再生指示では、 一般にど の再生シーケンスを再生すべきかが指定される。 再生シーケンスには、 複数の V O Bを接続して再生する情報が登録されているとする。 以下、 V O Bデータ再生の基本的な手続きを示す。
再生シーケンスに登録されている V O Bの再生関連情報は、 管理情報 制御部 5 7で判定され、 オブジェク ト制御部 5 9及び媒体再生制御部 5 2を介して V O Bデータが記録媒体 5 1から読み出される。 なお、 再生 シーケンス等の管理情報は、 既に記録媒体 5 1から媒体再生制御部 5 2 を介して読み出され、 M P Uブロック 6 0内のメモリ （図示しない） に 常時保存され'ているとする。
読み出された V O Bデータは、 媒体再生制御部 5 2よりデマルチプレ クサ 5 3に供給され、 ここでビデオデータとオーディオデータに分離さ れ、 ビデオデータはビデオデコードブロック 5 4に供給され、 オーディ ォデータは図 7の （A ) のデコード側として示した構成を有するオーデ ィォ'デコードプロック 5 5に供給され、 それぞれデコードされ、 デコー ド後のビデオフレーム、 オーディオフレームが出力される。. この際、 S C Rなどのクロック情報はデマルチプレクサ 5 3で解読され、 必要に応 じて M P Uプロック 6 0へ渡される。 また、 S T Cなどのクロック情報 は、 M P Uブロック 6 0から、 デマルチプレクサ 5 3、 ビデオデコード ブロック 5 4及びオーディォデコ一ドブロック 5 5へ渡され、 S T Cに 準拠して再生タイミングが制御される。
次に、 オーディオの再生について以下に詳細に説明する。 本実施の形 態では、 記録媒体 5 には接続点での A— o V e r 1 a pを含む管理情 報が記録されているので、 媒体再生制御部 5 2により記録媒体 5 1から 読み出された管理情報は、 才ブジェク ト制御部 5 9を介して管理情報制 御部 5 7に供給され、 ここで管理情報から接続点での A— o V e r 1 a pが取り出されて A_ P T S _ o f f s e t計算部 5 8に供給される。
A— P T S— o f f s e t計算部 5 8は、 入力された A— o v e r 1 a pに基づいて、 [式 8 ]の演算式により A— P T S— o f f s e t を算 出し、 更に [式 9 ] の条件式に基づいて A F— d r o pを算出し、 これ らを管理情報制御部 5 7に供給する。 管理情報制御部 5 7は入力された A— P T S— o f f s e t及ぴ A F— d r o をオーディォデコ一ドブ ロック 5 5へ供給し、 オーディオフレームの再生タイミングを A— P T S— o f f s e tの分だけオフセッ トして再生する。 また、 A F _ d r o p = 1の場合には、 その V O Bの最後のオーディオフレームを再生し ないように制御する。 <オーディオ Zビデオ再生方法の実施の形態 π >
次に、本発明のオーディオ ビデオ再生方法の実施の形態 πについて、 図 1 9のフローチャー トと共に説明する。
まず、 再生すべきシーケンスが決定され、 そのシーケンスに含まれる VOBの情報が確認される （ステップ S 5 1 )。 続いて、 VOB接続点毎 に、 再生された A— ο V e r 1 a pに基づき A— P T S— o f f s e t 計算部 5 8により A— P T S_ o f f s e t (及ぴ AF— d r o p ) を 計算する （ステップ S 5 2 )。
続いて、 VOBの再生開始と同時または直前に、 S T Cはシームレス 接続を可能にするようにリセッ トさ.れると共に、 A_P T S_o f f s e t計算部 5 8により計算された A— P T S_ o f f s e t (及ぴ AF
— d r o p ) 力 S、 オーディォデコ一ドブロック 5 5へセッ トされる （ス テツプ S 5 3 )。
その後 VOBデータが実際に記録媒体 5 1から読み出され、 媒体再生 制御部 5 2及びデマルチプレクサ 5 3を経てビデオデータはビデオデコ ードブロック 54に供給され、 オーディォデータはオーディォデコ一ド ブロック 5 5に供給され、 それぞれデコードされ、 ビデオフレーム及び オーディオフレームが再生される （ステップ S 54)。 AF— d r o p = 1の場合、 VOBの最後のオーディオフレームは再生されないように処 理される （ステップ S 5 5 )。
このようにして再生されたオーディオフレームは、 図 7の （A) に示 したデコ—ダにより窓掛け処理と直交逆変換処理を含む符号化がさ'れて オーディオ信号として出力される。 続いて、 再生シーケンス中の全 VO Bに対して上記の処理が実施されたか-どうか判定し （ステップ S 5 6 )、 最後の V O Bであれば、 再生を終了する （ステップ S 5 7)。 なお、 図 1 9で説明した再生方法は、 図 1 8で説明したような再生装 置で実施可能である一方、 当該記録媒体の再生機能を有するコンビユー タ上のプログラムとしても実施可能であることに注意されたい。
このようにして、 本実施の形態によれば、 ビデオフレームのシームレ ス接続に加えて、 オーディオフレームも接続点での不連続ノイズを発生 させること無くシームレスに接続することができる。
くオーディオノビデオ記録装置の実施の形態 ΠΙ〉
次に、 本発明になるオーディオ Ζビデオ記録装置の実施の形態 mにつ いて説明する。 図 2 0は本発明になるオーディオ/ビデオ記録装置の実 施の形態 mのブロック図を示す。 ここでは、 複数の v o Bの記録は終了 しているものとし、 それらの接続編集動作について説明する。
図 2 0において、 ユーザーイ ンタフェース部 6 5、 管理情報制御部 6 6 、 A— o V e r 1 a p計算部 6 7 、 A— P T S— o f f s e t計算部 6 8及ぴォブジェク ト制御部 6 9は、 M P Uブロック 6 2を構成してお り、 M P U ( Mi c ro P ro c e s s ing Un i t) のソフトウェア処理により実 現される。
まず、 編集指示はユーザーィンタフエース部 6 5を通じてユーザーか ら与えられる。 管理情報制御部 6 6では、 接続編集点を対応する管理情 報を用いて確認する。 このとき、オーディオフレームの編集点は、先ず、 既に説明したように、 接続点でオーディオフレームのオーバーラップが 存在するように決められる。 次に、 ビデオフレームについては必要に応 じてピクチャタイプの変換処理1が行われる。 これは、 オブジェク ト制御 部 6 9、 ビデオ/オーディオエンコー ドブロック 6 4、 媒体記録制御部 6 3を通じて行われ、 記録媒体 6 1に書き込まれる。
<オーディオ/ビデオ記録方法の実施の形態 ΠΙ〉 次に、 オーディオシームレス接続のための計算と記録が行われる。 本 発明のオーディオ Zビデオ記録方法の実施の形態 mのオーディオシーム レス接続のための計算と記録について、 図 2 1のフローチャートを併せ 参照して説明する。
まず、 管理情報制御部 6 6において、 接続対象 VO Bが決定され、 か つ、 ビデオ接続点 （接続元の VO Bの最後に再生すべきビデオフレーム と、 接続先の VO Bの最初に再生すべきビデオフレームとの接続点） が 決定される （ステップ S 6 1 )。 次に、 ビデオ接続点に対応して、 ビデオ ピクチャタイプの変更処理の要不要が判定され、 必要な場合は変更の具 体的準備が行われる （ステップ S 6 2)。
次に、 ビデオ接続点に対応して、 オーディオフレーム編集点が決めら れる （ステップ S 6 3 )。 すなわち、 接続元の V O Bの最後に再生すべき オーディオフレームの再生期間が、 ビデオ接続点の時刻を含むように、 かつ、 接続先の VOBの最初に再生すべきオーディオフレームの再生期 間が、 ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決 められる。
続いて、 A— o v e r l a 計算部 6 7において、 前述した A— o v e r 1 a の計算が行われ （ステップ S 6 4)、 A_P T S— o f f s.e t計算部 6 8において前述した A— P T S_ o f f s e t (及び AF— d r o ) の計算が行われる （ステップ S 6 5 )。
最後に、 編集後の VO B (接続点付近のデータ）、 少なく とも A__P T S— o f f s e t (及び AF_d r o p ) と再生シ—ケンス等の管理情 報が、 オブジェク ト制御部 6 9及び媒体記録制御部 6 3を通して記録媒 体 6 1に書き込まれる （ステップ S 6 6 )。 このとき、 A— o v e r 1 a pも記録媒体に書き込むかどうかは任意である。 再生シーケンスには、 再生すべき V O Bの情報、 接続点の情報などが含まれる。 なお、 ビデオ /オーディオェンコ一ドブロック 6 4中のオーディオェンコ一ドブロッ クは、 図 7の （A ) のエンコード側の構成を有している。
なお、 図 2 1で説明した記録方法は、 図 2 0で説明したような専用'装 置で実施可能である一方、 当該記録媒体の記録機能を有するコンビユー タ上のプログラムとしても実施可能であることに注意されたい。
<オーディオ Zビデオ再生装置の実施の形態 m >
次に、 本発明になるオーディオ Zビデオ再生装置の実施の形態 mにつ いて説明する。 図 2 2は本発明になるオーディオ/ビデオ再生装置の実 施の形態 ΙΠのブロック図を示す。
図 2 2において、 記録媒体 7 1には図 2 0に示した記録装置により編 集記録された編集後の V O Bや管理情報が記録されている。 また、 ユー ザーィンタフェース部 7 6、 管理情報制御部 7 7及ぴォブジェク ト制御 部 7 8は、 M P Uブロック 7 9を構成している。
この再生装置では、 まず、 再生指示がユーザ一^ f ンタフエース部 7 6 を介して管理情報制御部 7 7に受け取られる。 再生指示では、 一般にど の再生シーケンスを再生すべきかが指定される。 再生シーケンスには、 複数の V O Bを接続して再生する情報が登録されているとする。 以下、 V O Bデータ再生の基本的な手続きを示す。
再生シーケンスに登録されている V O Bの再生関連情報は、 管理情報 制御部 7 7で判定され、 オブジェク ト制御部 7 8及び媒体再生制御部 7 2を介して V O B'データが記録媒体 7 1から読み出される。 なお、 再生 シーケンス等の管理情報は、 既に記録媒体 7 1から媒体再生制御部 7 2 を介して読み出され、 M P Uプロック 7 9内のメモリ （図示しない） に 常時保存されているとする。 読み出された VO Bデータは、 媒体再生制御部 7 2よりデマルチプレ クサ 7 3に供給され、 ここでビデオデータとオーディオデータに分離さ れ、 ビデオデータはビデオデコードブロック 7 4に供給され、 オーディ ォデータは図 7の （A) のデコード側と して示した構成を有するオーデ ィォデコードブロック 7 5に供給され、 それぞれデコードされ、 デコー ド後のビデオフレーム、 オーディオフレームが出力される。 この際、 S C Rなどのクロック情報はデマルチプレクサ 7 3で解読され、 必要に応 じて MP Uブロック 7 9へ渡される。 また、 S T Cなどのクロック情報 は、 MP Uブロック 7 9から、 デマルチプレクサ Ί 3、 ビデオデコード ブロック 7 4及びオーディオデコードブロック 7 5へ渡され、 S T Cに 準拠して再生タイミングが制御される。
次に、 オーディオの再生について以下に詳細に説明する。 本実施の形 態では、 記録媒体 7 1には接続点での A„P T S_o f f s e tが記録 されているので、 接続点での A— P T S— o f f s e t (及び AF— d r o p ) を管理情報から読み出す。 得られた A— P T S_o f f s e t (及ぴ A F— d r o p ) は、 オーディォデコ一ドブロック 7 5へ供給さ れ、 オーディオフレームの再生タイミングを A—P T S_o f f s e t の分だけオフセッ トして再生する。 また、 AF— d r o p = lの場合に は、 その VOBの最後のオーディオフレームを再生しないように制御す る。
<オーディオ ビデオ再生方法の実施の形態 ΠΙ >
次に、本発明のオーディオ/ビデオ再生方法の実施の形態 mについて、 図 2 3のフローチャートと共に説明する。
まず、 再生すべきシーケンスが決定され、 そのシーケンスに含まれる VO Bの情報が確認される （ステップ S 7 1 )。 続いて、 VO Bの再生開 始と同時または直前に、 S T Cはシームレス接続を可能にするようにリ セッ トされると共に、 記録媒体 7 1から再生された A— P T S— o f f s e tが、 オーディオデコードブロック 7 5へセッ トされる （ステップ
S 7 2 )0
その後 VOBデータが実際に記録媒体 7 1から読み出され、 媒体再生 制御部 7 2及びデマルチプレクサ 7 3を経てビデオデータはビデオデコ ードプロック 74に供給され、 オーディォデータはオーディォデコ一ド ブロック 7 5に供給され、 それぞれデコードされ、 ビデオフレーム及び オーデ 'ィオフレームが再生される （ステップ S 7 3 )。 AF_d r o p = 1の場合、 VO Bの最後のオーディオフレームは再生されないように処 理される （ステップ S 74 )。 続いて、 再生シーケンス中の全 VOBに対 して上記の処理が実施されたかどうか判定し （ステップ S 7 5 )、 最後の VOBであれば、 再生を終了する （ステップ S 7 6 )。
なお、 図 2 3で説明した再生方法は、 図 2 2で説明したような再生装 置で実施可能である一方、 当該記録媒体の再生機能を有するコンビユー タ上のプログラムと しても実施可能であることに注意されたい。
このようにして、 本実施の形態によれば、 ビデオフレームのシームレ ス接続に加えて、 オーディオフレームも接続点での不連続ノィズを発生 させること無くシームレスに接続することができる。
なお、 先に説明した本発明の第 2の実施の形態において、 第 1の実施 の形態と同じ部分のうち、 図 4、 図 5、 図 6、 図 7で示した、 記録//編 集装置及び方法、 再生装置及び再生方法 （つまり、 実施形態 Iの部分） の代わりに、 図 1 6、 図 1 7、 図 1 8、 図 1 9で示した、 記録 Z編集装 置及び方法、 再生装置及び再生方法 （つまり、 実施形態 Πのように、 接 続点での A— o v e r l a を記録時に算出し、 この A .o v e r l a pを記録媒体に記録し、 再生時に記録媒体から読み出した A— o V e r 1 a pから A— P T S_ o f f s e t (及び A F— d r o p )を算出し、 その A— P T S _ o f f s e t (及ぴ AF_d r o p ) をオーディォデ コードブロック 5 5に供給し、 オーディオフレームの再生タイミングを A— P T S_ o f f s e tの分だけオフセッ トして再生するように制御 し、 また、 AF— d r o p = lの場合には、 その VO Bの最後のオーデ ィオフレームを再生しないように制御する）、あるいは、図 2 0、図 2'1、 図 2 2、 図 2 3で示した、 記録 //編集装置及び方法、 再生装置及び再生 方法 （つまり、 実施形態 ΙΠのように、 接続点での A— o V e r 1 a p と A— P T S_ o f f s e t (及び AF_d r o p) を記録時に算出し、 少なく とも A— P T S_ o f f s e t (及び AF— d r o p ) を記録媒 体に記録し、 再生時に記録媒体から読み出した A— P T S—o f f s e t (及ぴ AF— d r o p)をオーディォデコ一ドブロック 7 5に供給し、 オーディオフレームの再生タイミングを A_P T S— o f f s e tの分 だけオフセッ トして再生するように制御し、 また、 A F— d r o p = 1 の場合には、 その VOBの最後のオーディオフレームを再生しないよう に制御する）、 を採用しても良い。 · 産業上の利用可能性
本発明によれば、 ビデオフレームのシームレス接続のためのビデオデ ータの変更処理に加えて、 接続元のビデオオブジェク トの最後に再生す べきオーディオフレームの再生期間が、 ビデオフレームの接続点の時刻 を含み、 かつ、 接続先のビデオオブジェク トの最初に再生すべきオーデ ィォフレームの再生期間が、 接続点の時刻を含むように、 オーディオフ レームの編集点を決定して、 接続点以降のオーディオフレームとビデオ フレームとの同期ずれを、 基本的にリ ップシンクずれと して検知できな い量とするオフセッ ト処理を行うようにしたため、 オーディオフレーム も接続点での不連続ノイズを発生させること無くシーム レスに接続する ことができる。
また、 本発明によれば、 オーディオフレームの編集点を決定し、 その 編集点を管理情報として記録媒体に記録し、 再生側において再生管理情 報に基づいて接続元のビデオォブジェク トの最後に再生すべきオーディ オフレームと、 接続先のビデオオブジェク トの最初に再生すべきオーデ ィオフレームのオーバーラップ時間と、 記録媒体から読み出したオーデ ィオフレームの P T Sをオフセッ トするためのオーディォ P T Sオフセ ッ ト時間を計算させることで、 記録側では上記のオーバーラップ時間と オーディオ P T Sオフセッ ト時間を計算しないようにしたため、 記録側 の負担を最小にできる。
また、 本発明によれば、 オーディオバッファ占有量が規定のオーディ ォバッファサイズ上限から 1オーディオフレームのデータ量を減じた値 以下であるようにオーディオデータをビデオデータに多重化して記録さ れた記録媒体からビデオデータ及びオーディオデータを再生するに際し、 再生時に最大 1オーディオフレーム周期分遅れて再生した場合でも、 ォ 一ディォバッファのオーバーフローを生じさせないで済む。
また、 本発明によれば、 再生時に記録媒体から読み出したオーバーラ ヅプ時間に基づいて算出したオーディオ P T Sオフセッ ト時間に応じて、 記録媒体から読み出したオーディオフレームの P T Sをオフセッ トする ことにより、 再生側でのオーディォデータのシームレス再生のためのォ 一ディォ P T Sオフセッ ト時間を算出するために用いるオーバーラップ 時間の計算を不要としたため、 再生側のシームレス再生時の負担を軽減 することができる。
更にまた、 本発明によれば、 再生時に記録媒体から読み出したオーデ ィォ P T Sオフセッ ト時間に応じて、 記録媒体から読み出したオーディ オフレームの P T Sをオフセッ トすることにより、 再生側でのオーディ ォデータのシームレス再生のためのオーディォ P T Sオフセッ ト時間の 算出を不要にしたため、 再生側のシーム レス再生時の負担を最小とする ことができる。

Claims

請 求 の 範 囲
1. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジヱク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ/ビデ ォ記録装置であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ' ( 2 4 ( 1 1， 1 2 , 1 3 )) と、
接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジヱク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更するビデオデータ変更手段 （ 2 7， 2 4， 2 3 ) と、
前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 俞記接続先のビデオォブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する編集点決定手段 （ 2 6 ) と、
前記編集点を記録媒体（ 2 1 ) に登録情報として記録する記録手段（ 2 3 ) と、
を有することを特徴とするオーディオ/ビデオ記録装置。
2. 同期したビデオデータとオーディォデータの組をビデオオブジェ ク トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の俞記ビデオォブ ジェク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ Zビデ ォ記録方法であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 接続元のビデオォブジヱク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （ S 2 ) と、
前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決^する第 3 のステップ （ S 3 ) と、
前記編集点を管理情報として前記記録媒体 （ 2 1 ) に記録する第 4の ステップ （ S 4 ) と、
を含むことを特徴とするオーディオ Zビデオ記録方法。
3 . 請求項 1記載の記録装置により ビデオォブジヱク ト及ぴ管理情報 を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデー タ及ぴオーディオデータを再生するオーディオ/ビデオ再生装置であつ 'て、
前記再生管理情報から得た前記編集点を含んで、 接続元のビデオォプ ジヱク トの最後に再生すべきオーディオフレームと、 接続先のビデオォ ブジェク トの最初に再生すべきオーディオフレームのオーバーラップ時 間を計算するオーバーラップ時間計算手段 （ 3 8 ) と、 前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ時間を前記接続先のビデオオブジェ ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続点 でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオォブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要が無いことを示す所定値のオーディオ ドロップフラグを出力するオフセッ ト時間算出手段 （ 3 9 ) と、
前記再生シーケンスに含まれる前記ビデオォブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トするリセッ ト手段 ( 3 7 ) と、
算出した前記オーディオ P T Sオフセッ ト時間に応じて、 前記記録媒 体 （ 3 1 ) から読み出したオーディオフ レームの P T Sをオフセッ トす るオフセッ ト手段 （ 3 7， 3 5 ) と、
前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 3 4 ) と、
前記記録媒体 （ 3 1 ) から再生したオーディオフレームを前記オフセ ッ トした P T Sに応じて再生すると共に、 前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオォブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御するオーディ オフレーム再生手段 （ 3 5 ) と、
前記オーディオフレーム再生手段 （ 3 5 ) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行 つてオーディオ信号を出力するオーディオ複号化手段 （ 3 5 ( 1 5 , 1 6， 1 7 )) と、
を有することを特徴するオーディオ/ビデオ再生装置。
4. 請求項 2記載の記録方法により ビデオォプジヱク ト及び管理情報 を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデー タ及ぴオーディオデータを再生するオーディオ/ビデオ再生方法であつ て、
前記再生管理情報から得た前記編集点を含んで、 接続元のビデオォプ ジェク トの最後に再生すべきオーディオフレームと、 接続先のビデオォ ブジェク ドの最初に再生すべきオーディオフレームのオーバーラップ時 間を計算する第 1のステップ （S 1 2) と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ诗間を前記接続先のビデオオブジェ ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計'算した前記オーバーラップ時間と一つ前の前記接続点 でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要が無いことを示す所定値のオーディオ ドロップフラグを出力する第 2のステップ （S 1 2) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トする第 3のステップ （S 1 3 ) と、
前記第 2のステップ （S 1 2) で算出した前記オーディオ P T Sオフ セッ ト時間に応じて、 前記記録媒体 （ 3 1 ) から読み出したオーディオ フレームの P T Sをオフセッ トする第 4のステップ （S 1 3 ) と、 前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 5のステップ（S 1 4)と、 前記記録媒体 （ 3 1 ) から再生したオーディオフレームを前記第 4 の ステップ （S 1 3 ) でオフセッ トした P T Sに応じて再'生すると共に、 前記第 3のステップ （S 1 3) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス テツプ （ S 1 4， S 1 5 ) と、
前記第 6のステップ （S 1 4， S 1 5 ) により再生された前記オーデ ィォフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、
を含むことを特徴するオーディオ ビデオ再生方法。
5. 請求項 2記載の記録方法により ビデオォブジェク ト及ぴオーディ オフレームの編集点を含む管理情報を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデータ及びオーディオデータを再生する 再生方法をコンピュータに実行させるオーディオ ビデオ再生プログラ ムであって、 前記コンピュータに、
前記再生管理情報から得た前記編集点を含んで、 接続元のビデオォ ブジェク トの最後に再生すべきオーディオフレームと、 接続先のビデオ オブジェク トの最初に再生すべきオーディオフレームのオーバーラップ 時間を計算する第 1のステップ （S 1 2 ) と、
前記編集点が指定された再生シーケンス内の最初の接続点であった 場合は、 計算した前記オーバーラップ時間を前記接続先のビデオォブジ エタ トのオーディオフ レームを再生する際のオーディオ P T Sオフセッ ト時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点 であった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続 点でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点での オーディオ P T Sオフセッ ト時間として算出すると共に、 所定の条件に おいて前記接続元のビデオォブジヱク トの最後に再生すべきオーディオ フレームが、 接続時に再生する必要が無いことを示す所定値のオーディ ォドロップフラグを出力する第 2のステップ （S 1 2 ) と、
前記再生シーケンスに含まれる前記ビデオォブジヱク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するように、 装置 のシステムタイムク ロ ック （ S T C) をリセッ トする第 3 のステップ（ S 1 3 ) と、
算出された前記オーディオ P T Sオフセッ ト時間に応じて、 前記記 録媒体 （ 3 1 ) から読み出したオーディオフレームの P T Sをオフセッ トする第 4のステップ （ S l '3 ) と、
前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデー タに付随したビデオ P T Sに応じて再生する第 5のステップ （S 1 4 ) と、 前記記録媒体 （ 3 1 ) から再生したオーディオデータを前記第 4の ステップでオフセッ トした P T Sに応じて再生すると共に、 前記第 3の ステップで出力した前記オーディオドロップフラグが前記所定値である ときは、 前記接続元のビデオォブジヱク トの最後に再生すべきオーディ オフレームを再生しないように制御する第 6のステップ （S 1 4 , S 1
5 ) と、
前記第 6のステップにより再生された前記オーディオデータに対し、 窓掛け処理と直交逆変換処理を含む複号化を行ってオーディオ信号を出 力する第 7のステップと、
を実行させることを特徴するオーディオ/ビデオ再生プログラム。
6. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォプ ジェク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体に記録するオーディオ Zビデオ記録装 置であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ( 24 ( 1 1， 1 2， 1 3 )) と、
前記オーディ.ォデータと前記ビデオデータとを多重化して前記ビデオ オブジェク トを生成する多重化手段 （ 2 4 ) と、
前記多重化手段 （ 24) による多重化の際に、 オーディオバッファ占 有量が規定のオーディオパッフアサイズ上限から 1オーディオフレーム のデータ量を減じた値以下であるように、 前記多重化手段 （ 24) を制 御すると共に、 そのオーディオ多重化状態を示すフラグを作成する制御 手段 （ 2 4 , 2 6 ) と、
前記制御手段 （ 24， 2 6 ) により制御された前記多重化手段 （24) から出力される前記ビデオオブジェク トを、 前記制御手段 （ 24， 2 6 ) で作成された前記オーディオ多重化状態を示すフラグと共に記録媒体 ( 2 1 ) に記録する記録手段 （ 2 3 ) と、
'を有することを特徴とするオーディオ/ビデオ記録装置。
7. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジェク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ Zビデ ォ記録装置であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ( 2 4 ( 1 1， 1 2， 1 3 )) と、
.前記オーディオデータと前記ビデオデータとを多重化して前記ビデオ オブジェク トを生成する多重化手段 （ 24 ) と、
前記多重化手段 （2 4) による多重化の際に、 オーディオバッファ占 有量が規定のオーディォバッフアサイズ上限から 1オーディオフレーム のデータ量を減じた値以下であるように、 前記多重化手段 （ 24) を制 御すると共に、 そのオーディオ多重化状態を示すフラグを作成する制御 手段 （ 2 4， 2 6 ) と、
前記制御手段 （ 24， 2 6) により制御された前記多重化手段 （ 24) から出力される前記ビデオオブジェク トを、 前記制御手段 （ 24、 2 6 ) で作成された前記オーディオ多重化状態を示すブラグと共に記録媒体 ( 2 1 ) に記録する第 1の記録手段 （ 2 3) と、
接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて'変 更するビデオデータ変更手段 （ 2 7 , 2 4, 2 3 ) と、
前記接続点の前後に、 接続元のビデオオブジェク トのオーディオフレ ームの再生期間と、 接続先のビデオオブジェク トのオーディオフレーム の再生期間とがー部ォーパーラップを生じるように、 オーディオフレー ' ムの編集点を決定し、 オーディオフレームを編集する手段 （ 2 6 ) と、 前記編集点を記録媒体 （ 2 1 ) に登録.情報と して記録する第 2の記録 手段 （ 2 3 ) と、
を有することを特徴とするオーディオ Zビデオ記録装置。
8. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジヱク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ Zビデ ォ記録方法であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 前記オーディオデータをビデオデータと多重化する際に、 オーディォ バッファ占有量が規定のオーディオパツファサイズ上限から 1オーディ オフレームのデータ量を減じた値以下であるように制御する第 2のステ ップ （ S 2 2 ) と、
前記第 2のステップ （S 2 2) の制御によるオーディオ多重化状態を 示すフラグを、 前記第 2のステップ （ S 2 2 ) の制御の下に多重化して 得られた前記ビデオオブジェク トと共に記録媒体 （ 2 1 ) に記録する第 3のステップ （S 2 3 ) と、
- を含むことを特徴とするオーデ オ/ビデオ記録方法。
9. 同期したビデオデータとオーディォデータの組をビデオオブジェ タ トとして記録媒体 （ 2 1 ) に記録するに際し、 複数の前記ビデオォブ ジヱク トのそれぞれ一部または全部を接続して再生する再生シーケンス を指定可能なように前記記録媒体 （ 2 1 ) に記録するオーディオ/ビデ ォ記録方法であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 前記オーディオデータをビデオデータと多重化する際に、 オーディオ バッファ占有量が規定のオーディオパッフアサイズ上限から 1オーディ オフレームのデータ量を減じた値以下であるように制御する第 2のステ ップと （ S 2 2 )、
前記第 2のステップ （S 2 2 ) の制御によるオーディオ多重化状態を 示すフラグを、 前記第 2のステップ （S 2 2 ) の制御の下に多重化して 得られた前記ビデオオブジェク トと共に記録媒体 （ 2 1 ) に記録する第 3のステップ （S 2 3 ) と、
接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 4のステップ （S 2 ) と、
前記接続点の前後に、 接続元のビデオオブジェク トのオーディオフレ ームの再生期間と、 接続先のビデオォブジェク トのオーディオフレーム の再生期間とがー部オーバーラップを生じるように、 オーディオフレー ムの編集点を決定し、オーディオフレームを編集する第 5のステップ（S 3 ) と、
前記編集点を管理情報と して前記記録媒体 （ 2 1 ) に記録する第 6 の ステップ （ S 4 ) と、
を含むことを特徴とするオーディオ/ビデオ記録方法。
1 0 . 請求項 7記載の記録装置により ピ、デォォブジヱク ト及ぴ管理情 報を記録した記録媒体 （3 1 ) から、 再生管理情報に基づいてビデオデ 一タ及ぴオーディオデータを再生するオーディオ/ビデオ再生装置であ つて、
前記再生管理情報内の編集点に関して、 接続元のビデオオブジェク ト の最後に再生すべきオーディオフレームと、 接続先のビデオオブジェク トの最初に再生すべきオーディオフレームのォーパーラップ時間を計算 するオーバーラップ時間計算手段 （ 3 8 ) と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ時間を前記接続先のビデオオブジェ ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計算した前記ォーパーラップ時間と一つ前の前記接続点 でのオーディオ P T S .ォ'フセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要が無いことを示す所定値のオーディオ ドロップフラグを出力するオフセッ ト時間算出手段 （ 3 9 ) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S TC) をリセッ トするリセッ ト手段 （ 3 7) と、
算出した前記オーディオ P T Sオフセッ ト時間に応じて、 前記記録媒 体 （ 3 1 ) から読み出したオーディオフレームの P T Sをオフセッ トす るオフセッ ト手段 （ 3 7， 3 5) と、
'前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 3 4 ) と、
前記記録媒体 （ 3 1 ) から再生したオーディオフレームを前記オフセ ッ トした P T Sに応じて再生すると共に、 前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御するオーディ オフレーム再生手段 （ 3 5 ) と、
前記オーディオフレーム再生手段' （ 3 5) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行 つてオーディオ信号を出力するオーディオ複号化手段 （ 3 5 ( 1 5， 1 6， 1 7 )) と、
を有することを特徴とするオーディオノビデオ再生装置。
1 1. 前記オフセッ ト時間算出手段 （ 3 9 ) は、 算出した前記接続点 での前記オーディオ P T Sオフセッ ト時間が、 オーディオフレーム時間 の n倍 （ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該 オーディオ p T sオフセッ ト時間から前記オーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要がないことを示す所定値のオーディオドロ ップフラグを出力する手段であることを特徴とする請求項 3又は 1 0記 载のオーディオ ビデオ再生装置。
1 2 . 請求項 9記載の記録方法により ビデオオブジェク ト及び管理情 報を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデオデ 一タ及ぴオーディォデータを再生するオーディォ /ビデオ再生方法であ つて、
前記再生管理情報内の編集点に関して、 接続元のビデオオブジェク ト の最後に再生すべきオーディオフレームと、 接続先のビデオォブジェク トの最初に再生すべきオーディオフレームのオーバーラップ時間を計算 する第 1のステップ （S 1 2 ) と、
前記編集点が指定された再生シーケンス内の最初の接続点であった場 合は、 計算した前記オーバーラップ诗間を前記接続先のビデオオブジェ' ク トのオーディオフレームを再生する際のオーディオ P T Sオフセッ ト 時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点で あった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続点 でのオーディオ P T Sオフセッ ト時間を加算した値を、 現編集点でのォ 一ディォ P T Sオフセッ ト時間として算出すると共に、 所定の条件にお いて前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームが、 接続時に再生する必要がないことを示す所定値のオーディオ ドロップフラグを出力する第 2のステップ （S 1 2 ) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トする第 3のステップ （S 1 3 ) と、
前記第 2のステップ （S 1 2) で算出した前記オーディオ P T Sオフ セッ ト時間に応じて、 前記記録媒体 （ 3 1 ) から読み出したオーディオ フレームの P T Sをオフセッ トする第 4のステップ （S 1 3 ) と、 前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 5のステップ（S 1 4 )と、 前記記録媒体 （3 1 ) から再生したオーディオフレームを前記第 4の ステップ （S 1 3) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 1 3 ) で出力した前記オーディオドロップブラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トめ最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス -テツプ （ S 1 4， S 1 5 ) と、
' 前記第 6のステップ （S 1 4， S 1 5 ) により再生された前記オーデ ィォフレームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、
" を含むことを特徴とするオーディオ/ビデオ再生方法。
1 3. 前記第 2のステップ （S 1 2) は、 算出した前記接続点での前 記オーディォ P T Sオフセッ ト時間が、 オーディオフレーム時間の n倍 (ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該オーデ ィォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記 接続元のビデオオブジェク トの最後に再生すべきオーディオフレームが 接続時に再生する必要がないことを示す所定値のオーディオドロップフ ラグを出力することを特徴とする請求項 4又は 1 2記載のオーディオ Z ビデオ再生方法。
'
1 4 . 請求項 9記載の記録方法により ビデオォブジェク ト及びオーデ ィォフレームの編集点及びオーディオ多重化状態を示すブラグを含む管 理情報を記録した記録媒体 （ 3 1 ) から、 再生管理情報に基づいてビデ ォデータ及びオーディォデータを再生する再生方法をコンピュータに実 行させるオーディオノビデオ再生プログラムであって、
前記コンピュータに、
前記再生管理情報内の編集点に関して、 接続元のビデオオブジェク トの最後に再生すべきオーディオフレームと、 接続先のビデオオブジェ ク トの最初に再生すべきオーディオフレームのオーバーラップ時間を計 算する第 1のステップ （S 1 2 ) と、
前記編集点が指定された再生シーケンス内の最初の接続点であった 場合は、 計算した前記オーバーラップ時間を前記接続先のビデオォブジ ェタ トのオーディオフ レームを再生する際のオーディオ P T Sオフセッ ト時間とし、 前記編集点が前記再生シーケンス内の 2つ目以降の接続点 であった場合は、 計算した前記オーバーラップ時間と一つ前の前記接続 点でのオーディォ P T Sオフセッ ト時間を加算した値を、 現編集点での ' オーディオ P T Sオフセッ ト時間として算出すると共に、 所定の条件に おいて前記接続元のビデオオブジェク トの最後に再生すべきオーディオ フレームが、 接続時に再生する必要がないことを示す所定値のオーディ ォドロップフラグを出力する第 2のステップ （S 1 2 ) と、 前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するように、 装置 のシステムタイムクロック （S T C) をリセッ トする第 3のステップ（S 1 3 ) と、
算出された前記オーディオ P T Sオフセッ ト時間に応じて、 前記記 録媒体 （ 3 1 ) から読み出したオーディオフレームの P T Sを.オフセッ トする第 4のステップ （S 1 3 ) と、
前記記録媒体 （ 3 1 ) から再生したビデオデータをそのビデオデー - タに付随したビデオ P T Sに応じて再生する第 5のステップ （S 1 4 ) と、
前記記録媒体 （ 3 1 ) から再生したオーディオデータを前記第 4の ステップ ( S 1 3 ) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 1 3 ) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6 のス テツプ （S 1 4 , S 1 5 ) と、
前記第 6 のステップ （ S 1 4， S 1 5 ) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行 つてオーディォ信号を出力する第 7のステップと、
を実行させることを特徴とするオーディオ ビデオ再生プログラム。
1 5. 同期したビデオデータとオーディオデータの組をビデオォブジ ェク トとして記録媒体 （4 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （4 1 ) に記録するオーディオノビ デォ記録装置であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段
(4 4 ( 1 1， 1 2， 1 3 )) と、
接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更するビデオデータ変更手段 （ 4 8， 44， 4 3 ) と、
前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する編集点決定手段 （4 6 ) と、
前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 するオーバーラップ時間計算手段 （4 7) と、
少なく とも前記オーバーラップ時間を管理情報と して前記記録媒体 ( 2 1 ) に記録する記録手段 （4 3 ) と、
を有することを特徴とするオーディオ/ビデオ記録装置。
1 6. 同期したビデオデータとオーディオデータの組をビデオォブジ ェタ トとして記録媒体 （4 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （4 1 ) に記録するオーディオノビ デォ記録方法であって、 記録すべきオーディォ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1のステップと、 接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （S 4 2) ,と、
前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接棒点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する第 3のステップ （ S 4 3 ) と、
前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 する第 4のステップ （S 4 4 ) と、
少なく とも前記オーバーラップ時間を管理情報と して前記記録媒体 ( 4 1 ) に記録する第 5のステップ （S 4 5 ) と、 .
を含むことを特徴とするオーディオ Zビデオ記録方法。
1 7. 請求項 1 5記載の記録装置により ビデオオブジェク ト及ぴ再生 シーケンスを記録した記録媒体 （ 5 1 ) から、 該再生シーケンスに基づ いてビデオデータ及ぴオーディオデータを再生するオーディオ/ビデオ 再生装置であって、 ' 前記記録媒体 （ 5 1 ) から前記オーバーラップ時間を再生するオーバ 一ラップ時間再生手段 （ 5 2) と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合-は、 前記記録媒体から再生した前記オーバーラップ時間を前記接続先のビデ ォォブジェク トのオーディオフレームを再生する際のオーディォ P T S オフセッ ト時間とし、 前記接続点が前記再生シーケンス内の 2つ目以降 の接続点であった場合は、 前記記録媒体から再生した前記オーバーラッ 5 プ時間と一つ前の前記接続点でのオーディオ P T Sオフセッ ト時間を加 算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出 すると共に、 所定の条件において前記接続元のビデオオブジェク トの最 後に再生すべきオーディオフレームが、 接続時に再生する必要が無いこ とを示す所定値のオーディオドロップフラグを出力するオフセッ ト時間 10 算出手段 （ 5 8 ) と、
前記再生シーケンスに含まれる前記ビデオォブジヱク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トするリセッ ト手段 （ 5 7) と、
15. 算出した前記オーディオ P T Sオフセッ ト時間に応じて、 前記記録媒 体 （ 5 1 ) から読み出したオーディオフレームの P T Sをオフセッ トす るオフセッ ト手段 （ 5 7， 5 5 ) と、
前記記録媒体 （ 5 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 5 4 )
20 と、
前記記録媒体 （ 5 1 ) から再生したオーディオフレームを前記オフセ ッ トした P T Sに応じて再生すると共に、 前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御するオーディ 25 オフレーム再生手段 （ 5 5 ) と、 前記オーディオフレーム再生手段 （ 5 5 ) により再生された前記ォー ディオフレームに対し、 窓掛け処理と直交逆変換処理を含む複号化を行 つてオーディオ信号を出力するオーディオ復号化手段 （ 5 5 ( 1 5， 1 6 , 1 7)) と、
を有することを特徴するオーディオ/ビデオ再生装置。
1 8. 前記オフセッ ト時間'算出手段 （ 5 8) は、 算出した前記接続点 での前記オーディォ P T Sオフセッ ト時間が、 オーディオフレーム期間 の n倍 （ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該 オーディォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要が無いことを示す所定値のオーディオドロ ップフラグを出力する手段であることを特徴とする請求項 1 7記載のォ 一ディォ /ビデオ再生装置。
1 9. 請求項 1 6記載の記録方法により ビデオオブジェク ト及ぴ再生 シーケンスを記録した記録媒体 （5 1 ) から、 該再生シーケンスに基づ いてビデオデータ及ぴオーディオデータを再生するオーディオ/ /ビデオ 再生方法であって、
前記記録媒体から前記オーバーラップ時間を再生する第 1のステップ と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記記録媒体から再生した前記ォーパーラップ時間を前記接続先のビデ ォォブジェク トのオーディオフレームを再生する際のオーディオ P T S オフセッ ト時間とし、 前記接続点が前記再生シーケンス内の 2つ目以降 の接続点であった場合は、 前記記録媒体から再生した前記オーバーラッ プ時間と一つ前の前記接続点でのオーディオ P T Sオフセッ ト時間を加 算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出 すると共に、 所定の条件において前記接続元のビデオオブジェク トの最 後に再生すべきオーディオフレームが、 接続時に再生する必要が無いこ とを示す所定値のオーディオドロップフラグを出力する第 2のステップ ( S 5 2 ) と、
前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロック （S T C) をリセッ トする第 3のステップ （S 5 3 ) と、
前記第 2のステップ （S 5 2) で算出した前記オーディオ P T Sオフ セッ ト時間に応じて、 前記記録媒体 （ 5 1 ) から読み出したオーディオ フレームの P T Sをオフセッ トする第 4のステップ （S 5 3 ) と、 前記記録媒体 （ 5 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 5のステップ（S 5 4)と、 前記記録媒体 （ 5 1 ) から再生したオーディオフレームを前記第 4の ステップ （S 5 3 ) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 5 3) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス テツプ （S 5 4， S 5 5 ) と、
前記第 6のステップ （S 5 4， S 5 5 ) により再生された前記オーデ ィォフ レームに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、
を含むことを特徴するオーディオ Zビデオ再生方法。
2 0 . 前記第 2のステップ （ S 5 2 ) は、 算出した前記接続点での前 記オーディオ P T Sオフセッ ト時間が、 オーディオフレーム期間の n倍 (ただし、 nは 1又は 1 / 2 ) の期間より も大きい場合には、 該オーデ ィォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記 接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム力 S、 接続時に再生する必要が無いことを示す所定値のオーディォドロップフ ラグを出力することを特徴とする請求項 1 9記載のオーディオ/ビデオ 再生方法。
2 1 . 請求項 1 6記載の記録方法により ビデオオブジェク ト及ぴ再生 シーケンスを記録した記録媒体 （ 5 1 ) から、 該再生シーケンスに基づ いてビデオデータ及びオーディオデータを再生する再生方法をコンビュ ータに実行させるオーディオ/ビデオ再生プログラムであって、
前記コンピュータに、
前記記録媒体から前記オーバーラップ時間を再生する第 1 のステツ プと、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記記録媒体から再生した前記オーバーラップ時間を前記接続先のビデ ォォブジェク トのオーディオフレームを再生する際のオーディオ P T S オフセッ ト時間とし、 前記接続点が前記再生シーケンス内の 2つ目以降 の接続点であった場合は、 前記記録媒体から再生した前記オーバーラッ プ時間と一つ前の前記接続点でのオーディオ P T Sオフセッ ト時間を加 算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出 すると共に、 所定の条件において前記接続元のビデオォブジェク トの最 後に再生すべき ーディオフレームが、 接続時に再生する必要が無いこ とを示す所定値のオーディオドロップフラグを出力する第 2のステップ ( S 5 2 ) と、
前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するよ うに、 装置 のシステムタイムクロック （S TC) をリセッ トする第 3のステップ（S 5 3 ) と、
算出された前記オーディオ P T Sオフセッ ト時間に応じて、 前記記 録媒体 （ 5 1 ) から読み出したオーディオフレームの P T Sをオフセッ トする第 4のステップ （S 5 3 ) と、
' 前記記録媒体 （5 1 ) から再生したビデオデータをそのビデオデー タに付随したビデオ P T Sに応じて再生する第 5のステップ （S 5 4) と、
前記記録媒体 （ 5 1 ) から再生したオーディオデータを前記第 4の ステップ （S 5 3 ) でオフセッ トした P T Sに応じて再生すると共に、 前記第 3のステップ （S 5 3) で出力した前記オーディオドロップフラ グが前記所定値であるときは、 前記接続元のビデオオブジェク トの最後 に再生すべきオーディオフレームを再生しないように制御する第 6のス テツプ （S 5 4， S 5 5 ) と、
前記第 6のステップ （S 54， S 5 5 ) により再生された前記ォー ディォデータに対し、 窓掛け処理と直交逆変換処理を含む復号化を行つ てオーディオ信号を出力する第 7のステップと、 を実行させることを特徴するオーディオ Zビデオ再生プログラム。
2 2. 同期したビデオデータとオーディオデータの組をビデオォブジ ェタ トとして記録媒体 （ 6 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （6 1 ) に記録するオーディオノビ デォ記録装置であって、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力するオーディオ符号化手段 ( 6 4 ( 1 1， 1 2， 1 3 )) と、
接続元のビデオオブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更するビデオデータ変更手段 （ 6 9， 6 4， 6 3 ) と、
前記接続元のビデオォブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオォブジヱク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する編集点決定手段 （ 6 6 ) と、
前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 するオーバーラップ時間計算手段 （ 6 7 ) と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記オーバーラップ時間を前記接続先のビデオオブジェク トのオーディ オフレームを再生する際のオーディオ P T Sオフセッ ト時間とし、 前記 接続点が前記再生シーケンス内の 2つ目以降の接続点であった場合は、 前記ォーパーラップ時間と一つ前の前記接続点でのオーディオ P T Sォ フセッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出するオフセッ ト時間算出手段 （ 6 8 ) と、
少なく とも前記オーディォ P T Sオフセッ ト時間を管理情報として前 記記録媒体 （ 6 1 ) に記録する記録手段 （ 6 3 ) と、
を有することを特徴とするオーディオ/ビデオ記録装置。
2 3. 前記オフセッ ト時間算出手段 （ 6 8 ) は、 算出した前記接続点 での前記オーディオ p τ sオフセッ ト時間が、 オーディオフレーム期間 の n倍 （ただし、 nは 1又は 1 / 2) の期間よりも大きい場合には、 該 オーディオ P T Sオフセッ ト時間から前記オーディオフレーム期間を減 じた値を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記接続元のビデオォブジヱク トの最後に再生すべきオーディオフレー ムが、 接続時に再生する必要が無いことを示す所定値のオーディオドロ ップフラグを出力する手段であり、 前記記録手段 （ 6 3) は、 前記ォー ディォ P T Sオフセッ ト時間と前記オーディォドロップフラグを前記管 理情報として前記記録媒体 （ 6 1 ) に記録することを特徴とする請求項 2 2記載のオーディオ/ビデオ記録装置。
24. 同期したビデオデータとオーディォデータの組をビデオォブジ ェク トとして記録媒体 （ 6 1 ) に記録するに'際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （ 6 1 ) に記録するオーディオ Zビ デォ記録方法であって、 記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を含む 符号化を行って前記オーディオデータを出力する第 1 のステップと、 接続元のビデオォブジェク トの最後に再生すべきビデオフレームと、 接続先のビデオォブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （S 6 2 ) と、
前記接続元のビデオオブジェク トの最後に再生すべきオーディオフレ ームの再生期間が、 ビデオフレームの前記接続点の時刻を含み、 かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する第 3のステップ （S 6 3 ) と、
前記接続点を含んで、 前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのオーバーラップ時間を計算 する第 4のステップ （ S 6 4 ) と、
前記接続点が前記再生シーケンス内の最初の接続点であった場合は、 前記ォーパーラップ時間を前記接続先のビデオオブジェク トのオーディ オフレームを再生する際のオーディオ P T Sオフセッ ト時間と し、 前記 接続点が前記再生シーケンス内の 2つ目以降の接続点であった場合は、 前記オーバーラップ時間と一つ前の前記接続点でのオーディオ P T Sォ フセッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間として算出する第 5 のステップ （S 6 5 ) と、
少なく とも前記オーディオ P T Sオフセッ ト時間を管理情報とレて前 記記録媒体 （ 6 1 ) に記録する第 6 のステップ （ S 6 6 ) と、
を含むことを特徴とするオーディオ Zビデオ記録方法。
2 5. 前記第 5のステップ （S 6 5) は、 算出した前記接続点での前 記オーディォ P T Sオフセッ ト時間が、 オーディオフ レーム期間の n倍 (ただし、 nは 1又は 1 Z 2) の期間よりも大きい場合には、 該オーデ ィォ P T Sオフセッ ト時間から前記オーディオフレーム期間を減じた値 を最終のオーディオ P T Sオフセッ ト時間として算出すると共に、 前記 接続元のビデオオブジェク トの最後に再生すべきオーディオフレーム力 S、 接続時に再生する必要が無いことを示す所定値のオーディオドロップフ ラグを出力するステップであり、 前記第 6のステップ （S 6 6) は、 前 記オーディオ P T Sオフセッ ト時間と ffj記オーディオドロップフラグを 前記管理情報として前記記録媒体 （ 6 1 ) に記録することを特徴とする 請求項 24記載のオーディォ /ビデオ記録方法。
2 6. 請求項 2 2又は 2 3記載の記録装置により ビデオオブジェク ト 及び再生シーケンスを記録した記録媒体 （ 7 1 ) から、 該再生シーケン スに基づいてビデオデータ及びオーディォデータを再生するオーディオ /ビデオ再生装置であって、
前記再生シーケンスに食まれる俞記ビデオォブジェク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の システムタイムクロ ック （S TC) をリセッ トするリセッ ト手段 （ 7 7) と、
前記記録媒体 （ 7 1 ) から読み出した前記オーディオ P T Sオフセッ ト時間に応じて、 該記録媒体 （'7 1 ) から読み出したオーディオフレー ムの P T Sをオフセッ トするオフセッ ト手段 （ 7 7， 7 5) と、
前記記録媒体 （ 7 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生するビデオデータ再生手段（ 74 ) と、
前記記録媒体 （ 7 1 ) から再生したオーディオデータを前記オフセッ トした P T Sに応じて再生するオーディオデータ再生手段 （ 7 5 ) と、 前記記録媒体 （ 7 1 ) から再生した前記オーディオドロップフラグが 5 前記所定値であるときは、 当該ビデオオブジェク トの最後に再生すべき オーディオフレームを再生しないように制御する ドロップ処理手段 （ 7 7 ) と、
前記オーディオデータ再生手段 （ 7 5 ) により再生された前記オーデ ィォデータに対し、 窓掛け処理と直交逆変換処理を含む復号化を行って 10 オーディオ信号を出力するオーディオ復号化手段 （ 7 5 ( 1 5， 1 6，
1 7 )) と、
を有することを特徴するオーディオ Zビデオ再生装置。
2 7. 請求項 2 2又は 2 3記載の記録装置により ビデオオブジェク ト 15 及び再生シーケンスを記録した記録媒体 （ 7 1 ) から、 該再生シーケン スに基づいてビデオデータ及びオーディォデータを再生するオーディォ
Zビデオ再生方法であって、
前記再生シーケンスに含まれる前記ビデオォブジヱク トの各接続点で 接続対象のビデオフレーム同士をシームレスに接続するように、 装置の 20 システムタイムクロック （S T C) をリセッ トする第 1のステップ （S
7 2 ) と、
• 前記記録媒体 （ 7 1 ) から読み出した前記オーディオ P T Sオフセッ ト時間に応じて、 該記録媒体 （ 7 1 ) から読み出したオーディオフレー ムの P T Sをオフセッ トする第 2のステップ （ S 7 2 ) と、
25 前記記録媒体 （ 7 1 ) から再生したビデオデータをそのビデオデータ に付随したビデオ P T Sに応じて再生する第 3のステップ（S 7 3 )と、 前記記録媒体 （ 7 1 ) から再生したオーディオデータを前記オフセッ トした P T Sに応じて再生する第 4のステップ （S 7 3 ) と、
前記記録媒体 （ 7 1 ) から再生した前記オーディオドロップフラグが 前記所定値であるときは、 当該ビデオオブジェク トの最後に再生すべき オーディオフレームを再生しないように制御する第 5のステップ （S 7
4 ) と、
前記第 4のステップ （S 7 3 ) により再生された前記オーディオデー タに対し、 窓掛け処理と直交逆変換処理を含む復号化を行ってオーディ ォ信号を出力する第 6のステップと、
を含むことを特徴するオーディオ Zビデオ再生'方法。
2 8. 同期したビデオデータとオーディォデータの組をビデオォプジ ェク トとして記録媒体 （ 6 1 ) に記録するに際し、 複数の前記ビデオォ ブジェク トのそれぞれ一部または全部を接続して再生する再生シーケン スを指定可能なように前記記録媒体 （ 6 1 ) に記録する記録方法をコン ピュータに実行させるオーディオ/ビデオ記録プログラムであって、 前記コンピュータに、
記録すべきオーディオ信号に対し、 窓掛け処理と直交変換処理を食 む符号化を行って前記オーディオデータを出力する第 1のステップと、 接続元のビデオオブジェク トの最後に再生すべきビデオフレームと 接続先のビデオオブジェク トの最初に再生すべきビデオフレームが接続 点でシームレスに再生されるように前記ビデオデータを必要に応じて変 更する第 2のステップ （S 6 2 ) と、
前記接続元のビデオオブジェク トの最後に再生すべきオーディオフ レームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、 前記接続先のビデオオブジェク トの最初に再生すべきオーディオフレー ムの再生期間が、 前記接続点の時刻を含むように、 前記オーディオフレ ームの編集点を決定する第 3のステップ （ S 6 3 ) と、
前記接続点を含んで、前記最後に再生すべきオーディオフレームと、 前記最初に再生すべきオーディオフレームのォーパーラップ時間を計算 する第 4のステップ （S 6 4 ) と、
前記接続点が前記再生シーケンス内の最初の接続点であつた場合は、 前記オーバーラップ時間を前記接続先のビデオオブジェク トのオーディ オフレームを再生する際のオーディオ p τ sオフセッ ト時間とし、 前記 接続点が前記再生シーケンス内の 2つ目以降の接続点であった場合は、 前記オーバーラップ時間と一つ前の前記接続点でのオーディオ P T Sォ フセッ ト時間を加算した値を、 現接続点でのオーディオ P T Sオフセッ ト時間と して算出する第 5のステップ （S 6 5 ) と、
少なく とも前記オーディオ p τ sオフセッ ト時間を管理情報として 前記記録媒体 （ 6 1 ) に記録'するために出力する第 6のステップ （ S 6 6 ) と、 '
を実行させることを特徴とするオーディオ ビデオ記録プログラム。 2 9 . 請求項 2 2又は 2 3記載の記録装置により ビデオオブジェク ト 及ぴ再生シーケンスを記録した記録媒体 （ 7 1 ) から、 該再生シーケン スに基づいてビデオデータ及びオーディオデータを再生する再生方法を コンピュータに実行させるオーディオ Zビデオ再生プログラムであって、 前記コンピュータに、
前記再生シーケンスに含まれる前記ビデオオブジェク トの各接続点 で接続対象のビデオフレーム同士をシームレスに接続するように、 装置 のシステムタイムクロック （S T C) をリセッ トする第 1のステップ（S 7 2 ) と、
前記記録媒体 （ 7 1 ) から読み出した前記オーディオ P T Sオフセ ッ ト時間に応じて、 該記録媒体 （ 7 1 ) から読み出したオーディオフレ ームの P T Sをオフセッ トする第 2のステップ （S 7 2) と、
前記記録媒体 （ 7 1 ) から再生したビデオデータをそのビデオデー タに付随したビデオ P T Sに応じて再生する第 3のステップ （S 7 3 ) と、
前記記録媒体 （ 7 1 ) から再生したオーディオデータを前記オフセ ッ トした P T Sに応じて再生する第 4のステップ （S 7 3 ) と、
前記記録媒体 （ 7 1 ) から再生した前記オーディオドロップフラグ が前記所定値であるときは、 当該ビデオオブジェク トの最後に再生すベ きオーディオフレームを再生しないように制御する第 5のステップ （ S 74 ) と、
前記第 4のステップ （S 74) により再生された前記オーディオデ ータに対し、 窓掛け処理と直交逆変換処理を含む複号化を行ってオーデ ィォ信号を出力する第 6のステップと、
を実行させることを特徴とするオーディオ/ビデオ再生プログラム。
PCT/JP2004/004857 2003-04-04 2004-04-02 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム WO2004091204A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP04725479A EP1613075A4 (en) 2003-04-04 2004-04-02 AUDIO / VIDEO RECORDING APPARATUS, RECORDING METHOD, PLAYING APPARATUS, READING METHOD, READING PROGRAM, AND RECORDING PROGRAM
JP2005505271A JP4906344B2 (ja) 2003-04-04 2004-04-02 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法
US10/551,766 US7941030B2 (en) 2003-04-04 2004-04-02 Audio/video recording apparatus, recording method, playback apparatus, playback method, playback program, and recording program
CNB2004800090801A CN100479511C (zh) 2003-04-04 2004-04-02 音频/视频记录装置、记录方法、再现装置、再现方法

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2003101238 2003-04-04
JP2003101236 2003-04-04
JP2003-101237 2003-04-04
JP2003-101236 2003-04-04
JP2003-101238 2003-04-04
JP2003101237 2003-04-04
JP2003417551 2003-12-16
JP2003-417551 2003-12-16

Publications (1)

Publication Number Publication Date
WO2004091204A1 true WO2004091204A1 (ja) 2004-10-21

Family

ID=33163087

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/004857 WO2004091204A1 (ja) 2003-04-04 2004-04-02 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム

Country Status (5)

Country Link
US (1) US7941030B2 (ja)
EP (1) EP1613075A4 (ja)
JP (2) JP4906344B2 (ja)
CN (2) CN100479511C (ja)
WO (1) WO2004091204A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008530839A (ja) * 2005-02-07 2008-08-07 トムソン ライセンシング ２４Ｈｚフレーム周波数のビデオ信号に基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を再生するための方法および装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7471337B2 (en) * 2004-06-09 2008-12-30 Lsi Corporation Method of audio-video synchronization
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
US20070006238A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Managing application states in an interactive media environment
JP2009111608A (ja) * 2007-10-29 2009-05-21 Panasonic Corp 再生装置および再生方法
EP2104103A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip assembling
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
US8913189B1 (en) * 2013-03-08 2014-12-16 Amazon Technologies, Inc. Audio and video processing associated with visual events
CN107251551B (zh) * 2015-02-10 2020-10-13 索尼半导体解决方案公司 图像处理设备、图像捕获装置、图像处理方法和存储介质
WO2017019674A1 (en) 2015-07-28 2017-02-02 Dolby Laboratories Licensing Corporation Audio discontinuity detection and correction
JP7008870B2 (ja) * 2018-08-01 2022-01-25 北京微播視界科技有限公司 ビデオを録画する方法および装置
US11184648B2 (en) 2019-08-30 2021-11-23 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US10986378B2 (en) 2019-08-30 2021-04-20 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US11005909B2 (en) * 2019-08-30 2021-05-11 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
CN113194528B (zh) * 2021-03-18 2023-01-31 深圳市汇顶科技股份有限公司 同步控制方法、芯片、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175157A (ja) * 1997-08-29 1999-03-16 Sony Corp 映像信号及び音声信号の記録装置
JP2000165862A (ja) * 1998-11-30 2000-06-16 Matsushita Electric Ind Co Ltd 符号化ａｖ信号の同期方法
JP2000175152A (ja) * 1998-12-04 2000-06-23 Sony Corp 多重化装置、多重化方法及び記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3186412B2 (ja) * 1994-04-01 2001-07-11 ソニー株式会社 情報符号化方法、情報復号化方法、及び情報伝送方法
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
JPH10200858A (ja) 1997-01-08 1998-07-31 Sony Corp 映像信号および音声信号の符号化装置、符号化方法、復号装置および復号方法並びに記録媒体
JP3890655B2 (ja) * 1997-03-19 2007-03-07 ソニー株式会社 ディジタル信号再生方法及び装置
JP3911768B2 (ja) 1997-06-02 2007-05-09 ソニー株式会社 画像符号化方法及び画像符号化装置
ID21786A (id) * 1997-09-17 1999-07-22 Matsushita Electric Ind Co Ltd Peralatan editing data video, disk optikal untuk digunakan sebagai media perekam peralatan editing data video dan media perekam komputer yang bisa dibaca yang menyimpan program editing
JP3383663B2 (ja) 1998-01-21 2003-03-04 株式会社東芝 情報記録媒体・情報記録方法及び装置及び再生装置
JP4517267B2 (ja) 2000-04-21 2010-08-04 ソニー株式会社 記録装置および方法、再生装置および方法、プログラム、並びに記録媒体
JP4411499B2 (ja) 2000-06-14 2010-02-10 ソニー株式会社 情報処理装置および情報処理方法、並びに記録媒体
TW579506B (en) * 2001-03-05 2004-03-11 Matsushita Electric Ind Co Ltd A recording device and a recording method
JP3748243B2 (ja) 2001-05-30 2006-02-22 日本ビクター株式会社 Ｍｐｅｇデータ記録装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175157A (ja) * 1997-08-29 1999-03-16 Sony Corp 映像信号及び音声信号の記録装置
JP2000165862A (ja) * 1998-11-30 2000-06-16 Matsushita Electric Ind Co Ltd 符号化ａｖ信号の同期方法
JP2000175152A (ja) * 1998-12-04 2000-06-23 Sony Corp 多重化装置、多重化方法及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1613075A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008530839A (ja) * 2005-02-07 2008-08-07 トムソン ライセンシング ２４Ｈｚフレーム周波数のビデオ信号に基づくオーディオ／ビデオ・データに関係するビデオ信号および一つまたは複数のオーディオ信号を再生するための方法および装置
US8244094B2 (en) 2005-02-07 2012-08-14 Thomson Licensing Method and apparatus for replaying a video signal and one or more audio signals related to audio/video data that are based on a 24Hz frame frequency video signal

Also Published As

Publication number Publication date
JP4906344B2 (ja) 2012-03-28
JP2010061803A (ja) 2010-03-18
US7941030B2 (en) 2011-05-10
CN101404171A (zh) 2009-04-08
CN1768529A (zh) 2006-05-03
CN100479511C (zh) 2009-04-15
CN101404171B (zh) 2011-08-31
EP1613075A1 (en) 2006-01-04
US20060140575A1 (en) 2006-06-29
EP1613075A4 (en) 2011-12-21
JPWO2004091204A1 (ja) 2006-07-06

Similar Documents

Publication Publication Date Title
KR100724651B1 (ko) 정보 처리 장치 및 방법, 및 기록 매체
JP2010061803A (ja) オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム
CN101854507B (zh) 信息记录装置和信息转换方法
CN101577834B (zh) 记录可以高速转换的流的信息记录装置和记录方法
CN100525423C (zh) 信息记录装置和记录方法
US20050013593A1 (en) Method and apparatus for guaranteeing seamless reproduction of a plurality of data streams
CN101594508B (zh) 记录可以高速转换的流的信息记录装置和记录方法
JP4902935B2 (ja) 情報処理装置、情報処理方法、プログラム、及び記録媒体
WO2005041583A1 (ja) 符号化制御装置および符号化システム
CN101707705B (zh) 记录可以高速转换的流的信息记录介质,及其记录装置和记录方法
JP2007243414A (ja) 記録装置
JP2003174622A (ja) 音声／映像情報記録再生装置および方法、および音声／映像情報記録再生装置および方法を用いて情報が記録された記録媒体
WO2003044796A1 (fr) Appareil et procede d&#39;enregistrement/lecture d&#39;informations audio/video, et support d&#39;enregistrement sur lequel des informations sont enregistrees au moyen dudit appareil d&#39;enregistrement/lecture d&#39;informations audio/video conformement au procede associe
JP2004362747A (ja) 信号処理装置
JPH08265695A (ja) ディジタル圧縮データ再生装置
WO2004086397A1 (en) Method and apparatus for guaranteeing seamless reproduction of a plurality of data streams

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20048090801

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2005505271

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2004725479

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2004725479

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2006140575

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10551766

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 10551766

Country of ref document: US