JP3963478B2 - ビットストリームのシームレス接続エンコード方法及びその装置 - Google Patents

ビットストリームのシームレス接続エンコード方法及びその装置 Download PDF

Info

Publication number
JP3963478B2
JP3963478B2 JP51414997A JP51414997A JP3963478B2 JP 3963478 B2 JP3963478 B2 JP 3963478B2 JP 51414997 A JP51414997 A JP 51414997A JP 51414997 A JP51414997 A JP 51414997A JP 3963478 B2 JP3963478 B2 JP 3963478B2
Authority
JP
Japan
Prior art keywords
data
video
encoding
stream
amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP51414997A
Other languages
English (en)
Inventor
秀樹 福田
一宏 津賀
巧 長谷部
美裕 森
智之 岡田
和由 堀池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of JP3963478B2 publication Critical patent/JP3963478B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9265—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation with processing of the sound signal
    • H04N5/9267—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10814—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer underrun
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/23—Disc-shaped record carriers characterised in that the disc has a specific layer structure
    • G11B2220/235—Multilayer discs, i.e. multiple recording layers accessed from the same side
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H04N5/9262—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/877—Regeneration of colour television signals by assembling picture element blocks in an intermediate memory

Description

技術分野
この発明は、一連の関連付けられた内容を有する各タイトルを構成する動画像データ、オーディオデータ、副映像データの情報を搬送するビットストリームに様々な処理を施して、ユーザーの要望に応じた内容を有するタイトルを構成するべくビットストリームを生成し、その生成されたビットストリームを所定の記録媒体に効率的に記録する記録装置と記録媒体、及び再生する再生装置及びオーサリングシステムに用いられるビデオトストリームのシームレス接続エンコード方法及びその装置に関する。
背景技術
近年、レーザーディスクやビデオＣＤ等を利用したシステムに於いて、動画像、オーディオ、副映像などのマルチメディアデータをデジタル処理して、一連の関連付けられた内容を有するタイトルを構成するオーサリングシステムが実用化されている。
特に、ビデオＣＤを用いたシステムに於いては、約６００Ｍバイトの記憶容量を持ち本来ディジタルオーディオの記録用であったＣＤ媒体上に、ＭＰＥＧと呼ばれる高圧縮率の動画像圧縮手法により、動画像データの記録を実現している。カラオケをはじめ従来のレーザーディスクのタイトルがビデオＣＤに置き替わりつつある。
年々、各タイトルの内容及び再生品質に対するユーザーの要望は、より複雑及び高度になって来ている。このようなユーザーの要望に応えるには、従来より深い階層構造を有するビットストリームにて各タイトルを構成する必要がある。このようにより深い階層構造を有するビットストリームにより、構成されるマルチメディアデータのデータ量は、従来の十数倍以上になる。更に、タイトルの細部に対する内容を、きめこまかく編集する必要があり、それには、ビットストリームをより下位の階層データ単位でデータ処理及び制御する必要がある。
このように、多階層構造を有する大量のデジタルビットストリームを、各階層レベルで効率的な制御を可能とする、ビットストリーム構造及び、記録再生を含む高度なデジタル処理方法の確立が必要である。更に、このようなデジタル処理を行う装置、この装置でデジタル処理されたビットストリーム情報を効率的に記録保存し、記録された情報を迅速に再生することが可能な記録媒体も必要である。
このような状況に鑑みて、記録媒体に関して言えば、従来用いられている光ディスクの記憶容量を高める検討が盛んに行われている。光ディスクの記憶容量を高めるには光ビームのスポット径Ｄを小さくする必要があるが、レーザの波長をλ、対物レンズの開口数をＮＡとすると、前記スポット径Ｄは、λ／ＮＡに比例し、λが小さくＮＡが大きいほど記憶容量を高めるのに好適である。
ところが、ＮＡが大きいレンズを用いた場合、例えば米国特許５、２３５、５８１に記載の如く、チルトと呼ばれるディスク面と光ビームの光軸の相対的な傾きにより生じるコマ収差が大きくなり、これを防止するためには透明基板の厚さを薄くする必要がある。透明基板を薄くした場合は機械的強度が弱くなると言う問題がある。
また、データ処理に関しては、動画像、オーディオ、グラフィックスなどの信号データを記録再生する方式として従来のＭＰＥＧ１より、大容量データを高速転送が可能なＭＰＥＧ２が開発され、実用されている。ＭＰＥＧ２では、ＭＰＥＧ１と多少異なる圧縮方式、データ形式が採用されている。ＭＰＥＧ１とＭＰＥＧ２の内容及びその違いについては、ＩＳＯ１１１７２、及びＩＳＯ１３８１８のＭＰＥＧ規格書に詳述されているので説明を省く。
ＭＰＥＧ２に於いても、ビデオエンコードストリームの構造に付いては、規定しているが、システムストリームの階層構造及び下位の階層レベルの処理方法を明らかにしていない。
上述の如く、従来のオーサリングシステムに於いては、ユーザーの種々の要求を満たすに十分な情報を持った大量のデータストリームを処理することができない。さらに、処理技術が確立したとしても、大容量のデータストリームを効率的に記録、再生に十分用いることが出来る大容量記録媒体がないので、処理されたデータを有効に繰り返し利用することができない。
言い換えれば、タイトルより小さい単位で、ビットストリームを処理するには、記録媒体の大容量化、デジタル処理の高速化と言うハードウェア、及び洗練されたデータ構造を含む高度なデジタル処理方法の考案と言うソフトウェアに対する過大な要求を解消する必要があった。
本発明は、このように、ハードウェア及びソフトウェアに対して高度な要求を有する、タイトル以下の単位で、マルチメディアデータのビットストリームを制御して、よりユーザーの要望に合致した効果的なオーサリングシステムを提供することを目的とする。
更に、複数のタイトル間でデータを共有して光ディスクを効率的に使用するために、複数のタイトルを共通のシーンデータと、同一の時間軸上に配される複数のシーンを任意に選択して再生するマルチシーン制御が望ましい。複数のシーン、つまりマルチシーンデータを同一の時間軸上に配する為には、マルチシーンの各シーンデータを連続的に配列するために、選択した共通シーンと選択されたマルチシーンデータの間に、非選択のマルチシーンデータを挿入してビットストリームを生成することになる。
また、マルチシーンデータが、スポーツの実況中継の様に、同じ対象物を同時に別の角度（アングル）から撮影して得られるような、マルチアングルシーンデータの場合、複数のビデオ信号を所定の単位で自由に結合させて一つのタイトルを得る。このような場合は、複数のビデオストリームが如何に接続して再生されるかは、エンコード時に於いては認識できないため。そのため、マルチアングルの切り替え時などの、デコーダのビデオバッファのデータ占有量の振る舞いをエンコード時に於いて認識することができず、ビデオバッファの破綻を来す場合がある。また、共通のシーン同士で１対１のシーン接続をする場合に於いても，同様に、デコーダのビデオバッファのデータ占有量の振る舞いをエンコード時に於いて認識することができない。
また、可変長符号を用いて符号化処理される場合、常に時間的に直列的に処理を進めなくてはならないので、符号化処理の順序を管理する必要があり、タイトル作成処理に柔軟性がない。また、第一のビデオストリームの符号化時の最終占有量が、第二のビデオストリームの初期占有量より大きい量である場合には、符号化時に於いて想定しない時刻に於いて復号化バッファメモリがオーバーフローする可能性がある。
更に，ビデオストリームを得るための符号化処理に於いて、ＭＰＥＧ方式など可変長符号化処理を行った場合、符号化データのデータ量は符号化処理が完了したときに初めて確定する。それは、ビデオデータのもつ情報量、すなわち、空間的な複雑さあるいは時間的な複雑さ、および過去の符号化の状態によって用いられる符号が選択され、符号長が決定するからである。従って、符号化データのデータ量をあらかじめ設定した所定量に正確には規定することが困難なために、最終占有量も正確には規定することは困難である。特に、ビデオデータのもつ情報量に応じて符号化データのデータ量を割り当てて符号化処理を行う場合では、ビデオデータが異なれば割り当てるデータ量は当然異なり、ビデオバッファのデータ占有量推移は異なってくる。従って、複数のビデオデータの最終占有量を同一にすることは困難である。
本発明はかかる点に鑑み、独立に符号化して得られた一つ以上のビデオストリームを任意に結合させてもビデオバッファの破綻を来すことなく、スムーズな再生画像を得るための符号化方法、及び符号化装置、および記録方法、および記録媒体、および再生方法を提供することを目的とする。
また、複数のビデオストリームを接続して一つのビデオストリームを得る場合に於いて、各ビデオストリームを得るために時間的に直列的に符号化処理する必要をなくし、並列的に符号化処理することにより処理時間の短縮、および処理管理の簡便さを実現する符号化方法、及び符号化装置、および記録方法、および記録媒体、および再生装置を提供することを目的とする。
さらに、選択可能な複数のシーンのビデオストリームを再生し、各ビデオストリームを再生した後、ビデオバッファの破綻を来すことなく連続的に一つのシーンのビデオストリームを再生するための符号化方法、及び符号化装置、および記録方法、および記録媒体、および再生方法を提供することを目的とする。なお、本出願は日本国特許出願番号Ｈ７−２５２７３６（１９９５年９月２９日出願）及びＨ８−０４１５８２（１９９６年２月２８日出願）に基づいて出願されるものであって、該両明細書による開示事項はすべて本発明の開示の一部となすものである。
発明の開示
符号化処理された符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリのデータ占有量を計算し、その計算結果から、ある所定期間の割当符号量を規定し、前記割当符号量で前記所定期間の信号を圧縮符号化処理して、所定の符号化データを生成する方法。
第一の符号化データを前記復号バッファメモリに転送した後も引き続き、仮想の符号化データを転送するとして前記データ占有量を計算し、
前記第一の符号化データの最終データを復号化した際の前記データ占有量を最終占有量Ｂｅとして計算し、第二の符号化データを生成するための符号化処理を開始する際は前記データ占有量を前記最終占有量Ｂｅよりも小さい所定の初期占有量Ｂｉとし、前記データ占有量の推移に基づいて前記割当符号量を規定する符号化方法。
【図面の簡単な説明】
図１は、マルチメディアビットストリームのデータ構造を示す図であり、
図２は、オーサリングエンコーダを示す図であり、
図３は、オーサリングデコーダを示す図であり、
図４は、単一の記録面を有するＤＶＤ記録媒体の断面を示す図であり、
図５は、図４の拡大の断面図を示す図であり、
図６は、図５の拡大の断面を示す図であり、
図７は、複数の記録面（片面２層型）を有するＤＶＤ記録媒体の断面を示す図であり、
図８は、複数の記録面（両面１層型）を有するＤＶＤ記録媒体の断面を示す図であり、
図９は、ＤＶＤ記録媒体の平面図であり、
図１０は、ＤＶＤ記録媒体の平面図であり、
図１１は、片面２層型ＤＶＤ記録媒体の展開図であり、
図１２は、片面２層型ＤＶＤ記録媒体の展開図であり、
図１３は、両面一層型ＤＶＤ記録媒体の展開図であり、
図１４は、両面一層型ＤＶＤ記録媒体の展開図であり、
図１５は、マルチレイティッドタイトルストリームの一例を示す図である
図１６は、ＶＴＳのデータ構造を示す図であり、
図１７は、システムストリームのデータ構造を示す図であり、
図１８は、システムストリームのデータ構造を示す図であり、
図１９は、システムストリームのパックデータ構造を示す図であり、
図２０は、ナブパックＮＶのデータ構造を示す図であり、
図２１は、ＤＶＤマルチシーンのシナリオ例を示す図であり、
図２２は、ＤＶＤのデータ構造を示す図であり、
図２３は、マルチアングル制御のシステムストリームの接続を示す図であり、
図２４は、マルチシーンに対応するＶＯＢの例を示す図であり、
図２５は、ＤＶＤオーサリングエンコーダを示す図であり、
図２６は、ＤＶＤオーサリングデコーダを示す図であり、
図２７は、ＶＯＢセットデータ列を示す図であり、
図２８は、ＶＯＢデータ列を示す図であり、
図２９は、エンコードパラメータを示す図であり、
図３０は、ＤＶＤマルチシーンのプログラムチェーン構成例を示す図であり、
図３１は、ＤＶＤマルチシーンのＶＯＢ構成例を示す図であり、
図３２は、ビデオエンコードストリームの接続例を示す図であり、
図３３は、マルチアングル制御の概念を示す図であり、
図３４は、エンコード制御フローチャートを示す図であり、
図３５は、非シームレス切り替えマルチアングルのエンコードパラメータ生成フローチャートを示す図であり、
図３６は、エンコードパラメータ生成の共通フローチャートを示す図であり、
図３７は、シームレス切り替えマルチアングルのエンコードパラメータ生成フローチャートを示す図であり、
図３８は、パレンタル制御のエンコードパラメータ生成フローチャートを示す図であり、
図３９は、ビデオエンコードストリームの接続例を示す図であり、
図４０は、単一のビデオエンコードストリームにおけるビデオバッファのストリーム先頭部分のデータ占有量の推移を示す図であり、
図４１は、単一のビデオエンコードストリームにおけるビデオバッファのストリーム終端部分のデータ占有量の推移を示す図であり、
図４２は、ビデオエンコードストリームの接続時のビデオバッファのデータ占有量の推移を示す図であり、
図４３は、パレンタル制御のマルチシーンの例を示す図であり、
図４４は、システムストリームの概念図を示す図であり、
図４５は、システムエンコード作成方法の例を示す図であり、
図４６は、間欠転送におけるビデオエンコードストリームの接続時のビデオバッファのデータ占有量の推移を示す図であり、
図４７は、デコードシステムテーブルを示す図であり、
図４８は、デコードテーブルを示す図であり、
図４９は、デコーダのフローチャートを示す図であり、
図５０は、ＰＧＣ再生のフローチャートを示す図であり、
図５１は、ストリームバッファ内のデータデコード処理フローチャートを示す図であり、
図５２は、各デコーダの同期処理フローチャートを示す図であり、
図５３は、ビデオエンコードの詳細ブロック図を示す図であり、
図５４は、復号バッファ占有量計算器の動作フローチャートの第１の例を示す図である
図５５は、復号バッファ占有量計算器のブロック図の例を示す図であり、
図５６は、復号バッファ占有量計算器の動作フローチャートの例を示す図であり、
図５７は、復号バッファ占有量計算器のブロック図の例を示す図であり、
図５８は、復号バッファ占有量計算器の動作フローチャートの例を示す図であり、
図５９は、復号バッファ占有量計算器のブロック図の例を示す図であり、
図６０は、ビデオエンコードストリームの接続記録の例を示す図であり、
図６１は、ビデオエンコードストリームの接続記録の例を示す図であり、
図６２は、ビデオエンコードストリームを記録媒体に記録した例を示す図であり、
図６３は、ビデオエンコードストリームの例を示す図であり、
図６４は、単一シーンのエンコードパラメータ生成フローチャートを示す図であり、
図６５は、インターリーブブロック構成例を示す図であり、
図６６は、ＶＴＳのＶＯＢブロック構成例を示す図であり、
図６７は、連続ブロック内のデータ構造を示す図であり、
図６８は、インターリーブブロック内のデータ構造を示す図である。
発明を実施するための最良の形態
本発明をより詳細に説明するために、添付の図面に従ってこれを説明する。
オーサリングシステムのデータ構造
先ず、図１を参照して、本発明に於ける記録装置、記録媒体、再生装置および、それらの機能を含むオーサリングシステムに於いて処理の対象されるマルチメディアデータのビットストリームの論理構造を説明する。ユーザが内容を認識し、理解し、或いは楽しむことができる画像及び音声情報を１タイトルとする。このタイトルとは、映画でいえば、最大では一本の映画の完全な内容を、そして最小では、各シーンの内容を表す情報量に相当する。
所定数のタイトル分の情報を含むビットストリームデータから、ビデオタイトルセットＶＴＳが構成される。以降、簡便化の為に、ビデオタイトルセットをＶＴＳと呼称する。ＶＴＳは、上述の各タイトルの中身自体を表す映像、オーディオなどの再生データと、それらを制御する制御データを含んでいる。
所定数のＶＴＳから、オーサリングシステムに於ける一ビデオデータ単位であるビデオゾーンＶＺが形成される。以降、簡便化の為にビデオゾーンをＶＺと呼称する。一つのＶＺに、Ｋ＋１個のＶＴＳ＃０〜ＶＴＳ＃Ｋ（Ｋは、０を含む正の整数）が直線的に連続して配列される。そしてその内一つ、好ましくは先頭のＶＴＳ＃０が、各ＶＴＳに含まれるタイトルの中身情報を表すビデオマネージャとして用いられる。この様に構成された、所定数のＶＺから、オーサリングシステムに於ける、マルチメディアデータのビットストリームの最大管理単位であるマルチメディアビットストリームＭＢＳが形成される。
オーサリングエンコーダＥＣ
図２に、ユーザーの要望に応じた任意のシナリオに従い、オリジナルのマルチメディアビットストリームをエンコードして、新たなマルチメディアビットストリームＭＢＳを生成する本発明に基づくオーサリングエンコーダＥＣの一実施形態を示す。なお、オリジナルのマルチメディアビットストリームは、映像情報を運ぶビデオストリームＳｔ１、キャプション等の補助映像情報を運ぶサブピクチャストリームＳｔ３、及び音声情報を運ぶオーディオストリームＳｔ５から構成されている。ビデオストリーム及びオーディオストリームは、所定の時間の間に対象から得られる画像及び音声の情報を含むストリームである。一方、サブピクチャストリームは一画面分、つまり瞬間の映像情報を含むストリームである。必要であれば、一画面分のサブピクチャをビデオメモリ等にキャプチャして、そのキャプチャされたサブピクチャ画面を継続的に表示することができる。
これらのマルチメディアソースデータＳｔ１、Ｓｔ３、及びＳｔ５は、実況中継の場合には、ビデオカメラ等の手段から映像及び音声言号がリアルタイムで供給される。また、ビデオテープ等の記録媒体から再生された非リアルタイムな映像及び音声信号であったりする。尚、同図に於ては、簡便化のために、３種類のマルチメディアソースストリームとして、３種類以上で、それぞれが異なるタイトル内容を表すソースデータが入力されても良いことは言うまでもない。このような複数のタイトルの音声、映像、補助映像情報を有するマルチメディアソースデータを、マルチタイトルストリームと呼称する。
オーサリングエンコーダＥＣは、編集情報作成部１００、エンコードシステム制御部２００、ビデオエンコーダ３００、ビデオストリームバッファ４００、サブピクチャエンコーダ５００、サブピクチャストリームバッファ６００、オーディオエンコーダ７００、オーディオストリームバッファ８００、システムエンコーダ９００、ビデオゾーンフォーマッタ１３００、記録部１２００、及び記録媒体Ｍから構成されている。
同図に於いて、本発明のエンコーダによってエンコードされたビットストリームは、一例として光ディスク媒体に記録される。
オーサリングエンコーダＥＣは、オリジナルのマルチメディアタイトルの映像、サブピクチャ、及び音声に関するユーザの要望に応じてマルチメディアビットストリームＭＢＳの該当部分の編集を指示するシナリオデータとして出力できる編集情報生成部１００を備えている。編集情報作成部１００は、好ましくは、ディスプレイ部、スピーカ部、キーボード、ＣＰＵ、及びソースストリームバッファ部等で構成される。編集情報作成部１００は、上述の外部マルチメディアストリーム源に接続されており、マルチメディアソースデータＳｔ１、Ｓｔ３、及びＳｔ５の供給を受ける。
ユーザーは、マルチメディアソースデータをディスプレイ部及びスピーカを用いて映像及び音声を再生し、タイトルの内容を認識することができる。更に、ユーザは再生された内容を確認しながら、所望のシナリオに沿った内容の編集指示を、キーボード部を用いて入力する。編集指示内容とは、複数のタイトル内容を含む各ソースデータの全部或いは、其々に対して、所定時間毎に各ソースデータの内容を一つ以上選択し、それらの選択された内容を、所定の方法で接続再生するような情報を言う。
ＣＰＵは、キーボード入力に基づいて、マルチメディアソースデータのそれぞれのストリームＳｔ１、Ｓｔ３、及びＳｔ５の編集対象部分の位置、長さ、及び各編集部分間の時間的相互関係等の情報をコード化したシナリオデータＳｔ７を生成する。
ソースストリームバッファは所定の容量を有し、マルチメディアソースデータの各ストリームＳｔ１、Ｓｔ３、及びＳｔ５を所定の時間Ｔｄ遅延させた後に、出力する。
これは、ユーザーがシナリオデータＳｔ７を作成するのと同時にエンコードを行う場合、つまり逐次エンコード処理の場合には、後述するようにシナリオデータＳｔ７に基づいて、マルチメディアソースデータの編集処理内容を決定するのに若干の時間Ｔｄを要するので、実際に編集エンコードを行う場合には、この時間Ｔｄだけマルチメディアソースデータを遅延させて、編集エンコードと同期する必要があるからである。このような、逐次編集処理の場合、遅延時間Ｔｄは、システム内の各要素間での同期調整に必要な程度であるので、通常ソースストリームバッファは半導体メモリ等の高速記録媒体で構成される。
しかしながら、タイトルの全体を通してシナリオデータＳｔ７を完成させた後に、マルチメディアソースデータを一気にエンコードする、いわゆるバッチ編集時に於いては、遅延時間Ｔｄは、一タイトル分或いはそれ以上の時間必要である。このような場合には、ソースストリームバッファは、ビデオテープ、磁気ディスク、光ディスク等の低速大容量記録媒体を利用して構成できる。つまり、ソースストリームバッファは遅延時間Ｔｄ及び製造コストに応じて、適当な記憶媒体を用いて構成すれば良い。
エンコードシステム制御部２００は、編集情報作成部１００に接続されており、シナリオデータＳｔ７を編集情報作成部１００から受け取る。エンコードシステム制御部２００は、シナリオデータＳｔ７に含まれる編集対象部の時間的位置及び長さに関する情報に基づいて、マルチメディアソースデータの編集対象分をエンコードするためのそれぞれのエンコードパラメータデータ及びエンコード開始、終了のタイミング信号Ｓｔ９、Ｓｔ１１、及びＳｔ１３をそれぞれ生成する。なお、上述のように、各マルチメディアソースデータＳｔ１、Ｓｔ３、及びＳｔ５は、ソースストリームバッファによって、時間Ｔｄ遅延して出力されるので、各タイミングＳｔ９、Ｓｔ１１、及びＳｔ１３と同期している。
つまり、信号Ｓｔ９はビデオストリームＳｔ１からエンコード対象部分を抽出して、ビデオエンコード単位を生成するために、ビデオストリームＳｔ１をエンコードするタイミングを指示するビデオエンコード信号である。同様に、信号Ｓｔ１１は、サブピクチャエンコード単位を生成するために、サブピクチャストリームＳｔ３をエンコードするタイミングを指示するサブピクチャストリームエンコード信号である。また、信号Ｓｔ１３は、オーディオエンコード単位を生成するために、オーディオストリームＳｔ５をエンコードするタイミングを指示するオーディオエンコード信号である。
エンコードシステム制御部２００は、更に、シナリオデータＳｔ７に含まれるマルチメディアソースデータのそれぞれのストリームＳｔ１、Ｓｔ３、及びＳｔ５のエンコード対象部分間の時間的相互関係等の情報に基づいて、エンコードされたマルチメディアエンコードストリームを、所定の相互関係になるように配列するためのタイミング信号Ｓｔ２１、Ｓｔ２３、及びＳｔ２５を生成する。
エンコードシステム制御部２００は、１ビデオゾーンＶＺ分の各タイトルのタイトル編集単位（ＶＯＢ）に付いて、そのタイトル編集単位（ＶＯＢ）の再生時間を示す再生時間情報ＩＴおよびビデオ、オーディオ、サブピクチャのマルチメディアエンコードストリームを多重化（マルチプレクス）するシステムエンコードのためのエンコードパラメータを示すストリームエンコードデータＳｔ３３を生成する。
エンコードシステム制御部２００は、所定の相互的時間関係にある各ストリームのタイトル編集単位（ＶＯＢ）から、マルチメディアビットストリームＭＢＳの各タイトルのタイトル編集単位（ＶＯＢ）の接続または、各タイトル編集単位を重畳しているインターリーブタイトル編集単位（ＶＯＢs）を生成するための、各タイトル編集単位（ＶＯＢ）をマルチメディアビットストリームＭＢＳとして、フォーマットするためのフォーマットパラメータを規定する配列指示信号Ｓｔ３９を生成する。
ビデオエンコーダ３００は、編集情報作成部１００のソースストリームバッファ及び、エンコードシステム制御部２００に接続されており、ビデオストリームＳｔ１とビデオエンコードのためのエンコードパラメータデータ及びエンコード開始終了のタイミング信号のＳｔ９、例えば、エンコードの開始終了タイミング、ビットレート、エンコード開始終了時にエンコード条件、素材の種類として、ＮＴＳＣ信号またはＰＡＬ信号あるいはテレシネ素材であるかなどのパラメータがそれぞれ入力される。ビデオエンコーダ３０は、ビデオエンコード信号Ｓｔ９に基づいて、ビデオストリームＳｔ１の所定の部分をエンコードして、ビデオエンコードストリームＳｔ１５を生成する。
同様に、サブピクチャエンコーダ５００は、編集情報作成部１００のソースバッファ及び、エンコードシステム制御部２００に接続されており、サブピクチャストリームＳｔ３とサブピクチャストリームエンコード信号Ｓｔ１１がそれぞれ入力される。サブピクチャエンコーダ５００は、サブピクチャストリームエンコードのためのパラメータ信号Ｓｔ１１に基づいて、サブピクチャストリームＳｔ３の所定の部分をエンコードして、サブピクチャエンコードストリームＳｔ１７を生成する。
オーディオエンコーダ７００は、編集情報作成部１００のソースバッファ及び、エンコードシステム制御部２００に接続されており、オーディオストリームＳｔ５とオーディオエンコード信号Ｓｔ１３がそれぞれ入力される。オーディオエンコーダ７００は、オーディオエンコードのためのパラメータデータ及びエンコード開始終了タイミングの信号Ｓｔ１３に基づいて、オーディオストリームＳｔ５の所定の部分をエンコードして、オーディオエンコードストリームＳｔ１９を生成する。
ビデオストリームバッファ４００は、ビデオエンコーダ３００に接続されており、ビデオエンコーダ３００から出力されるビデオエンコードストリームＳｔ１５を保存する。ビデオストリームバッファ４００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２１の入力に基づいて、保存しているビデオエンコードストリームＳｔ１５を、調時ビデオエンコードストリームＳｔ２７として出力する。
同様に、サブピクチャストリームバッファ６００は、サブピクチャエンコーダ５００に接続されており、サブピクチャエンコーダ５００から出力されるサブピクチャエンコードストリームＳｔ１７を保存する。サブピクチャストリームバッファ６００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２３の入力に基づいて、保存しているサブピクチャエンコードストリームＳｔ１７を、調時サブピクチャエンコードストリームＳｔ２９として出力する。
また、オーディオストリームバッファ８００は、オーディオエンコーダ７００に接続されており、オーディオエンコーダ７００から出力されるオーディオエンコードストリームＳｔ１９を保存する。オーディオストリームバッファ８００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２５の入力に基づいて、保存しているオーディオエンコードストリームＳｔ１９を、調時オーディオエンコードストリームＳｔ３１として出力する。
システムエンコーダ９００は、ビデオストリームバッファ４００、サブピクチャストリームバッファ６００、及びオーディオストリームバッファ８００に接続されており、調時ビデオエンコードストリームＳｔ２７、調時サブピクチャエンコードストリームＳｔ２９、及び調時オーディオエンコードＳｔ３１が入力される。システムエンコーダ９００は、またエンコードシステム制御部２００に接続されており、ストリームエンコードデータＳｔ３３が入力される。
システムエンコーダ９００は、システムエンコードのエンコードパラメータデータ及びエンコード開始終了タイミングの信号Ｓｔ３３に基づいて、各調時ストリームＳｔ２７、Ｓｔ２９、及びＳｔ３１に多重化処理を施して、タイトル編集単位（ＶＯＢ）Ｓｔ３５を生成する。
ビデオゾーンフォーマッタ１３００は、システムエンコーダ９００に接続されて、タイトル編集単位Ｓｔ３５を入力される。ビデオゾーンフォーマッタ１３００は更に、エンコードシステム制御部２００に接続されて、マルチメディアビットストリームＭＢＳをフォーマットするためのフォーマットパラメータデータ及びフォーマット開始終タイミングの信号Ｓｔ３９を入力される。ビデオゾーンフォーマッタ１３００は、タイトル編集単位Ｓｔ３９に基づいて、１ビデオゾーンＶＺ分のタイトル編集単位Ｓｔ３５を、ユーザの要望シナリオに沿う順番に、並べ替えて、編集済みマルチメディアビットストリームＳｔ４３を生成する。
このユーザの要望シナリオの内容に編集された、マルチメディアビットストリームＳｔ４３は、記録部１２００に転送される。記録部１２００は、編集マルチメディアビットストリームＭＢＳを記録媒体Ｍに応じた形式のデータＳｔ４３に加工して、記録媒体Ｍに記録する。この場合、マルチメディアビットストリームＭＢＳには、予め、ビデオゾーンフォーマッタ１３００によって生成された媒体上の物理アドレスを示すボリュームファイルストラクチャＶＦＳが含まれる。
また、エンコードされたマルチメディアビットストリームＳｔ３５を、以下に述べるようなデコーダに直接出力して、編集されたタイトル内容を再生するようにしても良い。この場合は、マルチメディアビットストリームＭＢＳには、ボリュームファイルストラクチャＶＦＳは含まれないことは言うまでもない。
オーサリングデコーダＤＣ
次に、図３を参照して、本発明にかかるオーサリングエンコーダＥＣによって、編集されたマルチメディアビットストリームＭＢＳをデコードして、ユーザの要望のシナリオに沿って各タイトルの内容を展開する、オーサリングデコーダＤＣの一実施形態について説明する。なお、本実施形態に於いては、記録媒体Ｍに記録されたオーサリングエンコーダＥＣによってエンコードされたマルチメディアビットストリームＳｔ４５は、記録媒体Ｍに記録されている。
オーサリングデコーダＤＣは、マルチメディアビットストリーム再生部２０００、シナリオ選択部２１００、デコードシステム制御部２３００、ストリームバッファ２４００、システムデコーダ２５００、ビデオバッファ２６００、サブピクチャバッファ２７００、オーディオバッファ２８００、同期制御部２９００、ビデオデコーダ３８００、サブピクチャデコーダ３１００、オーディオデコーダ３２００、合成部３５００、ビデオデータ出力端子３６００、及びオーディオデータ出力端子３７００から構成されている。
マルチメディアビットストリーム再生部２０００は、記録媒体Ｍを駆動させる記録媒体駆動ユニット２００４、記録媒体Ｍに記録されている情報を読み取り二値の読み取り信号Ｓｔ５７を生成する読取ヘッドユニット２００６、読み取り信号ＳＴ５７に種々の処理を施して再生ビットストリームＳｔ６１を生成する信号処理部２００８、及び機構制御部２００２から構成される。機構制御部２００２は、デコードシステム制御部２３００に接続されて、マルチメディアビットストリーム再生指示信号Ｓｔ５３を受けて、それぞれ記録媒体駆動ユニット（モータ）２００４及び信号処理部２００８をそれぞれ制御する再生制御信号Ｓｔ５５及びＳｔ５９を生成する。
デコーダＤＣは、オーサリングエンコーダＥＣで編集されたマルチメディアタイトルの映像、サブピクチャ、及び音声に関する、ユーザの所望の部分が再生されるように、対応するシナリオを選択して再生するように、オーサリングデコーダＤＣに指示を与えるシナリオデータとして出力できるシナリオ選択部２１００を備えている。
シナリオ選択部２１００は、好ましくは、キーボード及びＣＰＵ等で構成される。ユーザーは、オーサリングエンコーダＥＣで入力されたシナリオの内容に基づいて、所望のシナリオをキーボード部を操作して入力する。ＣＰＵは、キーボード入力に基づいて、選択されたシナリオを指示するシナリオ選択データＳｔ５１を生成する。シナリオ選択部２１００は、例えば、赤外線通信装置等によって、デコードシステム制御部２３００に接続されている。デコードシステム制御部２３００は、Ｓｔ５１に基づいてマルチメディアビットストリーム再生部２０００の動作を制御する再生指示信号Ｓｔ５３を生成する。
ストリームバッファ２４００は所定のバッファ容量を有し、マルチメディアビットストリーム再生部２０００から入力される再生信号ビットストリームＳｔ６１を一時的に保存すると共に、及び各ストリームのアドレス情報及び同期初期値データを抽出してストリーム制御データＳｔ６３を生成する。ストリームバッファ２４００は、デコードシステム制御部２３００に接続されており、生成したストリーム制御データＳｔ６３をデコードシステム制御部２３００に供給する。
同期制御部２９００は、デコードシステム制御部２３００に接続されて、同期制御データＳｔ８１に含まれる同期初期値データ（SCR）を受け取り、内部のシステムクロック（STC）セットし、リセットされたシステムクロックＳｔ７９をデコードシステム制御部２３００に供給する。
デコードシステム制御部２３００は、システムクロックＳｔ７９に基づいて、所定の間隔でストリーム読出信号Ｓｔ６５を生成し、ストリームバッファ２４００に入力する。
ストリームバッファ２４００は、読出信号Ｓｔ６５に基づいて、再生ビットストリームＳｔ６１を所定の間隔で出力する。
デコードシステム制御部２３００は、更に、シナリオ選択データＳｔ５１に基づき、選択されたシナリオに対応するビデオ、サブピクチャ、オーディオの各ストリームのＩＤを示すデコードストリーム指示信号Ｓｔ６９を生成して、システムデコーダ２５００に出力する。
システムデコーダ２５００は、ストリームバッファ２４００から入力されてくるビデオ、サブピクチャ、及びオーディオのストリームを、デコード指示信号Ｓｔ６９の指示に基づいて、それぞれ、ビデオエンコードストリームＳｔ７１としてビデオバッファ２６００に、サブピクチャエンコードストリームＳｔ７３としてサブピクチャバッファ２７００に、及びオーディオエンコードストリームＳｔ７５としてオーディオバッファ２８００に出力する。
システムデコーダ２５００は、各ストリームＳｔ６７の各最小制御単位での再生開始時間（PTS）及びデコード開始時間（DTS）を検出し、時間情報信号Ｓｔ７７を生成する。この時間情報信号Ｓｔ７７は、デコードシステム制御部２３００を経由して、同期制御データＳｔ８１として同期制御部２９００に入力される。
同期制御部２９００は、同期制御データＳｔ８１として、各ストリームについて、それぞれがデコード後に所定の順番になるようなデコード開始タイミングを決定する。同期制御部２９００は、このデコードタイミングに基づいて、ビデオストリームデコード開始信号Ｓｔ８９を生成し、ビデオデコーダ３８００に入力する。同様に、同期制御部２９００は、サブピクチャデコード開始信号Ｓｔ９１及びオーディオデコード開始信号ｔ９３を生成し、サブピクチャデコーダ３１００及びオーディオデコーダ３２００にそれぞれ入力する。
ビデオデコーダ３８００は、ビデオストリームデコード開始信号Ｓｔ８９に基づいて、ビデオ出力要求信号Ｓｔ８４を生成して、ビデオバッファ２６００に対して出力する。ビデオバッファ２６００はビデオ出力要求信号Ｓｔ８４を受けて、ビデオストリームＳｔ８３をビデオデコーダ３８００に出力する。ビデオデコーダ３８００は、ビデオストリームＳｔ８３に含まれる再生時間情報を検出し、再生時間に相当する量のビデオストリームＳｔ８３の入力を受けた時点で、ビデオ出力要求信号Ｓｔ８４を無効にする。このようにして、所定再生時間に相当するビデオストリームがビデオデコーダ３８００でデコードされて、再生されたビデオ信号Ｓｔ１０４が合成部３５００に出力される。
同様に、サブピクチャデコーダ３１００は、サブピクチャデコード開始信号Ｓｔ９１に基づいて、サブピクチャ出力要求信号Ｓｔ８６を生成し、サブピクチャバッファ２７００に供給する。サブピクチャバッファ２７００は、サブピクチャ出力要求信号Ｓｔ８６を受けて、サブピクチャストリームＳｔ８５をサブピクチャデコーダ３１００に出力する。サブピクチャデコーダ３１００は、サブピクチャストリームＳｔ８５に含まれる再生時間情報に基づいて、所定の再生時間に相当する量のサブピクチャストリームＳｔ８５をデコードして、サブピクチャ信号Ｓｔ９９を再生して、合成部３５００に出力される。
合成部３５００は、ビデオ信号Ｓｔ１０４及びサブピクチャ信号Ｓｔ９９を重畳させて、マルチピクチャビデオ信号Ｓｔ１０５を生成し、ビデオ出力端子３６００に出力する。
オーディオデコーダ３２００は、オーディオデコード開始信号Ｓｔ９３に基づいて、オーディオ出力要求信号Ｓｔ８８を生成し、オーディオバッファ２８００に供給する。オーディオバッファ２８００は、オーディオ出力要求信号Ｓｔ８８を受けて、オーディオストリームＳｔ８７をオーディオデコーダ３２００に出力する。オーディオデコーダ３２００は、オーディオストリームＳｔ８７に含まれる再生時間情報に基づいて、所定の再生時間に相当する量のオーディオストリームＳｔ８７をデコードして、オーディオ出力端子３７００に出力する。
このようにして、ユーザのシナリオ選択に応答して、リアルタイムにユーザの要望するマルチメディアビットストリームＭＢＳを再生する事ができる。つまり、ユーザが異なるシナリオを選択する度に、オーサリングデコーダＤＣはその選択されたシナリオに対応するマルチメディアビットストリームＭＢＳを再生することによって、ユーザの要望するタイトル内容を再生することができる。
以上述べたように、本発明のオーサリングシステムに於いては、基本のタイトル内容に対して、各内容を表す最小編集単位の複数の分岐可能なサブストリームを所定の時間的相関関係に配列するべく、マルチメディアソースデータをリアルタイム或いは一括してエンコードして、複数の任意のシナリオに従うマルチメディアビットストリームを生成する事ができる。
また、このようにエンコードされたマルチメディアビットストリームを、複数のシナリオの内の任意のシナリオに従って再生できる。そして、再生中であっても、選択したシナリオから別のシナリオを選択し（切り替えて）も、その新たな選択されたシナリオに応じた（動的に）マルチメディアビットストリームを再生できる。また、任意のシナリオに従ってタイトル内容を再生中に、更に、複数のシーンの内の任意のシーンを動的に選択して再生することができる。
このように、本発明に於けるオーサリングシステムに於いては、エンコードしてマルチメディアビットストリームＭＢＳをリアルタイムに再生するだけでなく、繰り返し再生することができる。尚、オーサリングシステムの詳細に関しては、本特許出願と同一出願人による１９９６年９月２７日付けの日本国特許出願に開示されている。
ＤＶＤ
図４に、単一の記録面を有するＤＶＤの一例を示す。本例に於けるＤＶＤ記録媒体ＲＣ１は、レーザー光線ＬＳを照射し情報の書込及び読出を行う情報記録面ＲＳ１と、これを覆う保護層ＰＬ１からなる。更に、記録面ＲＳ１の裏側には、補強層ＢＬ１が設けられている。このように、保護層ＰＬ１側の面を表面ＳＡ、補強層ＢＬ１側の面を裏面ＳＢとする。この媒体ＲＣ１のように、片面に単一の記録層ＲＳ１を有するＤＶＤ媒体を、片面一層ディスクと呼ぶ。
図５に、図４のＣ１部の詳細を示す。記録面ＲＳ１は、金属薄膜等の反射膜を付着した情報層４１０９によって形成されている。その上に、所定の厚さＴ１を有する第１の透明基板４１０８によって保護層ＰＬ１が形成される。所定の厚さＴ２を有する第二の透明基板４１１１によって補強層ＢＬ１が形成される。第一及び第二の透明基盤４１０８及び４１１１は、その間に設けられ接着層４１１０によって、互いに接着されている。
さらに、必要に応じて第２の透明基板４１１１の上にラベル印刷用の印刷層４１１２が設けられる。印刷層４１１２は補強層ＢＬ１の基板４１１１上の全領域ではなく、文字や絵の表示に必要な部分のみ印刷され、他の部分は透明基板４１１１を剥き出しにしてもよい。その場合、裏面ＳＢ側から見ると、印刷されていない部分では記録面ＲＳ１を形成する金属薄膜４１０９の反射する光が直接見えることになり、例えば、金属薄膜がアルミニウム薄膜である場合には背景が銀白色に見え、その上に印刷文字や図形が浮き上がって見える。印刷層４１１２は、補強層ＢＬ１の全面に設ける必要はなく、用途に応じて部分的に設けてもよい。
図６に、更に図５のＣ２部の詳細を示す。光ビームＬＳが入射し情報が取り出される表面ＳＡに於いて、第１の透明基板４１０８と情報層４１０９の接する面は、成形技術により凹凸のピットが形成され、このピットの長さと間隔を変えることにより情報が記録される。つまり、情報層４１０９には第１の透明基板４１０８の凹凸のピット形状が転写される。このピットの長さや間隔はＣＤの場合に比べ短くなり、ピット列で形成する情報トラックもピッチも狭く構成されている。その結果、面記録密度が大幅に向上している。
また、第１の透明基板４１０８のピットが形成されていない表面ＳＡ側は、平坦な面となっている。第２の透明基板４１１１は、補強用であり、第１の透明基板４１０８と同じ材質で構成される両面が平坦な透明基板である。そして所定の厚さＴ１及びＴ２は、共に同じく、例えば０．６ｍｍが好ましいが、それに限定されるものでは無い。
情報の取り出しは、ＣＤの場合と同様に、光ビームＬＳが照射されることにより光スポットの反射率変化として取り出される。ＤＶＤシステムに於いては、対物レンズの開口数ＮＡを大きく、そして光ビームの波長λ小さすることができるため、使用する光スポットＬｓの直径を、ＣＤでの光スポットの約１／１．６に絞り込むことができる。これは、ＣＤシステムに比べて、約１．６倍の解像度を有することを意味する。
ＤＶＤからのデータ読み出しには、波長の短い６５０ｎｍの赤色半導体レーザと対物レンズのＮＡ（開口数）を０．６ｍｍまで大きくした光学系とが用いれらる。これと透明基板の厚さＴを０．６ｍｍに薄くしたこととがあいまって、直径１２０ｍｍの光ディスクの片面に記録できる情報容量が５Ｇバイトを越える。
ＤＶＤシステムは、上述のように、単一の記録面ＲＳ１を有する片側一層ディスクＲＣ１に於いても、ＣＤに比べて記録可能な情報量が１０倍近いため、単位あたりのデータサイズが非常に大きい動画像を、その画質を損なわずに取り扱うことができる。その結果、従来のＣＤシステムでは、動画像の画質を犠牲にしても、再生時間が７４分であるのに比べて、ＤＶＤでは、高画質動画像を２時間以上に渡って記録再生可能である。このようにＤＶＤは、動画像の記録媒体に適しているという特徴がある。
図７及び図８に、上述の記録面ＲＳを複数有するＤＶＤ記録媒体の例を示す。図７のＤＶＤ記録媒体ＲＣ２は、同一側、つまり表側ＳＡに、二層に配された第一及び半透明の第二の記録面ＲＳ１及びＲＳ２を有している。第一の記録面ＲＳ１及び第二の記録面ＲＳ２に対して、それぞれ異なる光ビームＬＳ１及びＬＳ２を用いることにより、同時に二面からの記録再生が可能である。また、光ビームＬＳ１或いはＬＳ２の一方にて、両記録面ＲＳ１及びＲＳ２に対応させても良い。このように構成されたＤＶＤ記録媒体を片面二層ディスクと呼ぶ。この例では、２枚の記録層ＲＳ１及びＲＳ２を配したが、必要に応じて、２枚以上の記録層ＲＳを配したＤＶＤ記録媒体を構成できることは、言うまでもない。このようなディスクを、片面多層ディスクと呼ぶ。
一方、図８のＤＶＤ記録媒体ＲＣ３は、反対側、つまり表側ＳＡ側には第一の記録面ＲＳ１が、そして裏側ＳＢには第二の記録面ＲＳ２、それぞ設けれている。これらの例に於いては、一枚のＤＶＤに記録面を二層もうけた例を示したが、二層以上の多層の記録面を有するように構成できることは言うまでもない。図７の場合と同様に、光ビームＬＳ１及びＬＳ２を個別に設けても良いし、一つの光ビームで両方の記録面ＲＳ１及びＲＳ２の記録再生に用いることもできる。このように構成されたＤＶＤ記録媒体を両面一層ディスクと呼ぶ。また、片面に２枚以上の記録層ＲＳを配したＤＶＤ記録媒体を構成できることは、言うまでもない。このようなディスクを、両面多層ディスクと呼ぶ。
図９及び図１０に、ＤＶＤ記録媒体ＲＣの記録面ＲＳを光ビームＬＳの照射側から見た平面図をそれぞれ示す。ＤＶＤには、内周から外周方向に向けて、情報を記録するトラックＴＲが螺旋状に連続して設けられている。トラックＴＲは、所定のデータ単位毎に、複数のセクターに分割されている。尚、図９では、見易くするために、トラック１周あたり３つ以上のセクターに分割されているように表されている。
通常、トラックＴＲは、図９に示すように、ディスクＲＣＡの内周の端点ＩＡから外周の端点ＯＡに向けて時計回り方向ＤｒＡに巻回されている。このようなディスクＲＣＡを時計回りディスク、そのトラックを時計回りトラックＴＲＡと呼ぶ。また、用途によっては、図１０に示すように、ディスクＲＣＢの外周の端点ＯＢから内周の端点ＩＢに向けて、時計周り方向ＤｒＢに、トラックＴＲＢが巻回されている。この方向ＤｒＢは、内周から外周に向かって見れば、反時計周り方向であるので、図９のディスクＲＣＡと区別するために、反時計回りディスクＲＣＢ及び反時計回りトラックＴＲＢと呼ぶ。上述のトラック巻回方向ＤｒＡ及びＤｒＢは、光ビームが記録再生の為にトラックをスキャンする動き、つまりトラックパス（Track path）である。トラック巻回方向ＤｒＡの反対方向ＲｄＡが、ディスクＲＣＡを回転させる方向である。トラック巻回方向ＤｒＢの反対方向ＲｄＢが、ディスクＲＣＢを回転させる方向である。
図１１に、図７に示す片側二層ディスクＲＣ２の一例であるディスクＲＣ２ｏの展開図を模式的に示す。下側の第一の記録面ＲＳ１は、図９に示すように時計回りトラックＴＲＡが時計回り方向ＤｒＡに設けられている。上側の第二の記録面ＲＳ２には、図１２に示すように反時計回りトラックＴＲＢが反時計回り方向ＤｒＢに設けられている。この場合、上下側のトラック外周端部ＯＢ及びＯＡは、ディスクＲＣ２ｏの中心線に平行な同一線上に位置している。上述のトラックＴＲの巻回方向ＤｒＡ及びＤｒＢは、共に、ディスクＲＣに対するデータの読み書きの方向でもある。この場合、上下のトラックの巻回方向は反対、つまり、上下の記録層のトラックパスＤｒＡ及びＤｒＢが対向している。
対向トラックパスタイプの片側二層ディスクＲＣ２ｏは、第一記録面ＲＳ１に対応してＲｄＡ方向に回転されて、光ビームＬＳがトラックパスＤｒＡに沿って、第一記録面ＲＳ１のトラックをトレースして、外周端部ＯＡに到達した時点で、光ビームＬＳを第二の記録面ＲＳ２の外周端部ＯＢに焦点を結ぶように調節することで、光ビームＬＳは連続的に第二の記録面ＲＳ２のトラックをトレースすることができる。このようにして、第一及び第二の記録面ＲＳ１及びＲＳ２のトラックＴＲＡとＴＲＢとの物理的距離は、光ビームＬＳの焦点を調整することで、瞬間的に解消できる。その結果、対向トラックパスタイプの片側二層ディスクＲＣｏに於いては、上下二層上のトラックを一つの連続したトラックＴＲとして処理することが容易である。故に、図１を参照して述べた、オーサリングシステムに於ける、マルチメディアデータの最大管理単位であるマルチメディアビットストリームＭＢＳを、一つの媒体ＲＣ２ｏの二層の記録層ＲＳ１及びＲＳ２に連続的に記録することができる。
尚、記録面ＲＳ１及びＲＳ２のトラックの巻回方向を、本例で述べたのと反対に、つまり第一記録面ＲＳ１に反時計回りトラックＴＲＢを、第二記録面に時計回りトラックＴＲＡを設け場合は、ディスクの回転方向をＲｄＢに変えることを除けば、上述の例と同様に、両記録面を一つの連続したトラックＴＲを有するものとして用いる。よって、簡便化の為にそのような例に付いての図示等の説明は省く。このように、ＤＶＤを構成することによって、長大なタイトルのマルチメディアビットストリームＭＢＳを一枚の対向トラックパスタイプ片面二層ディスクＲＣ２ｏに収録できる。このようなＤＶＤ媒体を、片面二層対向トラックパス型ディスクと呼ぶ。
図１２に、図７に示す片側二層ディスクＲＣ２の更なる例ＲＣ２ｐの展開図を模式に示す。第一及び第二の記録面ＲＳ１及びＲＳ２は、図９に示すように、共に時計回りトラックＴＲＡが設けられている。この場合、片側二層ディスクＲＣ２ｐは、ＲｄＡ方向に回転されて、光ビームの移動方向はトラックの巻回方向と同じ、つまり、上下の記録層のトラックパスが互いに平行である。この場合に於いても、好ましくは、上下側のトラック外周端部ＯＡ及びＯＡは、ディスクＲＣ２ｐの中心線に平行な同一線上に位置している。それ故に、外周端部ＯＡに於いて、光ビームＬＳの焦点を調節することで、図１１で述べた媒体ＲＣ２ｏと同様に、第一記録面ＲＳ１のトラックＴＲＡの外周端部ＯＡから第二記録面ＲＳ２のトラックＴＲＡの外周端部ＯＡへ瞬間的に、アクセス先を変えることができる。
しかしながら、光ビームＬＳによって、第二の記録面ＲＳ２のトラックＴＲＡを時間的に連続してアクセスするには、媒体ＲＣ２ｐを逆（反ＲｄＡ方向に）回転させれば良い。しかし、光りビームの位置に応じて、媒体の回転方向を変えるのは効率が良くないので、図中で矢印で示されているように、光ビームＬＳが第一記録面ＲＳ１のトラック外周端部ＯＡに達した後に、光ビームを第二記録面ＲＳ２のトラック内周端部ＩＡに、移動させることで、論理的に連続した一つのトラックとして用いることができ。また、必要であれば、上下の記録面のトラックを一つの連続したトラックとして扱わずに、それぞれ別のトラックとして、各トラックにマルチメディアビットストリームＭＢＳを一タイトルづつ記録してもよい。このようなＤＶＤ媒体を、片面二層平行トラックパス型ディスクと呼ぶ。
尚、両記録面ＲＳ１及びＲＳ２のトラックの巻回方向を本例で述べたのと反対に、つまり反時計回りトラックＴＲＢを設けても、ディスクの回転方向をＲｄＢにすることを除けば同様である。この片面二層平行トラックパス型ディスクは、百科事典のような頻繁にランダムアクセスが要求される複数のタイトルを一枚の媒体ＲＣ２ｐに収録する用途に適している。
図１３に、図８に示す片面にそれぞれ一層の記録面ＲＳ１及びＲＳ２を有する両面一層型のＤＶＤ媒体ＲＣ３の一例ＲＣ３ｓの展開図を示す。一方の記録面ＲＳ１は、時計回りトラックＴＲＡが設けられ、他方の記録面ＲＳ２には、反時計回りトラックＴＲＢが設けられている。この場合に於いても、好ましくは、両記録面のトラック外周端部ＯＡ及びＯＢは、ディスクＲＣ３ｓの中心線に平行な同一線上に位置している。これらの記録面ＲＳ１とＲＳ２は、トラックの巻回方向は反対であるが、トラックパスが互いに面対称の関係にある。このようなディスクＲＣ３ｓを両面一層対称トラックパス型ディスクと呼ぶ。この両面一層対称トラックパス型ディスクＲＣ３ｓは、第一の記録媒体ＲＳ１に対応してＲｄＡ方向に回転される。その結果、反対側の第二の記録媒体ＲＳ２のトラックパスは、そのトラック巻回方向ＤｒＢと反対の方向、つまりＤｒＡである。この場合、連続、非連続的に関わらず、本質的に二つの記録面ＲＳ１及びＲＳ２に同一の光ビームＬＳでアクセスする事は実際的ではない。それ故に、表裏の記録面のそれぞれに、マルチメディアビットストリームＭＳＢを記録する。
図１４に、図８に示す両面一層ＤＶＤ媒体ＲＣ３の更なる例ＲＣ３ａの展開図を示す。両記録面ＲＳ１及びＲＳ２には、共に、図９に示すように時計回りトラックＴＲＡが設けられている。この場合に於いても、好ましくは、両記録面側ＲＳ１及びＲＳ２のトラック外周端部ＯＡ及びＯＡは、ディスクＲＣ３ａの中心線に平行な同一線上に位置している。但し、本例に於いては、先に述べた両面一層対象トラックパス型ディスクＲＣ３ｓと違って、これらの記録面ＲＳ１とＲＳ２上のトラックは非対称の関係にある。このようなディスクＲＣ３ａを両面一層非対象トラックパス型ディスクと呼ぶ。この両面一層非対象トラックパス型ディスクＲＣ３ｓは、第一の記録媒体ＲＳ１に対応してＲｄＡ方向に回転される。その結果、反対側の第二の記録面ＲＳ２のトラックパスは、そのトラック巻回方向ＤｒＡと反対の方向、つまりＤｒＢ方向である。
故に、単一の光ビームＬＳを第一記録面ＲＳ１の内周から外周へ、そして第二記録面ＲＳ２の外周から内周へと、連続的に移動させれば記録面毎に異なる光ビーム源を用意しなくても、媒体ＰＣ３ａを表裏反転させずに両面の記録再生が可能である。また、この両面一層非対象トラックパス型ディスクでは、両記録面ＲＳ１及びＲＳ２のトラックパスが同一である。それ故に、媒体ＰＣ３ａの表裏を反転することにより、記録面毎に異なる光ビーム源を用意しなくても、単一の光ビームＬＳで両面の記録再生が可能であり、その結果、装置を経済的に製造することができる。尚、両記録面ＲＳ１及びＲＳ２に、トラックＴＲＡの代わりにトラックＴＲＢを設けても、本例と基本的に同様である。
上述の如く、記録面の多層化によって、記録容量の倍増化が容易なＤＶＤシステムによって、１枚のディスク上に記録された複数の動画像データ、複数のオーディオデータ、複数のグラフィックスデータなどをユーザとの対話操作を通じて再生するマルチメディアの領域に於いてその真価を発揮する。つまり、従来ソフト提供者の夢であった、ひとつの映画を製作した映画の品質をそのまま記録で、多数の異なる言語圏及び多数の異なる世代に対して、一つの媒体により提供することを可能とする。
パレンタル
従来は、映画タイトルのソフト提供者は、同一のタイトルに関して、全世界の多数の言語、及び欧米各国で規制化されているパレンタルロックに対応した個別のパッケージとしてマルチレイティッドタイトル（Multi-rated title）を制作、供給、管理しないといけなかった。この手間は、たいへん大きなものであった。また、これは、高画質もさることながら、意図した通りに再生できることが重要である。このような願いの解決に一歩近づく記録媒体がＤＶＤである。
マルチアングル
また、対話操作の典型的な例として、１つのシーンを再生中に、別の視点からのシーンに切替えるというマルチアングルという機能が要求されている。これは、例えば、野球のシーンであれば、バックネット側から見た投手、捕手、打者を中心としたアングル、バックネット側から見た内野を中心としたアングル、センター側から見た投手、捕手、打者を中心としたアングルなどいくつかのアングルの中から、ユーザが好きなものをあたかもカメラを切り替えているように、自由に選ぶというようなアプリケーションの要求がある。
ＤＶＤでは、このような要求に応えるべく動画像、オーディオ、グラフィックスなどの信号データを記録する方式としてビデオＣＤと同様のＭＰＥＧが使用されている。ビデオＣＤとＤＶＤとでは、その容量と転送速度および再生装置内の信号処理性能の差から同じＭＰＥＧ形式といっても、ＭＰＥＧ１とＭＰＥＧ２という多少異なる圧縮方式、データ形式が採用されている。ただし、ＭＰＥＧ１とＭＰＥＧ２の内容及びその違いについては、本発明の趣旨とは直接関係しないため説明を省略する（例えば、ＩＳＯ１１１７２、ＩＳＯ１３８１８のＭＰＥＧ規格書参照）。
本発明に掛かるＤＶＤシステムのデータ構造に付いて、図１６、図１７、図１８、図１９、及び図２０を参照して、後で説明する。
マルチシーン
上述の、パレンタルロック再生及びマルチアングル再生の要求を満たすために、各要求通りの内容のタイトルを其々に用意していれば、ほんの一部分の異なるシーンデータを有する概ね同一内容のタイトルを要求数だけ用意して、記録媒体に記録しておかなければならない。これは、記録媒体の大部分の領域に同一のデータを繰り返し記録することになるので、記録媒体の記憶容量の利用効率を著しく疎外する。さらに、ＤＶＤの様な大容量の記録媒体をもってしても、全ての要求に対応するタイトルを記録することは不可能である。この様な問題は、基本的に記録媒体の容量を増やせれば解決するとも言えるが、システムリソースの有効利用の観点から非常に望ましくない。
ＤＶＤシステムに於いては、以下にその概略を説明するマルチシーン制御を用いて、多種のバリエーションを有するタイトルを最低必要限度のデータでもって構成し、記録媒体等のシステムリソースの有効活用を可能としている。つまり、様々なバリエーションを有するタイトルを、各タイトル間での共通のデータからなる基本シーン区間と、其々の要求に即した異なるシーン群からなるマルチシーン区間とで構成する。そして、再生時に、ユーザが各マルチシーン区間での特定のシーンを自由、且つ随時に選択できる様にしておく。なお、パレンタルロック再生及びマルチアングル再生を含むマルチシーン制御に関して、後で、図２１を参照して説明する。
ＤＶＤシステムのデータ構造
図２２に、本発明に掛かるＤＶＤシステムに於ける、オーサリングデータのデータ構造を示す。ＤＶＤシステムでは、マルチメディアビットストリームＭＢＳを記録する為に、リードイン領域ＬＩ、ボリューム領域ＶＳと、リードアウト領域ＬＯに３つに大別される記録領域を備える。
リードイン領域ＬＩは、光ディスクの最内周部に、例えば、図９及び図１０で説明したディスクに於いては、そのトラックの内周端部ＩＡ及びＩＢに位置している。リードイン領域ＬＩには、再生装置の読み出し開始時の動作安定用のデータ等が記録される。
リードアウト領域ＬＯは、光ディスクの最外周に、つまり図９及び図１０で説明したトラックの外周端部ＯＡ及びＯＢに位置している。このリードアウト領域ＬＯには、ボリューム領域ＶＳが終了したことを示すデータ等が記録される。
ボリューム領域ＶＳは、リードイン領域ＬＩとリードアウト領域ＬＯの間に位置し、２０４８バイトの論理セクタＬＳが、ｎ＋１個（ｎは０を含む正の整数）一次元配列として記録される。各論理セクタＬＳはセクタナンバー（＃０、＃１、＃２、・・＃ｎ）で区別される。更に、ボリューム領域ＶＳは、ｍ＋１個の論理セクタＬＳ＃０〜ＬＳ＃ｍ（ｍはｎより小さい０を含む正の整数）から形成されるボリューム／ファイル管理領域（Volume and File Structure）ＶＦＳと、ｎ−ｍ個の論理セクタＬＳ＃ｍ＋１〜ＬＳ＃ｎから形成されるファイルデータ領域（File-Data Structure）ＦＤＳに分別される。このファイルデータ領域ＦＤＳは、図１に示すマルチメディアビットストリームＭＢＳに相当する。
ボリューム／ファイル管理領域ＶＦＳは、ボリューム領域ＶＳのデータをファイルとして管理する為のファイルシステムであり、ディスク全体の管理に必要なデータの収納に必要なセクタ数ｍ（ｍはｎより小さい自然数）の論理セクタＬＳ＃０からＬＳ＃ｍによって形成されている。このボリューム／ファイル管理領域ＶＦＳには、例えば、ＩＳＯ９６６０、及びＩＳＯ１３３４６などの規格に従って、ファイルデータ領域ＦＤＳ内のファイルの情報が記録される。
ファイルデータ領域ＦＤＳは、ｎ−ｍ個の論理セクタＬＳ＃ｍ＋１〜ＬＳ＃ｎから構成されており、それぞれ、論理セクタの整数倍（２０４８×Ｉ、Ｉは所定の整数）のサイズを有するビデオマネージャＶＭＧと、及びｋ個のビデオタイトルセットＶＴＳ＃１〜ＶＴＳ＃ｋ（ｋは、１００より小さい自然数）を含む。
ビデオマネージャＶＭＧは、ディスク全体のタイトル管理情報を表す情報を保持すると共に、ボリューム全体の再生制御の設定／変更を行うためのメニューであるボリュームメニューを表す情報を有する。ビデオタイトルセットＶＴＳ＃ｋ‘は、単にビデオファイルとも呼び、動画、オーディオ、静止画などのデータからなるタイトルを表す。
図１６は、図２２のビデオタイトルセットＶＴＳの内部構造を示す。ビデオタイトルセットＶＴＳは、ディスク全体の管理情報を表すＶＴＳ情報（ＶＴＳＩ）と、マルチメディアビットストリームのシステムストリームであるＶＴＳタイトル用ＶＯＢＳ（VTSTT VOBS）に大別される。先ず、以下にＶＴＳ情報について説明した後に、ＶＴＳタイトル用ＶＯＢＳについて説明する。
ＶＴＳ情報は、主に、ＶＴＳＩ管理テーブル（VTSI MAT）及びＶＴＳＰＧＣ情報テーブル（VTS PGCIT）を含む。
ＶＴＳＩ管理テーブルは、ビデオタイトルセットＶＴＳの内部構成及び、ビデオタイトルセットＶＴＳ中に含まれる選択可能なオーディオストリームの数、サブピクチャの数およびビデオタイトルセットＶＴＳの格納場所等が記述される。
ＶＴＳＰＧＣ情報管理テーブルは、再生順を制御するプログラムチェーン（ＰＧＣ）を表すｉ個（ｉは自然数）のＰＧＣ情報VTS PGCI#1〜VTS PGCI#Iを記録したテーブルである。各エントリーのＰＧＣ情報VTS PGCI#Iは、プログラムチェーンを表す情報であり、ｊ個（ｊは自然数）のセル再生情報C PBI#1〜C PBI#jから成る。各セル再生情報C PBI#jは、セルの再生順序や再生に関する制御情報を含む。
また、プログラムチェーンＰＧＣとは、タイトルのストーリーを記述する概念であり、セル（後述）の再生順を記述することでタイトルを形成する。上記ＶＴＳ情報は、例えば、メニューに関する情報の場合には、再生開始時に再生装置内のバッファに格納され、再生の途中でリモコンの「メニュー」キーが押下された時点で再生装置により参照され、例えば＃１のトップメニューが表示される。階層メニューの場合は、例えば、プログラムチェーン情報VTS PGCI#1が「メニュー」キー押下により表示されるメインメニューであり、＃２から＃９がリモコンの「テンキー」の数字に対応するサブメニュー、＃１０以降がさらに下位層のサブメニューというように構成される。また例えば、＃１が「メニュー」キー押下により表示されるトップメニュー、＃２以降が「テン」キーの数字に対応して再生される音声ガイダンスというように構成される。
メニュー自体は、このテーブルに指定される複数のプログラムチェーンで表されるので、階層メニューであろうが、音声ガイダンスを含むメニューであろうが、任意の形態のメニューを構成することを可能にしている。
また例えば、映画の場合には、再生開始時に再生装置内のバッファに格納され、ＰＧＣ内に記述しているセル再生順序を再生装置が参照し、システムストリームを再生する。
ここで言うセルとは、システムストリームの全部または一部であり、再生時のアクセスポイントとして使用される。たとえば、映画の場合は、タイトルを途中で区切っているチャプターとして使用する事ができる。
尚、エントリーされたＰＧＣ情報C PBI#jの各々は、セル再生処理情報及び、セル情報テーブルを含む。再生処理情報は、再生時間、繰り返し回数などのセルの再生に必要な処理情報から構成される。ブロックモード（ＣＢＭ）、セルブロックタイプ（CBT）、シームレス再生フラグ（SPF）、インターリーブブロック配置フラグ（IAF）、ＳＴＣ再設定フラグ（ＳＴＣＤＦ）、セル再生時間（C PBTM）、シームレスアングル切替フラグ（SACF）、セル先頭ＶＯＢＵ開始アドレス（C FVOBU SA）、及びセル終端ＶＯＢＵ開始アドレス（C LVOBU SA）から成る。
ここで言う、シームレス再生とは、ＤＶＤシステムに於いて、映像、音声、副映像等のマルチメディアデータを、各データ及び情報を中断する事無く再生することであり、詳しくは、図２３及び図２４参照して後で説明する。
ブロックモードＣＢＭは複数のセルが１つの機能ブロックを構成しているか否かを示し、機能ブロックを構成する各セルのセル再生情報は、連続的にＰＧＣ情報内に配置され、その先頭に配置されるセル再生情報のＣＢＭには、“ブロックの先頭セル”を示す値、その最後に配置されるセル再生情報のＣＢＭには、“ブロックの最後のセル”を示す値、その間に配置されるセル再生情報のＣＢＭには“ブロック内のセル”を示す値を示す。
セルブロックタイプCBTは、ブロックモードＣＢＭで示したブロックの種類を示すものである。例えばマルチアングル機能を設定する場合には、各アングルの再生に対応するセル情報を、前述したような機能ブロックとして設定し、さらにそのブロックの種類として、各セルのセル再生情報のCBTに“アングル”を示す値を設定する。
シームレス再生フラグSPFは、該セルが前に再生されるセルまたはセルブロックとシームレスに接続して再生するか否かを示すフラグであり、前セルまたは前セルブロックとシームレスに接続して再生する場合には、該セルのセル再生情報のSPFにはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
インターリーブアロケーションフラグＩＡＦは、該セルがインターリーブ領域に配置されているか否かを示すフラグであり、インターリーブ領域に配置されている場合には、該セルのインターリーブアロケーションフラグＩＡＦにはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
ＳＴＣ再設定フラグＳＴＣＤＦは、同期をとる際に使用するＳＴＣをセルの再生時に再設定する必要があるかないかの情報であり、再設定が必要な場合にはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
シームレスアングルチェンジフラグＳＡＣＦは、該セルがアングル区間に属しかつ、シームレスに切替える場合、該セルのシームレスアングルチェンジフラグＳＡＣＦにはフラグ値１を設定する。そうでない場合には、フラグ値０を設定する。
セル再生時間（C PBTM）はセルの再生時間をビデオのフレーム数精度で示している。
C LVOBU SAは、セル終端ＶＯＢＵ開始アドレスを示し、その値はＶＴＳタイトル用ＶＯＢＳ（VTSTT VOBS）の先頭セルの論理セクタからの距離をセクタ数で示している。C FVOBU SAはセル先頭ＶＯＢＵ開始アドレスを示し、ＶＴＳタイトル用ＶＯＢＳ（VTSTT VOBS）の先頭セルの論理セクタから距離をセクタ数で示している。
次に、ＶＴＳタイトル用ＶＯＢＳ、つまり、１マルチメディアシステムストリームデータVTSTT VOBSに付いて説明する。システムストリームデータVTSTT VOBSは、ビデオオブジェクトＶＯＢと呼ばれるｉ個（ｉは自然数）のシステムストリームＳＳからなる。各ビデオオブジェクトVOB#1〜VOB#iは、少なくとも１つのビデオデータで構成され、場合によっては最大８つのオーディオデータ、最大３２の副映像データまでがインターリーブされて構成される。
各ビデオオブジェクトＶＯＢは、ｑ個（ｑは自然数）のセルＣ＃１〜Ｃ＃ｑから成る。各セルＣは、ｒ個（ｒは自然数）のビデオオブジェクトユニットＶＯＢＵ＃１〜ＶＯＢＵ＃ｒから形成される。
各ＶＯＢＵは、ビデオエンコードのリフレッシュ周期であるＧＯＰ（Grope Of Picture）の複数個及び、それに相当する時間のオーディオおよびサブピクチャからなる。また、各ＶＯＢＵの先頭には、該ＶＯＢＵの管理情報であるナブパックＮＶを含む。ナブパックＮＶの構成については、図１９を参照して後述する。
図１７に、図２５を参照して後述するエンコーダＥＣによってエンコードされたシステムストリームＳｔ３５（図２５）、つまりビデオゾーンＶＺ（図２２）の内部構造を示す。同図に於いて、ビデオエンコードストリームＳｔ１５は、ビデオエンコーダ３００によってエンコードされた、圧縮された一次元のビデオデータ列である。オーディオエンコードストリームＳｔ１９も、同様に、オーディオエンコーダ７００によってエンコードされた、ステレオの左右の各データが圧縮、及び統合された一次元のオーディオデータ列である。また、オーディオデータとしてサラウンド等のマルチチャネルでもよい。
システムストリームＳｔ３５は、図２２で説明した、２０４８バイトの容量を有する論理セクタＬＳ＃ｎに相当するバイト数を有するパックが一次元に配列された構造を有している。システムストリームＳｔ３５の先頭、つまりＶＯＢＵの先頭には、ナビゲーションパックＮＶと呼ばれる、システムストリーム内のデータ配列等の管理情報を記録した、ストリーム管理パックが配置される。
ビデオエンコードストリームＳｔ１５及びオーディオエンコードストリームＳｔ１９は、それぞれ、システムストリームのパックに対応するバイト数毎にパケット化される。これらパケットは、図中で、Ｖ１、Ｖ２、Ｖ３、Ｖ４、・・、及びＡ１、Ａ２、・・と表現されている。これらパケットは、ビデオ、オーディオ各データ伸長用のデコーダの処理時間及びデコーダのバッファサイズを考慮して適切な順番に図中のシステムストリームＳｔ３５としてインターリーブされ、パケットの配列をなす。例えば、本例ではＶ１、Ｖ２、Ａ１、Ｖ３、Ｖ４、Ａ２の順番に配列されている。
図１７では、一つの動画像データと一つのオーディオデータがインターリーブされた例を示している。しかし、ＤＶＤシステムに於いては、記録再生容量が大幅に拡大され、高速の記録再生が実現され、信号処理用ＬＳＩの性能向上が図られた結果、一つの動画像データに複数のオディオデータや複数のグラフィックスデータである副映像データが、一つのＭＰＥＧシステムストリームとしてインターリーブされた形態で記録され、再生時に複数のオーディオデータや複数の副映像データから選択的な再生を行うことが可能となる。図１８に、このようなＤＶＤシステムで利用されるシステムストリームの構造を表す。
図１８に於いても、図１７と同様に、パケット化されたビデオエンコードストリームＳｔ１５は、Ｖ１、Ｖ２、Ｖ３、Ｖ４、・・・と表されている。但し、この例では、オーディオエンコードストリームＳｔ１９は、一つでは無く、Ｓｔ１９Ａ、Ｓｔ１９Ｂ、及びＳｔ１９Ｃと３列のオーディオデータ列がソースとして入力されている。更に、副画像データ列であるサブピクチャエンコードストリームＳｔ１７も、Ｓｔ１７Ａ及びＳｔ１７Ｂと二列のデータがソースとして入力されている。これら、合計６列の圧縮データ列が、一つのシステムストリームＳｔ３５にインターリーブされる。
ビデオデータはＭＰＥＧ方式で符号化されており、ＧＯＰという単位が圧縮の単位になっており、ＧＯＰ単位は、標準的にはＮＴＳＣの場合、１５フレームで１ＧＯＰを構成するが、そのフレーム数は可変になっている。インターリーブされたデータ相互の関連などの情報をもつ管理用のデータを表すストリーム管理パックも、ビデオデータを基準とするＧＯＰを単位とする間隔で、インターリーブされる事になり、ＧＯＰを構成するフレーム数が変われば、その間隔も変動する事になる。ＤＶＤでは、その間隔を再生時間長で、０．４秒から１．０秒の範囲内として、その境界はＧＯＰ単位としている。もし、連続する複数のＧＯＰの再生時間が１秒以下であれば、その複数ＧＯＰのビデオデータに対して、管理用のデータパックが１つのストリーム中にインターリーブされる事になる。
ＤＶＤではこのような、管理用データパックをナブパックＮＶと呼び、このナブパックＮＶから、次のナブパックＮＶ直前のパックまでをビデオオブジェクトユニット（以下ＶＯＢＵと呼ぶ）と呼び、一般的に１つのシーンと定義できる１つの連続した再生単位をビデオオブジェクトと呼び（以下ＶＯＢと呼ぶ）、１つ以上のＶＯＢＵから構成される事になる。また、ＶＯＢが複数集まったデータの集合をＶＯＢセット（以下ＶＯＢＳと呼ぶ）と呼ぶ。これらは、ＤＶＤに於いて初めて採用されたデータ形式である。
このように複数のデータ列がインターリーブされる場合、インターリーブされたデータ相互の関連を示す管理用のデータを表すナビゲーションパックＮＶも、所定のパック数単位と呼ばれる単位でインターリーブされる必要がある。ＧＯＰは、通常１２から１５フレームの再生時間に相当する約０．５秒のビデオデータをまとめた単位であり、この時間の再生に要するデータパケット数に一つのストリーム管理パケットがインターリーブされると考えられる。
図１９は、システムストリームを構成する、インターリーブされたビデオデータ、オーディオデータ、副映像データのパックに含まれるストリーム管理情報を示す説明図である。同図のようにシステムストリーム中の各データは、ＭＰＥＧ２に準拠するパケット化およびパック化された形式で記録される。ビデオ、オーディオ、及び副画像データ共、パケットの構造は、基本的に同じである。ＤＶＤシステムに於いては、１パックは、前述の如く２０４８バイトの容量を有し、ＰＥＳパケットと呼ばれる１パケットを含み、パックヘッダＰＫＨ、パケットヘッダＰＴＨ、及びデータ領域から成る。
パックヘッダＰＫＨ中には、そのパックが図２６におけるストリームバッファ２４００からシステムデコーダ２５００に転送されるべき時刻、つまりＡＶ同期再生のための基準時刻情報、を示すＳＣＲが記録されている。ＭＰＥＧに於いては、このＳＣＲをデコーダ全体の基準クロックとすること、を想定しているが、ＤＶＤなどのディスクメディアの場合には、個々のプレーヤに於いて閉じた時刻管理で良い為、別途にデコーダ全体の時刻の基準となるクロックを設けている。また、パケットヘッダＰＴＨ中には、そのパケットに含まれるビデオデータ或はオーディオデータがデコードされた後に再生出力として出力されるべき時刻を示すＰＴＳや、ビデオストリームがデコードされるべき時刻を示すＤＴＳなどが記録されているＰＴＳおよびＤＴＳは、パケット内にデコード単位であるアクセスユニットの先頭がある場合に置かれ、ＰＴＳはアクセスユニットの表示開始時刻を示し、ＤＴＳはアクセスユニットのデコード開始時刻を示している。また、ＰＴＳとＤＴＳが同時刻の場合、ＤＴＳは省略される。
更に、パケットヘッダＰＴＨには、ビデオデータ列を表すビデオパケットであるか、プライベートパケットであるか、ＭＰＥＧオーディオパケットであるかを示す８ビット長のフィールドであるストリームＩＤが含まれている。
ここで、プライベートパケットとは、ＭＰＥＧ２の規格上その内容を自由に定義してよいデータであり、本実施形態では、プライベートパケット１を使用してオーディオデータ（ＭＰＥＧオーディオ以外）および副映像データを搬送し、プライベートパケット２を使用してＰＣＩパケットおよびＤＳＩパケットを搬送している。
プライベートパケット１およびプライベートパケット２はパケットヘッダ、プライベートデータ領域およびデータ領域からなる。プライベートデータ領域には、記録されているデータがオーディオデータであるか副映像データであるかを示す、８ビット長のフィールドを有するサブストリームＩＤが含まれる。プライベートパケット２で定義されるオーディオデータは、リニアＰＣＭ方式、ＡＣ−３方式それぞれについて＃０〜＃７まで最大８種類が設定可能である。また副映像データは、＃０〜＃３１までの最大３２種類が設定可能である。
データ領域は、ビデオデータの場合はＭＰＥＧ２形式の圧縮データ、オーディオデータの場合はリニアＰＣＭ方式、ＡＣ−３方式又はＭＰＥＧ方式のデータ、副映像データの場合はランレングス符号化により圧縮されたグラフィックスデータなどが記録されるフィールドである。
また、ＭＰＥＧ２ビデオデータは、その圧縮方法として、固定ビットレート方式（以下「ＣＢＲ」とも記す）と可変ビットレート方式（以下「ＶＢＲ」とも記す）が存在する。固定ビットレート方式とは、ビデオストリームが一定レートで連続してビデオバッファへ入力される方式である。これに対して、可変ビットレート方式とは、ビデオストリームが間欠して（断続的に）ビデオバッファへ入力される方式であり、これにより不要な符号量の発生を抑えることが可能である。ＤＶＤでは、固定ビットレート方式および可変ビットレート方式とも使用が可能である。ＭＰＥＧでは、動画像データは、可変長符号化方式で圧縮されるために、ＧＯＰのデータ量が一定でない。さらに、動画像とオーディオのデコード時間が異なり、光ディスクから読み出した動画像データとオーディオデータの時間関係とデコーダから出力される動画像データとオーディオデータの時間関係が一致しなくなる。このため、動画像とオーディオの時間的な同期をとる方法を、図２６を参照して、後程、詳述するが、一先ず、簡便のため固定ビットレート方式を基に説明をする。
図２０に、ナブパックＮＶの構造を示す。ナブパックＮＶは、ＰＣＩパケットとＤＳＩパケットからなり、先頭にパックヘッダＰＫＨを設けている。ＰＫＨには、前述したとおり、そのパックが図２６におけるストリームバッファ２４００からシステムデコーダ２５００に転送されるべき時刻、つまりＡＶ同期再生のための基準時刻情報を示すＳＣＲが記録されている。
ＰＣＩパケットは、ＰＣＩ情報（PCI GI）と非シームレスマルチアングル情報（NSML AGLI）を有している。
ＰＣＩ情報（PCI GI）には、該ＶＯＢＵに含まれるビデオデータの先頭ビデオフレーム表示時刻（VOBU S PTM）及び最終ビデオフレーム表示時刻（VOBU E PTM）をシステムクロック精度（９０ＫＨｚ）で記述する。
非シームレスマルチアングル情報（NSML AGLI）には、アングルを切り替えた場合の読み出し開始アドレスをＶＯＢ先頭からのセクタ数として記述する。この場合、アングル数は９以下であるため、領域として９アングル分のアドレス記述領域（NSML AGL C1 DSTA〜NSML AGL C9 DSTA）を有す。
ＤＳＩパケットにはＤＳＩ情報（DSI GI）、シームレス再生情報（SML PBI）およびシームレスマルチアングル再生情報（SML AGLI）を有している。
ＤＳＩ情報（DSI GI）として該ＶＯＢＵ内の最終パックアドレス（VOBU EA）をＶＯＢＵ先頭からのセクタ数として記述する。
シームレス再生に関しては後述するが、分岐あるいは結合するタイトルをシームレスに再生するために、連続読み出し単位をＩＬＶＵとして、システムストリームレベルでインターリーブ（多重化）する必要がある。複数のシステムストリームがＩＬＶＵを最小単位としてインターリーブ処理されている区間をインターリーブブロックと定義する。
このようにＩＬＶＵを最小単位としてインターリーブされたストリームをシームレスに再生するために、シームレス再生情報（SML PBI）を記述する。シームレス再生情報（SML PBI）には、該ＶＯＢＵがインターリーブブロックかどうかを示すインターリーブユニットフラグ（ILVU flag）を記述する。このフラグはインターリーブ領域に（後述）に存在するかを示すものであり、インターリーブ領域に存在する場合”１”を設定する。そうでない場合には、フラグ値０を設定する。
また、該ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵがＩＬＶＵの最終ＶＯＢＵかを示すユニットエンドフラグ（UNIT END Flag）を記述する。ＩＬＶＵは、連続読み出し単位であるので、現在読み出しているＶＯＢＵが、ＩＬＶＵの最後のＶＯＢＵであれば”１”を設定する。そうでない場合には、フラグ値０を設定する。
該ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵが属するＩＬＶＵの最終パックのアドレスを示すＩＬＶＵ最終パックアドレス（ILVU EA）を記述する。ここでアドレスとして、該ＶＯＢＵのＮＶからのセクタ数で記述する。
また、該ＶＯＢＵがインターリーブ領域に存在する場合、次のＩＬＶＵの開始アドレス（NT ILVU SA）を記述する。ここでアドレスとして、該ＶＯＢＵのＮＶからのセクタ数で記述する。
また、２つのシステムストリームをシームレスに接続する場合に於いて、特に接続前と接続後のオーディオが連続していない場合（異なるオーディオの場合等）、接続後のビデオとオーディオの同期をとるためにオーディオを一時停止（ポーズ）する必要がある。例えば、ＮＴＳＣの場合、ビデオのフレーム周期は約33.33msecであり、オーディオＡＣ３のフレーム周期は32msecである。
このためにオーディオを停止する時間および期間情報を示すオーディオ再生停止時刻１（VOBU A STP PTM1）、オーディオ再生停止時刻２（VOBU A STP PTM2）、オーディオ再生停止期間１（VOB A GAP LEN1）、オーディオ再生停止期間２（VOB A GAP LEN2）を記述する。この時間情報はシステムクロック精度（９０ＫＨｚ）で記述される。
また、シームレスマルチアングル再生情報（SML AGLI）として、アングルを切り替えた場合の読み出し開始アドレスを記述する。このフィールドはシームレスマルチアングルの場合に有効なフィールドである。このアドレスは該ＶＯＢＵのＮＶからのセクタ数で記述される。また、アングル数は９以下であるため、領域として９アングル分のアドレス記述領域：（SML AGL C1 DSTA〜SML AGL C9 DSTA）を有す。
ＤＶＤエンコーダ
図２５に、本発明に掛かるマルチメディアビットストリームオーサリングシステムを上述のＤＶＤシステムに適用した場合の、オーサリングエンコーダＥＣＤの一実施形態を示す。ＤＶＤシステムに適用したオーサリングエンコーダＥＣＤ（以降、ＤＶＤエンコーダと呼称する）は、図２に示したオーサリングエンコーダＥＣに、非常に類似した構成になっている。ＤＶＤオーサリングエンコーダＥＣＤは、基本的には、オーサリングエンコーダＥＣのビデオゾーンフォーマッタ１３００が、ＶＯＢバッファ１０００とフォーマッタ１１００にとって変わられた構造を有している。言うまでもなく、本発明のエンコーダによってエンコードされたビットストリームは、ＤＶＤ媒体Ｍに記録される。以下に、ＤＶＤオーサリングエンコーダＥＣＤの動作をオーサリングエンコーダＥＣと比較しながら説明する。
ＤＶＤオーサリングエンコーダＥＣＤに於いても、オーサリングエンコーダＥＣと同様に、編集情報作成部１００から入力されたユーザーの編集指示内容を表すシナリオデータＳｔ７に基づいて、エンコードシステム制御部２００が、各制御信号Ｓｔ９、Ｓｔ１１、Ｓｔ１３、Ｓｔ２１、Ｓｔ２３、Ｓｔ２５、Ｓｔ３３、及びＳｔ３９を生成して、ビデオエンコーダ３００、サブピクチャエンコーダ５００、及びオーディオエンコーダ７００を制御する。尚、ＤＶＤシステムに於ける編集指示内容とは、図２５を参照して説明したオーサリングシステムに於ける編集指示内容と同様に、複数のタイトル内容を含む各ソースデータの全部或いは、其々に対して、所定時間毎に各ソースデータの内容を一つ以上選択し、それらの選択された内容を、所定の方法で接続再生するような情報を含無と共に、更に、以下の情報を含む。つまり、マルチタイトルソースストリームを、所定時間単位毎に分割した編集単位に含まれるストリーム数、各ストリーム内のオーディオ数やサブピクチャ数及びその表示期間等のデータ、パレンタルあるいはマルチアングルなど複数ストリームから選択するか否か、設定されたマルチアングル区間でのシーン間の切り替え接続方法などの情報を含む。
尚、ＤＶＤシステムに於いては、シナリオデータＳｔ７には、メディアソースストリームをエンコードするために必要な、ＶＯＢ単位での制御内容、つまり、マルチアングルであるかどうか、パレンタル制御を可能とするマルチレイティッドタイトルの生成であるか、後述するマルチアングルやパレンタル制御の場合のインターリーブとディスク容量を考慮した各ストリームのエンコード時のビットレート、各制御の開始時間と終了時間、前後のストリームとシームレス接続するか否かの内容が含まれる。エンコードシステム制御部２００は、シナリオデータＳｔ７から情報を抽出して、エンコード制御に必要な、エンコード情報テーブル及びエンコードパラメータを生成する。エンコード情報テーブル及びエンコードパラメータについては、後程、図２７、図２８、及び図２９を参照して詳述する。
システムストリームエンコードパラメータデータ及びシステムエンコード開始終了タイミングの信号Ｓｔ３３には上述の情報をＤＶＤシステムに適用してＶＯＢ生成情報を含む。ＶＯＢ生成情報として、前後の接続条件、オーディオ数、オーディオのエンコード情報、オーディオＩＤ、サブピクチャ数、サブピクチャＩＤ、ビデオ表示を開始する時刻情報（ＶＰＴＳ）、オーディオ再生を開始する時刻情報（ＡＰＴＳ）等がある。更に、マルチメディア尾ビットストリームＭＢＳのフォーマットパラメータデータ及びフォーマット開始終了タイミングの信号Ｓｔ３９は、再生制御情報及びインターリーブ情報を含む。
ビデオエンコーダ３００は、ビデオエンコードのためのエンコードパラメータ信号及びエンコード開始終了タイミングの信号Ｓｔ９に基づいて、ビデオストリームＳｔ１の所定の部分をエンコードして、ＩＳＯ１３８１８に規定されるＭＰＥＧ２ビデオ規格に準ずるエレメンタリーストリームを生成する。そして、このエレメンタリーストリームをビデオエンコードストリームＳｔ１５として、ビデオストリームバッファ４００に出力する。
ここで、ビデオエンコーダ３００に於いてＩＳＯ１３８１８に規定されるＭＰＥＧ２ビデオ規格に準ずるエレメンタリストリームを生成するが、ビデオエンコードパラメータデータを含む信号Ｓｔ９に基に、エンコードパラメータとして、エンコード開始終了タイミング、ビットレート、エンコード開始終了時にエンコード条件、素材の種類として、ＮＴＳＣ信号またはＰＡＬ信号あるいはテレシネ素材であるかなどのパラメータ及びオープンＧＯＰ或いはクローズドＧＯＰのエンコードモードの設定がエンコードパラメータとしてそれぞれ入力される。
ＭＰＥＧ２の符号化方式は、基本的にフレーム間の相関を利用する符号化である。つまり、符号化対象フレームの前後のフレームを参照して符号化を行う。しかし、エラー伝播およびストリーム途中からのアクセス性の面で、他のフレームを参照しない（イントラフレーム）フレームを挿入する。このイントラフレームを少なくとも１フレームを有する符号化処理単位をＧＯＰと呼ぶ。
このＧＯＰに於いて、完全に該ＧＯＰ内で符号化が閉じているＧＯＰがクローズドＧＯＰであり、前のＧＯＰ内のフレームを参照するフレームが該ＧＯＰ内に存在する場合、該ＧＯＰをオープンＧＯＰと呼ぶ。
従って、クローズドＧＯＰを再生する場合は、該ＧＯＰのみで再生できるが、オープンＧＯＰを再生する場合は、一般的に１つ前のＧＯＰが必要である。
また、ＧＯＰの単位は、アクセス単位として使用する場合が多い。例えば、タイトルの途中からの再生する場合の再生開始点、映像の切り替わり点、あるいは早送りなどの特殊再生時には、ＧＯＰ内のフレーム内符号化フレームであるいフレームのみをＧＯＰ単位で再生する事により、高速再生を実現する。
サブピクチャエンコーダ５００は、サブピクチャストリームエンコード信号Ｓｔ１１に基づいて、サブピクチャストリームＳｔ３の所定の部分をエンコードして、ビットマップデータの可変長符号化データを生成する。そして、この可変長符号化データをサブピクチャエンコードストリームＳｔ１７として、サブピクチャストリームバッファ６００に出力する。
オーディオエンコーダ７００は、オーディオエンコード信号Ｓｔ１３に基づいて、オーディオストリームＳｔ５の所定の部分をエンコードして、オーディオエンコードデータを生成する。このオーディオエンコードデータとしては、ＩＳＯ１１１７２に規定されるＭＰＥＧ１オーディオ規格及びＩＳＯ１３８１８に規定されるＭＰＥＧ２オーディオ規格に基づくデータ、また、ＡＣ−３オーディオデータ、及びＰＣＭ（ＬＰＣＭ）データ等がある。これらのオーディオデータをエンコードする方法及び装置は公知である。
ビデオストリームバッファ４００は、ビデオエンコーダ３００に接続されており、ビデオエンコーダ３００から出力されるビデオエンコードストリームＳｔ１５を保存する。ビデオストリームバッファ４００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２１の入力に基づいて、保存しているビデオエンコードストリームＳｔ１５を、調時ビデオエンコードストリームＳｔ２７として出力する。
同様に、サブピクチャストリームバッファ６００は、サブピクチャエンコーダ５００に接続されており、サブピクチャエンコーダ５００から出力されるサブピクチャエンコードストリームＳｔ１７を保存する。サブピクチャストリームバッファ６００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２３の入力に基づいて、保存しているサブピクチャエンコードストリームＳｔ１７を、調時サブピクチャエンコードストリームＳｔ２９として出力する。
また、オーディオストリームバッファ８００は、オーディオエンコーダ７００に接続されており、オーディオエンコーダ７００から出力されるオーディオエンコードストリームＳｔ１９を保存する。オーディオストリームバッファ８００は更に、エンコードシステム制御部２００に接続されて、タイミング信号Ｓｔ２５の入力に基づいて、保存しているオーディオエンコードストリームＳｔ１９を、調時オーディオエンコードストリームＳｔ３１として出力する。
システムエンコーダ９００は、ビデオストリームバッファ４００、サブピクチャストリームバッファ６００、及びオーディオストリームバッファ８００に接続されており、調時ビデオエンコードストリームＳｔ２７、調時サブピクチャエンコードストリームＳｔ２９、及び調時オーディオエンコードＳｔ３１が入力される。システムエンコーダ９００は、またエンコードシステム制御部２００に接続されており、システムエンコードのためのエンコードパラメータデータを含むＳｔ３３が入力される。
システムエンコーダ９００は、エンコードパラメータデータ及びエンコード開始終了タイミング信号Ｓｔ３３に基づいて、各調時ストリームＳｔ２７、Ｓｔ２９、及びＳｔ３１に多重化（マルチプレクス）処理を施して、最小タイトル編集単位（ＶＯＢs）Ｓｔ３５を生成する。
ＶＯＢバッファ１０００はシステムエンコーダ９００に於いて生成されたＶＯＢを一時格納するバッファ領域であり、フォーマッタ１１００では、Ｓｔ３９に従ってＶＯＢバッファ１１００から調時必要なＶＯＢを読み出し１ビデオゾーンＶＺを生成する。また、同フォーマッタ１１００に於いてはファイルシステム（ＶＦＳ）を付加してＳｔ４３を生成する。
このユーザの要望シナリオの内容に編集された、ストリームＳｔ４３は、記録部１２００に転送される。記録部１２００は、編集マルチメディアビットストリームＭＢＳを記録媒体Ｍに応じた形式のデータＳｔ４３に加工して、記録媒体Ｍに記録する。
ＤＶＤデコーダ
次に、図２６を参照して、本発明に掛かるマルチメディアビットストリームオーサリングシステムを上述のＤＶＤシステムに適用した場合の、オーサリングデコーダＤＣの一実施形態を示す。ＤＶＤシステムに適用したオーサリングエンコーダＤＣＤ（以降、ＤＶＤデコーダと呼称する）は、本発明にかかるＤＶＤエンコーダＥＣＤによって、編集されたマルチメディアビットストリームＭＢＳをデコードして、ユーザの要望のシナリオに沿って各タイトルの内容を展開する。なお、本実施形態に於いては、ＤＶＤエンコーダＥＣＤによってエンコードされたマルチメディアビットストリームＳｔ４５は、記録媒体Ｍに記録されている。ＤＶＤオーサリングデコーダＤＣＤの基本的な構成は図３に示すオーサリングデコーダＤＣと同一であり、ビデオデコーダ３８００がビデオデコーダ３８０１に替わると共に、ビデオデコーダ３８０１と合成部３５００の間にリオーダバッファ３３００と切替器３４００が挿入されている。なお、切替器３４００は同期制御部２９００に接続されて、切替指示信号Ｓｔ１０３の入力を受けている。
ＤＶＤオーサリングデコーダＤＣＤは、マルチメディアビットストリーム再生部２０００、シナリオ選択部２１００、デコードシステム制御部２３００、ストリームバッファ２４００、システムデコーダ２５００、ビデオバッファ２６００、サブピクチャバッファ２７００、オーディオバッファ２８００、同期制御部２９００、ビデオデコーダ３８０１、リオーダバッファ３３００、サブピクチャデコーダ３１００、オーディオデコーダ３２００、セレクタ３４００、合成部３５００、ビデオデータ出力端子３６００、及びオーディオデータ出力端子３７００から構成されている。
マルチメディアビットストリーム再生部２０００は、記録媒体Ｍを駆動させる記録媒体駆動ユニット２００４、記録媒体Ｍに記録されている情報を読み取り二値の読み取り信号Ｓｔ５７を生成する読取ヘッドユニット２００６、読み取り信号ＳＴ５７に種々の処理を施して再生ビットストリームＳｔ６１を生成する信号処理部２００８、及び機構制御部２００２から構成される。機構制御部２００２は、デコードシステム制御部２３００に接続されて、マルチメディアビットストリーム再生指示信号Ｓｔ５３を受けて、それぞれ記録媒体駆動ユニット（モータ）２００４及び信号処理部２００８をそれぞれ制御する再生制御信号Ｓｔ５５及びＳｔ５９を生成する。
デコーダＤＣは、オーサリングエンコーダＥＣで編集されたマルチメディアタイトルの映像、サブピクチャ、及び音声に関する、ユーザの所望の部分が再生されるように、対応するシナリオを選択して再生するように、オーサリングデコーダＤＣに指示を与えるシナリオデータとして出力できるシナリオ選択部２１００を備えている。
シナリオ選択部２１００は、好ましくは、キーボード及びＣＰＵ等で構成される。ユーザーは、オーサリングエンコーダＥＣで入力されたシナリオの内容に基づいて、所望のシナリオをキーボード部を操作して入力する。ＣＰＵは、キーボード入力に基づいて、選択されたシナリオを指示するシナリオ選択データＳｔ５１を生成する。シナリオ選択部２１００は、例えば、赤外線通信装置等によって、デコードシステム制御部２３００に接続されて、生成したシナリオ選択信号Ｓｔ５１をデコードシステム制御部２３００に入力する。
ストリームバッファ２４００は所定のバッファ容量を有し、マルチメディアビットストリーム再生部２０００から入力される再生信号ビットストリームＳｔ６１を一時的に保存すると共に、ボリュームファイルストラクチャＶＦＳ、各パックに存在する同期初期値データ（SCR）、及びナブパックＮＶ存在するＶＯＢＵ制御情報（DSI）を抽出してストリーム制御データＳｔ６３を生成する。
デコードシステム制御部２３００は、デコードシステム制御部２３００で生成されたシナリオ選択データＳｔ５１に基づいてマルチメディアビットストリーム再生部２０００の動作を制御する再生指示信号Ｓｔ５３を生成する。デコードシステム制御部２３００は、更に、シナリオデータＳｔ５３からユーザの再生指示情報を抽出して、デコード制御に必要な、デコード情報テーブルを生成する。デコード情報テーブルについては、後程、図４７、及び図４８を参照して詳述する。更に、デコードシステム制御部２３００は、ストリーム再生データＳｔ６３中のファイルデータ領域ＦＤＳ情報から、ビデオマネージャＶＭＧ、ＶＴＳ情報ＶＴＳＩ、ＰＧＣ情報C PBI#j、セル再生時間（C PBTM）等の光ディスクＭに記録されたタイトル情報を抽出してタイトル情報Ｓｔ２００を生成する。
ここで、ストリーム制御データＳｔ６３は図１９におけるパック単位に生成される。ストリームバッファ２４００は、デコードシステム制御部２３００に接続されており、生成したストリーム制御データＳｔ６３をデコードシステム制御部２３００に供給する。
同期制御部２９００は、デコードシステム制御部２３００に接続されて、同期再生データＳｔ８１に含まれる同期初期値データ（SCR）を受け取り、内部のシステムクロック（STC）セットし、リセットされたシステムクロックＳｔ７９をデコードシステム制御部２３００に供給する。
デコードシステム制御部２３００は、システムクロックＳｔ７９に基づいて、所定の間隔でストリーム読出信号Ｓｔ６５を生成し、ストリームバッファ２４００に入力する。この場合の読み出し単位はパックである。
ここでストリーム読み出し信号Ｓｔ６５の生成方法について説明する。デコードシステム制御部２３００では、ストリームバッファ２４００から抽出したストリーム制御データ中のＳＣＲと、同期制御部２９００からのシステムクロックＳｔ７９を比較し、Ｓｔ６３中のＳＣＲよりもシステムクロックＳｔ７９が大きくなった時点で読み出し要求信号Ｓｔ６５を生成する。このような制御をパック単位に行うことで、パック転送を制御する。
デコードシステム制御部２３００は、更に、シナリオ選択データＳｔ５１に基づき、選択されたシナリオに対応するビデオ、サブピクチャ、オーディオの各ストリームのＩＤを示すデコードストリーム指示信号Ｓｔ６９を生成して、システムデコーダ２５００に出力する。
タイトル中に、例えば日本語、英語、フランス語等、言語別のオーディオ等の複数のオーディオデータ、及び、日本語字幕、英語字幕、フランス語字幕等、言語別の字幕等の複数のサブピクチャデータが存在する場合、それぞれにＩＤが付与されている。つまり、図１９を参照して説明したように、ビデオデータ及び、ＭＰＥＧオーディオデータには、ストリームＩＤが付与され、サブピクチャデータ、ＡＣ３方式のオーディオデータ、リニアＰＣＭ及びナブパックＮＶ情報には、サブストリームＩＤが付与されている。ユーザはＩＤを意識することはないが、どの言語のオーディオあるいは字幕を選択するかをシナリオ選択部２１００で選択する。英語のオーディオを選択すれば、シナリオ選択データＳｔ５１として英語のオーディオに対応するＩＤがデーコードシステム制御部２３００に搬送される。さらに、デコードシステム制御部２３００はシステムデコーダ２５００にそのＩＤをＳｔ６９上に搬送して渡す。
システムデコーダ２５００は、ストリームバッファ２４００から入力されてくるビデオ、サブピクチャ、及びオーディオのストリームを、デコード指示信号Ｓｔ６９の指示に基づいて、それぞれ、ビデオエンコードストリームＳｔ７１としてビデオバッファ２６００に、サブピクチャエンコードストリームＳｔ７３としてサブピクチャバッファ２７００に、及びオーディオエンコードストリームＳｔ７５としてオーディオバッファ２８００に出力する。つまり、システムデコーダ２５００は、シナリオ選択部２１００より入力される、ストリームのＩＤと、ストリームバッファ２４００から転送されるパックのＩＤが一致した場合にそれぞれのバッファ（ビデオバッファ２６００、サブピクチャバッファ２７００、オーディオバッファ２８００）に該パックを転送する。
システムデコーダ２５００は、各ストリームＳｔ６７の各最小制御単位での再生開始時間（PTS）及び再生終了時間（DTS）を検出し、時間情報信号Ｓｔ７７を生成する。この時間情報信号Ｓｔ７７は、デコードシステム制御部２３００を経由して、Ｓｔ８１として同期制御部２９００に入力される。
同期制御部２９００は、この時間情報信号Ｓｔ８１に基づいて、各ストリームについて、それぞれがデコード後に所定の順番になるようなデコード開始タイミングを決定する。同期制御部２９００は、このデコードタイミングに基づいて、ビデオストリームデコード開始信号Ｓｔ８９を生成し、ビデオデコーダ３８０１に入力する。同様に、同期制御部２９００は、サブピクチャデコード開始信号Ｓｔ９１及びオーディオエンコード開始信号Ｓｔ９３を生成し、サブピクチャデコーダ３１００及びオーディオデコーダ３２００にそれぞれ入力する。
ビデオデコーダ３８０１は、ビデオストリームデコード開始信号Ｓｔ８９に基づいて、ビデオ出力要求信号Ｓｔ８４を生成して、ビデオバッファ２６００に対して出力する。ビデオバッファ２６００はビデオ出力要求信号Ｓｔ８４を受けて、ビデオストリームＳｔ８３をビデオデコーダ３８０１に出力する。ビデオデコーダ３８０１は、ビデオストリームＳｔ８３に含まれる再生時間情報を検出し、再生時間に相当する量のビデオストリームＳｔ８３の入力を受けた時点で、ビデオ出力要求言号Ｓｔ８４を無効にする。このようにして、所定再生時間に相当するビデオストリームがビデオデコーダ３８０１でデコードされて、再生されたビデオ信号Ｓｔ９５がリオーダーバッファ３３００と切替器３４００に出力される。
ビデオエンコードストリームは、フレーム間相関を利用した符号化であるため、フレーム単位でみた場合、表示順と符号化ストリーム順が一致していない。従って、デコード順に表示できるわけではない。そのため、デコードを終了したフレームを一時リオーダバッファ３３００に格納する。同期制御部２９００に於いて表示順になるようにＳｔ１０３を制御しビデオデコーダ３８０１の出力Ｓｔ９５と、リオーダバッファＳｔ９７の出力を切り替え、合成部３５００に出力する。
同様に、サブピクチャデコーダ３１００は、サブピクチャデコード開始信号Ｓｔ９１に基づいて、サブピクチャ出力要求信号Ｓｔ８６を生成し、サブピクチャバッファ２７００に供給する。サブピクチャバッファ２７００は、ビデオ出力要求信号Ｓｔ８４を受けて、サブピクチャストリームＳｔ８５をサブピクチャデコーダ３１００に出力する。サブピクチャデコーダ３１００は、サブピクチャストリームＳｔ８５に含まれる再生時間情報に基づいて、所定の再生時間に相当する量のサブピクチャストリームＳｔ８５をデコードして、サブピクチャ信号Ｓｔ９９を再生して、合成部３５００に出力する。
合成部３５００は、セレクタ３４００の出力及びサブピクチャ信号Ｓｔ９９を重畳させて、映像信号Ｓｔ１０５を生成し、ビデオ出力端子３６００に出力する。
オーディオデコーダ３２００は、オーディオデコード開始信号Ｓｔ９３に基づいて、オーディオ出力要求信号Ｓｔ８８を生成し、オーディオバッファ２８００に供給する。オーディオバッファ２８００は、オーディオ出力要求信号Ｓｔ８８を受けて、オーディオストリームＳｔ８７をオーディオデコーダ３２００に出力する。オーディオデコーダ３２００は、オーディオストリームＳｔ８７に含まれる再生時間情報に基づいて、所定の再生時間に相当する量のオーディオストリームＳｔ８７をデコードして、オーディオ出力端子３７００に出力する。
このようにして、ユーザのシナリオ選択に応答して、リアルタイムにユーザの要望するマルチメディアビットストリームＭＢＳを再生する事ができる。つまり、ユーザが異なるシナリオを選択する度に、オーサリングデコーダＤＣＤはその選択されたシナリオに対応するマルチメディアビットストリームＭＢＳを再生することによって、ユーザの要望するタイトル内容を再生することができる。
尚、デコードシステム制御部２３００は、前述の赤外線通信装置等を経由して、シナリオ選択部２１００にタイトル情報信号Ｓｔ２００を供給してもよい。シナリオ選択部２１００は、タイトル情報信号Ｓｔ２００に含まれるストリーム再生データＳｔ６３中のファイルデータ領域ＦＤＳ情報から、光ディスクＭに記録されたタイトル情報を抽出して、内蔵ディスプレイに表示することにより、インタラクティブなユーザによるシナリオ選択を可能とする。
また、上述の例では、ストリームバッファ２４００、ビデオバッファ２６００、サブピクチャバッファ２７００、及びオーディオバッファ２８００、及びリオーダバッファ３３００は、機能的に異なるので、それぞれ別のバッファとして表されている。しかし、これらのバッファに於いて要求される読込み及び読み出し速度の数倍の動作速度を有するバッファメモリを時分割で使用することにより、一つのバッファメモリをこれら個別のバッファとして機能させることができる。
マルチシーン
図２１を用いて、本発明に於けるマルチシーン制御の概念を説明する。既に、上述したように、各タイトル間での共通のデータからなる基本シーン区間と、其々の要求に即した異なるシーン群からなるマルチシーン区間とで構成される。同図に於いて、シーン１、シーン５、及びシーン８が共通シーンである。共通シーン１とシーン５の間のアングルシーン及び、共通シーン５とシーン８の間のパレンタルシーンがマルチシーン区間である。マルチアングル区間に於いては、異なるアングル、つまりアングル１、アングル２、及びアングル３、から撮影されたシーンの何れかを、再生中に動的に選択再生できる。パレンタル区間に於いては、異なる内容のデータに対応するシーン６及びシーン７の何れかをあらかじめ静的に選択再生できる。
このようなマルチシーン区間のどのシーンを選択して再生するかというシナリオ内容を、ユーザはシナリオ選択部２１００にて入力してシナリオ選択データＳｔ５１として生成する。図中に於いて、シナリオ１では、任意のアングルシーンを自由に選択し、パレンタル区間では予め選択したシーン６を再生することを表している。同様に、シナリオ２では、アングル区間では、自由にシーンを選択でき、パレンタル区間では、シーン７が予め選択されていることを表している。
以下に、図２１で示したマルチシーンをＤＶＤのデータ構造を用いた場合の、ＰＧＣ情報VTS PGCIについて、図３０、及び図３１を参照して説明する。
図３０には、図２１に示したユーザ指示のシナリオを図１６のＤＶＤデータ構造内のビデオタイトルセットの内部構造を表すＶＴＳＩデータ構造で記述した場合について示す。図において、図２１のシナリオ１、シナリオ２は、図１６のＶＴＳＩ中のプログラムチェーン情報ＶＴＳ ＰＧＣＩＴ内の２つプログラムチェーンVTS PGCI#1とVTS PGCI#2として記述される。すなわち、シナリオ１を記述するVTS PGCI#1は、シーン１に相当するセル再生情報Ｃ ＰＢＩ＃１、マルチアングルシーンに相当するマルチアングルセルブロック内のセル再生情報Ｃ ＰＢＩ＃２，セル再生情報Ｃ ＰＢＩ＃３，セル再生情報Ｃ ＰＢＩ＃４、シーン５に相当するセル再生情報Ｃ ＰＢＩ＃５、シーン６に相当するセル再生情報Ｃ ＰＢＩ＃６、シーン８に相当するＣ ＰＢＩ＃７からなる。
また、シナリオ２を記述するVTS PGC#2は、シーン１に相当するセル再生情報Ｃ ＰＢＩ＃１、マルチアングルシーンに相当するマルチアングルセルブロック内のセル再生情報Ｃ ＰＢＩ＃２，セル再生情報Ｃ ＰＢＩ＃３，セル再生情報Ｃ ＰＢＩ＃４、シーン５に相当するセル再生情報Ｃ ＰＢＩ＃５、シーン７に相当するセル再生情報Ｃ ＰＢＩ＃６、シーン８に相当するＣ ＰＢＩ＃７からなる。ＤＶＤデータ構造では、シナリオの１つの再生制御の単位であるシーンをセルというＤＶＤデータ構造上の単位に置き換えて記述し、ユーザの指示するシナリオをＤＶＤ上で実現している。
図３１には、図２１に示したユーザ指示のシナリオを図１６のＤＶＤデータ構造内のビデオタイトルセット用のマルチメディアビットストリームであるＶＯＢデータ構造ＶＴＳＴＴ ＶＯＢＳで記述した場合について示す。
図において、図２１のシナリオ１とシナリオ２の２つのシナリオは、１つのタイトル用ＶＯＢデータを共通に使用する事になる。各シナリオで共有する単独のシーンはシーン１に相当するＶＯＢ＃１、シーン５に相当するＶＯＢ＃５、シーン８に相当するＶＯＢ＃８は、単独のＶＯＢとして、インターリーブブロックではない部分、すなわち連続ブロックに配置される。
シナリオ１とシナリオ２で共有するマルチアングルシーンにおいて、それぞれアングル１はＶＯＢ＃２、アングル２はＶＯＢ＃３、アングル３はＶＯＢ＃４で構成、つまり１アングルを１ＶＯＢで構成し、さらに各アングル間の切り替えと各アングルのシームレス再生のために、インターリーブブロックとする。
また、シナリオ１とシナリオ２で固有なシーンであるシーン６とシーン７は、各シーンのシームレス再生はもちろんの事、前後の共通シーンとシームレスに接続再生するために、インターリーブブロックとする。
以上のように、図２１で示したユーザ指示のシナリオは、ＤＶＤデータ構造において、図３０に示すビデオタイトルセットの再生制御情報と図３１に示すタイトル再生用ＶＯＢデータ構造で実現できる。
シームレス
上述のＤＶＤシステムのデータ構造に関連して述べたシームレス再生について説明する。シームレス再生とは、共通シーン区間同士で、共通シーン区間とマルチシーン区間とで、及びマルチシーン区間同士で、映像、音声、副映像等のマルチメディアデータを、接続して再生する際に、各データ及び情報を中断する事無く再生することである。このデータ及び情報再生の中断の要因としては、ハードウェアに関連するものとして、デコーダに於いて、ソースデータ入力される速度と、入力されたソースデータをデコードする速度のバランスがくずれる、いわゆるデコーダのアンダーフローと呼ばれるものがある。
更に、再生されるデータの特質に関するものとして、再生データが音声のように、その内容或いは情報をユーザが理解する為には、一定時間単位以上の連続再生を要求されるデータの再生に関して、その要求される連続再生時間を確保出来ない場合に情報の連続性が失われるものがある。このような情報の連続性を確保して再生する事を連続情報再生と、更にシームレス情報再生と呼ぶ。また、情報の連続性を確保出来ない再生を非連続情報再生と呼び、更に非シームレス情報再生と呼ぶ。尚、言うまでまでもなく連続情報再生と非連続情報再生は、それぞれシームレス及び非シームレス再生である。
上述の如く、シームレス再生には、バッファのアンダーフロー等によって物理的にデータ再生に空白あるいは中断の発生を防ぐシームレスデータ再生と、データ再生自体には中断は無いものの、ユーザーが再生データから情報を認識する際に情報の中断を感じるのを防ぐシームレス情報再生と定義する。
シームレスの詳細
なお、このようにシームレス再生を可能にする具体的な方法については、図２３及び図２４参照して後で詳しく説明する。
インターリーブ
上述のＤＶＤデータのシステムストリームをオーサリングエンコーダＥＣを用いて、ＤＶＤ媒体上の映画のようなタイトルを記録する。しかし、同一の映画を複数の異なる文化圏或いは国に於いても利用できるような形態で提供するには、台詞を各国の言語毎に記録するのは当然として、さらに各文化圏の倫理的要求に応じて内容を編集して記録する必要がある。このような場合、元のタイトルから編集された複数のタイトルを１枚の媒体に記録するには、ＤＶＤという大容量システムに於いてさえも、ビットレートを落とさなければならず、高画質という要求が満たせなくなってしまう。そこで、共通部分を複数のタイトルで共有し、異なる部分のみをそれぞれのタイトル毎に記録するという方法をとる。これにより、ビットレートをおとさず、１枚の光ディスクに、国別あるいは文化圏別の複数のタイトルを記録する事ができる。
１枚の光ディスクに記録されるタイトルは、図２１に示したように、パレンタルロック制御やマルチアングル制御を可能にするために、共通部分（シーン）と非共通部分（シーン）のを有するマルチシーン区間を有する。
パレンタルロック制御の場合は、一つのタイトル中に、性的シーン、暴力的シーン等の子供に相応しくない所謂成人向けシーンが含まれている場合、このタイトルは共通のシーンと、成人向けシーンと、未成年向けシーンから構成される。このようなタイトルストリームは、成人向けシーンと非成人向けシーンを、共通シーン間に、設けたマルチシーン区間として配置して実現する。
また、マルチアングル制御を通常の単一アングルタイトル内に実現する場合には、それぞれ所定のカメラアングルで対象物を撮影して得られる複数のマルチメディアシーンをマルチシーン区間として、共通シーン間に配置する事で実現する。ここで、各シーンは異なるアングルで撮影されたシーンの例を上げている、同一のアングルであるが、異なる時間に撮影されたシーンであっても良いし、またコンピュータグラフィックス等のデータであっても良い。
複数のタイトルでデータを共有すると、必然的に、データの共有部分から非共有部分への光ビームＬＳを移動させるために、光学ピックアップを光ディスク（ＲＣ１）上の異なる位置に移動することになる。この移動に要する時間が原因となって音や映像を途切れずに再生する事、すなわちシームレス再生が困難であるという問題が生じる。このような問題点を解決するするには、理論的には最悪のアクセス時間に相当する時間分のトラックバッファ（ストリームバッファ２４００）を備えれば良い。一般に、光ディスクに記録されているデータは、光ピックアップにより読み取られ、所定の信号処理が施された後、データとしてトラックバッファに一旦蓄積される。蓄積されたデータは、その後デコードされて、ビデオデータあるいはオーディオデータとして再生される。
インターリーブの定義
前述のような、あるシーンをカットする事や、複数のシーンから選択を可能にするには、記録媒体のトラック上に、各シーンに属するデータ単位で、互いに連続した配置で記録されるため、共通シーンデータと選択シーンデータとの間に非選択シーンのデータが割り込んで記録される事態が必然的におこる。このような場合、記録されている順序にデータを読むと、選択したシーンのデータにアクセスしてデコードする前に、非選択シーンのデータにアクセスせざるを得ないので、選択したシーンへのシームレス接続が困難である。しかしながら、ＤＶＤシステムに於いては、その記録媒体に対する優れたランダムアクセス性能を活かして、このような複数シーン間でのシームレス接続が可能である。つまり、各シーンに属するデータを、所定のデータ量を有する複数の単位に分割し、これらの異なるシーンの属する複数の分割データ単位を、互いに所定の順番に配置することで、ジャンプ性能範囲に配置する事で、それぞれ選択されたシーンの属するデータを分割単位毎に、断続的にアクセスしてデコードすることによって、その選択されたシーンをデータが途切れる事なく再生する事ができる。つまり、シームレスデータ再生が保証される。
インターリーブブロック、ユニット構造
図２４及び図６５を参照して、シームレスデータ再生を可能にするインターリーブ方式を説明する。図２４では、１つのＶＯＢ（ＶＯＢ−Ａ）から複数のＶＯＢ（ＶＯＢ−Ｂ、ＶＯＢ−Ｄ、ＶＯＢ−Ｃ）へ分岐再生し、その後１つのＶＯＢ（ＶＯＢ−Ｅ）に結合する場合を示している。図６５では、これらのデータをディスク上のトラックＴＲに実際に配置した場合を示している。
図６５に於ける、ＶＯＢ−ＡとＶＯＢ−Ｅは再生の開始点と終了点が単独なビデオオブジェクトであり、原則として連続領域に配置する。また、図２４に示すように、ＶＯＢ−Ｂ、ＶＯＢ−Ｃ、ＶＯＢ−Ｄについては、再生の開始点、終了点を一致させて、インターリーブ処理を行う。そして、そのインターリーブ処理された領域をディスク上の連続領域にインターリーブ領域として配置する。さらに、上記連続領域とインターリーブ領域を再生の順番に、つまりトラックパスＤｒの方向に、配置している。複数のＶＯＢ、すなわちＶＯＢＳをトラックＴＲ上に配置した図を図６５に示す。
図６５では、データが連続的に配置されたデータ領域をブロックとし、そのブロックは、前述の開始点と終了点が単独で完結しているＶＯＢを連続して配置している連続ブロック、開始点と終了点を一致させて、その複数のＶＯＢをインターリーブしたインターリーブブロックの２種類である。それらのブロックが再生順に、図６６に示すように、ブロック１、ブロック２、ブロック３、・・・、ブロック７と配置されている構造をもつ。
図６６に於いて、VTSTT VOBSは、ブロック１、２、３、４、５、６、及び７から構成されている。ブロック１には、ＶＯＢ１が単独で配置されている。同様に、ブロック２、３、５、及び７には、それぞれ、ＶＯＢ２、３、６、及び１０が単独で配置されている。つまり、これらのブロック２、３、５、及び７は、連続ブロックである。
一方、ブロック４には、ＶＯＢ４とＶＯＢ５がインターリーブされて配置されている。同様に、ブロック６には、ＶＯＢ７、ＶＯＢ８、及びＶＯＢ９の三つのＶＯＢがインターリーブされて配置されている。つまり、これらのブロック４及び６は、インターリーブブロックである。
図６７に連続ブロック内のデータ構造を示す。同図に於いて、ＶＯＢＳにＶＯＢ−ｉ、ＶＯＢ−ｊが連続ブロックとして、配置されている。連続ブロック内のＶＯＢ−ｉ及びＶＯＢ−ｊは、図１６を参照して説明したように、更に論理的な再生単位であるセルに分割されている。図ではＶＯＢ−ｉ及びＶＯＢ−ｊのそれぞれが、３つのセルＣＥＬＬ＃１、ＣＥＬＬ＃２、ＣＥＬＬ＃３で構成されている事を示している。セルは１つ以上のＶＯＢＵで構成されており、ＶＯＢＵの単位で、その境界が定義されている。セルはＤＶＤの再生制御情報であるプログラムチェーン（以下ＰＧＣと呼ぶ）には、図１６に示すように、その位置情報が記述される。つまり、セル開始のＶＯＢＵと終了のＶＯＢＵのアドレスが記述されている。図６７に明示されるように、連続ブロックは、連続的に再生されるように、ＶＯＢもその中で定義されるセルも連続領域に記録される。そのため、連続ブロックの再生は問題はない。
次に、図６８にインターリーブブロック内のデータ構造を示す。インターリーブブロックでは、各ＶＯＢがインターリーブユニットＩＬＶＵ単位に分割され、各ＶＯＢに属するインターリーブユニットが交互に配置される。そして、そのインターリーブユニットとは独立して、セル境界が定義される。同図に於いて、ＶＯＢ−ｋは四つのインターリーブユニットＩＬＶＵｋ１、ＩＬＶＵｋ２、ＩＬＶＵｋ３、及びＩＬＶＵｋ４に分割されると共に、二つのセルＣＥＬＬ＃１ｋ、及びＣＥＬＬ＃２ｋが定義されている。同様に、ＶＯＢ−ｍはＩＬＶＵｍ１、ＩＬＶＵｍ２、ＩＬＶＵｍ３、及びＩＬＶＵｍ４に分割されると共に、二つのセルＣＥＬＬ＃１ｍ、及びＣＥＬＬ＃２ｍが定義されている。つまり、インターリーブユニットＩＬＶＵには、ビデオデータとオーディオデータが含まれている。
図６８の例では、二つの異なるＶＯＢ−ｋとＶＯＢ−ｍの各インターリーブユニットＩＬＶＵｋ１、ＩＬＶＵｋ２、ＩＬＶＵｋ３、及びＩＬＶＵｋ４とＩＬＶＵｍ１、ＩＬＶＵｍ２、ＩＬＶＵｍ３、及びＩＬＶＵｍ４がインターリーブブロック内に交互に配置されている。二つのＶＯＢの各インターリーブユニットＩＬＶＵを、このような配列にインターリーブする事で、単独のシーンから複数のシーンの１つへ分岐、さらにそれらの複数シーンの１つから単独のシーンへのシームレスな再生が実現できる。このようにインターリーブすることで、多くの場合の分岐結合のあるシーンのシームレス再生可能な接続を行う事ができる。
マルチシーン
ここで、本発明に基づく、マルチシーン制御の概念を説明すると共にマルチシーン区間に付いて説明する。
異なるアングルで撮影されたシーンから構成される例が挙げている。しかし、マルチシーンの各シーンは、同一のアングルであるが、異なる時間に撮影されたシーンであっても良いし、またコンピュータグラフィックス等のデータであっても良い。言い換えれば、マルチアングルシーン区間は、マルチシーン区間である。
パレンタル
図１５を参照して、パレンタルロックおよびディレクターズカットなどの複数タイトルの概念を説明する。
図１５にパレンタルロックに基づくマルチレイティッドタイトルストリームの一例を示す。一つのタイトル中に、性的シーン、暴力的シーン等の子供に相応しくない所謂成人向けシーンが含まれている場合、このタイトルは共通のシステムストリームＳＳａ、ＳＳｂ、及びＳＳｅと、成人向けシーンを含む成人向けシステムストリームＳＳｃと、未成年向けシーンのみを含む非成人向けシステムストリームＳＳｄから構成される。このようなタイトルストリームは、成人向けシステムストリームＳＳｃと非成人向けシステムストリームＳＳｄを、共通システムストリームＳＳｂとＳＳｅの間に、設けたマルチシーン区間にマルチシーンシステムストリームとして配置する。
上述の用に構成されたタイトルストリームのプログラムチェーンＰＧＣに記述されるシステムストリームと各タイトルとの関係を説明する。成人向タイトルのプログラムチェーンＰＧＣ１には、共通のシステムストリームＳＳａ、ＳＳｂ、成人向けシステムストリームＳＳｃ及び、共通システムストリームＳＳｅが順番に記述される。未成年向タイトルのプログラムチェーンＰＧＣ２には、共通のシステムストリームＳＳａ、ＳＳｂ、未成年向けシステムストリームＳＳｄ及び、共通システムストリームＳＳｅが順番に記述される。
このように、成人向けシステムストリームＳＳｃと未成年向けシステムストリームＳＳｄをマルチシーンとして配列することにより、各ＰＧＣの記述に基づき、上述のデコーディング方法で、共通のシステムストリームＳＳａ及びＳＳｂを再生したのち、マルチシーン区間で成人向けＳＳｃを選択して再生し、更に、共通のシステムストリームＳＳｅを再生することで、成人向けの内容を有するタイトルを再生できる。また、一方、マルチシーン区間で、未成年向けシステムストリームＳＳｄを選択して再生することで、成人向けシーンを含まない、未成年向けのタイトルを再生することができる。このように、タイトルストリームに、複数の代替えシーンからなるマルチシーン区間を用意しておき、事前に該マルチ区間のシーンのうちで再生するシーンを選択しておき、その選択内容に従って、基本的に同一のタイトルシーンから異なるシーンを有する複数のタイトルを生成する方法を、パレンタルロックという。
なお、パレンタルロックは、未成年保護と言う観点からの要求に基づいて、パレンタルロックと呼ばれるが、システムストリーム処理の観点は、上述の如く、マルチシーン区間での特定のシーンをユーザが予め選択することにより、静的に異なるタイトルストリーム生成する技術である。一方、マルチアングルは、タイトル再生中に、ユーザが随時且つ自由に、マルチシーン区間のシーンを選択することにより、同一のタイトルの内容を動的に変化させる技術である。
また、パレンタルロック技術を用いて、いわゆるディレクターズカットと呼ばれるタイトルストリーム編集も可能である。ディレクターズカットとは、映画等で再生時間の長いタイトルを、飛行機内で供さる場合には、劇場での再生と異なり、飛行時間によっては、タイトルを最後まで再生できない。このような事態にさけて、予めタイトル制作責任者、つまりディレクターの判断で、タイトル再生時間短縮の為に、カットしても良いシーンを定めておき、そのようなカットシーンを含むシステムストリームと、シーンカットされていないシステムストリームをマルチシーン区間に配置しておくことによって、制作者の意志に沿っシーンカット編集が可能となる。このようなパレンタル制御では、システムストリームからシステムストリームへのつなぎ目に於いて、再生画像をなめらかに矛盾なくつなぐ事、すなわちビデオ、オーディオなどバッファがアンダーフローしないシームレスデータ再生と再生映像、再生オーディオが視聴覚上、不自然でなくまた中断する事なく再生するシームレス情報再生が必要になる。
マルチアングル
図３３を参照して、本発明に於けるマルチアングル制御の概念を説明する。通常、マルチメディアタイトルは、対象物を時間Ｔの経過と共に録音及び撮影（以降、単に撮影と言う）して得られる。＃ＳＣ１、＃ＳＭ１、＃ＳＭ２、＃ＳＭ３、及び＃ＳＣ３の各ブロックは、それぞれ所定のカメラアングルで対象物を撮影して得られる撮影単位時間Ｔ１、Ｔ２、及びＴ３に得られるマルチメディアシーンを代表している。シーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３は、撮影単位時間Ｔ２にそれぞれ異なる複数（第一、第二、及び第三）のカメラアングルで撮影されたシーンであり、以降、第一、第二、及び第三マルチアングルシーンと呼ぶ。
ここでは、マルチシーンが、異なるアングルで撮影されたシーンから構成される例が挙げられている。しかし、マルチシーンの各シーンは、同一のアングルであるが、異なる時間に撮影されたシーンであっても良いし、またコンピュータグラフィックス等のデータであっても良い。言い換えれば、マルチアングルシーン区間は、マルチシーン区間であり、その区間のデータは、実際に異なるカメラアングルで得られたシーンデータに限るものでは無く、その表示時間が同一の期間にある複数のシーンを選択的に再生できるようなデータから成る区間である。
シーン＃ＳＣ１と＃ＳＣ３は、それぞれ、撮影単位時間Ｔ１及びＴ３に、つまりマルチアングルシーンの前後に、同一の基本のカメラアングルで撮影されたシーンあり、以降、基本アングルシーンと呼ぶ。通常、マルチアングルの内一つは、基本カメラアングルと同一である。
これらのアングルシーンの関係を分かりやすくするために、野球の中継放送を例に説明する。基本アングルシーン＃ＳＣ１及び＃ＳＣ３は、センター側から見た投手、捕手、打者を中心とした基本カメラアングルにて撮影されたものである。第一マルチアングルシーン＃ＳＭ１は、バックネット側から見た投手、捕手、打者を中心とした第一マルチカメラアングルにて撮影されたものである。第二マルチアングルシーン＃ＳＭ２は、センター側から見た投手、捕手、打者を中心とした第二マルチカメラアングル、つまり基本カメラアングルにて撮影されたものである。この意味で、第二マルチアンダルシーン＃ＳＭ２は、撮影単位時間Ｔ２に於ける基本アングルシーン＃ＳＣ２である。第三マルチアングルシーン＃ＳＭ３は、バックネット側から見た内野を中心とした第三マルチカメラアングルにて撮影されたものである。
マルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３は、撮影単位時間Ｔ２に関して、表示（presentation）時間が重複しており、この期間をマルチアングル区間と呼ぶ。視聴者は、マルチアングル区間に於いて、このマルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３を自由に選択することによって、基本アングルシーンから、好みのアングルシーン映像をあたかもカメラを切り替えているように楽しむことができる。なお、図中では、基本アングルシーン＃ＳＣ１及び＃ＳＣ３と、各マルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３間に、時間的ギャップがあるように見えるが、これはマルチアングルシーンのどれを選択するかによって、再生されるシーンの経路がどのようになるかを分かりやすく、矢印を用いて示すためであって、実際には時間的ギャップが無いことは言うまでもない。
図２３に、本発明に基づくシステムストリームのマルチアングル制御を、データの接続の観点から説明する。基本アングルシーン＃ＳＣに対応するマルチメディアデータを、基本アングルデータＢＡとし、撮影単位時間Ｔ１及びＴ３に於ける基本アングルデータＢＡをそれぞれＢＡ１及びＢＡ３とする。マルチアングルシーン＃ＳＭ１、＃ＳＭ２、及び＃ＳＭ３に対応するマルチアングルデータを、それぞれ、第一、第二、及び第三マルチアングルデータＭＡ１、ＭＡ２、及びＭＡ３と表している。先に、図３３を参照して、説明したように、マルチアングルシーンデータＭＡ１、ＭＡ２、及びＭＡ３の何れかを選択することによって、好みのアングルシーン映像を切り替えて楽しむことができる。また、同様に、基本アングルシーンデータＢＡ１及びＢＡ３と、各マルチアングルシーンデータＭＡ１、ＭＡ２、及びＭＡ３との間には、時間的ギャップは無い。
しかしながら、ＭＰＥＧシステムストリームの場合、各マルチアングルデータＭＡ１、ＭＡ２、及びＭＡ３の内の任意のデータと、先行基本アングルデータＢＡ１からの接続と、または後続基本アングルデータＢＡ３への接続時は、接続されるアングルデータの内容によっては、再生されるデータ間で、再生情報に不連続が生じて、一本のタイトルとして自然に再生できない場合がある。つまり、この場合、シームレスデータ再生であるが、非シームレス情報再生である。
以下に、図２３をＤＶＤシステムに於けるマルチシーン区間内での、複数のシーンを選択的に再生して、前後のシーンに接続するシームレス情報再生であるマルチアングル切替について説明する。
アングルシーン映像の切り替え、つまりマルチアングルシーンデータＭＡ１、ＭＡ２、及びＭＡ３の内一つを選択することが、先行する基本アングルデータＢＡ１の再生終了前までに完了されてなけらばならない。例えば、アングルシーンデータＢＡ１の再生中に別のマルチアングルシーンデータＭＡ２に切り替えることは、非常に困難である。これは、マルチメディアデータは、可変長符号化方式のＭＰＥＧのデータ構造を有するので、切り替え先のデータの途中で、データの切れ目を見つけるのが困難であり、また、符号化処理にフレーム間相関を利用しているためアングルの切換時に映像が乱れる可能性がある。ＭＰＥＧに於いては、少なくとも１フレームのリフレッシュフレームを有する処理単位としてＧＯＰが定義されている。このＧＯＰという処理単位に於いては他のＧＯＰに属するフレームを参照しないクローズドな処理が可能である。
言い換えれば、再生がマルチアングル区間に達する前には、遅くとも、先行基本アングルデータＢＡ１の再生が終わった時点で、任意のマルチアングルデータ、例えばＭＡ３、を選択すれば、この選択されたマルチアングルデータはシームレスに再生できる。しかし、マルチアングルデータの再生の途中に、他のマルチアングルシーンデータをシームレスに再生することは非常に困難である。このため、マルチアングル期間中には、カメラを切り替えるような自由な視点を得ることは困難である。
フローチャート：エンコーダ
図２７を参照して前述の、シナリオデータＳｔ７に基づいてエンコードシステム制御部２００が生成するエンコード情報テーブルについて説明する。エンコード情報テーブルはシーンの分岐点・結合点を区切りとしたシーン区間に対応し、複数のＶＯＢが含まれるＶＯＢセットデータ列と各シーン毎に対応するＶＯＢデータ列からなる。図２７に示されているＶＯＢセットデータ列は、後に詳述する。
図３４のステップ＃１００で、ユーザが指示するタイトル内容に基づき、ＤＶＤのマルチメディアストリーム生成のためにエンコードシステム制御部２００内で作成するエンコード情報テーブルである。ユーザ指示のシナリオでは、共通なシーンから複数のシーンへの分岐点、あるいは共通なシーンへの結合点がある。その分岐点・結合点を区切りとしたシーン区間に相当するＶｗＯＢをＶＯＢセットとし、ＶＯＢセットをエンコードするために作成するデータをＶＯＢセットデータ列としている。また、ＶＯＢセットデータ列では、マルチシーン区間を含む場合、示されているタイトル数をＶＯＢセットデータ列のタイトル数（TTTLE NO）に示す。
図２７のＶＯＢセットデータ構造は、ＶＯＢセットデータ列の１つのＶＯＢセットをエンコードするためのデータの内容を示す。ＶＯＢセットデータ構造は、ＶＯＢセット番号（VOBS NO）、ＶＯＢセット内のＶＯＢ番号（VOB NO）、先行ＶＯＢシームレス接続フラグ（VOB Fsb）、後続ＶＯＢシームレス接続フラグ（VOB Fsf）、マルチシーンフラグ（VOB Fp）、インターリーブフラグ（VOB Fi）、マルチアングル（VOB Fm）、マルチアングルシームレス切り替えフラグ（VOB FsV）、インターリーブＶＯＢの最大ビットレート（ILV BR）、インターリーブＶＯＢの分割数（ILV DIV）、最小インターリーブユニット再生時間（ILV MT）からなる。
ＶＯＢセット番号VOBS NOは、例えばタイトルシナリオ再生順を目安につけるＶＯＢセットを識別するための番号である。
ＶＯＢセット内のＶＯＢ番号VOB NOは、例えばタイトルシナリオ再生順を目安に、タイトルシナリオ全体にわたって、ＶＯＢを識別するための番号である。
先行ＶＯＢシームレス接続フラグVOB Fsbは、シナリオ再生で先行のＶＯＢとシームレスに接続するか否かを示すフラグである。
後続ＶＯＢシームレス接続フラグVOB Fsfは、シナリオ再生で後続のＶＯＢとシームレスに接続するか否かを示すフラグである。
マルチシーンフラグVOB Fpは、ＶＯＢセットが複数のＶＯＢで構成しているか否かを示すフラグである。
インターリーブフラグVOB Fiは、ＶＯＢセット内のＶＯＢがインターリーブ配置するか否かを示すフラグである。
マルチアングルフラグVOB Fmは、ＶＯＢセットがマルチアングルであるか否かを示すフラグである。
マルチアングルシームレス切り替えフラグVOB FsVは、マルチアングル内の切り替えがシームレスであるか否かを示すフラグである。
インターリーブＶＯＢ最大ビットレートILV BRは、インターリーブするＶＯＢの最大ビットレートの値を示す。
インターリーブＶＯＢ分割数ILV DIVは、インターリーブするＶＯＢのインターリーブユニット数を示す。
最小インターリーブユニット再生時間ILVU MTは、インターリーブブロック再生時に、トラックバッファのアンダーフローしない最小のインターリーブユニットに於いて、そのＶＯＢのビットレートがILV BRの時に再生できる時間を示す。
図２８を参照して前述の、シナリオデータＳｔ７に基づいてエンコードシステム制御部２００が生成するＶＯＢ毎に対応するエンコード情報テーブルについて説明する。このエンコード情報テーブルを基に、ビデオエンコーダ３００、サブピクチャエンコーダ５００、オーディオエンコーダ７００、システムエンコーダ９００へ、後述する各ＶＯＢに対応するエンコードパラメータデータを生成する。図２８に示されているＶＯＢデータ列は、図３４のステップ＃１００で、ユーザが指示するタイトル内容に基づき、ＤＶＤのマルチメディアストリーム生成のためにエンコードシステム制御内で作成するＶＯＢ毎のエンコード情報テーブルである。１つのエンコード単位をＶＯＢとし、そのＶＯＢをエンコードするために作成するデータをＶＯＢデータ列としている。例えば、３つのアングルシーンで構成されるＶＯＢセットは、３つのＶＯＢから構成される事になる。図２８のＶＯＢデータ構造はＶＯＢデータ列の１つのＶＯＢをエンコードするためのデータの内容を示す。
ＶＯＢデータ構造は、ビデオ素材の開始時刻（VOB VST）、ビデオ素材の終了時刻（VOB VEND）、ビデオ素材の種類（VOB V KIND）、ビデオのエンコードビットレート（V BR）、オーディオ素材の開始時刻（VOB AST）、オーディオ素材の終了時刻（VOB AEND）、オーディオエンコード方式（VOB A KIND）、オーディオのビットレート（A BR）からなる。
ビデオ素材の開始時刻VOB VSTは、ビデオ素材の時刻に対応するビデオエンコードの開始時刻である。
ビデオ素材の終了時刻VOB VENDは、ビデオ素材の時刻に対応するビデオエンコードの終了時刻である。
ビデオ素材の種類VOB V KINDは、エンコード素材がＮＴＳＣ形式かＰＡＬ形式のいづれかであるか、またはビデオ素材がテレシネ変換処理された素材であるか否かを示すものである。
ビデオのビットレートV BRは、ビデオのエンコードビットレートである。
オーディオ素材の開始時刻VOB ASTは、オーディオ素材の時刻に対応するオーディオエンコード開始時刻である。
オーディオ素材の終了時刻VOB AENDは、オディオ素材の時刻に対応するオーディオエンコード終了時刻である。
オーディオエンコード方式VOB A KINDは、オーディオのエンコード方式を示すものであり、エンコード方式にはＡＣ−３方式、ＭＰＥＧ方式、リニアＰＣＭ方式などがある。
オーディオのビットレートA BRは、オーディオのエンコードビットレートである。
図２９に、ＶＯＢをエンコードするためのビデオ、オーディオ、システムの各エンコーダ３００、５００、及び９００へのエンコードパラメータを示す。エンコードパラメータは、ＶＯＢ番号（VOB NO）、ビデオエンコード開始時刻（V STTM）、ビデオエンコード終了時刻（V ENDTM）、エンコードモード（V ENCMD）、ビデオエンコードビットレート（V RATE）、ビデオエンコード最大ビットレート（V MRATE）、ＧＯＰ構造固定フラグ（GOP FXflag）、ビデオエンコードＧＯＰ構造（GOPST）、ビデオエンコード初期データ（V INTST）、ビデオエンコード終了データ（V ENDST）、オーディオエンコード開始時刻（A STTM）、オーディオエンコード終了時刻（A ENDTM）、オーディオエンコードビットレート（A RATE）、オーディオエンコード方式（A ENCMD）、オーディオ開始時ギャップ（A STGAP）、オーディオ終了時ギャップ（A ENDGAP）、先行ＶＯＢ番号（B VOB NO）、後続ＶＯＢ番号（F VOB NO）からなる。
ＶＯＢ番号VOB NOは、例えばタイトルシナリオ再生順を目安に、タイトルシナリオ全体にわたって番号づける、ＶＯＢを識別するための番号である。
ビデオエンコード開始時刻V STTMは、ビデオ素材上のビデオエンコード開始時刻である。
ビデオエンコード終了時刻V STTMは、ビデオ素材上のビデオエンコード終了時刻である。
エンコードモードV ENCMDは、ビデオ素材がテレシネ変換された素材の場合には、効率よいエンコードができるようにビデオエンコード時に逆テレシネ変換処理を行うか否かなどを設定するためのエンコードモードである。
ビデオエンコードビットレートV RATEは、ビデオエンコード時の平均ビットレートである。
ビデオエンコード最大ビットレートはV MRATEは、ビデオエンコード時の最大ビットレートである。
ＧＯＰ構造固定フラグGOP FXflagは、ビデオエンコード時に途中で、ＧＯＰ構造を変えることなくエンコードを行うか否かを示すものである。マルチアングルシーン中にシームレスに切り替え可能にする場合に有効なパラメータである。
ビデオエンコードＧＯＰ構造GOPSTは、エンコード時のＧＯＰ構造データである。
ビデオエンコード初期データV INSTは、ビデオエンコード開始時のＶＢＶバッファ（復号バッファ）の初期値などを設定する、先行のビデオエンコードストリームとシームレス再生する場合に有効なパラメータである。
ビデオエンコード終了データV ENDSTは、ビデオエンコード終了時のＶＢＶバッファ（復号バッファ）の終了値などを設定する。後続のビデオエンコードストリームとシームレス再生する場合に有効なパラメータである。
オーディオエンコーダ開始時刻A STTMは、オーディオ素材上のオーディオエンコード開始時刻である。
オーディオエンコーダ終了時刻A ENDTMは、オーディオ素材上のオーディオエンコード終了時刻である。
オーディオエンコードビットレートA RATEは、オーディオエンコード時のビットレートである。
オーディオエンコード方式A ENCMDは、オーディオのエンコード方式であり、ＡＣ−３方式、ＭＰＥＧ方式、リニアＰＣＭ方式などがある。
オーディオ開始時ギャップA STGAPは、ＶＯＢ開始時のビデオとオーディオの開始のずれ時間である。先行のシステムエンコードストリームとシームレス再生する場合に有効なパラメータである。
オーディオ終了時ギャップA ENDGAPは、ＶＯＢ終了時のビデオとオーディオの終了のずれ時間である。後続のシステムエンコードストリームとシームレス再生する場合に有効なパラメータである。
先行ＶＯＢ番号B VOB NOは、シームレス接続の先行ＶＯＢが存在する場合にそのＶＯＢ番号を示すものである。
後続ＶＯＢ番号F VOB NOは、シームレス接続の後続ＶＯＢが存在する場合にそのＶＯＢ番号を示すものである。
図３４に示すフローチャートを参照しながら、本発明に係るＤＶＤエンコーダＥＣＤの動作を説明する。なお、同図に於いて二重線で囲まれたブロックはそれぞれサブルーチンを示す。本実施形態は、ＤＶＤシステムについて説明するが、言うまでなくオーサリングエンコーダＥＣについても同様に構成することができる。
ステップ＃１００に於いて、ユーザーは、編集情報作成部１００でマルチメディアソースデータＳｔ１、Ｓｔ２、及びＳｔ３の内容を確認しながら、所望のシナリオに添った内容の編集指示を入力する。
ステップ＃２００で、編集情報作成部１００はユーザの編集指示に応じて、上述の編集指示情報を含むシナリオデータＳｔ７を生成する。
ステップ＃２００での、シナリオデータＳｔ７の生成時に、ユーザの編集指示内容の内、インターリーブする事を想定しているマルチアングル、パレンタルのマルチシーン区間でのインターリーブ時の編集指示は、以下の条件を満たすように入力する。
まず画質的に十分な画質が得られるようなＶＯＢの最大ビットレートを決定し、さらにＤＶＤエンコードデータの再生装置として想定するＤＶＤデコーダＤＣＤのトラックバッファ量及びジャンプ性能、ジャンプ時間とジャンプ距離の値を決定する。上記値をもとに、式３、式４より、最小インターリーブユニットの再生時間を得る。
次に、マルチシーン区間に含まれる各シーンの再生時間をもとに式５及び式６が満たされるかどうか検証する。満たされなければ後続シーン一部シーンをマルチシーン区間の各シーン接続するなどの処理を行い式５及び式６を満たすようにユーザは指示の変更入力する。
さらに、マルチアングルの編集指示の場合、シームレス切り替え時には式７を満たすと同時に、アングルの各シーンの再生時間、オーディオは同一とする編集指示を入力する。また非シームレス切り替え時には式８を満たすようにユーザは編集指示を入力する。
ステップ＃３００で、エンコードシステム制御部２００は、シナリオデータＳｔ７に基づいて、先ず、対象シーンを先行シーンに対して、シームレスに接続するのか否かを判断する。シームレス接続とは、先行シーン区間が複数のシーンからなるマルチシーン区間である場合に、その先行マルチシーン区間に含まれる全シーンの内の任意の１シーンを、現時点の接続社象である共通シーンとシームレスに接続する。同様に、現時点の接続対象シーンがマルチシーン区間である場合には、マルチシーン区間の任意の１シーンを接続出来ると言うことを意味する。ステップ＃３００で、ＮＯ、つまり、非シームレス接続と判断された場合にはステップ＃４００へ進む。
ステップ＃４００で、エンコードシステム制御部２００は、対象シーンが先行シーンとシームレス接続されることを示す、先行シーンシームレス接続フラグVOB Fsbをリセットして、ステップ＃６００に進む。
一方、ステップ＃３００で、ＹＥＳ、つまり先行シートとシームレス接続すると判断された時には、ステップ＃５００に進む。
ステップ＃５００で、先行シーンシームレス接続フラグVOB Fsbをセットして、ステップ＃６００に進む。
ステップ＃６００で、エンコードシステム制御部２００は、シナリオデータＳｔ７に基づいて、対象シーンを後続するシーンとシームレス接続するのか否かを判断する。ステップ＃６００で、ＮＯ、つまり非シームレス接続と判断された場合にはステップ＃７００へ進む。
ステップ＃７００で、エンコードシステム制御部２００は、シーンを後続シーンとシームレス接続することを示す、後続シーンシームレス接続フラグVOB Fsfをリセットして、ステップ＃９００に進む。
一方、ステップ＃６００で、ＹＥＳ、つまり後続シートとシームレス接続すると判断された時には、ステップ＃８００に進む。
ステップ＃８００で、エンコードシステム制御部２００は、後続シーンシームレス接続フラグVOB Fsfをセットして、ステップ＃９００に進む。
ステップ＃９００で、エンコードシステム制御部２００は、シナリオデータＳｔ７に基づいて、接続対象のシーンが一つ以上、つまり、マルチシーンであるか否かを判断する。マルチシーンには、マルチシーンで構成できる複数の再生経路の内、１つの再生経路のみを再生するパレンタル制御と再生経路がマルチシーン区間の間、切り替え可能なマルチアングル制御がある。
シナリオステップ＃９００で、ＮＯ、つまり非マルチシーン接続であると判断されて時は、ステップ＃１０００に進む。
ステップ＃１０００で、マルチシーン接続であることを示すマルチシーンフラグVOE Fpをリセットして、エンコードパラメータ生成ステップ＃１８００に進む。ステップ＃１８００の動作については、あとで述べる。
一方、ステップ＃９００で、ＹＥＳ、つまりマルチシーン接続と判断された時には、ステップ＃１１００に進む。
ステップ＃１１００で、マルチシーンフラグVOB Fpをセットして、マルチアングル接続かどうかを判断するステップ＃１２００に進む。
ステップ＃１２００で、マルチシーン区間中の複数シーン間での切り替えをするかどうか、すなわち、マルチアングルの区間であるか否かを判断する。ステップ＃１２００で、ＮＯ、つまり、マルチシーン区間の途中で切り替えずに、１つの再生経路のみを再生するパレンタル制御と判断された時には、ステップ＃１３００に進む。
ステップ＃１３００で、接続対象シーンがマルチアングルであること示すマルチアングルフラグVOB Fmをリセットしてステップ＃１３０２に進む。
ステップ＃１３０２で、先行シーンシームレス接続フラグVOB Fsb及び後続シーンシームレス接続フラグVOB Fsfの何れかがセットされているか否かを判断する。ステップ＃１３００で、ＹＥＳ、つまり接続対象シーンは先行あるいは後続のシーンの何れかあるいは、両方とシームレス接続すると判断された時には、ステップ＃１３０４に進む。
ステップ＃１３０４では、対象シーンのエンコードデータであるＶＯＢをインターリーブすることを示すインターリーブフラグVOB Fiをセットして、ステップ＃１８００に進む。
一方、ステップ＃１３０２で、ＮＯ、つまり、対象シーンは先行シーン及び後続シーンの何れともシームレス接続しない場合には、ステップ＃１３０６に進む。
ステップ＃１３０６でインターリーブフラッグVOB_Fiをリセットしてステップ＃１８００に進む。
一方、ステップ＃１２００で、ＹＥＳ、つまりマルチアングルであると判断された場合には、ステップ＃１４００に進む。
ステップ＃１４００では、マルチアングルフラッグVOB_Fm及びインターリーブフラッグVOB_Fiをセットした後ステップ＃１５００に進む。
ステップ＃１５００で、エンコードシステム制御部２００はシナリオデータＳｔ７に基づいて、マルチアングルシーン区間で、つまりＶＯＢよりも小さな再生単位で、映像やオーディオを途切れることなく、いわゆるシームレスに切替られるのかを判断する。ステップ＃１５００で、ＮＯ、つまり、非シームレス切替と判断された時には、ステップ＃１６００に進む。
ステップ＃１６００で、対象シーンがシームレス切替であることを示すシームレス切替フラッグVOB_FsVをリセットして、ステップ＃１８００に進む。
一方、ステップ＃１５００、ＹＥＳ、つまりシームレス切替と判断された時には、ステップ＃１７００に進む。
ステップ＃１７００で、シームレス切替フラッグVOB_FsVをセットしてステップ＃１８００に進む。このように、本発明では、編集意思を反映したシナリオデータＳｔ７から、編集情報が上述の各フラグのセット状態として検出されて後に、ステップ＃１８００に進む。
ステップ＃１８００で、上述の如く各フラグのセット状態として検出されたユーザの編集意思に基づいて、ソースストリームをエンコードするための、それぞれ図２７及び図２８に示されるＶＯＢセット単位及びＶＯＢ単位毎のエンコード情報テーブルへの情報付加と、図２９に示されるＶＯＢデータ単位でのエンコードパラメータを作成する。次に、ステップ＃１９００に進む。このエンコードパラメータ作成ステップの詳細については、図３５、図３６、図３７、図３８を参照して後で説明する。
ステップ＃１９００で、ステップ＃１８００で作成してエンコードパラメータに基づいて、ビデオデータ及びオーディオデータのエンコードを行った後にステップ＃２０００に進む。尚、サブピクチャデータは、本来必要に応じて、ビデオ再生中に、随時挿入して利用する目的から、前後のシーン等との連続性は本来不要である。更に、サプピクチャは、およそ、１画面分の映像情報であるので、時間軸上に延在するビデオデータ及びオーディオデータと異なり、表示上は静止の場合が多く、常に連続して再生されるものではない。よって、シームレス及び非シームレスと言う連続再生に関する本実施形態に於いては、簡便化のために、サブピクチャデータのエンコードについては説明を省く。
ステップ＃２０００では、ＶＯＢセットの数だけステップ＃３００からステップ＃１９００までの各ステップから構成されるループをまわし、図１６のタイトルの各ＶＯＢの再生順などの再生情報を自身のデータ構造にもつ、プログラムチェーン（VTS_PGC#I）情報をフォーマットし、マルチルチシーン区間のＶＯＢをインターリーブ配置を作成し、そしてシステムエンコードするために必要なＶＯＢセットデータ列及びＶＯＢデータ列を完成させる。次に、ステップ＃２１００に進む。
ステップ＃２１００で、ステップ＃２０００までのループの結果として得られる全ＶＯＢセット数VOBS_NUMを得て、ＶＯＢセットデータ列に追加し、さらにシナリオデータＳｔ７に於いて、シナリオ再生経路の数をタイトル数とした場合の、タイトル数TITLE_NOを設定して、エンコード情報テーブルとしてのＶＯＢセットデータ列を完成した後、ステップ＃２２００に進む。
ステップ＃２２００で、ステップ＃１９００でエンコードしたビデオエンコードストリーム、オーディオエンコードストリーム、図２９のエンコードパラメータに基づいて、図１６のVTSTT_VOBS内のＶＯＢ（VOB#i）データを作成するためのシステムエンコードを行う。次に、ステップ＃２３００に進む。
ステップ＃２３００で、図１６のＶＴＳ情報、ＶＴＳＩに含まれるＶＴＳＩ管理テーブル（VTSI_MAT）、ＶＴＳＰＧＣ情報テーブル（ＶＴＳＰＧＣＩＴ）及び、ＶＯＢデータの再生順を制御するプログラムチェーン情報（VTS_PGCI#I）のデータ作成及びマルチシーン区間に含めれるＶＯＢのインターリーブ配置などの処理を含むフォーマットを行う。
図３５、図３６、及び図３７を参照して、図３４に示すフローチャートのステップ＃１８００のエンコードパラメータ生成サブルーチンに於ける、マルチアングル制御時のエンコードパラメータ生成の動作を説明する。
先ず、図３５を参照して、図３４のステップ＃１５００で、ＮＯと判断された時、つまり各フラグはそれぞれVOB_Fsb=１またはVOB_Fsf=１、VOB_Fp=１、VOB_Fi=１、VOB_Fm=１、ＦｓＶ=０である場合、すなわちマルチアングル制御時の非シームレス切り替えストリームのエンコードパラメータ生成動作を説明する。以下の動作で、図２７、図２８に示すエンコード情報テーブル、図２９に示すエンコードパラメータを作成する。
ステップ＃１８１２では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８１４では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートILV_BRを抽出、インターリーブフラグVOB_Fi=１に基づき、エンコードパラメータのビデオエンコード最大ビットレートV_MRATEに設定。
ステップ＃１８１６では、シナリオデータＳｔ７より、最小インターリーブユニット再生時間ILVU_MTを抽出。
ステップ＃１８１８では、マルチアングルフラグVOB_Fp=１に基づき、ビデオエンコードＧＯＰ構造GOPSTのＮ=１５、Ｍ=３の値とＧＯＰ構造固定フラグGOPFXflag=“1”に設定。
ステップ＃１８２０は、ＶＯＢデータ設定の共通のルーチンである。
図３６に、ステップ＃１８２０のＶＯＢデータ共通設定ルーチンを示す。以下の動作フローで、図２７、図２８に示すエンコード情報テーブル、図２９に示すエンコードパラメータを作成する。
ステップ＃１８２２では、シナリオデータＳｔ７より、各ＶＯＢのビデオ素材の開始時刻VOB_VST、終了時刻VOB_VENDを抽出し、ビデオエンコード開始時刻V_STTMとエンコード終了時刻V_ENDTMをビデオエンコードのパラメータとする。
ステップ＃１８２４では、シナリオデータＳｔ７より、各ＶＯＢのオーディオ素材の開始時刻VOB_ASTを抽出し、オーディオエンコード開始時刻A_STTMをオーディオエンコードのパラメータとする。
ステップ＃１８２６では、シナリオデータＳｔ７より、各ＶＯＢのオーディオ素材の終了時刻VOB_AENDを抽出し、VOB_AENDを超えない時刻で、オーディオエンコード方式できめられるオーディオアクセスユニット（以下ＡＡＵと記述する）単位の時刻を、オーディオエンコードのパラメータである、エンコード終了時刻A_ENDTMとする。
ステップ＃１８２８は、ビデオエンコード開始時刻V_STTMとオーディオエンコード開始時刻A_STTMの差より、オーディオ開始時ギャップA_STGAPをシステムエンコードのパラメータとする。
ステップ＃１８３０では、ビデオエンコード終了時刻V_ENDTMとオーディオエンコード終了時刻A_ENDTMの差より、オーディオ終了時ギャップA_ENDGAPをシステムエンコードのパラメータとする。
ステップ＃１８３２では、シナリオデータＳｔ７より、ビデオのビットレートV_BRを抽出し、ビデオエンコードの平均ビットレートとして、ビデオエンコードビットレートV_RATEをビデオエンコードのパラメータとする。
ステップ＃１８３４では、シナリオデータＳｔ７より、オーディオのビットレートA_BRを抽出し、オーディオエンコードビットレートA_RATEをオーディオエンコードのパラメータとする。
ステップ＃１８３６では、シナリオデータＳｔ７より、ビデオ素材の種類VOB_V_KINDを抽出し、フィルム素材、すなわちテレシネ変換された素材であれば、ビデオエンコードモードV_ENCMDに逆テレシネ変換を設定し、ビデオエンコードのパラメータとする。
ステップ＃１８３８では、シナリオデータＳｔ７より、オーディオのエンコード方式VOB_A_KINDを抽出し、オーディオエンコードモードA_ENCMDにエンコード方式を設定し、オーディオエンコードのパラメータとする。
ステップ＃１８４０では、ビデオエンコード初期データV_INSTのＶＢＶバッファ初期値が、ビデオエンコード終了データV_ENDSTのＶＢＶバッファ終了値以下の値になるように設定し、ビデオエンコードのパラメータとする。
ステップ＃１８４２では、先行ＶＯＢシームレス接続フラグVOB_Fsb=１に基づき、先行接続のＶＯＢ番号VOB_NOを先行接続のＶＯＢ番号B_VOB_NOに設定し、システムエンコードのパラメータとする。
ステップ＃１８４４では、後続ＶＯＢシームレス接続フラグVOB_Fsf=１に基づき、後続接続のＶＯＢ番号VOB_NOを後続接続のＶＯＢ番号F_VOB_NOに設定し、システムエンコードのパラメータとする。
以上のように、マルチアングルのＶＯＢセットであり、非シームレスマルチアングル切り替えの制御の場合のエンコード情報テーブル及びエンコードパラメータが生成できる。
次に、図３７を参照して、図３４に於いて、ステップ＃１５００で、Ｙｅｓと判断された時、つまり各フラグはそれぞれVOB_Fsb=１またはVOB_Fsf=１、VOB_Fp=１、VOB_Fi=１、VOB_Fm=１、VOB_FsV=１である場合の、マルチアングル制御時のシームレス切り替えストリームのエンコードパラメータ生成動作を説明する。
以下の動作で、図２７、図２８に示すエンコード情報テーブル、及び図２９に示すエンコードパラメータを作成する。
ステップ＃１８５０では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８５２では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートいＬV_BRを抽出、インターリーブフラグVOB_Fi=１に基づき、ビデオエンコード最大ビットレートV_RATEに設定。
ステップ＃１８５４では、シナリオデータＳｔ７より、最小インターリーブユニット再生時間ILVU_MTを抽出。
ステップ＃１８５６では、マルチアングルフラグVOB_Fp=１に基づき、ビデオエンコードＧＯＰ構造GOPSTのＮ=１５、Ｍ=３の値とＧＯＰ構造固定フラグGOPFXflag=“1”に設定。
ステップ＃１８５８では、シームレス切り替えフラグVOB_FsV=１に基づいて、ビデオエンコードＧＯＰ構造GOPSTにクローズドＧＯＰを設定、ビデオエンコードのパラメータとする。
ステップ＃１８６０は、ＶＯＢデータ設定の共通のルーチンである。この共通のルーチンは図３５に示しているルーチンであり、既に説明しているので省略する。
以上のようにマルチアングルのＶＯＢセットで、シームレス切り替え制御の場合のエンコードパラメータが生成できる。
次に、図３８を参照して、図３４に於いて、ステップ＃１２００で、ＮＯと判断され、ステップ１３０４でＹＥＳと判断された時、つまり各フラグはそれぞれVOB_Fsb=１またはVOB_Fsf=１、VOB_Fp=１、VOB_Fi=１、VOB_Fm=０である場合の、パレンタル制御時のエンコードパラメータ生成動作を説明する。以下の動作で、図２７、図２８に示すエンコード情報テーブル、及び図２９に示すエンコードパラメータを作成する。
ステップ＃１８７０では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８７２では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートILV_BRを抽出、インターリーブフラグVOB_Fi=１に基づき、ビデオエンコード最大ビットレートV_RATEに設定する。
ステップ＃１８７４では、シナリオデータＳｔ７より、ＶＯＢインターリーブユニット分割数ILV_DIVを抽出する。
ステップ＃１８７６は、ＶＯＢデータ設定の共通のルーチンである。この共通のルーチンは図３５に示しているルーチンであり、既に説明しているので省略する。
以上のようにマルチシーンのＶＯＢセットで、パレンタル制御の場合のエンコードパラメータが生成できる。
次に、図６４を参照して、図３４に於いて、ステップ＃９００で、ＮＯと判断された時、つまり各フラグはそれぞれVOB_Fp=０である場合の、すなわち単一シーンのエンコードパラメータ生成動作を説明する。以下の動作で、図２７、図２８に示すエンコード情報テーブル、及び図２９に示すエンコードパラメータを作成する。
ステップ＃１８８０では、シナリオデータＳｔ７に含まれているシナリオ再生順を抽出し、ＶＯＢセット番号VOBS_NOを設定し、さらにＶＯＢセット内の１つ以上のＶＯＢに対して、ＶＯＢ番号VOB_NOを設定する。
ステップ＃１８８２では、シナリオデータＳｔ７より、インターリーブＶＯＢの最大ビットレートＩＬV_BRを抽出、インターリーブフラグVOB_Fi=１に基づき、ビデオエンコード最大ビットレートV_MRATEに設定。
ステップ＃１８８４は、ＶＯＢデータ設定の共通のルーチンである。この共通のルーチンは図３５に示しているルーチンであり、既に説明しているので省略する。
上記ようなエンコード情報テーブル作成、エンコードパラメータ作成フローによって、ＤＶＤのビデオ、オーディオ、システムエンコード、ＤＶＤのフォーマッタのためのエンコードパラメータは生成できる。
デコーダのフローチャート
ディスクからストリームバッファ転送フロー
以下に、図４７および図４８を参照して、シナリオ選択データＳｔ５１に基づいてデコードシステム制御部２３００が生成するデコード情報テーブルについて説明する。デコード情報テーブルは、図４７に示すデコードシステムテーブルと、図４８に示すデコードテーブルから構成される。
図４７に示すようにデコードシステムテーブルは、シナリオ情報レジスタ部とセル情報レジスタ部からなる。シナリオ情報レジスタ部は、シナリオ選択データＳｔ５１に含まれるユーザの選択した、タイトル番号等の再生シナリオ情報を抽出して記録する。セル情報レジスタ部は、シナリオ情報レジスタ部は抽出されたユーザの選択したシナリオ情報に基いてプログラムチェーンを構成する各セル情報を再生に必要な情報を抽出して記録する。
更に、シナリオ情報レジスタ部は、アングル番号レジスタANGLE_NO_reg、ＶＴＳ番号レジスタVTS_NO_reg、ＰＧＣ番号レジスタVTS_PGCI_NO_reg、オーディオＩＤレジスタAUDIO_ID_reg、副映像ＩＤレジスタSP_ID_reg、及びＳＣＲ用バッファレジスタSCR_bufferを含む。
アングル番号レジスタANGLE_NO_regは、再生するＰＧＣにマルチアングルが存在する場合、どのアングルを再生するかの情報を記録する。ＶＴＳ番号レジスタVTS_NO_regは、ディスク上に存在する複数のＶＴＳのうち、次に再生するＶＴＳの番号を記録する。ＰＧＣ番号レジスタVTS_PGCI_NO_regは、パレンタル等の用途でＶＴＳ中存在する複数のＰＧＣのうち、どのＰＧＣを再生するかを指示する情報を記録する。オーディオＩＤレジスタAUDIO_ID_regは、ＶＴＳ中存在する複数のオーディオストリームの、どれを再生するかを指示する情報を記録する。副映像ＩＤレジスタSP_ID_regは、ＶＴＳ中に複数の副映像ストリームが存在する場合は、どの副映像ストリームを再生するか指示する情報を記録する。ＳＣＲ用バッファSCR_bufferは、図１９に示すように、パックヘッダに記述されるＳＣＲを一時記憶するバッファである。この一時記憶されたＳＣＲは、図２６を参照して説明したように、ストリーム再生データＳｔ６３としてデコードシステム制御部２３００に出力される。
セル情報レジスタ部は、セルブロックモードレジスタCBM_reg、セルブロックタイプレジスタCBT_reg、シームレス再生フラグレジスタSPB_reg、インターリーブアロケーションフラグレジスタIAF_reg、STC再設定フラグレジスタSTCDF_reg、シームレスアングル切り替えフラグレジスタSACF_reg、セル最初のＶＯＢＵ開始アドレスレジスタC_FVOBU_SA_reg、セル最後のＶＯＢＵ開始アドレスレジスタC_LVOBU_SA_regを含む。
セルブロックモードレジスタCBM_regは複数のセルが１つの機能ブロックを構成しているか否かを示し、構成していない場合は値として“N_BLOCK”を記録する。また、セルが１つの機能ブロックを構成している場合、その機能ブロックの先頭のセルの場合“F_CELL”を、最後のセルの場合“L_CELL”を、その間のセルの場合“BLOCK”を値として記録する。
セルブロックタイプレジスタCBT_regは、セルブロックモードレジスタCBM_regで示したブロックの種類を記録するレジスタであり、マルチアングルの場合”A_BLOCK”を、マルチアングルでない場合“N_BLOCK”を記録する。
シームレス再生フラグレジスタSPF_regは、該セルが前に再生されるセルまたはセルブロックとシームレスに接続して再生するか否かを示す情報を記録する。前セルまたは前セルブロックとシームレスに接続して再生する場合には、値として“SML”を、シームレス接続でない場合は値として“NSML”を記録する。
インターリーブアロケーションフラグレジスタIAF_regは、該セルがインターリーブ領域に配置されているか否かの情報を記録する。インターリーブ領域に配置されている場合には値として“ILVB”を、インターリーブ領域に配置されていない場合は”N_ILVB”を記録する。
ＳＴＣ再設定フラグレジスタSTCDF_regは、同期をとる際に使用するＳＴＣ（System Time Clock）をセルの再生時に再設定する必要があるかないかの情報を記録する。再設定が必要な場合には値として“STC_RESET”を、再設定が不要な場合には値として、“STC_NRESET”を記録する。
シームレスアングルチェンジフラグレジスタSACF_regは、該セルがアングル区間に属しかつ、シームレスに切替えるかどうかを示す情報を記録する。アングル区間でかつシームレスに切替える場合には値として“SML”を、そうでない場合は”NSML”を記録する。
セル最初のＶＯＢＵ開始アドレスレジスタC_FVOBU_SA_regは、セル先頭ＶＯＢＵ開始アドレスを記録する。その値はＶＴＳタイトル用ＶＯＢＳ（VTSTT_VOBS）の先頭セルの論理セクタからの距離をセクタ数で示し、該セクタ数を記録する。
セル最後のＶＯＢＵ開始アドレスレジスタC_LVOBU_SA_regは、セル最終ＶＯＢＵ開始アドレスを記録する。その値は、ＶＴＳタイトル用ＶＯＢＳ（VTSTT_VOBS）の先頭セルの論理セクタから距離をセクタ数で示し、該セクタ数を記録する。
次に、図４８のデコードテーブルについて説明する。同図に示すようにデコードテーブルは、非シームレスマルチアングル情報レジスタ部、シームレスマルチアングル情報レジスタ部、ＶＯＢＵ情報レジスタ部、シームレス再生レジスタ部からなる。
非シームレスマルチアングル情報レジスタ部は、NSML_AGL_C1_DSTA_reg〜NSML_AGL_C9_DSTA_regを含む。
NSML_AGL_C1_DSTA_reg〜NSML_AGL_C9_DSTA_regには、図２０に示すＰＣＩパケット中のNSML_AGL_C1_DSTA〜NSML_AGL_C9_DSTAを記録する。
シームレスマルチアングル情報レジスタ部は、SML_AGL_C1_DSTA_reg〜SML_AGL_C9_DSTA_regを含む。
SML_AGL_C1_DSTA_reg〜SML_AGL_C9_DSTA_regには、図２０に示すＤＳＩパケット中のSML_AGL_C1_DSTA〜SML_AGL_C9_DSTAを記録する。
ＶＯＢＵ情報レジスタ部は、ＶＯＢＵ最終アドレスレジスタＶＯＢＵ_EA_regを含む。
ＶＯＢＵ情報レジスタＶＯＢＵ_EA_regには、図２０に示すＤＳＩパケット中のＶＯＢＵ_EAを記録する。
シームレス再生レジスタ部は、インターリーブユニットフラグレジスタILVU_flag_reg、ユニットエンドフラグレジスタUNIT_END_flag_reg、ＩＬＶＵ最終パックアドレスレジスタILVU_EA_reg、次のインターリーブユニット開始アドレスNT_ILVU_SA_reg、ＶＯＢ内先頭ビデオフレーム表示開始時刻レジスタＶＯＢ_V_SPTM_reg、ＶＯＢ内最終ビデオフレーム表示終了時刻レジスタＶＯＢ_V_EPTM_reg、オーディオ再生停止時刻１レジスタVOB_A_GAP_PTM1_reg、オーディオ再生停止時刻２レジスタVOB_A_GAP_PTM2_reg、オーディオ再生停止期間１レジスタVOB_A_GAP_LEN1、オーディオ再生停止期間２レジスタＶＯＢ_A_GAP_LEN2を含む。
インターリーブユニットフラグレジスタILVU_flag_regはＶＯＢＵが、インターリーブ領域に存在するかを示すものであり、インターリーブ領域に存在する場合“ILVU”を、インターリーブ領域に存在しない場合“N_ILVU”を記録する。
ユニットエンドフラグレジスタUNIT_END_flag_regは、ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵがＩＬＶＵの最終ＶＯＢＵかを示す情報を記録する。ＩＬＶＵは、連続読み出し単位であるので、現在読み出しているＶＯＢＵが、ＩＬＶＵの最後のＶＯＢＵであれば“END”を、最後のＶＯＢＵでなければ“N_END”を記録する。
ＩＬＶＵ最終パックアドレスレジスタILVU_EA_regは、ＶＯＢＵがインターリーブ領域に存在する場合、該ＶＯＢＵが属するＩＬＶＵの最終パックのアドレスを記録する。ここでアドレスは、該ＶＯＢＵのＮＶからのセクタ数である。
次のＩＬＶＵ開始アドレスレジスタNT_ILVU_SA_regは、ＶＯＢＵがインターリーブ領域に存在する場合、次のＩＬＶＵの開始アドレスを記録する。ここでアドレスは、該ＶＯＢＵのＮＶからのセクタ数である。
ＶＯＢ内先頭ビデオフレーム表示開始時刻レジスタＶＯＢ_V_SPTM_regは、ＶＯＢの先頭ビデオフレームの表示を開始する時刻を記録する。
ＶＯＢ内最終ビデオフレーム表示終了時刻レジスタＶＯＢ_V_EPTM_regは、ＶＯＢの最終ビデオフレームの表示が終了する時刻を記録する。
オーディオ再生停止時刻１レジスタＶＯＢ_A_GAP_PTM1_regは、オーディオ再生を停止させる時間を、オーディオ再生停止期間１レジスタＶＯＢ_A_GAP_LEN1_regはオーディオ再生を停止させる期間を記録する。
オーディオ再生停止時刻２レジスタＶＯＢ_A_GAP_PTM2_regおよび、オーディオ再生停止期間２レジスタＶＯＢ_A_GAP_LEN2に関しても同様である。
次に図４９示すＤＶＤデコーダフローを参照しながら、図２６にブロック図を示した本発明に係るＤＶＤデコーダＤＣＤの動作を説明する。
ステップ＃３１０２０２はディスクが挿入されたかを評価するステップであり、ディスクがセットされればステップ＃３１０２０４へ進む。
ステップ＃３１０２０４に於いて、図２２のボリュームファイル情報VFSを読み出した後に、ステップ＃３１０２０６に進む。
ステップ＃３１０２０６では、図２２に示すビデオマネージャVMGを読み出し、再生するVTSを抽出して、ステップ＃３１０２０８に進む。
ステップ＃３１０２０８では、VTSの管理テーブルVTSIより、ビデオタイトルセットメニューアドレス情報VTSM_C_ADTを抽出して、ステップ＃３１０２１０に進む。
ステップ＃３１０２１０では、VTSM_C_ADT情報に基づき、ビデオタイトルセットメニューVTSM_ＶＯＢＳをディスクから読み出し、タイトル選択メニューを表示する。このメニューに従ってユーザーはタイトルを選択する。この場合、タイトルだけではなく、オーディオ番号、副映像番号、マルチアングルを含むタイトルであれば、アングル番号を入力する。ユーザーの入力が終われば、次のステップ＃３１０２１４へ進む。
ステップ＃３１０２１４で、ユーザーの選択したタイトル番号に対応するVTS_PGCI#Jを管理テーブルより抽出した後に、ステップ＃３１０２１６に進む。
次のステップ＃３１０２１６で、ＰＧＣの再生を開始する。ＰＧＣの再生が終了すれば、デコード処理は終了する。以降、別のタイトルを再生する場合は、シナリオ選択部でユーザーのキー入力があればステップ＃３１０２１０のタイトルメニュー表示に戻る等の制御で実現できる。
次に、図５０を参照して、先に述べたステップ＃３１０２１６のＰＧＣの再生について、更に詳しく説明する。ＰＧＣ再生ステップ＃３１０２１６は、図示の如く、ステップ＃３１０３０、＃３１０３２、＃３１０３４、及び＃３１０３５よりなる。
ステップ＃３１０３０では、図４７に示したデコードシステムテーブルの設定を行う。アングル番号レジスタANGLE_NO_reg、ＶＴＳ番号レジスタVTS_NO_reg、ＰＧＣ番号レジスタPGC_NO_reg、オーディオＩＤレジスタAUDIO_ID_reg、副映像ＩＤレジスタSP_ID_regは、シナリオ選択部２１００でのユーザー操作によって設定する。
ユーザーがタイトルを選択することで、再生するＰＧＣが一意に決まると、該当するセル情報（C_PBI）を抽出し、セル情報レジスタに設定する。設定するレジスタは、CBM_reg、CBT_reg、SPF_reg、IAF_reg、STCDF_reg、SACF_reg、C_FVOBU_SA_reg、C_LVOBU_SA_regである。
デコードシステムテーブルの設定後、ステップ＃３１０３２のストリームバッファへのデータ転送処理と、ステップ＃３１０３４のストリームバッファ内のデータデコード処理を並列に起動する。
ここで、ステップ＃３１０３２のストリームバッファへのデータ転送処理は、図２６に於いて、ディスクＭからストリームバッファ２４００へのデータ転送に関するものである。すなわち、ユーザーの選択したタイトル情報、およびストリーム中に記述されている再生制御情報（ナブパックＮＶ）に従って、必要なデータをディスクＭから読み出し、ストリームバッファ２４００に転送する処理である。
一方、ステップ＃３１０３４は、図２６に於いて、ストリームバッファ２４００内のデータをデコードし、ビデオ出力３６００およびオーディオ出力３７００へ出力する処理を行う部分である。すなわち、ストリームバッファ２４００に蓄えられたデータをデコードして再生する処理である。
このステップ＃３１０３２と、ステップ＃３１０３４は並列に動作する。ステップ＃３１０３２について以下、更に詳しく説明する。
ステップ＃３１０３２の処理はセル単位であり、１つのセルの処理が終了すると次のステップ＃３１０３５でＰＧＣの処理が終了したかを評価する。ＰＧＣの処理が終了していなければ、ステップ＃３１０３０で次のセルに対応するデコードシステムテーブルの設定を行う。この処理をＰＧＣが終了するまで行う。
ストリームバッファからのデコードフロー
次に図５１を参照して、図５０に示したステップ＃３１０３４のストリームバッファ内のデコード処理について説明する。
ステップ＃３１０３４は、図示の如くステップ＃３１１１０、ステップ＃３１１１２、ステップ＃３１１１４、ステップ＃３１１１６からなる。
ステップ＃３１１１０は、図２６に示すストリームバッファ２４００からシステムデコーダ２５００へのパック単位でのデータ転送を行い、ステップ＃３１１１２へ進む。
ステップ＃３１１１２は、ストリームバッファ２４００から転送されるパックデータを各バッファ、すなわち、ビデオバッファ２６００、サブピクチャバッファ２７００、オーディオバッファ２８００へのデータ転送を行う。
ステップ＃３１１１２では、ユーザの選択したオーディオおよび副映像のＩＤ、すなわち図４７に示すシナリオ情報レジスタに含まれるオーディオＩＤレジスタAUDIO_ID_reg、副映像ＩＤレジスタSP_ID_regと、図１９に示すパケットヘッダ中の、ストリームＩＤおよびサブストリームＩＤを比較して、一致するパケットをそれぞれのバッファ（ビデオバッファ２６００、オーディオバッファ２７００、サブピクチャバッファ２８００）へ振り分け、ステップ＃３１１１４へ進む。
ステップ＃３１１１４は、各デコーダ（ビデオデコーダ、サブピクチャデコーダ、オーディオデコーダ）のデコードタイミングを制御する、つまり、各デコーダ間の同期処理を行い、ステップ＃３１１１６へ進む。ステップ＃３１１１４の各デコーダの同期処理の詳細は後述する。
ステップ＃３１１１６は、各エレメンタリのデコード処理を行う。つまり、ビデオデコーダはビデオバッファからデータを読み出しデコード処理を行う。サブピクチャデコーダも同様に、サブピクチャバッファからデータを読み出しデコード処理を行う。オーディオデコーダも同様にオーディオデコーダバッファからデータを読み出しデコード処理を行う。デコード処理が終われば、ステップ＃３１０３４を終了する。
次に、図５２を参照して、先に述べたステップ＃３１１１４について更に詳しく説明する。
ステップ＃３１１１４は、図示の如く、ステップ＃３１１２０、ステップ＃３１１２２、ステップ＃３１１２４からなる。
ステップ＃３１１２０は、先行するセルと該セルがシームレス接続かを評価するステップであり、シームレス接続であればステップ＃３１１２２へ進み、そうでなければステップ＃３１１２４へ進む。
ステップ＃３１１２２は、シームレス用の同期処理を行う。
一方、ステップ＃３１１２４は、非シームレス用の同期処理を行う。
ビデオエンコーダ
ＭＰＥＧビデオストリームを生成するビデオエンコーダは、ＭＰＥＧデコーダに装備されているビデオバッファ２６００が破綻を来さないように符号化処理、つまりエンコードを行う。通常のビデオ信号を対象としたＭＰＥＧ２のメインプロファイル、メインレベル規格（以下、ＭＰＥＧ２ＭＰ＠ＭＬと記す）のビデオストリームをデコードするデコーダには２２４ＫＢ以上の容量を有するビデオバッファ２６００を装備することが必要とされている（ＩＳＯ１３８１８のＭＰＥＧ規格書参照）。従って、ＭＰＥＧ２ＭＰ＠ＭＬ用ビデオエンコーダはデコーダに最低限装備されている２２４ＫＢ容量のビデオバッファ２６００のデータ占有量Vdvを符号化時に於いてシミュレートし、ビデオバッファ２６００がアンダーフロー、あるいはオーバーフローしないように符号量制御を行う。
ビデオバッファ２６００がアンダーフローを起こすと、デコードに必要なデータが入力をされるまで画像を復号、つまりデコードすることができず、再生画像が一時停止するなど乱れることがある。また、ビデオバッファ２６００がオーバーフローすると必要な符号化データが損なわれる場合があり、正しく復号されなくなる恐れがある。
しかしながら、図２６に示す本発明のＤＶＤデコーダＤＣＤなどで記録媒体Ｍからデータを読み出す場合、デコードに必要なデータ量だけを記録媒体Ｍから読み出す間欠データ転送を実現するできる。この場合、ＤＶＤデコーダＤＣＤのビデオバッファ２６００がオーバーフローを起こしそうになった場合でも、オーバーフローを起こす前に、データの読み出しを停止することによりオーバーフローが防止され、符号化データが損なわれることなく復号することができる。従って、オーバーフロー対策に於いては再生処理側、つまりデコーダＤＣＤで対応することが可能である。
しかし、データ転送レートの最大値はＤＶＤシステムのドライブ等の制限によりは規定されるため、最大転送レートを超えるレートでデコード処理が進めばビデオバッファ２６００がアンダーフローを起こす場合がある。従って、ＤＶＤデコーダなどの間欠データ転送を実現できる場合に於いては、符号化時に於いては特にアンダーフローを防止するように符号量制御することが重要である。
ビデオの符号化処理時に於いては、仮想的にビデオバッファ２６００のデータ占有量Vdvを計算し、そのデータ占有量Vdvに応じて符号量制御を行う。このビデオバッファ２６００のデータ占有量Vdvの計算について、以下に詳しく説明する。
図４０を参照して、図２６に示す本発明にかかるＤＶＤデコーダＤＣＤに於いて、ビデオエンコードストリームＳＴ７１をビデオバッファ２６００に転送しデコード処理を行う際のビデオバッファ２６００のデータ占有量Vdvの推移の一例について説明する。線ＳＶｉはビデオエンコードストリームＳｔ７１の先頭部分のビデオバッファ２６００中での蓄積量Vdvの推移を示し、その傾きＢＲは、ビデオバッファ２６００への入力レートを示している。
このビデオバッファへの入力レートは、ビデオエンコードストリームのデータ転送レートであり、ＤＶＤからの読み出しレートにほぼ等しい一定レートのシステムストリームのデータ転送レートからビデオストリーム以外のストリームの転送レートを引いた値である。
ビデオエンコードストリームの転送は所定の転送レートＢＲで行われ、１フレームFvのデコードに必要なデータはデコードの開始と同時に瞬時にビデオバッファ２６００からビデオデコーダ３８００に転送されるものとする。また、各フレームのデコード開始時刻は再生フレーム周期によって規定されるものであるので、一定のフレーム周期で連続的に再生する場合はデコード開始時刻はフレーム周期と同じ周期で行われる。これら符号化処理を行う上で一般的な条件であり、これに基づいてビデオバッファ２６００のデータ占有量Vdvを符号化処理時にターゲット符号量を計算している。
ビデオエンコードにおいて、各フレーム単位では、フレーム毎に目標とするエンコード量をターゲット符号量として設定し、各フレームのエンコード時に、そのターゲット符号量になるようにエンコード処理を行っている。更に、そのターゲットの符号量は、エンコードするビデオ画像を１度、擬似的にエンコードし、各フレーム毎にエンコードするために必要な擬似符号量を得て、その擬似符号量と圧縮ビットレートを基に、得る方法（２パスエンコーディング）と、圧縮ビットレートと圧縮フレーム種類（Ｉフレーム、Ｐフレーム、Ｂフレーム）の違いに応じて、予め設定あるいはエンコード処理時に適切に設定する比率に基づいて各フレームの符号量を得る方法（１パスエンコーディング）がある。
前述のデータ占有量Vdvの計算では、このような手法で得た各フレーム毎の符号量を基に、更にビデオバッファ２６００が破綻しないように計算し、最終的なエンコード時のターゲット符号量を算出するのである。
図４０に於いて、まず時刻ＴｉでビデオストリームＳｔ７１のビデオバッファ２６００へのデータ転送を開始する。時刻Ｔｉに於いてはデータ占有量Vdvは０であって、その後所定の転送レートＢＲで徐々にデータ占有量Vdvは増加していく。そして、データ占有量Vdvが所定の初期占有量Biになった時、つまり時刻Ｔｄ１に於いて、最初のフレームのデコードが開始される。ここで、データ入力時刻Ｔｉからデコード開始時刻Ｔｄまでの時間がデコードディレイ時間であるデコード保証蓄積時間vbv_delayである。そしてデコードが開始されると同時に、瞬時に１フレームFv分のデータ量ＢＧだけビデオバッファ２６００のデータ占有量Vdvは減少し、再び所定の転送レートBRでデータ占有量Vdvは増加する。
初期占有量Biは、復号化処理を開始する時刻でのビデオバッファ２６００のデータ占有量Vdvである。
各フレームのデータ量は可変長符号によって符号化処理がなされているため、各フレームのデータ量は一定ではなく、図に示すように各フレームのデコード開始時刻におけるデータ占有量Vdvは変化する。
このようにビデオバッファ２６００のデータ占有量Vdvの推移は、初期占有量Biが決まれば、データ転送レートＢＲよって規定されるデータ占有量Vdvの増加量と、各フレームごとのデータ量に相当する減少量とから、各フレーム毎のデータ占有量Vdvを計算することでができる。
以上にように、設定した初期占有量Biおよびデータ転送レートを条件として、ビデオバッファ２６００がアンダーフローあるいはオーバーフローしないように符号量制御を行いながら符号化処理を行う。従って、デコード処理に於いて符号化処理時に設定した初期占有量Biおよびデータ転送レートＢＲと等しくデコード処理を行わなければ、アンダーフローあるいはオーバーフローを引き起こす可能性があり、適切な映像を再生できないことがある。なお、復号バッファメモリとして、ビデオバッファ２６００を例に挙げて、説明したが、サブピクチャバッファ２７００及びオーディオバッファ２８００に付いても、同様である。
タイトルに使用するビデオエンコードストリームＳｔ７１が、一つのビデオ信号の最初から最後までを一度に符号化処理をして、前述のように適切にデコードすれば、問題はないが、別々にエンコードしたストリームを接続再生する時に、ビデオバッファ２６００のアンダーフローなどの問題が起きる可能性がある。
例えば映画であれば１０分程度のチャプターと呼ばれる単位ごとに符号化処理して各チャプターごとのストリーム生成し、あとでこれらのストリームを接続して一つのビデオエンコードストリームを生成する場合がある。
また、前述したようなマルチアングル再生を行う場合は、マルチシーンである複数のアングルストリームから成るマルチアングルシーンからユーザーが、随時に指定する任意のアングルシーンのストリームに、再生中のストリームをダイナミックに接続して再生しなくてはならない。同様に、パレンタル制御などに於いても、マルチシーンである複数のストリームから成るパレンタル制御区間からユーザが予め選択した任意のシーンのストリームを共通の一つのストリームに、スタティックに接続して再生される。何れの場合に於いても、共通ストリームとマルチシーンの各ストリームは、其々独立に符号化処理される。一方、再生時には、共通のストリームと選択された任意のストリームを接続して連続的にデコードする必要がある。このように、他のストリームとは独立してエンコードした、同一時間軸上のマルチシーンストリームを他のストリームに接続して連続的に再生する場合には、以下に述べるような困難が予想される。
図４１を参照して、所定フレーム分のビデオストリームＳｔ７１をデコード処理する際のビデオバッファ２６００のデータ占有量Vdvの推移を説明する。ここでは、例として５フレーム分のビデオストリームＦ１、Ｆ２、Ｆ３、Ｆ４及びＦ５がデコード対象である。特にビデオストリームの終端でのデータ占有量Vdvの推移に着目して説明する。
図４０に示した例と同様に、時刻Ｔｉでデータ転送が開始され、デコード保証蓄積時間vdv_delayが経過した時刻Ｔｄ１（ｆ１）で先頭フレームＦ１のデコードが開始される。このときのデータ占有量Vdvは所定の初期占有量Biとなっている。以下、同様に傾きデータ転送レートＢＲで増加し、各フレームのデコード開始時刻（ｆ２、ｆ３、ｆ４、ｆ５）でデコードが開始される。そして、時刻Ｔｅに於いてビデオストリームＳｖｉのデータ転送が終了する。すなわち、時刻Ｔｅ以降、ビデオバッファ２６００のデータ占有量Vdvは増加することはない。最終のフレームＦ５が時刻ｆ５でデコードされるとビデオバッファ２６００のデータ占有量Vdvはゼロとなる。
次に図４２を参照して、二つのビデオストリームＳｔ７１ａ及びＳｔ７１ｂを接した場合のビデオバッファ２６００のデータ占有量Vdvの推移を説明する。ここで、先行する第一のビデオストリームＳｔ７１ａ（フレームＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５）と、後続する第二のビデオストリームＳｔ７１ｂ（フレームＦ６、Ｆ７、．．．）とを接続する場合を例として説明する。
まず、時刻Ｔｉ１でビデオストリームＳｔ７１ａのビデオバッファ２６００への転送が開始される。時刻Ｔｅ１に於いてビデオストリームＳｔ７１ａの転送は終了するが、時刻Ｔｅ１と同時刻であるＴｉ２にビデオストリームＳｔ７１ｂの転送が開始される。従って、図４１に示した例とは異なり、ビデオストリームＳｔ７１ａを転送し終えた時刻Ｔｅ１以降でも時刻Ｔｅ２迄はビデオストリームＳｔ７１ｂのデータ転送は行われるため、その間はデータ占有量Vdvはデータ転送レートＢＲで増加しては、１フレーム分毎のデコードにより減少を繰り返して推移する。
ここで、ビデオストリームＳｔ７１ａのデコード終了時刻、つまりビデオストリームＳｔ７１ｂのデコード開始時刻Ｔｄ２、におけるビデオバッファ２６００のビデオストリームＳｔ７１ｂによるデータ占有量を最終占有量Be1として定義する。
言い換えれば、二つ以上の符号化データが連続して再生される際に、先行符号化データがビデオバッファ２６００へ転送された後にも,後続符号化データが引き続き、所定のデータ転送レートでビデオバッファ２６００に転送される。この場合の、先行符号化データの最終データを復号した際の、後続符号化データによるビデオバッファ２６００のストリームデータ占有量Vdvである。つまり、本実施態様に於いては、先行符号化データの最終占有量Beは、後続符号化データの初期占有量Biと等しくなるように制御される。
一つのビデオストリームに他のビデオストリームを接続し、連続的に再生するする場合、このような最終占有量Beを符号化時に予め計算しておくことは重要である。それは、先行ストリームの最終占有量Be1は次に接続されるビデオストリームＳｔ７１ｂの初期占有量Bi2となるからである。つまり、図４２に於いて先行ビデオストリームＳｔ７１ａの最終占有量Be1は、ビデオストリームＳｔ７１ｂの初期占有量Be2になる。従って、後続ビデオストリームＳｔ７１ｂを得るための符号化処理に於いて、ビデオバッファ２６００の初期占有量Be2をBe2=Be1として設定し、設定された初期占有量Be2を条件としてビデオバッファ２６００破綻を来さないように符号量制御を行うのである。
次に、図４３を参照して、図２１に示すようなＤＶＤシステムの特徴であるパレンタルシーンやマルチアングルシーンのように複数シーンのうちの一つを選択して再生し、各シーンを再生した後、連続的に一つのシーンに合流して再生するといった場合のストリームの構成について説明する。同図は、複数シーンに分岐し、結合して一つのシーンに合流する場合の各シーンのシステムストリームの概念図である。同図に於いて、ＳＳＡ及びＳＳＢは共通システムストリームを、ＳＳＢ１及びＳＳＢ２はマルチシーン区間の各システムストリームを表している。システムストリームとは、共通システムストリームＳＳＡを例にとって説明すると、同共通シーンのビデオストリームＶＡとオーディオストリームＡＡを多重化して生成されている。この場合は、ビデオストリームＶＡはシステムストリームＳＳＡの開始端から始まり、終了端の手前で終わる。一方、オーディオストリームＡＡは、システムストリームＳＳＡの途中から始まり、終了端を共有する。同様に、各シーンのビデオストリームとオーディオストリームとを多重化したデータストリームである各システムストリーム内のビデオストリームとオーディオストリームの時間的な位置が図４３に示されている。このように、オーディオストリームとシステムストリームをシステムストリーム内で、時間的に前後に配列する理由について以下に説明する。
シーンが複数に別れるマルチシーン区間に於いては、各シーン毎にシステムストリームを構成しなくてはならない。ところで、一般的にビデオデータの符号量はオーディオデータの符号量と比較して大きい。また、ビデオデータのビデオバッファ２６００の容量はオーディオデータのオーディオバッファ２８００に比較して大きなものになっている。さらに、ビデオデータのデコード遅延、すなわちビデオバッファ２６００に入力開始後、デコードされるまでの時間はオーディオデータのデコード遅延に比較して大きい。
これらのことから、ビデオストリームとオーディオストリームとを多重化してシステムストリームを生成する際に、同時刻に再生されるビデオデータとオーディオデータに関して、図４３に示したように、ビデオデータはオーディオデータよりも先行してデコーダに入力されるように多重化される。つまり、時間的にシステムストリームの先頭部ではビデオのみがビデオバッファ２６００に、そしてシステムストリームの終端部ではオーディオのみがオーディオバッファ２８００に入力されるように多重化される。
また、オーディオバッファ２８００がオーバーフローしないように、適当な間隔をもって、オーディオデータが、オーディオバッファ２８００に入力されるように多重化する必要がある。システムストリームの終端部では、ビデオバッファ２６００に入力すべきビデオストリームがないため、オーディオバッファ２８００に適当な間隔でオーディオストリームが入力されるように、オーディオバッファ２８００のデータ占有量Vdaに応じてデータ転送を中断するなどして、オーディオバッファ２８００のオーバーフローを防止する。
図４４に、先に示したマルチシーンシステムストリームＳＳＢ１と、共通シーンシステムストリームＳＳＣとを単純に結合したときのシステムストリームの概念図を示している。図のように、システムストリームＳＳＢ１の終端部ではオーディオＡＢ１のみがオーディオバッファ２８００に入力されるように多重化されている。従って、システムストリームＳＳＢ１とシステムストリームＳＳＣとを接続したとしても、先行システムストリームＳＳＢ１のオーディオＡＢ１の終端部のみがオーディオバッファ２８００に入力されている時間だけ、後続システムストリームＳＳＣのビデオデータＶＣを転送することができず、ビデオバッファ２６００がアンダーフローを起こす可能性がある。
そこで、以下の図４５で示したようなシステムエンコード作成方法を用いて、ビデオストリームの一部、あるいはオーディオストリームの一部を移動して、のアンダーフローを防止する方法が特願平７−２５２７３５に提案されている。
図４５を参照して、このストリームの一部の移動を行ってシステムストリームを得る方法について説明する。図４３に示すシステムストリームと同様に、本図に於いても、共通システムストリームＳＳＡ‘からマルチシーン区間のシステムストリームＳＳＢ１‘とＳＳＢ２‘に分岐して接続するところでは、オーディオＡＡの終端部ＡＡｅをオーディオＡＢ１およびＡＢ２に移動させる。オーディオＡＡの終端部ＡＡｅの複数のコピーが存在することになるが、こうすることで分岐点でのデータの不連続性がなくなり、ビデオバッファ２６００のアンダーフローが防止できる。また、複数ストリームからの結合点では、ビデオＶＣの先頭部ＶＣｔをビデオＶＢ１、とＶＢ２にコピーして移動させる。分岐点とは異なりビデオストリームを移動させるのは、一般的にオーディオＡＢ１とオーディオＡＢ２は異なるため、共通のデータであるビデオＶＣの先頭部をコピーするのである。オーディオＡＢ１とオーディオＡＢ２が全く同一であれば、オーディオＡＢ１（またはＡＢ２）の終端部をオーディオＡＣに移動させてもよいことは明らかである。
ＭＰＥＧ方式に於いて、フレーム内符号化を行うフレームによって規定されるＧＯＰという単位でビットストリームを扱うのが通常である。従って、結合点におけるビデオストリームの移動もＧＯＰを単位として行われる。
上述の方法で、システムエンコードを得た場合に於けるビデオバッファ２６００のデータ占有量Vdvの連続性について説明する。システムストリームの接続点と、もともとのビデオストリームの接続点あるいはオーディオストリームの接続点とが異なる。特に、ビデオＶＣの一部はシステムストリームＳＳＢ１‘に含まれるが、元々連続したビデオストリームＳＳＣ’のビデオＶＣを切断してできた接続点であるから、システムストリームＳＳＢ１‘とシステムストリームＳＳＣ‘の接続点において、ビデオバッファ２６００のデータ占有量Vdvの連続性は保たれる。また、ビデオＶＢ１のビデオバッファ２６００の最終占有量、およびビデオＶＢ２のビデオバッファ２６００の最終占有量と等しくなるようにビデオＶＣの初期占有量Biを設定し、符号化処理時に、通常のデータ占有量Vdvの計算方法を用いて計算することでビデオバッファ２６００占有量Vdvの変化の連続性を保つことができる。
更に、図４６を参照して、間欠データ転送におけるビデオバッファ２６００のデータ占有量Vdvの推移を用いて説明する。同図に於いても縦軸は、間欠データ転送を行い、ビデオエンコードストリームＳＳ１とビデオエンコードストリームＳＳ２とを接続したときのビデオバッファ２６００のデータ占有量Vdvを示しており、横軸は時間の経過を示している。図において、f1〜f8はそれぞれ、フレームＦ１〜Ｆ８のデコード時刻を示している。
各時刻に沿って説明する。まず時刻Ｔｉ１にストリームＳＳ１のビデオバッファ２６００へのデータ転送が開始する。時刻Ｔｄ１に於いて最初のフレームＦ１のデコードが行われる。
以下、図４０で説明したの同様にデータ占有量Vdvは推移する。ただし、時刻Ｔｓ１に於いてデータ占有量Vdvは所定量Ｂｍａｘに達する。ここで、Ｂｍａｘを越えてデータ転送を行うと、ビデオバッファ２６００がオーバーフローを起こしデータが損なわれる場合があるため、データ転送を一時中断する。すなわち、データ占有量Vdvは一定に保たれる。その後、時刻ｆ３に於いてフレームＦ３がデコードされるとビデオバッファ２６００のデータ占有量Vdvは所定量Ｂｍａｘを下回るため、再びデータ転送が開始される。以下、同様にしてデータ占有量Vdvが所定量Ｂｍａｘに達するとデータ転送を中断して、デコード処理によってデータが消費されると、再びデータ転送が開始する。
この図４６に示した例では、時刻Ｔｓ１、Ｔｓ２、Ｔｓ３、Ｔｓ４、Ｔｓ５に於いてデータ転送が中断している。また、時刻Ｔｉ２‘はビデオエンコードストリームＳＳ２のデータ転送の開始であり、またビデオエンコードストリームＳＳ１のデータ転送の終了とする。
なお、図で示した時刻にデータ転送を中断を開始されると限定されるものではないが、ビデオエンコードストリームＳＳ１のデータ転送期間である時刻Ｔｉ１から時刻Ｔｉ２‘までの期間Ｔｔ１で、データ転送を中断しなくてはならない期間ＤＧは以下の式１に基づいて算出することができる。
ＤＧ=Ｔt1-D1/Br ・・・・（式１）
ここで、Ｄ１はストリーム１のデータ量、ＢｒはビデオエンコードストリームＳＳ１のデータ転送レートである
以上のように、ビデオバッファ２６００がオーバーフローするのを防止するため、データ転送の中断を適宜行うようにビデオバッファ２６００へのデータ転送時間を管理して、その時間を符号化データとともにデータ転送時刻として、ＭＰＥＧの規格に基づいてストリーム中に、記録する。再生時には、ビデオバッファ２６００がオーバーフローしないように、符号化データとともに記録されたデータ転送時刻に従ってデータ転送を行ってデコード、再生する事ができる。
しかしながら、マルチアングル再生のように複数のビデオ信号を所定の単位、すなわちＩＬＶＵ単位で自由に結合させて一つのタイトルを得る場合は、マルチアングルシーン区間内の複数のビデオストリームがいかに接続して再生されるかはエンコード時に於いては認識できない。そのため、マルチアングルの切り替え時などの、デコーダＤＣＤのビデオバッファ２６００のデータ占有量Vdvの推移をエンコード時に於いて認識することができず、ビデオバッファ２６００の破綻を来す場合がある。
また、可変長符号を用いて符号化処理される場合、第一のビデオストリームをデコードした際のビデオバッファ２６００の最終占有量は第一のビデオストリームの符号化処理を終了した後でなければ得られない。この第一のビデオストリームの終端に第二のビデオストリームをシームレスデータ接続する場合、第二のビデオストリームは、ビデオバッファ２６００の初期占有量Biを第一のビデオストリームの最終占有量と等しく設定し、ビデオバッファ２６００が破綻を来さないように符号量制御して符号化処理する必要がある。従って、第二のビデオストリームの初期占有量Biを得られるのは第一のビデオストリームを得るための符号化処理後であるから、２つのビデオエンコードストリームをシームレスに接続再生するのは、再生するビデオストリーム順に符号化する必要がある。
また、第一のビデオストリームの符号化時の最終占有量と、第二のビデオストリームの初期占有量Biが一致していない場合には、図４６に於いて、ストリーム２の最初のデータがデコードされる時刻Ｔｄ２（ｆ７）におけるビデオバッファ２６００のデータ占有量VdvはBi2として符号量制御を行いながら符号化処理がなされた。しかし、デコード時では、時刻Ｔｄ２（ｆ７）ではストリームＳＳ１の最終占有量Bi1となっている。また、デコード時では時刻Ｔｓ４、およびＴｓ５でデータ転送の中断があるが、符号化時に於いてはこのようなデータ転送の中断はない。つまり、符号化時に於いて想定しない時刻に於いて復号化バッファメモリがオーバーフローすることになる。
上記のようなストリームＳＳ１とストリームＳＳ２とが必ず接続される場合であれば、図２２０６のようなデータ占有量Vdvの推移は符号化時に於いて計算するは可能ではある。しかし、前述したようにマルチアングル再生など、複数の選択できるストリームから一つのストリームへ合流し、連続的に再生する場合などに於いては、ストリームＳＳ１とは異なる第三のストリームとストリームＳＳ２とが接続される場合がある。この場合もストリーム２のビデオバッファ２６００のデータ占有量Vdvの推移が符号化時に計算したものと等しくするには、ストリーム２に接続されうる複数のストリームの最終占有量をすべて等しくする必要がある。
ビデオストリームを得るための符号化処理に於いて、ＭＰＥＧ方式など可変長符号化処理を行った場合、符号化データのデータ量は符号化処理が完了したときに初めて確定する。それは、ビデオデータのもつ情報量、すなわち、空間的な複雑さあるいは時間的な複雑さ、および過去の符号化の状態によって用いられる符号が選択され、符号長が決定するからである。従って、符号化データのデータ量をあらかじめ設定した所定量に正確には規定することが困難なために、最終占有量も正確には規定することは困難である。
特に、ビデオデータのもつ情報量に応じて符号化データのデータ量を割り当てて符号化処理を行う場合では、ビデオデータが異なれば割り当てるデータ量は当然異なり、ビデオバッファ２６００のデータ占有量Vdvの推移は異なってくる。従って、複数のビデオデータの最終占有量を同一することは困難である。
本発明はかかる点に鑑み、独立に符号化して得られた複数のビデオストリームを任意に結合させてもビデオバッファ２６００の破綻を来すことなく、スムーズな再生画像を得るための符号化方法、及び符号化装置、および記録方法、および記録媒体、および再生方法を以下如く開示する。
また、複数のビデオストリームを接続して一つのビデオストリームを得る場合に於いて、各ビデオストリームを得るために時間的に直列的に符号化処理する必要をなくし、並列的に符号化処理することにより処理時間の短縮、および処理管理の簡便さを実現する符号化方法、及び符号化装置、および記録方法、および記録媒体、および再生装置を以下の如く開示する。
さらに、選択可能な複数のシーンのビデオストリームを再生し、各ビデオストリームを再生した後、ビデオバッファ２６００の破綻を来すことなく連続的に一つのシーンのビデオストリームを再生するための符号化方法、及び符号化装置及び記録方法、および記録媒体、および再生方法を以下の如く開示する。
以下本発明の一実施形態について、図面を参照しながら詳細に説明する。本明細書に於いて、まず、本発明の符号化装置の構成、および各画像グループを符号化する際の動作について説明し、次に、本発明の映像符号化装置によって得られた符号化データからなるストリームを記録する方法について説明する。更に、記録媒体について説明した後で、再生方法について説明する。
まず、本発明の実施形態の説明で使用する用語の定義を以下に行う。
図２１で示したような各シーンを一つの画像グループと定義して、以下に説明する。画像グループは、これに限らずシーンを分割して構成しても良いし、複数の異なるシーンでも良い。
本実施形態における画像グループは、例えば図２１における各シーンに基本的に相当する。また、シームレス切り替えのマルチアングルにおけるインターリーブユニットＩＬＶＵも画像グループに相当する。
次に、ビデオエンコードストリームのデコード時におけるビデオバッファ２６００の最終占有量は、以下のように定義する。
図４１に示すように、画像グループのビデオエンコードストリームのデコードに於いて、ビデオバッファ２６００へのデータ転送が終了した場合、ビデオエンコードストリームの最終データをデコードした後ではビデオバッファ２６００のデータ占有量Vdvは０になる。しかし、実際には、一つのビデオエンコードストリームに他のビデオエンコードストリームを接続してストリームを構成されることが多い。この様なストリームを接続した場合の、ビデオバッファ２６００のデータ占有量Vdvを求めるには、ビデオエンコードストリームの最終データを転送した後も、引き続いて接続されるであろう仮想のビデオエンコードストリームを復号バッファに転送すると仮定する。
この仮定を基に、ビデオエンコードストリームの最終データをデコードした際のビデオバッファ２６００に於けるデータ占有量Vdvを最終占有量Beとして計算する。本発明における最終占有量Beとは、このように仮想の符号化データがその後も引き続きビデオバッファ２６００にデータ転送されるとして計算されたものと定義する。
以下、図５３を参照して、図２５に示すＤＶＤエンコーダＥＣＤのビデオエンコーダ３００の一実施形態３００‘を示す。ビデオエンコーダ３００’、つまり映像符号化装置は、圧縮符号化器２２１０１、符号量制御器２２１０２、割当符号量規定器２２１０３、発生符号量測定器２２１０４、復号バッファ占有量計算器２２１０５から構成される。
圧縮符号化器２２１０１は、編集情報作成部１００に接続されてビデオストリームＳｔ１を入力される。圧縮符号化器２２１０１は、このビデオストリームＳｔ１に圧縮符号化処理を加えて、ビデオエンコードストリームＳｔ１５を生成する。
復号バッファ占有量計算器２２１０５は圧縮符号化器２２１０１に接続されて、符号化データが入力される。復号バッファ占有量計算器２２１０５は、入力された符号化データに基づいて、ビデオバッファ２６００のデータ占有量Ｂを算出する。
割当符号量規定器２２１０３は、復号バッファ占有量計算器２２１０５に接続されて、ビデオバッファ２６００のデータ占有量Vdv算出結果の入力を受ける。割当符号量規定器２２１０３は、この算出結果に基づいて、エンコード後のデータ量の目標値であるターゲット符号量を、符号量制御器２２１０２に設定する。すなわち、割当符号量規定器２２１０３では、それぞれのフレーム毎に予め割り当てられた符号量に基づいて、ビデオバッファ２６００の占有量をシミュレートを行う。
シミュレートの結果、アンダーフローしなければ、予め割り当てられた符号量をターゲット符号量とし、アンダーフローする場合には、予め割り当てられた符号量から、アンダーフローしない符号量に変更してターゲット符号量とする。
発生符号量測定器２２１０４は、圧縮符号化器２２１０１に接続されて、ビデオエンコードストリームの入力を受ける。発生符号量測定器２２１０４は、入力された符号化データの発生符号量を所定時間測定して測定値を示す信号を生成する。
符号量制御器２２１０２は、割当符号量規定器２２１０３と発生符号量測定器２２１０４に接続されて、割当符号量規定器２２１０３に設定されたターゲット符号量に基づき、圧縮符号化器２２１０１を制御する。さらに、符号量制御器２２１０２は、発生符号量測定器２２１０４からの発生符号量を示す信号を受け、ターゲット符号量との差を求め、この差を小さくなるように圧縮符号化器２２１０１を制御する圧縮符号化制御信号を生成する。
圧縮符号化器２２１０１は、更に、符号量制御器２２１０２に接続されて圧縮符号化制御信号の入力をうける。圧縮符号化器２２１０１は、圧縮符号化制御信号に基づいて、ビデオストリームＳｔ１にエンコード処理を施して、ビデオエンコードストリームDenを生成する。この結果、生成されたビデオエンコードストリームの符号量は割当符号量規定器２２１０３で設定されたターゲット符号量に制御される。
次に、図５４及び図５５を参照して、復号バッファ占有量計算器２２１０５と割当符号量規定器２２１０３の動作について詳細に述べる。
図５４には、復号バッファ占有量計算器２２１０５の動作をフローチャートで示しており、同フローチャートの各ステップは１フレームのエンコード処理をいくつかに分割した期間Ｔで処理が進む。また、デコード処理に於いて、ビデオバッファ２６００へのデータ転送は間欠的に行われる場合について説明する。同フローチャートにおいて、ビデオバッファ２６００において、エンコード中に変化するデータ占有量をＢとする。また、ターゲット符号量に基づいて計算されるエンコード中の期間Ｔ毎に予想されるデータ占有量を予想占有量ＢＬとする。また、エンコード開始時のビデオバッファ２６００の初期占有量をＢｉ、エンコード終了時の目標とする最終ターゲット占有量をＢＥ、エンコード後の最終占有量をＢｅ、ビデオバッファの最大量の値をＢｍａｘとする。
以下、第１のビデオエンコードの実施形態として、エンコード処理後のビデオエンコードストリームが、それぞれ独立してエンコードしても、デコード時にビデオバッファ２６００のアンダーフローを起こさないビデオエンコード方法及び装置の一例について説明する。
第１の実施形態では、オーサリングエンコーダＥＤＣのエンコードシステム制御部２００の図２９に示すビデオエンコードパラメータのビデオエンコード初期データV_INSTとして初期占有量Ｂｉを、ビデオエンコード終了データV_ENDSTとして最終ターゲット占有量ＢＥを、それぞれ設定する。その設定値は、予め定められた値であり、ＢＥ＞Ｂｉである。
以下、図５４に示す画像グループをエンコードするフローチャートを説明する。
ステップ＃２０１では、エンコードシステム制御部２００で所定の値を設定したエンコードパラメータであるビデオエンコード初期データV_INSTに基づいて、生成する初期占有量BiにＢを初期化する（Ｂ=Ｂｉ）。
ステップ＃２０２では、期間Ｔの符号化データの発生符号量Ｂｇを測定し、Ｂから発生符号量Ｂｇを減算する（Ｂ=Ｂ−Ｂｇ）。
ステップ＃２０３では、データ占有量Ｂが予想占有量ＢＬよりも大きいか否かを評価する。データ占有量ＢがＢＬよりも大きい場合、すなわち“ＹＥＳ”の場合はステップ＃２０４に進む。一方、データ占有量がＢＬより小さい場合、すなわち“ＮＯ”の場合は、ステップ＃２１０に進む。
ステップ＃２１０では、続いてエンコードされるフレームへの割当符号量を抑制するように割当符号量規定器２２１０３を制御する。
ステップ＃２０４では、ビデオバッファ２６００に入力するビデオ転送レートＢＲに基づく期間Ｔのデータ占有量Vdvの増加量ＢｒをＢに加算する（Ｂ=Ｂ＋Ｂｒ）。これにより、期間Ｔ後のＢを求める。
ステップ＃２０５では、データ占有量Ｂが所定の最大占有量Ｂｍａｘより小さいか否かを評価する。“ＹＥＳ”の場合、つまりデータ占有量ＢがＢｍａｘ以上のとき、ステップ＃２０６に処理が進む。一方、“ＹＥＳ”の場合には、ステップ＃２０７に進む。
ステップ＃２０６では、データ占有量Ｂを最大占有量Ｂｍａｘとする（Ｂ=Ｂｍａｘ）。これにより、データ占有量Ｂの最大値をＢｍａｘで制限する。ステップ＃２０７では、画像グループの最後のフレームを処理しているか否かを評価する。“ＹＥＳ”の場合、つまり最後のフレームを処理している場合、ステップ＃２０８に進む。一方、“ＮＯ”の場合には、ステップ＃２０２に進む。
ステップ＃２０８では、データ占有量定の最終ターゲット占有量ＢＥよりも大きい否かを評価する。“ＹＥＳ”の場合、つまりデータ占有量ＢがＢＥよりも大きい場合、ステップ＃２０９に進む。一方、“ＮＯ”の場合、ステップ＃２１１に進む。
ステップ＃２１１では、続くビデオストリームの符号量を抑制するように割当符号量規定器２２１０３を制御する。ステップ＃２０９に進む。
ステップ＃２０９では、エンコード処理が終了か否かの評価を行う。画像グループの処理中であればステップ２０２に進む。
ビデオエンコードの対象が、シームレス切り替えのマルチアングルの場合には、以上のフローがＩＬＶＵ数分、繰り返される。
以上のフローチャートにおける特徴点について、更に詳細に説明する。
ステップ＃２０３、ステップ＃２１０は、ビデオバッファ２６００のアンダーフローを防止を目的のための処理である。すなわち、ビデオバッファ２６００のデータ占有量Ｂが予想占有量ＢＬよりも小さくなると、１フレームのエンコード終了時に、ビデオバッファ２６００がアンダーフローする可能性があるので、割当符号量規定器２２１０３を制御して続くビデオストリームデータの割当符号量を抑制するのである。このような処理により、ビデオバッファ２６００のアンダーフローを防止するための処理である。
また、ステップ＃２０５、ステップ＃２０６はビデオバッファ２６００のオーバーフローへの対応のための処理である。すなわち、データ占有量Ｂが最大占有量Ｂｍａｘを越える時刻を得て、デコード処理時において、その時刻から、データ転送を停止する。このようにする事により、オーバーフローの対応をはかる。
ステップ＃２０７、ステップ＃２０８、ステップ＃２１１は本発明の特徴であり、画像グループの最後のフレームのエンコード終了時のデータ占有量を制限する事を目的とする。データ占有量Ｂが予想占有量ＢＥよりも小さくなると予想された場合に、続くビデオストリームのエンコード時の割当符号量を抑制するように割当符号量規定器２２１０３を制御する。
このように割当符号量を制御することによって、フレーム毎の符号量の変化、及び総符号量の変化が予想されるが、フレーム毎に変化分は時間的に前あるいは後の複数の割り当て符号量に、その変化分の符号量を加算あるいは減算する事により、総符号量を所定の量にあわせる事が可能になる。
このような第１の実施形態により、画像グループのビデオエンコードストリームをデコード処理した後のデータ占有量Ｂは、最終占有量Ｂｅであり、最終ターゲット占有量ＢＥ以上の値、すなわち初期占有量Ｂｉ以上の値となる。
すなわち、第１の実施形態で得られるビデオエンコードストリームの初期占有量Ｂｉと最終占有量Ｂｅは、Ｂｉ以上の値であり、ビデオエンコードストリームを接続して再生しても、ビデオバッファ２６００がアンダーフローする事はない。
第１の実施形態で得られたビデオエンコードストリームを１対１の接続を行って再生しても、ビデオバッファがアンダーフローする事はない。また、図４５に示すような分岐と結合のあるシーン間の接続においても、全て同一の初期占有量Ｂｉ及び最終占有量Ｂｅである、かつＢＥはＢｉ以上の値であるので、ビデオバッファがアンダーフローする事はない。また、シームレス切り替えのマルチアングルにおいても、全てのアングルの全てのＩＬＶＵにおいても、同様に、ビデオバッファがアンダーフローする事はない。
次に第１の実施形態の装置の一例として、図５５に於いて、図５４で示したフローチャートを実現する復号バッファ占有量計算器２２１０５の一例のブロック図を示している。
図に示すバッファ占有量計算器２２１０５は、スイッチ２２３０１、端子２２３０２、２２３０３、減算器２２３０４、符号量測定器２２３０５、加算器２２３０６、第１の比較器２２３０７、クリップ回路２２３０８、第２の比較器２２３０９、端子２２３１０、端子２２３１１、スイッチ２２３１２で構成される。
以下に、復号バッファ占有量計算器２２１０５の構成及び動作について説明する。
まず、画像グループの最初のフレームをエンコードする直前に於いて、スイッチ２２３０１が端子２２３０２に接続され、データ占有量Ｂが初期占有量Biとなる。
次に、初期占有量Biに設定された後は、スイッチ２２３０１は端子２２３０３に接続され、メモリ２２３１３に記憶される所定期間Ｔ後のデータ占有量をデータ占有量Ｂとする。スイッチ２２３０１の出力は減算器２２３０４に入力され、減算器２２３０４はデータ占有量Ｂから符号量測定器２２３０５によって測定した所定期間Ｔの発生符号量Ｂｇを減算する。
次に、減算後のデータ占有量Ｂ‘は第一の比較器２２３０７によって予想占有量ＢＬと比較する。ここで、データ占有量Ｂ’がＢＬよりも小さくなると、続くビデオストリームの割当符号量を抑制するように割当符号量規定器２２１０３を制御し、アンダーフローを防止する。
一方、減算器２２３０４の出力Ｂ‘は加算器２２３０６に入力される。加算器２２３０６は期間Ｔにビデオバッファ２６００に入力されるデータ量ＢｒをＢ’に加算する。加算器２２３０６の出力はクリップ回路２２３０８によって最大占有量Ｂｍａｘで制限し、オーバーフローの対策を行う。クリップ回路２２３０８の出力はメモリ２２３１３に入力されて、次の期間Ｔのデータ占有量Ｂとして記憶される。
さらに、画像グループの最終フレームのエンコード処理を行う場合、クリップ回路２２３０８の出力は第二の比較器２２３０９によって最終占有量ＢＥと比較する。クリップ回路２２３０８の出力がＢＥよりも小さくなると、続くビデオストリームのエンコードの割当符号量を抑制するように割当符号量規定器２２１０３を制御し、画像グループの符号化処理の終了後の復号バッファのデータ占有量Ｖが最終ターゲット占有量ＢＥ以上になるようにする。
また、スイッチ２２３１２は画像グループの最後のフレームを処理している場合は端子２２３１０に接続される。
一方、最後のフレーム以外の処理の場合はスイッチ２２３１２は端子２２３１１に接続され、第二の比較器２２３０９による比較結果が割当符号量親定器２２１０５を制御し、第一の比較器２２３０７の比較結果によって割当符号量規定器２２１０５を制御する。
このような構成にすることにより、図５４で示したフローチャートを実現することができる。
前述したように、本実施形態の符号化方法および符号化装置で得られるビデオエンコードストリームを接続させても、Be＞Ｂｉの関係が成立し、連続してデコードしても、ビデオバッファ２６００がアンダーフローする事なく、再生できる。
次に、本発明の符号化方法および符号化装置の第二の実施形態について説明する。符号化装置の構成は図５３と同様であるが、復号バッファ占有量計算器２２１０５の動作が異なる。
図５６は、復号バッファ占有量計算器２２１０５の動作の一例としてフローチャートを示している。第一の実施形態では各画像グループの符号化処理におけるビデオバッファ２６００の初期占有量Biを同一の所定量として、最終占有量Beが最終ターゲット占有量ＢＥ（ＢＥ＞Ｂｉ）以上となるように割当符号量を制御するものであったが、本実施形態では、第一の画像グループに続く第二の画像グループの初期占有量Biを第一の画像グループに対する最終占有量Beよりも小さく設定して第二の画像グループをエンコードを行うのである。すなわち、第一の実施形態と異なる点は、接続して再生するビデオエンコードストリームの先行するビデオエンコードストリームを予め、エンコードする点と、最終占有量Ｂｅの制御を行わない点である。
以下、第一の実施形態と異なる処理について図５６を参照して、説明する。
ステップ＃１６０１では、先行する第一の画像グループのビデオエンコードストリームの最終占有量Beよりも小さい初期占有量をＢｉとして設定する。
ステップ＃１６０２では、データ占有量Ｂをステップ＃１６０１で設定した初期占有量Biに初期化する。
以下、第一の実施形態と同様であるが、図５４のステップ＃２０７、ステップ＃２０８、およびステップ＃２１１を必要としない。
次に、第２の実施形態の符号化装置の一例として、図５７に、図５６で示したフローチャートを実現する復号バッファ占有量計算器２２１０５の一例のブロック図を示す。
図５７の復号バッファ占有量計算器２２１０５は図５５の復号バッファ占有量計算器２２１０５とほぼ同様の動作をするが、初期占有量Bi決定器２２１７００を備えている点が異なる。
以下、図を参照して説明する。
画像グループの符号化を開始する前に於いて、初期占有量Bi決定器２２１７００には、直前の画像グループの最終占有量Beよりも小さな値を初期占有量Biとして設定する。
初期占有量Biの設定後はスイッチ２２３０１が端子２２３０２に接続され、データ占有量Ｂが初期占有量Biに設定される。
初期占有量Biに設定された後は、スイッチ２２３０１は端子２２３０３に接続され、メモリ２２３１３に記憶されている内容がデータ占有量Ｂとなる。
スイッチ２２３０１の出力は減算器２２３０４に入力され、減算器２２３０４はデータ占有量Ｂから符号量測定器２２３０５によって測定した所定期間Ｔの発生符号量Ｂｇを減算する。
減算後のデータ占有量Ｂ‘は第一の比較器２２３０７によって所定のしきい値ＢＬと比較する。ここで、データ占有量Ｂ’がＢＬよりも小さくなると、続くビデオストリームの符号量を抑制するように割当符号量規定器２２１０３を制御し、アンダーフローを防止する。
一方、減算器２２３０４の出力Ｂ‘は加算器２２３０６に入力される。加算器２２３０６は期間Ｔにビデオバッファ２６００に入力されるデータ量ＢｒをＢ’に加算する。加算器２２３０６の出力はクリップ回路２２３０８によって最大占有量Ｂｍａｘで制限し、オーバーフローの対策を行う。クリップ回路２２３０８の出力はメモリ２２３１３に入力されて、次の期間Ｔのデータ占有量Vdvとして記憶される。画像グループの符号化が終了したときのデータ占有量を最終占有量Beとして、次の画像グループの初期占有量Biを求めるのに使用する。
このように構成することにより、図５６で示したフローチャートを実現することができ、先行する第一の画像グループのストリームに続けて接続される第二の画像グループの初期占有量Biは、第一の画像グループの最終占有量Beよりも小さな値に設定されて符号化処理がされる。
図５７の復号バッファ占有量計算器２２１０５は図５５のものと比較して、最終占有量Beの制御のための比較器２２３０９、スイッチ２２３１２が必要なく、符号量の割当に関する制限が少なくなる。
次に、本発明の符号化方法および符号化装置の第三の実施形態について説明する。第１の実施形態の符号化装置の図５３と同様であるが、復号バッファ占有量計算器２２１０５の動作が異なる。
図５８に於いて、復号バッファ占有量計算器２２１０５の動作の一例としてフローチャートを示している。第一の実施例では各画像グループのビデオバッファ２６００の最終占有量Beの制御のための最終ターゲット占有量ＢＥを設定したが、最終占有量Beが次の画像グループの初期占有量Biよりも大きな占有量となるように最終ターゲット占有量ＢＥを設定する処理ステップ２２１８００が加わっている点が異なる。そのほかの処理は図５３と全く同様であるので省略する。
図５９に於いて図５８のフローチャートを実現する復号バッファ占有量計算器２２１０５の一例のブロック図を示している。図５５の復号バッファ占有量計算器２２１０５と比較すると、しきい値決定器２２１９００を具備している点が異なる。しきい値決定器２２１９００は、現在符号化処理している画像グループに続く次の画像グループの所定の初期占有量Biよりも大きな最終ターゲット占有量ＢＥを求めるものである。
図において、しきい値決定器２２１９００の入力は、接続時、後続となる次の画像グループの初期占有量Ｂｉである。最終占有量Beが最終ターゲット占有量ＢＥ（ＢＥ＞Ｂｉ）以上になるように、図５５の第１の実施形態のようにビデオバッファの占有量を制御する。
このように構成して、画像グループの初期占有量Biを事前に決定しておけば、その前に接続する画像グループの最終占有量Beが、続く画像グループの初期占有量Biよりも大きな値になる。
第一の実施形態では、各画像グループの初期占有量Biは全て同じものとしたが、第二および第三の実施形態では画像グループ毎に初期占有量Biを設定する。また、第二の実施形態では、最終占有量Beに基づいて続く画像グループの初期占有量Biを規定したために、接続するビデオエンコードストリームの順序で符号化処理がなされなくてはならない。
第一及び第三の実施形態では、符号化処理は任意の順序で処理することができ、並列処理を行うことにより、処理の時間短縮、および符号化処理の順序の管理の削減が得られる。
以上の符号化方法及び符号化装置で得られたビデオエンコードストリームを１対１の接続を行って再生しても、ビデオバッファがアンダーフローする事はない。また、図４５に示すような分岐と結合のあるシーン間の接続においても、初期占有量Ｂｉが最終占有量Ｂｅ以下であるので、ビデオバッファがアンダーフローする事はない。
また、シームレス切り替えのマルチアングルにおいても、第１の実施形態で、全てのアングルの全てのＩＬＶＵの初期占有量Ｂｉ、最終占有量Ｂｅを同一にし、かつ、初期占有量Ｂｉが最終占有量Ｂｅ以下とすることで、アングル切り替え時にも、ビデオバッファがアンダーフローする事はない。
次に、前述した符号化方法及び符号化装置で得られた、ビデオエンコードストリームを接続して再生するためビットストリームの生成方法について、図６０を用いて説明する。
同図に於いて、ビデオエンコードストリームＳＳ１（フレームＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５）とビデオエンコードストリームＳＳ２（フレームＦ６、Ｆ７、．．．）とを接続して再生することを想定して生成する場合を例として説明する。なお、ビデオエンコードストリームＳＳ１およびビデオエンコードストリームＳＳ２は本発明の符号化方法および符号化装置を用いて生成されたものである。
また、ビデオエンコードストリームＳＳ１の最終占有量Be1はビデオエンコードストリームＳＳ２の初期占有量Be2よりも大きなものになっている。なお、ビデオエンコードストリームＳＳ１の最終占有量Be1はビデオエンコードストリームＳＳ１のビデオバッファ２６００への転送後も引き続いてデータ転送した時、ビデオエンコードストリームＳＳ１の最終データをデコードしたときのビデオバッファ２６００のデータ占有量である。この場合のデータ占有量の推移を図６０中に破線で示している。
同図において、ビデオエンコードストリームＳＳ１のデータ転送が時刻Ｔｅ１に於いて終了すると期間ＤＴｉだけデータ転送を中断し、その後時刻Ｔｉ２にビデオエンコードストリームＳＳ２のデータ転送を開始している。このようにする事で、ビデオバッファは破綻しない。すなわち、アンダーフローもオーバーフローも起こらずに、スムーズにデコード処理ができるのである。
このようなビットストリームを生成するために、ＭＰＥＧの規格に基づくビデオストリームに、ビデオバッファに転送される時間情報を利用する。すなわち、ビデオエンコードストリームＳＳ２のビデオバッファへの転送開始時刻を、Ｔｅ１ではなく、Ｔｉ２とする事で実現できる。その結果、ビデオエンコードストリームのビデオバッファ２６００への転送には時間ＤＴｉ分の中断できる。
この期間ＤＴｉだけデータ転送を中断することにより、ビデオエンコードストリームＳＳ２の先頭データのデコード時間におけるデータ占有量Vdvは、符号化時に於いて規定した初期占有量Be2になる。
従って、デコード時に於いて、符号化時に計算したビデオバッファ２６００のデータ占有量と等しくデコードすることができる。つまり、符号化時に於いてビデオバッファ２６００の破綻を来さないことを少なくとも保証しておけば、デコード時に於いてビデオバッファ２６００のビデオバッファ２６００の破綻を防止することができる事になる。
なお、データ転送の中断する時間ＤＴｉは最終占有量Be[bits]と続く符号化データの初期占有量Bi[bits]との差によって規定されるものである。また、ビデオデータのデータ転送レートをＢｒ[bits/sec]とすると、期間ＤＴｉ[sec]は（式２）で計算することができる。
Dti=（Be-Bi）/Br ・・・・・・（式２）
なお、（式２）における転送レートＢｒはビデオストリームのみに与えられる転送レートであって、システムストリーム全体の転送レートとは異なる。
なお、転送を中断する時刻はビデオエンコードストリームＳＳ１を転送した後としたが、これに限らず、期間ＤＴｉをいくつかに分割して複数回のデータ転送の中断を行っても構わない。
また、どの時刻に於いて中断しても構わず、少なくとも一回のデータ転送の中断が存在し、ビデオエンコードストリームＳＳ２の最初のデータの復号が開始される時刻Ｔｄ２に於いて、データ占有量がBe2となっていればよい。
なお、図６０ではＢｉ１とBe2とを異なるように説明しているが、同一の値であっても構わない。
また、オーディオストリームなど他のデータを転送するためにビデオストリームのデータ転送が（式２）以上に中断される場合もある。しかし、この場合でも、デコード開始時刻に於いてビデオバッファ２６００のデータ占有量が初期占有量Biに必ず達するようにデータ転送は行われなくてはならない。従って、このような場合はビデオエンコードストリームに与えられるデータ転送レートＢｒが他のデータの影響により変化することも考慮して、データ転送の中断時間、およびビデオバッファ２６００のデータ占有量Vdvの計算を行わなくてはならない。
また、複数のビデオストリームを多重化して一つのデータストリームを構成している場合、多重化されているストリームの数、各ストリームのデータ量などから、同一のビデオストリームのデコード処理であってもデータ転送レートが変化する場合もある。このことも考慮して、データ転送の中断時間、ビデオバッファ２６００のデータ占有量Vdvの計算を行わなくてはならない。
次に、図６１に於いて本発明の第２のビットストリームの生成方法を説明する。本発明の生成方法の第二の実施形態は、第一の実施形態で説明したビデオストリーム１のデータ転送の中断を行う分だけ、ビデオエンコードストリームＳＳ１中にパディングデータを挿入する方法である。
つまり、ビデオエンコードストリームＳＳ２の初期占有量Be2が符号化時に設定したもの等しくなるように、ＭＰＥＧ規格に基づく、パディングデータを、データ量を（Be1−Be2）分だけ生成し、ビデオエンコードストリームＳＳ１として生成する方法である。
以上のように作成されたビデオエンコードストリームＳＳ１とＳＳ２を接続してデコードすると、デコード時におけるビデオストリーム２の初期占有量Biは符号化時に設定したものと等しくなり、デコード時のビデオバッファ２６００のデータ占有量の推移は符号化時に想定したデータ占有量の推移と等しくすることができる。
なお、パディングデータはビデオバッファ２６００に転送されるが、符号化データとは異なる所定のデータであれば何でも構わない。
また、パディングデータの挿入位置はビデオストリームＳＳ１中であればどこでも構わず、いくつかに分割されて挿入されても構わない。
なお、本発明のビットストリーム生成方法の第一の実施形態で説明したデータ転送の中断と、第二の実施例で説明したパディングデータとを組み合わせても構わない。すなわち、データ転送の中断と、パディングデータの挿入により、ビデオストリーム２の最初のデータのデコード時におけるデータ占有量が符号化時に設定した所定の初期占有量Be2になるように記録すればよい。
以上の本発明の生成方法によりもたらされる効果については、後述する本発明の再生方法の説明とともに述べる。
本発明のデータは、１つの例として、図４から図１４に示したＤＶＤに図６２に示すように記録される。
図６２に示したＤＶＤ２２８０１は本発明の符号化方法および符号化装置によって生成された２つ以上の画像グループの符号化データのストリームが記録されているが、例として第一の符号化データ２２９０１、第二の符号化データ２２９０２、および第三の符号データ２２９０３が記録されているとする。
この光ディスク２２８０１の特徴は、少なくとも一つの画像グループの符号化データのビデオバッファ２６００へのデータ転送が終了した後、期間ＤＴｉ（ＤＴｉ＞０）の間隔の転送データの中断があって、次の画像グループの符号化データのビデオバッファ２６００へのデータ転送が行われるように記録されていることである。
その記録の実現は、前述したビットストリームの生成方法で得たビデオエンコードストリームを記録する事で、得ることができる。
なお、ビデオバッファ２６００への転送の中断がある符号化データの接続点は、前述した例のようにＤＶＤ２２８０１上に連続的に位置する二つの符号化データ間であっても構わないし、例えば符号化データ２２９０１と符号化データ２２９０３のように不連続に位置する符号化データ間で転送の中断があるように記録されていても構わない。
なお、本発明の記録方法の第二の実施例のように、ビデオバッファ２６００への転送の中断に相当するデータ量のパディングデータが記録されている場合も同様である。
また、データ転送の中断とパディングデータの挿入とを組み合わせても同様であって、ビデオストリームの最初のデータがデコードされる時刻におけるビデオバッファ２６００のデータ占有量Vdvが、符号化時に設定した所定の初期占有量Biとなるように、データ転送の中断、あるいはパディングデータの挿入が行われてもよい。
図６３Ａ、図６３Ｂ、図３２Ａ、図３２Ｂ、図３２Ｃ、図３２Ｄを参照して２つのビデオエンコードストリームを連続的に再生する場合の再生制御方法について説明する。
図６３Ａ、図６３Ｂは、それぞれのビデオエンコードストリームをデコードする際の、ビデオバッファ２６００のデータ占有量Vdvの時間的推移を示している。Ｂｉはデコード開始時点のビデオバッファ２６００の占有量を、Ｂｅはデコード終了時点のビデオバッファ２６００のデータ占有量を示す。
尚、終端部においては、該ビデオエンコードストリーム入力終了後も連続して、次にデコードするビデオエンコードストリームを入力するものとしてビデオバッファ２６００の占有量を記述している。
図６３Ａに示すビデオエンコードストリーム＃１、および図６３Ｂに示すビデオエンコードストリーム＃２共に、デコード開始時点のビデオバッファ２６００のデータ占有量Ｂｉよりも、デコード終了時点でのビデオバッファ２６００のデータ占有量Ｂｅが大きい。
このような特徴をもつ、本発明で生成したビデオエンコードストリームを接続再生する再生制御方法について以下説明する。
図３２Ａに、図６３Ａに示すビデオエンコードストリーム＃１と、図６３Ｂに示すビデオエンコードストリーム＃２を単純に接続し、再生する場合のビデオバッファ２６００のデータ占有量Ｖｄｖの推移を示す。
この場合、図６３Ａに示すビデオエンコードストリームＥＶＳ＃１のデコード終了時のビデオバッファ２６００のデータ占有量Ｂｅは、図６３Ｂに示すビデオエンコードストリームＥＶＳ ＃２のデコード開始時のビデオバッファ２６００のデータ占有量Ｂｉより大きい。従って、ビデオエンコードストリームＥＶＳ ＃２は、デコード処理においてビデオバッファ２６００がアンダーフローしないことは保証できる。
一方、ビデオエンコードストリームＥＶＳ ＃２のデコード開始時のビデオバッファ２６００の占有量Ｖｄｖは、ビデオエンコード時に想定したバッファ占有量Ｂｉに比較して、ビデオエンコードストリームＥＶＳ ＃１のＢｅと、ビデオエンコードストリーム＃２のＢｉの差（ΔＢ）分大きい。従って、ビデオバッファ２６００のデータ占有量Ｖｄｖは、ΔＢ分多い状態で推移することになる。
このことは、ビデオバッファ２６００がオーバーフローする可能性があることを意味する。
以下、オーバーフローを回避する方法について図３２Ｂ、図３２Ｃ、図３２Ｄを参照して説明する。
図３２Ｂを参照して、ビデオバッファ２６００のオーバーフローを回避する第１の方法を説明する。
（方法１）
図３２Ｂに示すように、点Ｑｄにおいて、ビデオバッファ２６００への入力を停止する。このようにビデオバッファ２６００への入力を停止することで、ビデオエンコードストリームＥＶＳ ＃２のデコード開始時のビデオバッファ２６００のデータ占有量をＢｉにする。
このように、ビデオエンコードストリームＥＶＳ ＃２のデコード開始時のビデオバッファ２６００の占有量をＢｉにすることで、以降のビデオバッファ２６００のデータ占有量Ｖｄｖの推移は、図６３Ｂと等しくなる。よって、ビデオバッファ２６００のデータ占有量Ｖｄｖのオーバーフローは回避できる。
ここで、ビデオバッファ２６００への入力停止は、パックヘッダに記述されるパック転送時刻を示すＳＣＲ値（図１９）により容易に制御できる。ビデオエンコードストリームはビデオパケットにより搬送される。該ビデオパケットは該パケットを搬送するパックのＳＣＲ値に従って、ストリームバッファ２４００（図２６）から読み出され、ビデオバッファ２６００へ入力される。
従って、ビデオパケットを搬送するパックのＳＣＲ値によりビデオバッファ２６００への入力を停止させることができる。
（方法２）
図３２Ｂに示すように、接続点でパディングパケット（Ｄｓ）を挿入することで、ビデオエンコードストリームＥＶＳ ＃２のデコード開始時のビデオバッファ２６００のデータ占有量をＢｉにする。
このように、ビデオエンコードストリームＥＶＳ ＃２のデコード開始時のビデオバッファ２６００の占有量をＢｉにすることで、以降のビデオバッファ２６００のデータ占有量Ｖｄｖの推移は、図６３Ｂと等しくなる。よって、ビデオバッファ２６００のデータ占有量Ｖｄｖのオーバーフローは回避できる。
ここで、パディングパケットのサイズは、ビデオエンコードストリーム＃１のＢｅと、ビデオエンコードストリームＥＶＳ ＃２のＢｉの差（ΔＢ）にすればよい。
（方法３）
図３２Ｄに示すように、接続点でビデオバッファ２６００へのデータ入力速度を変える（Ｒｃｐ）ことで、ビデオエンコードストリーム＃２のデコード開始時のビデオバッファ２６００のデータ占有量をＢｉにする。
このように、ビデオエンコードストリームＥＶＳ ＃２のデコード開始時のビデオバッファ２６００の占有量をＢｉにすることで、以降のビデオバッファ２６００のデータ占有量Ｖｄｖの推移は、図６３Ｂと等しくなる。よって、ビデオバッファ２６００のデータ占有量Ｖｄｖのオーバーフローは回避できる。
ここで、ビデオバッファ２６００への入力速度Ｒｃｐの変更は、パックヘッダに記述されるパック転送時刻を示すＳＣＲ値（図１９）により容易に制御できる。
これは方法１で示したように、ビデオエンコードストリームを搬送するパックのＳＣＲ値の間隔を変えることで実現できる。
図３９に於いて、本発明の記録方法及び再生方法によって間欠データ転送を行い、ビデオエンコードストリームＳＳ１とビデオエンコードストリームＳＳ２とを接続したときのビデオバッファ２６００のデータ占有量Vdvの推移を示している。
図４６と対比し、各時刻に沿って説明する。まず、図４６と同様に、時刻Ｔｉ１にストリーム１のビデオバッファ２６００へのデータ転送が開始し、時刻Ｔｄ１に於いて最初のフレームＦ１のデコードが行われる。以下、図４６で説明したの同様にデータ占有量Vdvは推移する。ただし、時刻Ｔｓ１に於いてデータ占有量Vdvは所定量Ｂｍａｘに達する。ここで、Ｂｍａｘを越えてデータ転送を行うと、ビデオバッファ２６００がオーバーフローを起こしデータが損なわれる場合があるため、データ転送を一時中断する。すなわち、データ占有量Vdvは一定に保たれる。その後、時刻ｆ３に於いてフレームＦ３がデコードされるとビデオバッファ２６００のデータ占有量VdvはＢｍａｘを下回るため、再びデータ転送が開始される。次に時刻Ｔｓ２から時刻Ｔｉ２までデータ転送が中断する。時刻Ｔｉ２ではビデオエンコードストリームＳＳ２のビデオバッファ２６００へのデータ転送が開始する。時刻Ｔｄ２（ｆ７）でストリーム２の最初のフレームＦ７がデコードされる。
ここで、図３９に於いて時刻Ｔｓ２から時刻Ｔｉ２までデータ転送が中断し、ビデオエンコードストリームＳＳ２のデコード開始時刻Ｔｄ２（ｆ７）に於いて、ビデオバッファ２６００のデータ占有量Vdvが初期占有量Be2となるようにデータ転送を中断する点が本発明の特徴である。
図３９に示す本発明における、データ転送を中断する期間Ｄｔｓは（式３）のように計算することができる。
Ｄts=Ｔt1-D1/Br+（Be1-Bi2）/Br ・・・・（式３）
ここで、（式１）と同様にＤ１はビデオエンコードストリームＳＳ１のデータ量、Ｂｒはストリームのデータ転送レート、Ｔｔ１は図のＳＳ１の期間で示すビデオエンコードストリームＳＳ１のデータ転送期間である
（式３）中の（Ｔt1-D1/Br）は（式１）と同じくオーバーフローを防止するために必要なデータ転送の中断期間である。また、（Be1-Bi2）/Brで指定される期間は、（式２）と同様、ストリーム２の最初のデータのデコードが開始する時刻Ｔｄ２（ｆ７）におけるデータ占有量Vdvが符号化時に於いて設定した初期占有量Be2になるようにデータ転送を中断するものであり、本発明の記録方法及び再生方法の特徴である。
本発明の再生方法は本発明のビットストリーム生成方法によって生成されたビデオエンコードストリーム中の転送時刻情報に基づいてデコード、再生することにより、デコード時に於いて、符号化処理時に想定したビデオバッファ２６００のデータ占有量Vdvの推移と同じ推移を行うことができる。
以上のように本発明の符号化方法および符号化装置によって各画像グループを符号化して得られた符号化データのストリームを結合しても、ビデオバッファ２６００が破綻を来すことなく、連続的にデコード処理がなされ、シームレスデータ再生を行い、スムーズな再生画像を得ることができる。また、本発明の再生装置によれば、複数の画像グループを符号化して得られたストリームを再生する場合、各ストリームのデコード終了時での、ビデオバッファ２６００のデータ占有量Vdvが、デコード開始時のデータ占有量Vdv以上の所定占有量Ｂｔ以上になるように符号化されたストリームの場合、異なるストリームを結合して連続的にデコードし、スムーズな再生画像を得ることができる。
さらに、本発明の符号化方法および符号化装置で生成されたストリームであれば、結合して連続的にデコードを行ったとしても、常にデコード時におけるデータ占有量Vdvを符号化時に於いて計算することができ、音声データなど他のデータとの同期を考慮した多重化を容易にすることができる。
特に、本発明の符号化方法および符号化装置の第一の実施例によれば、各符号化データ初期占有量Biと最終占有量Beとに於いて、Be＞Ｂｉが成立するため、これらの符号化データのストリームを任意に結合させても、ビデオバッファ２６００が破綻を来すことなく、連続的にデコード処理がなされ、スムーズな再生画像を得ることができる。
なお、ビデオバッファ２６００へのデータ転送に於いて、間欠的にデータ転送を行っても構わないし、転送レートを可変にしても構わない。
なお、圧縮符号化処理に関しては変換符号化であっても構わないし、他の符号化方式でも構わない。
なお、各画像グループの時間長は限定されるものではなく、それぞれが異なる時間長であっても構わない。
なお、本発明の符号化装置の割当符号量規定器２２１０３は映像信号の符号化処理に対する難度を検出し、難度に応じた割当符号量を規定してもよい。これにより、映像に応じた符号化レートで符号化する可変ビットレートの符号化を行うことができる。
なお、発生符号量が所定の符号量におさまるように制御する符号量制御方法は限定されるものでなく、例えば信号の量子化におけるパラメータを制御して発生符号量を制御しても構わない。
なお、記録媒体として光ディスクを用いた場合を説明したが、これに限らず、磁気ディスク、あるいは磁気テープなど記録媒体であれば何でも構わない。
以上のように本発明の符号化方法および符号化装置は、複数の画像グループをそれぞれ符号化して得られた符号化データのストリームを任意に結合しても、ビデオバッファ２６００が破綻を来すことなく、連続的にデコード処理がなされ、スムーズに連続した再生信号を得ることができる。
また、結合するストリームの結合点に於いて、最終占有量と初期占有量Biとを等しくする必要がなく、（最終占有量＞初期占有量Bi）という関係が保たれればよく、符号量制御を容易に行うことができる。
また、本発明の記録方法によれば、画像グループの符号化データのストリームの接続点に於いて、所定期間だけストリームのビデオバッファ２６００への転送を中断することにより、符号化時に於いて設定したビデオバッファ２６００の初期占有量Biと等しくデコード処理を開始することができ、符号化時に於いて想定したビデオバッファ２６００のデータ占有量Vdvの推移と同じ推移でデコード処理することができる。従って、デコード時に於いてもビデオバッファ２６００の破綻を来すことなくデコード処理することができる。
また、本発明の再生方法によれば、複数の画像グループを符号化して得られたビデオエンコードストリームを再生する場合、各ストリームのビデオバッファ２６００の最終占有量が、デコード開始時のデータ占有量Vdvより大きくなるように符号化されたストリームの場合、異なるストリームを結合して連続的にデコードし、スムーズに連続した再生信号を得ることができる。
本発明の符号化方法および符号化装置は、複数のビデオストリームをそれぞれ符号化して得られた符号化データのストリームを任意に結合しても、ビデオバッファが破綻を来すことなく、シームレスにデータ再生が可能であり、連続的にデコード処理がなされ、スムーズに連続した再生信号を得ることができる。
また、本発明の記録方法によれば、エンコード処理時に於いて想定したビデオバッファのデータ占有量Vdvの推移と同じ推移でデコード処理することができる。従って、デコード時に於いてもビデオバッファ２６００の破綻を来すことなくデコード処理することができる。
産業上の利用可能性
以上のように、本発明にかかるビットストリームのインターリーブて媒体に記録再生する方法及びその装置は、様々な情報を搬送するビットストリームから構成されるタイトルをユーザーの要望に応じて編集して新たなタイトルを構成することができるオーサリングシステムに用いるのに適しており、更に言えば、近年開発されたデジタルビデオディスクシステム、いわゆるＤＶＤシステムに適している。

Claims (24)

  1. 符号化処理された符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリ（２６００）のデータ占有量（Ｖｄｖ）を計算（２２１０５）し、その計算結果から、ある所定期間の割当符号量を規定し（２２１０３）、前記割当符号量で前記所定期間の信号を圧縮符号化処理（２２１０２、２２１０１）して、所定の符号化データ（Ｓｔ１５）を生成する方法であって、第一の符号化データ（ＥＶＳ1）を前記復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データ（ＥＶＳ2）を転送するとして前記データ占有量を計算（２２１０５）し、前記第一の符号化データ（ＥＶＳ1）の最終データを復号化した際の前記データ占有量を最終占有量Ｂｅとして計算し、第二の符号化データ（ＥＶＳ2）を生成するための符号化処理を開始する際は前記データ占有量を前記最終占有量Ｂｅよりも小さい所定の初期占有量Ｂｉとし、前記データ占有量の推移に基づいて前記割当符号量を規定することを特徴とする符号化方法。
  2. 符号化処理された符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリのデータ占有量（Ｖｄｖ）を計算し、その計算結果から、ある所定期間の割当符号量を規定し、前記割当符号量で前記所定期間の信号を圧縮符号化処理して、所定の符号化データを生成する方法であって、第一の符号化データ（ＥＶＳ1）を前記復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データを転送するとして該データ占有量（Ｖｄｖ）を計算し、該第一の符号化データ（ＥＶＳ1）の最終データを復号化した際の該データ占有量（Ｖｄｖ）を最終占有量Ｂｅとして計算し、第二の符号化データ（ＥＶＳ2）を生成するための符号化処理を開始する際は前記データ占有量を所定の初期占有量Ｂｉとし、前記データ占有量（Ｖｄｖ）の推移に基づいて前記割当符号量を規定し、該第一の符号化データの前記最終占有量Ｂｅが所定量Ｂｔ（Ｂｔ＞Ｂｉ）以上になるように前記割当符号量を規定することを特徴とする符号化方法。
  3. 符号化処理された符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリのデータ占有量を計算し、その計算結果から、ある所定期間の割当符号量を規定し、前記割当符号量で前記所定期間の信号を圧縮符号化処理して、所定の符号化データを生成する方法であって、各前記符号化データを生成するための符号化処理を開始する際は前記データ占有量を所定の初期占有量Ｂｉとし、各該符号化データを該復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データを転送するとして該データ占有量（Ｖｄｖ）を計算し、各該符号化データの最終データを復号化した際の該データ占有量（Ｖｄｖ）を最終占有量Ｂｅとして計算し、該データ占有量（Ｖｄｖ）の推移に基づいて該割当符号量を規定し、かつ該最終占有量Ｂｅが所定量Ｂｔ（Ｂｔ＞Ｂｉ）以上になるように該割当符号量を規定することを特徴とする符号化方法。
  4. 前記データ占有量（Ｖｄｖ）が所定の最低占有量Ｂ１（＃２０３、＃２０３、＃２０３）以上となるように割当符号量を規定することを特徴とする請求の範囲第１項、第２項又は第３項に記載の符号化方法。
  5. 符号化データ（ビデオエンコードデータ）を前記復号バッファメモリ（２６００）に入力する際に可変の転送速度（２２１９Ｄ：Ｒｃｐ）でデータ転送することを特徴とする請求の範囲第１項、第２項、又は第３項に記載の符号化方法。
  6. 符号化データ（ビデオエンコードデータ）を前記復号バッファメモリ（２６００）に入力する際に間欠的（Ｑｄ）にデータ転送することを特徴とする請求の範囲第１項、第２項、又は第３項に記載の符号化方法。
  7. 前記データ占有量が所定の最高占有量Ｂｍ（Ｂmax）以下（＃２０５、＃２０５、＃２０５）になるように制限することを特徴とする請求の範囲第１項、第２項、又は第３項に記載の符号化方法。
  8. 所定の信号を圧縮符号化処理して符号化データ（ビデオエンコードデータ）を生成する装置であって、所定期間の割当符号量を規定する符号量規定手段（２２１０３）と、該信号を符号化処理して符号を生成する符号化処理手段（２２１０１）と、前記割当符号量と前記符号化データの発生符号量との差が小さくなるように符号量を制御する圧縮符号化制御手段（２２１０２）と、前記符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリのデータ占有量（Ｖｄｖ）を計算するデータ占有量計算手段（２２１０５）とを具備し、該データ占有量計算手段（２２１０５）は、第一の符号化データ（ＥＶＳ1）を前記復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データ（ＥＶＳ2）を転送するとして前記データ占有（Ｖdv）を計算し、該第一の符号化データ（ＥＶＳ1）の最終データを復号化した際の前記データ占有量（Ｖdv）を最終占有量Ｂｅとし、第二の符号化データ（ＥＶＳ2）を生成するための符号化処理を開始する際は前記データ占有量（Ｖdv）を前記最終占有量Ｂｅよりも小さい所定の初期占有量Ｂｉとし、符号量規定手段（２２１０３）は、前記データ占有量（Ｖｄｖ）の推移に基づいて前記割当符号量を規定することを特徴とする符号化装置。
  9. 所定の信号を圧縮符号化処理して符号化データを生成する装置であって、所定期間の割当符号量を規定する符号量規定手段（２２１０３）と、該信号を符号化処理して符号を生成し、該割当符号量と該符号化データの発生符号量との差が小さくなるように符号量を制御する圧縮符号化制御手段（２２１０２）と、該符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリ（２６００）のデータ占有量（Ｖｄｖ）を計算するデータ占有量計算手段（２２１０５）とを具備し、該データ占有量計算手段（２２１０５）は、第一の符号化データ（ＥＶＳ1）を該復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データを転送するとして該データ占有量（Ｖｄｖ）を計算し、該第一の符号化データ（ＥＶＳ1）の最終データを復号化した際の該データ占有量（ＶｄＶ）を最終占有量Ｂｅとして計算し、第二の符号化データ（ＥＶＳ２）を生成するための符号化処理を開始する際は該データ占有量（ＶｄＶ）を所定の初期占有量Ｂｉとし、該符号量規定手段（２２１０３）は、該データ占有量（Ｖｄｖ）によって該割当符号量を規定し、かつ、該第一の符号化データの最終占有量Ｂｅが所定量Ｂｔ（Ｂｔ＞Ｂｉ）以上になるように該割当符号量を規定することを特徴とする符号化装置。
  10. 所定の信号を圧縮符号化処理して符号化データを生成する装置であって、所定期間の割当符号量を規定する符号量規定手段（２２１０３）と、該信号を符号化処理して符号を生成し、該割当符号量と該符号化データの発生符号量との差が小さくなるように符号量を制御する圧縮符号化制御手段（２２１０２）と、該符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリ（２６００）のデータ占有量（Ｖｄｖ）を計算するデータ占有量計算手段（２２１０５）とを具備し、該データ占有量計算手段（２２１０５）は、符号化処理を開始する際は該データ占有量を所定の初期占有量Ｂｉとし、さらに、各該符号化データを該復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データを転送するとして該データ占有量（Ｖｄｖ）を計算し、該符号量規定手段（２２１０３）は、該データ占有量によって該割当符号量を規定し、かつ、各該符号化データに対する最終占有量Ｂｅが所定量Ｂｔ（Ｂｔ＞Ｂｉ）以上になるように該割当符号量を規定することを特徴とする符号化装置。
  11. 前記データ占有量（Ｖｄｖ）が所定の最低占有量Ｂ１以上となるように割当符号量を規定することを特徴とする請求の範囲第８項、第９項、又は第１０項に記載の符号化装置。
  12. 符号化データを該復号バッファメモリ（２６００）に入力する際に可変の転送速度でデータ転送することを特徴とする請求の範囲第８項、第９項、又は第１０項に記載の符号化装置。
  13. 符号化データを前記復号バッファメモリ（２６００）に入力する際に間欠的にデータ転送することを特徴とする請求の範囲第８項、第９項、又は第１０項に記載の符号化装置。
  14. 前記データ占有量（Ｖｄｖ）が所定の最高占有量Ｂｍ以下になるように制限することを特徴とする請求の範囲第８項、第９項、又は第１０項に記載の符号化装置。
  15. 符号化処理された符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリ（２６００）のデータ占有量（Ｖdv）に基づいて所定の信号の符号化データを記録媒体（Ｍ）に記録する方法であって、第一の符号化データ（ＥＶＳ1）を該復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データ（ＥＶＳ2）を転送するとした場合、該第一の符号化データ（ＥＶＳ1）の最終データを復号化した際の該データ占有量（Ｖdv）を最終占有量Ｂｅとし、第二の符号化データ（ＥＶＳ2）の復号化の開始における該データ占有量（Ｖdv）が該最終占有量Ｂｅよりも小さい所定の初期占有量Ｂｉとなるように記録することを特徴とする記録方法。
  16. 第一の符号化データ（ＥＶＳ1）と第二の符号化データ（ＥＶＳ2）とを該復号バッファメモリ（２６００）へ転送する際に、該第一の符号化データ（ＥＶＳ1）に対する該最終占有量Ｂｅと該第二の符号化データ（ＥＶＳ2）に対する該初期占有量Ｂｉとによって規定される所定時間Ｔ（Ｔ＞０）の間、該復号バッファメモリ（２６００）へのデータ転送を中断（Ｑｄ）するように、各の該符号化データ（ＥＶＳ1、ＥＶＳ2）の該復号バッファメモリ（２６００）への入力時間情報（ＳＣＲ）を記録することを特徴とする請求の範囲第１５項に記載の記録方法。
  17. 前記復号バッファメモリ（２６００）へのデータ転送レートをＢｒとすると、前記所定時間Ｔは、（（Ｂｅ−Ｂｉ）／Ｂｒ）で規定されることを特徴とする請求の範囲第１６項に記載の記録方法。
  18. 前記第一の符号化データ（ＥＶＳ1）に（Ｂｅ−Ｂｉ）で規定されるデータ量の所定パターンのデータ（Ｄｓ）を挿入して記録することを特徴とする請求の範囲第１５項に記載の記録方法。
  19. 符号化処理された符号化データを再生時に復号する際に用いられる所定サイズの復号バッファメモリ（２６００）のデータ占有量（Ｖｄｖ）に基づいて所定の信号の符号化データを記録された記録媒体（Ｍ）を再生する方法であって、第一の符号化データ（ＥＶＳ1）を該復号バッファメモリ（２６００）に転送した後も引き続き、仮想の符号化データ（ＥＶＳ2）を転送するとした場合、該第一の符号化データの最終データを復号化した際の該データ占有量（Ｖｄｖ）を最終占有量Ｂｅとし、第二の符号化データ（ＥＶＳ2）の復号化の開始における該データ占有量（Ｖｄｖ）が該最終占有量Ｂｅよりも小さい所定の初期占有量Ｂｉとなるように該第二の符号データを該復号バッファメモリへ転送することを特徴とする再生方法。
  20. 前記第一の符号化データ（ＥＶＳ1）と前記第二の符号化データ（ＥＶＳ2）とを前記復号バッファメモリ（２６００）へ転送する際に、該第一の符号化データ（ＥＶＳ1）に対する該最終占有量Ｂｅと該第二の符号化データ（ＥＶＳ2）に対する該初期占有量Ｂｉとによって規定される所定時間Ｔ（Ｔ＞０）（Ｑｄ）の間、該復号バッファメモリ（２６００）へのデータ転送を中断することを特徴とする請求の範囲第１９項に記載の再生方法。
  21. 前記復号バッファメモリ（２６００）へのデータ転送レートをＢｒとすると、前記所定時間Ｔは、（（Ｂｅ−Ｂｉ）／Ｂｒ）で規定されることを特徴とする請求の範囲第２０項に記載の再生方法。
  22. 符号化データを前記復号バッファメモリ（２６００）に入力する際に可変の転送速度（Ｒｃｐ）でデータ転送することを特徴とする請求の範囲第１９項に記載の再生方法。
  23. 符号化データを該復号バッファメモリに入力する際に間欠的にデータ転送（Ｑｄ）することを特徴とする請求の範囲第１９項に記載の再生方法。
  24. 前記データ占有量（Ｖｄｖ）が所定の最高占有量Ｂｍ以下になるように前記復号バッファメモリ（２６００）への符号化データの転送を制限することを特徴とする請求の範囲第１９項に記載の再生方法。
JP51414997A 1995-09-29 1996-09-27 ビットストリームのシームレス接続エンコード方法及びその装置 Expired - Fee Related JP3963478B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP25273695 1995-09-29
JP4158296 1996-02-28
PCT/JP1996/002807 WO1997013367A1 (en) 1995-09-29 1996-09-27 Method and device for encoding seamless-connection of bit stream

Publications (1)

Publication Number Publication Date
JP3963478B2 true JP3963478B2 (ja) 2007-08-22

Family

ID=26381222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP51414997A Expired - Fee Related JP3963478B2 (ja) 1995-09-29 1996-09-27 ビットストリームのシームレス接続エンコード方法及びその装置

Country Status (10)

Country Link
US (2) US5937138A (ja)
EP (2) EP0853430B1 (ja)
JP (1) JP3963478B2 (ja)
KR (1) KR100478555B1 (ja)
CN (1) CN1164104C (ja)
DE (1) DE69633244T2 (ja)
HK (1) HK1016797A1 (ja)
MX (1) MX9801218A (ja)
TW (1) TW303570B (ja)
WO (1) WO1997013367A1 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW305043B (ja) * 1995-09-29 1997-05-11 Matsushita Electric Ind Co Ltd
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
US6502199B2 (en) 1995-09-29 2002-12-31 Matsushita Electric Industrial Co., Ltd. Method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
TW332961B (en) * 1996-02-09 1998-06-01 Sony Co Ltd Recording media
US6034738A (en) * 1996-02-14 2000-03-07 Thomson Consumer Electronics, Inc. On-screen display timing
US6157674A (en) * 1996-03-21 2000-12-05 Sony Corporation Audio and video data transmitting apparatus, system, and method thereof
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JP3861362B2 (ja) * 1997-03-19 2006-12-20 ソニー株式会社 ディジタル信号再生方法及び装置
US6304911B1 (en) * 1997-06-25 2001-10-16 Advanced Micro Devices, Inc. Information packet reception indicator for reducing the utilization of a host system processor unit
US6034731A (en) * 1997-08-13 2000-03-07 Sarnoff Corporation MPEG frame processing method and apparatus
MY115908A (en) 1997-09-17 2003-09-30 Matsushita Electric Ind Co Ltd Video data editing apparatus, optical disc for use as a recording medium of a video data editing apparatus, and computer-readable recording medium storing an editing program
MY126551A (en) 1997-09-17 2006-10-31 Matsushita Electric Ind Co Ltd Video data editing apparatus and computer-readable recording medium storing an editing program
MY116283A (en) 1997-09-17 2003-12-31 Panasonic Ip Corp America Optical disc having an area storing original and user chain information specifying at least part of a video object stored on the disc, and a computer program and recording apparatus for recording and editing the chain information.
DE69800526T2 (de) * 1997-09-17 2004-08-05 Matsushita Electric Industrial Co., Ltd., Kadoma Aufzeichnungsgerät für optische Platte und computerlesbares Aufzeichnungsmedium zur Aufzeichnung eines Dateienverwaltungsprogramms
US6487364B2 (en) 1997-09-17 2002-11-26 Matsushita Electric Industrial Co., Ltd. Optical disc, video data editing apparatus, computer-readable recording medium storing an editing program, reproduction apparatus for the optical disc, and computer-readable recording medium storing a reproduction program
US6862320B1 (en) * 1997-10-23 2005-03-01 Mitsubishi Denki Kabushiki Kaisha Image decoder, image encoder, image communication system, and encoded bit stream converter
EP0917144B1 (en) * 1997-11-11 2003-05-07 Deutsche Thomson-Brandt Gmbh Method and apparatus for controlling a data buffer
JP3903561B2 (ja) * 1997-12-26 2007-04-11 ソニー株式会社 記録装置及び記録方法
IL123906A0 (en) * 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
US7272298B1 (en) 1998-05-06 2007-09-18 Burst.Com, Inc. System and method for time-shifted program viewing
EP1034538B1 (en) * 1998-06-12 2004-12-15 Koninklijke Philips Electronics N.V. Transferring compressed audio via a playback buffer
FR2781326B1 (fr) 1998-07-17 2000-09-29 St Microelectronics Sa Procede et systeme d'elaboration d'images numeriques resultant d'elements graphiques auxiliaires incrustes dans des images principales
US8380041B2 (en) 1998-07-30 2013-02-19 Tivo Inc. Transportable digital video recorder system
US8577205B2 (en) 1998-07-30 2013-11-05 Tivo Inc. Digital video recording system
US6233389B1 (en) 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
US7558472B2 (en) 2000-08-22 2009-07-07 Tivo Inc. Multimedia signal processing system
JP2000090645A (ja) * 1998-09-08 2000-03-31 Sony Corp ファイル管理装置および方法、並びに提供媒体
JP3805985B2 (ja) * 1999-02-18 2006-08-09 株式会社東芝 ストリームデータの情報記憶媒体、その記録方法、再生方法、記録装置および再生装置
JP4211153B2 (ja) * 1999-09-17 2009-01-21 ソニー株式会社 記録装置および方法
EP1885127A3 (en) 1999-09-20 2008-03-19 Tivo, Inc. Closed caption tagging system
EP1085513B1 (en) * 1999-09-20 2012-12-05 Panasonic Corporation Optical disc recording apparatus, and optical disc recording method that are all suitable for seamless reproduction
US20030099293A1 (en) * 1999-12-15 2003-05-29 Shigeyuki Okada Image reproducing method, and image processing method, and image reproducing device, image processing device, and television receiver capable of using the methods
JP2001285234A (ja) * 2000-04-04 2001-10-12 Sony Corp データ多重化装置およびデータ多重化方法、並びに記録媒体
US7043484B2 (en) * 2000-12-05 2006-05-09 Dvdemand Technologies Inc. System and method for producing storage media images
JP3548136B2 (ja) * 2001-06-01 2004-07-28 三洋電機株式会社 画像処理装置
JP3906911B2 (ja) * 2002-04-18 2007-04-18 ソニー株式会社 記録装置及び記録方法
TWI241813B (en) * 2002-05-10 2005-10-11 Interdigital Tech Corp Cognitive flow control based on channel quality conditions
KR100554767B1 (ko) 2002-06-28 2006-02-22 엘지전자 주식회사 다중 경로 데이터의 기록 및 재생을 관리하기 위한 데이터구조를 갖는 기록 매체와 그에 따른 기록 및 재생 방법 및장치
US7769084B1 (en) 2002-07-15 2010-08-03 Apple Inc. Method for implementing a quantizer in a multimedia compression and encoding system
US7418037B1 (en) * 2002-07-15 2008-08-26 Apple Inc. Method of performing rate control for a compression system
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US7804897B1 (en) * 2002-12-16 2010-09-28 Apple Inc. Method for implementing an improved quantizer in a multimedia compression and encoding system
US7940843B1 (en) 2002-12-16 2011-05-10 Apple Inc. Method of implementing improved rate control for a multimedia compression and encoding system
RU2356107C2 (ru) * 2003-02-25 2009-05-20 Эл Джи Электроникс Инк. Способ воспроизведения содержательной информации устройством для интерактивных оптических дисков
US7224664B2 (en) * 2003-03-25 2007-05-29 Lg Electronics Inc. Recording medium having data structure for managing reproduction of data streams recorded thereon and recording and reproducing methods and apparatuses
EP1465187A1 (en) * 2003-04-02 2004-10-06 Deutsche Thomson-Brandt Gmbh Method for controlling an optical pick-up for reading data streams for simultaneous reproduction
EP1465181A1 (en) * 2003-04-02 2004-10-06 Deutsche Thomson-Brandt Gmbh Method for controlling an optical pick-up for reading data streams for simultaneous reproduction
US20040268033A1 (en) * 2003-06-24 2004-12-30 Seagate Technology Llc Refreshing data in a data storage device
JP3675464B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
JP4289138B2 (ja) * 2003-12-09 2009-07-01 ソニー株式会社 データ処理装置およびその方法と符号化装置
EP2257059B1 (en) 2004-01-13 2014-03-12 Panasonic Corporation Recording medium, reproduction device, recording method, program, and reproduction method
CN101790067B (zh) * 2004-02-17 2013-09-11 松下电器产业株式会社 记录方法和再现装置
EP1726163B1 (en) * 2004-03-03 2014-12-24 Callahan Cellular L.L.C. Video processing circuit and method of video processing
JP2005285209A (ja) * 2004-03-29 2005-10-13 Toshiba Corp 動画像のメタデータ
JP2006041844A (ja) * 2004-07-26 2006-02-09 Toshiba Corp メタデータのデータ構造及びそのメタデータの処理方法
CN101841714B (zh) * 2004-08-31 2012-12-26 松下电器产业株式会社 运动图像编码、解码方法及装置、记录介质的记录方法
JP4732730B2 (ja) * 2004-09-30 2011-07-27 パナソニック株式会社 音声復号装置
CN101077006A (zh) 2004-11-19 2007-11-21 Tivo股份有限公司 用于先前播放内容的安全传输的方法和设备
CN101091395A (zh) * 2004-12-23 2007-12-19 诺基亚公司 用于电子设备的多照相机解决方案
CN101164347B (zh) * 2005-04-26 2010-08-25 汤姆森许可贸易公司 同步流打包
WO2007008841A2 (en) 2005-07-07 2007-01-18 Burst.Com, Inc. System and method for digital content retrieval
US20070133952A1 (en) * 2005-12-08 2007-06-14 Samsung Electronics Co., Ltd. Method and system for reproducing contents
EP2124454B1 (en) * 2007-03-19 2014-11-19 Fujitsu Limited Bit stream converting method, bit stream converting device, bit stream coupling device, bit stream dividing program, bit stream converting program and bit stream coupling program
JP5211569B2 (ja) * 2007-07-26 2013-06-12 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法、およびプログラム
JP5282383B2 (ja) * 2007-09-06 2013-09-04 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ再生システム
WO2010038212A2 (en) * 2008-10-01 2010-04-08 Nxp B.V. Embedded video compression for hybrid contents
US8843803B2 (en) * 2011-04-01 2014-09-23 Cleversafe, Inc. Utilizing local memory and dispersed storage memory to access encoded data slices
US9063802B2 (en) * 2013-01-31 2015-06-23 Hewlett-Packard Development Company, L.P. Event determination
US9800934B2 (en) * 2013-06-12 2017-10-24 Lg Electronics Inc. Apparatus for transmitting broadcast signals, apparatus for receiving broadcast signals, method for transmitting broadcast signals and method for receiving broadcast signals
KR101871730B1 (ko) * 2013-09-27 2018-06-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법 및 방송 신호 수신 방법
KR102174267B1 (ko) * 2013-12-24 2020-11-04 주식회사 케이티 영상 패킷의 변환 장치 및 방법
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
CN107710757B (zh) * 2015-06-04 2021-08-10 英特尔公司 用于缓慢运动视频记录的自适应批量编码
WO2017143522A1 (en) 2016-02-23 2017-08-31 Intel Corporation Graphics processor workload acceleration using a command template for batch usage scenarios
US10979747B2 (en) * 2017-12-21 2021-04-13 Arris Enterprises Llc Statistical multiplexing system for variable bit rate encoding with constant bit rate encoder
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04222184A (ja) * 1990-12-21 1992-08-12 Nec Corp 動画像符号化装置
JPH05219491A (ja) * 1992-02-05 1993-08-27 Sony Corp 符号化装置
KR0152016B1 (ko) * 1992-06-18 1998-10-15 강진구 가변 비트할당을 이용한 부호화 및 복호화시스템
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
CA2141672A1 (en) * 1993-06-10 1994-12-22 Markus H. Veltman Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
DE69426894T2 (de) * 1993-09-16 2001-07-26 Toshiba Kawasaki Kk Digitales Videosignal
JP3005147B2 (ja) * 1994-02-24 2000-01-31 シャープ株式会社 動画像符号化装置
JP3173950B2 (ja) * 1994-06-13 2001-06-04 株式会社日立製作所 ディスク再生装置
KR0159975B1 (ko) * 1994-10-19 1999-01-15 김준성 영상 데이타 부호화장치
JPH08138316A (ja) * 1994-11-07 1996-05-31 Toshiba Corp 記録再生装置
JP3100307B2 (ja) * 1995-03-14 2000-10-16 日本ビクター株式会社 圧縮データ連続再生システム
US5745643A (en) * 1995-04-06 1998-04-28 Kabushiki Kaisha Toshiba System for and method of reproducing playback data appropriately by the use of attribute information on the playback data
US6138147A (en) * 1995-07-14 2000-10-24 Oracle Corporation Method and apparatus for implementing seamless playback of continuous media feeds

Also Published As

Publication number Publication date
EP1420594A3 (en) 2004-11-03
EP0853430B1 (en) 2004-08-25
WO1997013367A1 (en) 1997-04-10
HK1016797A1 (en) 1999-11-05
EP1420594A2 (en) 2004-05-19
CN1164104C (zh) 2004-08-25
MX9801218A (es) 1998-04-30
USRE37994E1 (en) 2003-02-18
EP0853430A1 (en) 1998-07-15
EP0853430A4 (en) 1999-05-26
US5937138A (en) 1999-08-10
TW303570B (ja) 1997-04-21
KR100478555B1 (en) 2005-11-11
DE69633244T2 (de) 2005-09-15
KR19990063897A (ko) 1999-07-26
CN1197575A (zh) 1998-10-28
DE69633244D1 (de) 2004-09-30

Similar Documents

Publication Publication Date Title
JP3963478B2 (ja) ビットストリームのシームレス接続エンコード方法及びその装置
JP3827097B2 (ja) 情報記録方法
JP3922592B2 (ja) 記録方法
JP3827096B2 (ja) 情報記録媒体の記録方法
JP3769507B2 (ja) 再生装置
JP3325581B2 (ja) 再生方法及び再生装置
JP3338039B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP2003087744A (ja) ビットストリーム生成方法及び情報記録方法
JP3920921B2 (ja) テレシネ変換されたビデオデータのシームレス接続エンコード方法及びその装置
JP3813070B2 (ja) 光ディスクを再生する再生装置
JP3350542B1 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3327917B2 (ja) 記録方法、記録装置、及び光ディスク
JP3350545B1 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3350544B1 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338042B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338033B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338036B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338041B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338037B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3350543B1 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338040B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338034B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338038B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338035B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク
JP3338032B2 (ja) 再生方法、再生装置、記録方法、記録装置、光ディスク

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070123

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100601

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110601

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120601

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130601

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees