WO2004002145A1 - 復号装置及び復号方法 - Google Patents

復号装置及び復号方法 Download PDF

Info

Publication number
WO2004002145A1
WO2004002145A1 PCT/JP2003/007437 JP0307437W WO2004002145A1 WO 2004002145 A1 WO2004002145 A1 WO 2004002145A1 JP 0307437 W JP0307437 W JP 0307437W WO 2004002145 A1 WO2004002145 A1 WO 2004002145A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stream data
decoding
image stream
frame
Prior art date
Application number
PCT/JP2003/007437
Other languages
English (en)
French (fr)
Inventor
Takashi Karimoto
Masayoshi Mizuno
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/486,198 priority Critical patent/US7305173B2/en
Priority to JP2004515490A priority patent/JP4725104B2/ja
Priority to KR20047002442A priority patent/KR100997166B1/ko
Priority to EP03733379A priority patent/EP1530370A4/en
Priority to MXPA04001511A priority patent/MXPA04001511A/es
Publication of WO2004002145A1 publication Critical patent/WO2004002145A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42692—Internal components of the client ; Characteristics thereof for reading from or writing on a volatile storage medium, e.g. Random Access Memory [RAM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Definitions

  • the present invention relates to digital television broadcasting. More specifically, the present invention relates to an image stream data of a received broadcast, which is suitable for the type and the number of image stream data.
  • the present invention relates to a decoding device and a decoding method for decoding.
  • digital broadcasting services that enable broadcasting services with features such as provision of high-quality programs and provision of programs on multiple channels include broadcasting satellites (BSs) and communication satellites (CSs). ).
  • BSs broadcasting satellites
  • CSs communication satellites
  • digital high-definition broadcasting (HD TV: Hih Definition Television) is the main service.
  • BS digital broadcasting services when the digital high-definition broadcasting is not performed, multi-view broadcasting is used. It has been devised to provide a service called one broadcast.
  • multi-view broadcasting divides the digital high-definition broadcasting band into three channels, and combines multiple contents linked in one program into a conventional standard television broadcasting (SDTV). This is a service where multiple broadcasts are sent simultaneously.
  • SDTV standard television broadcasting
  • the receiving equipment can support multi-view broadcasting if it has decoders for decoding received digital broadcasts for the channels of multi-view broadcasting.
  • An object of the present invention is to provide a new decoding device and a new decoding method that can solve the problems of the conventional receiving device for receiving multi-view broadcasting as described above.
  • the proposed decoding apparatus for achieving the above-described object is configured such that input m (m is a natural number) image stream data is assigned to each of the image stream data.
  • Image stream data storage means for storing image stream data in the storage area, and image stream data read out from the m stream data stored in the image stream data storage means in a time-division manner.
  • Reading means decoding means for decoding the m pieces of image stream data read in time division from the image stream data reading means into image frames, and storing the image frames decoded by the decoding means.
  • Image frame storage means First determining means for determining whether image frames can be stored in the stream storage means, second determining means for determining whether image stream data can be decoded by the decoding means, first determining means, and first determining means.
  • Control means for controlling reading of the image stream data from the image stream data storage means by the image stream data reading means based on the determination result by the determination means of (2); and an image frame stored in the image frame storage means.
  • an image stream storing image stream data in each of storage areas allocated to each of the input image stream data (m is a natural number) is provided.
  • the image stream data reading step in which the m pieces of image stream data stored in the image stream data storage means are read out in a time division manner, and in the image stream data reading step, the image stream data is read out in a time division manner.
  • a first determination step of determining whether or not the image frame can be stored Reading the image stream data from the image stream data storage means in the image stream data reading step based on the results of the second determination step of determining whether decoding is possible and the determination results of the first determination step and the second determination step
  • an output step of arranging and outputting on the same screen
  • Another decoding apparatus includes: input means for inputting a multiplexed stream in which m (m is a natural number) image stream data are multiplexed; and m: a multiplexed stream input to the input means.
  • Separation means for separating into image stream data of each book, and m image stream data separated by the separation means, for each image stream data.
  • Image stream data is stored in each assigned storage area Image strike Stream data storage means; image stream data reading means for reading out the image stream data stored in the image stream data storage means in a time-division manner; and m image streams read from the image stream data reading means.
  • Decoding means for decoding data into image frames, image frame storage means for storing the image frames decoded by the decoding means, and determining whether the image frames can be stored in the image frame storage means
  • Control means for controlling reading of image stream data from the image stream data storage means by the image data reading means
  • Image frame reading means for reading image frames stored in the image frame storage means, and image frames corresponding to the respective image streams read out by the image frame reading means arranged on the same screen.
  • Output means for outputting.
  • an input step of inputting a multiplexed stream in which m (m is a natural number) image stream data are multiplexed, and the number of multiplexed streams input in the input step is m A separation step of separating the image stream into image streams, and an image stream data storage for storing the image stream data in each of the storage areas allocated to the m pieces of image stream data separated in the separation step.
  • the image stream data reading step for reading out the image stream data stored in the image stream data storage means in a time-division manner; and the m pieces of image stream data read from the image stream data reading means
  • FIG. 1 is a diagram for explaining multi-view broadcasting.
  • FIG. 2 is a diagram showing a use form of a recording / reproducing apparatus to which the present invention is applied.
  • FIG. 3 is a block diagram showing a main configuration of a recording / reproducing apparatus to which the present invention is applied.
  • FIG. 4 is a block diagram showing an MPEG video decoder constituting a recording / reproducing apparatus to which the present invention is applied.
  • FIG. 5 shows a recording / reproducing apparatus to which the present invention is applied, and an MPEG video decoder.
  • FIG. 3 is a diagram illustrating a state of a code buffer and a selector when one HD stream is supplied.
  • FIG. 6 is a diagram showing a state of a code buffer and a selector when one SD stream is supplied to an MPEG video decoder in a recording and reproducing apparatus to which the present invention is applied.
  • FIG. 7 is a diagram showing a state of a code buffer and a selector when two SD streams are supplied to a MPEG video decoder in a recording and reproducing apparatus to which the present invention is applied.
  • FIG. 8 is a diagram showing a state of a code buffer and a selector when three SD streams are supplied to an MPEG video decoder in a recording / reproducing apparatus to which the present invention is applied.
  • FIG. 9 is a flowchart showing the operation of the MPEG video decoder in the recording / reproducing apparatus to which the present invention is applied.
  • FIG. 10 is a flowchart showing the decoding processing operation of the MPEG video decoder.
  • FIG. 11 is a flowchart showing an operation when releasing a virtual frame.
  • FIG. 12A is a diagram for explaining the entire memory area of the frame memory in the recording / reproducing apparatus to which the present invention is applied.
  • FIG. 12B is a diagram showing the memory area when the frame memory is defined for SD.
  • FIG. 12C is a diagram showing a memory area when the frame memory is defined for HD.
  • FIG. 13 is a diagram for explaining the correspondence between the frame memory and the virtual frame.
  • FIG. 14 is a diagram illustrating an example of a virtual frame.
  • FIG. 15 is a flowchart showing a host CPU management operation using virtual frames when decoding a multi-view broadcast.
  • FIG. 16 is a diagram showing an example of a virtual frame used for explaining the operation of the flowchart shown in FIG.
  • FIG. 17 is a flowchart for explaining the management operation of the host CPU using the virtual frame when decoding the digital Hi-Vision broadcast in the recording / reproducing apparatus to which the present invention is applied.
  • BEST MODE FOR CARRYING OUT THE INVENTION a decoding device and a decoding method according to the present invention will be described in detail with reference to the drawings.
  • C The present invention is applied to a recording / reproducing device 100 as shown in FIG. You. As shown in FIG.
  • the recording / reproducing apparatus 100 is provided with a c- television receiver 200 connected to a television receiver 200, a terrestrial tuner capable of receiving terrestrial waves, BS ( It may have a built-in Broadcasting Satellite tuner, BS tuner, CS tuner, CS tuner, and CS digital tuner.
  • Various functions of the recording / reproducing apparatus 100 can be remotely operated by a remote controller 300 as shown in FIG.
  • the remote controller 300 can also remotely control various functions of the television receiver 200.
  • a recording / reproducing apparatus 100 to which the present invention is applied is a recording / reproducing apparatus capable of recording a video signal, an audio signal, and various data without compressing a digital high-definition broadcast on a recording medium.
  • the recording / reproducing device 100 includes a digital tuner as described later. For example, digital high-definition broadcasting provided by BS digital broadcasting can be received, and the received digital high-definition broadcasting can be recorded on a recording medium as described above.
  • the main configuration of the recording / reproducing apparatus 100 will be described with reference to FIG.
  • the recording / reproducing apparatus 100 includes a terrestrial tuner 1, an input switching circuit 2, a YC separation circuit 3, an input switching circuit 4, an NTSC (National Television System Standard Committee) decoder 5, a synchronization control circuit 6, , Pre-video signal processing circuit 7, MPEG (Moving Picture Experts Group) video encoder 8, audio A / D converter 9, MPEG audio encoder 10, digital tuner 11, multiplexing / demultiplexing circuit (MUX / DMX) 1 2, recording / playback processing unit 13, host CPU 14, SDRAM (Synchronous Dynamic Random Access Memory; 15), ROM (Read Only Memory) 16, and MPEG video Decoder 1 ⁇ , post video signal processing circuit 18, OSD (On Screen Display) 19, NTSC encoder 20, MPEG audio decoder 21, switching circuit 22, audio D ⁇ A converter 23, digital IN / UT 24, digital interface circuit 25 Comprises a ground upper wave E P G tuner 2 6, and a data slicer 2 7.
  • MPEG Motion Picture Experts Group
  • MUX / DMX multiple
  • the terrestrial tuner 1 receives a terrestrial broadcast and supplies a composite video signal and an audio signal of the received broadcast to the input switching circuit 2.
  • the input switching circuit 2 is supplied with a composite video signal and an audio signal from the terrestrial tuner 1 and is supplied with a composite video signal and an audio signal from an external device.
  • the input switching circuit 2 is a composite video signal and audio signal supplied from the terrestrial tuner 1 or a composite video signal and audio signal supplied from an external device in accordance with an instruction from the host CPU 14. Select one of The input switching circuit 2 outputs the selected composite video signal to the YC separation circuit 3 and the audio signal to the audio A / D converter 9.
  • the YC separation circuit 3 separates the composite video signal input from the input switching circuit 2 into YC signals and supplies the composite video signal to the input switching circuit 4.
  • the input switching circuit 4 selects an external S video input or an output from the YC separation circuit 3 according to an instruction from the host CPU 14, and sends the selected signal to the NTSC decoder 5. Supply.
  • the NTSC decoder 5 subjects the input video signal to A / D conversion and chroma encoding, converts it into a digital component video signal (hereinafter referred to as image data), and supplies it to the pre-video signal processing circuit 7.
  • the NTSC decoder 5 supplies a clock generated based on the horizontal synchronization signal of the input video signal, and a horizontal synchronization signal, a vertical synchronization signal, and a field discrimination signal obtained by performing synchronization separation to the synchronization control circuit 6.
  • the synchronization control circuit 6 generates a clock and a synchronization signal, which are converted into the timing required for each block described later, based on the horizontal synchronization signal, the vertical synchronization signal, and the field discrimination signal. Supply to each block that makes up.
  • the pre-video signal processing circuit 7 performs various video signal processes such as pre-filling on the image data supplied from the NTSC decoder 5 and supplies the processed video data to the MPEG video encoder 8 and the post video signal processing circuit 18.
  • the MPEG video encoder 8 performs an encoding process such as a block DCT (Discrete Cosine Transform) on the image data supplied from the pre-video signal processing circuit 7 to generate an ES (Elementary Stream) of the image.
  • ES Simple Stream
  • Multiplexed Z separation circuit 12 In this example, MPEG is used as the compression method, but other compression methods or non-compression may be used.
  • the audio A / D converter 9 converts the audio signal selected by the input switching circuit 2 into a digital audio signal and supplies the digital audio signal to the MPEG audio encoder 10.
  • the MPEG audio encoder 10 compresses the supplied digital audio signal in accordance with the MPEG format, generates an ES of the audio, and supplies it to the multiplexing / demultiplexing circuit 12 in the same manner as the video signal.
  • MPEG is used as the compression method.
  • other compression methods or non-compression may be used.
  • the digital tuner 11 is a tuner that receives BS digital broadcast, CS digital broadcast, and terrestrial digital broadcast.
  • BS digital broadcasting is a service centered on digital high-definition broadcasting, but can also provide standard television broadcasting.
  • BS digital broadcasting divides the digital high-definition broadcast frame into three standard television broadcasts and simultaneously broadcasts them, and the digital high-definition broadcast band is also divided into three channels and used within one program.
  • Related Multi-broadcast that simultaneously broadcasts a plurality of contents as standard television broadcasts is provided.
  • the digital tuner 11 receives, for example, a BS digital broadcast multiplexed by an MPEG 2 transport stream, modulated by a predetermined modulation method, and transmitted, and receives the received TS signal to a multiplexing / demultiplexing circuit 12. Supply.
  • the number of horizontal effective pixels (picture_coding—h_size) of the NTSC video signal received by the terrestrial tuner 1 or digital tuner 11 is 720 or more, or the number of vertical effective pixels (pictur> e_coding—v_size) is 480.
  • the received video signal is assumed to be a video signal of digital high definition broadcasting (High Definition Television), that is, a video signal encoded in the HD system.
  • Other video signals are video signals encoded in the SD system.
  • the video signal received by the terrestrial tuner 1 or digital tuner 11 is the PAL (Phase Alternation by Line) method
  • the number of horizontal effective pixels of the video signal is 720 or more, or the number of vertical effective pixels is 540 or more.
  • the video signal is a digital high-vision broadcast video signal, that is, a video signal encoded in the HD system.
  • Video signals other than the above shall be video signals encoded in the SD system.
  • a video signal of a digital high-definition broadcast has a horizontal effective pixel number, a vertical effective pixel number, and a frame rate expressed as (the number of horizontal effective pixels x the number of vertical effective pixels; frame rate). 080 i; 29.97 Hz;), (144 0 xl 08 0 i; 29.97 Hz) (1 280 x 720 p; 59.94 Hz), (720 x 480) p; 59.94 Hz).
  • the video signal of the standard television broadcast is (720 x 480i; 29.97 Hz), (544 x 480i; 29.97 Hz), and the number of horizontal effective pixels of the actual video data is 540. ), (480 x 480i; 29.97 Hz).
  • BS de The video signal transmitted in the low hierarchy as a rain-response broadcast in the satellite broadcasting is specified as (3 52 X 240 p; 29.97 Hz or less) and will be standard television broadcasting.
  • ATSC Advanced TV System Committee
  • ATSC cable broadcasting in the United States, ATSC Standard A / 53B with Amendment 1: ATSC Digital Television Standard, Rev. B Annex A, Table-A3 "
  • the video signal of digital high-definition broadcasting is specified using the number of effective horizontal pixels, the number of effective vertical pixels, and the frame rate.
  • a video signal of a digital high-definition broadcast has a horizontal effective pixel number, a vertical effective pixel number, and a frame rate expressed as (the number of horizontal effective pixels x the number of vertical effective pixels; frame rate). ; 23.976, 24, 29.97, 30 Hz), (1920 xl 080 i; 29.97, 30 Hz) s (1280 80720 ⁇ ; 23.976, 24, 29.97, 30 , 59.94, 60 ⁇ ), (704 x 480p; 23.976, 24, 29.97, 30, 59.94, 60 ⁇ ), (704 x 480i; 29.97, 30 ⁇ ) ⁇ (640 x 480 ⁇ ; 23.976, 24, 29.97, 30, 59.94, 60 ⁇ ) s (640 x 480i; 29.97, 30 ⁇ ).
  • the multiplexing / demultiplexing circuit 12 performs multiplexing processing of the video ES, the audio ES, and various control signals during recording on the recording medium 50 described later.
  • the multiplexing / demultiplexing circuit 12 combines the input MPEG video ES, MPEG audio ES, and various control signals, performs multiplexing processing (for example, generation of a transport stream of the MPEG system), and buffer control processing. And outputs the result to the recording / playback processing unit 13.
  • the buffer control process is a process for intermittently sending a continuously input TS to a subsequent recording / reproducing processing unit 13. For example, when the recording / playback processing unit 13 is performing the seek operation of the recording medium 50, the TS cannot be written. Therefore, the TS is temporarily stored in the buffer. By writing at a rate higher than the rate, the TS signal input continuously can be interrupted. Record without cutting.
  • the multiplexing / demultiplexing circuit 12 controls the buffer so that the TS (Transport Stream) reproduced and intermittently supplied by the recording / reproduction processing unit 13 is continuously supplied during reproduction of the recording medium 5 described later. After that, the separation process is performed.
  • a packetized elementary stream (PES) is extracted from the TS, and is further separated into a video ES and an audio ES. Then, the MPE G video decoder 17 and the MPE G audio decoder 21 To supply.
  • PES packetized elementary stream
  • the digital tuner 11 receives the digital broadcast, and after descrambling the digital signal-specific scrambling applied to the TS signal, supplies the TS to the multiplexing / demultiplexing circuit 12.
  • the multiplexing / demultiplexing circuit 12 The PES is extracted from the supplied TS signal, and is further separated into a video ES and an audio ES in the same manner as when the recording medium 50 is reproduced, and then the MP ES video decoder 17 and the MP EG audio decoder 21 To supply.
  • the multiplexing / demultiplexing circuit 12 describes the PID of a TS packet that contains services such as video, audio, and related information that make up the broadcast program multiplexed in the TS when performing the above-described demultiplexing processing. It acquires PSI (Program Specific Information) such as the acquired PMT (Program Map Table) and outputs the acquired PSI to the host CPU 14.
  • PSI Program Specific Information
  • PMT Program Map Table
  • the host CPU 14 determines whether the extracted PES is an HD stream, which is a stream of digital high-definition broadcasting, an SD stream, which is a stream of standard television broadcasting, and If it is a stream, the number of the transmitted SD streams can be detected.
  • the multiplexing / demultiplexing circuit 12 extracts the electronic program information (EPG) inserted in the BS signal by using various information purging functions built in the multiplexing / demultiplexing circuit 12, and supplies it to the host CPU 14. I do.
  • the host CPU 14 analyzes the EPG signal and displays program information on the GUI.
  • the recording / reproducing processor 13 performs a process of recording data on the recording medium 50 and a process of reproducing data recorded on the recording medium 50.
  • the recording medium 50 includes an optical disk, a magneto-optical disk, a solid-state memory, etc.
  • An HDD (Hard Disk Drive) mounted on the recording / reproducing apparatus in advance.
  • the recording / reproduction processing unit 13 records the TS supplied from the multiplexing / demultiplexing circuit 12 on the recording medium 50, and outputs the TS reproduced from the recording medium 50 to the multiplexing / demultiplexing circuit 12.
  • the host CPU 14 controls all the functional blocks of the recording / reproducing apparatus 100 in an integrated manner. Further, the host CPU 14 controls the entire system by accessing the SDRAM 15 and the R ⁇ M 16 as necessary via the host bus.
  • the MPEG video decoder 17 performs a decoding process on the input video ES, acquires baseband image data, and supplies it to the post video signal processing circuit 18. The configuration and operation of the MPEG video decoder 17 will be described later in detail.
  • the post video signal processing circuit 18 includes a switching circuit (not shown), a field recursive noise reducer, a motion detection, a video signal interpolation processing circuit, and the like, and includes image data supplied from the MPEG video decoder 17, After switching between the image data supplied from the pre-video signal processing circuit 7 and various processing, the image data is supplied to the OSD 19.
  • the OSD 19 generates graphics for screen display and the like, performs processing such as overlapping or partially displaying image data, and supplies the same to the NTSC encoder 20 ⁇
  • the NTSC encoder 20 converts the input image data (component digital signal) into a YC signal, performs D / A conversion, obtains an analog composite video signal and an S video signal, and receives a television reception signal. Input to the video input terminal provided in the unit 200.
  • the MPEG audio decoder 21 obtains a baseband audio signal by performing composite processing on the audio ES signal supplied from the multiplexing / demultiplexing circuit 12, and supplies the baseband audio signal to the switching circuit 22.
  • the switching circuit 22 selects the audio data supplied from the MPE G audio decoder 21 and the audio data supplied from the audio A / D converter 9, and converts the selected audio data to the audio D / A converter. Output to 23.
  • the audio 13 / oct converter 23 converts the audio data into an analog audio signal, and inputs the converted analog audio signal to an audio input terminal provided in the television receiver 200.
  • the signals supplied and output from the digital IN / OUT 24 will be described. For example, when recording a signal input from an external IRD (Integrated Receiver Decoder) via digital IN / OUT 24 which is a digital interface such as IEEE 1394, the digital signal is Input to circuit 25.
  • IRD Integrated Receiver Decoder
  • the digital interface circuit 25 performs processing such as format conversion to generate T S so as to conform to this method, and supplies it to the multiplexing / demultiplexing circuit 12.
  • the multiplexing / demultiplexing circuit 12 further analyzes and generates control signals and the like, and converts the control signals into TS suitable for the present method.
  • the multiplexing / demultiplexing circuit 12 performs a demultiplexing process, and supplies the video ES to the MPEG video decoder 17 and the audio ES to the MPEG audio decoder 21 to convert analog video and audio signals. Obtainable.
  • the reproduced TS is input to the multiplexing / demultiplexing circuit 12 as described above.
  • the T S input to the multiplexing / demultiplexing circuit 12 analyzes and generates a control signal as necessary, and supplies the control signal to a digital interface circuit 25.
  • the digital interface circuit 25 performs a conversion reverse to that at the time of recording, converts it into a digital signal conforming to an external IRD, and outputs it via the digital INZOUT 24.
  • the multiplexing / demultiplexing circuit 12 performs a demultiplexing process, and supplies PES to the MPEG video decoder 17 and the MPEG audio decoder 21 to obtain analog video and audio signals.
  • connection with the IRD has been described.
  • a personal computer such as eight devices such as 1 ".
  • the terrestrial EPG tuner 26 is controlled by the host CPU 14, receives a CH (channel) on which the EPG is superimposed, and supplies the received video signal to the data slicer 27.
  • the data slicer 27 extracts EPG data from the input video signal and supplies it to the host CPU 14.
  • the host CPU 14 analyzes the EPG signal and displays program information on the GUI. Obtained from BS digital and terrestrial broadcasting
  • the EPG data used is used not only for displaying the program guide, but also as information for title recording of evening recording and recorded programs.
  • the MPEG for decoding the TS supplied from the digital tuner 11 or the recording medium 50 via the multiplexing / demultiplexing circuit 12 will be described.
  • the detailed configuration of the video decoder 17 will be described.
  • the MPEG video decoder 17 includes a code buffer 31, a selector 32, a decode core 33, a frame memory 34, and a display mixer 35.
  • the code buffer 31 is a buffer for temporarily buffering the video ES supplied from the multiplexing / demultiplexing circuit 12 for a plurality of pictures.
  • the code buffer 31 dynamically changes the buffering area of the code buffer 31 according to the number of streams of the video ES supplied from the multiplexing / demultiplexing circuit 12 under the control of the host CPU 14. , Can be assigned to each incoming stream.
  • the multiplexing / demultiplexing circuit 12 supplied with the TS acquires the PSI multiplexed on the TS and supplies the PSI to the host CPU 14.
  • the host CPU 14 grasps the stream type and the number of streams from the PSI supplied from the multiplexing / demultiplexing circuit 12, and the supplied video ES is an SD stream, and the number of streams is If the number is two or three, the code buffer 31 is controlled to dynamically change the buffering area, and a buffering area is assigned to each stream.
  • the selector 32 switches the output from the code buffer 31 in a time-division manner under the control of the host CPU 14 and performs decoding core 33 It works to supply to.
  • selector 32 is used when the HD stream is supplied and when the SD stream is supplied. If the system is supplied alone, the output from the code buffer 31 is supplied to the decode core 33 without switching operation.
  • the states are as shown in FIGS. 7 and 8, respectively.
  • the buffering area of the code buffer 31 is allocated for each input stream, and the selector 32 also operates so as to control the input to the decode core 33 in a time-division manner.
  • the stream is identified by the PID, and two or three SD streams supplied from the multiplexing / demultiplexing circuit 12 to the code buffer 31 are also supplied to a predetermined buffering area based on the PID. Is done.
  • the decode core 33 performs MPEG decoding of the HD stream and the SD stream supplied from the code buffer 31 in units of frames to generate image data.
  • the generated image data is supplied to the subsequent frame memory 34.
  • the HD stream decoded by the decode core 33 is called an HD frame
  • the SD stream decoded by the decode core 33 is called an SD frame
  • the frame memory 34 has a predetermined storage capacity, for example, a storage capacity capable of storing 16 frames for an SD frame and 4 frames for an HD frame.
  • the frame memory 34 temporarily stores the HD frame and the SD frame decoded by the decode core 33 in a predetermined memory area under the control of the host CPU 14. Similarly, the stored HD frame and SD frame are read out under the control of the host CPU 14 and output to the display mixer 35 at the subsequent stage.
  • the host CPU 14 manages in which memory area of the frame memory 34 the SD frame and HD frame that are decoded by the decode core 33 and stored in the frame memory 34.
  • the display mixer 35 has a frame memory 34 depending on the host CPU 14. Positioning of the HD frame and SD frame read from the recording / reproducing apparatus 100 to the television receiver 200, for example, is performed according to the control of the host CPU 14 to execute the post video. The signal is supplied to the signal processing circuit 18. In particular, when a multi-view broadcast provided in a BS digital broadcast is received by the digital tuner 11, the control of the host CPU 14 is performed so that a maximum of three frames are appropriately arranged on the same screen. Positioning is performed according to.
  • the decoding process in the MPEG video decoder 17 whose configuration is shown in FIG. 4 does not indicate the process in which the stream is simply decoded by the decode core 33, but the stream decoded by the decode core 33 as a frame. Including storing in memory 34.
  • the memory area of the frame memory 34 must be managed, that is, which memory area of the frame memory 34 stores the frame decoded by the decode core 33. Timely management is required. Decoding the stream by the decoding core 33 is not executed unless there is a free space in the frame memory 34.
  • the host CPU 14 prepares a management table in the SDRAM 15 for collectively managing the usage status of the frame memory 34, and refers to this management table to make available space in the frame memory 34. It manages the memory area and controls the decoding processing in the decoding core 33. The host CPU 14 also controls the output of the frames stored in the frame memory 34 while referring to the management table prepared in the SDRAM 15.
  • the host CPU 14 when the HD stream or the SD stream is independently supplied to the code buffer 31, the host CPU 14 outputs the frames stored in the frame memory 34 in order from the frame stored first. It is sufficient to secure the free memory area of the decoding core 33 and permit the decoding to the decoding core 33.
  • an SD frame is generated from two or three SD streams supplied to the code buffer 31 by using the decoding core 33 in a time-division manner.
  • the SD frames constituting each of the generated SD frames are stored in the frame memory 34. Where 2 or 3 frames of SD The frames need to be output from the frame memory 34 simultaneously.
  • the host CPU 14 is required to prepare a management table and manage the use status of the frame memory 34.
  • the management table prepared by the host CPU 14 in the SDRAM 15 is also called a virtual frame.
  • the virtual frame which is a management table constructed in the SDRAM 15 by the host CPU 14, corresponds to the memory area of the frame memory 34, and reflects the frame storage status in the memory area of the frame memory 34, and the like. It is stored as information.
  • the host CPU 14 allows the decoding core 33 to execute decoding and controls the output of the frame stored in the frame memory 34 based on the virtual memory which is a management table expanded in the SDRAM 15. Thus, the decoding process in the MPEG video decoder 17 can be executed accurately.
  • the video decoding management unit and the virtual frame Functions as a management unit and a display management unit.
  • the video decode management unit manages a process of decoding the stream input to the MPEG video decoder 17 into frames.
  • the decoding process managed by the video decoding management unit starts with securing an empty area in the frame memory 34, decoding in the decoding core 33 according to the securing of the empty area, decoding by the decoding core 33, and decoding the frame memory 34. Up to the determination of the display order of the frames stored in the empty area.
  • the management of the decoding process as the video decode management unit of the host CPU 14 is all executed via the virtual frame developed in the SDRAM 15 which is a management table.
  • the video decoding management unit also manages the display order in response to a request for special playback (reverse playback) in which the display order is different from the decoding order, such as Slow R, Ste R, and FR.
  • the display order management by the video decoding management unit is also performed by using a virtual frame that is a management table, for example, by numbering the display order according to a user request to a virtual frame corresponding to the frame memory 34 in which the frame is stored.
  • the display order is managed by giving the information.
  • the display management unit manages and executes display processing based on the display order of the decoded frames determined by the video decode management unit.
  • the display management unit executes the display processing using information described in the virtual frame which is a management table. For example, for each VSync interrupt, the display management unit searches for a displayable frame in the virtual frame, and selects and displays a frame that matches the display conditions. In addition, the display management unit selects the frames for which display has been completed, and returns the virtual frames that are determined to be unnecessary to the virtual frame management unit thereafter. As a result, the virtual frame becomes an empty area, and the frame actually stored in the memory area of the frame memory 34 is displayed, which corresponds to the fact that the memory area of the frame memory 34 becomes an empty area. Will be.
  • the virtual frame management unit manages a virtual frame that is a management table of the frame memory 34 expanded in the SDRAM 15.
  • the virtual frame management unit manages virtual frames and grasps the virtual frames that can be used in the channel.
  • the virtual frame management unit searches for an empty area on the virtual frame, and the virtual frame returned from the display management unit. Execute the processing to release the frame.
  • the MPEG video decoder 17 configured as described above is connected to the host CPU 14
  • the HD stream and SD stream supplied from the multiplexing / demultiplexing circuit 12 are decoded into an HD frame and an SD frame by the control using the virtual frame developed in the SD RAM 15 and output. be able to.
  • the operation is independent as the decoding processing in each channel.
  • the decoding process for each channel is actually performed by a single MPEG video decoder 17 having only one decoding core 33, but the processing by multiple decoders provided independently for each channel is performed.
  • the decoding operation can be described assuming a model to be executed.
  • the decoding processing by the MPEG video decoder 17 even when decoding processing of two or three channels corresponding to multi-view broadcasting provided by BS digital broadcasting, independent decoding is performed. Since the model can be modeled as a process, the decoding process of one channel will be described, and the decoding process operation of the MPEG video decoder 17 will be described.
  • step S1 of the flowchart shown in FIG. 9 the video decode management unit of the channel issues a request to the virtual frame management unit in response to the stream being supplied to the MPEG video decoder 17.
  • step S2 the virtual frame management unit of the channel searches for a virtual frame expanded in the SDRAM 15 according to the request of the video decode management unit, and the frame of the virtual frame used in the channel is searched. It counts the number (used_num [ch]) and the number of frames (blank num [ch]) of virtual frames that can be used on the channel and are not used.
  • step S3 the virtual frame management unit determines the number of virtual frames used in the channel (used_num [ch]) and the number of virtual frames requested by the video decode management unit (req_mim [ch ])) Is less than or equal to the maximum number of virtual frames that can be used for decoding processing on the channel (used—num [ch] + req_num [ch] ⁇ max_nuni [ch]). Proceed to step S4. If the maximum number has been exceeded, the process proceeds to step S5.
  • step S4 the virtual frame management unit determines that the requested virtual frame number (req-nuii [ch]) of the virtual frame requested by the video decode management unit is available for the channel and If the number of unused virtual frames is equal to or less than the number of blank frames (blank-num [ch]), the process proceeds to step S6, and the number of unused virtual frames exceeds the number of blank frames (blank_num [ch]). If so, the process proceeds to step S5.
  • step S5 as a result of the determination processing in step S3 and step S4, the virtual frame management unit stores the decode in the frame memory 34 in the corresponding channel in the decode core 33 in response to the condition not being satisfied. It is determined that there is no area to store the decoded frame, and the system enters a waiting state to secure an area that can be used for decoding.
  • step S6 as a result of the determination processing in step S3 and step S4, the virtual frame management unit stores, in the frame memory 34, the frame decoded by the decode core 33 in the corresponding channel in accordance with the condition being satisfied. It is determined that there is an area for storing the video, and the video decoding management unit is notified of the fact.
  • step S6 a storage area for the frame decoded by the virtual frame management unit in the frame memory 34 is secured, and a notification that the decoding process by the decoding core 33 is possible (hereinafter also referred to as a decoding process request) is made. Accordingly, in step S7, the video decoder management unit executes the decoding process of the MPEG video decoder 17.
  • step S21 the video decoding management unit receives a decoding processing request requested by the virtual frame management unit.
  • step S22 the video decode management unit checks whether or not the video decode core 33 is currently performing the decoding process. Since there is only one video decoding core 33 that actually executes video decoding processing in the MPEG video decoder 17, only one channel of video decoding processing can be executed at a time. Therefore, in step S22, it is necessary to determine whether the decode core 33 is in use.
  • step S23 If the decoding core 33 is currently performing the decoding process, the process proceeds to step S23. If not, the process proceeds to step S24.
  • step S23 the video decoding management unit enters a standby state of waiting for the processing of the decoding core 33 to end in response to the decoding core 33 being in the process of decoding.
  • step S24 the video decode management unit sends the stream of the channel buffered in the code buffer 31 to the decode core 33 in response to the fact that the decode core 33 is not performing the decoding process. Control SELECT 32 to be properly supplied.
  • the decode core 33 executes a decoding process on the supplied stream into frames in response to the supply of the stream from the code buffer 31 via the selector 32.
  • the decode core 33 decodes the stream in frame units.
  • the frame generated by decoding by the decode core 33 is stored in a corresponding memory area of the frame memory 34 based on management using the virtual frame developed in the SDRAM 15.
  • the reference plane is searched from the frame memory 34, and decoding is performed using the searched reference plane. Execute the process. In the reference plane search, a virtual frame that is a management table is used.
  • the video decoding management unit ends the decoding process of the decoded core 33 in response to the completion of the decoding process in the decoding core 33. Check if there are any channels waiting to be connected. If there is a channel waiting for the decoding process to end, the video decoding management unit proceeds to step S26. If there is no standby channel, the process proceeds to step S27.
  • step S26 the video decode management unit notifies the video decode management unit of the channel waiting for the end of the decode process that the decode processing of the channel by the decode core 33 has ended.
  • step S27 the video decoding management unit ends all the steps of the decoding process in response to the fact that there is no channel waiting for the end of the decoding process of the channel.
  • step S27 When the process in step S27 is completed, the flow returns to the flowchart shown in FIG. 9 again, and the display process in step S8 and the virtual frame release process in step S9 are executed.
  • step S8 the display management unit holds a virtual frame as a management table every time a video synchronization signal (VSync), which is a display timing of the frame stored in the frame memory 34, is generated.
  • VSync video synchronization signal
  • the frame to be displayed is determined with reference to the information indicating the display order.
  • the display management unit reads the frame determined to be displayed by the virtual frame from the corresponding frame memory 34 and arranges the frame at an arbitrary position on the display mixer 35.
  • the frame whose display is determined from the virtual frame by the display management unit differs depending on the playback mode.For example, in the case of normal playback, a PTS (Presentation Time Stamp) matching the STC (System Timing Clock) is used. Frame is selected. In the case of Slow R for special playback, the frame one picture earlier than the currently displayed frame is selected.
  • PTS Presentation Time Stamp
  • STC System Timing Clock
  • step S9 the display management unit performs the decoding process and outputs the frame stored in the predetermined memory area of the frame memory 34 to the display mixer 35.
  • virtual frame release processing for releasing a virtual frame corresponding to a predetermined memory area of the frame memory 34 is executed.
  • the released predetermined virtual frame among the virtual frames developed in the SDRAM 15 becomes an empty virtual frame. This is because the memory area of the frame memory 34 corresponding to the virtual frame that has become the empty virtual frame corresponds to the fact that the stored frame has become an empty memory area by outputting the stored frame to the display mixer 35. This is the process.
  • step S31 in response to outputting the frame stored in the predetermined memory area of the frame memory 34 to the display mixer 35, the display management unit Request to release the virtual frame corresponding to the memory area of.
  • step S32 the virtual frame management unit sets the status information (state [n]) of the virtual frame requested to be released from the display management unit to "B LANK" indicating that it is a free virtual frame.
  • step S33 the virtual frame management unit determines whether a virtual frame has been requested from the video decode management unit. If the virtual frame management unit has not made a request for a virtual frame, the process ends. If the request for a virtual frame has been made, the process returns to step S2 in the flowchart shown in FIG. The following steps are performed again.
  • the MPEG video decoder 17 has a configuration such as one decoding core 33 and one frame memory 34.
  • the host can be used as a host.
  • the CPU 14 manages the frame memory 34 using the virtual frame that is the management table by the virtual frame management unit of the CPU 14, and uses the decode core 33 in a time-sharing manner under the control of the video decode management unit of the host CPU 14. By doing so, decoding processing can be realized.
  • FIGS. 12A to 12C1 the memory area of the frame memory 34 of the MPEG video decoder 17 is defined as shown in FIGS. 12A to 12C1. The entire memory area of the frame memory 34 is shown in FIG. 12A.
  • the frame memory 34 is defined as a frame memory for an SD frame that can store 16 SD frames. Further, as shown in FIG. 12C, the frame memory 34 is defined as a frame memory for HD frames, and it is defined that four HD frames can be stored.
  • the memory area required to store HD frames is four times the memory area required to store SD frames. It has become.
  • a virtual frame which is a management table constructed in the SDRAM 15, is associated with a memory area of the frame memory 34.
  • the virtual frame constructed in the SDRAM 15 is constructed so that it is possible to simultaneously grasp when the frame memory 34 is used as the SD frame memory and when the frame memory 34 is used as the HD frame memory. Need to be done.
  • three SD streams are used to reproduce a multi-view broadcast.
  • seamless switching is performed at a switching point where multi-view broadcasting and digital high-definition broadcasting are switched. be able to.
  • a virtual frame associated with a memory area of the frame memory is constructed in the SDRAM 15 as shown in FIG.
  • the frame memory 34 is used as a frame memory for SD and a case where the frame memory 34 is used as a frame memory for HD. Therefore, it is necessary to acquire both pieces of information at the same time.
  • SDRAM15 contains virtual frames for SD and virtual frames for HD. Frames and are built. That is, the virtual frame constructed in the SDRAM 15 has the maximum number of frames when the frame memory 34 is used for SD and the maximum number of frames when the frame memory 34 is used for HD.
  • the frame memory 34 when the frame memory 34 is used for SD, 16 SD frames can be stored in the frame memory 34, and when the frame memory 34 is used for HD, Since it is possible to store four HD frames, the number of virtual frames built in the SD RAM 15 is 20.
  • each virtual frame indicates the memory area of the frame memory 34 for SD F—SD 1 to F—SD 16
  • F_HD 1 to F—HD indicating the memory area of the HD frame memory 34
  • the virtual frame constructed in the SDRAM 15 holds some management information for performing management of the frame memory 34.
  • the management information includes, as described above, memory area information indicating the memory area of the frame memory 34 associated with the virtual frame, status information indicating the current state of the virtual frame, and the like. "BLANK” if the virtual frame can be reserved for decoding, "AL LOC” if the virtual frame is reserved for decoding, "DEC” if the virtual frame has already been decoded, and virtual frame. If the program can be displayed, this information indicates "PR SN".
  • the host CPU 14 can grasp the current state of the corresponding frame memory 34 by referring to the status information held by the virtual frame described above. For example, if the status information of VF-1 of the virtual frame constructed in SDRAM 15 is "BLANK”, it indicates that the memory area F-HD1 of the frame memory 34 can be reserved for decoding. Status of the VF-5 If the information is “ALLOC”, it indicates that the memory area F—SD 1 of the frame memory 34 is reserved for decoding, and if the status information is “DEC” of VF—13, the frame memory 34 This indicates that decoded frames are stored in the memory area F—SD 9 of the frame memory 34. If the status information of VF_1 7 is “PRSN”, the memory area F—SD 13 of the frame memory 34 Indicates that a frame that can be displayed is stored.
  • the host CPU 14 When decoding a stream in the MPEG video decoder 17, the host CPU 14 secures the necessary decoding area from the memory area of the frame memory 34 according to the type of stream such as SD stream or HD stream. Then, the decoding process by the decoding core 33 is executed. The host CPU 14 secures a decoding area necessary for the decoding process using a virtual frame which is a management table constructed in the SDRAM 15.
  • the host CPU 14 When decoding the stream, the host CPU 14 first searches all the virtual frames built in the SDRAM 15 and secures a virtual frame whose status information is "BLANK".
  • the host CPU 14 since the virtual frame corresponds to a predetermined memory area of the frame memory 34, for example, when an HD stream is input to the MPEG video decoder 17, the host CPU 14 When any one of the virtual frames VF_1 to VF-4 among the virtual frames built in RAM 15 is secured, a memory area in the frame memory 34 that can decode the HD stream corresponding to the secured virtual frame is secured. It was done.
  • the frame memory 34 is defined for both HD and SD, and when defined for HD, its memory area, that is, the memory area of the frame memory 34 that can store one HD frame, The memory area is defined as that for SD, that is, four consecutive memory areas of the memory area of the frame memory 34 capable of storing one SD frame. Therefore, when decoding the HD stream, the status information of the virtual frames VF-1 to VF-4 alone is not enough information to secure the memory area of the frame memory 34 when decoding. By checking the status information of the virtual frames VF-5 to VF-20, the memory area of the frame memory 34 secured based on the status information of the virtual frames VF-1 to VF-4 is completely free. You can see if it is
  • the host CP 14 uses the status information of the virtual frames VF-5 to VF-20 and the status information of the virtual frames VF-1 to VF-4. Then, it is determined whether or not the frame memory 34 has a free area necessary for decoding the SD stream by referring to the above.
  • VF-4 which are virtual frames for HD
  • the VF-4 has status information "PR SN" and is used for display, so it is used for decoding HD streams. I can't.
  • the remaining virtual frames for HD, VF-1 to VF-3, may be used for HD stream decoding because the status information is "B L ANK".
  • the frame memory 34 is defined as a frame memory for SD
  • the virtual frame VF—5 to VF—8 that shares the memory area of the frame memory 34 corresponding to the virtual frame VF-1
  • the status information of VF-6 is "AL LOC”
  • the status information of VF-7 is "PR SN"
  • VF-1 cannot be used to decode HD streams.
  • the status information of VF-11 and VF_1 of the virtual frames VF-9 to VF-12 sharing the memory area of the frame memory 34 is "DEC". Cannot be used to decode HD streams. Even in VF-3, the virtual frame VF-13 to VF16, which shares the memory area of the frame memory 34, has the status information "PRSN" of VF-13. Can not be used.
  • the MPEG video decoder 17 is in a state where it cannot decode the HD stream. Subsequently, the case where the SD stream is supplied to the MPEG video decoder 17 will be verified using an example of the virtual frame constructed in the SDRAM 15 shown in FIG.
  • the status information for VF-5, VF-8, VF-9, VF-10, VF-14 to VF-20 is " B LANK ".
  • the status information of VF-4 is "PRSN", so that VF-17 to VF-20 are converted to SD stream decoding. Can not be used.
  • VF-1 to VF-3 is "B LANK”
  • the VF-5, VF-18, VF-19, VF-10, VF-14 to VF-16 are stored in the SD card. Can be used to decode the stream.
  • the MPEG video decoder 17 is in a state where it can decode the SD stream.
  • a decoding management operation using a virtual frame when reproducing a multi-view BS digital broadcast will be described with reference to a flowchart shown in FIG.
  • three SD streams (3 SD streams) are supplied to the MPEG video decoder 17 as a multi-view broadcast, and the channels for decoding the respective SD streams are referred to as channel 1 and channel 2. , Channel 3.
  • the SD frames to be decoded on channel 1 are V—ch 1-1, V_ch 1 — 2, V—chl_3, and V—chl—4, and the SD frames to be decoded on channel 2 are V—ch2— 1, V—ch2—3, V—ch2—3, V—ch2—4, and the SD frames to be decoded on channel 3 are V—ch3 1, V—ch3—2, V—ch3—3, V ch3 —4.
  • Numbers attached to channels other than the channel number (chl, ch2, ch3) of the SD frame indicate PTS for convenience, and the same number between channels indicates that the same PTS or PTS is close to each other.
  • step S41 the host CPU 14 requests a virtual frame necessary for decoding processing in the channel in response to the supply of the SD stream.
  • step S42 the host CPU 14 refers to the virtual frame constructed in the SDRAM 15 to detect whether there is a virtual frame whose status information is "B LANK". If there is a virtual frame whose status information is "B LANK”, the process proceeds to step S44; otherwise, the process proceeds to step S43.
  • step S43 the host CPU 14 waits for the status information of the virtual frame to become “B LANK” and a free virtual frame is formed.
  • step S44 the host CPU 14 sets the PTS, which is time management information of the playback output, is detected from the SD stream supplied to the memory area of the code buffer 31 reserved for use.
  • the host CPU 14 uses a virtual frame for SD provided with a PTS that is close to or coincides with the PTS detected in the relevant channel from the virtual frame for SD secured in the decoding process of other channels other than the relevant channel. Search for.
  • step S44 For example, suppose that the virtual frame is as shown in FIG. 16 and that the PTS of V—ch3—4 for decoding on channel 3 is detected in step S44.
  • the status information of the HD virtual frames VF—1 to VF—4 is “BL ANK”, and the virtual frames for SD VF—8, VF—12, and VF— 16 Assume that the status information of VF-19 and VF_20 is "B LANK”.
  • the host CPU 14 refers to the virtual frame shown in FIG. 16 constructed in the SDRAM 15 and determines whether the P- Search for virtual frames for SD on other channels with TS.
  • the virtual frames for SD VF-17 and VF-18 are located in the memory area of the frame memory 34 corresponding to VF-17 and VF-18.
  • V_chl-4 of channel 1 and V_ch2-4 of channel 2 with matching PTS are stored.
  • the corresponding virtual frames for SD are VF-17 and VF-1. It turns out that it is 8.
  • step S45 If there is a corresponding virtual frame, the process proceeds to step S45. If there is no corresponding SD virtual frame, the process proceeds to step S48.
  • step S45 first, the host CPU 14 makes a virtual frame for SD of another channel having a PTS close to or matching the PTS of the channel searched in step S44, and a memory area of the frame memory 34. Identify the virtual frame for HD that shares the.
  • step S44 virtual frames VF—17 and VF—18 for SD are specified in step S44. It can be seen that the virtual frame for HD sharing the memory area of the frame memory 34 with the virtual frame for SD is VF-4.
  • the host CPU 14 determines whether there is an SD virtual frame whose status information is “B LANK” from the identified virtual frame for HD and the virtual frame for SD sharing the memory area of the frame memory 34. Search for
  • the identified virtual frame for HD VF-4 and the virtual frame for SD sharing the memory area of the frame memory 34 are VF-17 to VF-20.
  • the status information "B LANK” is the virtual frame for SD of VF-19 and VF_2 ⁇ . . If there is a virtual frame with status information "BLANK”, the process proceeds to step S6. If there is no virtual frame with status information "BLANK”, the process proceeds to step S43, and a standby state for an empty virtual frame becomes
  • step S46 this virtual frame is secured according to the presence of the virtual frame whose status information is "B LANK". For example, in the case of the virtual frame shown in FIG. 16, either VF-19 or VF-20 is reserved. Here, it is assumed that VF-19 is secured.
  • step S47 in response to the virtual frame being secured, the host CPU 14 decodes the SD stream to be decoded with the decoded core 33, generates an SD frame, and converts the SD frame into the secured virtual frame. Store the decoded SD frame in the corresponding memory area of the frame memory 34.
  • V-ch3-4 is stored in the memory area of the frame memory 34 corresponding to the virtual frame VF-19.
  • the host CPU 14 determines that the virtual frame for the HD of the virtual frame has not been searched for the SD virtual frame having a PTS close to or matching the PTS detected in the channel.
  • Frame and frame memory
  • the virtual frame group is said to be empty.
  • step S49 If an empty virtual frame group exists, the process proceeds to step S49. If no empty SD virtual frame group exists, the process proceeds to step S50.
  • step S49 a virtual frame for SD whose status information is "BLANK" is secured.
  • step S 49 the process returns to step S
  • decoding is performed by the decoding core 33, and the decoded SD frame is stored in the reserved area.
  • step S50 the host CPU 14 determines that all the SD virtual frame groups of the virtual frame constructed in the SDRAM 15 are not in an empty state, and the status information is “B LANK” for the SD. From the virtual frame, secure the virtual frame for SD belonging to the SD virtual frame group that will be played the earliest at the moment. This is because, as described above, according to the definition of the SD virtual frame group, the SD frames stored in the memory area of the frame memory 34 corresponding to the SD virtual frames belonging to the SD virtual frame group are close to each other or coincide with each other. Therefore, the PTS of the SD frame group is considered to be the same. Therefore, it is possible to verify the playback time for each SD virtual frame group.
  • step S50 proceeds to step S47, where decoding is performed by the decode core 33, and the decoded SD frame is stored in the reserved area.
  • the host CPU 14 manages based on the virtual frame constructed in the SDRAM 15, the decoding processing of the three SD streams supplied during the multi-view broadcast is executed. For example, when the multi-view broadcast is terminated and switched to the normal digital high-definition broadcast, a virtual frame for HD is secured using the virtual frame shown in FIG. 16 as follows.
  • VF-1, VF-2, VF-3, and VF-4 which are virtual frames for HD, cannot be secured.
  • the STC advances and has the earliest PTS in the virtual frame.
  • the V_ch1_1, V-ch2-1, and V_ch3_l stored in the memory area of the frame memory 34 corresponding to VF-5 to VF-7
  • a virtual frame VF-1 for HD sharing the memory area of the frame memory 34 can be secured.
  • V—chl_2, V—ch2_2, and V—ch3—2 stored in the memory area of the frame memory 34 corresponding to the virtual frames VF—9 to VF—11 are read, and the virtual frame VF — 13 to VF — Reads out V chl 3, V ch23, and V_ch33 stored in the memory area of the frame memory 34 corresponding to 15
  • V—chl—4, V—ch2—4, and V_ch3—4 stored in the memory area of the frame memory 34 corresponding to the frames VF17 to VF.9
  • the virtual frames for HD are sequentially output.
  • VF-2, VF-3 and VF-4 can be secured.
  • the mode switches from multi-view broadcasting to digital high-definition broadcasting.
  • the memory area of the frame memory 34 cannot be secured. Temporary interruption of the decoding process due to this can be prevented.
  • step S61 the host CPU 14 requests a virtual frame required for decoding processing in response to the supply of the HD stream.
  • step S62 the host CPU 14 searches whether or not the status information of the HD virtual frames VF-1 to VF-4 among the virtual frames constructed in the SDRAM 15 is "B LANK". I do. If the status information is "BLANK”, the process proceeds to step S63. If the status information is not "BLANK”, the process proceeds to step S64.
  • step S63 the host CPU 14 transmits the HD virtual frame whose status information is “B LANK” among the HD virtual frames VF-1 to VF-4, and the memory area of the frame memory 34. It is determined whether or not all the status information of the virtual frame memory for SD sharing "B LANK” is "B LANK".
  • the status information of the virtual frame VF-1 for HD is "B LANK”
  • the status information of the virtual frame memories VF-5 to VF-8 for SD is verified, and the virtual frame for HD is verified.
  • VF 2 status information is "B LANK” If it is, the status information of the virtual frame memory VF-9 to VF-12 for SD is verified, and the status information of the virtual frame VF-3 for HD is "B LAN K”. In the case, the status information of the virtual frame memory VF-13 to VF-16 for SD is verified.
  • the status information of the virtual frame VF-4 for HD is "B LANK"
  • step S65 If the status information of the virtual frame for SD is all "B LANK”, the process proceeds to step S65. If at least one status information is not "B LANK”, the process is stepped. Proceed to S64.
  • step S64 the host CPU 14 waits for the status information of the virtual frame to become “B LANK” and a free virtual frame is formed.
  • step S65 the host CPU 14 When there is a virtual frame for HD whose status information is "B LAN K", this virtual frame is secured.
  • step S66 the host CPU 14 decodes the HD stream to be decoded with the decod core 33 in response to the virtual frame for HD being secured, and generates an HD frame. Then, the decoded HD frame is stored in the memory area of the frame memory 34 corresponding to the secured virtual frame.
  • a virtual frame VF for HD ::! ⁇
  • the host CPU 14 The HD frame stored in the memory area of the frame memory 34 corresponding to the frame VF-1 is read, and the virtual frame VF-1 for HD is released.
  • each channel secures the released SD virtual frame and performs the decoding process to switch from the digital high-definition broadcasting to the multi-view broadcasting, and the video is supplied to the MPEG video decoder 17. Even if the stream is switched from one HD stream to three SD streams, it is necessary to prevent temporary interruption of the decoding process due to the inability to secure the memory area of the frame memory 34. Can be.
  • the decoding device allocates and uses the storage area of the image stream data storage means according to the number of input image stream data, and manages the storage area using the management table. Controlling the reading of the image stream data from the storage area based on the usage information indicating the usage status of the image frame storage means, and decoding the read image stream data into image frames by the decoding means; Thus, it is possible to execute decoding processing corresponding to multi-view broadcasting.
  • a storage area of an image stream data storage means is used by allocating the storage area according to the number of input image stream data, and is managed by a management table. Based on usage information indicating usage, By controlling the reading of the image stream data from the storage area and decoding the read image stream data into image frames by a decoding process, it is possible to execute decoding processing corresponding to multi-view broadcasting. .

Abstract

　本発明は、マルチビュー放送に対応した復号処理を実現する復号装置であり、画像ストリームデータ毎に記憶領域を割り当てて記憶する画像ストリームデータ記憶部（３１）と、記憶領域に記憶された画像ストリームデータを時分割で読み出す画像ストリームデータ読み出し部（１４）と、読み出された画像ストリームデータを画像フレームに復号する復号部（３３）と、画像フレームを記憶する画像フレーム記憶部（３４）と、画像フレーム記憶部（３４）の使用状況を示す使用状況情報を管理する管理テーブルを記憶する管理テーブル記憶部（１５）と、管理テーブルに管理された使用状況情報に基づいて、画像フレーム記憶部（３４）に画像フレームを記憶可能かどうか判定する第１の判定部（ホストＣＰＵ）（１４）と、判定結果に基づいて、画像ストリームデータ読み出し部（ホストＣＰＵ）（１４）の画像ストリームデータ記憶部（３１）からの画像ストリームデータの読み出しを許可する許可部（ホストＣＰＵ）（１４）とを備える。

Description

明細書 復号装置及び復号方法 技術分野 本発明は、 デジタルテレビジョン放送に閧し、 詳しくは、 受信した放送の画像 ス ト リームデータを、 画像ス ト リームデ一夕の種類、 本数などに応じて適切に復 号する復号装置及び復号方法に関する。
本出願は、 日本国において 2 002年 6月 20日に出願された日本特許出願番 号 2002— 1 804 1 1を基礎として優先権を主張するものであり、 この出願 は参照することにより、 本出願に援用される。 背景技術 従来、 高品質な番組の提供、 多チャンネルによる番組の提供といった特徴を備 えた放送サービスを可能とするデジタル放送サービスは、 放送衛星 （B S ： Broa dcasting Satellite) 、 通信衛星 ( C S ： Communications Satellite) を介した 放送として実現されている。
デジタル放送サービスではデジタルハイビジョン放送 (HD TV： Hi h Defin ition Television) がサービスの中心となっているが、 例えば、 B Sデジタル放 送サービスにおいては、 デジタルハイビジョン放送を行わない時間帯には、 マル チビュ一放送と呼ばれるサービスを行うことが考案されている。
マルチビュ一放送とは図 1に示すように、 デジタルハイビジョン放送の帯域を 3つのチャンネルに分割し、 1番組内で閧連する複数の内容を従来の標準テレビ ジョン放送 （ S D T V ： Standard Definition Television) として複数同時に放 送するというサービスである。
例えば、 マルチビュー放送を受信すると、 スポーツ番組や、 劇場中継などにお いて、 3つのカメラアングルからの映像を同時に視聴したり、 好みのアングルか らの映像のみを視聴したりできる。
マルチビュ一放送を視聴するには、 マルチビュ一放送を受信する受信装置で受 信した全てのデジタル標準テレビジョン放送をデコード処理する必要がある。 上述したように、 デジタル放送を受信する受信装置が、 マルチビュー放送に対 応するためには、 受信した標準テレビジョン放送を全てデコード処理する必要が ある。
受信装匱は、 受信したデジタル放送のデコード処理をするデコーダをマルチビ ユー放送のチャンネル分だけ備えていれば、 マルチビュー放送に対応することは できる。
マルチビュー放送に対応させるために、 受信装置に備えるデコーダをマルチビ ユー放送で提供される標準テレビジョン放送のチャンネル分用意することは非常 にコス トがかってしまうといった問題がある。 また、 デコーダの増加にともない 受信装置が大きくなつてしまうといった問題もある。 発明の開示 本発明の目的は、 上述したような従来のマルチビュー放送を受信する受信装置 が有する問題点を解消することができる新規な復号装置及び復号方法を提供する ことにある。
本発明の他の目的は、 デコーダの数を増加させることなく、 マルチビュー放送 に対応した復号装置及ぴ復号方法を提供することにある。
上述したような目的を達成するための提案される本発明に係る復号装置は、 入 力される m (mは自然数） 本の画像ストリームデータに対して、 画像ス ト リーム データ毎に割り当てられた記憶領域のそれそれに画像ス ト リームデータを記憶す る画像ス ト リームデ一夕記憶手段と、 画像スト リームデータ記憶手段に記憶され た m本の画像ストリームデータを時分割で読み出す画像ス トリームデ一夕読み出 し手段と、 画像ストリームデータ読み出し手段から時分割で読み出された m本の 画像ス ト リームデータをそれそれ画像フレームに復号する復号手段と、 復号手段 によって復号された画像フレームを記憶する画像フレーム記憶手段と、 画像フレ ーム記憶手段に画像フレームを記憶可能かどうか判定する第 1の判定手段と、 復 号手段で画像ス トリームデータを復号可能かどうか判定する第 2の判定手段と、 第 1の判定手段及び第 2の判定手段による判定結果に基づいて、 画像ストリ一ム データ読み出し手段による画像ストリームデータ記憶手段からの画像ストリーム データの読み出しを制御する制御手段と、 画像フレーム記憶手段に記憶された画 像フレームを読み出す画像フレーム読み出し手段と、 画像フレーム読み出し手段 によって読み出されたそれそれの画像ストリームデータに対応する画像フレーム を同一画面上に配置して出力する出力手段とを備える。
本発明に係る復号方法は、 入力される m (mは自然数） 本の画像ス ト リームデ 一夕に対して、 画像ストリームデータ毎に割り当てられた記憶領域のそれぞれに 画像ストリームデータを記憶する画像ストリームデータ記憶工程と、 画像ストリ ームデ一夕記憶手段に記憶された m本の画像ストリームデータを時分割で読み出 す画像ストリームデータ読み出し工程と、 画像ストリームデータ読み出し工程に おいて時分割で読み出された m本の画像ストリームデータをそれそれ画像フレー ムに復号する復号工程と、 復号工程によって復号された画像フレームを画像フレ ーム ffi憶手段に記憶する画像フレーム記憶工程と、 画像フレーム記憶手段に画像 フレームを記憶可能かどうか判定する第 1の判定工程と、 復号工程で画像ストリ ームデ一夕を復号可能かどうか判定する第 2の判定工程と、 第 1の判定工程及び 第 2の判定工程による判定結果に基づいて、 画像ストリームデ一夕読み出し工程 において画像ストリームデータ記憶手段から画像ストリームデータの読み出しを 制御する制御工程と、 画像フレーム記憶手段に記憶された画像フレームを読み出 す画像フレーム読み出し工程と、 画像フレーム読み出し工程によって読み出され たそれそれの画像ストリームデ一夕に対応する画像フレームを同一画面上に配置 して出力する出力工程とを備える。
本発明に係る他の復号装置は、 m ( mは自然数） 本の画像ス ト リームデータが 多重化された多重化ストリームを入力する入力手段と、 入力手段に入力された多 重化ストリームを m本の画像ストリームデータに分離する分離手段と、 分離手段 で分離された m本の画像ストリームデータに対して、 画像ストリームデータ毎に. 割り当てられた記憶領域のそれぞれに画像ストリ一ムデ一夕を記憶する画像スト リームデータ記憶手段と、 画像ストリームデータ記憶手段に記憶された画像スト リームデータを時分割で読み出す画像ストリームデータ読み出し手段と、 画像ス トリ一ムデ一夕読み出し手段から読み出された m本の画像ストリームデータをそ れそれ画像フレームに復号する復号手段と、 復号手段によって復号された画像フ レームを記憶する画像フレーム記憶手段と、 画像フレ一ム記憶手段に画像フレ一 ムを記憶可能かどうか判定する第 1の判定手段と、 復号手段で画像ストリームデ 一夕を復号可能かどうか判定する第 2の判定手段と、 第 1の判定手段及び第 2の 判定手段による判定結果に基づいて、 画像ストリ一ムデータ読み出し手段による 画像ストリームデ一夕記憶手段からの画像ストリームデータの読み出しを制御す る制御手段と、 画像フレーム記憶手段に記憶された画像フレームを読み出す画像 フレーム読み出し手段と、 画像フレーム読み出し手段によって読み出されたそれ それの画像ストリ一ムデ一夕に対応する画像フレームを同一画面上に配置して出 力する出力手段とを備える。
本発明に係る他の復号方法は、 m ( mは自然数） 本の画像ストリームデータが 多重化された多重化ストリームを入力する入力工程と、 入力工程で入力された多 重化ストリームを m本の画像ストリームに分離する分離工程と、 分離工程で分離 された m本の画像ストリームデータに対して、 画像ストリームデータ毎に割り当 てられた記憶領域のそれそれに画像ストリームデータを記憶する画像ストリーム データ記憶工程と、 画像ストリームデータ記憶手段に記憶された画像ストリーム デ一夕を時分割で読み出す画像ストリームデータ読み出し工程と、 画像スト リー ムデ一夕読み出し手段から読み出された m本の画像ストリームデータをそれそれ 画像フレームに復号する復号工程と、 復号工程によって復号された画像フレーム を画像フレーム記憶手段に記憶する画像フレーム記憶工程と、 画像フレーム記憶 手段に画像フレームを記憶可能かどうか判定する第 1の判定工程と、 復号工程で 画像ストリームデータを復号可能かどうか判定する第 2の判定工程と、 第 1の判 定工程及び第 2の判定工程による判定結果に基づいて、 画像ストリームデータ読 み出し工程における画像ストリームデータ記億手段からの画像ストリームデータ の読み出しを制御する制御工程と、 画像フレーム記憶手段に記憶された画像フレ ームを読み出す画像フレーム読み出し工程と、 画像フレーム読み出し工程によつ て読み出されたそれそれの画像ス ト リームデ一夕に対応する画像フレームを同一 画面上に配置して出力する出力工程とを備える。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下におい て図面を参照して説明される実施の形態の説明から一層明らかにされるであろう , 図面の簡単な説明 図 1は、 マルチビュー放送を説明するための図である。
図 2は、 本発明を適用した記録再生装置の使用形態を示した図である。
図 3は、 本発明を適用した記録再生装置の要部構成を示すプロック図である。 図 4は、 本発明を適用した記録再生装置を構成する MP E Gビデオデコーダを 示すプロック図である。
図 5は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダに
1本の HDスト リームが供給された場合のコードバッファ、 セレクタの様子を示 した図である。
図 6は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダに 1本 SDストリームが供給された場合のコードバヅファ、 セレクタの様子を示し た図である。
図 7は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダに 2本の SDスト リームが供給された場合のコードバッファ、 セレクタの様子を示 した図である。
図 8は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダに 3本の SDスト リームが供給された場合のコ一ドバヅファ、 セレクタの様子を示 した図である。
図 9は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダの 動作を示すフローチャートである。
図 1 0は、 MPEGビデオデコーダのデコード処理動作を示すフローチヤ一ト である。
図 1 1は、 仮想フレームを解放する際の動作を示すフローチャートである。 図 1 2 Aは、 本発明を適用した記録再生装置におけるフレームメモリの全メモ リ領域を説明するための図であり、 図 1 2 Bは、 フレームメモリを S D用として 定義した場合のメモリ領域を示した図であり、 図 1 2 Cは、 フレームメモリを H D用として定義した場合のメモリ領域を示した図である。
図 1 3は、 フレームメモリと仮想フレームとの対応について説明するための図 である。
図 1 4は、 仮想フレームの一例を示す図である。
図 1 5は、 マルチビュー放送をデコードする際の仮想フレームを用いたホス ト C P Uの管理動作を示すフローチャートである。
図 1 6は、 図 1 5に示すフローチャートの動作を説明する際に使用した仮想フ レームの一例を示す図である。
図 1 7は、 本発明を適用した記録再生装置において、 デジタルハイ ビジョン放 送をデコードする際の仮想フレームを用いたホスト C P Uの管理動作について説 明するためのフローチヤ一トである。 発明を実施するための最良の形態 以下、 本発明に係る復号装置及び復号方法を図面を参照にして詳細に説明する c 本発明は、 図 2に示すような記録再生装置 1 0 0に適用される。 この記録再生 装置 1 0 0は、 図 2に示すように、 テレビジョン受像機 2 0 0と接続されている c テレビジョン受像機 2 0 0は、 地上波を受信可能な地上波チューナ、 B S (Br oadcasting Satel l ite) チュ——ナ、 B Sアジ夕ノレチューナ、 C S (Communi cati o ns Satel l ite) チューナ、 C Sデジタルチューナを内蔵していてもよい。
記録再生装置 1 0 0の各種機能は、 図 2に示すように、 リモートコン トローラ 3 0 0によって遠隔操作可能である。 また、 このリモートコン トローラ 3 0 0は、 テレビジョン受像機 2 0 0の各種機能も、 遠隔操作可能である。
本発明を適用した記録再生装置 1 0 0は、 記録媒体にデジタルハイ ビジョン放 送を圧縮なしで、 映像信号、 音声信号、 各種データを記録することが可能な記録 再生装置である。 また記録再生装置 1 0 0は、 後述するようにデジタルチューナ を内蔵しており、 例えば、 B Sデジタル放送で提供されるデジタルハイ ビジョン 放送を受信し、 受信したデジタルハイビジョン放送を上述したように記録媒体に 記録することができる。
図 3を用いて、 記録再生装置 1 0 0の要部構成について説明をする。
記録再生装置 1 0 0は、 地上波チューナ 1 と、 入力切替回路 2 と、 Y C分離回 路 3 と、 入力切替回路 4と、 N T S C (National Television System Standard Committee) デコーダ 5 と、 同期制御回路 6と、 プリ映像信号処理回路 7 と、 MP E G (Moving Picture Experts Group) ビデオエンコーダ 8と、 音声 A/D変換 器 9 と、 MP E Gオーディオエンコーダ 1 0と、 デジタルチューナ 1 1、 多重/ 分離回路 （MUX/DMX) 1 2 と、 記録/再生処理部 1 3と、 ホス ト CP U 1 4と、 S DRAM (Synchronous Dynamic Random Access Memory; 1 5 と、 R O M (Read Only Memory) 1 6と、 MP E Gビデオデコーダ 1 Ί と、 ポス ト映像信 号処理回路 1 8と、 O S D (On Screen Display) 1 9 と、 NT S Cエンコーダ 2 0と、 MP E Gオーディオデコーダ 2 1 と、 切替回路 2 2 と、 音声 D^A変換器 2 3 と、 デジタル I N/0 U T 2 4と、 デジタルィンタフエース回路 2 5と、 地 上波 E P G用チューナ 2 6と、 データスライサ 2 7 とを備える。
地上波チューナ 1は、 地上波放送を受信し、 受信した放送のコンポジッ ト映像 信号と音声信号を入力切替回路 2に供給する。
入力切替回路 2は、 地上波チューナ 1からコンポジッ ト映像信号と音声信号が 供給され、 外部装置からコンポジッ ト映像信号と音声信号が供給される。 入力切 替回路 2は、 ホス ト CPU 1 4からの指示に従い、 地上波チューナ 1から供給さ れるコンポジッ ト映像信号と音声信号、 又は、 外部装置から供給されるコンポジ 、ソ ト映像信号と音声信号のどちらかを選択する。 入力切替回路 2は、 選択したコ ンポジツ ト映像信号を YC分離回路 3に、 音声信号を音声 A/D変換器 9にそれ それ出力する。
Y C分離回路 3は、 入力切替回路 2から入力されたコンポジッ ト映像信号を Y C分離し、 入力切替回路 4に供給する。
入力切替回路 4は、 ホス ト CPU 1 4からの指示に従い、 外部 S映像入力、 又 は、 YC分離回路 3からの出力を選択し、 選択した信号を NT S Cデコーダ 5に 供給する。
NT S Cデコーダ 5は、 入力された映像信号に A/D変換、 クロマエンコード の処理を施し、 デジタルコンポーネントビデオ信号 （以下、 画像データという） に変換して、 プリ映像信号処理回路 7に供給する。 また、 NT S Cデコーダ 5は、 入力映像信号の水平同期信号を基準に生成したクロックと、 同期分離して得た水 平同期信号、 垂直同期信号、 フィールド判別信号を同期制御回路 6に供給する。 同期制御回路 6では、 水平同期信号、 垂直同期信号、 フィ一ルド判別信号を基 準とし、 後述する各ブロックに必要なタイ ミングに変換したクロック、 同期信号 を生成し、 記録再生装置 1 00を構成する各プロックに供給する。
プリ映像信号処理回路 7では、 NT S Cデコーダ 5から供給された画像データ にプリフィル夕リング等の各種映像信号処理を施し、 MPEGビデオエンコーダ 8と、 ポスト映像信号処理回路 1 8に供給する。
M P E Gビデオエンコーダ 8は、 プリ映像信号処理回路 7から供給された画像 デ一夕にプロヅク D C T (Discrete Cosine Transform： 離散コサイン変換） 等の 符号化処理を施し、 画像の E S (Elementary Stream) を生成し、 多重 Z分離回路 1 2に供給する。 なお、 本例では圧縮方式として MPE Gを採用しているが、 他 の圧縮方式でも、 非圧縮でも構わない。
音声 A/D変換器 9は、 入力切替回路 2で選択された音声信号をデジタル音声 信号に変換し、 MP E Gオーディオエンコーダ 1 0に供給する。
MP E Gオーディオエンコーダ 1 0は、 供給されたデジタル音声信号を MP E Gフォーマッ トに従い圧縮した後、 音声の E Sを生成し、 映像信号同様に、 多重 /分離回路 1 2に供給する。 なお、 本例では圧縮方式として MP E Gを採用して いるが、 他の圧縮方式でも、 非圧縮でも構わない。
デジタルチューナ 1 1は、 B Sデジタル放送、 C Sデジタル放送、 地上波デジ 夕ル放送を受信するチューナである。 B Sデジタル放送は、 デジタルハイビジョ ン放送を中心としたサービスであるが、 標準テレビジョン放送も提供可能とされ る。 例えば、 B Sデジタル放送は、 デジタルハイビジョン放送の枠を 3つの標準 テレビジョン放送に分割して同時に放送するマルチチャンネル放送や、 同じくデ ジタルハイビジョン放送の帯域を 3つのチャンネルに分割して 1番組内で関連し ている複数の内容を標準テレビジョン放送として複数同時に放送するマルチビュ —放送を提供しているものとする。
デジタルチューナ 1 1は、 例えば、 M P E G 2 トランスポートス ト リ一ムで多 重化され所定の変調方式で変調され送信される B Sデジタル放送を受信し、 受信 した T S信号を多重/分離回路 1 2に供給する。
なお、 地上波チューナ 1又はデジタルチューナ 1 1で受信された NT S C方式 の映像信号の水平有効画素数 （picture_coding— h_size) が 72 0以上、 又は垂直 有効画素数 （pictur>e_coding— v_size) が 480以上である場合、 受信した映像信 号をデジタルハイ ビジョン放送 （High Definition Television) の映像信号、 つ まり HD方式で符号化された映像信号とする。 それ以外の映像信号は、 SD方式 で符号化された映像信号とする。
また、 地上波チューナ 1又はデジタルチューナ 1 1で受信された映像信号が P A L (Phase Alternation by Line) 方式である場合、 映像信号の水平有効画素数 が 72 0以上、 又は垂直有効画素数が 540以上のとき、 デジタルハイ ビジョン 放送された映像信号、 つまり HD方式で符号化された映像信号とする。 上記以外 の映像信号は、 S D方式で符号化された映像信号とする。
例えば、 日本国における B Sデジタル放送、 C Sデジタル放送、 地上波デジタ ル放送では、 " AR I B STD-B 3 2 「デジタル放送における映像符号化， 音声符号化及び多重方式」 ， 社団法人電波産業会， 第 5章" において、 水平有効 画素数、 垂直有効画素数、 フレームレートを用いて、 デジタルハイビジョン放送 の映像信号と、 標準テレビジョン放送の映像信号とが規定されている。
具体的には、 デジタルハイビジョン放送の映像信号は、 水平有効画素数、 垂直 有効画素数、 フレームレートを、 （水平有効画素数 X垂直有効画素数； フレーム レート） として表すと、 （ 1 9 20 x l 080 i ; 2 9. 97 H z；) 、 ( 1 44 0 x l 08 0 i ; 2 9. 97 H z) ( 1 280 x 7 2 0 p ; 5 9. 94 H z ) , (72 0 x 480 p ; 59. 94 H z ) と規定されている。
また、 標準テレビジョン放送の映像信号は、 （72 0 x 480 i ; 2 9. 9 7 H z) , (544 x 480 i ; 29. 9 7 H z , 実映像データの水平有効画素数 は 540) 、 (480 x 480 i ; 29. 97 H z ) と規定されている。 B Sデ ジ夕ル放送における降雨対応放送として低階層伝送される映像信号は、 （3 52 X 240 p ； 29. 97 H z以下） として規定され、 標準テレビジョン放送とな る。
なお、 " i"及び" P" は、 それぞれ" インタレース" 、 " プログレッシブ" といった走査方式を示している。
また、 米国における AT S C (Advanced TV System Committee) 地上波放送、 AT S Cケーブル放送では、 ，， ATSC Standard A/53B with Amendment 1:ATSC Di gital Television Standard, Rev. B Annex A, Table- A3" において、 水平有効画素 数、 垂直有効画素数、 フレームレートを用いて、 デジタルハイビジョン放送の映 像信号が規定されている。
具体的には、 デジタルハイビジョン放送の映像信号は、 水平有効画素数、 垂直 有効画素数、 フレームレートを、 （水平有効画素数 X垂直有効画素数； フレーム レート） として表すと、 （ 1920 x l 080 p ; 23. 976 , 24， 29. 97 , 30 H z ) , ( 1920 x l 080 i ; 29. 9 7 , 30H z) s ( 1 2 80 Χ 720 ρ ; 23. 976, 24, 29. 97 , 30 , 59. 94, 60 Η ζ) 、 (704 x 480 p ; 23. 976, 24, 29. 97 , 30， 59. 9 4， 60Ηζ) 、 (704 x 480 i ; 29. 97 , 30 Ηζ) Ν ( 640 x 4 80 ρ ; 23. 976 , 24, 29. 97, 30 , 59. 94, 60 Η ζ ) s (640 x 480 i ； 29. 97， 30 Η ζ ) と規定されている。
多重/分離回路 12では、 後述する記録媒体 50への記録時には映像 E Sと音 声 E S及び各種制御信号の多重化処理を施す。 多重/分離回路 1 2は、 入力され た MP EG映像 E Sと、 MP EG音声 E Sと、 各種制御信号と合わせ、 多重化処 理 （例えば MP E Gシステムのトランスポートストリームの生成） 、 バヅファ制 御処理を施し、 記録/再生処理部 1 3に出力する。
バヅファ制御処理とは、 連続的に入力される T Sを、 後段の記録/再生処理部 1 3に断続的に送るための制御を行うことである。 例えば、 記録/再生処理部 1 3が記録媒体 50のシ一ク動作を行っているときは、 T Sの書き込みができない ので、 バッファに T Sを一時的に蓄え、 書き込みが可能なときは、 入力のレート より高いレートで書き込みを行うことにより、 連続的に入力される T S信号を途 切れることなく記録を行う。
多重/分離回路 1 2は、 後述する記録媒体 5 ◦の再生時には、 記録/再生処理 部 1 3で再生され断続的に供給される T S (Transport Stream) を、 連続的にな るようバッファ制御を行った後、 分離処理を行う。 多重/分離回路 1 2の分離処 理では、 T Sから PE S (Packetized Elementary Stream) を抽出し、 更に映像 E Sと音声 E Sに分離した後、 MPE Gビデオデコーダ 1 7と、 MPE Gオーデ ィォデコーダ 2 1に供給する。
デジタルチューナ 1 1は、 デジタル放送を受信し、 T S信号に施されたデジ夕 ル放送特有のスクランブルを解いた後、 多重/分離回路 1 2に T Sを供給する、 多重/分離回路 1 2は、 供給される T S信号から P E Sを抽出し、 記録媒体 5 0 を再生した際と同様に、 更に映像 E Sと音声 E Sに分離した後、 それそれを MP E Gビデオデコーダ 1 7、 MP E Gオーディオデコーダ 2 1に供給する。
多重/分離回路 1 2は、 上述した分離処理を実行する際、 T Sに多重化されて いる放送番組を構成する映像や音声、 関連情報などのサービスが収容されている T Sパケッ トの P I Dを記述した PMT (Program Map Table) といった P S I (Program Specific Information) を取得し、 取得した P S Iをホスト CPU 1 4に出力する。
取得した P S I情報から、 ホス ト CPU 14は、 抽出した PE Sがデジタルハ ィビジョン放送のス ト リームである HDストリームであるのか、 標準テレビジョ ン放送のストリームである SDス トリームであるのか、 また SDス トリームであ る場合、 その送信される S Dス ト リームの本数は何本であるのかを検出すること ができる。
また、 多重/分離回路 1 2は、 当該多重/分離回路 1 2に内蔵された各種情報 のパージング機能により、 B S信号に挿入されている電子番組情報 （EPG) を 抜き出し、 ホス ト CPU 14に供給する。 ホスト CPU 1 4では、 この EP G信 号の解析を行い、 GU I上に番組情報の表示等を行う。
記録/再生処理部 1 3は、 記録媒体 50へのデータ記録処理、 記録媒体 5 0に 記録されたデータの再生処理を行う。 記録媒体 50は、 図示しない当該記録再生 装置の装着部に装着可能な光ディスク、 光磁気ディスク、 固体メモリなどや、 あ らかじめ当該記録再生装置に搭載された HDD (Hard Disk Drive) などである。 記録/再生処理部 1 3は、 多重/分離回路 1 2から供給される T Sを記録媒体 5 0に記録し、 記録媒体 50から再生した T Sを多重/分離回路 1 2に出力する。 ホスト CPU 14は、 当該記録再生装置 1 00の全ての機能ブロックを統括的 に制御する。 また、 ホスト CPU 1 4は、 ホストバスを介し、 S DRAM 1 5、 R〇M 1 6に必要に応じてアクセスしシステム全体の制御を行う。
MP EGビデオデコーダ 17は、 入力された映像 E Sに復号処理を施し、 ベー スバンドの画像データを取得し、 ポスト映像信号処理回路 1 8に供給する。 MP E Gビデオデコーダ 1 7の構成及び動作については後で詳細に説明をする。
ポスト映像信号処理回路 18は、 図示しない切替回路、 フィールド巡回型ノィ ズリデュ一サ、 動き検出、 映像信号補間処理回路などで構成されており、 MP E Gビデオデコーダ 1 7から供給される画像データと、 プリ映像信号処理回路 7か ら供給される画像データとを切り替えた後、 各種処理を施し、 O SD 1 9に画像 データを供給する。
O SD 1 9は、 画面表示用のグラフィ ックス等の生成を行い、 画像データに重 ねたり、 部分的に表示する等の処理を施し、 NT S Cエンコーダ 2 0に供給する <
NT S Cエンコーダ 2 0は、 入力された画像データ （コンポーネントデジタル 信号） を YC信号に変換した後、 D/A変換を行い、 アナログのコンポジヅ ト映 像信号と S映像信号を取得し、 テレビジョン受像機 200に備えられた映像入力 端子に入力する。
MP E Gオーディオデコーダ 2 1は、 多重/分離回路 1 2から供給された音声 E S信号を複合処理してベースバンド音声信号を取得し、 切替回路 2 2に供給す る。
切替回路 22は、 MPE Gオーディオデコーダ 2 1から供給される音声データ と、 音声 A/D変換器 9から供給される音声データの選択を行い、 選択した音声 デ一夕を音声 D/ A変換器 23に出力する。
音声13/八変換器2 3は、 音声データをアナログ音声信号に変換し、 変換した アナログ音声信号をテレビジョン受像機 2 00に備えられた音声入力端子に入力 する。 次に、 デジタル I N/OUT 24から供給、 出力される信号について説明する。 例えば、 外部の I RD (Integrated Receiver Decoder) から、 I EEE 1 394 のようなデジ夕ルインタフェースであるデジタル I N/OUT 24を介して入力 された信号を記録する場合、 デジタル信号はデジタルイン夕フェース回路 2 5に 入力される。
デジタルインタフヱース回路 25では、 本方式に適合するよう、 フォーマッ ト 変換等の処理を施して T Sを生成し、 多重/分離回路 12に供給する。 多重/分 離回路 12では、 更に制御信号等の解析や生成を行い、 本方式に適応する T Sに 変換する。
これと同時に多重/分離回路 12にて、 分離処理を行い、 MPEGビデオデコ ーダ 17に映像 E S、 MP E Gオーディオデコーダ 2 1に音声 E Sをそれそれ供 給することにより、 アナログの映像、 音声信号を得ることができる。
記録媒体 50を記録/再生処理部 13で再生した場合、 再生された T Sは、 上 述したように多重/分離回路 1 2に入力される。 多重/分離回路 12に入力され た T Sは、 必要に応じ、 制御信号の解析、 生成を行い、 デジタルイン夕フェース 回路 25に供給する。 デジタルインタフェース回路 25では、 記録時とは逆の変 換を行い、 外部の I RDに適合するデジタル信号に変換し、 デジタル I NZOU T 24を介し出力する。
これと同時に多重/分離回路 12にて、 分離処理を行い、 MP EGビデオデコ ーダ 17、 MP E Gオーディオデコーダ 2 1に P E Sを供給することにより、 ァ ナログの映像、 音声信号を得ることができる。
本例では、 I RDとの接続について述べたが、 1" 等の八 機器ゃ、 パーソナ ルコンピュータと接続することも可能である。
地上波 EPG用チューナ 26は、 ホスト CPU 14により制御され、 EPGが 重畳されている CH (チャンネル） を受信し、 受信したビデオ信号をデータスラ ィサ 27に供給する。
データスライサ 27では、 入力されたビデオ信号から E P Gデータを抽出し、 ホスト CPU 14に供給する。 ホス ト CPU 14では、 この EPG信号の解析を 行い、 GU I上に番組情報の表示等を行う。 B Sデジタルや地上波放送から取得 した E P Gデータは、 番組表の表示のみならず、 夕イマ記録や記録済番組のタイ トル表示の情報として使用される。
続いて、 図 4を用いて、 本発明を適用した記録再生装置 1 0 0において、 デジ タルチューナ 1 1又は記録媒体 5 0から多重/分離回路 1 2を介して供給される T Sをデコードする M P E Gビデオデコーダ 1 7の詳細な構成について説明をす る。
M P E Gビデオデコーダ 1 7は、 コードバッファ 3 1、 セレクタ 3 2、 デコー ドコア 3 3、 フレームメモリ 3 4、 ディスプレイ ミキサ 3 5とを備えている。 コードバッファ 3 1は、 多重/分離回路 1 2から供給された映像 E Sを複数ピ クチャ分、 一時的にバヅフアリンするバッファである。 コードバヅファ 3 1は、 ホスト C P U 1 4の制御により、 多重/分離回路 1 2から供給される映像 E Sの ス ト リームの本数に応じて当該コ一ドバヅファ 3 1のバッファリング領域を動的 に変化させ、 入力される各スト リームに割り当てることができる。
上述したように、 B Sデジタル放送で提供されるサービスとして考案されてい るマルチビュー放送をデジタルチューナ 1 1で受信した場合、 多重/分離回路 1 2には 2又は 3本の S Dストリームが多重化された T Sが供給されることになる <
T Sを供給された多重/分離回路 1 2は、 T Sに多重化された P S Iを取得し、 ホス ト C P U 1 4に供給する。 ホス ト C P U 1 4は多重/分離回路 1 2から供給 された P S Iから、 ス ト リームのタイプとス ト リームの本数を把握し、 供給され る映像 E Sが S Dス ト リームでありストリームの本数が 2又は 3本であった場合 はコードバヅファ 3 1を制御してバヅファリングする領域を動的に変化させ、 各 スト リームにバヅファリング領域を割り当てる。
なお、 記録媒体 5 0に記録されたストリームが再生され、 多重/分離回路 1 2 に供給された場合、 ス ト リームタイプ、 ス ト リームの本数といった情報は、 記録 媒体 5 0に構築されたデータベースから取得することができる。
セレクタ 3 2は、 S Dストリームが 2本、 又は、 3本であった場合に、 ホス ト C P U 1 4の制御に応じて、 コードバヅファ 3 1からの出力を時分割でスィ ツチ ングしデコードコア 3 3に供給するように動作する。
なお、 セレクタ 3 2は、 H Dスト リームが供給された場合、 及び S Dス ト リー ムが単独で供給された場合には、 コードバッファ 3 1からの出力をスィ ヅチング 動作なしにデコードコア 33に供給をする。
例えば、 MP EGビデオデコーダ 1 7に 1本の HDス ト リームが供給された場 合、 又は 1本の SDス ト リームが供給された場合は、 それそれ図 5、 図 6に示す ようになる。
また、 MPE Gビデオデコーダ 1 7に 2本の SDス ト リーム、 又は 3本の S D ス ト リームが供給された場合は、 それぞれ図 7、 図 8に示すようになる。 この場 合、 コードバッファ 3 1のバヅフアリング領域は、 入力されるス ト リーム毎に割 り当てられており、 セレクタ 3 2も、 デコードコア 33への入力を時分割で制御 するように動作する。
ス ト リームの識別は、 P I Dによってなされ、 多重/分離回路 1 2からコード バッファ 3 1に供給される 2本、 又は 3本の SDス ト リームも P I Dに基づいて 所定のバッファリング領域へと供給される。
デコードコア 33は、 コードバッファ 3 1からフレーム単位で供給される HD ス ト リーム、 SDス トリームを MPEGデコード処理し画像データを生成する。 生成された画像データは、 後段のフレームメモリ 34に供給される。
なお、 以下の説明においては、 デコードコア 33によってデコード処理された HDス ト リームを HDフレームと呼び、 同じくデコードコア 33によってデコー ド処理された SDス ト リームを S Dフレームと呼ぶ。
フレームメモリ 34は、 所定の記憶容量、 例えば、 SDフレームなら 1 6フレ ーム、 HDフレームなら 4フレームを記憶可能な記憶容量を備えている。 フレー ムメモリ 34は、 デコードコア 33でデコードされた HDフレーム、 S Dフレー ムをホス ト CPU 14の制御に応じて所定のメモリ領域に一時的に記憶する。 ま た、 記憶された HDフレーム、 SDフレームは、 同じく、 ホス ト CPU 1 4の制 御に応じて読み出され、 後段のディスプレイミキサ 3 5に出力される。
デコードコア 33でデコード処理されフレームメモリ 34に記憶される S Dフ レーム、 HDフレームは、 ホスト CPU 14によって、 フレームメモリ 34のど のメモリ領域に記憶されているのかが管理される。
ディスプレイ ミキサ 3 5は、 ホス ト CPU 14によってフレームメモリ 34か ら読み出された HDフレーム、 SDフレームの当該記録再生装置 1 00から、 例 えばテレビジョン受像機 200に出力された際の位置決めをホス ト CPU 1 4の 制御に応じて実行し、 ポス ト映像信号処理回路 1 8に供給する。 特に、 B Sデジ 夕ル放送において提供されるマルチビュー放送をデジタルチューナ 1 1で受信し た際には、 最大で 3つのフレームを同じ画面上に適切に配置されるようホス ト C PU 14の制御に応じて位置決めを行う。
図 4に構成を示す MP E Gビデオデコ一ダ 1 7におけるデコード処理は、 デコ ードコア 33で単にスト リームをデコードするといつた処理を示すものではなく、 デコードコア 33でデコードされたス トリームをフレームとしてフレームメモリ 34に格納することを含んでいる。
したがって、 MP EGビデオデコーダ 1 7でデコード処理を実行するには、 フ レームメモリ 34のメモリ領域の管理、 つまりデコードコア 33でデコードされ たフレームがフレームメモリ 34のどのメモリ領域に記憶されるのかといつた管 理までが必要となる。 デコードコア 33でスト リームをデコードするには、 フレ ームメモリ 34に空き領域がない限り実行されることはない。
具体的には、 ホスト C P U 1 4が、 S DRAM 1 5にフレームメモリ 34の使 用状況を一括して管理するための管理テーブルを用意し、 この管理テーブルを参 照しながらフレームメモリ 34の空きメモリ領域を管理し、 デコードコア 3 3で のデコード処理を制御する。 また、 ホスト CPU 1 4は、 SDRAM 1 5に用意 された管理テーブルを参照しながら、 フレームメモリ 34に格納されたフレーム の出力も制御する。
例えば、 HDス トリーム又は SDス トリームが単独でコードバッファ 3 1に供 給される場合は、 ホスト CPU 14は、 フレームメモリ 34に先に格納されたフ レームから順番に出力をし、 フレームメモリ 34の空きメモリ領域を確保してデ コードコア 33にデコード許可をすればよい。
マルチビュー放送におけるデコード処理では、 デコードコア 3 3を時分割に使 用してコードバヅファ 3 1に供給される 2又は 3本の S Dスト リームから SDフ レームを生成する。 生成されたそれぞれの SDフレームを構成する SDフレーム はフレームメモリ 34に記憶される。 ここで、 2フレーム又は 3フレームの S D フレームは、 フレームメモリ 34からを同時に出力される必要がある。
したがって、 フレームメモリ 34のメモリ領域には、 デコードコア 3 3でデコ —ドされた異なるチャンネルの SDフレームが複数フレーム記憶されるため、 ホ スト CPU 14は、 チャンネルを区別するための情報や、 フレームメモリ 34か ら出力する時間情報などを把握していなくてはならない。
よって、 上述したようにホス ト CPU 14は、 管理テーブルを用意しフレーム メモリ 34の使用状況を管理することが要求される。 ホス ト CPU 14が、 S D RAM 1 5に用意する管理テーブルを仮想フレームとも呼ぶ。
ホスト CPU 14によって、 S DRAM 1 5に構築される管理テーブルである 仮想フレームは、 フレームメモリ 34のメモリ領域に対応しており、 フレームメ モリ 34のメモリ領域へのフレーム格納状況などが反映され、 情報として保持し ている。
ホスト CPU 14は、 SDRAM1 5に展開された管理テーブルである仮想メ モリに基づいて、 デコードコア 33にデコードの実行許可をしたり、 フレームメ モリ 34に格納されているフレームの出力を制御することで、 MPEGビデオデ コーダ 1 7におけるデコ一ド処理を正確に実行させることができる。
ホスト CPU 14は、 S DRAM 1 5に展闘された仮想フレームを用いて、 M P E Gビデオデコーダ 1 7のデコード処理を管理する際、 チャンネル毎、 つま り ビデオデコード処理毎にビデオデコード管理部、 仮想フレーム管理部、 表示管理 部として機能する。
ビデオデコード管理部は、 MP EGビデオデコーダ 1 7に入力されたスト リー ムのフレームへのデコード処理を管理する。 ビデオデコード管理部が管理するデ コード処理は、 フレームメモリ 34の空き領域の確保に始まり、 空き領域が確保 されたことに応じたデコードコア 33におけるデコード、 デコードコア 33でデ コードされ、 フレームメモリ 34の空き領域に格納されたフレームの表示順序の 決定までを指す。 このようなホス ト CPU 14のビデオデコ一ド管理部としての デコード処理の管理は、 全て、 管理テーブルである S D RAM 1 5に展開された 仮想フレームを介して実行される。
例えば、 ビデオデコード管理部は、 ストリームをデコードする場合、 仮想フレ —ムの管理を実行する仮想フレーム管理部に H Dス ト リームであるのか S Dス ト リームであるのかといつたスト リームタイプに応じた、 空き領域があるかどうか を検索する要求をし、 仮想フレームに空き領域が存在する場合、 当該空き領域を 確保し、 その仮想フレームの空き領域に対応したフレ一ムメモリ 3 4のメモリ領 域に画像のデコードが実行されるよう制御をする。
ビデオデコード管理部は、 S l o w R , S t e R、 F Rといったデコー ド順と表示順が異なるような特殊再生 （逆方向再生） の要求に応じて、 表示順序 の管理も行う。 ビデオデコード管理部による表示順序の管理も、 管理テーブルで ある仮想フレームを用いて、 例えば、 フレームが格納されたフレームメモリ 3 4 に対応する仮想フレームにユーザの要求に応じた表示順序をナンパ'リングした情 報を与えるなどして表示順序の管理を行う。
表示管理部は、 ビデオデコード管理部で決定されたデコードされたフレームの 表示順序に基づいて表示処理を管理し実行する。 表示管理部は、 表示処理を実行 する際、 管理テーブルである仮想フレームに記述された情報を用いて実行する。 例えば、 表示管理部は、 V S y n c割り込み毎に、 仮想フレーム内で表示可能 なフレームを検索し、 表示条件に一致したフレームを選択して表示する。 また表 示管理部は、 表示が終わったフレームに対する選別を行い、 以降不要だと判断し た仮想フレームを仮想フレーム管理部に返却する。 これにより、 その仮想フレー ムは空き領域となり、 フレームメモリ 3 4のメモリ領域に実際に格納されていた フレームが表示されることでフレームメモリ 3 4のメモリ領域が空き領域となつ たことと対応することになる。
仮想フレーム管理部は、 S D R A M 1 5に展開されているフレームメモリ 3 4 の管理テーブルである仮想フレームの管理を実行する。 仮想フレーム管理部は、 仮想フレームの管理や、 当該チャンネルにおいて使用可能な仮想フレームの把握 などを行っている。
例えば、 仮想フレーム管理部は、 ビデオデコード管理部から仮想フレームに空 きがないかどうかというような要求に応じて、 仮想フレーム上から空き領域を検 索したり、 表示管理部から返却される仮想フレームを解放する処理を実行する。 上述のように構成される M P E Gビデオデコーダ 1 7は、 ホスト C P U 1 4に よる S D RAM 1 5に展開された仮想フレームを用いた制御によって、 多重/分 離回路 1 2から供給される HDス ト リーム、 S Dス ト リ一ムを HDフレーム、 S Dフレームにデコードし出力することができる。
続いて、 図 9、 図 1 0、 図 1 1に示すフローチャートを用いて、 MP E Gビデ ォデコーダ 17でのデコード処理動作について説明をする。
MP E Gビデオデコーダ 1 7における複数チャンネルのデコード処理では、 時 分割デコード処理、 フレームメモリの共有化以外は、 各チャンネルにおけるデコ 一ド処理として独立した動作となっている。
したがって、 各チャンネルのデコード処理は、 実際は 1つのデコードコア 3 3 しか備えていない MP E Gビデオデコーダ 1 7単体で実行しているが、 チャンネ ル毎に独立して設けられた複数のデコーダによる処理が実行されるモデルを想定 してデコード処理動作を説明することができる。
上述したように MP E Gビデオデコーダ 17でのデコード処理においては、 B Sデジタル放送で提供されるマルチビュー放送に対応する 2又は 3本のチャンネ ルのデコード処理を実行する場合においても、 独立したデコーダによる処理とみ なしてモデル化することができるため、 1つのチャンネルのデコード処理につい て説明をすることで、 MP EGビデオデコーダ 1 7のデコード処理動作の説明と する。
まず、 図 9に示したフローチャートのステップ S 1において、 当該チャンネル のビデオデコード管理部は、 仮想フレーム管理部に対して、 MP EGビデオデコ ーダ 1 7にスト リームが供給されたことに応じて、 S D R AM 1 5に展開されて いる管理テーブルである仮想フレームからデコードする際に必要となるフレーム 数の仮想フレームを要求する。 要求される仮想フレームの数を、 要求仮想フレー ム数 (req_num[ch]) とする。
ステップ S 2において 当該チャンネルの仮想フレーム管理部は、 ビデオデコ —ド管理部の要求に応じて、 SDRAM 1 5に展開されている仮想フレームを検 索し、 当該チャンネルにおいて使用している仮想フレームのフレーム数 （used_n um[ch]) と、 当該チャンネルで使用可能で、 且つ、 使用されていない仮想フレー ムのフレーム数 （blank num[ch]) とをカウントする。 ステップ S 3において、 仮想フレーム管理部は、 当該チャンネルにおいて使用 している仮想フレームのフレーム数 （used_num[ ch] ) と、 ビデオデコード管理部 によって要求された仮想フレームの要求仮想フレーム数 （req_mim[ch] ) との和が、 当該チャンネルにおいてデコード処理に使用することが可能な仮想フレームの最 大数以下 (used—num[ch] + req_num[ch]≤max_nuni[ ch] ) となった場合工程をステ ップ S 4へと進め、 最大数を超えてしまった場合、 工程をステップ S 5へと進め る。
ステップ S 4において、 仮想フレーム管理部は、 ビデオデコード管理部によつ て要求された仮想フレームの要求仮想フレーム数 （req— nuii[ch] ) が、 当該チャン ネルで使用可能で、 且つ、 使用されていない仮想フレームのフレーム数 （blank— num[ch] ) 以下となった場合に工程をステヅプ S 6へと進め、 使用されていない仮 想フレームのフレーム数 （blank_num[ ch] ) を超えてしまった場合工程をステップ S 5へと進める。
ステップ S 5において、 仮想フレーム管理部は、 ステップ S 3、 ステヅプ S 4 による判定処理の結果、 条件を満たさなかったことに応じて、 フレームメモリ 3 4には当該チャンネルにおいてデコードコア 3 3でデコードをしたフレームを格 納する領域がないと判断し、 デコード処理に使用可能な領域を確保するための待 ち状態となる。
ステップ S 6において、 仮想フレーム管理部は、 ステップ S 3、 ステヅプ S 4 による判定処理の結果、 条件を満たしたことに応じて、 フレームメモリ 3 4には 当該チャンネルにおいてデコードコア 3 3でデコードしたフレームを格納する領 域があると判断され、 ビデオデコード管理部にその旨が通知される。
ステップ S 6で仮想フレーム管理部によりデコードしたフレームのフレームメ モリ 3 4への格納領域が確保され、 デコードコア 3 3によるデコード処理が可能 であると通知 （以下、 デコード処理要求とも呼ぶ） されたことに応じて、 ステツ プ S 7において、 ビデオデコーダ管理部は、 当該 M P E Gビデオデコーダ 1 7の デコード処理を実行する。
次に、 図 1 0に示すフローチャートを用いて、 図 9のフローチャートのステツ プ S 7におけるデコード処理の動作について説明をする。 ステップ S 2 1において、 ビデオデコード管理部は、 仮想フレーム管理部によ り要求されるデコード処理要求を受け取る。
ステップ S 2 2において、 ビデオデコード管理部は、 ビデオデコードコア 3 3 が現在デコ一ド処理中であるかどうかのチェヅクをする。 M P E Gビデオデコー ダ 1 7において実際にビデオデコード処理を実行するビデオデコードコア 3 3は、 1つしかないため 1度に 1チャンネルのビデオデコード処¾しか実行することは できない。 したがって、 当該ステップ S 2 2において、 デコードコア 3 3が使用 中であるかどうかの判断が必要となる。
デコードコア 3 3が現在デコード処理中である場合は工程をステツプ S 2 3へ と進め、 デコード処理中でない場合は工程をステップ S 2 4へと進める。
ステップ S 2 3において、 ビデオデコード管理部は、 デコードコア 3 3がデコ 一ド処理中であることに応じて、 デコードコア 3 3の処理が終了するのを待つ待 機状態となる。
ステヅブ S 2 4において、 ビデオデコード管理部は、 デコードコア 3 3がデコ 一ド処理中でないことに応じて、 コ一ドバッファ 3 1にバッファリングされた当 該チャンネルのスト リームがデコードコア 3 3に適切に供給されるようにセレク 夕 3 2を制御する。
デコードコア 3 3は、 コードバヅファ 3 1からセレクタ 3 2を介してス ト リー ムが供給されたことに応じて、 供給されたストリームのフレームへのデコード処 理を実行する。 デコードコア 3 3はストリームをフレーム単位でデコード処理す る。 デコードコア 3 3によってデコードされて生成されたフレームは、 S D R A M 1 5に展開された仮想フレームを用いた管理に基づいて、 フレームメモリ 3 4 の該当するメモリ領域に格納される。
なお、 デコード処理をするス トリームが、 参照面を必要とする Picture ( P -pi cture又は B- picture) の場合、 参照面をフレームメモリ 3 4から検索し、 検索し た参照面を用いてデコード処理を実行する。 参照面の検索においては、 管理テー ブルである仮想フレームを用いる。 · ステップ S 2 5において、 ビデオデコード管理部は、 デコードコア 3 3でデコ 一ド処理が終了したことに応じて、 デコ一ドコア 3 3のデコード処理が終了され るのを待機しているチャンネルがあるかどうかチェックをする。 ビデオデコード 管理部は、 デコ一ド処理が終了するのを待機しているチャンネルがあった場合ェ 程をステップ S 2 6へと進め、 待機チャンネルがない場合はステップ S 2 7へと 進む。
ステヅブ S 2 6において、 ビデオデコード管理部は、 デコードコア 3 3による 当該チャンネルのデコード処理が終了したことをデコード処理の終了を待機して いるチャンネルのビデオデコード管理部に通知する。
ステップ S 2 7において、 ビデオデコード管理部は、 当該チャンネルのデコ一 ド処理終了を待機しているチャンネルがないことに応じてデコード処理の全工程 を終了させる。
ステヅプ S 2 7における工程が終了すると、 再び、 図 9に示すフローチヤ一ト に戻り、 ステップ S 8の表示処理、 ステヅプ S 9の仮想フレームの解放処理が実 行される。
ステヅプ S 8において、 表示管理部は、 フレームメモリ 3 4に格納されたフレ ームの表示タイ ミングであるビデオ同期信号 （V S y n c ) が発生される毎に、 管理テーブルである仮想フレームが保持する表示順序を示した情報を参照して表 示すべきフレームを決定する。 表示管理部は、 仮想フレームによって表示される ことが決定されたフレームを対応するフレームメモリ 3 4から読み出しデイスプ レイ ミキサ 3 5の任意の位置に配置する。
表示管理部によって仮想フレームから表示が決定されるフレームは、 再生のモ ードによって異なり、 例えば、 通常再生の場合であれば、 S T C ( System Timin g Clock) に一致する P T S (Presentation Time Stamp) を有するフレームが選 択される。 また、 特殊再生となる S l o w Rの場合は現在表示中のフレームよ りも時間的に 1 picture前のフレームが選択される。
複数の S Dス トリームを再生する場合において、 S Dストリームをデコードし た S Dフレ一ムをディスプレイ ミキサ 3 5でミキシングして表示する際、 重なら ないようにフレームを配置する。
ステヅプ S 9において、 表示管理部は、 デコ一ド処理しフレームメモリ 3 4の 所定のメモリ領域に格納されたフレームをディスクプレイ ミキサ 3 5に出力した ことに応じて、 フレームメモリ 34の所定のメモリ領域に対応した仮想フレーム を解放する仮想フレーム解放処理を実行する。
仮想フレーム解放処理が実行されると、 SDRAM 1 5に展開された仮想フレ —ムのうち解放された所定の仮想フレームは、 空き仮想フレームとなる。 これは 空き仮想フレームとなった仮想フレームと対応するフレームメモリ 34のメモリ 領域が、 格納していたフレームをディスプレイ ミキサ 3 5に出力したことによつ て空きメモリ領域となったことに対応させるための処理である。
図 1 1に示すフローチャートを用いて、 この仮想フレーム領域解放処理の動作 について説明をする。
まず、 ステップ S 3 1において、 表示管理部は、 フレームメモリ 34の所定の メモリ領域に格納されていたフレームをディスプレイ ミキサ 3 5に出力させたこ とに応じて、 仮想フレーム管理部に対して、 所定のメモリ領域に対応する仮想フ レームを解放するよう要求をする。
ステップ S 32において、 仮想フレーム管理部は、 表示管理部から解放要求さ れた仮想フレームのステータス情報 （state[n]) を空き仮想フレームであること を示す" B LANK" にする。
ステップ S 33において、 仮想フレーム管理部は、 ビデオデコード管理部から 仮想フレームが要求されているかどうかを判断する。 仮想フレーム管理部に仮想 フレームの要求がなされていない場合は工程を終了し、 仮想フレームの要求がな されている場合は図 9に示すフローチャートにおけるステップ S 2へと工程を戻 し、 ステップ S 2以下の工程を再び実行する。
このように、 MPEGビデオデコーダ 1 7は、 1つのデコードコア 33、 1つ のフレームメモリ 34といった構成であるが、 マルチビュー放送のような複数チ ヤンネルのデコード処理を必要とする場合においても、 ホス ト CPU 1 4の仮想 フレーム管理部によって管理テ一ブルである仮想フレームを用いたフレームメモ リ 34の管理を行い、 デコードコア 33をホスト CPU 14のビデオデコード管 理部の制御によって時分割で使用することでデコード処理を実現することができ る。
続いて、 S D RAM 1 5に構築された仮想フレームを用いた、 ホス ト CPU 1 4による、 より具体的な管理手法について説明をする。
ホスト CPU 14による管理手法を説明する前に、 MPEGビデオデコーダ 1 7のフレームメモリ 34のメモリ領域を図 1 2 A〜図 1 2 C 1に示すように定義 する。 フレームメモリ 34の全メモリ領域を図 1 2 Aに示す。
図 1 2 Bに示すように、 フレームメモリ 34を S Dフレーム用のフレームメモ リとして 1 6フレームの S Dフレームを格納可能であると定義する。 また、 図 1 2 Cに示すように、 フレームメモリ 34を HDフレーム用のフレームメモリ とし て 4フレームの HDフレームを格納可能であると定義する。
図 1 2 B、 図 1 2 Cに示すようにフレームメモリ 34を定義すると、 HDフレ ームを格納するのに必要なメモリ領域は、 S Dフレームを格納するのに必要なメ モリ領域の 4倍となっている。
次に、 図 1 3を用いて、 S D RAM 1 5に構築する管理テ一ブルである仮想フ レームと、 フレームメモリ 34のメモリ領域との対応付けを行う。
S DRAM 1 5に構築する仮想フレームは、 フレームメモリ 34を SD用のフ レームメモリとして使用した場合、 フレームメモリ 34を HD用のフレームメモ リとして使用した場合を同時に把握することができるように構築される必要があ る。
このように仮想フレームを構築することで、 例えば、 マルチビュー放送の再生 をするべく 3本の S Dス トリーム （以下、 3本の S Dス ト リームを 3 S Dス ト リ —ムとも呼ぶ） が MP E Gビデオデコーダ 1 7に供給され、 続いて、 デジタルハ ィビジョン放送を再生するべく HDストリームが供給された場合に、 マルチビュ 一放送とデジタルハイ ビジョン放送が切り換えられる切替点において、 シームレ スな切替えを実行することができる。
例えば、 SDRAM 1 5には、 図 1 3に示すようにフレームメモリ 34のメモ リ領域と対応付けられた仮想フレームが構築される。
上述したように、 フレームメモリ 34を SD用のフレームメモリとして使用す る場合と、 フレームメモリ 34を HD用のフレームメモリ として使用する場合と があるため、 どちらの情報も同時に取得する必要がある。
したがって、 SDRAM1 5には、 SD用の仮想フレームと、 HD用の仮想フ レームとが構築される。 つまり SDRAM 1 5に構築される仮想フレームは、 フ レームメモリ 34を SD用として使用した際の最大フレーム数と、 フレームメモ リ 34を HD用として使用した際の最大フレーム数を備えることになる。
例えば、 フレームメモリ 34を S D用として使用した場合、 フレームメモリ 3 4には、 S Dフレームを 1 6フレーム格納することが可能であり、 フレームメモ リ 34を HD用として使用した場合、 フレームメモリ 34には、 HDフレームを 4フレーム格納することが可能であるため S D RAM 1 5に構築される仮想フレ —ムのフレーム数は 20フレームとなる。
SDRAM 1 5に構築される 2 0フレームの仮想フレームを V F— 1〜V F— 20とすると各仮想フレームは、 SD用のフレームメモリ 34のメモリ領域を示 す F— SD 1〜F— SD 1 6、 HD用のフレームメモリ 34のメモリ領域を示す F_HD 1〜F— HD と以下のように対応している。
HD用のフレームメモリ 34のメモリ領域を示す11—1101〜 —1104は、 仮想フレームの VF—1〜VF— 4にそれぞれ 1対 1で対応し、 S D用のフレー ムメモリ 34のメモリ領域を示す F— S D 1〜F— SD 1 6は、 仮想フレームの V F— 5〜VF— 20にそれぞれ 1対 1で対応する。
S DRAM 1 5に構築された仮想フレームは、 フレームメモリ 34の管理を実 行するためにいくつかの管理情報を保持する。 例えば、 管理情報としては、 上述 したように仮想フレームに対応付けたフレームメモリ 34のメモリ領域を示すメ モリ領域情報、 現在の当該仮想フレームの状態を示すステータス情報などがある ステータス情報は、 仮想フレームをデコード用に確保可能な状態である場合 は" BLANK" 、 仮想フレームをデコード用に確保した状態である場合は" A L LOC" 、 仮想フレームがデコード済みである場合は" DE C" 、 仮想フレー ムが表示可能である場合は、 " PR SN" などを示す情報である。
ホスト CPU 1 4は、 上述した仮想フレームが保持するステータス情報を参照 することで対応するフレームメモリ 34の現在の状態を把握することができる。 例えば、 SDRAM 1 5に構築された仮想フレームの VF—1のステータス情 報が" BLANK" である場合は、 フレームメモリ 34のメモリ領域 F— HD 1 をデコード用として確保可能であることを示しており、 VF— 5のステータス情 報が" ALLOC" である場合は、 フレームメモリ 34のメモリ領域 F— S D 1 をデコード用に確保したこと示しており、 VF— 1 3のステータス情報" DE C" である場合は、 フレームメモリ 34のメモリ領域 F— S D 9にはデコード済 みのフレームが格納されていることを示し、 VF_1 7のステータス情報が" P RSN" である場合はフレームメモリ 34のメモリ領域 F— S D 1 3には表示可 能なフレームが格納されていることを示している。
MPE Gビデオデコーダ 1 7においてストリームをデコードする場合、 ホス ト CPU 1 4は、 SDスト リーム、 HDスト リームといったスト リームの種類に応 じて、 フレームメモリ 34のメモリ領域から必要なデコード領域を確保して、 続 いて、 デコードコア 33によるデコード処理を実行させる。 ホス ト CPU 1 4は、 デコード処理に必要なデコード領域を S D R AM 1 5に構築された管理テーブル である仮想フレームを用いて確保する。
ホス ト CPU 1 4は、 ストリ一ムをデコ一ドする場合、 まず SDRAM 1 5に 構築された全仮想フレームを検索し、 ステータス情報が" BLANK" 状態の仮 想フレームを確保する。
具体的には、 仮想フレームは、 フレームメモリ 34の所定のメモリ領域と対応 しているので、 例えば、 HDス ト リームが MP E Gビデオデコーダ 1 7に入力さ れた場合、 ホスト CPU 14は、 S D RAM 1 5に構築された仮想フレームのう ち、 VF_1〜VF— 4のいずれかの仮想フレームを確保すると、 確保した仮想 フレームに対応した HDストリームをデコード可能なフレームメモリ 34のメモ リ領域が確保されたことになる。
しかし、 仮想フレーム VF— 1〜VF— 4に対応したフレームメモリ 34のメ モリ領域を確保するには、 当該 VF— 1〜VF— 4のステータス情報だけではな く仮想フレーム VF— 5〜VF— 20のステータス情報も確認する必要がある。 フレームメモリ 34は、 上述したように HD用としても S D用としても定義さ れ、 HD用として定義される場合、 そのメモリ領域、 つまり HDフレームを 1フ レーム格納可能なフレームメモリ 34のメモリ領域は、 SD用として定義される 場合のメモリ領域、 つまり S Dフレームを 1フレーム格納可能なフレームメモリ 34のメモリ領域の連続した 4つのメモリ領域となっている。 したがって、 HDス トリームをデコードする際、 仮想フレーム VF— 1〜 V F —4のステータス情報だけではデコードする際のフレームメモリ 3 4のメモリ領 域の確保には不十分な情報である。 仮想フレーム VF— 5〜VF— 2 0のステー タス情報も確認することで、 仮想フレーム VF— 1〜V F— 4のステータス情報 に基づいて確保されたフレームメモリ 3 4のメモリ領域が完全に空き領域となつ ているかどうかが分かる。
また、 S Dス ト リームをデコードする際も同様であり、 ホス ト CP 1 4は、 仮 想フレーム VF— 5〜VF— 2 0のステータス情報と、 仮想フレーム V F— 1〜 VF— 4のステータス情報とを参照することでフレームメモリ 3 4に、 S Dス ト リームをデコードする際に必要となる空き領域があるかどうかを判断する。
続いて、 図 1 4に示す S D RAM 1 5に構築された仮想フレームの一例を用い、 HDストリームがデコード可能か、 S Dストリームがデコード可能かどうかを検 証する。
まず、 HDストリームが MP E Gビデオデコーダ 1 Ίに供給された場合につい て検証する。
H D用の仮想フレームである V F— 1〜VF— 4を見ると、 VF— 4はステー タス情報が" PR S N" であり表示用に使用されているため、 HDス ト リームの デコードには使用することはできない。
残る、 HD用の仮想フレーム VF— 1〜VF— 3は、 ステータス情報が" B L ANK" であるため HDス トリームのデコードに使用できる可能性がある。
し力 し、 フレームメモリ 34を S D用のフレームメモリとして定義した場合に、 仮想フレーム VF— 1に対応したフレームメモリ 3 4のメモリ領域を共有するこ とになる仮想フレーム VF— 5〜VF— 8のうち VF— 6のステータス情報が" AL L O C" であり、 VF— 7のステータス情報が" P R SN" となっているた め VF— 1を HDス ト リームのデコードに使用することはできない。
同様に、 VF— 2においては、 フレームメモリ 3 4のメモリ領域を共有する仮 想フレーム VF— 9〜VF— 1 2のうち VF— 1 1、 VF_1 2のステータス情 報が" DE C" となっているため HDストリームのデコードに使用することはで きない。 VF— 3においても、 フレームメモリ 34のメモリ領域を共有する仮想フレー ム VF— 1 3〜VF 1 6のうち VF— 1 3のステータス情報" PR SN" となつ ているため HDスト リームのデコードに使用することができない。
したがって、 図 1 4に示す仮想フレームからは、 MP E Gビデオデコーダ 1 7 が HDス ト リームのデコードをすることができない状態であることが分かる。 続いて、 図 1 4に示す SDRAM 1 5に構築された仮想フレームの一例を用い SDス トリームが MP EGビデオデコーダ 17に供給された場合について検証す る。
SD用の仮想フレームである VF— 5〜VF— 2 0を見ると、 VF— 5、 V F —8、 VF— 9、 VF— 1 0、 VF— 14〜VF— 2 0までのステータス情報 が" B LANK" となっている。
次に、 仮想フレーム VF— 1〜VF— 4を見ると、 VF— 4のステータス情報 が" PR SN" となっているため VF— 1 7〜VF— 2 0を S Dス ト リームのデ コードに使用することができない。
一方、 VF— 1〜VF— 3のステータス情報は、 " B LANK" であるため V F— 5、 VF一 8、 VF一 9、 VF一 1 0、 VF— 1 4〜VF一 1 6を SDス ト リームのデコードに使用することができる。
したがって、 図 1 4に示す仮想フレームからは、 MP E Gビデオデコーダ 1 7 が、 SDストリームのデコードをすることができる状態であることが分かる。 次に、 図 1 5に示すフローチャートを用いて、 B Sデジタル放送のマルチビュ 一放送を再生する際の、 仮想フレームを用いたデコード管理動作について説明を する。 以下の説明においては、 マルチビュー放送として 3本の S Dス ト リーム ( 3 S Dストリーム） が MP E Gビデオデコーダ 1 7に供給され、 それそれの S Dスト リームをデコード処理するチャンネルをチャンネル 1、 チャンネル 2、 チ ヤンネル 3とする。
また、 チャンネル 1でデコード処理する SDフレ一ムを V—ch 1—1、 V_ch 1 _ 2、 V— chl_3、 V— chl— 4とし、 チャンネル 2でデコード処理する S Dフレー ムを V— ch2— 1、 V— ch2— 3、 V— ch2— 3、 V— ch2— 4とし、 チャンネル 3でデ コード処理する S Dフレームを、 V— ch3 1、 V— ch3— 2、 V— ch3— 3、 V ch3 —4とする。 各チャンネルの S Dフレームのチャンネル番号 （chl、 ch2、 ch3 ) 以外に添付された数字は、 便宜的に P T Sを示しているとし、 チャンネル間で同 一の数字は、 同じ P T S又は P T Sが近接していることを示しているとする。 上述したように、 各チャンネルのデコード処理は、 独立して実行されると考え られるので、 ここでは、 1つのチャンネルのデコード処理を中心に説明をする。 まず、 ステップ S 4 1において、 ホスト CPU 1 4は、 SDス ト リームが供給 されたことに応じて、 当該チヤンネルにおけるデコード処理において必要な仮想 フレームを要求する。
ステップ S 42において、 ホスト CPU 14は、 SDRAM 1 5に構築された 仮想フレームを参照して、 ステータス情報が" B LANK" となっている仮想フ レームがあるかどうかを検出する。 ステータス情報が" B LANK" である仮想 フレームがあった場合は工程をステップ S 44へと進め、 ステータス情報が" B LANK" ない場合は工程をステヅプ S 43へと進める。
ステップ S 43において、 ホス ト CPU 14は、 仮想フレームのステータス情 報が" B LANK" となって空き仮想フレームができるの待つ、 待機状態となる ステップ S 44において、 ホス ト CPU 14は、 当該チャンネル用に確保され たコードバッファ 3 1のメモリ領域に供給された S Dス ト リームから再生出力の 時刻管理情報である P T Sを検出する。
ホスト CPU 14は、 当該チャンネル以外の他チャンネルのデコ一ド処理に確 保されている S D用の仮想フレームから、 当該チャンネルで検出した P T Sに近 接、 若しくは一致する P T Sを備える S D用の仮想フレームを検索する。
例えば、 仮想フレームが図 1 6に示すようであり、 チャンネル 3でデコード処 理をする V— ch3— 4の P T Sがステップ S 44で検出されたとする。
図 1 6に示す仮想フレームは、 HD用の仮想フレーム VF— 1〜VF— 4のス テ一夕ス情報が" B L ANK"、 S D用の仮想フレーム V F— 8、 VF— 1 2、 VF— 1 6、 VF— 1 9、 VF_2 0のステータス情報が" B LANK" である とする。
上述したように、 ホスト CPU 1 4は、 SDRAM 1 5に構築された図 1 6に 示す仮想フレームを参照して、 V— ch3 4の P T Sに近接、 若しくは一致する P T Sを備える他チャンネルの S D用の仮想フレームを検索する。 図 1 6の仮想フ レームでは、 S D用の仮想フレーム VF— 17、 VF— 18には、 VF— 1 7、 VF_1 8に対応するフレームメモリ 34のメモリ領域に V— ch3— 4の P T Sに 近接、 若しくは一致する PTSを備えるチャンネル 1の V_chl— 4、 チャンネル 2の V_ch2— 4が記憶されていることが示されているので、 該当する S D用の仮 想フレームは、 VF— 17、 VF— 1 8であることが分かる。
該当する仮想フレームがあった場合は工程をステップ S 45へと進め、 該当す る S D用の仮想フレ一ムがない場合は工程をステヅプ S 48へと進める。
ステヅプ S 45において、 まず、 ホス ト CPU 14は、 ステップ S 44で検索 された当該チャンネルの P T Sに近接、 若しくは一致する P T Sを備える他チヤ ンネルの S D用の仮想フレームと、 フレームメモリ 34のメモリ領域を共有して いる HD用の仮想フレームを特定する。
例えば、 図 1 6に示す仮想フレームの場合、 ステップ S 44で S D用の仮想フ レーム VF— 1 7、 VF— 18が特定された。 この S D用の仮想フレームとフレ ームメモリ 34のメモリ領域を共有している HD用の仮想フレームは、 VF— 4 であることが分かる。
次に、 ホスト CPU 14は、 特定された HD用の仮想フレームとフレームメモ リ 34のメモリ領域を共有する S D用の仮想フレームから、 ステータス情報が" B LANK"の S D用の仮想フレームがあるかどうかを検索する。
例えば、 図 1 6に示す仮想フレームの場合、 特定された HD用の仮想フレーム VF— 4と、 フレームメモリ 34のメモリ領域を共有する S D用の仮想フレーム は、 VF— 17〜VF— 20である。 仮想フレーム VF— 17、 VF— 1 8は、 既にチャンネル 1、 チャンネル 2で使用されているため、 ステータス情報が" B LANK" であるのは VF— 1 9、 VF_2◦の S D用仮想フレームである。 ステータス情報が" BLANK" の仮想フレームがある場合は工程をステップ S 6へと進め、 ステータス情報が" BLANK" の仮想フレームがない場合は 工程はステップ S 43へと進み、 空き仮想フレームの待機状態となる。
ステツプ S 46において、 ステータス情報が" B LANK" である仮想フレー ムがあったことに応じて、 この仮想フレームを確保する。 例えば、 図 1 6に示す仮想フレームの場合、 VF— 1 9、 VF— 2 0のいずれ かが確保される。 ここでは、 VF— 1 9が確保されたとする。
ステヅプ S 47において、 ホスト CPU 1 4は、 仮想フレームが確保されたこ とに応じて、 デコード対象の S Dス トリームをデコ一ドコア 3 3でデコードし、 S Dフレームを生成し、 確保された仮想フレームに対応したフレームメモリ 34 のメモリ領域にデコードした S Dフレームを格納させる。
例えば、 図 1 6に示す仮想フレームの場合、 仮想フレーム VF— 1 9に対応す るフレームメモリ 34のメモリ領域に V—ch3— 4が格納されることになる。 ステヅプ S 4 8において、 ホス ト CPU 1 4は、 当該チャンネルで検出した P T Sに近接、 若しくは一致する P T Sを備える SD用の仮想フレームを検索でき なかったことに応じて、 仮想フレームの HD用の仮想フレームとフレームメモリ
34のメモリ領域を共有している S D用の仮想フレーム群で構成される S D仮想 フレームグループのステータス情報を参照し、 当該 S D仮想フレームグループが 空き状態となっているかどうか判断する。 '
仮想フレームグループを構成する S D用の仮想フレーム群の全ての仮想フレ一 ムのステータス情報が" B LANK" となっている場合を、 仮想フレームグルー プが空き状態であるという。
空き状態の仮想フレームグループが存在する場合は工程をステップ S 49へと 進め、 空き状態の S D仮想フレームグループが存在しない場合は工程をステップ S 5 0へと進める。
ステップ S 4 9において、 ステータス情報が" BLANK" となっている SD 用の仮想フレームを確保する。 ステップ S 49が終了すると、 工程はステップ S
47へと進みデコードコア 33によるデコードが実行され、 確保された領域にデ コードされた S Dフレームが記憶される。
ステップ S 5 0において、 ホスト CPU 14は、 SDRAM 1 5に構築された 仮想フレームの全ての S D仮想フレームグループが空き状態ではなかったことに 応じて、 ステータス情報が" B LANK" である S D用の仮想フレームから、 現 時点で最も早く再生されるであろう S D仮想フレームグループに属している SD 用の仮想フレ一ムを確保する。 これは、 上述したように SD仮想フレームグループの定義より、 SD仮想フレ ームグループに属する SD用の仮想フレームと対応するフレームメモリ 34のメ モリ領域に格納される S Dフレームは、 お互いが近接、 若しくは一致するような P T Sを保持しているため、 当該 S Dフレームグループの P T Sも同一であると 考えられる。 したがって、 SD仮想フレームグループ単位で、 再生される時刻の 検証をすることが可能となる。 ステヅプ S 50が終了すると、 工程はステップ S 47へと進みデコードコア 33によるデコ一ドが実行され、 確保された領域にデ コードされた SDフレームが記憶される。
このようにして、 SDRAM 1 5に構築された仮想フレームに基づいたホス 卜 CPU 1 4の管理によって、 マルチビュー放送時に供給される 3本の S Dス ト リ ームのデコード処理が実行されると、 例えば、 マルチビュ一放送が終了し、 通常 のデジタルハイ ビジョン放送に切り替わった場合、 図 1 6に示す仮想フレームを 用いて以下に示すようにして HD用の仮想フレームが確保される。
例えば、 図 1 6に示す仮想フレームのように、 各チャンネルのフレームが記憶 されているとすると、 この時点では、 S D用の仮想フレーム VF 5―〜 VF— 7、 V F 9―〜 VF一 1 1、 VF— 1 3~VF一 1 5、 V F 1 7_〜VF— 1 9が使 用されているため、 フレームメモリ 34のメモリ領域には HD用のフレームを確 保するための領域がないことになる。
したがって、 HD用の仮想フレームである VF— 1、 VF— 2、 VF— 3、 V F— 4も確保することができない。
しかし、 S T Cが進み仮想フレームの中で最も早い P T Sを持つ、 VF— 5〜 VF— 7に対応するフレームメモリ 34のメモリ領域に記憶されている V_ch 1 _ 1、 V一 ch2— 1、 V_ch3_lをフレームメモリ 34から読み出すと、 フレームメ モリ 34のメモリ領域を共有している HD用の仮想フレーム VF— 1を確保する ことができる。
同様にして、 仮想フレーム VF— 9〜VF— 1 1に対応するフレームメモリ 3 4のメモリ領域に記憶されている V— chl_2、 V— ch2_2、 V— ch3— 2を読み出 し、 仮想フレーム VF— 1 3〜V F— 1 5に対応するフレームメモリ 34のメモ リ領域に記憶されている V chl 3、 V ch2 3、 V_ch3 3を読み出し、 仮想 フレーム VF 1 7〜VF . 9に対応するフレームメモリ 34のメモリ領域に 記憶されている V— chl— 4、 V— ch2— 4、 V_ch 3— 4を読み出すことで、 順次、 HD用の仮想フレーム VF— 2、 VF— 3、 V F— 4を確保することができる。 このようにして、 HD用の仮想フレームを順次確保することが可能であるため、 マルチビュー放送からデジタルハイ ビジョン放送へと切り替わる。 このように、 MP E Gビデオデコーダ 1 7に供給されるス ト リームが 3本の SDス ト リームか ら 1本の HDストリームへと切り替わった場合でも、 フレームメモリ 34のメモ リ領域を確保できないことによるデコ一ド処理の一時的な中断を防止することが できる。
つまり、 マルチビュー放送からデジタルハイビジョン放送へと切り替わった場 合でも" シームレス" なデコード処理が可能であるため、 ユーザに提供される映 像もマルチビュー映像からデジタルハイビジョン映像へと自然に切り替わること になる。
続いて、 図 1 7に示すフローチャートを用いて、 デジタルハイ ビジョン放送を 再生する際の仮想フレームを用いたデコ一ド管理動作について説明をする。
ステップ S 6 1において、 ホス ト CPU 14は、 HDス トリームが供給された ことに応じて、 デコード処理において必要な仮想フレームを要求する。
ステップ S 62において、 ホス ト CPU 14は、 S D R AM 1 5に構築された 仮想フレームのうち HD用の仮想フレーム VF— 1〜VF— 4のステータス情報 が" B LANK" となっているかどうかを検索する。 ステータス情報が" B LA NK" となっている場合は工程をステップ S 63へと進め、 ステータス情報が" B LANK" となっていない場合は工程をステップ S 64へと進める。
ステヅプ S 63において、 ホス ト CPU 14は、 HD用の仮想フレーム V F— 1〜VF— 4のうちステータス情報が" B LANK" であった HD用の仮想フレ ームと、 フレームメモリ 34のメモリ領域を共有する S D用の仮想フレームメモ リのステータス情報が全て" B LANK" であるかどうかを判断する。
例えば、 HD用の仮想フレーム VF— 1のステータス情報が" B LANK" で あった場合は、 S D用の仮想フレームメモリ VF— 5〜VF— 8のステータス情 報を検証し、 HD用の仮想フレーム VF 2のステータス情報が" B LANK" であった場合は、 SD用の仮想フレームメモリ VF— 9~VF— 1 2のステ一夕 ス情報を検証し、 HD用の仮想フレーム VF— 3のステータス情報が" B LAN K" であった場合は、 SD用の仮想フレームメモリ VF— 1 3〜VF— 1 6のス テータス情報を検証し、 HD用の仮想フレーム VF— 4のステータス情報が" B LANK" であった場合は、 SD用の仮想フレームメモリ VF— 1 7〜VF— 2 0のステータス情報を検証する。
S D用の仮想フレームのステ一タス情報が全て" B LANK" であった場合は 工程をステップ S 6 5へと進め、 ステータス情報が 1つでも" B LANK" でな かった場合は工程をステップ S 64へと進める。
ステップ S 64において、 ホス ト CPU 14は、 仮想フレームのステータス情 報が" B LANK" となって空き仮想フレームができるの待つ、 待機状態となる < ステヅプ S 6 5において、 ホス ト CPU 14は、 ステータス情報が" B LAN K" である HD用の仮想フレームがあったことに応じて、 この仮想フレームを確 保する。
ステップ S 6 6において、 ホス ト CPU 1 4は、 HD用の仮想フレームが確保 されたことに応じて、 デコード対象の HDスト リームをデコ一ドコア 3 3でデコ —ドし、 HDフレームを生成し、 確保された仮想フレームに対応したフレームメ モリ 34のメモリ領域にデコードした HDフレームを格納させる。
このようにして、 SDRAM 1 5に構築された仮想フレームに基づいたホス ト CPU 1 4の管理によって、 デジタルハイ ビジョン放送時に供給される 1本の H Dス トリームのデコード処理が実行される。 ここで、 例えば、 デジタルハイ ビジ ヨン放送が終了し、 マルチビュー放送に切り替わった場合、 仮想フレームを用い て以下に示すようにして S D用の仮想フレームが確保される。
例えば、 H D用の仮想フレーム VF—：！〜 VF— 4が全て埋まっている場合に おいて、 HD用の仮想フレームの中で最も早い P T Sが HD用の仮想フレーム V F— 1であった場合、 ホス ト CPU 1 4は、 HD用の仮想フレーム VF— 1に対 応するフレームメモリ 34のメモリ領域に記憶されている HDフレームを読み出 して、 HD用の仮想フレーム VF— 1を解放する。
HD用の仮想フレーム VF 1が解放されると、 この仮想フレーム VF— 1 と フレームメモリ 3 4のメモリ領域を共有する S D用の仮想フレーム V F— 5〜 V F— 8も解放されることになる。 同様にして、 H D用の仮想フレーム V F— 2〜 V F— 4においても順次実行することで、 次々に、 S D用の仮想フレームが 4フ レームずつ確保されていく。
したがって、 解放された S D用の仮想フレ一ムを各チャンネルが確保してデコ 一ド処理を突行することでデジタルハイビジョン放送からマルチビュー放送へと 切り替わり、 M P E Gビデオデコーダ 1 7に供給されるス トリ一ムが 1本の H D ス トリームから 3本の S Dス トリームへと切り替わった場合でも、 フレ一ムメモ リ 3 4のメモリ領域を確保できないことによるデコード処理の一時的な中断を防 止することができる。
つまり、 デジタルハイビジョン放送からマルチビュー放送へと切り替わった場 合でも" シームレス" なデコ一ド処理が可能であるため、 ユーザに提供される映 像もデジタルハイビジョン映像からマルチビュー映像へと自然に切り替わること になる。
なお、 本発明は、 図面を参照して説明した上述の実施例に限定されるものでは なく、 添付の請求の範囲及びその主旨を逸脱することなく、 様々な変更、 置換又 はその同等のものを行うことができることは当業者にとって明らかである。 産業上の利用可能性 上述したように、 本発明に係る復号装置は、 画像スト リームデータ記憶手段の 記憶領域を入力される画像ストリームデータの本数に応じて割り当てて使用し、 管理テーブルによって管理する画像フレーム記憶手段の使用状況を示す使用状況 情報に基づいて、 記憶領域からの画像ス トリームデ一夕の読み出しを制御し、 読 み出した画像スト リ一ムデータを復号手段によって画像フレームに復号すること で、 マルチビュー放送に対応した復号処理を実行することを可能とする。
本発明に係る復号方法は、 画像ス ト リームデータ記億手段の記憶領域を入力さ れる画像ス トリ一ムデータの本数に応じて割り当てて使用し、 管理テーブルによ つて管理する画像フレーム記憶手段の使用状況を示す使用状況情報に基づいて、 記憶領域からの画像ス トリームデ一夕の読み出しを制御し、 読み出した画像ス ト リームデータを復号工程によって画像フレームに復号することで、 マルチビュー 放送に対応した復号処理を実行することを可能とする。

Claims

請求の範囲
1 . 入力される m ( mは自然数） 本の画像ストリームデ一夕に対して、 画像スト リームデータ毎に割り当てられた上記記憶領域のそれそれに上記画像ストリーム データを記憶する画像ストリームデータ記憶手段と、
上記画像ストリームデータ記憶手段に記憶された上記 m本の画像ストリームデ —タを時分割で読み出す画像ストリームデータ読み出し手段と、
上記画像ストリームデータ読み出し手段から時分割で読み出された上記 m本の 画像ストリ一ムデ一夕をそれぞれ画像フレームに復号する復号手段と、
上記復号手段によって復号された上記画像フレームを記憶する画像フレーム記 憶手段と、
上記画像フレーム記憶手段に画像フレームを記憶可能かどうか判定する第 1の 判定手段と、
上記復号手段で上記画像スト リームデータを復号可能かどうか判定する第 2の 判定手段と、
上記第 1の判定手段及び上記第 2の判定手段による判定結果に基づいて、 上記 画像ストリームデータ読み出し手段による上記画像ストリームデータ記憶手段か らの上記画像ストリームデータの読み出しを制御する制御手段と、
上記画像フレーム記憶手段に記憶された上記画像フレ一ムを読み出す画像フレ ーム読み出し手段と、
上記画像フレーム読み出し手段によって読み出されたそれそれの画像ストリー ムデ一夕に対応する画像フレームを同一画面上に配置して出力する出力手段とを 備えること
を特徴とする復号装置。
2 . 上記装置は、 更に上記画像フレーム記憶手段の使用状況を示す使用状況情報 を管理する管理テーブルを記憶する管理テーブル記憶手段を備えることを特徴と する請求の範囲第 1項記載の復号装置。
3 . 入力される m ( mは自然数） 本の画像ストリームデータに対して、 画像スト リームデータ毎に割り当てられた記億領域のそれぞれに上記画像ストリームデ一 夕を記憶する画像ストリームデータ記憶工程と、
上記画像ストリームデータ記憶手段に記憶された上記 m本の画像ストリームデ —夕を時分割で読み出す画像ストリームデータ読み出し工程と、
上記画像ストリームデータ読み出し工程において時分割で読み出された上記 m 本の画像スト リームデ一夕をそれそれ画像フレームに復号する復号工程と、 上記復号て程によって復号された上記画像フレームを画像フレーム記憶手段に 記憶する画像フレーム記憶工程と、
上記画像フレーム記億手段に画像フレームを記憶可能かどうか判定する第 1の 判定工程と、
上記復号工程で上記画像ストリームデ一夕を復号可能かどうか判定する第 2の 判定工程と、
上記第 1の判定工程及び上記第 2の判定工程による判定結果に基づいて、 上記 画像ストリ一ムデータ読み出し工程において上記画像ストリームデータ記憶手段 から上記画像ストリームデータの読み出しを制御する制御工程と、
上記画像フレーム記憶手段に記憶された上記画像フレームを読み出す画像フレ ーム読み出し工程と、
上記画像フレーム読み出し工程によって読み出されたそれぞれの画像ストリー ムデータに対応する画像フレームを同一画面上に配置して出力する出力工程と を備えることを特徴とする復号方法。
4 . 上記復号方法は、 更に、 上記画像フレーム記憶手段の使用状況を示す使用 状況情報を管理する管理テーブルを管理テーブル記憶手段に記憶する管理テープ ル記億工程を備えることを特徴とする請求の範囲第 3項記載の復号方法。
5 . m ( mは自然数） 本の画像ストリームデータが多重化された多重化ストリー ムを入力する入力手段と、
上記入力手段に入力された多重化ストリームを m本の画像ストリームデータに 分離する分離手段と、
上記分離手段で分離された m本の画像ストリームデータに対して、 画像ストリ —ムデ一夕毎に割り当てられた記憶領域のそれそれに上記画像ストリームデータ を記憶する画像ストリームデータ記憶手段と、 上記画像ストリームデータ記憶手段に記憶された上記画像ストリ一ムデータを 時分割で読み出す画像ストリームデータ読み出し手段と、
上記画像ストリームデータ読み出し手段から読み出された上記 m本の画像スト リームデ一タをそれそれ画像フレームに復号する復号手段と、
上記復号手段によって復号された上記画像フレームを記憶する画像フレーム記 憶手段と、
上記画像フレーム記憶手段に画像フレームを記億可能かどうか判定する第 1の 判定手段と、
上記復号手段で上記画像ストリームデータを復号可能かどうか判定する第 2の 判定手段と、
上記第 1の判定手段及び上記第 2の判定手段による判定結果に基づいて、 上記 画像ストリームデータ読み出し手段による上記画像ストリームデータ記憶手段か らの上記画像ストリ一ムデ一夕の読み出しを制御する制御手段と、
上記画像フレーム記憶手段に記憶された上記画像フレームを読み出す画像フレ ーム読み出し手段と、
上記画像フレーム読み出し手段によって読み出されたそれそれの画像ストリー ムデータに対応する画像フレームを同一画面上に配置して出力する出力手段と を備えることを特徴とする復号装置。
6 . 上記符号装置は、 更に、 上記画像フレーム記憶手段の使用状況を示す使用 状況情報を管理する管理テーブルを記憶する管理テーブル記憶手段を備えること を特徴とする請求の範囲第 5項記載の復号装置。
7 . 所定の周波数に変調されて送信された m ( mは自然数） 本の画像ストリーム データが多重化された多重化ストリームを受信する受信手段を備え、
上記入力手段は、 上記受信手段で受信された上記 m本の画像ストリームデータ が多重化された多重化ス ト リームを入力する
ことを特徴とする請求の範囲第 5項記載の復号装置。
8 . 上記受信手段で受信した多重化ストリームを記録媒体に記録する記録手段を 備えることを特徴とする請求の範囲第 7項記載の復号装置。
9 . 上記記録手段によって上記記録媒体に記録された多重化ストリームを再生す る再生手段を備え、
上記入力手段は、 上記再生手段によって再生された多重化ストリームを入力す る
ことを特徴とする請求の範囲第 8項記載の復号装置。
1 0 . m本の画像ストリームデータが多重化された多重化ストリームを記録した 記録媒体を装着する装着手段を備え、
上記再生手段は、 上記装着乎段に装着された上記記録媒体に記録されている多 重化ストリームを再生する
ことを特徴とする請求の範囲第 9項記載の復号装置。
1 1 . m ( mは自然数） 本の画像スト リ一ムデータが多璽化された多重化ストリ ームを入力する入力工程と、
上記入力工程で入力された多重化ストリームを m本の画像ストリームに分離す る分離工程と、
上記分離工程で分離された m本の画像ストリームデータに対して、 画像ストリ ームデ一夕毎に割り当てられた記憶領域のそれぞれに上記画像ストリームデ一夕 を記憶する画像ストリームデータ記憶工程と、
上記画像ストリームデ一夕記憶手段に記憶された上記画像ストリームデータを 時分割で読み出す画像ストリームデ一夕読み出し工程と、
上記画像ストリームデータ読み出し手段から読み出された上記 m本の画像スト リームデータをそれそれ画像フレームに復号する復号工程と、
上記復号工程によって復号された上記画像フレームを画像フレーム記憶手段に 記憶する画像フレーム記憶工程と、
上記画像フレーム記憶手段に画像フレームを記憶可能かどうか判定する第 1の 判定工程と、
上記復号工程で上記画像ストリームデータを復号可能かどうか判定する第 2の 判定工程と、
上記第 1の判定工程及び上記第 2の判定工程による判定結果に基づいて、 上記 画像ストリームデータ読み出し工程における上記画像ストリームデータ記憶手段 からの上記画像ストリームデータの読み出しを制御する制御工程と、 上記画像フレーム記憶手段に記憶された上記画像フレームを読み出す画像フレ ーム読み出し工程と、
上記画像フレーム読み出し工程によって読み出されたそれそれの画像ス ト リー ムデータに対応する画像フレームを同一画面上に配置して出力する出力工程と を備えることを特徴とする復号方法。
1 2 . 上記符号方法は、 更に、 上記画像フレーム記憶手段の使用状況を示す使 用状況情報を管理する管理テーブルを記憶する管理テ一プル記憶手段に記憶する 管理テーブル記憶工程を備えることを特徴とする請求の範囲第 1 1項記載の復号 方法。
1 3 . 所定の周波数に変調されて送信された m ( inは自然数） 本の画像ス ト リー ムデータが多重化された多重化スト リームを受信する受信工程を備え、
上記入力工程は、 上記受信工程で受信された上記 m本の画像ス ト リームデータ が多重化された多重化ス トリームを入力する
ことを特徴とする請求の範囲第 1 1項記載の復号方法。
1 4 . 上記受信工程で受信した多重化スト リ一ムを記録媒体に記録する記録工程 を備えることを特徴とする請求の範囲第 1 3項記載の復号方法。
1 5 . 上記記録工程によって上記記録媒体に記録された多重化ス ト リームを再生 する再生工程を備え、
上記入力工程は、 上記再生工程によって再生された多重化ス ト リームを入力す ることを特徴とする請求の範囲第 1 4項記載の復号方法。
1 6 . m本の画像ス ト リームデータが多重化された多重化スト リ一ムを記録した 記録媒体を装着する装着工程を備え、
上記再生工程は、 上記装着工程に装着された上記記録媒体に記録されている多 重化スト リームを再生することを特徴とする請求の範囲第 1 5項記載の復号方法 (
PCT/JP2003/007437 2002-06-20 2003-06-11 復号装置及び復号方法 WO2004002145A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US10/486,198 US7305173B2 (en) 2002-06-20 2003-06-11 Decoding device and decoding method
JP2004515490A JP4725104B2 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法
KR20047002442A KR100997166B1 (ko) 2002-06-20 2003-06-11 디코딩 장치 및 디코딩 방법
EP03733379A EP1530370A4 (en) 2002-06-20 2003-06-11 DECODING DEVICE AND DECODING METHOD
MXPA04001511A MXPA04001511A (es) 2002-06-20 2003-06-11 Aparato de descodificacion y metodo de descodificacion.

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002180411 2002-06-20
JP2002-180411 2002-06-20

Publications (1)

Publication Number Publication Date
WO2004002145A1 true WO2004002145A1 (ja) 2003-12-31

Family

ID=29996606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/007437 WO2004002145A1 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法

Country Status (8)

Country Link
US (1) US7305173B2 (ja)
EP (1) EP1530370A4 (ja)
JP (1) JP4725104B2 (ja)
KR (1) KR100997166B1 (ja)
CN (1) CN1299502C (ja)
MX (1) MXPA04001511A (ja)
TW (1) TWI236848B (ja)
WO (1) WO2004002145A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113058A (ja) * 2004-10-15 2006-04-27 Genesis Microchip Inc 内部アットスピード論理ｂｉｓｔを用いた論理ブロックの自動故障試験
JP2007221323A (ja) * 2006-02-15 2007-08-30 Sony Computer Entertainment Inc 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
US7698350B2 (en) 2005-04-18 2010-04-13 Sony Corporation Reproducing apparatus, reproduction controlling method, and program
US7965737B2 (en) 2005-08-30 2011-06-21 France Telecom Addressing method for transporting data on a telecommunication network, corresponding address structure signal, gateway and computer program
JP2013005452A (ja) * 2011-06-20 2013-01-07 Intel Corp マルチフォーマットビデオ処理のためのコンフィギュレーションバッファ割当

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8731378B2 (en) 2003-06-30 2014-05-20 Broadcom Corporation System, method, and apparatus for playing back a plurality of video elementary streams with one playback channel
TWI248762B (en) * 2004-11-10 2006-02-01 Realtek Semiconductor Corp Video processing device and method thereof
CN100518320C (zh) * 2005-05-12 2009-07-22 松下电器产业株式会社 信号再现装置
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
KR100934677B1 (ko) 2006-01-12 2009-12-31 엘지전자 주식회사 다시점 비디오의 처리
CN101945277B (zh) * 2006-01-12 2013-08-14 Lg电子株式会社 处理多视图视频
CN101375594B (zh) * 2006-01-12 2011-09-07 Lg电子株式会社 处理多视图视频
JP5021739B2 (ja) 2006-07-12 2012-09-12 エルジー エレクトロニクス インコーポレイティド 信号処理方法及び装置
WO2008010932A2 (en) * 2006-07-20 2008-01-24 Thomson Licensing Method and apparatus for signaling view scalability in multi-view video coding
JP5057820B2 (ja) * 2007-03-29 2012-10-24 株式会社東芝 デジタルストリームの記録方法、再生方法、記録装置、および再生装置
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
JP2008311871A (ja) * 2007-06-13 2008-12-25 Hitachi Ltd 情報記録再生装置及びビデオカメラ装置
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
KR101945830B1 (ko) * 2012-05-24 2019-06-11 삼성전자 주식회사 다중 동영상 재생 방법 및 장치
US10700944B2 (en) 2012-06-07 2020-06-30 Wormhole Labs, Inc. Sensor data aggregation system
US10649613B2 (en) 2012-06-07 2020-05-12 Wormhole Labs, Inc. Remote experience interfaces, systems and methods
US10489389B2 (en) 2012-06-07 2019-11-26 Wormhole Labs, Inc. Experience analytic objects, systems and methods
US9489387B2 (en) 2014-01-15 2016-11-08 Avigilon Corporation Storage management of data streamed from a video source device
CN110753259B (zh) * 2019-11-15 2022-01-25 北京字节跳动网络技术有限公司 视频数据的处理方法、装置、电子设备及计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0876063A2 (en) 1997-04-30 1998-11-04 Sony Corporation Signal reproducing apparatus and methods
JP2001352517A (ja) * 2000-06-08 2001-12-21 Nec Corp データ記録方法、装置、およびプログラムを記録した記録媒体
JP2003018549A (ja) * 2001-01-16 2003-01-17 Matsushita Electric Ind Co Ltd 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
JP2003242753A (ja) * 2002-02-18 2003-08-29 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5504532A (en) * 1989-09-07 1996-04-02 Advanced Television Test Center, Inc. Bi-directional television format digital signal converter with improved luminance signal-to-noise ratio
JPH06105440B2 (ja) * 1990-03-08 1994-12-21 株式会社日立製作所 主メモリ管理方法
EP0465110A3 (en) * 1990-06-27 1993-08-11 Matsushita Electric Industrial Co., Ltd. Apparatus for record and playback of a digital signal
JP3109185B2 (ja) * 1991-11-12 2000-11-13 ソニー株式会社 ディジタルｖｔｒ
JP3134434B2 (ja) * 1991-12-26 2001-02-13 ソニー株式会社 記録再生装置
JP3093494B2 (ja) * 1992-11-18 2000-10-03 株式会社東芝 多様性信号処理装置
JP3256627B2 (ja) * 1993-11-11 2002-02-12 株式会社東芝 動画復号化方法及びその装置
US5742727A (en) * 1994-11-05 1998-04-21 Sony Corporation Apparatus and method for recording and reproducing a television signal
JPH11127438A (ja) * 1997-10-21 1999-05-11 Toshiba Corp 動画復号化装置用メモリ管理方法及びその装置
JP2002521884A (ja) * 1998-07-15 2002-07-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｈｄｔｖ信号の記録および編集
JP4642171B2 (ja) * 1998-09-24 2011-03-02 ソニー株式会社 画像再生装置および方法、並びに記録媒体
JP3356078B2 (ja) * 1998-09-29 2002-12-09 日本電気株式会社 圧縮ストリーム復号装置および圧縮ストリーム復号方法
WO2000040033A1 (en) * 1998-12-23 2000-07-06 Zoran Corporation Video memory management for mpeg video decode and display system
JP2002069387A (ja) * 2000-08-28 2002-03-08 Sekisui Chem Co Ltd 接着剤組成物及び該接着剤組成物を用いた接合方法
JP2002077837A (ja) * 2000-08-29 2002-03-15 Victor Co Of Japan Ltd データ放送番組送出方法およびデータ放送受信装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0876063A2 (en) 1997-04-30 1998-11-04 Sony Corporation Signal reproducing apparatus and methods
JP2001352517A (ja) * 2000-06-08 2001-12-21 Nec Corp データ記録方法、装置、およびプログラムを記録した記録媒体
JP2003018549A (ja) * 2001-01-16 2003-01-17 Matsushita Electric Ind Co Ltd 情報記録装置および方法、情報記録プログラム、および情報記録プログラムを記録した記録媒体
JP2003242753A (ja) * 2002-02-18 2003-08-29 Pioneer Electronic Corp 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113058A (ja) * 2004-10-15 2006-04-27 Genesis Microchip Inc 内部アットスピード論理ｂｉｓｔを用いた論理ブロックの自動故障試験
US7698350B2 (en) 2005-04-18 2010-04-13 Sony Corporation Reproducing apparatus, reproduction controlling method, and program
US7965737B2 (en) 2005-08-30 2011-06-21 France Telecom Addressing method for transporting data on a telecommunication network, corresponding address structure signal, gateway and computer program
JP2007221323A (ja) * 2006-02-15 2007-08-30 Sony Computer Entertainment Inc 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
JP4519082B2 (ja) * 2006-02-15 2010-08-04 株式会社ソニー・コンピュータエンタテインメント 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
US7885472B2 (en) 2006-02-15 2011-02-08 Sony Computer Entertainment Inc. Information processing apparatus enabling an efficient parallel processing
US8036474B2 (en) 2006-02-15 2011-10-11 Sony Computer Entertainment Inc. Information processing apparatus enabling an efficient parallel processing
JP2013005452A (ja) * 2011-06-20 2013-01-07 Intel Corp マルチフォーマットビデオ処理のためのコンフィギュレーションバッファ割当
US9037761B2 (en) 2011-06-20 2015-05-19 Intel Corporation Configurable buffer allocation for multi-format video processing

Also Published As

Publication number Publication date
US20040240859A1 (en) 2004-12-02
JP4725104B2 (ja) 2011-07-13
US7305173B2 (en) 2007-12-04
EP1530370A1 (en) 2005-05-11
EP1530370A4 (en) 2008-12-03
KR20050012709A (ko) 2005-02-02
CN1545808A (zh) 2004-11-10
JPWO2004002145A1 (ja) 2005-10-27
MXPA04001511A (es) 2004-05-31
KR100997166B1 (ko) 2010-11-29
TW200409543A (en) 2004-06-01
TWI236848B (en) 2005-07-21
CN1299502C (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
JP4725104B2 (ja) 復号装置及び復号方法
CN1306796C (zh) 解码器装置和利用它的接收机
JP3617573B2 (ja) フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機
US7639924B2 (en) Audio/video decoding process and device, and video driver circuit and decoder box incorporating the same
CN100499762C (zh) 用于同时记录和显示两个不同的视频节目的方法和装置
US20100239233A1 (en) Video Processing and Optical Recording
KR100968842B1 (ko) 복호 장치 및 복호 방법
US7446819B2 (en) Apparatus and method for processing video signals
JP2004193673A (ja) 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP2003244600A (ja) 情報記録再生装置
JP2005184788A (ja) 信号処理装置
JP2003143602A (ja) 復号装置，復号方法，復号プログラム，および復号プログラム記録媒体
JP4366912B2 (ja) 復号装置及び復号方法
JP4288442B2 (ja) 記録再生装置および映像処理方法
JP2000032475A (ja) 動画像再生装置
JP2016096524A (ja) 電子機器及び信号処理方法
JP2000299854A (ja) 多チャンネル映像音声信号サーバおよびプログラム記録媒体
JP2005526469A (ja) 垂直フォーマットコンバータのメモリ管理のための方法及びシステム
JP2010193527A (ja) 映像信号表示装置および映像信号表示方法
JP2005217609A (ja) 映像情報再生装置
JP2001086495A (ja) 符号化ディジタル信号復号装置及びそれを内臓した受信機、テレビ並びに記録再生装置
JP2001157112A (ja) テレシネ装置、映像信号処理装置、および映像信号伝送システム
JPH11289520A (ja) デコーダ装置及びこれを用いた受信機
JP2001054036A (ja) 復号化装置及びそれを用いたテレビジョン受信機

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR MX US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 2004515490

Country of ref document: JP

Ref document number: 10486198

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2003733379

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: PA/a/2004/001511

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 1020047002442

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038008955

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003733379

Country of ref document: EP