WO2004002141A1 - 復号装置及び復号方法 - Google Patents

復号装置及び復号方法 Download PDF

Info

Publication number
WO2004002141A1
WO2004002141A1 PCT/JP2003/007439 JP0307439W WO2004002141A1 WO 2004002141 A1 WO2004002141 A1 WO 2004002141A1 JP 0307439 W JP0307439 W JP 0307439W WO 2004002141 A1 WO2004002141 A1 WO 2004002141A1
Authority
WO
WIPO (PCT)
Prior art keywords
storage area
image
image frame
stream data
decoding
Prior art date
Application number
PCT/JP2003/007439
Other languages
English (en)
French (fr)
Inventor
Takashi Karimoto
Masayoshi Mizuno
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to JP2004515491A priority Critical patent/JP4403404B2/ja
Priority to KR1020047002301A priority patent/KR100968842B1/ko
Priority to EP03760866A priority patent/EP1515550A4/en
Priority to US10/486,546 priority patent/US8224148B2/en
Publication of WO2004002141A1 publication Critical patent/WO2004002141A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video stream decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42661—Internal components of the client ; Characteristics thereof for reading from or writing on a magnetic storage medium, e.g. hard disk drive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Definitions

  • the present invention relates to digital television broadcasting, and more particularly, to a decoding device for appropriately decoding image stream data of a received broadcast according to the type and number of image stream data. And a decoding method.
  • digital broadcasting services that enable broadcasting services with features such as provision of high-quality programs and provision of programs on multiple channels include broadcasting satellites (BS), communication iir stars (CS: Communications). Satellite).
  • BS broadcasting satellites
  • CS communication iir stars
  • Satellite satellite
  • digital high-definition broadcasting (HD TV: High Definition Television) is the main service.
  • HD TV High Definition Television
  • BS digital broadcasting services when digital high-definition broadcasting is not performed, multimedia broadcasting is not available. It has been devised to provide a service called Chibiyu Broadcasting.
  • multi-view broadcasting divides the bandwidth of digital high-definition broadcasting into three channels, and combines multiple related contents in one program into the conventional standard television broadcasting (SD TV: Standard Definition Television). It is a service that broadcasts several at the same time.
  • SD TV Standard Definition Television
  • a decoder for decoding a received image stream provided in a receiving apparatus for receiving the digital broadcast described above temporarily stores the decoded image data in a frame memory and outputs the image data as an image frame. .
  • the decoding process in the decoder cannot be executed unless the use state of the frame memory, that is, the empty state of the memory area of the frame memory is confirmed.
  • the frame memory had to output the decoded and stored image frames in order and secure an empty area.
  • the receiving device for receiving the multi-view broadcast since the number of channels to be decoded within the same time increases, the utilization rate of the memory area of the frame memory within the same time increases. It becomes difficult to secure free space. For this reason, there is a problem that a delay occurs in the decoding process, and there is a high possibility that the image frame is not output smoothly. In particular, at the point of switching from multi-view broadcasting to digital high-definition broadcasting, the effect of decoding processing delay is considered to be significant.
  • An object of the present invention is to provide a new decoding device and a new decoding method that can solve the problems of the conventional receiving device for receiving multi-view broadcasting as described above.
  • the proposed decoding device for achieving the above object has the following features:
  • the HD image stream data encoded by the D (High Definition) method is decoded into HD image frames, and m (m is a natural number) SD image stream data encoded by the SD (Standard Definition) method is decoded.
  • Decoding means for decoding into SD image frames in a time-division manner image frame storage means for storing HD image frames decoded by the decoding means, and storing SD image frames decoded by the decoding means, and HD image stream data
  • an area for storing a predetermined number of decoded HD image frames is secured, and when decoding m SD image stream data, SD image frames corresponding to the respective decoded streams are provided.
  • Control means for controlling the image frame storage means so as to secure an area capable of storing the image frames by a predetermined number of frames, and HD image frames in the image frame storage means.
  • the HD image frame is read out based on the output time information held by the HD image frame written in the image frame storage means, and written into the SD storage area.
  • An image frame reading means for reading the SD image frame based on the output time information held by the SD image frame, and an HD image frame read by the image frame reading means, which is read by the image frame reading means.
  • Output means for outputting the SD image frames so as to be arranged on the same screen.
  • the decoding method decodes HD image stream data encoded in the HD (High Definition) format into HD image frames, and encodes m (m is a natural number) encoded in the SD (Standard Definition) format. Decoding the SD image stream data into SD image frames in a time-division manner, storing the HD image frames decoded in the decoding process, and storing the SD image frames decoded in the decoding process When decoding HD image stream data, an area capable of storing a predetermined number of decoded HD image frames is secured, and when decoding m SD image stream data, the decoded individual stream is used.
  • decoding devices include HD image stream data encoded by the HD (High Definition) method or m (m is a natural number) SD images encoded by the SD (Standard Definition) method.
  • Input means for inputting multiplexed SD image stream data in which stream data is multiplexed, and when multiplexed SD image stream data is input by the input means, multiplexed SD image stream data is separated into m image stream data
  • Decoding means for decoding the HD image stream input by the input means into HD image frames, and decoding the m SD image stream data separated by the separating means into SD image frames in a time-division manner.
  • the decoding means Means for storing HD image frames decoded by the decoding means, and image frame storing means for storing SD image frames decoded by the decoding means.
  • decoding HD image stream data an area for storing a predetermined number of frames of decoded HD image frames is secured, and when decoding m pieces of SD image stream data, the decoded Control means for controlling the image frame storage means so as to secure an area capable of storing a predetermined number of SD image frames corresponding to each stream, and HD image frames or SD image frames in the image frame storage means.
  • Another decoding method employs an H (High Definition) encoded H Inputs D image stream data or multiplexed SD image stream data in which m (m is a natural number) SD image stream data encoded by SD (Standard Definition) method is multiplexed
  • An input step of inputting the multiplexed SD image stream data in the input step a separating step of separating the multiplexed SD image stream data into m image stream data, and an HD input in the input step.
  • a decoding step of decoding the image stream data into an HD image frame decoding the m SD image stream data separated by the separation step into an SD image frame in a time-division manner, and an HD decoded in the decoding step.
  • the SD image frames corresponding to the respective decoded streams can be stored by the predetermined number of frames. Controlling the image frame storage means so as to secure an area, writing an HD image frame into the image frame storage means or writing m SD image frames into the SD storage area, and writing an image frame.
  • the HD image frame is read based on the output time information held by the HD image frame written in the column, and the SD image frame is read based on the output time information held by the SD image frame written in the SD storage area.
  • the image frame readout process to be read and the HD image frame read out in the image frame readout process are output.
  • Output step outputs the SD image frames read by the image frame read process to be placed on the same screen. And a.
  • FIG. 1 is a diagram for explaining multi-view broadcasting.
  • FIG. 2 is a diagram showing a use form of a recording / reproducing apparatus to which the present invention is applied.
  • FIG. 3 is a block diagram showing a main configuration of a recording / reproducing apparatus to which the present invention is applied.
  • FIG. 4 is a block diagram showing an MPEG video decoder constituting a recording / reproducing apparatus to which the present invention is applied.
  • FIG. 5 is a diagram showing a state of a code buffer and a selector when one HD stream is supplied to an MPEG video decoder in a recording and reproducing apparatus to which the present invention is applied.
  • FIG. 6 is a diagram showing a state of a code buffer and a selector when one SD stream is supplied to an MPEG video decoder in a recording and reproducing apparatus to which the present invention is applied.
  • FIG. 7 is a diagram showing a state of a code buffer and a selector when two SD streams are supplied to a MPEG video decoder in a recording and reproducing apparatus to which the present invention is applied.
  • FIG. 8 is a diagram showing a state of a code buffer and a selector when three SD streams are supplied to a MPEG video decoder in a recording and reproducing apparatus to which the present invention is applied.
  • FIG. 9 is a flowchart showing the operation of the MPEG video decoder in the recording / reproducing apparatus to which the present invention is applied.
  • FIG. 10 is a flowchart showing the decoding processing operation of the MPEG video decoder.
  • FIG. 11 is a flowchart showing an operation when releasing a virtual frame.
  • FIG. 12A is a diagram for explaining the entire memory area of the frame memory in the recording / reproducing apparatus to which the present invention is applied, and FIG. 12B shows the memory area when the frame memory is defined for SD.
  • Figure 12C shows the frame memory as H
  • FIG. 6 is a diagram showing a memory area when defined for D
  • FIG. 13 is a diagram for explaining the correspondence between the frame memory and the virtual frame.
  • FIG. 14 is a diagram illustrating an example of a virtual frame.
  • FIG. 15 is a flowchart showing the management operation of the host CPU using the virtual frame when decoding the multi-view broadcast.
  • FIG. 16 shows a virtual file used to explain the operation of the flowchart shown in FIG. It is a figure showing an example of a frame.
  • FIG. 17 is a flowchart for explaining a management operation of the host CPU using a virtual frame when decoding a digital Hi-Vision broadcast in the recording / reproducing apparatus to which the present invention is applied.
  • BEST MODE FOR CARRYING OUT THE INVENTION a decoding device and a decoding method according to the present invention will be described in detail with reference to the drawings.
  • the present invention is applied to a recording / reproducing apparatus 100 as shown in FIG.
  • This recording / reproducing device 100 is connected to a television receiver 200 as shown in FIG.
  • the television receiver 200 may include a terrestrial tuner capable of receiving terrestrial waves, a BS (Broadcasting Satellite) tuner, a BS digital tuner, a CS (Communications Satellite) tuner, and a CS digital tuner.
  • Various functions of the recording / reproducing apparatus 100 can be remotely controlled by a remote controller 300 as shown in FIG. Further, the remote controller 300 can remotely control various functions of the television receiver 200.
  • a recording / reproducing apparatus 100 to which the present invention is applied is a recording / reproducing apparatus capable of recording a video signal, an audio signal, and various data on a recording medium without compressing a digital Hi-Vision broadcast.
  • the recording / reproducing apparatus 100 has a built-in digital tuner as described later.
  • the recording / reproducing apparatus 100 receives a digital high-definition broadcast provided by BS digital broadcasting and records the received digital high-definition broadcast as described above. Can be recorded on media.
  • the main configuration of the recording / reproducing device 100 will be described with reference to FIG.
  • the recording / reproducing apparatus 100 includes a terrestrial tuner 1, an input switching circuit 2, a YC separation circuit 3, an input switching circuit 4, an NTSC (National Television System Standard Committee) decoder 5, a synchronization control circuit 6, , Pre-video signal processing circuit 7, MPEG (Moving Picture Experts Group) video encoder 8, audio A / D converter 9, MPEG audio encoder 10, digital tuner 11, multiplexing / demultiplexing circuit (MUX / DMX) 1 2, recording / playback processing unit 1 3, host CPU 1 4, SDRAM (Synchronous Dynamic Random Access Memory) 15, R 0 M (Read Only Memory) 16, MP EG video decoder 17, post video signal processing circuit 18, ⁇ SD (On Screen Display 1) 9, NTSC encoder 20; MPEG audio decoder 21; switching circuit 22; audio D / A converter 23; digital IN / OUT 24; digital interface circuit 25; A wave EPG tuner 26 and a data slicer 27 are provided.
  • MPEG Motion Picture Experts Group
  • the terrestrial tuner 1 receives a terrestrial broadcast and supplies a composite video signal and an audio signal of the received broadcast to the input switching circuit 2.
  • the input switching circuit 2 is supplied with a composite video signal and an audio signal from the terrestrial tuner 1, and is supplied with a composite video signal and an audio signal from an external device.
  • the input switching circuit 2 receives either a composite video signal and an audio signal supplied from the terrestrial tuner 1 or a composite video signal and an audio signal supplied from an external device in accordance with an instruction from the host CPU 14. Select The input switching circuit 2 outputs the selected composite video signal to the YC separation circuit 3 and the audio signal to the audio A / D converter 9.
  • the YC separation circuit 3 separates the composite video signal input from the input switching circuit 2 into YC signals and supplies the composite video signal to the input switching circuit 4.
  • the input switching circuit 4 selects an external S video input or an output from the YC separation circuit 3 according to an instruction from the host CPU 14, and supplies the selected signal to the NTSC decoder 5.
  • the NTSC decoder 5 performs A / D conversion and chroma encoding on the input video signal, converts it to a digital component video signal (hereinafter referred to as image data), and supplies it to the pre-video signal processing circuit 7 I do.
  • the NTSC decoder 5 supplies a clock generated based on the horizontal synchronization signal of the input video signal, and a horizontal synchronization signal, a vertical synchronization signal, and a field discrimination signal obtained by performing synchronization separation to the synchronization control circuit 6.
  • the synchronization control circuit 6 generates a clock and a synchronization signal, which are converted into timings necessary for each block described later, based on the horizontal synchronization signal, the vertical synchronization signal, and the field discrimination signal. Supply to block.
  • the pre-video signal processing circuit 7 decodes the image data supplied from the NTSC decoder 5
  • the video signal is subjected to various video signal processing such as pre-filling and supplied to the MPEG video encoder 8 and the post video signal processing circuit 18.
  • the MPEG video encoder 8 performs an encoding process such as a block DCT (Discrete Cosine Transform) on the image data supplied from the pre-video signal processing circuit 7 to generate an ES (Elementary Stream) of the image. Supply to the multiplexing / demultiplexing circuit 12.
  • MPEG is used as the compression method. However, other compression methods or non-compression may be used.
  • the audio A / D converter 9 converts the audio signal selected by the input switching circuit 2 into a digital audio signal and supplies the digital audio signal to the MPEG audio encoder 10.
  • the MPEG audio encoder 10 compresses the supplied digital audio signal in accordance with the MPEG format, generates an ES of the audio, and supplies it to the multiplexing / demultiplexing circuit 12 in the same manner as the video signal.
  • MPEG is used as the compression method.
  • other compression methods or non-compression may be used.
  • the digital tuner 11 is a tuner that receives BS digital broadcast, CS digital broadcast, and terrestrial digital broadcast.
  • BS digital broadcasting is a service centered on digital high-vision broadcasting, but can also provide standard television broadcasting.
  • BS digital broadcasting divides the digital high-definition broadcast frame into three standard television broadcasts and simultaneously broadcasts them, and also divides the digital high-definition broadcast band into three channels to produce one program. It is assumed that a multi-view broadcast that simultaneously broadcasts a plurality of related contents as standard television broadcasts is provided.
  • the digital tuner 11 receives, for example, a BS digital broadcast multiplexed in the MPEG 2 transport stream, modulated by a predetermined modulation method, and transmitted, and supplies the received TS signal to the multiplexing / demultiplexing circuit 12 I do.
  • the number of horizontal effective pixels (picture—coding—h_size) of an NTSC video signal received by the terrestrial tuner 1 or the digital tuner 11 is 720 or more, or the number of vertical effective pixels (picture_coding_v—size) is 480.
  • the received video signal is assumed to be a digital high definition broadcast (High Definition Television) video signal, that is, a video signal encoded in the HD system.
  • Other video signals are SD format Is a video signal encoded by.
  • the video signal received by the terrestrial tuner 1 or digital tuner 11 is the PAL (Phase Alternation by Line) system
  • the number of horizontal effective pixels of the video signal is 720 or more, or the number of vertical effective pixels is 540 or more.
  • the video signal is a digital high-vision broadcast video signal, that is, a video signal encoded in the HD system.
  • Video signals other than the above shall be video signals encoded in the SD system.
  • the video signal of the digital high-definition broadcast can be expressed as (the number of horizontal effective pixels X the number of vertical effective pixels; frame rate) as the number of horizontal effective pixels, the number of vertical effective pixels, and the frame rate.
  • the video signal of standard television broadcasting is (720 x 480i; 29.97 Hz), (544 x 480i; 29.97 Hz), and the number of horizontal effective pixels of the actual video data is 540 ), (480 ⁇ 480 ⁇ ; 29.97 Hz).
  • the video signal transmitted in low hierarchy as a rainfall compliant broadcast in BS digital broadcasting is specified as (35 X 240p; 29.97Hz or less) and will be standard television broadcasting.
  • i and p indicate a scanning method such as "intra race” and “progressive”.
  • the video signal of digital high-definition broadcasting is specified using the number of effective horizontal pixels, the number of effective vertical pixels, and the frame rate.
  • a video signal of a digital high-definition broadcast has a horizontal effective pixel number, a vertical effective pixel number, and a frame rate expressed as (the number of horizontal effective pixels x the number of vertical effective pixels; frame rate).
  • the multiplexing / demultiplexing circuit 12 performs multiplexing processing of the video ES, the audio ES, and various control signals at the time of recording on the recording medium 50 described later.
  • the multiplexing / demultiplexing circuit 12 combines the input MPEG video ES, MPEG audio ES, and various control signals, performs multiplexing processing (for example, generation of a transport stream of the MPEG system), and buffer control. After processing, it is output to the recording Z playback processing unit 13.
  • the buffer control process is a control for intermittently sending the continuously input TS to the subsequent recording / reproducing processing unit 13. For example, when the recording / reproduction processing unit 13 is performing a seek operation of the recording medium 50, the TS cannot be written. Therefore, the TS is temporarily stored in a buffer. By writing at a high rate, continuous input TS signals are recorded without interruption.
  • the multiplexing / demultiplexing circuit 12 performs buffer control so that a TS (Transport Stream) reproduced and supplied intermittently by the recording / reproduction processing unit 13 is made continuous during reproduction of the recording medium 50 described later. Then, the separation process is performed. In the demultiplexing process of the multiplexing / demultiplexing circuit 12, a packetized elementary stream (PES) is extracted from the TS, and further separated into video ES and audio ES. Then, the MP EG video decoder 17 and the MP EG audio decoder 21 To supply.
  • PES Packesized elementary stream
  • the digital tuner 11 receives the digital broadcast, and after descrambling the digital signal-specific scrambling applied to the TS signal, supplies the TS to the multiplexing / demultiplexing circuit 12.
  • the multiplexing / demultiplexing circuit 12 PES is extracted from the supplied TS signal, and the recording medium 50 As in the case of reproducing the video, the video ES and the audio ES are further separated and supplied to the MPEG video decoder 17 and the MPEG audio decoder 21.
  • the multiplexing / demultiplexing circuit 12 determines the PID of a TS packet containing services such as video, audio, and related information that constitute a broadcast program multiplexed in the TS.
  • the PSI Program Specific Information
  • PMT Program Map Table
  • the host CPU 14 determines whether the extracted PES is an HD stream, which is a stream of digital high-definition broadcasting, an SD stream, which is a stream of standard television broadcasting, and an SD stream. If, the number of the transmitted SD streams can be detected.
  • the multiplexing / demultiplexing circuit 12 extracts the electronic program information (EPG) inserted in the BS signal by using the various information purging function built in the multiplexing / demultiplexing circuit 12 and supplies the same to the host CPU 14. .
  • the host CPU 14 analyzes the EPG signal and displays program information on the GUI.
  • the recording / reproducing processing unit 13 performs a process of overnight recording on the recording medium 50 and a process of reproducing the data recorded on the recording medium 50.
  • the recording medium 50 is an optical disk, a magneto-optical disk, a solid-state memory, or the like that can be mounted on the mounting portion of the recording / reproducing device (not shown), or an HDD (Hard Disk Drive) previously mounted on the recording / reproducing device. .
  • the recording / reproduction processing unit 13 records the TS supplied from the multiplexing / demultiplexing circuit 12 on the recording medium 50, and outputs the TS reproduced from the recording medium 50 to the multiplexing / demultiplexing circuit 12.
  • the host CPU 14 controls all functional blocks of the recording / reproducing apparatus 100 in an integrated manner. In addition, the host CPU 14 accesses the SDRAM 15 and the R ⁇ M 16 via the host bus as needed to control the entire system.
  • the MPEG video decoder 17 performs a decoding process on the input video ES, obtains baseband image data, and supplies it to the post video signal processing circuit 18. The configuration and operation of the MPEG video decoder 17 will be described later in detail.
  • the post video signal processing circuit 18 includes a switching circuit (not shown) and a field recursive type noise. After switching between the image data supplied from the MPEG video decoder 17 and the image data supplied from the pre-video signal processing circuit 7. Apply various processing and supply image data to OSD 19.
  • the OSD 19 generates graphics for screen display and the like, performs processing such as overlapping or partially displaying the image data, and supplies it to the NTSC encoder 20.
  • the NTSC encoder 20 converts the input image data (component digital signal) into a YC signal, performs D / A conversion, obtains an analog composite video signal and an S video signal, and outputs a television signal. Input to the video input terminal provided in the receiver 200.
  • the MPEG audio decoder 21 obtains a baseband audio signal by performing composite processing on the audio ES signal supplied from the multiplexing / demultiplexing circuit 12, and supplies the baseband audio signal to the switching circuit 22.
  • the switching circuit 22 selects the audio data supplied from the MPEG audio decoder 21 and the audio data supplied from the audio A / D converter 9, and converts the selected audio data to audio D / A conversion. Output to container 23.
  • the audio 0 / converter 23 converts the audio data into an analog audio signal, and inputs the converted analog audio signal to an audio input terminal provided in the television receiver 200.
  • signals supplied and output from the digital IN / OUT 24 will be described.
  • a digital interface such as IEEEE 394, which is a digital interface
  • the digital signal is converted to a digital interface circuit 2. Entered in 5.
  • the digital interface circuit 25 performs processing such as format conversion to generate T S so as to conform to the present method, and supplies it to the multiplexing / demultiplexing circuit 12.
  • the multiplexing / demultiplexing circuit 12 further analyzes and generates control signals and the like, and converts them into TS suitable for the present method.
  • the multiplexing / demultiplexing circuit 12 performs the demultiplexing process, and By supplying video ES to the audio decoder 21 and audio ES to the MPEG audio decoder 21, analog video and audio signals can be obtained.
  • the reproduced TS is input to the multiplexing / demultiplexing circuit 12 as described above.
  • the T S input to the multiplexing / demultiplexing circuit 12 analyzes and generates a control signal as necessary, and supplies the control signal to the digital interface circuit 25.
  • the digital interface circuit 25 performs a conversion reverse to that at the time of recording, converts the digital signal into a digital signal conforming to an external IRD, and outputs the digital signal via the digital I / O 24.
  • the multiplexing / demultiplexing circuit 12 performs demultiplexing processing and supplies PES to the MPEG video decoder 17 and MPEG audio decoder 21 to obtain analog video and audio signals. it can.
  • connection with the IRD has been described, but it is also possible to connect with a device such as or a personal computer.
  • the terrestrial EPG tuner 26 is controlled by the host CPU 14, receives the CH (channel) on which the EPG is superimposed, and supplies the received video signal to the data slicer 27.
  • the data slicer 27 extracts EPG data from the input video signal and supplies it to the host CPU 14.
  • the host CPU 14 analyzes the EPG signal and displays program information on the GUI.
  • the EPG data obtained from BS digital or terrestrial broadcasting is used not only for displaying the program guide, but also as information for timer recording and for displaying the title of recorded programs.
  • the MP for decoding the TS supplied from the digital tuner 11 or the recording medium 50 via the multiplexing / demultiplexing circuit 12 is used.
  • the detailed configuration of the EG video decoder 1 will be described. '
  • the MPEG video decoder 17 includes a code buffer 31, a selector 32, a decode core 33, a frame memory 34, and a display mixer 35.
  • the code buffer 31 is a buffer for temporarily buffering the video ES supplied from the multiplexing / demultiplexing circuit 12 for a plurality of pictures.
  • the host CPU 14 controls the buffering area of the code buffer 31 dynamically according to the number of streams of the video ES supplied from the multiplexing / demultiplexing circuit 12 under the control of the CPU 14. Can be assigned to a stream.
  • the multiplexing / demultiplexing circuit 12 supplied with the TS acquires the PSI multiplexed on the TS and supplies the PSI to the host CPU 14.
  • the host CPU 14 grasps the stream type and the number of streams from the PSI supplied from the multiplexing / demultiplexing circuit 12, and the supplied video ES is an SD stream, and the If the number is two or three, the code buffer 31 is controlled to dynamically change the buffering area, and a buffering area is assigned to each stream.
  • the multiplexing / demultiplexing circuit 12 When the stream recorded on the recording medium 50 is reproduced and supplied to the multiplexing / demultiplexing circuit 12, information such as the stream type and the number of streams is constructed on the recording medium 50. Can be obtained from the base.
  • the selector 32 switches the output from the code buffer 31 in a time-division manner under the control of the host CPU 14 and performs decoding core 3 switching. 3. Operate to supply.
  • the selector 32 supplies the output from the code buffer 31 to the decoded core 33 without switching operation when the HD stream is supplied and when the SD stream is supplied alone. do.
  • the states are as shown in FIGS. 5 and 6, respectively.
  • the buffering area of the code buffer 31 is allocated for each input stream, and the selector 32 operates to control the input to the decode core 33 in a time-division manner.
  • the stream is identified by the PID, and two or three SD streams supplied from the multiplexing / demultiplexing circuit 12 to the code buffer 31 are also supplied to a predetermined buffering area based on the PID. Is done.
  • the decode core 33 performs an MPEG decoding process on the HD stream and the SD stream supplied from the code buffer 31 in frame units to generate image data.
  • the generated image data is supplied to the subsequent frame memory 34.
  • an HD stream decoded by the decode core 33 is called an HD frame
  • an SD stream decoded by the decode core 33 is called an SD frame
  • the frame memory 34 has a predetermined storage capacity, for example, a storage capacity capable of storing 16 frames for an SD frame and 4 frames for an HD frame.
  • the frame memory 34 temporarily stores the HD frame and the SD frame decoded by the decode core 33 in a predetermined memory area under the control of the host CPU 14. Similarly, the stored HD frame and SD frame are read out under the control of the host CPU 14 and output to the display mixer 35 at the subsequent stage.
  • the host CPU 14 manages in the memory area of the frame memory 34 the SD frame and HD frame that are decoded by the decode core 33 and stored in the frame memory 34.
  • the display mixer 35 determines the positioning of the HD frame and SD frame read from the frame memory 34 by the host CPU 14 when the HD frame and SD frame are output to the television receiver 200, for example. It is executed under the control of the CPU 14 and supplied to the post video signal processing circuit 18. In particular, when a multi-view broadcast provided in BS digital broadcasting is received by the digital tuner 11, the control of the host CPU 14 so that up to three frames are properly arranged on the same screen Positioning is performed according to.
  • the decoding process in the MPEG video decoder 17 whose configuration is shown in FIG. 4 does not indicate the process of simply decoding the stream with the decode core 33, but the stream decoded by the decode core 33 with the frame.
  • the memory area of the frame memory 34 must be managed, that is, the frame decoded by the decode core 33 is stored in any memory area of the frame memory 34. It is necessary to manage such things. Decoding the stream by the decoding core 33 is not executed unless there is a free space in the frame memory 34.
  • the host CPU 14 prepares a management table in the SD RAM I 5 for collectively managing the use status of the frame memory 34, and refers to this management table to make available space in the frame memory 34. It manages the memory area and controls the decoding processing in the decoding core 33. The host CPU 14 also controls the output of the frame stored in the frame memory 34 with reference to the management table prepared in the SDRAM 15.
  • the host CPU 14 when the HD stream or the SD stream is independently supplied to the code buffer 31, the host CPU 14 outputs the frames in order from the frame stored in the frame memory 34 in order. It is sufficient to secure a free memory area of the frame memory 34 and allow the decoding core 33 to decode.
  • the decoded frame is generated from two or three SD streams supplied to the code buffer 31 by using the decoded core 33 in a time division manner.
  • the SD frames constituting each generated SD frame are stored in the frame memory 34.
  • two or three SD frames need to be output from the frame memory 34 simultaneously.
  • the host CPU 14 since a plurality of SD frames of different channels decoded by the decode core 33 are stored, the host CPU 14 stores information for distinguishing channels, It is necessary to keep track of time information output from the memory 34.
  • the host CPU 14 is required to prepare a management table and manage the use state of the frame memory 34.
  • the management table prepared by the host CPU 14 in the SDRAM 15 is also called a virtual frame.
  • the virtual frame which is a management table constructed in the SDRAM 15 by the host CPU 14, corresponds to the memory area of the frame memory 34.
  • the frame storage status in the memory area of the memory 34 is reflected and stored as information.
  • the host CPU 14 allows the decode core 33 to execute decoding and outputs the frame stored in the frame memory 34 based on the virtual memory which is a management table expanded in the SDRAM 15. By performing the control, the decoding process in the MPEG video decoder 17 can be accurately executed.
  • the host CPU 14 manages the decoding processing of the MPEG video decoder 17 by using the virtual frames expanded in the SD RAM 15, the host CPU 14 uses a video decoding management unit and a virtual frame for each channel, that is, for each video decoding processing. Functions as a management unit and a display management unit.
  • the video decode management unit manages a process of decoding the stream input to the MPEG video decoder 17 into frames.
  • the decoding process managed by the video decoding management unit starts with securing an empty area in the frame memory 34, and is decoded by the decoding core 33 according to the securing of the empty area, and is decoded by the decoding core 33. This indicates up to the determination of the display order of the frames stored in the empty area of the frame memory 34. All of the management of the decoding process as the video decode management unit of the host CPU 14 is executed through the virtual frame developed in the SDRAM 15 which is a management table.
  • the video decoding management unit manages the virtual frame
  • the virtual frame management unit that performs management of the virtual frame determines whether the stream type is an HD stream or an SD stream.
  • a request is made to search whether there is free space according to the above, and if there is a free space in the virtual frame, the free space is secured and the memory area of the frame memory 34 corresponding to the free space of the virtual frame Is controlled so that image decoding is executed.
  • the video decode management unit also manages the display order in response to a request for special playback (reverse playback) in which the display order differs from the decoding order, such as Low R, Ste R, and FR.
  • the display order management by the video decoding management unit is also performed by using a virtual frame which is a management table, for example, by numbering a display order according to a user request to a virtual frame corresponding to the frame memory 34 in which the frame is stored. Emotion
  • the display order is managed by giving information.
  • the display management unit manages and executes display processing based on the display order of the decoded frames determined by the video decode management unit.
  • the display management unit executes the display processing using information described in the virtual frame which is a management table. For example, for each VSync interrupt, the display management unit searches for a displayable frame in the virtual frame, and selects and displays a frame that matches the display conditions. In addition, the display management unit selects the frames for which display has been completed, and returns the virtual frames that are determined to be unnecessary to the virtual frame management unit thereafter. As a result, the virtual frame becomes an empty area, and the frame actually stored in the memory area of the frame memory 34 is displayed, which corresponds to the fact that the memory area of the frame memory 34 becomes an empty area. Will be.
  • the virtual frame management unit executes management of a virtual frame, which is a management table of the frame memory 34, which has been compromised in the SDRAM 15.
  • the virtual frame management unit manages virtual frames and grasps the virtual frames that can be used in the channel.
  • the virtual frame management unit searches for an empty area on the virtual frame, and the virtual frame returned from the display management unit. Execute the processing to release the frame.
  • the MPEG video decoder 17 configured as described above controls the HD stream supplied from the multiplexing / demultiplexing circuit 12 under the control of the host CPU 14 using the virtual frame developed in the SDRAM 15. It can decode and output SD streams into HD frames and SD frames.
  • the decoding processing in each channel is an independent operation.
  • the decoding process of each channel is actually executed by the MPEG video decoder 17 which has only one decoding core 33, the channel 03 007439
  • the decoding processing operation can be described assuming a model in which processing is performed by a plurality of decoders that are provided independently for every 20 files.
  • the independent decoder is used. Since the model can be modeled as a process, the decoding process of one channel will be described to explain the decoding process operation of the MPEG video decoder 17.
  • step S 1 of the flowchart shown in FIG. 9 the video decoding management unit of the channel issues a signal to the virtual frame management unit in response to the stream being supplied to the MPEG video decoder 17. 15 Requests the number of virtual frames required for decoding from the virtual frame which is the management table expanded in 5. Let the number of requested virtual frames be the number of requested virtual frames (req_num [ch]).
  • step S2 the virtual frame management unit of the channel searches for a virtual frame developed in the SDRAM 15 according to the request of the video decode management unit, and searches for the virtual frame used in the channel. Count the number of frames (used-num [ch]) and the number of frames of virtual frames that can be used and are not used for the channel (blank_num [ch]).
  • step S3 the virtual frame management unit determines the number of virtual frames used in the channel (used_imni [ch]) and the number of virtual frames requested by the video decode management unit (req_miiii [ch]). ])) Is less than or equal to the maximum number of virtual frames that can be used for decoding processing on the channel (used—num [ch] + req—num [ch] ⁇ max—num [ch]). If so, the process proceeds to step S4. If the maximum number is exceeded, the process proceeds to step S5.
  • step S4 the virtual frame management unit determines that the requested virtual frame number (r> eq_num [ch]) of the virtual frame requested by the video decode management unit is available for the channel and used. Number of virtual frames that have not been num [ch]) or less, the process proceeds to step S6. If the number of unused virtual frames exceeds the number (blank—num [ch]), the process proceeds to step S5. And proceed.
  • step S5 as a result of the judgment processing in steps S3 and S4, the virtual frame management unit stores the decoding in the frame memory 34 in the corresponding channel in the decoding core 33 in response to the condition not being satisfied. It is determined that there is no area to store the decoded frame, and the system enters a waiting state to secure an area that can be used for decoding.
  • step S6 as a result of the determination process in steps S3 and S4, the virtual frame management unit decodes the frame to the frame memory 34 with the decode core 33 in the corresponding channel. It is determined that there is an area for storing the decoded frame, and the video decode management unit is notified of that.
  • step S6 a storage area for the frame decoded by the virtual frame management unit in the frame memory 34 is secured, and a notification is made that decoding processing by the decoding core 33 is possible (hereinafter also referred to as a decoding processing request). Accordingly, in step S7, the video decoder management unit executes a decoding process of the MPEG video decoder 17.
  • step S7 of the flowchart of FIG. 9 will be described using the flowchart shown in FIG.
  • step S21 the video decoding management unit receives a decoding processing request requested by the virtual frame management unit.
  • step S22 the video decode management unit checks whether or not the video decode core 33 is currently performing a decoding process. Since there is only one video decoding core 33 that actually executes video decoding processing in the MPEG video decoder 1 ⁇ , it can execute only one channel of video decoding processing at a time. Therefore, in step S22, it is necessary to determine whether the decode core 33 is in use.
  • step S23 in response to the decoding core 33 being in the process of decoding, the video decoding management unit enters a standby state of waiting for the completion of the processing of the decoded core 33.
  • step S24 the video decode management unit determines that the stream of the channel buffered in the code buffer 31 is appropriate for the decode core 33, because the decode core 33 is not performing the decoding process. Controls the SEEK 32 to be supplied to the
  • the decode core 33 executes a decoding process on the supplied stream into a frame in response to the supply of the stream from the code buffer 31 via the selector 32.
  • the decode core 33 decodes the stream in frame units.
  • the frame generated by decoding by the decode core 33 is stored in the corresponding memory area of the frame memory 34 based on the management using the virtual frame that has been displayed on the SDRAM 15.
  • the reference plane is searched from the frame memory 34, and the searched reference plane is retrieved. And perform a decoding process.
  • a virtual frame that is a management table is used.
  • step S25 in response to the completion of the decoding processing in the decoding core 33, the video decoding management unit determines that the channel waiting for the decoding processing of the decoding core 33 to be completed is Check if there is. The video decoding management unit proceeds to step S26 if there is a channel waiting for the completion of the decoding process, and proceeds to step S27 if there is no standby channel.
  • step S26 the video decode management section notifies the video decode management section of the channel waiting for the end of the decode processing that the decode processing of the channel by the decode core 33 has ended.
  • step S27 the video decoding management unit ends all the steps of the decoding process in response to the fact that there is no channel waiting for the decoding process of the channel. E3 When the process in step S27 is completed, the process returns to the flowchart shown in FIG. 9 again, and the display process in step S8 and the virtual frame release process in step S9 are executed.
  • step S8 each time a video synchronization signal (VSync), which is a display timing of a frame stored in the frame memory 34, is generated, the display management unit generates a virtual frame as a management table.
  • the frame to be displayed is determined with reference to the information indicating the displayed display order.
  • the display management unit reads the frame determined to be displayed by the virtual frame from the corresponding frame memory 34 and arranges the frame at an arbitrary position on the display mixer 35.
  • the frame whose display is determined from the virtual frame by the display management unit differs depending on the playback mode.For example, in the case of normal playback, a PTS (Presentation Time Stamp) that matches the STC (System Timing Clock) Is selected. Also, in the case of S10wR for special reproduction, the frame temporally one picture earlier than the currently displayed frame is selected.
  • PTS Presentation Time Stamp
  • STC System Timing Clock
  • step S9 the display management unit decodes the frame stored in the predetermined memory area of the frame memory 34 and outputs the frame to the display mixer 35. Perform virtual frame release processing to release the virtual frame corresponding to.
  • the released predetermined virtual frame among the virtual frames developed in the SDRAM 15 becomes an empty virtual frame. This corresponds to the fact that the memory area of the frame memory 34 corresponding to the virtual frame that has become the empty virtual frame becomes the empty memory area by outputting the stored frame to the display mixer 35. It is processing for.
  • step S31 the display management unit sets a predetermined value in the frame memory 34.
  • step S32 the virtual frame management unit sets the status information (state [n]) of the virtual frame requested to be released by the display management unit to “B LANK” indicating that it is a free virtual frame.
  • step S33 the virtual frame management unit determines whether a virtual frame has been requested from the video decode management unit. If no virtual frame request has been made to the virtual frame management unit, the process ends. If a virtual frame request has been made, the process returns to step S2 in the flowchart shown in FIG. The following steps are performed again.
  • the MPEG video decoder 17 has a configuration such as one decoding core 33 and one frame memory 34.
  • the virtual frame management unit of the host CPU 14 manages the frame memory 34 using the virtual frame, which is a management table, and uses the decode core 33 in a time-sharing manner under the control of the video decode management unit of the host CPU 14.
  • decoding processing can be realized.
  • FIGS. 12A to 12C Before describing the management method by the host CPU 14, the memory area of the frame memory 34 of the MPEG video decoder 17 is defined as shown in FIGS. 12A to 12C.
  • Fig. 12A shows the entire memory area of the frame memory 34.
  • the frame memory 34 can store 16 SD frames as a frame memory for an SD frame.
  • the frame memory 34 is defined as a frame memory for HD frames, and it is defined that four HD frames can be stored.
  • the memory area required to store the HD frame is the same as the memory area required to store the SD frame. It is four times that of the moly area.
  • a virtual frame which is a management table constructed in the SDRAM 15, is associated with a memory area of the frame memory 34.
  • the virtual frame built in the SDRAM 15 can be used to simultaneously understand when the frame memory 34 is used as SD frame memory and when the frame memory 34 is used as HD frame memory. Need to be built.
  • three SD streams (hereinafter, three SD streams are also referred to as 3 SD streams) in order to reproduce a multi-view broadcast.
  • MPEG video decoder 17 followed by seamless switching at the switching point where multi-view broadcasting and digital broadcasting high-vision broadcasting are switched when HD streams are supplied to reproduce digital high-definition broadcasting Can be performed.
  • a virtual frame associated with a memory area of the frame memory 34 is constructed in the SDRAM 15 as shown in FIG.
  • a virtual frame for SD and a virtual frame for HD are constructed in the SDRAM 15. That is, the virtual frame constructed in the SDRAM 15 has the maximum number of frames when the frame memory 34 is used for SD and the maximum number of frames when the frame memory 34 is used for HD.
  • the frame memory 34 when the frame memory 34 is used for SD, 16 SD frames can be stored in the frame memory 34, and when the frame memory 34 is used for HD, Since it is possible to store 4 frames of HD frames, the number of virtual frames built in SDRAM 15 is 20 frames.
  • each virtual frame indicates the memory area of the frame memory 34 for SD.
  • F—HD1 to F—HD4 which indicate the memory area of the frame memory 34 for HD, correspond one-to-one to VF-1 to VF-4 of virtual frames, respectively.
  • F—SD 1 to F—SD 16 that indicate the memory area correspond one-to-one with VF-5 to VF-20 of the virtual frame, respectively.
  • the virtual frame constructed in the SDRAM 15 holds some management information for executing the management of the frame memory 34.
  • the management information includes memory area information indicating the memory area of the frame memory 34 associated with the virtual frame as described above, status information indicating the current state of the virtual frame, and the like ( status information is virtual "B LANK” when the frame can be reserved for decoding, "ALLOC” when the virtual frame is reserved for decoding, "DEC” when the virtual frame has been decoded, If the virtual frame can be displayed, this is information indicating "PRSN" or the like.
  • the host CPU 14 can grasp the current state of the corresponding frame memory 34 by referring to the status information held by the virtual frame. For example, if the status information of VF-1 of the virtual frame constructed in SDRAM 15 is "BLANK”, it indicates that the memory area F-HD1 of the frame memory 34 can be reserved for decoding. If the status information of VF-5 is "ALLOC”, it indicates that the memory area F-SD1 of the frame memory 34 is reserved for decoding, and the status information of VF-13 is "DEC”. Indicates that the decoded frame is stored in the memory area F—SD 9 of the frame memory 34, and indicates that the status information of the VF-17 is “P RSN” when the status information of the frame memory 34 is “P RSN”. This indicates that a displayable frame is stored in the memory area F—SD 13.
  • the host CPU 14 When decoding a stream in the MPEG video decoder 17, the host CPU 14 secures a necessary decoding area from the memory area of the frame memory 34 according to the type of the stream such as an SD stream or an HD stream. Subsequently, the decoding process by the decoding core 33 is executed. Host CPU 14 7439
  • the host CPU 14 When decoding the stream, the host CPU 14 first searches all the virtual frames constructed in the SDRAM 15 and secures a virtual frame whose status information is "B LANK".
  • the virtual frame corresponds to a predetermined memory area of the frame memory 34, for example, when an HD stream is input to the MPEG video decoder 17, the host CPU 14 When any one of the virtual frames VF-1 to VF-4 among the virtual frames constructed in the DRAM 15 is secured, the memory of the frame memory 34 capable of decoding the HD stream corresponding to the secured virtual frame is provided. This means that the area has been secured.
  • the frame memory 34 is defined for both HD and SD, and when defined for HD, its memory area, that is, the memory area of the frame memory 34 that can store one HD frame,
  • the memory area is defined as that for SD, that is, four consecutive memory areas of the memory area of the frame memory 34 capable of storing one SD frame.
  • the status information of the virtual frame VF— ;! to VF—4 alone is insufficient information to secure the memory area of the frame memory 34 when decoding.
  • the memory area of the frame memory 34 secured based on the status information of the virtual frames VF-1 to VF-4 becomes completely free. You know if it is.
  • the host CPU 14 refers to the status information of the virtual frames VF-5 to VF-20 and the status information of the virtual frames VF-1 to VF-4. Then, it is determined whether or not the frame memory 34 has a free area necessary for decoding the SD stream. Next, using an example of the virtual frame constructed in the SDRAM 15 shown in FIG. 14, it is verified whether the HD stream can be decoded or the SD stream can be decoded.
  • VF-4 which are virtual frames for HD
  • the VF-4 has status information "PR SN" and is used for display, so it is used for decoding HD streams. I can't.
  • the remaining virtual frames for HD, VF-1 to VF-3, may be used for HD stream decoding because the status information is "B L ANK".
  • the frame memory 34 is defined as a frame memory for SD
  • the memory area of the frame memory 34 corresponding to the virtual frame VF-1 is shared. Since the status information of VF-6 is "ALLOC" and the status information of VF-7 is "PRSN", VF-1 cannot be used for HD stream decoding.
  • VF-2 the status information of VF-11 and VF-12 of the virtual frames VF-9 to VF-12 sharing the memory area of the frame memory 34 is "DEC". Cannot be used to decode HD streams.
  • the virtual frame VF-13 to VF16 which shares the memory area of the frame memory 34, has the status information "PRSN" of VF-13. Can not be used.
  • VF—5 to VF—20 virtual frames for SD you can see the status information for VF—5, VF—8, VF 9, VF 10 and VF—14 to VF 20. Is "B LANK”.
  • the status information of VF-4 is "PRSN", so that VF-17 to VF__20 can be used to decode the SD stream. Can not.
  • VF— One, VF— ;! Since the status information of VF-3 is "B LANK", VF-5, VF-8, VF-9, VF-10, VF-14 to VF-16 can be used to decode the SD stream. Can be used.
  • the MPEG video decoder 17 is in a state where it can decode the SD stream.
  • a decoding management operation using a virtual frame when reproducing a multi-view BS digital broadcast will be described with reference to a flowchart shown in FIG.
  • three SD streams (3 SD streams) are supplied to the MPEG video decoder 17 as a multi-view broadcast, and the channels for decoding the respective SD streams are designated as channel 1 and channel 1. 2, Channel 3.
  • the SD frames to be decoded on channel 1 are V_ch 1-1, V_ch 1_2, V—chl—3, and V—chl—4, and the SD frames to be decoded on channel 2 are V—ch2—1, V—ch2—3, V_ch2_3, and V—ch2—4.
  • the SD frames to be decoded on channel 3 are V—ch3—1, V—ch3—2, V—ch3_3, and V_ch3—4. Numbers attached to channels other than the channel number (chl, ch2, ch3) of the SD frame indicate PTS for convenience, and the same number between channels indicates that the same PTS or PTS is close to each other.
  • step S41 in response to the supply of the SD stream, the host CPU 14 requests a virtual frame necessary for decoding processing in the channel.
  • step S42 the host CPU 14 refers to the virtual frame constructed in the SDRAM 15 to refer to the virtual frame whose status information is "B LANK". Detect if there is a frame. If there is a virtual frame whose status information is "B LANK”, the process proceeds to step S44; otherwise, the process proceeds to step S43.
  • step S43 the host CPU 14 waits for the status information of the virtual frame to become “B LANK” and a free virtual frame is created.
  • step S44 the host CPU 14 Then, the PTS, which is the time management information of the reproduction output, is detected from the SD stream supplied to the memory area of the code buffer 31 reserved for the channel.
  • the host CPU 14 uses an SD virtual frame that has a PTS that is close to or coincides with the PTS detected on the relevant channel from the SD virtual frame that has been secured for decoding processing on channels other than the relevant channel. Search for a frame.
  • a virtual frame is as shown in FIG. 16 and that the PTS of V—ch3—4 for decoding on channel 3 is detected in step S44.
  • the status information of the virtual frames VF-1 to VF-4 for HD is "B LANK”
  • the virtual frames for SD VF-8, VF-12, VF — Assume that the status information of 16, VF_1 9, and VF_2 0 is, B LANK ".
  • the host CPU 14 refers to the virtual frame shown in FIG. 16 constructed in the SDRAM 15 and refers to the V-ch3_4 PTS which is close to or coincides with the PTS of the other channel.
  • Search for virtual frames In the virtual frame shown in Fig. 16, the virtual frames for SD, VF—17 and VF—18, have the PTS of V—ch3—4 in the memory area of the frame memory 34 corresponding to VF—17 and VF — 18. It shows that V_chl-4 of channel 1 and V-ch2-4 of channel 2 which have a PTS that is close to or coincident with the PTS are stored, so the corresponding virtual frame for SD is VF-1 7, VF-18
  • step S45 If there is a corresponding virtual frame, the process proceeds to step S45. If there is no corresponding SD virtual frame, the process proceeds to step S48.
  • step S45 first, the host CPU 14 executes another channel provided with a PTS close to or matching the PTS of the channel searched in step S44.
  • a virtual frame for SD of the channel and a virtual frame for HD sharing the memory area of the frame memory 34 are specified.
  • the virtual frames VF—17 and VF — 18 for SD are specified in step S44. It can be seen that the virtual frame for HD, which shares the memory area of the frame memory 34 with the virtual frame for SD, is VF-4.
  • the host CPU 14 has an SD virtual frame whose status information is “B LANK” from an identified virtual frame for HD and a virtual frame for SD sharing the memory area of the frame memory 34. Search for
  • the specified virtual frame for HD VF-4 and the virtual frame for SD sharing the memory area of the frame memory 34 are VF-17 to VF-20. is there. Since the virtual frames VF-17 and VF-18 are already used for channel 1 and channel 2, the status information "B LANK” is the virtual frame for SD of VF-19 and VF_20. . If there is a virtual frame with status information "BLANK”, the process proceeds to step S46. If there is no virtual frame with status information "BL ANK”, the process proceeds to step S43. It goes into a standby state.
  • step S46 this virtual frame is reserved according to the presence of the virtual frame whose status information is "BLANK".
  • VF-19 is reserved.
  • VF-20 is secured.
  • step S47 in response to the virtual frame being secured, the host CPU 14 decodes the SD stream to be decoded by the decode core 33, generates an SD frame, and secures the SD frame.
  • the decoded SD frame is stored in the memory area of the frame memory 34 corresponding to the virtual frame obtained.
  • V-ch 3-4 is stored in the memory area of the frame memory 34 corresponding to the virtual frame VF-19.
  • the host CPU 14 can search for a virtual frame for SD having a PTS close to or matching the PTS detected on the channel. 07439
  • the virtual frame group is said to be empty.
  • step S49 If there is an empty virtual frame group, the process proceeds to step S49. If there is no empty SD virtual frame group, the process proceeds to step S50.
  • step S49 a virtual frame for SD whose status information is "BLANK" is secured.
  • step S 49 the process returns to step S
  • decoding by the decode core 33 is executed, and the decoded SD frame is stored in the reserved area.
  • step S50 the host CPU 14 determines that all the SD virtual frame groups of the virtual frame constructed in the SDRAM 15 are not in an empty state, and the status information is “B LANK”. From the virtual frame, secure a virtual frame for SD that belongs to the SD virtual frame group that will be played the earliest at the moment.
  • step S50 the process proceeds to step S47, where decoding is performed by the decode core 33, and the decoded SD frame is stored in the reserved area.
  • the management of the host CPU 14 based on the virtual frame constructed in the SDRAM 15 allows the three SD streams supplied during multi-view broadcasting.
  • the virtual frame for HD is used as shown below using the virtual frame shown in Fig. 16. Is secured.
  • frames for HD are stored in the memory area of the frame memory 34. There will be no space to secure.
  • VF-1, VF-2, VF-3, and VF-4 which are virtual frames for HD, cannot be secured.
  • V—chl_1, V—ch2—1, and V—ch3—1 stored in the memory area of the frame memory 34 corresponding to VF_7 are read from the frame memory 34, the memory area of the frame memory 34 is read.
  • a virtual frame VF-1 for HD sharing the same can be secured.
  • V-ch 1-2, V-ch2-2, and V_ch3-2 stored in the memory area of the frame memory 34 corresponding to the virtual frames VF-9 to VF-11 are read out.
  • V-chl-3, V-ch2-3, and V-ch3-3 stored in the memory area of the frame memory 34 corresponding to the virtual frames VF-13 to VF-15 are read out.
  • V—chl—4, V_ch2—4, and V—ch3_4 stored in the memory area of the frame memory 34 corresponding to the virtual frames VF—17 to VF—19 HD Virtual frames VF-2, VF-3, and VF-4 can be secured.
  • the mode is switched from multi-view broadcasting to digital high-definition broadcasting.
  • the memory area of the frame memory 34 is secured. Temporary interruption of the decoding process due to the inability to do so can be prevented.
  • step S61 the host CPU 14 requests a virtual frame necessary for the decoding process in response to the supply of the HD stream.
  • step S62 the host CPU 14 sets the virtual frame V for HD among the virtual frames constructed in the SDRAM 15! Searches whether the status information of ⁇ V F-4 is "BLANK". If the status information is "BLANK”, the process proceeds to step S63. If the status information is not "BLANK”, the process proceeds to step S64.
  • step S63 the host CPU 14 allocates the HD virtual frame whose status information is "B LANK” among the HD virtual frames VF-1 to VF-4 to the memory area of the frame memory 34. It is determined whether or not all the status information of the virtual frame memory for SD sharing "B LANK" is "B LANK".
  • the status information of the virtual frame VF-1 for HD is "B LANK”
  • the status information of the virtual frame memories VF-5 to VF-8 for SD is verified, and the virtual frame for HD is verified.
  • the status information of VF-2 is "B LANK”
  • the status information of the virtual frame memory for SD VF-9 to VF-12 is verified, and the virtual frame memory of HD VF-3
  • the status information is "BLANK”
  • the information is "B LANK”
  • the status information of the virtual frame memory for SD VF-17 to VF-20 is verified.
  • step S65 If the status information of all the virtual frames for SD is "B LANK”, the process proceeds to step S65. If at least one status information is not "B LANK”, the process proceeds to step S64. And proceed.
  • step S64 the host CPU 14 checks the status information of the virtual frame. Waits for an empty virtual frame when the information becomes “B LANK”. In step S65, the host CPU 14 determines that there is no virtual frame for HD whose status information is “BLANK”. This virtual frame is reserved according to the fact.
  • step S66 the host CPU 14 decodes the HD stream to be decoded by the decode core 33 in response to the securing of the virtual frame for HD, generates an HD frame, and generates the secured virtual frame.
  • the decoded HD frame is stored in the memory area of the frame memory 34 corresponding to the frame.
  • the host The CPU 14 reads the HD frame stored in the memory area of the frame memory 34 corresponding to the virtual frame VF-1 for HD, and releases the virtual frame VF-1 for HD.
  • the virtual frames VF-5 to VF-8 for SD that share the memory area of the frame memory 34 with the virtual frame VF-1 are also released.
  • four virtual frames for SD are secured one after another.
  • each channel secures the released virtual frame for SD and performs decoding processing to switch from digital high-definition broadcasting to multi-view broadcasting, and the stream supplied to the MPEG video decoder 17 is changed. Even when switching from one HD stream to three SD streams, it is possible to prevent temporary interruption of the decoding process due to the inability to secure the memory area of the frame memory 34.
  • the decoding device uses the storage area of the image frame storage unit that stores the image frame decoded by the decoding unit for HD when the HD image frame is stored. It is defined as a storage area, and when storing SD image frames, it is defined as an SD storage area. Based on the management table stored in the management table storage means, management of the HD storage area and the SD storage area is performed. Do.
  • the decoding device of the present invention when allocating an SD memory area for storing a decoded SD image frame, when the output time information held by the SD image frame matches or the SD image frame that is close to the SD image frame is stored.
  • the first SD storage area where the SD image frames are stored and the HD storage area defined by sharing the recording area are detected, and the detected HD storage area and the storage area of the image frame storage means are detected.
  • the frames are stored in the storage area of the image frame storage means, which is also defined as the HD storage area for storing one HD image frame, it is easy to secure the HD storage area and the decoding means Prevents delay in decryption processing and changes stream type P2003 / 007439
  • the decoding method of the present invention uses the storage area of the image frame storage means for storing the image frame decoded in the decoding process, and the storage for HD when storing the HD image frame.
  • SD image frames it is defined as an SD storage area, and based on the management table stored in the management table storage means, the management of the HD storage area and the SD storage area is performed. I do.
  • a storage area for HD image frames and SD image frames to be decoded in the decoding process can be secured in an integrated manner, so that even when m SD image stream streams are input, Decoding processing can be executed without delay.
  • the decoding method when the SD storage area for storing the decoded SD image frame is secured, the output time information held by the SD image frame matches or the adjacent SD image frame is stored.
  • the first SD storage area where the current SD image frame is stored and the HD storage area defined by sharing the recording area are detected, and the detected HD storage area and the storage area of the image frame storage means are detected. Secure the second SD storage area of the free area.
  • the image frames are stored in the storage area of the image frame storage means, which is also defined as the HD storage area for storing one HD image frame, it is easy to secure the HD storage area, and This prevents delays in the decoding process and enables "seamless" decoding even at the switching point where the stream type changes.

Abstract

　本発明は、デジタルハイビジョン放送とマルチビュー放送の切替点において、不要な遅延が生じない復号処理を実現する復号装置であり、復号部（３３）で復号されたＨＤ画像フレームをＨＤ用記憶領域単位で記憶し、ｍ個のＳＤ画像フレームをＳＤ用記憶領域単位で記憶する画像フレーム記憶部（３４）と、ＨＤ画像ストリームデータが入力された場合、管理テーブルのＨＤ用記憶領域情報及びＳＤ用記憶領域情報に基づいてＨＤ用記憶領域を確保し、ｍ本のＳＤ画像ストリームデータが入力された場合、ＨＤ用記憶領域情報及びＳＤ用記憶領域情報に基づいてＳＤ用記憶領域を確保する記憶領域確保部（ホストＣＰＵ）（１４）と、確保されたＨＤ用記憶領域にＨＤ画像フレームを書き込み、確保されたＳＤ用記憶領域にｍ個のＳＤ画像フレームを書き込む画像フレーム書き込み部（１５）とを備える。

Description

明細書 復号装置及び復号方法 技術分野 本発明は、 デジタルテレビジョン放送に関し、 詳しくは、 受信した放送の画像 ス トリームデータを、 画像ストリームデータの種類、 本数などに応じて適切に復 号する復号装置及び復号方法に関する。
本出願は、 日本国において 2 002年 6月 2 0日に出願された日本特許出願番 号 2002— 1 8 04 1 0を基礎として優先権を主張するものであり、 この出願 は参照することにより、 本出願に援用される。 背景技術 従来、 高品質な番組の提供、 多チャンネルによる番組の提供といった特徴を 備えた放送サービスを可能とするデジタル放送サービスは、 放送衛星 （B S : Br oadcasting Satellite) 、 通信 iir星 ( C S ： Communications Satellite) を介し た放送として実現されている。
デジタル放送サービスではデジタルハイビジョン放送 （HD TV ： High Defin ition Television) がサービスの中心となっているが、 例えば、 B Sデジタル放 送サ一ビスにおいては、 デジタルハイビジョン放送を行わない時間帯には、 マル チビユー放送と呼ばれるサービスを行うことが考案されている。
マルチビュー放送とは図 1に示すように、 デジタルハイ ビジョン放送の帯域を 3つのチャンネルに分割し、 1番組内で関連する複数の内容を従来の標準テレビ ジョン放送 （SD TV ： Standard Definition Television) として複数同時に放 送するというサービスである。
例えば、 マルチビュー放送を受信すると、 スポーツ番組や、 劇場中継などにお いて、 3つのカメラアングルからの映像を同時に視聴したり、 好みのアングルか らの映像のみを視聴したりできる。
マルチビュー放送を視聴するには、 マルチビュー放送を受信する受信装置で受 信した全てのデジタル標準テレビジョン放送をデコ一ド処理する必要がある。 一般に、 上述したデジ夕ル放送を受信する受信装置に備えられた受信した画像 スト リームをデコードするデコーダは、 デコード処理した画像データをフレーム メモリに一時的に格納し画像フレームとして出力をしている。
したがって、 デコーダでのデコード処理は、 フレームメモリの使用状態、 つま りフレームメモリのメモリ領域の空き状態が確認されないと実行することができ ない。 同一時間内に供給される画像ス ト リームの数が 1本の場合は、 フレームメ モリは、 デコードされた格納された画像フレームを順に出力し、 空き領域を確保 していけばよかった。
しかし、 上述したようなマルチビュー放送を受信する受信装置では、 同一時間 内にデコードするチャンネル数が増加した分、 同一時間内でのフレームメモリの メモリ領域の使用率が高くなるため、 フレームメモリの空き領域の確保が難しく なる。 そのため、 デコード処理に遅延が生じ、 滑らかに画像フレームが出力され ない可能性が高いといった問題がある。 特に、 マルチビュー放送からデジタルハ ィビジョン放送に切り替わる点において、 デコード処理の遅延による影響は顕著 であると考えられる。
また、 フレームメモリは、 コス トや、 装置構成の点などから単純に増加させる ことが難しいといった問題もある。 発明の開示 本発明の目的は、 上述したような従来のマルチビュー放送を受信する受信装置 が有する問題点を解消することができる新規な復号装置及び復号方法を提供する ことにある。
本発明の他の目的は、 フレ一ムメモリの管理によってマルチビュー放送に対応 した復号装置及ぴ復号方法を提供することにある。
上述したような目的を達成するための提案される本発明に係る復号装置は、 H D (High Definition) 方式で符号化された HD画像ス ト リームデ一夕を H D画像 フレームに復号し、 SD (Standard Definition ) 方式で符号化された m (mは 自然数） 本の S D画像ストリームデータを時分割で S D画像フレームに復号する 復号手段と、 復号手段で復号された HD画像フレームを記憶し、 復号手段で復号 された SD画像フレームを記憶する画像フレ一ム記憶手段と、 HD画像ストリー ムデ一タを復号するときには、 復号された HD画像フレームを所定フレーム数記 憶できる領域を確保するとともに、 m本の SD画像ストリームデータを復号する ときには、 復号されたそれぞれのストリームに対応する S D画像フレームを所定 フレーム数ずつ記憶できる領域を確保するように画像フレーム記憶手段を制御す る制御手段と、 画像フレーム記憶手段に HD画像フレーム、 又は SD画像フレー ムを書き込む画像フレーム書き込み手段と、 画像フレーム記憶手段に書き込まれ た H D画像フレームが保持する出力時間情報に基づいて H D画像フレームを読み 出し、 S D用記憶領域に書き込まれた S D画像フレームが保持する出力時間情報 に基づいて SD画像フレームを読み出す画像フレーム読み出し手段と、 画像フレ —ム読み出し手段によって読み出された HD画像フレームを出力し、 画像フレー ム読み出し手段によって読み出された SD画像フレームを同一画面上に配置され るように出力する出力手段とを備える。
本発明に係る復号方法は、 HD (High Definition) 方式で符号化された HD画 像ストリームデータを HD画像フレームに復号し、 SD (Standard Definition ) 方式で符号化された m (mは自然数） 本の SD画像ストリームデータを時分割 で S D画像フレームに復号する復号工程と、 復号工程で復号された HD画像フレ ームを記憶し、 復号工程で復号された SD画像フレームを記憶する画像フレーム 記憶工程と、 HD画像ストリームデータを復号するときには、 復号された HD画 像フレームを所定フレーム数記憶できる領域を確保するとともに、 m本の S D画 像ストリームデータを復号するときには、 復号されたそれそれのストリームに対 応する S D画像フレームを所定フレーム数ずつ記憶できる領域を確保するように 画像フレーム記憶手段を制御する工程と、 画像フレーム記憶手段に HD画像フレ ーム又は、 SD用記憶領域に m個の S D画像フレームを書き込む画像フレーム書 き込み工程と、 画像フレーム記憶手段に書き込まれた HD画像フレームが保持す る出力時間情報に基づいて HD画像フレームを読み出し、 S D用記憶領域に書き 込まれた SD画像フレームが保持する出力時間情報に基づいて S D画像フレーム を読み出す画像フレーム読み出し工程と、 画像フレ一ム読み出し工程によって読 み出された HD画像フレームを出力し、 画像フレーム読み出し工程によって読み 出された SD画像フレームを同一画面上に配置されるように出力する出力工程と を備える。
木発明に係る他の復号装置は、 HD (High Definition) 方式で符号化された H D画像ストリームデータ、 又は、 SD (Standard Definition ) 方式で符号化さ れた m (mは自然数） 本の SD画像ストリームデータが多重化された多重化 SD 画像ストリームデータを入力する入力手段と、 入力手段によって多重化 S D画像 ストリームデータが入力された場合、 多重化 SD画像ストリームデータを m本の 画像ストリームデータに分離する分離手段と、 入力手段によって入力された HD 画像ストリ一ムデ一夕を HD画像フレームに復号し、 分離手段によって分離され た m本の SD画像ストリームデータを時分割で S D画像フレームに復号する復号 手段と、 復号手段で復号された HD画像フレームを記憶し、 復号手段で復号され た SD画像フレームを記憶する画像フレーム記憶手段と、 HD画像ストリームデ 一夕を復号するときには、 復号された HD画像フレームを所定フレーム数記億で きる領域を確保するとともに、 m本の SD画像ストリームデータを復号するとき には、 復号されたそれそれのストリームに対応する SD画像フレームを所定フレ ーム数ずつ記憶できる領域を確保するように画像フレーム記憶手段を制御する制 御手段と、 画像フレーム記憶手段に HD画像フレーム、 又は S D画像フ レームを 書き込む画像フレーム書き込み手段と、 画像フレーム記憶手段に書き込まれた H D画像フレームが保持する出力時間情報に基づいて HD画像フレームを読み出し、 S D用記憶領域に書き込まれた S D画像フレームが保持する出力時間情報に基づ いて S D画像フレームを読み出す画像フレ一ム読み出し手段と、 画像フレーム読 み出し手段によって読み出された HD画像フレームを出力し、 画像フレーム読み 出し手段によって読み出された SD画像フレームを同一画面上に配置されるよう に出力する出力手段とを備える。
本発明に係る他の復号方法は、 HD (High Definition) 方式で符号化された H D画像ス ト リームデータ、 又は、 S D (Standard Def init ion ) 方式で符号化さ れた m ( mは自然数） 本の S D画像ス ト リームデータが多重化された多重化 S D 画像ストリームデータを入力する入力工程と、 入力工程によって多重化 S D画像 ストリームデータが入力された場合、 多重 ί匕 S D画像ストリームデータを m本の 画像ストリームデ一夕に分離する分離工程と、 入力工程によって入力された H D 画像ストリームデ一夕を H D画像フレームに復^し、 分離工程によって分離され た m本の S D画像ストリ一ムデータを時分割で S D画像フレームに復号する復^ 工程と、 復号工程で復号された H D画像フレームを記憶し、 復号工程で復号され た S D画像フレームを記憶する画像フレーム記憶工程と、 H D画像ストリームデ —夕を復号するときには、 復号された H D画像フレームを所定フレーム数記憶で きる領域を確保するとともに、 m本の S D画像ストリームデータを復号するとき には、 復号されたそれそれのストリームに対応する S D画像フレームを所定フレ ーム数ずつ記憶できる領域を確保するように画像フレーム記憶手段を制御するェ 程と、 画像フレーム記憶手段に H D画像フレーム又は、 S D用記憶領域に m個の S D画像フレームを書き込む画像フレーム書き込み工程と、 画像フレーム記憶手 段に書き込まれた H D画像フレ一ムが保持する出力時間情報に基づいて H D画像 フレームを読み出し、 S D用記憶領域に書き込まれた S D画像フレームが保持す る出力時間情報に基づいて S D画像フレームを読み出す画像フレーム読み出しェ 程と、 画像フレーム読み出し工程によって読み出された H D画像フレームを出力 し、 画像フレーム読み出し工程によって読み出された S D画像フレームを同一画 面上に配置されるように出力する出力工程.とを備える。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下におい て図面を参照して説明される実施の形態の説明から一層明らかにされるであろう 図面の簡単な説明 図 1は、 マルチビュー放送を説明するための図である。
図 2は、 本発明を適用した記録再生装置の使用形態を示した図である。
図 3は、 本発明を適用した記録再生装置の要部構成を示すプロック図である。 図 4は、 本発明を適用した記録再生装置を構成する MP E Gビデオデコーダを 示すブロック図である。
図 5は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダに 1本の HDスト リームが供給された場合のコ一ドバッファ、 セレクタの様子を示 した図である。
図 6は、 本究明を適用した記録再生装置において、 MP EGビデオデコーダに 1本 SDス ト リームが供給された場合のコードバッファ、 セレクタの様子を示し た図である。
図 7は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダに 2本の SDス ト リームが供給された場合のコードバッファ、 セレクタの様子を示 した図である。
図 8は、 本発明を適用した記録再生装置において、 MP EGビデオデコーダに 3本の SDスト リームが供給された場合のコードバヅファ、 セレクタの様子を示 した図である。
図 9は、 本発明を適用した記録再生装置において、 MPEGビデオデコーダの 動作を示すフロ一チヤ一トである。
図 10は、 MPEGビデオデコーダのデコード処理動作を示すフローチヤ一ト である。
図 1 1は、 仮想フレームを解放する際の動作を示すフローチャートである。 図 12 Aは、 本発明を適用した記録再生装置におけるフレームメモリの全メモ リ領域を説明するための図であり、 図 1 2 Bは、 フレームメモリを SD用として 定義した場合のメモリ領域を示した図であり、 図 12 Cは、 フレームメモリを H
D用として定義した場合のメモリ領域を示した図である。
図 13は、 フレームメモリと仮想フレームとの対応について説明するための図 である。
図 14は、 仮想フレームの一例を示す図である。
図 1 5は、 マルチビュー放送をデコードする際の仮想フレームを用いたホス ト CPUの管理動作を示すフローチャートである。
図 1 6は、 図 1 5に示すフローチャートの動作を説明する際に使用した仮想フ レームの一例を示す図である。
図 1 7は、 本発明を適用した記録再生装置において、 デジタルハイビジョン放 送をデコードする際の仮想フレームを用いたホスト CP Uの管理動作について説 明するためのフローチャートである。 発明を実施するための最良の形態 以下、 本発明に係る復号装置及び復号方法を図面を参照にして詳細に説明する。 本発明は、 図 2に示すような記録再生装置 1 00に適用される。 この記録再生 装置 1 00は、 図 2に示すように、 テレビジョン受像機 200と接続されている。 テレビジョン受像機 200は、 地上波を受信可能な地上波チューナ、 B S (Br oadcasting Satellite) チューナ、 B Sデジ夕ノレチューナ、 C S (Communicatio ns Satellite) チューナ、 C Sデジタルチューナを内蔵していてもよい。
記録再生装置 1 00の各種機能は、 図 2に示すように、 リモートコン トローラ 30 0によって遠隔操作可能である。 また、 このリモートコン トローラ 300は、 テレビジョン受像機 2 00の各種機能も、 遠隔操作可能である。
本発明を適用した記録再生装置 1 00は、 記録媒体にデジタルハイビジョン放 送を圧縮なしで、 映像信号、 音声信号、 各種データを記録することが可能な記録 再生装置である。 また記録再生装置 1 00は、 後述するようにデジタルチューナ を内蔵しており、 例えば、 B Sデジタル放送で提供されるデジタルハイ ビジョン 放送を受信し、 受信したデジ夕ルハイ ビジョン放送を上述したように記録媒体に 記録することができる。
図 3を用いて、 記録再生装置 1 00の要部構成について説明をする。
記録再生装置 1 00は、 地上波チューナ 1と、 入力切替回路 2と、 YC分離回 路 3と、 入力切替回路 4と、 NT S C (National Television System Standard Committee) デコーダ 5と、 同期制御回路 6と、 プリ映像信号処理回路 7と、 MP EG (Moving Picture Experts Group) ビデオエンコーダ 8と、 音声 A/D変換 器 9と、 MP EGオーディオエンコーダ 1 0と、 デジタルチューナ 1 1、 多重/ 分離回路 （MUX/DMX) 1 2と、 記録/再生処理部 1 3と、 ホス ト CP U 1 4と、 SDRAM (Synchronous Dynamic Random Access Memory) 1 5と、 R 0 M (Read Only Memory) 1 6と、 MP E Gビデオデコーダ 1 7と、 ポスト映像信 号処理回路 18と、 〇 S D (On Screen Display) 1 9と、 NT S Cエンコーダ 2 0と、 MPEGオーディオデコーダ 2 1と、 切替回路 2 2と、 音声 D/A変換器 23と、 デジタル I N/OUT 24と、 デジタルインタフェース回路 2 5と、 地 上波 EPG用チューナ 2 6と、 データスライサ 2 7とを備える。
地上波チューナ 1は、 地上波放送を受信し、 受信した放送のコンポジット映像 信号と音声信号を入力切替回路 2に供給する。
入力切替回路 2は、 地上波チューナ 1からコンポジット映像信号と音声信号が 供給され、 外部装置からコンポジット映像信号と音声信号が供給される。 入力切 替回路 2は、 ホスト CPU 14からの指示に従い、 地上波チューナ 1から供給さ れるコンポジッ ト映像信号と音声信号、 又は、 外部装置から供給されるコンポジ ット映像信号と音声信号のどちらかを選択する。 入力切替回路 2は、 選択したコ ンポジット映像信号を YC分離回路 3に、 音声信号を音声 A/D変換器 9にそれ それ出力する。
YC分離回路 3は、 入力切替回路 2から入力されたコンポジッ ト映像信号を Y C分離し、 入力切替回路 4に供給する。
入力切替回路 4は、 ホスト CPU 14からの指示に従い、 外部 S映像入力、 又 は、 YC分離回路 3からの出力を選択し、 選択した信号を NT S Cデコーダ 5に 供給する。
NT S Cデコーダ 5は、 入力された映像信号に A/D変換、 クロマエンコード の処理を施し、 デジタルコンポーネントビデオ信号 （以下、 画像デ一夕という） に変換して、 プリ映像信号処理回路 7に供給する。 また、 NT S Cデコーダ 5は、 入力映像信号の水平同期信号を基準に生成したクロックと、 同期分離して得た水 平同期信号、 垂直同期信号、 フィールド判別信号を同期制御回路 6に供給する。 同期制御回路 6では、 水平同期信号、 垂直同期信号、 フィールド判別信号を基 準とし、 後述する各ブロックに必要なタイミングに変換したクロック、 同期信号 を生成し、 記録再生装置 1 00を構成する各プロツクに供給する。
プリ映像信号処理回路 7では、 NT S Cデコーダ 5から供給された画像デ一夕 にプリフィル夕 リング等の各種映像信号処理を施し、 MPE Gビデオエンコーダ 8と、 ポスト映像信号処理回路 1 8に供給する。
M P E Gビデオエンコーダ 8は、 プリ映像信号処理回路 7から供給された画像 デ一夕にプロヅク D C T (Discrete Cosine Transform： 離散コサイン変換） 等の 符号化処理を施し、 画像の E S (Elementary Stream) を生成し、 多重/分離回路 1 2に供給する。 なお、 本例では圧縮方式として MP E Gを採用しているが、 他 の圧縮方式でも、 非圧縮でも構わない。
音声 A/D変換器 9は、 入力切替回路 2で選択された音声信号をデジタル音声 信号に変換し、 MP E Gオーディオエンコーダ 1 0に供給する。
MP E Gオーディオエンコーダ 1 0は、 供給されたデジタル音声信号を MP E Gフォーマツ トに従い圧縮した後、 音声の E Sを生成し、 映像信号同様に、 多重 /分離回路 1 2に供給する。 なお、 本例では圧縮方式として MP E Gを採用して いるが、 他の圧縮方式でも、 非圧縮でも構わない。
デジタルチューナ 1 1は、 B Sデジタル放送、 C Sデジタル放送、 地上波デジ 夕ル放送を受信するチューナである。 B Sデジタル放送は、 デジタルハイ ビジョ ン放送を中心としたサービスであるが、 標準テレビジョン放送も提供可能とされ る。 例えば、 B Sデジタル放送は、 デジタルハイビジョン放送の枠を 3つの標準 テレビジョン放送に分割して同時に放送するマルチチャンネル放送や、 同じくデ ジ夕ルハイ ビジョン放送の帯域を 3つのチャンネルに分割して 1番組内で関連し ている複数の内容を標準テレビジョン放送として複数同時に放送するマルチビュ 一放送を提供しているものとする。
デジタルチューナ 1 1は、 例えば、 MP E G 2 トランスポートス ト リームで多 重化され所定の変調方式で変調され送信される B Sデジタル放送を受信し、 受信 した T S信号を多重/分離回路 1 2に供給する。
なお、 地上波チューナ 1又はデジタルチューナ 1 1で受信された N T S C方式 の映像信号の水平有効画素数 （picture— coding— h_size) が 7 2 0以上、 又は垂直 有効画素数 （picture_coding_v— size) が 480以上である場合、 受信した映像信 号をデジタルハイビジョン放送 （High Definition Television) の映像信号、 つ まり HD方式で符号化された映像信号とする。 それ以外の映像信号は、 SD方式 で符号化された映像信号とする。
また、 地上波チューナ 1又はデジタルチューナ 1 1で受信された映像信号が P A L (Phase Alternation by Line) 方式である場合、 映像信号の水平有効画素数 が 720以上、 又は垂直有効画素数が 540以上のとき、 デジタルハイ ビジョン 放送された映像信号、 つまり HD方式で符号化された映像信号とする。 上記以外 の映像信号は、 S D方式で符号化された映像信号とする。
例えば、 日本国における B Sデジタル放送、 C Sデジタル放送、 地上波デジタ ル放送では、 " AR I B S TD—B 32 「デジタル放送における映像符号化， 音声符号化及び多重方式」 ， 社団法人電波産業会， 第 5章" において、 水平有効 画素数、 垂直有効画素数、 フレームレ一トを用いて、 デジタルハイビジョン放送 の映像信号と、 標準テレビジョン放送の映像信号とが規定されている。
具体的には、 デジタルハイビジョン放送の映像信号は、 水平有効画素数、 垂直 有効画素数、 フレームレートを、 （水平有効画素数 X垂直有効画素数 ； フレーム レ一ト） として表すと、 （ 1 9 2 0 x l 080 i ; 2 9. 97 H z) 、 ( 1 44 0 x l 080 i ; 2 9. 9 7 H z ) , ( 12 80 x 7 2 0 p ; 59. 94 H z ) , (720 x 480 p ; 5 9. 94 H z ) と規定されている。
また、 標準テレビジョン放送の映像信号は、 （7 2 0 x 480 i ; 2 9. 9 7 H z) , (544 x 480 i ; 2 9. 97H z, 実映像データの水平有効画素数 は 540) 、 (480 Χ 480 Ϊ ； 29. 9 7 H z ) と規定されている。 B Sデ ジタル放送における降雨対応放送として低階層伝送される映像信号は、 （3 5 2 X 240 p ； 2 9. 97 H z以下） として規定され、 標準テレビジョン放送とな る。
なお、 " i"及び" p" は、 それそれ" イン夕レース" 、 " プログレヅシブ" といった走査方式を示している。
また、 米国における AT S C (Advanced TV System Committee) 地上波放送、 AT S Cケーブル放送では、 " ATSC Standard A/53B with Amendment 1:ATSC Di gital Television Standard, Rev. B Annex A, Table— A3" (こおレヽて、 水平有効画 素数、 垂直有効画素数、 フレームレートを用いて、 デジタルハイ ビジョン放送の 映像信号が規定されている。 具体的には、 デジタルハイビジョン放送の映像信号は、 水平有効画素数、 垂直 有効画素数、 フレームレートを、 （水平有効画素数 X垂直有効画素数； フレーム レート） として表すと、 （ 1 9 20 x l 080 p ; 2 3. 97 6 , 24, 2 9. 9 7 , 30 H z ) , ( 1 9 20 x l 080 i ; 29. 9 7 , 3 0 H z ) 、 （ 1 2 8 0 x 720 p ; 2 3. 976 , 24， 29. 9 7 , 3 0 , 5 9. 94， 6 0 Η ζ) 、 (704 x 480 p ; 2 3. 976 , 24 , 2 9. 97， 30 , 59. 9 4 , 60Η ζ) 、 (704 x 4801 ; 29. 97 , 3 0 Ηζ) , ( 640 4 8 0 ρ ; 23. 97 6 , 24, 29. 97， 30， 5 9. 94, 60 Η ζ) 、 ( 640 x 480 i ； 2 9. 9 7， 30 Η ζ ) と規定されている。
多重/分離回路 1 2では、 後述する記録媒体 50への記録時には映像 E Sと音 声 E S及び各種制御信号の多重化処理を施す。 多重/分離回路 1 2は、 入力され た MP EG映像 E Sと、 MP E G音声 E Sと、 各種制御信号と合わせ、 多重化処 理 (例えば MP E Gシステムのトランスポ一トスト リームの生成） 、 バヅファ制 御処理を施し、 記録 Z再生処理部 1 3に出力する。
バッファ制御処理とは、 連続的に入力される T Sを、 後段の記録/再生処理部 1 3に断続的に送るための制御を行うことである。 例えば、 記録/再生処理部 1 3が記録媒体 50のシーク動作を行っているときは、 T Sの書き込みができない ので、 バッファに T Sを一時的に蓄え、 書き込みが可能なときは、 入力のレート より高いレートで書き込みを行うことにより、 連続的に入力される T S信号を途 切れることなく記録を行う。
多重/分離回路 1 2は、 後述する記録媒体 50の再生時には、 記録/再生処理 部 13で再生され断続的に供給される T S (Transport Stream) を、 連続的にな るようバッファ制御を行った後、 分離処理を行う。 多重/分離回路 1 2の分離処 理では、 T Sから PE S (Packetized Elementary Stream) を抽出し、 更に映像 E Sと音声 E Sに分離した後、 MP E Gビデオデコーダ 1 7と、 MP EGオーデ ィォデコーダ 2 1に供給する。
デジタルチューナ 1 1は、 デジタル放送を受信し、 T S信号に施されたデジ夕 ル放送特有のスクランブルを解いた後、 多重/分離回路 1 2に T Sを供給する、 多重/分離回路 1 2は、 供給される TS信号から P E Sを抽出し、 記録媒体 50 を再生した際と同様に、 更に映像 E Sと音声 E Sに分離した後、 それそれを MP EGビデオデコ一ダ 17、 MP E Gオーディオデコーダ 2 1に供給する。
多重/分離回路 12は、 上述した分離処理を実行する際、 T Sに多重化されて いる放送番組を構成する映像や音声、 関連情報などのサ一ビスが収容されている T Sパケヅ トの P I Dを記述した PMT (Program Map Table) といった P S I (Program Specific Information) を取得し、 取得した P S Iをホスト C P U 1 4に出力する。
取得した P S I情報から、 ホスト CPU 14は、 抽出した P E Sがデジタルハ ィビジョン放送のストリ一ムである HDストリームであるのか、 標準テレビジョ ン放送のストリ一ムである SDストリームであるのか、 また SDストリームであ る場合、 その送信される S Dストリームの本数は何本であるのかを検出すること ができる。
また、 多重/分離回路 12は、 当該多重/分離回路 1 2に内蔵された各種情報 のパージング機能により、 B S信号に挿入されている電子番組情報 （EPG) を 抜き出し、 ホス ト CPU 14に供給する。 ホス ト CPU 14では、 この EP G信 号の解析を行い、 GU I上に番組情報の表示等を行う。
記録/再生処理部 13は、 記録媒体 50へのデ一夕記録処理、 記録媒体 50に 記録されたデ一夕の再生処理を行う。 記録媒体 50は、 図示しない当該記録再生 装置の装着部に装着可能な光ディスク、 光磁気ディスク、 固体メモリなどや、 あ らかじめ当該記録再生装置に搭載された HDD (Hard Disk Drive) などである。 記録/再生処理部 13は、 多重/分離回路 12から供給される T Sを記録媒体 5 0に記録し、 記録媒体 50から再生した TSを多重ノ分離回路 12に出力する。 ホスト CPU 14は、 当該記録再生装置 100の全ての機能プロヅクを統括的 に制御する。 また、 ホスト CPU 14は、 ホストバスを介し、 SDRAM 1 5、 R〇M 1 6に必要に応じてアクセスしシステム全体の制御を行う。
MPE Gビデオデコーダ 1 7は、 入力された映像 E Sに復号処理を施し、 ベー スバンドの画像データを取得し、 ポスト映像信号処理回路 1 8に供給する。 MP E Gビデオデコーダ 17の構成及び動作については後で詳細に説明をする。
ポスト映像信号処理回路 18は、 図示しない切替回路、.フィ一ルド巡回型ノィ ズデュ一サ、 動き検出、 映像信号補間処理回路などで構成されており、 MP E G ビデオデコーダ 1 7から供給される画像データと、 プリ映像信号処理回路 7から 供給される画像データとを切り替えた後、 各種処理を施し、 O S D 1 9に画像デ —夕を供給する。
O SD 1 9は、 画面表示用のグラフィ ックス等の生成を行い、 画像データに重 ねたり、 部分的に表示する等の処理を施し、 NT S Cエンコーダ 20に供給する。
NT S Cエンコーダ 2 0は、 入力された画像データ （コンポーネン トデジタル 信号） を YC信号に変換した後、 D/A変換を行い、 アナログのコンポジッ ト映 像信号と S映像信号を取得し、 テレビジョン受像機 2 00に備えられた映像入力 端子に入力する。
MP E Gオーディオデコーダ 2 1は、 多重/分離回路 1 2から供給された音声 E S信号を複合処理してベースバンド音声信号を取得し、 切替回路 2 2に供給す る。
切替回路 2 2は、 MP E Gオーディオデコーダ 2 1から供給される音声データ と、 音声 A/D変換器 9から供給される音声データの選択を行い、 選択した音声 デ一夕を音声 D/A変換器 23に出力する。
音声0/ 変換器23は、 音声データをアナログ音声信号に変換し、 変換した アナログ音声信号をテレビジョン受像機 2 00に備えられた音声入力端子に入力 する。
次に、 デジタル I N/OUT 24から供給、 出力される信号について説明する。 例えば、 外部の I RD (Integrated Receiver Decoder) から、 I EEE 1 394 のようなデジタルインタフェースであるデジタル I N/OUT 24を介して入力 された信号を記録する場合、 デジタル信号はデジタルイン夕フェース回路 2 5に 入力される。
デジタルイン夕フェース回路 2 5では、 本方式に適合するよう、 フォーマッ ト 変換等の処理を施して T Sを生成し、 多重/分離回路 1 2に供給する。 多重/分 離回路 1 2では、 更に制御信号等の解析や生成を行い、 本方式に適応する T Sに 変換する。
これと同時に多重/分離回路 1 2にて、 分離処理を行い、 MPEGビデオデコ —ダ 1 Ίに映像 Ε S、 MP E Gオーディオデコーダ 2 1に音声 E Sをそれそれ供 給することにより、 アナログの映像、 音声信号を得ることができる。
記録媒体 5 0を記録/再生処理部 1 3で再生した場合、 再生された T Sは、 上 述したように多重/分離回路 1 2に入力される。 多重/分離回路 1 2に入力され た T Sは、 必要に応じ、 制御信号の解析、 生成を行い、 デジタルイン夕フェース 回路 2 5に供給する。 デジタルインタフェース回路 2 5では、 記録時とは逆の変 換を行い、 外部の I RDに適合するデジタル信号に変換し、 デジタル I N/OU T 2 4を介し出力する。
これと同時に多重/分離回路 1 2にて、 分離処理を行い、 MP E Gビデオデコ —ダ 1 7、 MP E Gオーディオデコーダ 2 1に P E Sを供給することにより、 ァ ナログの映像、 音声信号を得ることができる。
本例では、 I RDとの接続について述べたが、 等の 機器ゃ、 パ一ソナ ルコンピュータと接続することも可能である。
地上波 E P G用チューナ 2 6は、 ホスト CPU 1 4により制御され、 EP Gが 重畳されている CH (チャンネル） を受信し、 受信したビデオ信号をデータスラ ィサ 2 7に供給する。
デ一タスライサ 2 7では、 入力されたビデオ信号から E P Gデータを抽出し、 ホス ト CPU 1 4に供給する。 ホス ト CPU 1 4では、 この E P G信号の解析を 行い、 GU I上に番組情報の表示等を行う。 B Sデジタルや地上波放送から取得 した E P Gデ一夕は、 番組表の表示のみならず、 タイマ記録や記録済番組の夕ィ トル表示の情報として使用される。
続いて、 図 4を用いて、 本発明を適用した記録再生装置 1 0 0において、 デジ タルチューナ 1 1又は記録媒体 5 0から多重/分離回路 1 2を介して供給される T Sをデコードする MP E Gビデオデコーダ 1 Ίの詳細な構成について説明をす る。 '
MP E Gビデオデコーダ 1 7は、 コードバヅファ 3 1、 セレクタ 3 2、 デコ一 ドコア 3 3、 フレームメモリ 3 4、 ディスプレイミキサ 3 5とを備えている。 コードバッファ 3 1は、 多重/分離回路 1 2から供給された映像 E Sを複数ピ クチャ分、 一時的にバヅフアリンするバッファである。 コードバッファ 3 1は、 07439
15 ホス ト C P U 1 4の制御により、 多重/分離回路 1 2から供給される映像 E Sの ス ト リームの本数に応じて当該コードバヅファ 3 1のバッファリング領域を動的 に変化させ、 入力される各ス ト リームに割り当てることができる。
上述したように、 B Sデジタル放送で提供されるサービスとして考案されてい るマルチビュー放送をデジタルチューナ 1 1で受信した場合、 多璽/分離回路 1 2には 2又は 3本の S Dス ト リームが多重化された T Sが供給されることになる c
T Sを供給された多重/分離回路 1 2は、 T Sに多重化された P S I を取得し、 ホス ト C P U 1 4に供給する。 ホス ト C P U 1 4は多重ノ分離回路 1 2から供給 された P S Iから、 ス ト リームのタイプとス トリームの本数を把握し、 供給され る映像 E Sが S Dス ト リームでありス トリ一ムの本数が 2又は 3本であった場合 はコードバッファ 3 1 を制御してバッファリングする領域を動的に変化させ、 各 ス ト リ一ムにバヅフアリング領域を割り当てる。
なお、 記録媒体 5 0に記録されたストリ一ムが再生され、 多重/分離回路 1 2 に供給された場合、 ス ト リームタイプ、 ス ト リームの本数といった情報は、 記録 媒体 5 0に構築されたデ一夕ベースから取得することができる。
セレクタ 3 2は、 S Dス トリームが 2本、 又は、 3本であった場合に、 ホス ト C P U 1 4の制御に応じて、 コードバヅファ 3 1からの出力を時分割でスィ ヅチ ングしデコードコア 3 3に供給するように動作する。
なお、 セレクタ 3 2は、 H Dストリームが供給された場合、 及び S Dスト リー ムが単独で供給された場合には、 コードバッファ 3 1からの出力をスィ ヅチング 動作なしにデコ一ドコア 3 3に供給をする。
例えば、 MP E Gビデオデコーダ 1 7に 1本の H Dス ト リームが供給された場 合、 又は 1本の S Dストリームが供給された場合は、 それそれ図 5、 図 6に示す ようになる。
また、 M P E Gビデオデコーダ 1 7に 2本の S Dス ト リーム、 又は 3本の S D ス ト リームが供給された場合は、 それぞれ図 7、 図 8に示すようになる。 この場 合、 コードバッファ 3 1のバヅファリング領域は、 入力されるス トリーム毎に割 り当てられており、 セレクタ 3 2も、 デコードコア 3 3への入力を時分割で制御 するように動作する。 ス ト リームの識別は、 P I Dによってなされ、 多重/分離回路 1 2からコード バッファ 3 1に供給される 2本、 又は 3本の SDス ト リームも P I Dに基づいて 所定のバッファリング領域へと供給される。
デコードコア 3 3は、 コードバヅファ 3 1からフレーム単位で供給される H D ス ト リーム、 S Dス ト リ一ムを MP E Gデコード処理し画像データを生成する。 生成された画像データは、 後段のフレームメモリ 34に供給される。
なお、 以下の説明においては、 デコードコア 3 3によってデコード処理された HDス ト リームを HDフレームと呼び、 同じくデコードコア 33によってデコー ド処理された SDスト リームを SDフレームと呼ぶ。
フレームメモリ 34は、 所定の記憶容量、 例えば、 S Dフレームなら 1 6フレ ーム、 HDフレームなら 4フレームを記憶可能な記憶容量を備えている。 フレー ムメモリ 34は、 デコードコア 33でデコードされた HDフレーム、 SDフレー ムをホスト CPU 14の制御に応じて所定のメモリ領域に一時的に記憶する。 ま た、 記憶された HDフレーム、 SDフレームは、 同じく、 ホス ト CPU 1 4の制 御に応じて読み出され、 後段のディスプレイ ミキサ 3 5に出力される。
デコードコア 3 3でデコード処理されフレームメモリ 34に記憶される S Dフ レーム、 HDフレームは、 ホス ト CPU 14によって、 フレームメモリ 34のど のメモリ領域に記憶されているのかが管理される。
ディスプレイ ミキサ 35は、 ホス ト CPU 14によってフレームメモリ 34か ら読み出された HDフレーム、 S Dフレームの当該記録再生装置 1 0 0から、 例 えばテレビジョン受像機 200に出力された際の位置決めをホスト CPU 14の 制御に応じて実行し、 ポスト映像信号処理回路 1 8に供給する。 特に、 B Sデジ タル放送において提供されるマルチビュー放送をデジタルチューナ 1 1で受信し た際には、 最大で 3つのフレームを同じ画面上に適切に配置されるようホス ト C PU 1 4の制御に応じて位置決めを行う。
図 4に構成を示す MP EGビデオデコーダ 1 7におけるデコード処理は、 デコ ―ドコア 33で単にス トリームをデコ一ドするといった処理を示すものではなく、 デコードコア 3 3でデコードされたスト リームをフレームとしてフレームメモリ 3 に格納することを含んでいる。 2003/007439
17 したがって、 MP EGビデオデコーダ 1 7でデコード処理を実行するには、 フ レームメモリ 34のメモリ領域の管理、 つまりデコードコア 3 3でデコードされ たフレームがフレームメモリ 34のどのメモリ領域に記憶されるのかといった管 理までが必要となる。 デコードコア 33でスト リームをデコードするには、 フレ ームメモリ 34に空き領域がない限り実行されることはない。
具体的には、 ホスト CPU 1 4が、 SD RAM I 5にフレームメモリ 34の使 用状況を一括して管理するための管理テーブルを用意し、 この管理テーブルを参 照しながらフレームメモリ 34の空きメモリ領域を管理し、 デコードコア 3 3で のデコード処理を制御する。 また、 ホスト CPU 1 4は、 S D R AM 1 5に用意 された管理テーブルを参照しながら、 フレームメモリ 34に格納されたフレ一ム の出力も制御する。
例えば、 HDス トリーム又は SDスト リ一ムが単独でコードバヅファ 3 1に供 給される場合は、 ホス ト CPU 1 4は、 フレームメモリ 34に先に格納されたフ レームから順番に出力をし、 フレームメモリ 34の空きメモリ領域を確保してデ コードコア 33にデコード許可をすればよい。
マルチビュー放送におけるデコード処理では、 デコ一ドコア 33を時分割に使 用してコードバッファ 3 1に供給される 2又は 3本の S Dスト リームから S Dフ レ一ムを生成する。 生成されたそれそれの S Dフレームを構成する S Dフレーム はフレームメモリ 34に記憶される。 ここで、 2フレーム又は 3フレームの S D フレームは、 フレームメモリ 34からを同時に出力される必要がある。
したがって、 フレームメモリ 34のメモリ領域には、 デコードコア 3 3でデコ 一ドされた異なるチャンネルの S Dフレームが複数フレーム記憶されるため、 ホ スト CPU 14は、 チャンネルを区別するための情報や、 フレームメモリ 34か ら出力する時間情報などを把握していなくてはならない。
よって、 上述したようにホスト CPU 1 4は、 管理テ一ブルを用意しフレーム メモリ 34の使用状況を管理することが要求される。 ホスト CPU 14が、 S D RAM 1 5に用意する管理テ一ブルを仮想フレームとも呼ぶ。
ホス ト CPU 1 4によって、 SDRAM 1 5に構築される管理テーブルである 仮想フレームは、 フレームメモリ 34のメモリ領域に対応しており、 フレームメ モリ 34のメモリ領域へのフレーム格納状況などが反映され、 情報として保持し ている。
ホス ト C P U 14は、 S D R AM 1 5に展開された管理テーブルである仮想メ モリに基づいて、 デコードコア 33にデコードの実行許可をしたり、 フレームメ モリ 34に格納されているフレームの出力を制御することで、 MPE Gビデオデ コーダ 1 7におけるデコ一ド処理を正確に実行させることができる。
ホス ト CPU 14は、 S D RAM 1 5に展開された仮想フレームを^いて、 M P E Gビデオデコーダ 1 7のデコード処理を管理する際、 チャンネル毎、 つま り ビデオデコード処理毎にビデオデコード管理部、 仮想フレーム管理部、 表示管理 部として機能する。
ビデオデコード管理部は、 MP E Gビデオデコ一ダ 1 7に入力されたス ト リー ムのフレームへのデコード処理を管理する。 ビデオデコード管理部が管理するデ コード処理は、 フレームメモリ 34の空き領域の確保に始まり、 空き領域が確保 されたことに応じたデコードコア 3 3におけるデコ一ド、 デコードコア 3 3でデ コードされ、 フレームメモリ 34の空き領域に格納されたフレームの表示順序の 決定までを指す。 このようなホス ト CPU 14のビデオデコ一ド管理部としての デコード処理の管理は、 全て、 管理テ一ブルである S D R AM 1 5に展開された 仮想フレームを介して実行される。
例えば、 ビデオデコード管理部は、 ストリームをデコードする場合、 仮想フレ —ムの管理を実行する仮想フレーム管理部に HDス ト リ一ムであるのか SDス ト リームであるのかといつたスト リームタイプに応じた、 空き領域があるかどうか を検索する要求をし、 仮想フレームに空き領域が存在する場合、 当該空き領域を 確保し、 その仮想フレームの空き領域に対応したフレームメモリ 34のメモリ領 域に画像のデコードが実行されるよう制御をする。
ビデオデコード管理部は、 S l ow R, S t e R、 FRといったデコ一 ド順と表示順が異なるような特殊再生 （逆方向再生） の要求に応じて、 表示順序 の管理も行う。 ビデオデコード管理部による表示順序の管理も、 管理テーブルで ある仮想フレームを用いて、 例えば、 フレームが格納されたフレームメモリ 34 に対応する仮想フレームにユーザの要求に応じた表示順序をナンパ'リングした情 報を与えるなどして表示順序の管理を行う。
表示管理部は、 ビデオデコード管理部で決定されたデコードされたフレームの 表示順序に基づいて表示処理を管理し実行する。 表示管理部は、 表示処理を実行 する際、 管理テーブルである仮想フレームに記述された情報を用いて実行する。 例えば、 表示管理部は、 V S y n c割り込み毎に、 仮想フレーム内で表示可能 なフレームを検索し、 表示条件に一致したフレームを選択して表示する。 また表 示管理部は、 表示が終わったフレームに対する選別を行い、 以降不要だと判断し た仮想フレームを仮想フレーム管理部に返却する。 これにより、 その仮想フレー ムは空き領域となり、 フレームメモリ 3 4のメモリ領域に実際に格納されていた フレームが表示されることでフレームメモリ 3 4のメモリ領域が空き領域となつ たことと対応することになる。
仮想フレーム管理部は、 S D R A M 1 5に展鬨されているフレームメモリ 3 4 の管理テーブルである仮想フレームの管理を実行する。 仮想フレーム管理部は、 仮想フレームの管理や、 当該チャンネルにおいて使用可能な仮想フレームの把握 などを行っている。
例えば、 仮想フレーム管理部は、 ビデオデコード管理部から仮想フレームに空 きがないかどうかというような要求に応じて、 仮想フレーム上から空き領域を検 索したり、 表示管理部から返却される仮想フレームを解放する処理を実行する。 上述のように構成される M P E Gビデオデコーダ 1 7は、 ホスト C P U 1 4に よる S D R A M 1 5に展開された仮想フレームを用いた制御によって、 多重/分 離回路 1 2から供給される H Dス トリーム、 S Dス ト リームを H Dフレーム、 S Dフレームにデコードし出力することができる。
続いて、 図 9、 図 1 0、 図 1 1に示すフローチャートを用いて、 M P E Gビデ ォデコーダ 1 7でのデコード処理動作について説明をする。
M P E Gビデオデコーダ 1 7における複数チャンネルのデコード処理では、 時 分割デコード処理、 フレームメモリの共有化以外は、 各チャンネルにおけるデコ ―ド処理として独立した動作となっている。
したがって、 各チャンネルのデコード処理は、 実際は 1つのデコードコア 3 3 しか備えていない M P E Gビデオデコーダ 1 7単体で実行しているが、 チャンネ 03 007439
20 ル毎に独立して設けられた複数のデコーダによる処理が実行されるモデルを想定 してデコード処理動作を説明することができる。
上述したように M P E Gビデオデコーダ 1 7でのデコード処理においては、 B Sデジタル放送で提供されるマルチビュー放送に対応する 2又は 3本のチャンネ ルのデコード処理を実行する場合においても、 独立したデコーダによる処理とみ なしてモデル化することができるため、 1つのチャンネルのデコード処理につい て説明をすることで、 M P E Gビデオデコーダ 1 7のデコード処理動作の説明と する。
まず、 図 9に示したフローチャートのステップ S 1 において、 当該チャンネル のビデオデコード管理部は、 仮想フレーム管理部に対して、 M P E Gビデオデコ ーダ 1 7にスト リームが供給されたことに応じて、 S D R A M 1 5に展開されて いる管理テーブルである仮想フレームからデコードする際に必要となるフレ一ム 数の仮想フレームを要求する。 要求される仮想フレームの数を、 要求仮想フレー ム数 (req_num[ch] ) とする。
ステップ S 2において 当該チャンネルの仮想フレーム管理部は、 ビデオデコ ード管理部の要求に応じて、 S D R A M 1 5に展闢されている仮想フレームを検 索し、 当該チャンネルにおいて使用している仮想フレームのフレーム数 （used— n um[ ch] ) と、 当該チャンネルで使用可能で、 且つ、 使用されていない仮想フレー ムのフレーム数 (blank_num[ch] ) とをカウントする。
ステップ S 3において、 仮想フレーム管理部は、 当該チャンネルにおいて使用 している仮想フレームのフレーム数 （used_imni[ ch] ) と、 ビデオデコード管理部 によって要求された仮想フレームの要求仮想フレーム数 （req_miiii[ch] ) との和が、 当該チャンネルにおいてデコード処理に使用することが可能な仮想フレームの最 大数以下 （used— num[ch] + req— num[ch]≤max— num[ ch] ) となった場合工程をステ ップ S 4へと進め、 最大数を越えてしまった場合、 工程をステヅプ S 5へと進め る。
ステヅプ S 4において、 仮想フレーム管理部は、 ビデオデコード管理部によつ て要求された仮想フレームの要求仮想フレーム数 （r>eq_num[ch] ) が、 当該チャン ネルで使用可能で、 且つ、 使用されていない仮想フレームのフレーム数 （blank— num[ch] ) 以下となった場合に工程をステップ S 6へと進め、 使用されていない仮 想フレームのフレーム数 （blank— num[ch] ) を越えてしまった場合工程をステップ S 5へと進める。
ステップ S 5において、 仮想フレーム管理部は、 ステップ S 3、 ステップ S 4 による判定処理の結果、 条件を満たさなかったことに応じて、 フレームメモリ 3 4には当該チャンネルにおいてデコードコア 3 3でデコードをしたフレームを格 納する領域がないと判断し、 デコード処理に使用可能な領域を確保するための待 ち状態となる。
ステップ S 6において、 仮想フレーム管理部は、 ステップ S 3、 ステップ S 4 による判定処理の結果、 条件を満たしたことに応じて、 フレームメモリ 3 4には 当該チャンネルにおいてデコードコア 3 3でデコ一ドしたフレームを格納する領 域があると判断され、 ビデオデコ一ド管理部にその旨が通知される。
ステヅプ S 6で仮想フレーム管理部によりデコードしたフレームのフレームメ モリ 3 4への格納領域が確保され、 デコードコア 3 3によるデコード処理が可能 であると通知 （以下、 デコード処理要求とも呼ぶ） されたことに応じて、 ステツ プ S 7において、 ビデオデコーダ管理部は、 当該 M P E Gビデオデコーダ 1 7の デコード処理を実行する。
次に、 図 1 0に示すフローチャートを用いて、 図 9のフローチャートのステヅ プ S 7におけるデコード処理の動作について説明をする。
ステップ S 2 1において、 ビデオデコード管理部は、 仮想フレ一ム管理部によ り要求されるデコード処理要求を受け取る。
ステップ S 2 2において、 ビデオデコード管理部は、 ビデオデコードコア 3 3 が現在デコード処理中であるかどうかのチェヅクをする。 M P E Gビデオデコー ダ 1 Ίにおいて実際にビデオデコ一ド処理を実行するビデオデコードコア 3 3は、 1つしかないため 1度に 1チャンネルのビデオデコード処理しか実行することは できない。 したがって、 当該ステップ S 2 2において、 デコードコア 3 3が使用 中であるかどうかの判断が必要となる。
デコードコア 3 3が現在デコード処理中である場合は工程をステップ S 2 3へ と進め、 デコード処理中でない場合は工程をステヅプ S 2 4へと進める。 ステップ S 2 3において、 ビデオデコード管理部は、 デコードコア 3 3がデコ 一ド処理中であることに応じて、 デコ一ドコア 3 3の処理が終了するのを待つ待 機状態となる。
ステップ S 2 4において、 ビデオデコード管理部は、 デコードコア 3 3がデコ 一ド処理中でないことに応じて、 コードバッファ 3 1 にバヅファリングされた当 該チャンネルのス ト リームがデコードコア 3 3に適切に供給されるようにセレク 夕 3 2を制御する。
デコードコア 3 3は、 コードバヅファ 3 1からセレクタ 3 2を介してス ト リー ムが供給されたことに応じて、 供給されたス トリ一ムのフレームへのデコード処 理を実行する。 デコードコア 3 3はス ト リームをフレーム単位でデコード処理す る。 デコードコア 3 3によってデコードされて生成されたフレームは、 S D R A M 1 5に展鬨された仮想フレームを用いた管理に基づいて、 フレームメモリ 3 4 の該当するメモリ領域に格納される。
なお、 デコード処理をするス ト リームが、 参照面を必要とする P icture ( P -pi cture又は B- pi cture) の場合、 参照面をフレームメモリ 3 4から検索し、 検索し た参照面を用いてデコード処理を実行する。 参照面の検索においては、 管理テー ブルである仮想フレームを用いる。
ステップ S 2 5において、 ビデオデコード管理部は、 デコードコア 3 3でデコ 一ド処理が終了したことに応じて、 デコードコア 3 3のデコ一ド処理が終了され るのを待機しているチャンネルがあるかどうかチェヅクをする。 ビデオデコード 管理部は、 デコ一ド処理が終了するのを待機しているチャンネルがあった場合ェ 程をステヅプ S 2 6へと進め、 待機チャンネルがない場合はステヅプ S 2 7へと 進む。
ステップ S 2 6において、 ビデオデコード管理部は、 デコードコア 3 3による 当該チャンネルのデコ一ド処理が終了したことをデコード処理の終了を待機して いるチャンネルのビデオデコード管理部に通知する。
ステップ S 2 7において、 ビデオデコード管理部は、 当該チャンネルのデコー ド処理終了を待機しているチャンネルがないことに応じてデコード処理の全工程 を終了させる。 E3 ステップ S 2 7における工程が終了すると、 再び、 図 9に示すフローチャート に戻り、 ステップ S 8の表示処理、 ステップ S 9の仮想フレームの解放処理が実 行される。
ステップ S 8において、 表示管理部は、 フレームメモリ 3 4に格納されたフレ ームの表示タイ ミングであるビデオ同期信号 （V S y n c ) が発生される毎に、 管理テ一ブルである仮想フレームが保持する表示順序を示した情報を参照して表 示すべきフレームを決定する。 表示管理部は、 仮想フレームによって ¾示される ことが決定されたフレームを対応するフレームメモリ 3 4から読み出しディスプ レイ ミキサ 3 5の任意の位置に配置する。
表示管理部によって仮想フレームから表示が決定されるフレームは、 再生のモ ードによって異なり、 例えば、 通常再生の場合であれば、 S T C ( System Timin g C lock) に一致する P T S (Presentation Time Stamp) を有するフ レームが選 択される。 また、 特殊再生となる S 1 0 w Rの埸合は現在表示中のフレームよ りも時間的に 1 picture前のフレームが選択される。
複数の S Dス ト リームを再生する場合において、 S Dス ト リームをデコードし た S Dフレームをディスプレイ ミキサ 3 5でミキシングして表示する際、 重なら ないようにフレームを配置する。
ステップ S 9において、 表示管理部は、 デコード処理しフレームメモリ 3 4の 所定のメモリ領域に格納されたフレームをディスクプレイ ミキサ 3 5に出力した ことに応じて、 フレームメモリ 3 4の所定のメモリ領域に対応した仮想フレーム を解放する仮想フレーム解放処理を実行する。
仮想フレーム解放処理が実行されると、 S D R A M 1 5に展開された仮想フレ ームのうち解放された所定の仮想フレームは、 空き仮想フレームとなる。 これは 空き仮想フレームとなった仮想フレームと対応するフレームメモリ 3 4のメモリ 領域が、 格納していたフレームをディスプレイ ミキサ 3 5に出力したことによつ て空きメモリ領域となったことに対応させるための処理である。
図 1 1に示すフローチャートを用いて、 この仮想フレーム領域解放処理の動作 について説明をする。
まず、 ステップ S 3 1において、 表示管理部は、 フレームメモリ 3 4の所定の 39
24 メモリ領域に格納されていたフレームをディスプレイ ミキサ 3 5に出力させたこ とに応じて、 仮想フレーム管理部に対して、 所定のメモリ領域に対応する仮想フ レームを解放するよう要求をする。
ステップ S 3 2において、 仮想フレーム管理部は、 表示管理部から解放要求さ れた仮想フレームのステータス情報 （state[n]) を空き仮想フレームであること を示す" B LANK" にする。
ステップ S 33において、 仮想フレーム管理部は、 ビデオデコード管理部から 仮想フレームが要求されているかどうかを判断する。 仮想フレーム管理部に仮想 フレームの要求がなされていない場合は工程を終了し、 仮想フレームの要求がな されている場合は図 9に示すフローチャートにおけるステヅプ S 2へと工程を戻 し、 ステップ S 2以下の工程を再び実行する。
このように、 MP E Gビデオデコーダ 17は、 1つのデコードコア 3 3、 1つ のフレームメモリ 34といった構成であるが、 マルチビュ一放送のような複数チ ヤンネルのデコード処理を必要とする場合においても、 ホスト CPU 1 4の仮想 フレーム管理部によって管理テーブルである仮想フレームを用いたフレームメモ リ 34の管理を行い、 デコードコア 33をホスト CPU 1 4のビデオデコード管 理部の制御によって時分割で使用することでデコード処理を実現することができ る。
続いて、 S D RAM 1 5に構築された仮想フレームを用いた、 ホス ト CPU 1 4による、 より具体的な管理手法について説明をする。
ホス ト CPU 14による管理手法を説明する前に、 MP EGビデオデコーダ 1 7のフレ一ムメモリ 34のメモリ領域を図 1 2 A〜図 1 2 Cに示すように定義す る。 フレ一ムメモリ 34の全メモリ領域を図 1 2 Aに示す。
図 1 2 Bに示すように、 フレームメモリ 34を SDフレーム用のフレームメモ リとして 1 6フレームの S Dフレームを格納可能であると定義する。 また、 図 1 2 Cに示すように、 フレームメモリ 34を HDフレーム用のフレームメモリとし て 4フレームの HDフレームを格納可能であると定義する。
図 1 2 B、 図 1 2 Cに示すようにフレームメモリ 34を定義すると、 HDフレ —ムを格納するのに必要なメモリ領域は、 S Dフレームを格納するのに必要なメ モリ領域の 4倍となっている。
次に、 図 1 3を用いて、 S D RAM 1 5に構築する管理テーブルである仮想フ レームと、 フレームメモリ 34のメモリ領域との対応付けを行う。
S DR AM 1 5に構築する仮想フレームは、 フレームメモリ 34を S D用のフ レームメモリとして使用した場合、 フレームメモリ 34を HD用のフレームメモ リとして使用した場合を同時に把握することができるように構築される必要があ る。
このように仮想フレームを構築することで、 例えば、 マルチビュー放送の再生 をするべく 3本の SDス ト リーム （以下、 3本の SDス ト リームを 3 S Dス ト リ ームとも呼ぶ） が MP E Gビデオデコーダ 1 7に供給され、 続いて、 デジタルハ ィビジョン放送を再生するべく HDス トリームが供給された場合に、 マルチビュ —放送とデジ夕ルハィ ビジヨン放送が切り換えられる切替点において、 シームレ スな切替を実行することができる。
例えば、 S D R AM 1 5には、 図 1 3に示すようにフレームメモリ 34のメモ リ領域と対応づけられた仮想フレームが構築される。
上述したように、 フレームメモリ 34を SD用のフレームメモリとして使用す る場合と、 フレームメモリ 34を HD用のフレームメモリとして使用する場合と があるため、 どちらの情報も同時に取得する必要がある。
したがって、 SDRAM 1 5には、 SD用の仮想フレームと、 HD用の仮想フ レームとが構築される。 つまり SDRAM 1 5に構築される仮想フレームは、 フ レームメモリ 34を S D用として使用した際の最大フレーム数と、 フレームメモ リ 34を HD用として使用した際の最大フレーム数を備えることになる。
例えば、 フレームメモリ 34を S D用として使用した場合、 フレームメモリ 3 4には、 S Dフレームを 1 6フレーム格納することが可能であり、 フレームメモ リ 34を HD用として使用した場合、 フレームメモリ 34には、 HDフレ一ムを 4フレーム格納することが可能であるため SDRAM 1 5に構築される仮想フレ ームのフレーム数は 2 0フレームとなる。
S D R AM 1 5に構築される 20フレームの仮想フレームを V F— 1〜V F— 2 0とすると各仮想フレームは、 SD用のフレームメモリ 34のメモリ領域を示 す F— SD 1〜： F— SD 1 6、 HD用のフレームメモリ 34のメモリ領域を示す F_HD 1 ~F_HD 4と以下のように対応している。
HD用のフレームメモリ 34のメモリ領域を示す F— HD 1〜F— HD 4は、 仮想フレームの VF— 1〜VF— 4にそれそれ 1対 1で対応し、 S D用のフレ一 ムメモリ 34のメモリ領域を示す F— SD 1〜F— SD 1 6は、 仮想フレームの VF— 5〜VF— 20にそれぞれ 1対 1で対応する。
SDRAM 1 5に構築された仮想フレームは、 フレームメモリ 34の管理を実 行するためにいくつかの管理情報を保持する。 例えば、 管理情報としては、 上述 したように仮想フレームに対応づけたフレームメモリ 34のメモリ領域を示すメ モリ領域情報、 現在の当該仮想フレームの状態を示すステータス情報などがある ( ステータス情報は、 仮想フレームをデコード用に確保可能な状態である場合 は" B LANK" 、 仮想フレームをデコード用に確保した状態である場合は" A LLOC"、 仮想フレームがデコード済みである場合は" DE C"、 仮想フレー ムが表示可能である場合は、 " PRSN" などを示す情報である。
ホス ト CPU 14は、 上述した仮想フレームが保持するステータス情報を参照 することで対応するフレームメモリ 34の現在の状態を把握することができる。 例えば、 SDRAM 1 5に構築された仮想フレームの VF—1のステータス情 報が" BLANK"である場合は、 フレームメモリ 34のメモリ領域 F— HD 1 をデコード用として確保可能であることを示しており、 VF— 5のステータス情 報が" ALLOC"である場合は、 フレームメモリ 34のメモリ領域 F— SD 1 をデコード用に確保したこと示しており、 VF— 1 3のステータス情報" DE C" である場合は、 フレームメモリ 34のメモリ領域 F— S D 9にはデコード済 みのフレームが格納されていることを示し、 VF— 17のステータス情報が" P RSN"である場合はフレームメモリ 34のメモリ領域 F— SD 1 3には表示可 能なフレームが格納されていることを示している。
MPEGビデオデコーダ 17においてストリ一ムをデコードする場合、 ホス ト CPU 14は、 SDストリーム、 HDス トリームといったス ト リームの種類に応 じて、 フレームメモリ 34のメモリ領域から必要なデコード領域を確保して、 続 いて、 デコードコア 33によるデコード処理を実行させる。 ホス ト CPU 14は、 7439
27 デコード処理に必要なデコード領域を S D R AM 1 5に構築された管理テーブル である仮想フレームを用いて確保する。
ホス ト CPU 1 4は、 ス トリームをデコ一ドする場合、 まず SDRAM 1 5に 構築された全仮想フレームを検索し、 ステ一タス情報が" B LANK" 状態の仮 想フレームを確保する。
具体的には、 仮想フレームは、 フレームメモリ 34の所定のメモリ領域と対応 しているので、 例えば、 HDス トリームが MP E Gビデオデコーダ 1 7に入力さ れた場合、 ホスト CPU 1 4は、 S DRAM 1 5に構築された仮想フレームのう ち、 V F— 1〜V F— 4のいずれかの仮想フレームを確保すると、 確保した仮想 フレームに対応した HDス トリームをデコード可能なフレームメモリ 34のメモ リ領域が確保されたことになる。
しかし、 仮想フレーム V F— 1〜V F— 4に対応したフレームメモリ 34のメ モリ領域を確保するには、 当該 VF— 1〜VF— 4のステータス情報だけではな く仮想フレーム VF— 5〜VF— 20のステータス情報も確認する必要がある。 フレームメモリ 34は、 上述したように HD用としても SD用としても定義さ れ、 HD用として定義される場合、 そのメモリ領域、 つまり HDフレームを 1フ レーム格納可能なフレームメモリ 34のメモリ領域は、 S D用として定義される 場合のメモリ領域、 つまり SDフレームを 1フレーム格納可能なフレームメモリ 34のメモリ領域の連続した 4つのメモリ領域となっている。
したがって、 HDス トリームをデコードする際、 仮想フレーム VF—；!〜 VF —4のステータス情報だけではデコードする際のフレームメモリ 34のメモリ領 域の確保には不十分な情報である。 仮想フレーム VF— 5〜VF— 20のステー タス情報も確認することで、 仮想フレーム VF— 1〜VF— 4のステータス情報 に基づいて確保されたフレームメモリ 34のメモリ領域が完全に空き領域となつ ているかどうかが分かる。
また、 S Dス ト リームをデコードする際も同様であり、 ホス ト CPU 14は、 仮想フレーム VF— 5〜VF— 20のステータス情報と、 仮想フレーム VF— 1 〜VF— 4のステータス情報とを参照することでフレームメモリ 34に、 S Dス ト リ一ムをデコードする際に必要となる空き領域があるかどうかを判断する。 続いて、 図 1 4に示す S DRAM 1 5に構築された仮想フレームの一例を用い、 HDス トリームがデコード可能か、 S Dストリームがデコード可能かどうかを検 証する。
まず、 HDス トリームが MP E Gビデオデコーダ 1 Ίに供給された場合につい て検証する。
HD用の仮想フレームである VF— 1〜VF— 4を見ると、 VF— 4はステー タス情報が" P R SN" であり表示用に使用されているため、 HDス ト リームの デコードには使用することはできない。
残る、 HD用の仮想フレーム VF— 1〜VF— 3は、 ステータス情報が" B L ANK" であるため HDス ト リームのデコ一ドに使用できる可能性がある。
しかし、 フレームメモリ 34を S D用のフレームメモリとして定義した場合に、 仮想フレーム VF— 1に対応したフレームメモリ 3 4のメモリ領域を共有するこ とになる仮想フレーム VF— 5〜VF— 8のうち VF— 6のステータス情報が" AL L OC" であり、 VF— 7のステータス情報が" P R SN" となっているた め VF— 1を HDス ト リームのデコードに使用することはできない。
同様に、 VF— 2においては、 フレームメモリ 3 4のメモリ領域を共有する仮 想フレーム VF— 9〜 V F— 1 2のうち VF— 1 1、 V F_ 1 2のステータス情 報が" DE C" となっているため HDストリームのデコードに使用することはで きない。
VF— 3においても、 フレームメモリ 34のメモリ領域を共有する仮想フレー ム VF— 1 3〜VF 1 6のうち VF— 1 3のステータス情報" PR S N" となつ ているため HDスト リームのデコードに使用することができない。
したがって、 図 1 4に示す仮想フレームからは、 MP E Gビデオデコーダ 1 7 が HDストリームのデコードをすることができない状態であることが分かる。 続いて、 図 1 4に示す S DRAM 1 5に構築された仮想フレームの一例を用い S Dストリームが MP E Gビデオデコーダ 1 Ίに供給された場合について検証す る。
S D用の仮想フレームである VF— 5〜VF— 2 0を見ると、 VF— 5、 VF —8、 VF 9、 V F 1 0、 VF— 1 4〜VF 2 0までのステータス情報 が" B LANK" となっている。
次に、 仮想フレーム VF— 1〜VF— 4を見ると、 VF— 4のステータス情報 が" PR SN" となっているため VF— 1 7〜VF__20を SDス トリームのデ コードに使用することができない。
—方、 VF—；！〜 VF— 3のステータス情報は、 " B LANK" であるため V F— 5、 VF— 8、 VF— 9、 VF— 1 0、 VF— 1 4〜VF一 1 6を SDス ト リームのデコードに使用することができる。
したがって、 図 1 4に示す仮想フレームからは、 MP E Gビデオデコーダ 1 7 が、 S Dストリームのデコードをすることができる状態であることが分かる。 次に、 図 1 5に示すフローチャートを用いて、 B Sデジタル放送のマルチビュ 一放送を再生する際の、 仮想フレームを用いたデコード管理動作について説明を する。 以下の説明においては、 マルチビュー放送として 3本の S Dスト リーム (3 SDス ト リーム） が MP E Gビデオデコーダ 1 7に供給され、 それぞれの S Dス ト リームをデコード処理するチャンネルをチャンネル 1、 チャンネル 2、 チ ヤンネル 3とする。
また、 チャンネル 1でデコード処理する SDフレームを V_ch 1—1、 V_ch 1 _ 2、 V— chl— 3、 V— chl— 4とし、 チャンネル 2でデコード処理する S Dフレー ムを V— ch2— 1、 V— ch2— 3、 V_ch2_3、 V— ch2— 4とし、 チャンネル 3でデ コード処理する S Dフレームを、 V— ch3— 1、 V— ch3— 2、 V— ch3_3、 V_ch3 —4とする。 各チャンネルの S Dフレームのチャンネル番号 （chl、 ch2、 ch 3 ) 以外に添付された数字は、 便宜的に P T Sを示しているとし、 チャンネル間で同 一の数字は、 同じ P T S又は P T Sが近接していることを示しているとする。 上述したように、 各チャンネルのデコード処理は、 独立して実行されると考え られるので、 ここでは、 1つのチャンネルのデコード処理を中心に説明をする。 まず、 ステップ S 4 1において、 ホス ト CPU 14は、 SDス ト リームが供給 されたことに応じて、 当該チヤンネルにおけるデコード処理において必要な仮想 フレームを要求する。
ステップ S 42において、 ホス ト CPU 14は、 S DRAM 1 5に構築された 仮想フレームを参照して、 ステ一タス情報が" B LANK" となっている仮想フ レームがあるかどうかを検出する。 ステータス情報が" B LANK" である仮想 フレームがあった場合は工程をステップ S 44へと進め、 ステータス情報が" B LANK" ない場合は工程をステツプ S 43へと進める。
ステップ S 43において、 ホス ト CPU 14は、 仮想フレームのステータス情 報が" B LANK" となって空き仮想フレ一ムができるの待つ、 待機状態となる < ステップ S 44において、 ホス ト CPU 14は、 当該チャンネル用に確保され たコ一ドバッファ 3 1のメモリ領域に供給された S Dス ト リームから再生出力の 時刻管理情報である P T Sを検出する。
ホス ト C PU 1 4は、 当該チャンネル以外の他チャンネルのデコード処理に確 保されている S D用の仮想フレームから、 当該チャンネルで検出した P T Sに近 接、 若しくは一致する P T Sを備える S D用の仮想フレームを検索する。
例えば、 仮想フレームが図 1 6に示すようであり、 チャンネル 3でデコード処 理をする V— ch3— 4の P T Sがステヅプ S 44で検出されたとする。
図 1 6に示す仮想フレームは、 HD用の仮想フレーム VF— 1〜VF— 4のス テ一タス情報が" B LANK"、 S D用の仮想フレ一ム VF— 8、 VF— 1 2、 VF— 1 6、 VF_1 9、 VF_2 0のステータス情報が，， B LANK" である とする。
上述したように、 ホスト CPU 1 4は、 SDRAM 1 5に構築された図 1 6に 示す仮想フレームを参照して、 V— ch3_4の P T Sに近接、 若しくは一致する P T Sを備える他チャンネルの S D用の仮想フレームを検索する。 図 1 6の仮想フ レームでは、 S D用の仮想フレーム VF— 1 7、 VF— 1 8には、 VF— 1 7、 VF_1 8に対応するフレームメモリ 34のメモリ領域に V— ch3— 4の P T Sに 近接、 若しくは一致する P T Sを備えるチャンネル 1の V_chl— 4、 チャンネル 2の V—ch2— 4が記憶されていることが示されているので、 該当する S D用の仮 想フレームは、 VF— 1 7、 VF— 1 8であることが分かる。
該当する仮想フレームがあった場合は工程をステップ S 45へと進め、 該当す る S D用の仮想フレームがない場合は工程をステヅプ S 48へと進める。
ステヅプ S 45において、 まず、 ホスト CPU 14は、 ステップ S 44で検索 された当該チャンネルの P T Sに近接、 若しくは一致する P T Sを備える他チヤ ンネルの S D用の仮想フレームと、 フレームメモリ 34のメモリ領域を共有して いる HD用の仮想フレ一ムを特定する。
例えば、 図 1 6に示す仮想フレームの場合、 ステヅプ S 44で S D用の仮想フ レーム VF— 1 7、 VF_1 8が特定された。 この SD用の仮想フレームとフレ —ムメモリ 34のメモリ領域を共有している HD用の仮想フレームは、 VF— 4 であることが分かる。
次に、 ホス ト CPU 14は、 特定された HD用の仮想フレームとフレームメモ リ 34のメモリ領域を共有する S D用の仮想フレームから、 ステータス情報が" B LANK" の SD用の仮想フレームがあるかどうかを検索する。
例えば、 図 1 6に示す仮想フレームの場合、 特定された HD用の仮想フレーム VF— 4と、 フレームメモリ 34のメモリ領域を共有する S D用の仮想フレーム は、 VF— 1 7〜VF— 20である。 仮想フレーム VF— 1 7、 VF— 1 8は、 既にチャンネル 1、 チャンネル 2で使用されているため、 ステータス情報が" B LANK" であるのは VF— 1 9、 VF_20の SD用仮想フレームである。 ステータス情報が" BLANK" の仮想フレームがある場合は工程をステップ S 4 6へと進め、 ステータス情報が" B L ANK" の仮想フレームがない場合は 工程はステップ S 43へと進み、 空き仮想フレームの待機状態となる。
ステップ S 46において、 ステータス情報が" BLANK" である仮想フレー ムがあったことに応じて、 この仮想フレームを確保する。
例えば、 図 1 6に示す仮想フレームの場合、 VF— 1 9、 VF— 20のいずれ かが確保される。 ここでは、 VF— 1 9が確保されたとする。
ステヅプ S 47において、 ホスト CPU 14は、 仮想フレ一ムが確保されたこ とに応じて、 デコード対象の S Dス ト リ一ムをデコ一ドコア 33でデコ一ドし、 SDフレームを生成し、 確保された仮想フレームに対応したフレームメモリ 34 のメモリ領域にデコードした S Dフレームを格納させる。
例えば、 図 1 6に示す仮想フレームの場合、 仮想フレーム VF— 1 9に対応す るフレームメモリ 34のメモリ領域に V—ch 3— 4が格納されることになる。 ステップ S 48において、 ホスト CPU 14は、 当該チャンネルで検出した P T Sに近接、 若しくは一致する P T Sを備える S D用の仮想フレームを検索でき 07439
32 なかったことに応じて、 仮想フレ一ムの HD用の仮想フレ一ムとフレームメモリ
34のメモリ領域を共有している S D用の仮想フレ一ム群で構成される S D仮想 フレームグループのステータス情報を参照し、 当該 S D仮想フレームグループが 空き状態となっているかどうか判断する。
仮想フレームグループを構成する S D用の仮想フレーム群の全ての仮想フレー ムのステ一タス情報が" B LANK" となっている場合を、 仮想フレームグルー プが空き状態であるという。
空き状態の仮想フレームグループが存在する場合は工程をステツプ S 49へと 進め、 空き状態の S D仮想フレームグループが存在しない場合は工程をステツプ S 50へと進める。
ステップ S 4 9において、 ステータス情報が" BLANK" となっている SD 用の仮想フレームを確保する。 ステップ S 49が終了すると、 工程はステップ S
47へと進みデコ一ドコア 33によるデコードが実行され、 確保された領域にデ コードされた S Dフレームが記憶される。
ステップ S 50において、 ホス ト CPU 14は、 SDRAM 1 5に構築された 仮想フレームの全ての S D仮想フレームグループが空き状態ではなかったことに 応じて、 ステータス情報が" B LANK" である SD用の仮想フレームから、 現 時点で最も早く再生されるであろう SD仮想フレームグループに属している S D 用の仮想フレームを確保する。
これは、 上述したように SD仮想フレームグループの定義より、 SD仮想フレ ームグループに属する S D用の仮想フレームと対応するフレームメモリ 34のメ モリ領域に格納される S Dフレームは、 お互いが近接、 若しくは一致するような P T Sを保持しているため、 当該 S Dフレームグループの P T Sも同一であると 考えられる。 したがって、 S D仮想フレームグループ単位で、 再生される時刻の 検証をすることが可能となる。 ステップ S 50が終了すると、 工程はステヅプ S 47へと進みデコードコア 33によるデコ一ドが実行され、 確保された領域にデ コードされた S Dフレームが記憶される。
このようにして、 SDRAM 1 5に構築された仮想フレームに基づいたホス ト CPU 1 4の管理によって、 マルチビュ一放送時に供給される 3本の SDス ト リ ームのデコード処理が実行されると、 例えば、 マルチビュニ放送が終了し、 通常 のデジタルハイビジョン放送に切り替わった場合、 図 1 6に示す仮想フレームを 用いて以下に示すようにして HD用の仮想フレームが確保される。
例えば、 図 1 6に示す仮想フレームのように、 各チャンネルのフレームが記憶 されているとすると、 この時点では、 S D用の仮想フレーム V F 5―〜 V F— 7、
V F 9―〜 VF— 1 1、 VF— 1 3〜VF— 1 5、 V 1 7―〜 VF— 1 9が使 用されているため、 フレームメモリ 3 4のメモリ領域には HD用のフレームを確 保するための領域がないことになる。
したがって、 HD用の仮想フレームである VF— 1、 V F— 2、 VF— 3、 V F— 4も確保することができない。
しかし、 S T Cが進み仮想フレームの中で最も早い P T Sを持つ、 VF— 5〜
V F_7に対応するフレームメモリ 3 4のメモリ領域に記憶されている V— chl_ 1、 V— ch2— 1、 V— ch3— 1をフレームメモリ 3 4から読み出すと、 フレームメ モリ 3 4のメモリ領域を共有している HD用の仮想フレーム VF—1を確保する ことができる。
同様にして、 仮想フレ一ム V F— 9 ~V F— 1 1 に対応するフレームメモリ 3 4のメモリ領域に記憶されている V—ch 1—2、 V— ch2— 2、 V_ch3— 2を読み出 し、 仮想フレーム VF— 1 3〜VF— 1 5に対応するフレームメモリ 3 4のメモ リ領域に記億されている V一 chl— 3、 V— ch2— 3、 V—ch 3—3を読み出し、 仮想 フレーム VF— 1 7〜VF— 1 9に対応するフレームメモリ 3 4のメモリ領域に 記憶されている V— chl— 4、 V_ch2— 4、 V—ch 3 _4を読み出すことで、 順次、 HD用の仮想フレーム VF— 2、 VF— 3、 V F— 4を確保することができる。 このようにして、 H D用の仮想フレームを順次確保することが可能であるため、 マルチビュー放送からデジタルハイビジョン放送へと切り替わる。 このように、 MPE Gビデオデコーダ 1 Ίに供給されるスト リームが 3本の S Dス ト リームか ら 1本の HDス ト リームへと切り替わった場合でも、 フレームメモリ 3 4のメモ リ領域を確保できないことによるデコード処理の一時的な中断を防止することが できる。
つまり、 マルチビュー放送からデジタルハイビジョン放送へと切り替わった場 合でも" シームレス" なデコード処理が可能であるため、 ユーザに提供される映 像もマルチビュー映像からデジタルハイビジョン映像へと自然に切り替わること になる。
続いて、 図 1 7に示すフローチャートを用いて、 デジタルハイ ビジョン放送を 再生する際の仮想フレームを用いたデコ一ド管理動作について説明をする。 ステップ S 6 1において、 ホス ト CPU 14は、 HDス ト リームが供給された ことに応じて、 デコード処理において必要な仮想フレームを要求する。
ステップ S 62において、 ホスト CPU 14は、 S DRAM 1 5に構築された 仮想フレームのうち HD用の仮想フレーム V ！〜 V F— 4のステータス情報 が" BLANK" となっているかどうかを検索する。 ステータス情報が" B LA NK" となっている場合は工程をステップ S 6 3へと進め、 ステータス情報が" B LANK" となっていない場合は工程をステツブ S 64へと進める。
ステップ S 63において、 ホス ト CPU 14は、 HD用の仮想フレーム VF— 1〜VF— 4のうちステータス情報が" B LANK" であった HD用の仮想フレ ームと、 フレームメモリ 34のメモリ領域を共有する S D用の仮想フレームメモ リのステータス情報が全て" B LANK" であるかどうかを判断する。
例えば、 HD用の仮想フレーム VF— 1のステータス情報が" B LANK" で あった場合は、 S D用の仮想フレームメモリ VF— 5〜VF— 8のステータス情 報を検証し、 HD用の仮想フレーム VF— 2のステータス情報が" B LANK" であった場合は、 S D用の仮想フレームメモリ VF— 9〜VF— 1 2のステ一夕 ス情報を検証し、 HD用の仮想フレーム VF— 3のステータス情報が" B LAN K" であった場合は、 S D用の仮想フレ一ムメモリ VF— 1 3〜VF— 1 6のス テ一タス情報を検証し、 HD用の仮想フレーム VF— 4のステータス情報が" B LANK" であった場合は、 SD用の仮想フレームメモリ VF— 1 7〜VF— 2 0のステータス情報を検証する。
S D用の仮想フレームのステータス情報が全て" B LANK" であった場合は 工程をステヅプ S 65へと進め、 ステータス情報が 1つでも" B LANK" でな かった場合は工程をステツプ S 64へと進める。
ステップ S 64において、 ホスト CPU 14は、 仮想フレームのステータス情 報が" B LANK" となって空き仮想フレームができるの待つ、 待機状態となる < ステヅプ S 65において、 ホス ト CPU 14は、 ステータス情報が" B L AN K" である HD用の仮想フレームがあったことに応じて、 この仮想フレームを確 保する。
ステヅプ S 66において、 ホス ト CPU 14は、 HD用の仮想フレームが確保 されたことに応じて、 デコード対象の HDストリームをデコードコア 33でデコ ードし、 HDフレームを生成し、 確保された仮想フレームに対応したフレームメ モリ 34のメモリ領域にデコードした HDフレームを格納させる。
このようにして、 SDRAM 1 5に構築された仮想フレームに基づいたホス ト CPU 14の管理によって、 デジタルハイ ビジョン放送時に供給される 1本の H Dス ト リームのデコード処理が実行される。 ここで、 例えば、 デジタルハイ ビジ ヨン放送が終了し、 マルチビュー放送に切り替わった場合、 仮想フレームを用い て以下に示すようにして S D用の仮想フレームが確保される。
例えば、 HD用の仮想フレーム VF— 1〜VF— 4が全て埋まっている場合に おいて、 HD用の仮想フレームの中で最も早い P T Sが HD用の仮想フレーム V F— 1であった場合、 ホス ト CPU 14は、 HD用の仮想フレーム VF— 1に対 応するフレームメモリ 34のメモリ領域に記憶されている HDフレームを読み出 して、 HD用の仮想フレーム VF— 1を解放する。
HD用の仮想フレーム VF— 1が解放されると、 この仮想フレーム VF— 1と フレームメモリ 34のメモリ領域を共有する SD用の仮想フレーム VF— 5〜V F— 8も解放されることになる。 同様にして、 HD用の仮想フレーム V F— 2〜 VF— 4においても順次実行することで、 次々に、 S D用の仮想フレームが 4フ レームずつ確保されていく。
したがって、 解放された SD用の仮想フレームを各チヤンネルが確保してデコ 一ド処理を実行することでデジタルハイビジョン放送からマルチビュー放送へと 切り替わり、 MP EGビデオデコーダ 1 7に供給されるス トリームが 1本の HD ス ト リームから 3本の S Dスト リームへと切り替わった場合でも、 フレームメモ リ 34のメモリ領域を確保できないことによるデコード処理の一時的な中断を防 止することができる。 03 007439
36 つまり、 デジタルハイ ビジョン放送からマルチビュー放送へと切り替わった場 合でも" シームレス" なデコード処理が可能であるため、 ユーザに提供される映 像もデジタルハイビジョン映像からマルチビュ一映像へと自然に切り替わること になる。
なお、 本発明は、 図面を参照して説明した上述の実施例に限定されるものでは なく、 添付の請求の範囲及びその主旨を逸脱することなく、 様々な変更、 置換又 はその同等のものを行うことができることは当業者にとって明らかである。 産業上の利用可能性 上述したように、 本発明に係る復号装置は、 復号手段によって復号した画像フ レームを記憶する画像フレーム記憶手段の記憶領域を、 H D画像フレームを記憶 する場合には H D用記憶領域として定義し、 S D画像フレームを記憶する場合に は S D用記憶領域として定義し、 管理テーブル記憶手段に記憶された管理テープ ルに基づいて、 H D用記憶領域及び S D用記憶領域の管理を行う。
これにより、 復号手段で復号される H D画像フレーム、 S D画像フレームの記 憶領域の確保を統括的に行うことができるため、 m本の S D画像ス ト リームデー 夕が入力される場合でも復号処理を滞りなく実行することが可能となる。
また、 本発明の復号装置は、 復号した S D画像フレームを記憶させる S D用記 億領域を確保する際、 S D画像フレームが保持する出力時間情報が一致、 又は、 近接する S D画像フレームが記憶されている S D画像フレームが記億されている 第 1の S D用記憶領域と、 記録領域を共有して定義された H D用記憶領域を検出 し、 検出した H D用記憶領域と画像フレーム記憶手段の記憶領域を共有する空き 領域の第 2の S D用記憶領域を確保する。 これにより、 例えば、 当該復号装置に m本の S D画像ス ト リームデータが供給され、 続いて、 1本の H D画像ス ト リー ムデータが供給される場合に、 出力時間をほぼ同一とする S D画像フレームが、 1フレームの H D用画像フレームを記憶する H D用記憶領域としても定義される 画像フレーム記憶手段の記憶領域に記憶されているため、 H D用記憶領域の確保 が容易となり、 復号手段での復号処理の遅延を防止し、 ス トリームタイプが変わ P2003/007439
37 る切り替え点においても" シームレス" な復号処理を可能とする。
以上の説明からも明らかなように、 本発明の復号方法は、 復号工程によって復 号した画像フレームを記憶する画像フレーム記憶手段の記憶領域を、 H D画像フ レームを記憶する場合には H D用記憶領域として定義し、 S D画像フレームを記 憶する場合には S D用記憶領域として定義し、 管理テーブル記憶手段に記憶され た管理テ一ブルに基づいて、 H D用記憶領域及び S D用記憶領域の管理を行う。 これにより、 復号工程で復号される H D画像フレーム、 S D画像フレームの記 憶領域の確保を統括的に行うことができるため、 m本の S D画像ス ト リ一ムデ一 夕が入力される場合でも復号処理を滞りなく実行することが可能となる。
また、 本発明に係る復号方法は、 復号した S D画像フレームを記憶させる S D 用記憶領域を確保する際、 S D画像フレームが保持する出力時間情報が一致、 又 は、 近接する S D画像フレームが記憶されている S D画像フレームが記憶されて いる第 1の S D用記憶領域と、 記録領域を共有して定義された H D用記憶領域を 検出し、 検出した H D用記憶領域と画像フレーム記憶手段の記憶領域を共有する 空き領域の第 2の S D用記憶領域を確保する。 これにより、 例えば、 当該復号装 置に m本の S D画像ストリームデ一夕が供給され、 続いて、 1本の H D画像ス ト リームデータが供給される場合に、 出力時間をほぼ同一とする S D画像フレーム が、 1 フレームの H D用画像フレームを記憶する H D用記憶領域としても定義さ れる画像フレーム記憶手段の記憶領域に記憶されているため、 H D用記憶領域の 確保が容易となり、 復号工程での復号処理の遅延を防止し、 ス ト リームタイプが 変わる切り替え点においても" シームレス" な復号処理を可能とする。

Claims

請求の範囲
1 . H D (High Def inition) 方式で符号化された H D画像ストリームデ一夕を H D画像フレームに復号し、 S D (Standard Definition ) 方式で符号化された m ( mは自然数） 本の S D画像ストリームデータを時分割で S D画像フレームに復 号する復号手段と、
上記復号手段で復号された上記 H D画像フレームを記憶し、 上記復号手段で復 号された上記 S D画像フレームを記憶する画像フレーム記憶手段と、
上記 H D画像スト リームデータを復号するときには、 復号された H D画像フレ —ムを所定フレーム数記憶できる領域を確保するとともに、 上記 m本の S D画像 ストリームデータを復号するときには、 復号されたそれぞれのストリームに対応 する S D画像フレームを所定フレーム数ずつ記憶できる領域を確保するように上 記画像フレーム記憶手段を制御する制御手段と、
上記画像フレーム記憶手段に上記 H D画像フレーム、 又は上記 S D画像フレ一 ムを書き込む画像フレーム書き込み手段と、
上記画像フレーム記憶手段に書き込まれた上記 H D画像フレームが保持する出 力時間情報に基づいて上記 H D画像フレームを読み出し、 上記 S D用記憶領域に 書き込まれた上記 S D画像フレームが保持する出力時間情報に基づいて上記 S D 画像フレームを読み出す画像フレーム読み出し手段と、
上記画像フレーム読み出し手段によって読み出された上記 H D画像フレームを 出力し、 上記画像フレーム読み出し手段によって読み出された上記 S D画像フレ ームを同一画面上に配置されるように出力する出力手段とを備える
こと特徴とする復号装置。
2 . 更に、 上記画像フレーム記憶手段の上記 H D画像フレームの記憶領域の使用 状況を示す H D用記憶領域情報と、 上記画像フレーム記憶手段の上記 S D画像フ レームの記憶領域の使用状況を示す S D用記憶領域情報とを管理する管理テープ ルを記憶する管理テーブル記憶手段を有し、
上記制御手段は、 上記 H D画像ス ト リームデータが入力された場合、 上記管理 テ一ブル記憶手段によって記憶されている管理テーブルに管理された上記 H D用 記憶領域情報及び上記 S D用記憶領域情報に基づいて上記画像フレーム記憶手段 の H D用記憶領域を確保することを特徴とする請求の範囲第 1項記載の復号装置。
3 . 上記制御手段は、 上記 m本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記憶されている管理テーブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 入力された上記 m本の S D画像ストリームデ一夕が保持する上記復号手段による復号後の S D画 像フレームの出力時間情報と、 同一、 乂は、 近接する出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記憶領域と上記画像フレーム記憶手段 の記憶領域を共有する H D用記憶領域を検出し、
検出した上記 H D用記憶領域と、 上記画像フレーム記憶手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保することを特徴とする請 求の範囲第 2項記載の復号装置。
4 . 上記制御手段は、 上記 m本の S D画像ス ト リームデータが入力された場合、 上記管理テ一ブル記憶手段によって記憶されている管理テーブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 空き領域である 上記 H D用記憶領域を検出し、
検出した上記 H D用記憶領域と記憶領域を共有する上記 S D用記憶領域を確保 することを特徴とする請求の範囲第 2項記載の復号装置。
5 . 上記制御手段は、 上記 m本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記憶されている管理テーブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 最も早く出力さ れる出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記憶領 域と上記画像フレーム記憶手段の記憶領域を共有する H D用記憶領域を検出し、 検出した上記 H D用記憶領域と、 上記画像フレーム記憶手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保することを特徴とする請 求の範囲第 2項記載の復号装置。
6 . H D (High Definition) 方式で符号化された H D画像ストリームデータを H D画像フレームに復号し、 S D (Standard Definition ) 方式で符号化された m
(mは自然数） 本の S D画像ストリームデータを時分割で S D画像フレームに復 号する復号工程と、
上記復号工程で復号された上記 H D画像フレームを記憶し、 上記復号工程で復 号された上記 S D画像フレームを記憶する画像フレーム記億工程と、
上記 H D画像ストリームデータを復号するときには、 復号された H D画像フ レームを所定フレーム数記憶できる領域を確保するとともに、 上記 m本の S D画 像ストリームデータを復ら 1するときには、 復号されたそれそれのストリームに対 応する S D画像フレームを所定フレ一ム数ずつ記憶できる領域を確保するように 画像フレーム記憶手段を制御する工程と、
上記画像フレーム記憶手段に H D画像フレーム又は、 上記 S D用記憶領域に m 個の上記 S D画像フレームを書き込む画像フレーム書き込み工程と、
上記画像フレーム記憶手段に書き込まれた上記 H D画像フレームが保持する出 力時間情報に基づいて上記 H D画像フレームを読み出し、 上記 S D用記憶領域に 書き込まれた S D画像フレームが保持する出力時間情報に基づいて上記 S D画像 フレームを読み出す画像フレーム読み出し工程と、
上記画像フレーム読み出し工程によって読み出された上記 H D画像フレームを 出力し、 上記画像フレーム読み出し工程によって読み出された上記 S D画像フレ —ムを同一画面上に配置されるように出力する出力工程とを備える
ことを特徴とする復号方法。
7 . 更に、 上記画像フレーム記憶手段の上記 H D画像フレームの記憶領域の使用 状況を示す H D用記憶領域情報と、 上記画像フレーム記憶手段の上記 S D画像フ レームの記憶領域の使用状況を示す S D用記憶領域情報とを管理する管理テ一ブ ルを管理テーブル記憶手段に記憶する管理テーブル記憶工程を有し、
上記制御工程は、 上記 H D画像ストリームデータが入力された場合、 上記管理 テ一ブル記憶手段に記憶されている管理テーブルに管理された上記 H D用記憶領 域情報及び上記 S D用記憶領域情報に基づいて上記画像フレーム記憶手段の H D 用記憶領域を確保するように制御することを特徴とする請求の範囲第 6項記載の 復号方法。
8 . 上記制御工程は、 上記 m本の S D画像ス ト リームデータが入力された場合、 上記管理テーブル記憶手段によって記憶されている管理テーブルに管理された上 記 H D用記億領域情報及び上記 S D用記憶領域情報に基づいて、 入力された上記 m本の S D画像ストリームデ一夕が保持する上記復号工程による復号後の S D画 像フレームの出力時間情報と、 同一、 又は、 近接する出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記憶領域と上記画像フレーム記億手段 の記憶領域を共有する H D用記憶領域を検出し、
検出した上記 H D用記憶領域と、 上記画像フレーム記憶手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保する
ことを特徴とする請求の範囲第 7項記載の復号方法。
9 . 上記制御工程は、 上記 m本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記憶されている管理テ一ブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 空き領域である 上記 H D用記憶領域を検出し、
検出した上記 H D用記憶領域と記憶領域を共有する上記 S D用記憶領域を確保 することを特徴とする請求の範囲第 7項記載の復号方法。
1 0 . 上記記制御工程は、 上記 m本の S D画像ストリームデータが入力された場 合、 上記管理テーブル記憶手段によって記憶されている管理テーブルに管理され た上記 H D用記億領域情報及び上記 S D用記憶領域情報に基づいて、 最も早く出 力される出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記 憶領域と上記画像フレーム記憶手段の記憶領域を共有する H D用記憶領域を検出 し、
検出した上記 H D用記憶領域と、 上記画像フレーム記憶手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保することを特徴とする請 求の範囲第 7項記載の復号方法。
1 1 . H D (High Definition) 方式で符号化された H D画像ストリームデータ、 又は、 S D (Standard Def inition ) 方式で符号化された m ( mは自然数） 本の S D画像ストリームデータが多重化された多重化 S D画像ストリームデータを入 力する入力手段と、
上記入力手段によって上記多重化 S D画像ストリームデータが入力された場合、 多重化 S D画像ストリームデ一夕を m本の画像ストリームデータに分離する分離 手段と、
上記入力手段によって入力された H D画像ストリ一ムデ一夕を H D画像フレー ムに復号し、 上記分離手段によって分離された m本の S D画像ス トリームデータ を時分割で S D画像フレームに復号する復号手段と、
上記復号手段で復号された上記 H D画像フレームを記憶し、 上記復号手段で復 号された上記 S D画像フレームを記憶する画像フレーム記憶手段と、
上記 H D画像ストリームデータを復号するときには、 復号された H D画像フレ ームを所定フレーム数記憶できる領域を確保するとともに、 上記 Π1本の S D画像 ストリームデ一夕を復号するときには、 復号されたそれそれのストリームに対応 する S D画像フレームを所定フレーム数ずつ記憶できる領域を確保するように上 記画像フレーム記憶手段を制御する制御手段と、
上記画像フレーム記憶手段に上記 H D画像フレーム、 又は上記 S D画像フレー ムを書き込む画像フレーム書き込み手段と、
上記画像フレーム記憶手段に書き込まれた上記 H D画像フレームが保持する出 力時間情報に基づいて上記 H D画像フレームを読み出し、 上記 S D用記憶領域に 書き込まれた上記 S D画像フレームが保持する出力時間情報に基づいて上記 S D 画像フレームを読み出す画像フレーム読み出し手段と、
上記画像フレーム読み出し手段によって読み出された上記 H D画像フレームを 出力し、 上記画像フレーム読み出し手段によって読み出された上記 S D画像フレ ームを同一画面上に配置されるように出力する出力手段とを備える
こと特徴とする復号装置。
1 2 . 更に、 上記画像フレーム記憶手段の上記 H D画像フレームの記憶領域の使 用状況を示す H D用記憶領域情報と、 上記画像フレーム記憶手段の上記 S D画像 フレームの記憶領域の使用状況を示す S D用記憶領域情報とを管理する管理テー ブルを記憶する管理テーブル記憶手段を有し、
上記制御手段は、 上記 H D画像ストリームデータが入力された場合、 上記管理 テ一ブル記憶手段によって記憶されている管理テーブルに管理された上記 H D用 記憶領域情報及び上記 S D用記憶領域情報に基づいて上記画像フレーム記憶手段 の H D用記憶領域を確保することを特徴とする請求の範囲第 1 1項記載の復号装
1 3 . 上記制御手段は、 上記 Π1本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記億されている管]!テーブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 入力された上記 m本の S D画像ストリームデータが保持する上記復号手段による復号後の S D画 像フレームの出力時間情報と、 同一、 又は、 近接する出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記憶領域と上記豳像フレーム記憶手段 の記憶領域を共有する H D用記憶領域を検出し、
検出した上記 H D用記憶領域と、 上記画像フレーム記憶手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保することを特徴とする請 求の範囲第 1 2項記載の復号装置。
1 4 . 上記制御手段は、 上記 m本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記憶されている管理テーブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 空き領域である 上記 H D用記憶領域を検出し、
検出した上記 H D用記憶領域と記億領域を共有する上記 S D用記憶領域を確保 することを特徴とする請求の範囲第 1 2項記載の復号装置。
1 5 . 上記制御手段は、 上記 m本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記億されている管理テーブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 最も早く出力さ れる出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記憶領 域と上記画像フレーム記憶手段の記憶領域を共有する H D用記憶領域を検出し、 検出した上記 H D用記憶領域と、 上記画像フレーム記憶手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保することを特徴とする請 求の範囲第 1 2項記載の復号装置。
1 6 . 更に、 所定の周波数に変調されて送信された H D画像ストリームデ一夕、 又は、 m本の S D画像ストリームデータが多重化された多重化 S D画像ストリ一 ムデ一夕を受信する受信手段を備え、
上記入力手段は、 上記受信手段で受信された上記 H D画像ストリームデ一夕、 又は、 m本の多重化 SD画像ストリームデータを入力することを特徴とする請求 の範囲第 1 1項記載の復号装置。
1 7. 上記受信手段で受信した HD画像ストリームデータ、 又は、 多重化 S D画 像ストリームデータを記録媒体に記録する記録手段を備えることを特徴とする請 求の範囲第 1 6項記載の復号装置。
1 8. 上記記録手段によって上記記録媒体に記録された HD画像ストリームデ一 夕、 又は、 多重化 S D画像ストリームデータを再生する再生手段を備え、
上記入力手段は、 上記再生手段によって再生された HD画像ストリームデータ、 又は、 多重化 SD画像ストリームデータを入力することを特徴とする請求の範囲 第 1 7項記載の復号装置。
1 9. HD画像ストリームデ一タ及び/又は m本の S D画像ス トリームデータが 多重化された多重化 S D画像ストリームデータを記録した記録媒体を装着する装 着手段を備え、
上記再生手段は、 上記装着手段に装着された上記記録媒体に記録されている H D画像スト リームデータ、 又は、 上記多重化 S D画像ス ト リームデータを再生す ることを特徴とする請求の範囲第 1 8項記載の復号装置。
2 0. HD (High Definition) 方式で符号化された HD画像ストリームデータ、 又は、 SD (Standard Definition ) 方式で符号化された m (mは自然数） 本の SD画像ストリームデ一夕が多重化された多重化 S D画像ストリームデ一夕を入 力する入力工程と、
上記入力工程によって上記多重化 SD画像ストリームデータが入力された場合、 多重化 S D画像ストリームデータを m本の画像ストリームデータに分離する分離 工程と、
上記入力工程によって入力された HD画像ストリームデータを HD画像フレー ムに復号し、 上記分離工程によって分離された m本の S D画像ストリームデータ を時分割で S D画像フレームに復号する復号工程と、
上記復号工程で復号された上記 HD画像フレームを記憶し、 上記復号工程で復 号された上記 SD画像フレームを記憶する画像フレーム記憶工程と、
上記 HD画像スト リームデータを復号するときには、 復号された HD画像フレ ームを所定フレーム数記憶できる領域を確保するとともに、 上記 m本の S D画像 ストリームデータを復号するときには、 復号されたそれそれのストリームに対応 する S D画像フレームを所定フレーム数ずつ記憶できる領域を確保するように画 像フレーム記憶手段を制御する工程と、
上記画像フレーム記憶手段に H D画像フレ一ム又は、 上記 S D用記憶領域に m 個の上記 S D画像フレームを書き込む画像フレーム書き込み工程と、
上記画像フレーム記憶手段に書き込まれた上記 H D画像フレームが保持する出 力時間情報に基づいて上記 H D画像フレームを読み出し、 上記 S D用記憶領域に 書き込まれた S D画像フレームが保持する出力時間情報に基づいて上記 S D画像 フレームを読み出す画像フレーム読み出し工程と、
上記画像フレーム読み出し工程によって読み出された上記 H D画像フレームを 出力し、 上記画像フレーム読み出し工程によって読み出された上記 S D画像フレ ームを同一画面上に配置されるように出力する出力工程とを備える
ことを特徴とする復号方法。
2 1 . 更に、 上記画像フレーム記憶手段の上記 H D画像フレ一ムの記憶領域の使 用状況を示す H D用記憶領域情報と、 上記画像フレ一ム記憶手段の上記 S D画像 フレームの記憶領域の使用状況を示す S D用記憶領域情報とを管理する管理テー ブルを管理テーブル記憶手段に記憶する管理テーブル記憶工程を有し、
上記制御工程は、 上記 H D画像ス ト リームデータが入力された場合、 上記管理 テーブル記憶手段に記憶されている管理テーブルに管理された上記 H D用記億領 域情報及び上記 S D用記億領域情報に基づいて上記画像フレーム記憶手段の H D 用記憶領域を確保するように制御することを特徴とする請求の範囲第 2 0項記載 の復号方法。
2 2 . 上記制御工程は、 上記 m本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記憶されている管理テーブルに管理された上 記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 入力された上記 m本の S D画像ストリームデータが保持する上記復号工程による復号後の S D画 像フレームの出力時間情報と、 同一、 又は、 近接する出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記憶領域と上記画像フレーム記憶手段 の記憶領域を共有する H D用記憶領域を検出し、
検出した上記 H D用記憶領域と、 上記画像フレーム記億手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保する
ことを特徴とする請求の範囲第 2 1項記載の復号方法。
2 3 . 上記制御工程は、 上記 m本の S D画像ストリームデータが入力された場合、 上記管理テーブル記憶手段によって記憶されている管理テーブルに管理された上 記 H D用記憶領域 ' ·報及び上記 S D用記憶領域情報に基づいて、 空き領域である 上記 H D用記憶領域を検出し、
検出した上記 H D用記憶領域と記憶領域を共有する上記 S D用記憶領域を確保 することを特徴とする請求の範囲第 2 1項記載の復号方法。
2 4 . 上記記制御工程は、 上記 m本の S D画像ストリームデータが入力された場 合、 上記管理テーブル記憶手段によって記憶されている管理テ一ブルに管理され た上記 H D用記憶領域情報及び上記 S D用記憶領域情報に基づいて、 最も早く出 力される出力時間情報を保持する S D画像フレームが記憶された第 1の S D用記 憶領域と上記画像フレーム記憶手段の記憶領域を共有する H D用記憶領域を検出 し、
検出した上記 H D用記億領域と、 上記画像フレーム記憶手段の記憶領域を共有 し、 且つ、 空き領域である第 2の S D用記憶領域を確保する
ことを特徴とする請求の範囲第 2 1項記載の復号方法。
2 5 . 所定の周波数に変調されて送信された H D画像ストリームデータ、 又は、 m本の S D画像ストリームデ一夕が多重化された多重化 S D画像ストリ一ムデー 夕を受信する受信工程を備え、
上記入力工程は、 上記受信工程で受信された上記 H D画像ストリームデータ、 又は、 m本の多重化 S D画像ストリームデ一夕を入力することを特徴とする請求 の範囲第 2 0項記載の復号方法。
2 6 . 上記受信工程で受信した H D画像ストリ一ムデ一夕、 又は、 多重化 S D画 像ストリームデータを記録媒体に記録する記録工程を備えることを特徴とする請 求の範囲第 2 5項記載の復号方法。
2 7 . 上記記録工程によって上記記録媒体に記録された H D画像ストリームデー 夕、 又は、 多重化 S D画像スト リ一ムデータを再生する再生工程を備え、 上記入力工程は、 上記再生工程によって再生された H D画像ス ト リームデータ、 又は、 多重化 S D画像ス ト リームデータを入力することを特徴とする請求の範囲 第 2 6項記載の復号方法。
2 8 . H D画像ス トリームデータ及び/又は m本の S D画像ス ト リームデータが 多重化された多重化 S D画像ス ト リームデータを記録した記録媒体を装着する装 着工程を備え、
上記再生工程は、 上記装着工程に装着された上記記録媒体に記録されている H D画像ス ト リームデータ、 又は、 上記多重化 S D画像ス ト リームデータを再生す ることを特徴とする請求の範囲第 2 7項記載の復号方法。
PCT/JP2003/007439 2002-06-20 2003-06-11 復号装置及び復号方法 WO2004002141A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004515491A JP4403404B2 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法
KR1020047002301A KR100968842B1 (ko) 2002-06-20 2003-06-11 복호 장치 및 복호 방법
EP03760866A EP1515550A4 (en) 2002-06-20 2003-06-11 DECODING DEVICE AND DECODING METHOD
US10/486,546 US8224148B2 (en) 2002-06-20 2003-06-11 Decoding apparatus and decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002180410 2002-06-20
JP2002-180410 2002-06-20

Publications (1)

Publication Number Publication Date
WO2004002141A1 true WO2004002141A1 (ja) 2003-12-31

Family

ID=29996605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/007439 WO2004002141A1 (ja) 2002-06-20 2003-06-11 復号装置及び復号方法

Country Status (7)

Country Link
US (1) US8224148B2 (ja)
EP (1) EP1515550A4 (ja)
JP (1) JP4403404B2 (ja)
KR (1) KR100968842B1 (ja)
CN (1) CN1269352C (ja)
TW (1) TWI242371B (ja)
WO (1) WO2004002141A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686314B (zh) * 2012-09-04 2017-05-24 深圳中兴力维技术有限公司 采用高清视频通道传输多路标清视频的解复用装置及方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007081176A1 (en) 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
CN101945277B (zh) * 2006-01-12 2013-08-14 Lg电子株式会社 处理多视图视频
CN101371571B (zh) * 2006-01-12 2013-06-19 Lg电子株式会社 处理多视图视频
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
TWI344792B (en) 2006-07-12 2011-07-01 Lg Electronics Inc A method and apparatus for processing a signal
CN101242530B (zh) * 2007-02-08 2011-06-01 华为技术有限公司 运动估计方法、基于运动估计的多视编解码方法及装置
KR101396975B1 (ko) 2007-07-23 2014-05-21 엘지전자 주식회사 디지털 티브이의 원격 제어 시스템 및 방법
CN102186038A (zh) * 2011-05-17 2011-09-14 浪潮(山东)电子信息有限公司 一种在数字电视屏幕上同步播放多视角画面的方法
US9854258B2 (en) * 2014-01-06 2017-12-26 Disney Enterprises, Inc. Video quality through compression-aware graphics layout
EP3873098B1 (en) * 2015-03-24 2024-01-10 Sony Group Corporation Transmission device, transmission method, reception device, and reception method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205161A (ja) * 1994-10-11 1996-08-09 Hitachi Ltd デジタル高精細および／またはデジタル標準精細テレビジョン信号を復号化するためのデジタルビデオデコーダ
JPH09247667A (ja) * 1996-03-05 1997-09-19 Sharp Corp 動画像符号化装置および動画像復号化装置
JPH11146291A (ja) * 1997-11-10 1999-05-28 Hitachi Ltd 映像信号のミュート方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394275A (en) * 1990-06-27 1995-02-28 Matsushita Electric Industrial Co., Ltd. Apparatus for selectively recording and reproducing two video signals having different amounts of data in each frame
JPH07226022A (ja) * 1994-02-15 1995-08-22 Sony Corp ディジタル記録再生装置
JP3791114B2 (ja) 1997-04-30 2006-06-28 ソニー株式会社 信号再生装置及び方法
US6341342B1 (en) * 1997-11-04 2002-01-22 Compaq Information Technologies Group, L.P. Method and apparatus for zeroing a transfer buffer memory as a background task
JPH11252550A (ja) 1998-03-02 1999-09-17 Sony Corp デイジタル信号符号化装置、デイジタル信号復号化装置、デイジタル信号伝送装置及び方法
KR100511250B1 (ko) * 1998-04-09 2005-11-03 엘지전자 주식회사 디지탈오디오/비디오(a/v)시스템
US7071995B1 (en) * 1999-05-28 2006-07-04 Thomson Licensing Adaptive video image information processing system
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP3752968B2 (ja) 2000-06-08 2006-03-08 日本電気株式会社 データ記録方法、装置、およびプログラムを記録した記録媒体
JP3639517B2 (ja) * 2000-10-04 2005-04-20 三洋電機株式会社 動画像復号化装置および動画像復号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205161A (ja) * 1994-10-11 1996-08-09 Hitachi Ltd デジタル高精細および／またはデジタル標準精細テレビジョン信号を復号化するためのデジタルビデオデコーダ
JPH09247667A (ja) * 1996-03-05 1997-09-19 Sharp Corp 動画像符号化装置および動画像復号化装置
JPH11146291A (ja) * 1997-11-10 1999-05-28 Hitachi Ltd 映像信号のミュート方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686314B (zh) * 2012-09-04 2017-05-24 深圳中兴力维技术有限公司 采用高清视频通道传输多路标清视频的解复用装置及方法

Also Published As

Publication number Publication date
US8224148B2 (en) 2012-07-17
JPWO2004002141A1 (ja) 2005-10-27
EP1515550A1 (en) 2005-03-16
CN1269352C (zh) 2006-08-09
TW200409542A (en) 2004-06-01
EP1515550A4 (en) 2010-06-02
CN1545805A (zh) 2004-11-10
KR20050010747A (ko) 2005-01-28
TWI242371B (en) 2005-10-21
JP4403404B2 (ja) 2010-01-27
KR100968842B1 (ko) 2010-07-28
US20040218893A1 (en) 2004-11-04

Similar Documents

Publication Publication Date Title
JP4725104B2 (ja) 復号装置及び復号方法
US7533402B2 (en) Satellite set-top box decoder for simultaneously servicing multiple independent programs for display on independent display device
JP4828760B2 (ja) データストリームの変換方法と装置
US8050330B2 (en) Multiple time-base clock for processing multiple satellite signals
US7639924B2 (en) Audio/video decoding process and device, and video driver circuit and decoder box incorporating the same
JP3617573B2 (ja) フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機
JP2002521930A (ja) ユーザインターフェースを符号化する方法および装置
US20010008427A1 (en) Apparatus and method for supporting picture-in-picture type time shifting
JP4403404B2 (ja) 復号装置及び復号方法
JPH11150706A (ja) 高解像度および一般映像記録用光ディスク、光ディスク再生装置、光ディスク記録装置および再生制御情報生成装置
KR100629097B1 (ko) 정보 신호 디코딩 방법 및 장치
JP2004193673A (ja) 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP2003244600A (ja) 情報記録再生装置
JP3830645B2 (ja) 画像復号化方法及び装置
JP4366912B2 (ja) 復号装置及び復号方法
JP4288442B2 (ja) 記録再生装置および映像処理方法
JP5476179B2 (ja) チューナーの切替装置、チューナーの切替システムおよびチューナーの切替装置の制御方法
JP2016096524A (ja) 電子機器及び信号処理方法
JP2005217609A (ja) 映像情報再生装置
KR20100047734A (ko) 방송 수신 장치 및 이를 이용한 영상 재생 방법
JP2001086495A (ja) 符号化ディジタル信号復号装置及びそれを内臓した受信機、テレビ並びに記録再生装置
JP2001054036A (ja) 復号化装置及びそれを用いたテレビジョン受信機
JP2003110876A (ja) デジタル放送番組中継送出システムとその放送局及びデジタル放送信号同期処理装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 2004515491

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 10486546

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020047002301

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20038008920

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2003760866

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003760866

Country of ref document: EP