WO2000057650A1 - Video decoder - Google Patents

Video decoder Download PDF

Info

Publication number
WO2000057650A1
WO2000057650A1 PCT/JP2000/001725 JP0001725W WO0057650A1 WO 2000057650 A1 WO2000057650 A1 WO 2000057650A1 JP 0001725 W JP0001725 W JP 0001725W WO 0057650 A1 WO0057650 A1 WO 0057650A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
frame buffer
video decoder
prediction
storage area
Prior art date
Application number
PCT/JP2000/001725
Other languages
English (en)
French (fr)
Inventor
Shigeyuki Okada
Original Assignee
Sanyo Electric Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co., Ltd. filed Critical Sanyo Electric Co., Ltd.
Priority to EP00909779A priority Critical patent/EP1091590A4/en
Priority to JP2000607421A priority patent/JP3813444B2/ja
Priority to US09/700,575 priority patent/US6871001B1/en
Priority to AU31967/00A priority patent/AU3196700A/en
Publication of WO2000057650A1 publication Critical patent/WO2000057650A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a video decoder using an image compression method such as VIPEG.
  • the MPEG (Moving Picture Expert Group) method is one example of such data compression and decompression technology.
  • This MPEG method is an MPEG committee under ISO (International Organization for Standardization) / IEC (International Electro-technical Commission). (ISO / IEC JTC1 / SC29 / WG11).
  • MP EG is composed of three parts.
  • Part 1 the “MPEG system part” (ISO / IEC IS 11172 Parti: Systems), specifies the multiplexing structure (multiple state 'structure) of video data and audio data and the synchronization method.
  • Part 2 the “MPEG video part” (ISO / IEC IS 11172 Part2: Video), specifies the high-efficiency coding method of video data and the format of video data.
  • Part 3 “MPEG Audio Part” (ISO / IEC IS 11172 Part3: Audio) specifies the high-efficiency encoding method of audio data and the format of audio data.
  • the video data handled by the MPEG video part is related to moving images, and the moving images are composed of tens (eg, 30) frames (still images, frames) per second.
  • Video data consists of a sequence (Sequence), GOP (Group Of Pictures), Pictures (Picture), Slices (Slice), Macroblocks (Macroblock), and Blocks (Block) in the order of 6 layers.
  • the number of slices that make up one picture is not constant, and the number of macroblocks that combine one slice is not constant.
  • M PEG has mainly M PEG-1 and M P
  • M PEG-1 a frame corresponds to a picture.
  • MPEG-2 a frame or field can correspond to a picture.
  • the field consists of two frames to form one frame.
  • a structure in which a frame corresponds to a picture is called a frame structure, and a structure in which a field corresponds to a picture is called a field structure.
  • MPEG uses a compression technique called inter-frame prediction.
  • the inter-frame prediction compresses data between frames based on a temporal correlation.
  • bidirectional prediction is performed. Bidirectional prediction is a combination of forward prediction, which predicts the current playback image from past playback images (or pictures), and backward prediction, which predicts the current playback image from future playback images. It is.
  • This bidirectional prediction defines three types of pictures called I-pictures (Intra-Pictures), P-pictures (Predictive-Pictures), and B-pictures (Bidirectionally predictive-Pictures).
  • I-pictures are generated independently of past and future playback images.
  • at least one I picture is required in G ⁇ P.
  • P pictures are generated by forward prediction (prediction from past I or P pictures).
  • the macroblock type in the P picture includes both the intra prediction screen and the forward prediction screen (Forward Inter Frame).
  • B pictures are generated by bidirectional prediction.
  • bidirectional prediction a B picture is generated by one of the following three predictions.
  • B pictures • Reverse prediction; prediction from future I or P pictures. • Bidirectional prediction; prediction from past and future I or P pictures.
  • the types of macroblocks in B pictures are: Intra prediction screen, forward prediction screen, backward prediction screen (Backward Inter Frame)> Interpolative prediction screen (Interpolative and then these P and B pictures are encoded respectively. In other words, an I picture is generated without past or future pictures, whereas a P picture is not generated without past pictures, and a B picture is without past or future pictures. Not generated.
  • the macroblock is generated without any past or future pictures.
  • inter-frame prediction first, an I picture is periodically generated. Next, a frame several frames ahead of the I-picture is generated as a P-picture. This P-picture is generated by one-way (forward) prediction from the past to the present. continue,
  • Frames located before the I picture and after the P picture are generated as B pictures.
  • the optimal prediction method is selected from among three predictions: forward prediction, backward prediction, and bidirectional prediction.
  • the previous frame for example, I picture
  • the next frame for example, P picture
  • B picture data Extract and compress.
  • data between frames can be compressed based on temporal correlation.
  • Such a data stream (bit stream) of video data encoded in conformity with the MPEG video part is called an MPEG video stream (hereinafter, abbreviated as a video stream).
  • MPEG-1 is mainly used for video CD (Compact Disc) and CD-ROM
  • MPEG-2 is used not only for storage media such as video CDs, CD-ROMs, DVDs (Digital Video Discs), video tapes, and memory cards that use nonvolatile semiconductor memory, but also for LANs (Local Area Networks).
  • Communication media terrestrial broadcasting, satellite broadcasting and C It supports all transmission media including broadcast media such as ATV (Community Antenna Television).
  • MC motion compensated prediction
  • DCT discrete cosine transform
  • An encoding technique using both MC and DCT is called a hybrid encoding technique.
  • the MPEG video part uses the DCT code at the time of encoding and decomposes the image (video signal) into frequency components for processing. Then, at the time of decoding, an inverse transform of DCT (inverse DCT: I DCT; Inverse DCT) is used, and the frequency component is returned to an image (video signal) again.
  • inverse DCT inverse DCT: I DCT; Inverse DCT
  • FIG. 4 is a block circuit diagram of a conventional MPEG video decoder 101.
  • the MPEG video decoder 101 has a control core circuit 102, a bit buffer 103, a frame buffer 104, an MPEG decode core circuit 105, a data bus 106, a display circuit 107, a memory controller 108, It is composed of buffers 109 to 115 of FIF ⁇ (First-In-First-Out) configuration.
  • Each of the circuits 102 to 115 constituting the MPEG video decoder 101 is mounted on a one-chip LSI.
  • the control core circuit 102 controls each of the circuits 103 to 115.
  • the video stream transferred from the transmission medium 130 is first input to the buffer 109, and then transferred in the order of the buffer 109 ⁇ the data bus 106 ⁇ the memory controller 108 ⁇ the bit buffer 103 to the bit buffer 1 Written in 03.
  • the transmission media 130 includes storage media (video CDs, CD-ROMs, DVDs, video tapes, memory cards, etc.), communication media (LAN, etc.), and broadcast media (terrestrial broadcasting, satellite broadcasting, CATV, etc.). ) Etc. are included.
  • the video buffer 103 is constituted by a ring buffer composed of an SDRAM (Synchronous Dynamic Random Access Memory) having a FIFO configuration, and sequentially accumulates a video stream transmitted from the transmission medium 130.
  • SDRAM Synchronous Dynamic Random Access Memory
  • the reason why the bit buffer 103 is provided is that the data amounts of the I, P, and B pictures are different.
  • the amount of data for I-pictures is about 30 kbytes
  • the amount of data for P-pictures is about 10 to 15 kbytes
  • the amount of data for B-pictures is 0 to about 6 kbytes It is.
  • the bit rate of the video stream transferred from the transmission medium 130 is constant.
  • the MPEG decode core circuit 105 performs processing for each picture, and the processing time varies depending on the data amount of each picture. Therefore, when the video stream transmitted from the transmission medium 130 is directly transferred to the MPEG decoding core circuit 105, some pictures cannot be processed by the MPEG decoding core 105. In order to prevent this, by providing a bit buffer 103 as a buffer memory for the video stream transferred from the transmission medium 130, the difference in the amount of data of each of I, P, and B pictures can be improved. Is absorbed.
  • the frame buffer 104 is made up of an SDRAM, and its interior is divided into three areas (a front reference area 120, a rear reference area 121, and a B picture storage area 122).
  • the bit buffer 103 and the frame buffer 104 are provided separately in one SDRAM in order to reduce the number of parts and reduce the parts cost of the MPEG video decoder 101. I have.
  • the input / output data bus width (bit width) of the SDRAM provided with the bit buffer 103 and the frame buffer 104 is set to 32 bits. Therefore, the input / output data bus width of the memory controller 108 and the data bus width of the data bus 106 are also set to 32 bits.
  • the memory controller 108 has a bit buffer 103 and a press buffer 1
  • a video stream for one picture is read out every frame period by the memory controller 108, and the video stream is read from the memory controller 108 ⁇
  • the data is transferred in the order of the overnight bus 106 to the buffer 110, and input to the MPEG decode core circuit 105.
  • the MPEG decoding core circuit 105 first performs a variable-length decoding process based on the Huffman code on the input video stream for one picture, and then performs quantum processing on the variable-length decoding process result. Inverse quantization based on quantization threshold To obtain DCT (Discrete Cosine Transform) coefficients, then perform I DCT processing on the obtained DCT coefficients, and finally apply MC (Motion Compensated prediction) to the results of the I DCT (Inverse DCT) processing. ) Perform processing.
  • DCT Discrete Cosine Transform
  • the MC processing result by the MPEG decode core circuit 105 is transferred in the order of the buffer 114, the data bus 106, the memory controller 108, and the frame buffer 104, and is transferred by the memory controller 108 to one of the areas of the frame buffer 104. Stored in 120-122.
  • the data read from each area 120 to 122 of the frame buffer 104 by the memory controller 108 is transferred to the memory controller 108, the data bus 106, and each of the buffers 111 to 113 in any order.
  • And input to the MPEG decode core circuit 105 the data read from the forward reference area 120 is transferred via the buffer 111
  • the data read from the rear reference area 121 is transferred via the buffer 112
  • the data read from 122 is transferred via buffer 113.
  • the forward reference area 120 stores a future I picture or P picture used when performing backward prediction in MC processing by the MPEG decode core circuit 105.
  • the backward reference area 121 stores a past I picture or P picture used when performing forward prediction in MC processing.
  • the B picture storage area 122 stores B pictures.
  • the I-pictures or P-pictures stored in the forward reference area 120 and the backward reference area 121 are used as base data for performing forward prediction or backward prediction, and are stored in the respective areas 120 and 121 until they are no longer needed. Must continue to do so.
  • the B picture stored in the B picture storage area 122 is not treated as the base data, and thus becomes unnecessary when output to the outside of the MPEG video decoder 101.
  • Each of the regions 120 to 122 is also called a plane.
  • the picture data read from any one of the areas 120 to 122 of the frame buffer 104 by the memory controller 108 is transferred in the order of the memory controller 108, the data bus 106, and the buffer 115. The data is transferred and input to the display circuit 107.
  • the display circuit 107 generates a video signal (video signal) from the picture data, and outputs the video signal to an external device 131 connected to the MPEG video decoder 101. For example, when a display is connected as the external device 131, the display displays a video signal as an image. When a storage medium (video tape, memory card, or the like) is connected as the external device 131, a video signal is stored and stored in the storage medium.
  • a video signal video signal
  • a storage medium video tape, memory card, or the like
  • the MPEG video decoder 101 thus configured is incorporated in a movie camera, a still camera, a television, a video CD playback device, a DVD playback device, and the like.
  • the transmission medium 130 is replaced by an imaging device such as a CCD (Charge Coupled Device) and its signal processing circuit.
  • CCD Charge Coupled Device
  • FIG. 5 is a schematic diagram schematically showing a storage state of the luminance (Y) data and the chrominance (C) data stored in the forward reference area 120 and the backward reference area 121 of the frame buffer 104 made of SDRAM.
  • the forward reference area 120 is provided with a storage area 140 for luminance data y f for forward reference and a storage area 141 for color difference data c f for forward reference.
  • a storage area 142 for luminance data yr for rear reference and a storage area 143 for color difference data cr for rear reference are provided.
  • the data amount of the color difference is almost half of the data amount of the luminance data. Therefore, the data amount of each of the storage areas 141 and 143 is set to approximately half of the data amount of each of the storage areas 140 and 142.
  • FIG. 6 schematically shows the order of memory accesses when reading data for one macroblock in each area 120, 121, etc. of the frame buffer 104 consisting of SDRAM with an input / output data bus width of 32 bits.
  • the memory access is performed by the command over head to the storage area 140 com ⁇ reading of the luminance data yf for forward reference from the storage area 140 ⁇ command over head to the storage area 141 e om—from the storage area 141
  • T l 4X t l + 2X t 2 + 2 X t 3 (1) where, t 1; time required for command cover head com
  • the forward reference area 120 or the backward reference area of the frame buffer 104 composed of SDRAM is used in order to restore half the luminance data (half macroblock) of one macroblock.
  • half-macroblock luminance data is read from 121.
  • the luminance data that needs to be read from the forward reference area 120 or the backward reference area 121 in order to restore the luminance data for the half macroblock is 9 pixels (pixels) XI 7 pixels ( (Pixels)
  • the minimum unit that can access the SDRAM is a value obtained by multiplying the burst range specified in the SDRAM by the data bus width of the input / output.
  • the minimum unit that can access SDRAM with an input / output data bus width of 32 bits is 2X 32 bits. Place The data amount of one pixel is 8 bits. Therefore, the minimum unit that can access an SDRAM with a 32-bit I / O data bus width is 8 pixels arranged in the horizontal direction.
  • the luminance buffer for the half macroblock (data for 9 pixels x 17 pixels) is output from the frame buffer 104 consisting of SDRAM with a 32-bit I / O data bus width.
  • the frame buffer 104 consisting of SDRAM with a 32-bit I / O data bus width.
  • the minimum unit that can access SDRAM with a 32-bit I / O bus width is 8 pixels horizontally, reading 17 pixels of horizontal data requires three times the horizontal 8 pixels.
  • Data for 24 pixels must be read.
  • 9 pixels x 7 pixels which is the remaining data excluding the necessary 9 pixels x 7 pixels required, is useless. Data.
  • the number of LSI pins will increase and the number of SDRAM chips that make up the frame buffer 104 will increase, which will reduce the board mounting area of the MPEG video decoder 101. It leads to increase and cost increase. Therefore, it is required to increase the operating speed of the MPEG video decoder 101 without increasing the operating frequency of the frame buffer 104 or expanding the input / output bus width. Disclosure of the invention
  • An object of the present invention is to provide a video decoder using an image compression method such as MPEG that can increase the operation speed.
  • the present invention provides a video decoder for decoding a video stream by using both discrete cosine transform and motion compensation prediction for performing backward prediction and forward prediction.
  • a first frame buffer provided with a storage area for luminance data for forward reference used for forward prediction and a storage area for color difference data for backward reference used for forward prediction, and forward reference used for backward prediction
  • a second frame buffer provided with a storage area for color difference data for use in the image and a storage area for luminance data for backward reference used for the forward prediction, a memory access operation for the first frame buffer, and a second A read control circuit for performing at least a part of the memory access operation to the frame buffer in parallel. Therefore, in the present invention, if the first and second frame buffers use a small input / output data bus width, the luminance data corresponding to half macro blocks (for example, 9 pixels) can be obtained from each frame buffer.
  • the operation speed of the video decoder can be increased without increasing the operating frequency of each frame buffer or widening the input / output data bus width.
  • a video decoder for decoding a video stream by using both discrete cosine transform and motion-compensated prediction for performing backward prediction and forward prediction.
  • a first frame buffer provided with a storage area for reference luminance data and a storage area for backward reference chrominance data used in the forward prediction, and a forward reference chrominance data used in the backward prediction.
  • a second frame buffer provided with a storage area for evening and a storage area for luminance data for backward reference used for forward prediction, and memory access to the first and second frame buffers in parallel.
  • the color difference for forward reference from the second frame buffer With reading Isseki, when being read out the color-difference data for backward reference from the first frame buffer, and a read control circuit to make reading the luminance de one evening for backward reference from the second frame buffer.
  • the time required for memory access can be extremely effectively reduced. Can be shortened.
  • the forward reference luminance data and the backward reference color difference data are stored in a predetermined storage area in the third frame buffer, and the forward reference color difference data and the backward reference luminance data are stored.
  • the first and second frame buffers both include SDRAMs having the same input / output data bus width.
  • memory access to the first frame buffer and the second frame buffer is performed in parallel. Therefore, the time required for memory access when reading the luminance data and chrominance data for one macroblock from each frame buffer is reduced by the command overhead specified by the buffer memory such as SDRAM. The time required for batches can be reduced. Therefore, the operation speed of the video decoder can be further increased.
  • FIG. 1 is a block circuit diagram of an IPEG video decoder of Embodiment 1 of the present invention.
  • FIG. 2 is a first schematic diagram for explaining the operation of the first embodiment.
  • FIG. 3 is a second schematic diagram for explaining the operation of the first embodiment.
  • FIG. 4 is a block circuit diagram of a conventional MPEG video decoder.
  • FIG. 5 is a first schematic diagram for explaining the operation of the conventional MPEG video decoder.
  • FIG. 6 is a second schematic diagram for explaining the operation of the conventional MPEG video decoder.
  • FIG. 7A to 7C are schematic diagrams for explaining the operation of the conventional MPEG video decoder, and FIG. 7A shows data necessary for restoring half-macroblock luminance data.
  • FIG. 7B shows data read when reading half-macroblock luminance data from the frame buffer 104
  • FIG. 7C shows half-macroblock luminance data read from the frame buffer. It shows the action of issuing.
  • FIG. 1 is a block circuit diagram showing a configuration of the MPEG video decoder 1 according to the first embodiment.
  • the MPEG video decoder 1 includes a control core circuit 2, a switching circuit 3, a bit buffer 103a, 103b, a frame buffer 104a, 104b, an MPEG decode core circuit 105, a data bus 106a, It consists of 106b, display circuit 107, memory controllers 108a and 108b, and buffers 109 and 110a to ll5b in FIFO configuration.
  • the circuits 2, 103a to 115b constituting the MPEG video decoder 1 are mounted on one chip LSI.
  • the control core circuit 2 controls each of the circuits 3, 103a to 115b.
  • Each of the bit buffers 103a and 103b is constituted by a ring buffer composed of an SDRAM having a FIFO configuration, and sequentially accumulates a video stream transferred from the transmission medium 130.
  • bit buffers 103a and 103b are provided is the same as the reason why the bit buffer 103 is provided in the conventional MPEG video decoder 101.
  • Each frame buffer 104a, 104b is composed of SDRAM, and each has three areas (forward reference area 120a, 120b, rear reference area 121a, 121b, B picture storage) It is divided into areas 122a and 122b).
  • the bit buffer 103a and the frame buffer 104a have one SD card.
  • the areas are provided separately in the RAM, and the bit buffer 103a and the frame buffer 104b are provided separately in one SDRAM.
  • the input / output data bus width (bit width) of each SDRAM provided with the bit buffers 103a and 103b and the frame buffers 104a and 104b is set to 16 bits. ing. Therefore, the input / output data bus width of each memory controller 108a, 108b and the data bus width of each data bus 106a, 106b are also set to 16 b i U.
  • the memory controller 108a controls a read operation and a write operation of the bit buffer 103a and the frame buffer 104a. Further, the memory controller 108b controls a read operation and a write operation of the bit buffer 103b and the frame buffer 104b.
  • video streams of one picture are read out for each frame period by each of the memory controllers 108a and 108b. Then, the video stream for one picture read from the bit buffer 103 a is transferred in the order of the memory controller 108 a ⁇ the data bus 106 a ⁇ the buffer 110 a and input to the MPEG decoding core circuit 105. You. The video stream for one picture read from the bit buffer 103 b is transferred in the order of the memory controller 108 b ⁇ data bus 106 ⁇ buffer 110 b, and the MPEG decode core circuit 105 Is input to
  • the MPEG decode core circuit 105 sequentially performs variable-length decoding, inverse quantization, IDCT, and MC processing on an input video stream for one picture. Do.
  • the MC processing result by the MPEG decode core circuit 105 is transferred to the switching circuit 3.
  • the switching circuit 3 is switched to one of the nodes 3a and 3b.
  • the MC processing result is transferred in the order of the buffer 114a ⁇ the data bus 106a ⁇ the memory controller 108a ⁇ the frame buffer 104a, and the memory controller 108a Is stored in any of the areas 120a to 122a of the frame buffer 104a.
  • the switching circuit 3 is switched to the node 3 b side, the MC processing result is transferred in the order of buffer 114 b-data bus 106 b ⁇ memory controller 108 b ⁇ frame buffer 104 b.
  • the data is stored in one of the areas 120b to 122b of the frame buffer 104b by the memory controller 108.
  • the data read from each area 120 a to 122 a of the frame buffer 104 a by the memory controller 108 a is transferred from the memory controller 108 a to the data bus 106 a ⁇ each buffer 111 a to The data is transferred in any order of l13a and input to the MPEG decode core circuit 105.
  • the data read from the forward reference area 1 20a is transferred via the buffer 1 1 1a
  • the data read from the backward reference area 1 2 1a is transferred via the buffer 1 1 2a.
  • the data read from the B picture storage area 122a is transferred via the buffer 113a.
  • the data read from each area 120b to l22b of the frame buffer 104b by the memory controller 108b is transferred from the memory controller 108b to the data bus 106b to each buffer 1 1b.
  • the data is transferred in any order of 1b to 113b and input to the MPEG decode core circuit 105.
  • the data read from the forward reference area 1 20b is transferred via the buffer 11 lb
  • the data read from the backward reference area 12 1b is transferred via the buffer 1 1 2b.
  • the data read from the B picture storage area 122b is transferred via the buffer 113b.
  • Each forward reference area 120a, 12Ob stores a future I picture or P picture used when performing backward prediction in MC processing by the MPEG decoding core circuit 105.
  • Each of the backward reference areas 12 21 a and 12 21 b stores a past I picture or P picture used when performing forward prediction in the MC processing.
  • Each of the B picture storage areas 122a and 122b stores a B picture.
  • each forward reference area 1 20a, 1 20b and each backward reference area 1 2 1a, 12 1 b is the original data for performing forward prediction or backward prediction.
  • Each area 120a, until it is no longer needed 120b, 121b, 121b must be kept stored.
  • the B pictures stored in the B picture storage areas 122a and 122b are not treated as original data, and thus become unnecessary when output to the outside of the MPEG video decoder 1.
  • Each of the areas 120a to 122b is also called a plane.
  • the memory controller 108a transfers the data of the picture read from any one of the areas 120a to 122a of the frame buffer 104a to the memory controller 108a—the data bus 106a—.
  • the data is transferred in the order of the buffer 115a and input to the display circuit 107.
  • the memory controller 108 converts the data of the picture read from any one of the areas 120b to 122b of the frame buffer 104b into a memory controller 108b—data bus 1 The data is transferred in the order of 06 b ⁇ buffer 1 15 b and input to the display circuit 107.
  • the display circuit 107 generates a video signal (video signal) from the picture data transferred from each of the buffers 115a and 115b, and sends the video signal to an external device 131 connected to the MPEG video decoder 1. Output.
  • the MPEG video decoder 1 thus configured is incorporated in a movie camera, a still camera, a television, a video CD playback device, a DVD playback device, and the like, like the conventional MPEG video decoder 101.
  • the transmission medium 130 is replaced with an imaging device such as a CCD and its signal processing circuit.
  • Figure 2 shows the luminance (Y) data and color difference (C) data stored in the forward reference areas 120a and 120b and the backward reference areas 121a and 121b of each frame buffer 104a and 104b made of SDRAM. It is a schematic diagram which shows a storage state typically.
  • a storage area 140 for luminance data yf for forward reference is provided in the forward reference area 120a, and a storage area 143 for chrominance data cr for backward reference is provided in the backward reference area 121a. Is provided.
  • a storage area 141 for color difference data cf for forward reference is provided in the forward reference area 120b, and a backward storage area 121b is provided in the backward reference area 121b.
  • a storage area 142 for reference luminance data yr is provided.
  • the data amount of each storage area 141 and 143 is equal to the data amount of each storage area 140 and 142. It is set to almost half of the amount.
  • each 1 ", cr, cf, and yr are separately stored in each area 120a, 12la, 120b, and 1113 of each frame buffer 104a and 104b. This can be easily and reliably performed by the switching operation of the switching circuit 3.
  • each data, cf, yr, cr is stored in each area 120a, 122a, 120b, 1113 of each frame buffer 104a, 104b.
  • Providing each of the storage areas 140 to 143 for performing the operation is called memory mapping.
  • FIG. 3 shows the areas 120a, 122a, 120b, and 122b of the frame buffers 104a and 104b consisting of SDRAM with an input / output data bus width of 16 bits.
  • FIG. 4 is a schematic diagram schematically showing the order of memory access when data of one macro block is read from the memory.
  • the memory access to the claim buffer 104a is performed by the command over the storage area 140 eom ⁇ reading the luminance data for forward reference from the storage area 140 ⁇ the command overhead to the storage area 143 com ⁇ storing The reading is performed in the order of reading the backward reference color difference data cr from the area 143.
  • the memory access to the frame buffer 104 b is performed by the command over the storage area 141 eom ⁇ the readout of the forward reference color difference data cf from the storage area 14 1 ⁇ the command overhead to the storage area 142
  • the reading is performed in the order of reading the luminance data yr for forward reference from the storage area 142.
  • the MPEG decoding core circuit 105 performs MC processing based on the forward reference luminance data yf and the forward reference chrominance data cf. Reverse prediction is performed.
  • the MPEG decoding core circuit 105 When the backward reference color difference data cf read from the storage area 143 is transferred to the MPEG decode core circuit 105, the backward reference luminance data yr read from the storage area 142 is transferred to the MPEG decode core circuit 105. Is done. Therefore, similarly to the conventional MPEG video decoder 101, the MPEG decoding core circuit 105 performs forward prediction by MC processing based on the backward reference chrominance data cr and the backward reference luminance data yr. It is.
  • each frame buffer 104a, 104b, each memory controller 108a, 108b, each buffer 1 1 1a, 1 12a and each buffer 1 1 1b, 1 12b operate simultaneously, and each Memory accesses to the frame buffers 104a and 104b are processed in parallel.
  • T2 2X t l + t 4+ t 5
  • each frame buffer 104a, 104b is 16 bit.
  • the data bus width of the frame buffer 104 of the conventional MPEG video decoder 101 is 32 bits. Therefore, the relationship between the times t l, t 3, t 4, and t 5 is as shown in Expression (3).
  • T 2 T 1-2 X t 1... (4)
  • the MPEG video decoder 1 in the present embodiment compared to the conventional MPEG video decoder 101, one of the frame buffers
  • the luminance data (9 pixels x 17 pixels) for each half-macroblock is obtained from each frame buffer 104a, 104b consisting of 16-bit SDRAMs with an input / output data bus width of 16 bits.
  • the data of 9 pixels X 20 pixels since the minimum unit that can access SDRAM with an input / output data bus width of 16 bits is 4 pixels in the horizontal direction, to read 17 pixels in the horizontal direction, 5 times the horizontal 4 pixels What is necessary is to read out the data of 20 pixels of the above. Then, out of the read data of 9 pixels x 20 pixels, the remaining data excluding the necessary data of 9 pixels x 17 pixels is a waste of 9 pixels x 3 pixels. Data.
  • luminance data for half macroblocks is read from the frame buffers 104a and 104b. In this case, it is not necessary to read out useless data of 9 pixels ⁇ 4 pixels, and the time required for memory access can be reduced accordingly.
  • the frame buffer 104 is compared with the conventional MPEG video decoder 101. It is possible to shorten the time required for memory access when reading data from a and 104b.
  • the operating speed of the MPEG video decoder 1 is increased without further increasing the operating frequency of the frame buffers 104a and 104b and further increasing the input / output data bus width. be able to.
  • the operation speed of the MPEG video decoder 1 of this embodiment is the same as that of the conventional MPEG video decoder 1. It is 1.3 to 1.5 times faster than 0 1.
  • the MPEG video decoder 1 With a high operating speed without using expensive and high power consumption ones having high operating frequencies as the frame buffers 104a and 104b.
  • the operating speed of the decoder 1 is increased, it is possible to avoid an increase in cost and an increase in power consumption.
  • the SDRAMs constituting the frame buffers 104a and 104b, the memory controllers 108a and 108b, and the data bus widths (bit widths) of the data buses 106a and 106b are all set. By setting it to 16 bits, the total is 16 bits + 16 bits, 32 bits. By the way, if higher-speed processing is required, 64 bits must be used.
  • the buffers 113a and 113b can be omitted as appropriate. Also, the function of each buffer 1 1 1 a and 1 12 a may be shared by one buffer, and similarly, the function of each buffer 1 1 1 b and 1 12 b may be shared by one buffer .
  • the frame buffers 104a and 104b may be formed of another type of rewritable semiconductor memory (for example, DRAM, Rambus DRAM, etc.) instead of SDRAM.

Description

明細書 ビデ才デコーダ 技術分野
本発明は VI P E G等の画像圧縮方式を用いたビデオデコ一ダに関するもので める。 背景技術
マルチメディアで扱われる情報は、 膨大な量であり、 かつ多種多様であって、 これらの情報を高速に処理することがマルチメディアの実用化を図る上で必要と なってくる： 情報を高速に処理するためには、 データの圧縮 '伸長技術が不可欠 となる。
そのようなデータの圧縮伸長技術として 「MPEG (Moving Picture Expert Group) 」 方式が挙げられる- この MP EG方式は、 I S O (International Organization for Standardization ) / I E C (International Electro- technical Commission) 傘下の MPEG委員会 （ISO/IEC JTC1/SC29/WG11) によ つて標準化されている。
MP EGは 3つのパートから構成されている。 パート 1の 「MPEGシステム パート」 （ISO/IEC IS 11172 Parti :Systems) では、 ビデオデータとオーディオ データの多重化構造 （マルチプレタス ' ス トラクチャ） および同期方式が規定さ れる。 パート 2の 「MPEGビデオパート」 （ISO/IEC IS 11172 Part2:Video) では、 ビデオデータの高能率符号化方式およびビデオデータのフォーマツトが規 定される。 パート 3の 「MP E Gオーディオパー ト」 （ISO/IEC IS 11172 Part3: Audio) では、 オーディオデータの高能率符号化方式およびオーディオデ —タのフォーマツトが規定される。
MP EGビデオパートで取り扱われるビデオデータは動画に関するものであり、 その動画は 1秒間に数十枚 （たとえば、 30枚） のフレーム （静止画、 コマ） に よって構成されている。 ビデオデータは、 シーケンス（Sequence), GOP (Group Of Pictures)、 ピクチャ （Picture)、 スライス（Sl ice)、 マクロブロック (Macroblock)、 ブロック（Block)の順に 6層の階層構造からなる。 1枚のピクチ ャを構成するスライスの個数は一定ではなく、 1個のスライスを合成するマクロ プロックの個数も一定ではない。
また、 M P E Gには主にェンコ一ドレ一卜の違いにより、 M P E G— 1、 M P
E G— 2の 2つの方式がある。 M P E G— 1においてフレームは、 ピクチャに対 応している。 M P E G— 2においては、 フレームまたはフィールドをピクチャに 対応させることもできる。 フィールドは、 2枚で 1枚のフレームを構成している。 ちなみに、 ピクチャにフレームが対応している構造はフレーム構造と呼ばれ、 ピクチャにフィ一ルドが対応している構造はフィ一ルド構造と呼ばれる。
M P E Gでは、 フレーム間予測と呼ばれる圧縮技術を用いる。 フレーム間予測 は、 フレーム間のデ一夕を時間的な相関に基づいて圧縮する。 フレーム間予測で は双方向予測が行なわれる。 双方向予測とは、 過去の再生画像 （または、 ピクチ ャ） から現在の再生画像を予測する順方向予測と、 未来の再生画像から現在の再 生画像を予測する逆方向予測とを併用することである。
この双方向予測は、 I ピクチャ（Intra- Picture)、 Pピクチャ（Predictive- Picture) , Bピクチャ（Bidirect ional ly predictive- Picture)と呼ばれる 3つの タイプのピクチャを規定している。
Iピクチャは、 過去や未来の再生画像とは無関係に独立して生成される。 ラン ダムアクセスを行なうために、 G〇P内には最低 1枚の Iピクチャが必要である。
I ピクチャ内のすべてのマクロブロック · タイプは、 フレーム内予測画面 (Int raFrame)である。
Pピクチャは、 順方向予測 （過去の Iピクチャまたは Pピクチャからの予測） により生成される。 Pピクチャ内のマクロブロック ·タイプは、 フレーム内予測 画面と順方向予測画面（Forward Inter Frame)の両方を含む。
Bピクチャは双方向予測により生成される。 双方向予測において Bピクチャは、 以下に示す 3つの予測のうちいずれか 1つにより生成される。
•順方向予測；過去の Iピクチャまたは Bピクチャからの予測。
•逆方向予測；未来の I ピクチャまたは Pピクチャからの予測。 •双方向予測；過去および未来の I ピクチャまたは Pピクチャからの予測。 Bピクチャ内のマクロブロック ·タイプは、 フレーム内予測画面、 順方向予測 画面、 逆方向予測画面（Backward Inter Frame) > 内挿的予測画面（Interpolat ive そして、 これらし P、 Bピクチャがそれぞれエンコードされる。 つまり、 I ピクチャは過去や未来のピクチャがなくても生成される。 これに対し、 Pピクチ ャは過去のピクチャがないと生成されず、 Bピクチャは過去または未来のピクチ ャがないと生成されない。
ただし、 Pピクチャや Bピクチヤでも、 マクロブロック ' タイプが内挿的予測 画面の場合、 そのマクロブロックは過去や未来のピクチャがなくても生成される。 フレーム間予測では、 まず、 Iピクチャが周期的に生成される。 次に、 Iピク チヤよりも数フレーム先のフレームが Pピクチャとして生成される。 この Pピク チヤは、 過去から現在への一方向 （順方向） の予測により生成される。 続いて、
Iピクチャの前、 Pピクチャの後に位置するフレームが Bピクチャとして生成さ れる。 この Bピクチャを生成するとき、 順方向予測、 逆方向予測、 双方向予測の 3つの中から最適な予測方法が選択される。 連続した動画では一般的に、 現在の 画像とその前後の画像とはよく似ており、 異なっているのは、 そのごく一部分に すぎない。 そこで、 前にフレーム （たとえば、 Iピクチャ） と次のフレーム （た とえば、 Pピクチャ） とはほとんど同じであると仮定し、 両フレーム間に変化が あればその差分 （Bピクチャのデータ） のみを抽出して圧縮する。 これにより、 フレーム間のデータを時間的な相関に基づいて圧縮することができる。
このように M P E Gビデオパートに準拠してエンコードされたビデオデータの デ一夕列 （ビットストリーム） は、 M P E Gビデオストリーム （以下、 ビデオス 卜リームと略す） と呼ばれる。
ところで、 M P E G— 1は主に、 ビデオ C D (Compact Disc)や C D— R O M
(CD-Read Only Memory)などの蓄積メディアに対応している。 M P E G—2は、 ビデオ C D、 C D - R OM, D V D (Digi tal Video Disc) 、 ビデオテープ、 不 揮発性半導体メモリを用いたメモリカードなどの蓄積メディァだけでなく、 L A N (Local Area Network) などの通信メディア、 地上波放送や衛星放送および C AT V (Community Antenna Television)などの放送メディアをも含む伝達メディ ァ全般に対応している。
MP EGビデオパ一卜で用いられる技術の核となるのが、 動き補償付予測 （M C； Motion Compensated prediction) と離散コサイン変換（DCT ； Discrete Cosine Transform)である。 M Cと D C Tを併用した符号化技術は、 ハイブリツ ド符号化技術と呼ばれる。 MP EGビデオパートでは、 エンコード時に DCT符 号を用い、 画像 （ビデオ信号） を周波数成分に分解して処理する。 そして、 デコ —ド時に DCTの逆変換 （離散コサイン逆変換： I DCT;Inverse DCT) を用レ 、 周波数成分を再び画像 （ビデオ信号） に戻す。
図 4は、 従来の MP EGビデオデコーダ 1 0 1のブロック回路図である。
MP EGビデオデコーダ 1 0 1は、 制御コア回路 1 02、 ビットバッファ 1 0 3、 フレームバッファ 1 04、 MP EGデコードコア回路 1 0 5、 データバス 1 06、 表示回路 1 07、 メモリコントローラ 1 08、 F I F〇（First- In-First - Out)構成のバッファ 1 09〜 1 1 5から構成されている。 なお、 MP EGビデオ デコーダ 1 0 1を構成する各回路 1 02〜 1 1 5は、 1チップの LS Iに搭載さ れている。
制御コア回路 1 02は、 各回路 1 03〜 1 1 5を制御する。
伝達メディア 1 30から転送されてきたビデオストリームは、 まずバッファ 1 09に入力され、 バッファ 1 09→データバス 1 06→メモリコントローラ 1 0 8→ビットバッファ 1 03の順序で転送されて、 ビットバッファ 1 03に書込ま れる。 なお、 伝達メディア 1 30には、 蓄積メディア （ビデオ CD、 CD-RO M、 DVD、 ビデオテープ、 メモリカード等） 、 通信メディア （LAN等） 、 放 送メディア （地上波放送、 衛星放送、 CATV等） などが含まれる。
ビデオバッファ 1 0 3は、 F I FO構成の SDRAM (Synchronous Dynamic Random Access Memory) からなるリングバッファによって構成され、 伝達メディ ァ 1 30から伝送されてくるビデオストリームを順次蓄積する。
ビットバッファ 1 03が設けられているのは、 I、 P、 Bの各ピクチャのデー 夕量が異なっているためである。 Iピクチャのデータ量は約 30 kバイ卜、 Pピ クチャのデータ量は約 1 0〜 1 5 kバイト、 Bピクチャのデータ量は 0〜約 6 k トである。 それに対して、 伝達メディア 1 3 0から転送されてくるビデオス トリ一ムのビットレートは一定である。 M P E Gデコードコア回路 1 0 5は、 各 ピクチャごとに処理を行なレ 、 その処理時間は各ピクチャのデータ量によって異 なる。 そのため、 伝達メディア 1 3 0から伝送されてきたビデオストリームを M P E Gデコードコア回路 1 0 5へ直接転送すると、 M P E Gデコードコア 1 0 5 において処理できないピクチャが出てくる。 これを防止するため、 伝達メディア 1 3 0から転送されてくるビデオストリームに対するバッファメモリとしてのビ ッ卜バッファ 1 0 3を設けることで、 I 、 P、 Bの各ピクチャのデ一夕量の相違 を吸収しているわけである。
フレームバッファ 1 0 4は、 S D R AMからなり、 その内部は 3つの領域 （前 方参照領域 1 2 0、 後方参照領域 1 2 1 、 Bピクチャ格納領域 1 2 2 ) に分けら れている。
なお、 ビットバッファ 1 0 3とフレームバッファ 1 0 4とは、 部品点数を少な くして M P E Gビデオデコーダ 1 0 1の部品コストを減少させるために、 1つの S D R AM内に領域を分けて設けられている。
また、 ビッ卜バッファ 1 0 3とフレームバッファ 1 0 4とが設けられる S D R AMの入出力のデ一夕バス幅 （ビッ卜幅） は、 3 2 b i tに設定されている。 そ のため、 メモリコントローラ 1 0 8の入出力のデータバス幅およびデ一夕バス 1 0 6のデ一夕バス幅についても、 3 2 b i tに設定されている。
メモリコントローラ 1 0 8は、 ビットバッファ 1 0 3およびプレスバッファ 1
0 4の読出動作および書込動作を制御する。
ビッ卜バッファ 1 0 3に蓄積されたビデオストリームは、 メモリコントローラ 1 0 8により、 1フレーム期間ごとに 1枚のピクチャ分ずつのビデオストリーム が読出され、 そのビデオストリームは、 メモリコントローラ 1 0 8→デ一夕バス 1 0 6→バッファ 1 1 0の順番で転送されて、 M P E Gデコードコア回路 1 0 5 に入力される。
M P E Gデコードコア回路 1 0 5は、 入力された 1ピクチャ分のビデオストリ —ムに対して、 まず、 ハフマンコードに基づいた可変長デコード処理を行ない、 次に、 可変長デコード処理結果に対して量子化しきい値に基づいた逆量子化処理 を行なって D C T (Discrete Cosine Transform)係数を求め、 続いて、 求めた D CT係数に対して I DCT処理を行ない、 最後に、 I DCT (Inverse DCT) 処 理結果に対して MC (Motion Compensated prediction)処理を行なう。
そして、 MP EGデコードコア回路 105による MC処理結果は、 バッファ 1 14→デ一夕バス 106→メモリコントローラ 108—フレームバッファ 104 の順番で転送されて、 メモリコントローラ 108によりフレームバッファ 104 のいずれかの領域 120〜 122に格納される。
また、 メモリコントローラ 1 08により、 フレ一ムバッファ 104の各領域 1 20〜 122から読出されたデ一夕は、 メモリコントローラ 108→データバス 106→各バッファ 1 1 1〜1 1 3のいずれかの順番で転送されて、 MP EGデ コードコア回路 105に入力される。 ここで、 前方参照領域 120から読出され たデ一夕はバッファ 1 1 1を介して転送され、 後方参照領域 121から読出され たデ一夕はバッファ 1 12を介して転送され、 Bピクチャ格納領域 122から読 出されたデータはバッファ 1 13を介して転送される。
前方参照領域 120には、 MP EGデコードコア回路 105による MC処理に おいて逆方向予測を行なう際に用いられる未来の Iピクチャまたは Pピクチャが 格納される。 後方参照領域 121には、 MC処理において順方向予測を行なう際 に用いられる過去の Iピクチャまたは Pピクチャが格納される。 Bピクチャ格納 領域 122には、 Bピクチャが格納される。
前方参照領域 120および後方参照領域 121に格納される Iピクチャまたは Pピクチャは、 順方向予測または逆方向予測を行なうための基データとして使わ れるため、 必要がなくなるまで、 各領域 120、 121に格納し続けなければな らない。 Bピクチャ格納領域 122に格納される Bピクチヤについては、 基デー 夕として扱われないため、 MP EGビデオデコーダ 101の外部へ出力されたら 不要になる。 なお、 各領域 120〜122はプレーン（Plane)とも呼ばれる。 そして、 メモリコントローラ 108により、 フレームバッファ 104の各領域 120〜122のいずれか 1つから読出されたピクチャのデータは、 メモリコン トロ一ラ 108→デ一夕バス 106→バッファ 1 1 5の順番で転送されて、 表示 回路 107に入力される。 表示回路 1 07は、 ピクチャのデータからビデオ信号 （映像信号） を生成し、 そのビデオ信号を MP EGビデオデコーダ 101に接続された外部機器 1 31へ 出力する。 たとえば、 外部機器 131としてディスプレイを接続した場合、 当該 ディスプレイはビデオ信号を画像として表示する。 また、 外部機器 13 1として 蓄積メディア （ビデオテープ、 メモリカード等） を接続した場合、 当該蓄積メデ ィァにはビデオ信号が記憶蓄積される。
このように構成された MP EGビデオデコーダ 101は、 ムービーカメラ、 ス チ一ルカメラ、 テレビジョン、 ビデオ CD再生装置、 DVD再生装置などに組み 込まれる。 なお、 MPEGビデオデコーダ 101をムービーカメラまたはスチー ルカメラに組み込む場合は、 伝達メディア 1 3 0が C CD (Charge Coupled Device)などの撮像デバイスおよびその信号処理回路に置き換えられる。
図 5は、 SDRAMからなるフレームバッファ 104の前方参照領域 120お よび後方参照領域 12 1に格納される輝度 （Y) データおよび色差 （C) データ の格納状態を模式的に示す模式図である。
前方参照領域 120には、 前方参照用の輝度データ y f の格納領域 140と、 前方参照用の色差データ c f の格納領域 141とが設けられている。 また、 後方 参照領域 12 1には、 後方参照用の輝度デ一夕 y rの格納領域 142と、 後方参 照用の色差データ c rの格納領域 143とが設けられている。
なお、 色差デ一夕のデータ量は輝度デ一夕のデータ量のほぼ半分である。 その ため、 各格納領域 141、 143のデ一夕量は各格納領域 140、 142のデー 夕量のほぼ半分に設定されている。
ちなみに、 上記のように、 フレームバッファ 104の各領域 120、 121に 各データ y f 、 c f、 y r、 c rを格納するための各格納領域 140〜 143を 設けることは、 メモリマッピングと呼ばれる。
—般に、 SDRAMにアクセスする際には、 SDRAMに規定されたキャスト リ一ケンシ一およびバース卜レンジにより決定される所定のコマンドを設定する 必要があり、 そのように所定のコマンドを設定することはコマンドオーバーへッ ドと呼ばれる。 そのため、 アクセスを開始した時点からデータの書込または読出 が実際に開始される時点までの間に、 コマンドオーバーへッドに要する時間分の 遅延時間が生じることになる。 このコマンドォ一バーヘッドに要する時間 （遅延 時間） は、 SDRAMの動作クロックの 6〜 7クロック分以下にはできない。 図 6は、 入出力のデータバス幅が 32 b i tの SDR AMからなるフレームバ ッファ 1 04の各領域 120、 121力、ら 1つのマクロブロック分のデータを読 出す場合におけるメモリアクセスの順番を模式的に示す模式図である。
メモリアクセスは、 格納領域 140に対するコマンドオーバ一へッド c om→ 格納領域 140からの前方参照用輝度データ y f の読出→格納領域 141に対す るコマンドオーバ一へッ e om—格納領域 141からの前方参照用色差デ一夕 c f の読出—格納領域 142に対するコマンドオーバ一へッド c om→格納領域 142からの後方参照用輝度デ一夕 y rの読出—格納領域 143に対するコマン ドォ一バーへッ e om—格納領域 143からの後方参照用色差データ c rの読 出の順番で行なわれる。
したがって、 この場合のメモリアクセスに要する時間 T 1は、 以下の式 （1) により求められる。
T l =4X t l + 2X t 2 + 2 X t 3 ··· (1) ただし、 t 1 ； コマンドォ一バーへッド c omに要する時間
t 2 ；各輝度データ y f 、 y rの読出に要する時間
t 3 ；各色差データ c f 、 c rの読出に要する時間
ところで、 MP EGデコードコア回路 105による MC処理では、 1つのマク ロブロックの半分 （ハーフマクロブロック） の輝度データを復元するために、 S DRAMからなるフレームバッファ 104の前方参照領域 120または後方参照 領域 121からハーフマクロブロック分の輝度データを読出す場合がある。 図 7 Aに示すように、 このハーフマクロプロック分の輝度データを復元するの に前方参照領域 120または後方参照領域 121から読出す必要のある輝度デー 夕は、 9ピクセル （画素） X I 7ピクセル （画素） 分のデ一夕である。
一般に、 SDRAMにアクセスできる最小単位は、 SDRAMに規定されたバ —ストレンジに入出力のデータバス幅を乗算した値になる。
バース卜レンジの最小値は 「2」 であるため、 入出力のデータバス幅が 32 b i tの SDR AMにアクセスできる最小単位は、 2X 32 b i tになる。 ところ で、 1つのピクセル （画素） のデータ量は 8 b i tである。 したがって、 入出力 のデ一夕バス幅が 32 b i tの SDRAMにアクセスできる最小単位は、 水平方 向に配置された 8ピクセル分になる。
そのため、 図 7 Bに示すように、 入出力のデ一夕バス幅が 32 b i tの SDR AMからなるフレームバッファ 1 04からハーフマクロブロック分の輝度デ一夕 (9ピクセル X 1 7ピクセル分のデータ） を読出すには、 9ピクセル X 24ピク セル分のデ一夕を読出す必要がある。 すなわち、 入出力のデ一夕バス幅が 32 b i tの SDRAMにアクセスできる最小単位は水平 8ピクセル分であるため、 水 平 1 7ピクセル分のデータを読出すには、 水平 8ピクセルの 3倍の 24ピクセル 分のデータを読出さなければならない。 そして、 読出した 9ピクセル X 24ピク セル分のデ一夕のうち、 9ピクセル X I 7ピクセル分の必要なデ一夕を除いた残 りのデ一夕である 9ピクセル X 7ピクセル分は無駄なデータとなる。
近年、 MP EGビデオデコーダ 1 0 1の動作速度を高速化することが要求され ている。 それには、 フレームバッファ 1 04とデータバス 1 06を高速化して動 作周波数を高くする方法と、 フレームバッファ 1 04とデ一夕バス 1 06の入出 力のデ一夕バス幅 （ビット幅） を 32 b i tよりもさらに拡げる （たとえば、 4 8 b i t、 64 b i t、 1 28 b i t等） 方法とがある。 しかし、 動作周波数の 高いフレームバッファ 1 04は高価 （たとえば、 SDRAMよりも高速なランパ ス DRAMは SDRAMより高価） である上に、 消費電力も大きくなる。 また、 入出力のデータバス幅をさらに拡げると、 L S Iの端子数が増加するとともにフ レームバッファ 1 04を構成する SDRAMのチップ数が増加するため、 MPE Gビデオデコーダ 1 0 1の基板実装面積の増大やコストアップを招くことになる。 そこで、 フレームバッファ 1 04の動作周波数を高くしたり、 入出力のデ一夕バ ス幅を拡げることなく、 MPEGビデオデコーダ 1 0 1の動作速度を高速化する ことが求められている。 発明の開示
本発明の目的は、 動作速度を高速化することが可能な MP EG等の画像圧縮方 式を用いたビデオデコーダを提供することにある。 係る目的を達成するために本願発明は、 離散コサイン変換と、 逆方向予測およ び順方向予測を行なう動き補償予測とを併用してビデオス卜リームをデコードす るビデオデコーダにおいて、 上記逆方向予測に用いられる前方参照用輝度データ の格納領域と、 上記順方向予測に用いられる後方参照用色差デ一夕の格納領域と が設けられた第 1フレームバッファと、 上記逆方向予測に用いられる前方参照用 色差データの格納領域と、 上記順方向予測に用いられる後方参照用輝度デ一夕の 格納領域とが設けられた第 2フレームバッファと、 上記第 1フレームバッファに 対するメモリアクセス動作と上記第 2フレ一ムバッファに対するメモリアクセス 動作との少なくとも一部分の動作を並列処理で行なう読出制御回路とを備える。 したがって、 本発明においては、 第 1および第 2フレームバッファとして入出 力のデ一夕バス幅が小さなものを用いれば、 各フレームバッファからハ一フマク ロブロック分の輝度デ一夕 （例えば、 9ピクセル X 1 7ピクセル分のデ一夕） を 読出す際にも、 無駄なデ一夕の読出を少なくすることが可能になり、 その分だけ メモリアクセスに要する時間を短縮することができる。 そのため、 各フレームバ ッファの動作周波数を高くしたり入出力のデータバス幅を拡げることなく、 ビデ ォデコ一ダの動作速度を高速化することができる。
本発明の他の局面に従うと、 離散コサイン変換と、 逆方向予測および順方向予 測を行なう動き補償付予測とを併用してビデオストリームをデコードするビデオ デコーダにおいて、 上記逆方向予測に用いられる前方参照用輝度データの格納領 域と、 上記順方向予測に用いられる後方参照用色差データの格納領域とが設けら れた第 1フレームバッファと、 上記逆方向予測に用いられる前方参照用色差デ一 夕の格納領域と、 上記順方向予測に用いられる後方参照用輝度デ一夕の格納領域 とが設けられた第 2フレームバッファと、 第 1フレームバッファと第 2フレーム バッファとに対するメモリアクセスを並列処理で行ない、 第 1フレームバッファ から前方参照用輝度データを読出しているときに、 第 2フレームバッファから前 方参照用色差デ一夕を読出すとともに、 第 1フレームバッファから後方参照用色 差データを読出しているときに、 第 2フレームバッファから後方参照用輝度デ一 夕を読出すようにする読出制御回路とを備える。
したがって、 本発明によれば、 メモリアクセスに要する時間を極めて効果的に 短縮することができる。
さらに、 好ましくは、 ビデオデコーダにおいては、 前方参照用輝度データおよ び後方参照用色差データを上記第〗 フレームバッファにおける所定の格納領域に 格納させるとともに、 前方参照用色差データおよび後方参照用輝度データを上記 第 2フレームバッファにおける所定の格納領域に格納させる書込制御回路を備え る
さらに好ましくは、 ビデオデコーダにおいて、 上記第 1および第 2フレームバ ッファはともに入出力のデータバス幅の等しい S D R AMを含む。
したがって、 本発明によれば、 第 1フレームバッファと第 2フレームバッファ とに対するメモリアクセスが並列処理で行なわれる。 このため、 各フレームバッ ファから 1つのマクロプロック分の輝度データおよび色差データを読出す際のメ モリアクセスに要する時間を、 S D R AM等のバッファメモリに規定されたコマ ンドオーバーへッドの 2回分に要する時間だけ短縮することができる。 そのため、 ビデオデコーダの動作速度をさらに高速化することが可能である。 図面の簡単な説明
図 1は、 本発明の実施例 1の：I P E Gビデオデコーダのブロック回路図である。 図 2は、 実施例 1の動作を説明するための第 1の模式図である。
図 3は、 実施例 1の動作を説明するための第 2の模式図である。
図 4は、 従来の M P E Gビデオデコーダのブロック回路図である。
図 5は、 従来の M P E Gビデオデコーダの動作を説明するための第 1の模式図 である。
図 6は、 従来の M P E Gビデオデコーダの動作を説明するための第 2の模式図 である。
図 7 A〜図 7 Cは、 従来の M P E Gビデオデコーダの動作を説明するための模 式図であり、 図 7 Aは、 ハーフマクロブロック分の輝度データを復元するのに必 要のあるデータを示し、 図 7 Bは、 フレームバッファ 1 0 4からハ一フマクロブ ロック分の輝度データを読出す際に読み出されるデータを示し、 図 7 Cは、 フレ —ムバッファからハーフマクロブロック分の輝度データを読出す動作を示す。 発明を実施するための最良の形態
以下、 本発明の実施例を図面とともに説明する
なお、 実施例において、 図 4〜図 7 Cに示した従来の MP EGビデオデコーダ と同一の構成部分については同一符号を付してその説明を繰返さない。
図 1は、 実施例 1の M P E Gビデオデコーダ 1の構成を示すブロック回路図で める。
MP EGビデオデコーダ 1は、 制御コア回路 2、 切換回路 3、 ビットバッファ 1 03 a、 1 03 b, フレームバッファ 1 04 a、 1 04 b、 MP EGデコード コア回路 1 05、 データバス 1 06 a、 1 06 b, 表示回路 1 07、 メモリコン トローラ 1 08 a、 1 08 b、 F I F O構成のバッファ 1 09、 1 1 0 a〜l l 5 bから構成されている。 なお、 MP EGビデオデコーダ 1を構成する各回路 2、 103 a〜 1 1 5 bは 1チップの L S Iに搭載されている。
制御コア回路 2は、 各回路 3、 1 03 a〜 1 1 5 bを制御する。
伝達メディア 1 30から転送されてきたビデオストリームは、 まずバッファ 1
09に入力され、 ノくッファ 1 09→各データバス 1 06 a、 1 06 b→各メモリ コントローラ 1 08 a、 1 08 b→各ビッ トバッファ 1 03 a、 1 03 bの順番 で転送されて、 各ビッ トバッファ 1 ◦ 3 a、 1 03 bに書込まれる。
各ビットバッファ 1 03 a、 1 03 bは F I F O構成の S D RAMからなるリ ングバッファによって構成され、 伝達メディア 1 30から転送されてくるビデオ ストリ一ムを順次蓄積する。
各ビットバッファ 1 03 a、 1 03 bが設けられているのは、 従来の MP EG ビデオデコーダ 1 01においてビットバッファ 1 03が設けられている理由と同 じである。
各フレームバッファ 1 04 a、 1 04 bは S D RAMからなり、 それぞれの内 部は 3つの領域 （前方参照領域 1 20 a、 1 20 b, 後方参照領域 1 21 a、 1 21 b、 Bピクチャ格納領域 1 22 a、 1 22 b) に分けられている。
なお、 部品点数を少なく して M P E Gビデオデコーダ 1の部品コストを減少さ せるため、 ビッ トバッファ 1 03 aとフレームバッファ 1 04 aとが 1つの SD RAM内に領域を分けて設けられ、 ビッ卜バッファ 1 03 aとフレームバッファ 104 bとが 1つの SDRAM内に領域を分けて設けられている。
また、 ビッ トバッファ 1 03 a、 1 03 bとフレームバッファ 1 04 a、 10 4 bとが設けられるそれぞれの SDR AMの入出力のデ一夕バス幅 （ビット幅） はともに、 16 b i tに設定されている。 そのため、 各メモリコントローラ 1 0 8 a、 1 08 bの入出力のデータバス幅および各デ一夕バス 106 a、 106 b のデ一夕バス幅についても、 16 b i Uこ設定されている。
メモリコン卜ローラ 108 aは、 ビッ卜バッファ 1 03 aおよびフレームバッ ファ 1 04 aの読出動作および書込動作を制御する。 また、 メモリコントローラ 108 bは、 ビットバッファ 103 bおよびフレームバッファ 104 bの読出動 作および書込動作を制御する。
各ビットバッファ 1 03 a、 103 bに蓄積されたビデオストリームは、 各メ モリコントローラ 108 a、 108 bにより、 1フレーム期間ごとに 1枚のピク チヤ分ずつのビデオストリームが読出される。 そして、 ビットバッファ 103 a から読出された 1枚のピクチャ分のビデオストリームは、 メモリコントローラ 1 08 a→データバス 106 a→バッファ 1 10 aの順番で転送されて、 MPEG デコードコア回路 105に入力される。 また、 ビットバッファ 103 bから読出 された 1枚のピクチャ分のビデオス卜リームは、 メモリコントローラ 1 08 b→ デ一夕バス 106→バッファ 1 10 bの順番で転送されて、 MP EGデコードコ ァ回路 105に入力される。
MP EGデコードコア回路 105は、 従来の MP EGビデオデコーダ 101と 同様に、 入力された 1ピクチャ分のビデオストリームに対して、 可変長デコード 処理、 逆量子化処理、 I DCT処理、 MC処理を順次行なう。
そして、 MP EGデコードコア回路 105による MC処理結果は、 切換回路 3 に転送される。 切換回路 3は、 各ノード 3 a、 3 bのいずれかの側に切換えられ る。 切換回路 3がノード 3 a側に切換えられた場合、 MC処理結果は、 バッファ 1 14 a→データバス 106 a→メモリコントローラ 108 a→フレームバッフ ァ 104 aの順番で転送されて、 メモリコントローラ 108 aにより、 フレーム バッファ 104 aのいずれかの領域 120 a〜l 22 aに格納される。 また、 切 換回路 3がノード 3 b側に切換えられた場合、 MC処理結果は、 バッファ 1 14 b—デ一夕バス 1 06 b→メモリコントローラ 1 08 b→フレームバッファ 1 0 4 bの順番で転送されて、 メモリコントローラ 1 08 により、 フレームバッフ ァ 1 04 bのいずれかの領域 1 20 b〜 1 22 bに格納される。
そして、 メモリコントローラ 1 08 aにより、 フレームバッファ 1 04 aの各 領域 1 20 a〜 1 22 aから読出されたデータは、 メモリコントローラ 1 08 a —データバス 1 06 a→各バッファ 1 1 1 a〜l 1 3 aのいずれかの順番で転送 されて、 MP EGデコードコア回路 1 05に入力される。 ここで、 前方参照領域 1 20 aから読出されたデータはバッファ 1 1 1 aを介して転送され、 後方参照 領域 1 2 1 aから読出されたデ一夕はバッファ 1 1 2 aを介して転送され、 Bピ クチャ格納領域 1 22 aから読出されたデータはバッファ 1 1 3 aを介して転送 される。
また、 メモリコント口一ラ 1 08 bにより、 フレームバッファ 1 04 bの各領 域 120 b〜l 22 bから読出されたデータは、 メモリコントローラ 1 08 b→ データバス 1 06 b→各バッファ 1 1 1 b〜 1 1 3 bのいずれかの順番で転送さ れて、 MPEGデコードコア回路 1 05に入力される。 ここで、 前方参照領域 1 20 bから読出されたデータはバッファ 1 1 l bを介して転送され、 後方参照領 域 12 1 bから読出されたデ一夕はバッファ 1 1 2 bを介して転送され、 Bピク チヤ格納領域 122 bから読出されたデータはバッファ 1 1 3 bを介して転送さ れる。
各前方参照領域 1 20 a、 1 2 O bには、 MP E Gデコードコア回路 1 05に よる MC処理において逆方向予測を行なう際に用いられる未来の Iピクチャまた は Pピクチヤが格納される。 各後方参照領域 1 2 1 a、 1 2 1 bには、 MC処理 において順方向予測を行なう際に用いられる過去の Iピクチャまたは Pピクチャ が格納される。 各 Bピクチヤ格納領域 1 22 a、 1 22 bには Bピクチヤが格納 される。
各前方参照領域 1 20 a、 1 20 bおよび各後方参照領域 1 2 1 a、 12 1 b に格納される Iピクチャまたは Pピクチャは、 順方向予測または逆方向予測を行 なうための元データとして使われるため、 必要がなくなるまで、 各領域 120 a、 120 b、 1 2 1 a、 121 bに格納し続けなければならない。 Bピクチャ格納 領域 122 a、 122 bに格納される Bピクチヤについては元データとして扱わ れないため、 MP EGビデオデコーダ 1の外部へ出力されたら不要になる。 なお、 各領域 120 a〜 122 bはプレーンとも呼ばれる。
そして、 メモリコントローラ 108 aにより、 フレームバッファ 104 aの各 領域 120 a〜 122 aのいずれか 1つから読出されたピクチャのデ一夕は、 メ モリコン卜ローラ 108 a—デ一夕バス 106 a—バッファ 1 1 5 aの順番で転 送されて、 表示回路 1 07に入力される。
また、 メモリコント口一ラ 108 により、 フレームバッファ 104 bの各領 域 120 b〜 122 bのいずれか 1つから読出されたピクチャのデ一夕は、 メモ リコントローラ 108 b—デ一夕バス 1 06 b→バッファ 1 1 5 bの順番で転送 されて、 表示回路 107に入力される。
表示回路 107は、 各バッファ 1 1 5 a、 1 1 5 bから転送されたピクチャの データからビデオ信号 （映像信号） を生成し、 そのビデオ信号を MPEGビデオ デコーダ 1に接続された外部機器 131へ出力する。
このように構成された MPEGビデオデコーダ 1は、 従来の MPEGビデオデ コーダ 101と同様に、 ムービーカメラ、 スチ一ルカメラ、 テレビジョン、 ビデ ォ CD再生装置、 DVD再生装置などに組み込まれる。 なお、 MP EGビデオデ コーダ 1をム一ビ一カメラまたはスチールカメラに組み込む場合は、 伝達メディ ァ 130が CCDなどの撮像デバイスおよびその信号処理回路に置き換えられる。 図 2は、 SDRAMからなる各フレームバッファ 104 a、 104bの前方参 照領域 120 a、 120 bおよび後方参照領域 12 1 a、 121 bに格納される 輝度 （Y) データおよび色差 （C) データの格納状態を模式的に示す模式図であ る。
フレームバッファ 104 aにおいては、 前方参照領域 120 aには前方参照用 の輝度デ一夕 y f の格納領域 140が設けられ、 後方参照領域 121 aには後方 参照用の色差データ c rの格納領域 143が設けられている。
フレームバッファ 104 bにおいては、 前方参照領域 120 bには前方参照用 の色差データ c f の格納領域 141が設けられ、 後方参照領域 121 bには後方 参照用の輝度データ y rの格納領域 142が設けられている。
前述したように、 色差デ一夕のデー夕量は輝度デ一夕のデータ量のほぼ半分で あるため、 各格納領域 141、 143のデ一夕量は各格納領域 140、 142の デ一夕量のほぼ半分に設定されている。
このように、 各フレームバッファ 1 04 a、 1 04 bの各領域 1 20 a、 1 2 l a、 1 20 b, 1 2 113に各デ一夕 1"、 c r、 c f 、 y rを振り分けて格納 することは、 上記切換回路 3の切換動作により容易かつ確実に行なうことができ る。
ちなみに、 上述のように、 各フレームバッファ 1 04 a、 1 04 bの各領域 1 20 a、 1 2 1 a、 1 20 b、 1 2 113に各デ一タ 、 c f 、 y r、 c rを格 納するための各格納領域 140〜 143を設けることは、 メモリマッピングと呼 ばれる。
図 3は、 入出力のデ一タバス幅が 16 b i tの SDR AMからなるフレームバ ッファ 1 04 a、 1 04 bの各領域 1 20 a、 1 2 1 a、 1 20 b、 1 2 1 bか ら 1つのマクロブロック分のデータを読出す場合におけるメモリアクセスの順番 を模式的に示す模式図である。
クレームバッファ 1 04 aに対するメモリアクセスは、 格納領域 140に対す るコマンドオーバーへッ e om→格納領域 140からの前方参照用輝度データ i f の読出→格納領域 143に対するコマンドオーバーへッド c om→格納領域 143からの後方参照用色差データ c rの読出の順番で行なわれる。
フレームバッファ 1 04 bに対するメモリアクセスは、 格納領域 141に対す るコマンドオーバ一へッ e om→格納領域 14 1からの前方参照用色差デ一夕 c f の読出→格納領域 142に対するコマンドオーバーへッド c om→格納領域 142からの前方参照用輝度データ y rの読出の順番で行なわれる。
そのため、 MP EGデコードコア回路 1 05には、 格納領域 140から読出さ れた前方参照用輝度デ一夕 y f が転送されているときに、 格納領域 141から読 出された前方参照用色差データ c f が転送される。 そのため、 MPEGデコード コア回路 105では、 従来の MPEGビデオデコーダ 1 0 1と同様に、 前方参照 用輝度データ y f および前方参照用色差デ一夕 c f に基づいて、 MC処理による 逆方向予測が行なわれる。
また、 MP EGデコードコア回路 105には、 格納領域 143から読出された 後方参照用色差データ c f が転送されているときに、 格納領域 142から読出さ れた後方参照用輝度デ一夕 y rが転送される。 そのため、 MPEGデコードコア 回路 105では、 従来の MP EGビデオデコーダ 10 1と同様に、 後方参照用色 差デ一夕 c rおよび後方参照用輝度データ y rに基づいて、 MC処理による順方 向予測が行なわれる。
つまり、 各フレームバッファ 104 a、 1 04b, 各メモリコントローラ 1 0 8 a、. 108 b、 各バッファ 1 1 1 a、 1 12 aと各バッファ 1 1 1 b、 1 12 bは同時に動作し、 各フレームバッファ 104 a、 104 bに対するメモリァク セスは並列処理される。
したがって、 この場合のメモリアクセスに要する時間 T 2は、 式 （2) により 求められる。
T2 = 2X t l + t 4+ t 5 ·'· (2)
ただし、 t 1 コマンドオーバーへッド c omに要する時間
t 4 各輝度デ一夕 y f、 y rの読出に要する時間
t δ 各色差データ c f 、 c rの読出に要する時間
ここで、 各フレームバッファ 104 a、 104 bのデータバス幅は 16 b i t である。 それに対して、 従来の MPEGビデオデコーダ 101のフレームバッフ ァ 104のデータバス幅は 32 b i tである。 そのため、 前記時間 t l、 t 3、 t 4、 t 5の関係は式 （3) に示すようになる。
t 4 = 2 X t 2
t 5 = 2 X t 3 … （3)
その結果、 上記式 （1) により求められる従来の MPEGビデオデコーダ 10 1のメモリアクセスに要する時間 T 1と、 本実施例の MP EGビデオデコーダ 1 のメモリアクセスに要する時間 T 2との関係は式 （4) に示すようになる。
T 2 =T 1 - 2 X t 1 … （4)
したがって、 本実施例に MP EGビデオデコーダ 1によれば、 従来の MP EG ビデオデコーダ 101に比べて、 フレームバッファ 104 a、 104 bから 1つ のマクロプロック分の輝度デ一夕および色差データを読出す際のメモリアクセス に要する時間を、 2回分のコマンドオーバ一ヘッド c omに要する時間 （=2 X t 1) 分だけ短縮することができる。
また、 図 7 Cに示すように、 入出力のデータバス幅が 16 b i tの SDR AM からなる各フレームバッファ 1 04 a、 1 04 bからハーフマクロブロック分の 輝度データ （9ピクセル X 1 7ピクセル分のデ一夕） を読出すには、 9ピクセル X 20ピクセル分のデ一夕を読出せばよい。 すなわち、 入出力のデータバス幅が 16 b i tの SDR AMにアクセスできる最少単位は水平 4ピクセル分であるた め、 水平 1 7ピクセル分のデ一夕を読出すには、 水平 4ピクセルの 5倍の 20ピ クセル分のデ一夕を読出させればよい。 そして、 読出した 9ピクセル X 20ピク セル分のデータのうち、 9ピクセル X 1 7ピクセル分の必要なデ一タを除いた残 りのデ一夕である、 9ピクセル X 3ピクセル分は無駄なデータとなる。
上述したように、 従来の MP EGビデオデコーダ 1 0 1では、 9ピクセル X 2 4ピクセル分のデータを読出さなければならず、 そのうち、 9ピクセル X I 7ピ クセル分の必要なデータを除いた残りのデータである 9ピクセル X 7ピクセル分 は無駄なデータとなる。
したがって、 本実施例の MP EGビデオデコーダ 1によれば、 従来の MP EG ビデオデコーダ 1 0 1に比べて、 フレームバッファ 1 04 a、 1 04 bからハ一 フマクロブロック分の輝度データを読出す際に、 9ピクセル X 4ピクセル分の無 駄なデータの読出を行なう必要がなくなり、 その分だけメモリアクセスに要する 時間を短縮することができる。
以上詳述したように、 本実施例の MPEGビデオデコーダ 1によれば、 従来の MPEGビデオデコーダ 1 0 1に比べて、 MPEGデコードコア回路 1 05にて MC処理を行なうときに、 フレームバッファ 1 04 a、 1 04bからデ一タを読 出す際のメモリアクセスに要する時間を短縮することが可能になる。
したがって、 本実施例によれば、 フレームバッファ 1 04 a、 1 04 bの動作 周波数をさらに高くしたり入出力のデータバス幅をさらに広げることなく、 MP EGビデオデコーダ 1の動作速度を高速化することができる。 ちなみに、 本実施 例の MP EGビデオデコーダ 1の動作速度は、 従来の MP EGビデオデコーダ 1 0 1に比べて 1. 3〜1. 5倍高速になる。
そして、 フレームバッファ 1 04 a、 104 bとして動作周波数の高い高価で 消費電力の大きなものを使用することなく、 動作速度の高速な MP EGビデオデ コーダ 1を実現することが可能になり、 MP EGビデオデコーダ 1の動作速度の 高速化に際して、 コストアップならびに消費電力の増大を回避することができる。 本実施例では、 フレームバッファ 104 a、 104 bを構成する SDRAM、 メモリコント口一ラ 108 a、 108 b、 デ一夕バス 106 a、 106 bのデー 夕バス幅 （ビット幅） をすベて 16 b i tに設定することにより、 全体として 1 6 b i t + 16 b i tの 32 b i tとしている。 ところで、 より高速な処理が要 求される場合には、 64b i t化が必要となるが、 この場合には、 フレームバッ ファ 104 a、 104 bを構成する SDRAM、 メモリコントローラ 108 a、 108 , デ一夕バス 106 a、 106 bのデ一夕バス幅をすベて 32 b i tに 設定することにより、 全体として 32 b i t + 32 b i tの 64 b i tとすれば よく、 このようにすれば本実施例と同様の効果を得ることができる。
なお、 本発明は上記実施例に限定されるものではなく、 以下のように変更して もよく、 その場合でも上記実施例と同等もしくはそれ以上の作用効果を得ること ができる。
(1) MP EGビデオデコーダ 1において、 各バッファ 1 13 a、 1 13 b は適宜省略することができる。 また、 各バッファ 1 1 1 a、 1 12 aの機能を 1 つのバッファで兼用してもよく、 同様に、 各バッファ 1 1 1 b、 1 12 bの機能 を 1つのバッファで兼用してもよい。
(2) フレームバッファ 104 a、 104 bを、 SDR AMではなく、 書換 え可能な他の形式の半導体メモリ （たとえば、 DRAM、 ランバス DRAM等） によって構成してもよい。
この発明を詳細に説明し示してきたが、 これは例示のためのみであって、 限定 となってはならず、 発明の精神と範囲は添付の請求の範囲によってのみ限定され ることが明らかに理解されるであろう。

Claims

請求の範囲
1 . 逆方向予測および順方向予測を行なう動き補償付予測を用いてビデオス卜リ ームをデコードするビデオデコーダであって、
前記逆方向予測に用いられる前方参照用輝度データの格納領域と、 前記順方向 予測に用いられる後方参照用色差デ一夕の格納領域とが設けられた第 1フレーム バッファと、
前記逆方向予測に用いられる前方参照用色差デ一夕の格納領域と、 前記順方向 予測に用いられる後方参照用輝度データの格納領域とが設けられた第 2フレーム バッファと、
前記ビデオデコーダの動作を制御するための制御回路とを備え、
前記制御回路は、 前記第 1フレームバッファに対するメモリアクセス動作と前 記第 2フレームバッファに対するメモリアクセス動作との少なくとも一部分の動 作を、 並列処理で行なう、 ビデオデコーダ。
2 . 前記第 1および第 2のフレームバッファから読み出されたデータのデコード のために、 逆離散コサイン変換処理を行なう離散コサイン変換処理回路をさらに 備える、 請求項 1に記載のビデオデコーダ。
3 . 前記制御回路は、 書込み動作において、 前方参照用輝度デ一夕および後方参 照用色差データを前記第 1フレームバッファにおける所定の格納領域に格納させ るとともに、 前方参照用色差データおよび後方参照用輝度データを前記第 2フレ ームバッファにおける所定の格納領域に格納させる、 請求項 1に記載のビデオデ コーダ。
4. 前記第 1および第 2のフレームバッファは、 読出コマンドを与えてから所定 時間経過後にデータ出力が開始される第 1および第 2のメモリ回路をそれぞれ含 む、 請求項 3に記載のビデオデコーダ。
5 . 前記第 1および第 2のメモリ回路は、 それぞれ、 互いに入出力のデータバス 幅の等しいシンクロナスダイナミック型ランダムアクセスメモリを含む、 請求項 4に記載のビデオデコーダ。
6 . 前記ビデオストリームは、 離散コサイン変換と、 逆方向および順方向予測を 行なう動き補償予測とを併用する M P E Gビデオストリームである、 請求項 4に 記載のビデオデコーダ。
7 . 前記制御回路は、 読出動作において、 前記第 1 フレームバッファと前記第 2 フレームバッファとに対するメモリアクセスを並列処理で行ない、 . i ) 前記第 1 フレームバッファから前方参照用輝度データを読出しているとき に、 前記第 2フレームバッファから前方参照用色差データを読出し、
i i ) 前記第 1 フレームバッファから後方参照用色差データを読出しているとき に、 前記第 2フレームバッファから後方参照用輝度データを読出すように読出動 作を制御する、 請求項 1に記載のビデオデコーダ。
8 . 前記制御回路は、 書込み動作において、 前方参照用輝度データおよび後方参 照用色差データを前記第 1フレームバッファにおける所定の格納領域に格納させ るとともに、 前方参照用色差データおよび後方参照用輝度データを前記第 2フレ ームバッファにおける所定の格納領域に格納させる、 請求項 7に記載のビデオデ コーダ。
9 . 前記第 1および第 2のフレームバッファは、 読出コマンドを与えてから所定 時間経過後にデータ出力が開始される第 1および第 2のメモリ回路をそれぞれ含 む、 請求項 8に記載のビデオデコ一ダ。
1 0 . 前記第 1および第 2のメモリ回路は、 それぞれ、 互いに入出力のデータバ ス幅の等しいシンクロナスダイナミック型ランダムアクセスメモリを含む、 請求 項 9に記載のビデオデコ一ダ。
1 1 . 前記ビデオス トリームは、 離散コサイン変換と、 逆方向および順方向予測 を行なう動き補償予測とを併用する、 M P E Gビデオストリームである、 請求項 9に記載のビデオデコーダ。
PCT/JP2000/001725 1999-03-23 2000-03-21 Video decoder WO2000057650A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP00909779A EP1091590A4 (en) 1999-03-23 2000-03-21 video encoder
JP2000607421A JP3813444B2 (ja) 1999-03-23 2000-03-21 ビデオデコーダ
US09/700,575 US6871001B1 (en) 1999-03-23 2000-03-21 Video decoder
AU31967/00A AU3196700A (en) 1999-03-23 2000-03-21 Video decoder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP11/78207 1999-03-23
JP7820799 1999-03-23

Publications (1)

Publication Number Publication Date
WO2000057650A1 true WO2000057650A1 (en) 2000-09-28

Family

ID=13655601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2000/001725 WO2000057650A1 (en) 1999-03-23 2000-03-21 Video decoder

Country Status (7)

Country Link
US (1) US6871001B1 (ja)
EP (1) EP1091590A4 (ja)
JP (1) JP3813444B2 (ja)
KR (1) KR100620941B1 (ja)
CN (1) CN1132432C (ja)
AU (1) AU3196700A (ja)
WO (1) WO2000057650A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006093383A1 (en) * 2005-03-04 2006-09-08 Samsung Electronics Co., Ltd. Color space scalable video coding and decoding method and apparatus for the same

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379069B2 (en) 2001-02-15 2008-05-27 Sony Corporation Checkerboard buffer using two-dimensional buffer pages
US6803917B2 (en) * 2001-02-15 2004-10-12 Sony Corporation Checkerboard buffer using memory bank alternation
US6828977B2 (en) * 2001-02-15 2004-12-07 Sony Corporation Dynamic buffer pages
DE10141130C1 (de) * 2001-08-22 2003-04-03 Sci Worx Gmbh Verfahren und Vorrichtung zur Kodierung und Dekodierung von digitalen Bilddatenströmen
KR20030018605A (ko) * 2001-08-30 2003-03-06 김희석 엠펙 코어의 움직임 보상을 위한 메모리 인터페이스와가산기의 병렬 처리
KR20050078706A (ko) * 2004-01-31 2005-08-08 삼성전자주식회사 메모리 액세스 방법 및 메모리 액세스 장치
CN1323556C (zh) * 2004-02-25 2007-06-27 凌阳科技股份有限公司 可节省暂存器的双向动态补偿方法
WO2005088982A1 (en) * 2004-03-03 2005-09-22 Koninklijke Philips Electronics N.V. Video processing circuit and method of video processing
JP2005267148A (ja) * 2004-03-18 2005-09-29 Konica Minolta Business Technologies Inc メモリ制御装置
KR100647954B1 (ko) * 2005-01-07 2006-11-23 엘지전자 주식회사 화질 개선부가 구비된 이동 단말기 및 이동 단말기표시장치 화질 개선 방법
US20070053442A1 (en) * 2005-08-25 2007-03-08 Nokia Corporation Separation markers in fine granularity scalable video coding
US7965898B2 (en) * 2005-10-28 2011-06-21 Nvidia Corporation Accelerating video decoding using multiple processors
KR100761834B1 (ko) * 2006-01-13 2007-09-28 삼성전자주식회사 화면의 라인들을 복수개의 메모리에 나누어 저장하는비디오 디코딩 장치, 비디오 디코딩 방법 및 기준화면 저장방법
US8243815B2 (en) * 2006-06-16 2012-08-14 Via Technologies, Inc. Systems and methods of video compression deblocking
US8498333B2 (en) * 2006-06-16 2013-07-30 Via Technologies, Inc. Filtering for VPU
US8369419B2 (en) * 2006-06-16 2013-02-05 Via Technologies, Inc. Systems and methods of video compression deblocking
US9204159B2 (en) * 2006-06-16 2015-12-01 Via Technologies, Inc. VPU with programmable core
US8275049B2 (en) * 2006-06-16 2012-09-25 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
TWI444047B (zh) * 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
US9319708B2 (en) * 2006-06-16 2016-04-19 Via Technologies, Inc. Systems and methods of improved motion estimation using a graphics processing unit
KR101029075B1 (ko) 2007-03-29 2011-04-18 삼성전자주식회사 패키지형 디코더 장치
JP5173849B2 (ja) * 2007-05-22 2013-04-03 パナソニック株式会社 動画像復号化装置及び動画像復号化方法
US10133485B2 (en) * 2009-11-30 2018-11-20 Red Hat, Inc. Integrating storage resources from storage area network in machine provisioning platform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602642A2 (en) * 1992-12-16 1994-06-22 Nec Corporation Moving picture decoding system
JPH07298264A (ja) * 1994-04-28 1995-11-10 Graphics Commun Lab:Kk 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置
JPH08186826A (ja) * 1994-12-28 1996-07-16 Graphics Commun Lab:Kk 画像復号処理方法およびそれに用いる記憶装置並びに画像復号装置
JPH1155668A (ja) * 1997-07-31 1999-02-26 Nec Corp 画像符号化装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381077B2 (ja) * 1992-12-04 2003-02-24 ソニー株式会社 動画像復号装置
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
EP0614317A3 (en) * 1993-03-05 1995-01-25 Sony Corp Decoding video signals.
US6301299B1 (en) * 1994-10-28 2001-10-09 Matsushita Electric Industrial Co., Ltd. Memory controller for an ATSC video decoder
US6256348B1 (en) * 1996-08-30 2001-07-03 Texas Instruments Incorporated Reduced memory MPEG video decoder circuits and methods
JP4264571B2 (ja) * 1998-04-09 2009-05-20 ソニー株式会社 ディジタル画像復号装置及び方法、並びに記録媒体
KR100274397B1 (ko) * 1998-06-18 2000-12-15 구자홍 타임랩스 영상녹화재생기의 메모리 운용방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0602642A2 (en) * 1992-12-16 1994-06-22 Nec Corporation Moving picture decoding system
JPH07298264A (ja) * 1994-04-28 1995-11-10 Graphics Commun Lab:Kk 画像データの処理方法およびそれに用いる記憶装置ならびに画像データの処理装置
JPH08186826A (ja) * 1994-12-28 1996-07-16 Graphics Commun Lab:Kk 画像復号処理方法およびそれに用いる記憶装置並びに画像復号装置
JPH1155668A (ja) * 1997-07-31 1999-02-26 Nec Corp 画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1091590A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006093383A1 (en) * 2005-03-04 2006-09-08 Samsung Electronics Co., Ltd. Color space scalable video coding and decoding method and apparatus for the same
AU2006200634B2 (en) * 2005-03-04 2007-07-19 Samsung Electronics Co., Ltd. Color space scalable video coding and decoding method and apparatus for the same
US8411753B2 (en) 2005-03-04 2013-04-02 Samsung Electronics Co., Ltd. Color space scalable video coding and decoding method and apparatus for the same

Also Published As

Publication number Publication date
CN1132432C (zh) 2003-12-24
US6871001B1 (en) 2005-03-22
EP1091590A4 (en) 2005-12-07
EP1091590A1 (en) 2001-04-11
CN1306726A (zh) 2001-08-01
KR20010043749A (ko) 2001-05-25
JP3813444B2 (ja) 2006-08-23
KR100620941B1 (ko) 2006-09-13
AU3196700A (en) 2000-10-09

Similar Documents

Publication Publication Date Title
JP3813444B2 (ja) ビデオデコーダ
US8660190B2 (en) Image processing apparatus implemented in IC chip
US7706445B2 (en) Image processing employing picture type conversion
US5854799A (en) Video decoder with functions to detect and process errors in encoded video data
US7245821B2 (en) Image processing using shared frame memory
JP2001285876A (ja) 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
JP3403168B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
KR20020065908A (ko) 화상 재생 방법과 화상 처리 방법, 및 이들 방법을 이용가능한 화상 재생 장치, 화상 처리 장치, 텔레비전 수상기
JP3515565B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP2003052010A (ja) Ｍｐｅｇデータ記録方法
JP3191439B2 (ja) 符号化画像信号切換装置
JP3203172B2 (ja) Ｍｐｅｇビデオデコーダ
JP2002112262A (ja) 画像符号化装置
JP3403169B2 (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機
JP3398138B2 (ja) 画像処理装置および画像処理方法
JP3374128B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3322670B2 (ja) Ｍｐｅｇビデオデコーダ
JPH0898142A (ja) 画像再生装置
JP3548167B2 (ja) 画像処理装置
JP3403167B2 (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JP3403166B2 (ja) 画像再生方法とこの方法を利用可能な画像再生装置およびテレビジョン受像機
JP3568504B2 (ja) Ｍｐｅｇビデオデコーダ
JP2000341639A (ja) 画像記録装置、画像再生装置、画像記録再生方法及び画像信号を記憶可能なディスク状媒体
JP2001238219A (ja) 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
JPH07284106A (ja) 動画像符号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 00800912.0

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AL AM AT AU AZ BA BB BG BR BY CA CH CN CR CU CZ DE DK DM EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX NO NZ PL PT RO RU SD SE SG SI SK SL TJ TM TR TT TZ UA UG US UZ VN YU ZA ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW SD SL SZ TZ UG ZW AM AZ BY KG KZ MD RU TJ TM AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE BF BJ CF CG CI CM GA GN GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 09700575

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020007013106

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2000909779

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2000909779

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020007013106

Country of ref document: KR

REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

WWW Wipo information: withdrawn in national office

Ref document number: 2000909779

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1020007013106

Country of ref document: KR