WO2007136093A1 - 画像復号装置 - Google Patents

画像復号装置 Download PDF

Info

Publication number
WO2007136093A1
WO2007136093A1 PCT/JP2007/060530 JP2007060530W WO2007136093A1 WO 2007136093 A1 WO2007136093 A1 WO 2007136093A1 JP 2007060530 W JP2007060530 W JP 2007060530W WO 2007136093 A1 WO2007136093 A1 WO 2007136093A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
partial data
decoding
decoder
Prior art date
Application number
PCT/JP2007/060530
Other languages
English (en)
French (fr)
Inventor
Takashi Hashimoto
Yoshiyuki Wada
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to EP07743964A priority Critical patent/EP2023637A4/en
Priority to JP2008516718A priority patent/JP5296535B2/ja
Priority to US12/301,870 priority patent/US9020047B2/en
Publication of WO2007136093A1 publication Critical patent/WO2007136093A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to an image decoding apparatus that decodes encoded image data, and particularly relates to a technique for improving a decoding processing speed when a plurality of decoders are provided for decoding in parallel.
  • Examples of international standards include MPEG-2 (Motion Picture Experts Group) and H.264 / MPEG-4AVC (Advanced Video Codec).
  • Moving image data encoded according to these standards is usually displayed while being decoded by an image decoding device.
  • the current mainstream image size is the standard size (SDTV) of 720 pixels and 480 lines.
  • SDTV standard size
  • HDTV high definition TV
  • the image size of cinema standards is expected to increase.
  • the image decoder (4, 5, 6, 7) which is the four decoders to which the bitstream sent from the transport decoder 1 is input, has the bitstream power. Is selected, decoded, and output to the frame memory (2, 3).
  • the image decoders (4, 5, 6, 7) select slices in the order of the slice numbers, and perform the decoding process using the common frame memory at the same time when the data of the selected slices is read by each buffer. Start.
  • Patent Document 1 Japanese Patent Laid-Open No. 10-178644
  • an object of the present invention is to provide an image decoding apparatus that can efficiently use a plurality of decoders and realize higher processing performance than individual decoders.
  • an image decoding device is an image decoding device that decodes encoded image data that is composed of a plurality of partial data, and includes a plurality of decoding devices. And attribute information that has an effect on the decoding processing time of the partial data, the attribute information acquiring means for acquiring attribute information including at least the data amount of the partial data, and the part acquired by the attribute information acquiring means Based on the attribute information of the data, a determination means for determining a decoder for decoding the partial data, and two or more decoders for determining two or more partial data by the determination means in parallel. And a decoding means for decoding.
  • the invention's effect is e.
  • the image decoding apparatus having the above configuration can determine, for each partial data constituting image data, a decoder to be decoded in consideration of an attribute that affects the time of the decoding process.
  • a decoder When partial data is decoded in parallel by a plurality of decoders, an imbalance in the decoding processing time of each decoder can be suppressed and the processing efficiency can be improved.
  • a decoding apparatus that performs decoding processing of image data that requires high processing capability can be realized at a relatively low cost by using a plurality of decoders having lower processing performance.
  • a decoding device that directly receives a digitally encoded video signal in a DTV (Digital Television) broadcast and enables real-time decoding processing, and an inexpensive decoder with low processing capability. By using it, it becomes possible to provide it at a low cost.
  • DTV Digital Television
  • the image decoding apparatus further includes a processing capability acquisition unit that acquires the processing capability of each of the plurality of decoders, and the determination unit is configured to process the partial data acquired by the attribute information acquisition unit.
  • the decoder for decoding the partial data may be determined based on the attribute information and the processing capability of each decoder acquired by the processing capability acquisition means.
  • the performance of the decoder can be taken into account, so that the efficiency of the decoding process can be further improved.
  • the decoding process is performed based on the attribute of the image data and the processing performance of the decoder. Even if a decoder for TV is realized, simply adding the required number of decoders makes it easy to expand to a 4K standard screen size decoder.
  • the image decoding apparatus further includes correspondence storage means for storing correspondence information in which the identifier of the decoder determined by the determining means is associated with the identifier of partial data to be decoded by the decoder,
  • the attribute information of the partial data indicates whether or not it is necessary to refer to the decoding result of the other partial data when the partial data is decoded, and the determining means includes the attribute information of the other partial data.
  • a decoder having higher processing capability than a decoder that decodes the other partial data is determined as a decoder that decodes the partial data indicating that it is necessary to refer to the decoding result, and the decoding means performs decoding.
  • the output result of the decoder associated with the other partial data of the correspondence information is obtained, and the partial data It may be decoded.
  • partial data that requires an image decoded by another decoder in order to perform decoding is determined to be decoded by a decoder having a high processing capability. Even if the acquisition process is performed, the time required for the decoding process can be matched with the processing time of other decoders.
  • the decoding means may refer to a decoding result of other partial data in the attribute information. Before decoding partial data indicating that it is necessary, the other partial data may be decoded.
  • the other partial data is decoded before decoding the partial data that requires the decoded image of the other partial data.
  • An image can be acquired.
  • the decoding process can be performed quickly without stopping.
  • the attribute information of the partial data is a data amount of the partial data
  • a processing capability of the decoder is a bandwidth of data input by the decoder
  • the determining means includes: As a decoder for decoding partial data whose attribute information is larger than that of the partial data, a decoder having a wider bandwidth than a decoder for decoding other partial data may be determined.
  • partial data with a large amount of data is decoded by a decoder having a high calculation capability or a wide data band and an arithmetic unit. This time can be combined with the processing time of other decoders.
  • the partial data may be a part of a bit stream that is the image data, and may be a bit string constituting a picture.
  • the partial data may be a part of a bit stream that is the image data, and may be a bit string that constitutes a part of a picture.
  • the partial data of the image data can be made smaller than the picture, the partial data of the optimum size can be decoded by the decoder according to the compression encoding method of the image data. Will be able to.
  • Data in a portion smaller than a picture refers to, for example, a slice or a macro block.
  • FIG. 1 is a block diagram illustrating a configuration of an image decoding device according to a first embodiment.
  • FIG. 2 is a diagram showing the relationship between image data and slices.
  • FIG. 3 is a schematic diagram for decoding and displaying a picture using the image decoding device 10.
  • FIG. 4 is a diagram showing a configuration and example contents of attribute information 1100.
  • FIG. 5 is a diagram showing a configuration and example contents of performance information 2100.
  • FIG. 6 is a diagram showing a configuration and example contents of allocation information 5100.
  • FIG. 7 is a diagram showing a configuration and example contents of allocation data 3100 and the like.
  • FIG. 8 is a diagram showing a time chart for decoding an image decoding unit (eg 4000) force S slice.
  • FIG. 9 is a flowchart showing a process for generating allocation data.
  • FIG. 10 is a flowchart showing a process of decoding a slice performed by an image decoding unit.
  • FIG. 11 is a diagram showing the relationship between image data and pictures.
  • FIG. 12 is a diagram showing the relationship among picture type, display order, reference screen, and decoding order.
  • FIG. 13 is a diagram showing a configuration and example contents of attribute information 6100.
  • FIG. 14 is a diagram showing a configuration and example contents of allocation information 6200.
  • FIG. 15 is a diagram showing a time chart for an image decoding unit to decode a picture.
  • FIG. 16 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 3.
  • FIG. 17 is a block diagram illustrating a configuration of an image decoding device according to a fourth embodiment.
  • FIG. 18 is a block diagram showing a configuration of a conventional image decoding device.
  • FIG. 19 is a diagram showing a configuration and example contents of allocation information 5200.
  • An image decoding apparatus divides a bit stream of an encoded image (hereinafter referred to as “image data”) into a predetermined unit, for example, a slice unit, and performs decoding according to the characteristics of each slice. By sharing the data, the free time of the decoder is reduced and efficient decoding processing is performed.
  • the image decoding apparatus acquires the processing performance of each decoder in a timely manner, so that it can deal with the increase / decrease of the decoder and also share the slices in consideration of the processing capability of each decoder. As a result, the decoding process can be performed more efficiently.
  • FIG. 1 is a block diagram showing the configuration of the image decoding apparatus.
  • the image decoding device 10 includes an attribute information detection unit 1000, an allocation determination unit 2000, an allocation data generation unit 3000, an image decoding unit (4000, 4001, 4002, 4003), and an image storage unit (5000, 500 1, 5002, 5003). Composed. In the present embodiment, a case where four image decoding units are provided is described, but the present invention is not limited to this.
  • the attribute information detection unit 1000 has a function of receiving variable length encoded image data as input and detecting the attribute for each slice constituting the image data.
  • the image data is represented by white arrows.
  • the attribute means feature information such as the amount of data of the slice, picture type, motion compensation information (intra-screen prediction, forward prediction, backward prediction, bidirectional prediction).
  • the attribute information detection unit 1000 performs variable length decoding on the image data to acquire the attribute.
  • the amount of data that can be acquired without requiring variable-length decoding is used as an attribute.
  • the attribute information detection unit 1000 basically outputs the input image data as it is.
  • FIG. 2 is a diagram showing the relationship between image data and slices.
  • a picture 200 corresponding to a screen frame is composed of slice 01 to slice n, and image data 100 includes a start code 101 indicating the head of the slice and data 102 which is data obtained by compressing a slice image. Composed.
  • the start code 101 is composed of a value of 000001 (1 after 23 0s) in hexadecimal notation and 32 bits of subsequent 8-bit data. These 8 bits indicate the type of data following the start code.
  • the data in the MPEG-2 standard has a 6-layer hierarchical structure, consisting of video sequences, GOPs, pictures, slices, macroblocks, and blocks from the top.
  • the hierarchy that can be identified by detecting the start code is sequence, GOP, picture, and slice.
  • the allocation determining unit 2000 described below allocates image data to each image decoding unit (4000, etc.).
  • the start codes are “00000 1 01” to “000001 af”, and “01” to “af” are referred to as slice numbers.
  • a slice includes a slice header 110 starting from a start code and a plurality of macro blocks (MB) 111, and the slice header includes a slice type. This slice type indicates whether the slice force is a force, B slice, or P slice.
  • the I slice is a slice that can be decoded using only the information in its own slice. Is a slice that can be decoded by referring to an image of another slice.
  • the macro block 111 includes a macro block type and data corresponding to the type, for example, motion information and inter-screen prediction error data.
  • Macro block type is this macro This indicates information such as whether the block needs to refer to the image of another slice, whether it is a one-way reference or a two-way reference.
  • the attribute information detection unit 1000 repeatedly detects the start code 101 from the image data 100 and stores the data amount up to the next start code as the attribute information of the slice.
  • the attribute of the detected slice is passed to the assignment determining unit 2000 as attribute information 1100. Specifically, it is stored in a working memory (not shown) in the image decoding apparatus 10 and is referred to by the assignment determining unit 2000. In this figure, for convenience, it is drawn in the attribute information detection unit 1000 that detects attribute information. The same applies to performance information 2100 and allocation information 2100 described later.
  • the allocation determining unit 2000 has a function of determining which image decoding unit (4000 or the like) is to perform each slice constituting the image data 100, that is, determining the slice allocation.
  • This allocation determination unit 2000 includes a performance information acquisition unit 2300, and also has a function of acquiring the processing performance of the image decoding unit (4000 or the like) and storing it as performance information 2100 when appropriate.
  • the performance information acquisition unit 2300 has a function of detecting the number of image decoding units (4000, etc.) mounted in the image decoding device 10 and acquiring each processing performance.
  • Allocation determination unit 2000 determines allocation of slices based on attribute information 1100 detected by attribute information detection unit 1000 and performance information 2100, and creates allocation information 2100. Details of attribute information 1100, performance information 2100, and allocation information 2100 will be described later with reference to FIGS.
  • the allocation determining unit 2000 includes a nofering means for storing image data 100 for a plurality of slices in order to determine a plurality of slice allocations.
  • allocation data generation section 3000 reads out the image data stored in the memory of allocation determination section 2000 according to the allocation determined by allocation determination section 2000 and transmits it to each image decoding section (4000, etc.). It has a function to generate and output allocation data to be output.
  • the allocation data is information necessary for decoding image data for the allocated slices.
  • the allocation data generation unit 3000 prays the image data received from the allocation determination unit 2000 and reads information necessary for decoding. Details will be described later with reference to FIG. [0034]
  • Each of the image decoding units (4000, 4001, 4002, 4003) has a normal decoding function, and further performs processing peculiar to the image decoding device 10, for example, a necessary image is transmitted from another image decoding unit.
  • a function of performing processing such as
  • Each image decoding unit (4000, etc.) may have a difference in processing performance such as calculation performance, but the function of performing processing specific to the image decoding device 10 is the same.
  • the image storage units (5000, 5001, 5002, 5003) each have a function of storing various data for the image decoding units (4000, 4001, 4002, 4003) to perform decoding processing,
  • the capacity is different when the capacity is different.
  • the image storage unit 5000 stores allocation information 5100, encoded data 5200, and decoded data 5300.
  • Allocation information 5100 is information indicating which slice is allocated to which image decoding unit! This information is an image (hereinafter referred to as a “reference image”) that is referred to another image decoding unit (such as 4001) when it is necessary to refer to an image decoded by another image decoding unit (such as 4001). )) When making a transmission request. Further, when displaying the decoded image, it is also referred to in order to determine which image decoding unit (such as 4001) the image to be displayed is stored in the image storage unit (such as 5000) V.
  • This allocation information 5100 is basically the same as the allocation information 2200 created by the allocation determination unit 2000, but the number stored is different. In other words, the allocation information 2200 is not necessary once the allocation data is created and is updated. The allocation information 5100 needs the necessary amount because it refers to or is referenced by other image decoding units (4001 etc.). Remember for a long time
  • the amount necessary for reference is allocation information of a slice including a reference image that may be referred to, and the necessary period is a period until there is no possibility of reference, that is, a slice. This is a period until the decoded image is displayed.
  • the encoded data 5200 is image data of a slice assigned to the image decoding unit 4000 and information necessary for decoding.
  • Decoded data 5300 is image data decoded by the image decoding unit 4000.
  • the decoded data 5300 is stored until the image is displayed. That is, it is stored until a picture including the image is displayed.
  • image data encoded according to the MPEG-2 standard is decoded is described as an example.
  • image data encoded according to the H.265ZAVC standard it is displayed. Since it may be referenced even after it has been displayed, it is stored until it is displayed and no longer referenced.
  • the image decoding unit 4000 includes a data reception unit 4100, a reference image acquisition unit 4200, a decoder 4300, and a reference image transmission unit 4400.
  • the data receiving unit 4100 has a function of receiving the allocation data sent from the allocation data generating unit 3000, that is, the image data of the slice in charge, and storing it in the image storage unit 5000. Allocation information 5100 and code key data 5200 are stored.
  • the reference image acquisition unit 4200 makes a reference image transmission request to another image decoding unit (4001 or the like) when it is necessary to refer to another slice or picture. It has the function to acquire.
  • the decoder 4300 has a function of reading and decoding the code key data 5200 of the image storage unit 5000 and writing the decoded key slice (hereinafter referred to as “decoded slice”) into the decoded key data 5300.
  • a reference image transmission unit 4400 When a reference image transmission unit 4400 receives a reference image transmission request from another image decoding unit (4001 or the like), it reads out the corresponding image from the decoded data 5300 of the image storage unit 5000, and requests it. It has a function to transmit to the original.
  • FIG. 3 is a schematic diagram for decoding and displaying a picture using the image decoding apparatus 10.
  • the image assembly unit 9000 includes an image storage unit ( 5000 etc.) It has a function to read out the decoded slice and reconstruct and display one picture.
  • slices constituting the picture 200 are assigned to image decoding units (4000, 4001, etc.) and decoded.
  • the decoded slice is stored in the decoded data (5300, 5301, etc.) of the image storage unit (5000, etc.).
  • the image assembling unit 9000 refers to the allocation information 5100, and in order from the slice 01, the decoding key data (5300, 530) of the image storage unit (5000, 5001, etc.) in which the corresponding slice is stored.
  • the timing for displaying one picture is a time corresponding to the frame rate.
  • the image assembling unit 9000 can also refer to the allocation information in another image storage unit (5001 etc.). You can also get it from and store it in your working memory!
  • FIG. 4 is a diagram showing a configuration and example contents of the attribute information 1100.
  • the attribute information 1100 includes a slice number 1101 and a data amount 1102.
  • the slice number 1101 is an identifier of a slice, and in this embodiment, is a slice number in the start code (see FIG. 2).
  • the data amount 1102 is the data amount of the slice and is detected by the attribute information detection unit 1000.
  • the differential force between the address of the start code of the slice (see Fig. 2) and the address of the start code of the next slice is calculated.
  • the amount of data (unit: bit) of the slice is a value obtained by multiplying this address difference by 8 (bit). This is because the slice start code is usually aligned in units of bytes (8 bits).
  • FIG. 5 is a diagram showing a configuration and example contents of the performance information 2100.
  • the performance information 2100 includes an image decoding unit ID 2101, a calculation capability 2102, and a data bandwidth 2103.
  • the image decoding unit ID2101 is an identifier of the image decoding unit (4000 or the like), "DecOO” is the image decoding unit 4000, “Dec01” is the image decoding unit 4001, and “Dec02” is the image decoding unit 4002. “Dec03” represents the image decoding unit 4003.
  • the calculation capability 2102 indicates the calculation capability of the image decoding unit (4000 or the like) indicated by the image decoding unit ID 2101.
  • SDTV can be correctly decoded and displayed in real time if it is compression code data of the SDTV image size.
  • HDTV indicates that the compressed code data up to HDTV image size can be correctly decoded and displayed in real time.
  • the data bandwidth 2103 indicates the input data bandwidth of the image decoding unit (4000 or the like) indicated by the image decoding unit ID 2101.
  • the image decoding unit 4002 indicated by the image decoding unit ID 2101 “Dec02” has a computing capacity 2102 power S “HDTV” and a data bandwidth 2103 “80” Mbps.
  • FIG. 6 is a diagram showing a configuration and example contents of the allocation information 5100.
  • the allocation information 5100 includes an image decoding unit ID 5101 and an allocation slice number 5102.
  • the image decoding unit ID 5101 is the same as the image decoding unit ID 2101 of the performance information 2100.
  • the allocated slice number 5102 is assigned to the image decoding unit indicated by the corresponding image decoding unit ID 5101. This indicates the slice number to be assigned.
  • the slice number shown here is attribute information 11
  • the allocation slice number 5102 corresponding to the image decoding unit ID 5101 “DecOO” is “01”, and the data amount 1102 of the slice with the slice number 1101 “01” in the attribute information 1100 is “50”.
  • the allocated slice number is not limited to this.
  • FIG. 7 is a diagram showing a configuration and example contents of the allocation data 3100 and the like.
  • This harm ⁇ data (3100, 3101, 3102, 3103) is the data to generate harm ⁇ data and 3000 power, and is generated for each image decoding unit (4000, 4001, 4002, 4003).
  • This allocation data (3100, etc.) is obtained by adding allocation information 2200 and information necessary for decoding (denoted as "parameter” in this figure) 2210 to the allocated slice data. is there.
  • allocation information 2 200 and information (parameter) 2210 necessary for decoding are added before start code 101 of the first allocated slice.
  • a start code 2201 “000001 b2” indicating user data is added before the allocation information 2200 or the like.
  • the information (parameters) necessary for the decoding is information extracted by the allocation data generation unit 3000 (see Fig. 1) by analyzing the image data. Specifically, each image decoding unit such as a frame size and a frame rate included in a part other than the slice data to be passed to each image decoding unit (4000, etc.), for example, a sequence header or a GOP header in a layer higher than the slice. Part (4000, etc.) Information necessary for decoding force slices.
  • each image decoding device (4000, etc.) is notified of the allocated slice data and the allocation information 2200, and a reference image can be acquired by referring to the allocation information 2200. .
  • FIG. 8 is a diagram showing a time chart for decoding a power slice (eg, 4000) force slice
  • S01 represents a slice with the slice number “01”
  • S02 and the like are the same.
  • DecOO to “Dec03” are image decoding unit IDs.
  • slices are allocated so that there is no vacant time from the end of the decoding process of each image decoding unit Dec00 to Dec03 until the next decoding process.
  • FIG. 9 is a flowchart showing a process for generating allocation data
  • FIG. 10 is a flowchart showing a process for decoding a slice performed by the image decoding unit.
  • the process of generating the allocation data and the process of decoding the slice are performed in parallel. That is, the next allocation data is created while decoding a slice.
  • This process is performed by the attribute information detection unit 1000, the allocation determination unit 2000, and the allocation data generation unit 30. 00 is the process performed.
  • the attribute information detection unit 1000 that has read the bit stream that is image data (step S100) detects a start code (step S110).
  • the slice number is read, and the image data is skipped until the next start code is detected, and the data amount of the slice is detected.
  • the slice number and data amount are registered in the attribute information 1100 (step S120).
  • the attribute information detection unit 1000 that has detected the attribute information passes the read image data as it is to the allocation determination unit 2000, and the allocation determination unit 2000 determines to which image decoding unit the slice of the read image data is allocated. (Step S130).
  • step S 140 If it is determined that decryption is to be started (step S 140: YES), the assignment generation unit 3000 is requested to create assignment data according to the assignment information 2200.
  • the determination as to whether or not the image decoding unit is capable of starting the decoding process is performed by, for example, overflowing the buffering means that stores the image data included in the allocation determining unit 2000, and all the image decoding units (4000 It is determined that the decryption process is started when the decryption process is completed.
  • the allocation generation unit 3000 Upon receiving the allocation data generation request, the allocation generation unit 3000 refers to the allocation information 2200, reads the image data stored in the memory of the allocation determination unit 2000, and outputs each image decoding unit (4000, etc.) Image data to be transmitted to is generated (step S 150). The generated allocation data is sent to each image decoding unit (4000, 4001, etc.) (step S160).
  • step S170 If there is no more image data (step S170: YES), the process is terminated, and if it is still (step S170: NO), the process of generating the allocation data is continued.
  • This process is a process performed by each image decoding unit (4000, 4001, etc.). Here, the operation of the image decoding unit 4000 will be described. Other image decoding units (such as 4001) also perform the same decoding process in parallel.
  • the data receiving unit 4100 that has received the allocation data 3100 receives the received data (step S200).
  • the allocation information 2200 is extracted from the received allocation data 3100, stored in the allocation information 5100 in the image storage unit 5000, and the slice data is stored in the code data 5200 (step S210).
  • the stored data receiving unit 4100 requests the decoder 4300 to start decoding.
  • the decoder 4300 that has received the request sequentially reads out macroblocks in the slice to be decoded (hereinafter referred to as “target macroblock”) from the encoded data 5200 (step S220), and starts decoding.
  • target macroblock macroblock
  • the decoder 4300 refers to other image decoding units when it is necessary to refer to the macroblock of the slice decoded by another image decoding unit (4001 etc.) when decoding the target macroblock. Judge whether or not it is correct.
  • Whether or not it is possible to refer to another image decoding unit is determined by referring to the allocation information 5100 stored in the image storage unit 5000 based on the type of the target macroblock and the slice to be referred to. Specifically, it is a case where the type of the target macroblock indicates a type that needs to refer to an image of another slice, and the other slice is allocated to another image decoding unit (4001 or the like). If so, it is determined to refer to it. Therefore, even when the type of the target macroblock indicates a type that needs to refer to an image of another slice, it may not be determined to refer. In addition, when the type of the target macroblock indicates that the reference coding is performed within the screen, it is determined that the reference is not referred to.
  • reference image acquisition is performed so as to acquire data after decoding of a reference macroblock (hereinafter referred to as "reference macroblock").
  • reference macroblock a reference macroblock
  • Request to Department 4200 information that can specify the reference macroblock, such as a picture number and a motion vector, is designated.
  • the reference image acquisition unit 4200 requested to acquire the reference macroblock refers to the allocation information 5100 stored in the image storage unit 5000, and obtains the image decoding unit ID 5101 that has decoded the reference macroblock.
  • the reference image acquisition unit 4200 requests the acquired image decoding unit ID 5101 to transmit the data of the reference macroblock and acquires it (step S250).
  • step S230 If it is not necessary to refer to a macroblock of another slice (step S230: NO), the data of the reference macroblock is read from the decoding key data 5300 of the image storage unit 5000. (Step S240).
  • the decoder 4300 decodes the target macroblock using the acquired reference macroblock data and the like, and writes the decoded data into the decoded key data 5300 (step S260).
  • the decoding process of the macroblock is performed until the assigned slice is completed (step S270). After completion, the assignment determining unit 2000 is notified of the end.
  • the image decoding unit is allocated to each slice unit based on the data amount of the slice.
  • the image decoding unit is allocated to each picture unit based on the picture type (1, P, B).
  • An example of assigning to will be described. Of course, it may be assigned in units of slices based on the type of slice, but here it will be explained in units of pictures for convenience of explanation.
  • Pictures in the MPEG-2 standard include the following three types.
  • I picture for intra prediction P picture for forward prediction of past picture power
  • B picture for bidirectional prediction of past and future picture power.
  • the configuration of the image decoding apparatus of the present embodiment is the same as that of the first embodiment.
  • the difference is that the operation is performed so that decoding is performed in units of pictures, and the attribute information detection unit 1000 instead of detecting the attribute of the slice, the attribute of the picture is detected.
  • the amount of slice data is obtained as a slice attribute.
  • the picture type is obtained as a picture attribute.
  • the allocation determining unit 2000 allocates the picture to the image decoding unit (4000, etc.) according to the picture type.
  • FIG. 11 is a diagram showing the relationship between image data and pictures.
  • the start code 301 consists of a value of “000001 (1 after 23 0s)” in hexadecimal notation, followed by 32 bits of data “00”.
  • the attribute information detection unit 1000 detects a start code 301 from the image data 300, reads a picture type from a picture header (not shown), and uses the read picture type and reference picture as attribute information of the picture. Memorize and read until next start code Repeat what you see. Data between the start code 301 and the next start code 303 is 302-picture image data.
  • a rectangle represents a picture
  • “I”, “B”, and “P” therein represent an I type, a B type, and a P type, respectively.
  • Display order represents the order in which pictures are displayed, and is a picture number in this description.
  • the “reference screen” represents the picture number referred to by the corresponding picture, and the “decoding order” represents the order in which the pictures are decoded.
  • a picture whose "display order” is "4" is a P type that references a picture whose "reference screen” is “0”, that is, a picture number "0”, and the "decoding order” is “1”, that is, the picture to be decoded second.
  • FIG. 13 is a diagram showing a configuration and example contents of the attribute information 6100. This attribute information 6100 replaces the attribute information 1100 in the first embodiment.
  • the attribute information 6100 includes a decoding order 6101, a picture number 6102, a picture type 6103, and a reference picture 6104.
  • Decoding order 6101 indicates the order of pictures to be decoded.
  • a picture number 6102 indicates a picture identifier, and here is a picture display number.
  • Picture type 6103 indicates a picture type, and "I”, "B”, and "P” represent an I type, a B type, and a P type, respectively.
  • Reference picture 6104 represents the picture number of a picture referenced by the corresponding picture. That is, if this reference picture is not decoded, the picture cannot be correctly decoded.
  • the decoding order 6101 is “0”, that is, the first picture to be decoded is the picture number.
  • 6102 is a picture of “0” and picture type 6103 is “I”, that is, an I picture that can be decoded only by intra prediction. Since it is an I picture, there is no reference picture 6103.
  • FIG. 14 is a diagram showing a configuration and example contents of allocation information 6200. This allocation information 6200 replaces the allocation information 2200 in the first embodiment.
  • the allocation information 6200 includes a decoding order 6101 and an image decoding unit 6201.
  • the decoding order 6101 is the same as the decoding order 6101 of the attribute information 6100.
  • the image decoding unit 6201 is an identifier of the image decoding unit, “DecOO” is the image decoding unit 4000, “Dec01” is the image decoding unit 4001, “Dec02” is the image decoding unit 4002, and “Dec03” is The image decoding unit 4003 is assumed to be represented.
  • the following describes one method for assigning a picture to the image decoding unit.
  • FIG. 15 is a diagram illustrating a time chart for the picture decoding unit to decode a picture.
  • “P0 (I)” indicates that the picture number is “0” and is an I picture
  • “P2 (B)” is the same.
  • “Dec00” to “Dec03” are image decoding unit IDs.
  • the time chart of this figure shows the case where the decoding process is performed according to the allocation information 6200 shown in FIG. First, picture 0 (decoding order “0”) is decoded with DecOO and Dec03, and then picture 4 (decoding order “1”) is decoded. Picture 0 and Picture 4 are assigned to DecOO and Dec03 for each slice as in Embodiment 1, and are decoded.
  • picture 1 decoding order “2” and picture 2 (decoding order “3”) are DecOl
  • picture 3 decoding order “4”
  • picture 8 decoding order “5”.
  • the first is the picture type and the second is the reference picture.
  • pictures that are frequently read out of a reference image are allocated to an image decoding unit with a wide data bandwidth. Since B pictures, P pictures, and I pictures are considered to be read out in this order, the data bandwidth is widened and assigned to the picture decoding unit in this order.
  • the picture number “4” that is the reference picture of the picture number “1” is decoded first ( see tlO). At this time, since there are no other pictures that can be decoded, no pictures are assigned to DecO 1 and Dec02. After that, the picture number “1” is decoded (see til).
  • the picture decoding order and the picture decoding unit to be assigned are determined in consideration of the picture type and the reference picture, and the assignment information 6200 is created (see FIG. 14).
  • decoding is performed in units of pictures, attribute information 6100 detected in step S120 associated therewith, and allocation information 6200 created in step S130.
  • the decoded picture (hereinafter referred to as “decoded picture”) or a part of the decoded picture is stored in each image storage unit (5000, etc.).
  • 00 (refer to FIG. 3) refers to the allocation information 6200, reads the code frame picture according to the display order, and assembles and displays it as necessary.
  • FIG. 16 shows a block diagram of the image decoding device 20 of the present embodiment.
  • the image decoding units (4000, 4001, 4002, 4003)
  • each image storage unit (such as 5000) includes allocation information 5100, encoded data 520, and the like.
  • each image decoding unit (4000 or the like) is stored in the image storage unit 5900, respectively.
  • the allocation information 5100 may be common.
  • the common use of the decoded key data 5300 is, for example, to provide an area for storing the decoded key picture in units of pictures.
  • Each image decoding unit (4000, etc.) decodes the result of decoding the allocation data (3100, etc.), that is, decodes the decoded slice that is the decoding result of the allocated slice with reference to the allocation information 5100. Store at the position of the corresponding slice in the picture.
  • Each image decoding unit (4000, etc.) completes the decoded picture by writing the decoded slice of the slice assigned to it into the decoding picture area.
  • the corresponding reference macroblock is read out from the decoded picture area and decoded.
  • the decoding result to be displayed in the raster order of the image frames needs to be read from each image storage unit 5900.
  • the coding slice is written in an area allocated so as to constitute a picture. Therefore, since the image frame can be displayed by sending the decoded result from the encoded picture to the means for displaying the decoded result, the slicer does not need to assemble the picture!
  • FIG. 1 A block diagram of the image decoding device 30 of the present embodiment is shown in FIG.
  • the allocation data (3100, etc.) generated by the allocation data generation unit 3000 is sent to the image decoding unit (4000, 4001, 4002, 4003)!
  • the only difference is that it is stored in the allocation data storage unit 8000 and the allocation data is sent from the allocation data storage unit 8000 to each image decoding unit (4000, etc.).
  • the allocation data storage unit 8000 is provided because the generation processing power of the allocation data generation unit 3000 for the image decoding unit (4000, etc.) may not be in time for the processing of the image decoding unit (4000, etc.). If it is not in time, real-time processing of image decoding processing will not be possible.
  • the case where allocation data generation processing is not in time is, for example, the unit of allocation being scanned.
  • the minimum unit of segments that can be identified by the start code is the slice unit.
  • the macroblock is the unit below the slice layer by decoding the bitstream one by one with variable length decoding. Can be identified.
  • the generation processing power of the allocation data generation unit 3000 may not be in time for the processing of the image decoding unit (4000 or the like).
  • the allocation data generated by the allocation data generation unit 3000 is stored in the allocation data storage unit 8 000 and is asynchronous with the processing of the image decoding unit (4000, etc.). It becomes possible to make the decoding process in time for the display of the screen frame.
  • motion compensation information such as a motion vector can be acquired and added to the allocation data as attribute information.
  • the motion vector as the motion compensation information is referred to when the reference image is read from the image storage unit (5000 or the like).
  • the processing capability of the attribute information detection unit 1000 to the allocation data generation unit 3000 is lower than the processing capability of the image decoding unit (4000, etc.), real-time processing can be performed in the image decoding unit (4000, etc.).
  • the present embodiment is effective even when it disappears.
  • Image data is assigned to each image decoding unit (4000, etc.) so that the processing time of the image data of each image decoding unit (4000, etc.) is equalized and the processing time is shortened. Specifically, the number of macroblocks per unit time of image data (bitstream) to be decoded and the processing performance of each image decoding unit (4000, etc.), that is, the number and strength of macroblocks that can be processed per unit time. Then decide the assignment.
  • the number of macroblocks “1” is obtained from the corresponding image frame size and frame rate of the image data.
  • the frame size and frame rate are obtained from the header information.
  • the frame size is “s (number of horizontal pixels) X t (number of vertical pixels)”, and the frame rate is “u”, it must be decoded in 1 second.
  • the image frame size must be S4096 pixels 2160 lines, and the frame rate should be 24 frames per second.
  • macroblocks are allocated to the secured image decoding unit so that the processing time is uniform. Hit it.
  • the amount of image data allocated to each image decoding unit is “mi”. “I” is the number of reserved image decoding units (4000, etc.) l to n.
  • Macroblocks are assigned to each image decoding unit so that "miZPi" is as equal as possible to the time for which each image decoding unit processes the assigned macroblock.
  • the time that the image decoding unit is idle can be shortened, and an efficient decoding process can be performed.
  • the processing capability is calculated by the number of macroblocks that can be decoded per second, but the calculation of the processing capability is not limited to this.
  • the image decoding unit to be secured may be all or some of the image decoding units included in the image decoding device. When some image decoding units are used, other image decoding units may be made to decode other image data without using them. Even when slices or pictures according to other embodiments are assigned, the image decoding unit to be decoded may be determined based on the number of macroblocks constituting each slice.
  • the allocation information 5100 is stored in the internal memory of the image decoding unit (4000, etc.), which is supposed to be stored in the image storage unit (5000, etc.).
  • the allocation information 5100 may be configured like the allocation information 5200 shown in FIG. 19 in which the allocation slice number 5102 is associated with each image decoding unit ID 5101.
  • the image decoding unit ID 5202 is associated with each slice number 5201. With such a configuration, there is an advantage that the restriction on the number of slices to be allocated to each image decoding unit can be eliminated, and more flexible allocation is possible.
  • the sequence header required for decoding the slice is the picture header. This information is sent as allocation data to each image decoding unit, but it is also possible to notify each image decoding unit by other methods!
  • each image decoding unit only the data of the slice allocated together with the allocation information 2200 is passed to each image decoding unit. You can also pass it to each image decoding unit! /.
  • the slice data assigned to each image decoding unit is extracted from all the image data and stored as code key data 5200. Since each image decoding unit can refer to the sequence header and the picture header, information necessary for decoding can be obtained.
  • the attribute information detection unit 1000, the allocation determination unit 2000, and the allocation data generation unit 3000 that control the decoding of an image may set necessary information in each image decoding unit without using a stream. .
  • the image decoding apparatus may realize all or some of the components shown in FIG. 1 with a single-chip or multiple-chip integrated circuit! /.
  • each functional unit other than the image storage unit (5000, etc.) may be realized on a single semiconductor integrated circuit.
  • the image decoding unit (4000, etc.) is realized by a single semiconductor integrated circuit, and the attribute information detection unit 1000, the allocation determination unit 2000, and the allocation data generation unit 3000 are realized on a single semiconductor integrated circuit. May be.
  • the image decoding unit (4000, etc.) is realized by a different semiconductor integrated circuit, segment data amount Z feature information detecting means 101, attribute information detecting unit 1000, allocation determining unit 2000, and allocation data generating unit. 3000 may be realized on a single semiconductor integrated circuit.
  • a program written in any recording medium such as a memory card or CD-ROM may be read and executed by a computer, or the program is downloaded and executed via a network. You may make it form.
  • Image decoding unit (4000 etc.) and image storage unit (5000 etc.) are STB (Set Top Box), DVD It may be realized by an individual system such as a recorder.
  • Allocation data storage unit 8000 may be realized by a hard disk of a device equipped with a hard disk such as a DVD recorder with hard disk.
  • the power of performing allocation in units of slices according to the amount of data and allocation in units of pictures according to the picture type You can decide.
  • the performance information 2100 of the image decoding unit may be a power or other power that uses the calculation capability and the data bandwidth.
  • all of the usable image decoding units are used. However, some of the usable image decoding units may be used, and further, bit streams of a plurality of image data may be decoded.
  • the present invention can be applied to AV equipment that performs image decoding processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　本発明に係る画像復号装置は、複数の復号器を備え、復号する画像データを複数の部分データに分け、かかる部分データについての属性であって、当該部分データの復号処理時間に影響を及ぼす属性を示す属性情報を取得し、部分データについての属性情報に基づいて、当該部分データを復号させる復号器を決定し、２以上の部分データを前記決定手段で決定した２以上の復号器に並行して復号させる。

Description

明 細 書
画像復号装置
技術分野
[0001] 本発明は、符号化された画像データを復号する画像復号装置に関し、特に、複数 の復号器を備えて並列に復号する場合の復号処理速度を向上させる技術に関する 背景技術
[0002] 近年、画像、特に動画像は高画質、大画面の要求を満たす為にそのデータ量は 増大しており、これら大容量ィ匕する動画像データをネットワークで伝送する場合ゃ蓄 積媒体に記録する場合等を考慮して、動画像データを圧縮符号化する技術が開発 されている。
例えば、国際標準規格として、 MPEG— 2 (Motion Picture Experts Group)や、 H. 264/MPEG - 4AVC (Advanced Video Codec)などがある。
[0003] これらの規格で符号化された動画像データは、通常、画像復号装置で復号しなが ら表示する。
現在の画像サイズの主流は、標準テレビ（SDTV)の 720画素 480ラインの画像サ ィズである力 今後、高精細テレビ (HDTV)の 1920画素 1080ラインの画像サイズ や、より大画面のディジタル 'シネマ規格の画像サイズが増えることが予想される。
[0004] このディジタル ·シネマ規格では、 2K規格といわれる 2048画素 1080ラインの画像 サイズや、 4K規格と!/、われる 4096画素 2160ラインの画像サイズが規定されて!、る これらの画像サイズに対応した復号用の 1チップ LSIが開発されて ヽるが、 1つの復 号器で復号する場合は、画像サイズが大きくなればなる程、高い演算性能と広いデ ータバンド幅とが必要となり、高コスト、高電力消費を招くこととなっている。
[0005] そこで、比較的処理能力の低 ヽ復号器、例えば、 SDTV用の復号器を複数個用い て、並列に復号処理を行わせることで、 HDTV用の高性能の復号装置を実現する技 術が提案されて!ヽる (特許文献 1参照)。 図 18を用いて簡単に説明すると、トランスポートデコーダ 1から送出されたビットスト リームを入力した 4つの復号器である画像デコーダ (4、 5、 6、 7)は、ビットストリーム 力 担当するスライスのデータを選び出して復号し、フレームメモリ（2、 3)に出力する 。画像デコーダ (4、 5、 6、 7)は、スライスの番号順にスライスを選択し、選択したスラ イスのデータを各バッファが読み込んだタイミングで一斉に、共通のフレームメモリを 使用しながら復号処理を開始する。
[0006] この技術によれば、比較的処理能力の低い復号器を使用したとしても、高い処理能 力を実現できる。
特許文献 1 :特開平 10— 178644号公報
発明の開示
発明が解決しょうとする課題
[0007] し力しながら、圧縮伸長化技術の進展に伴って符号ィ匕効率を高める為の様々な技 術が導入されることとなり、スライス間の圧縮後のビット数のばらつきが大きくなる傾向 にある。
圧縮後の各スライスのデータ量のばらつきが大きい場合には、スライスを単純に順 序付けて各復号器に割り当てたとすると、復号処理に要する時間の不均衡が大きく なり、早く復号処理が完了した復号器は、長く遊んでしまうことになる。
[0008] そこで、本発明は、複数の復号器を効率的に利用して、個々の復号器よりも高い処 理性能を実現できる画像復号装置の提供を目的とする。
課題を解決するための手段
[0009] 上記目的を達成するために、本発明に係る画像復号装置は、符号化され、複数の 部分データで構成されて!ヽる画像データを復号する画像復号装置であって、複数の 復号器と、前記部分データの復号処理時間に影響を及ぼす属性であって、当該部 分データのデータ量を少なくとも含む属性情報を取得する属性情報取得手段と、前 記属性情報取得手段で取得した部分データにっ 、ての属性情報に基づ 、て、当該 部分データを復号させる復号器を決定する決定手段と、 2以上の部分データを前記 決定手段で決定した 2以上の復号器に並行して復号させる復号手段とを備えることを 特徴とする。 発明の効果
[0010] 上記構成の画像復号装置は、画像データを構成する部分データ毎に、その復号処 理の時間に影響を与える属性を考慮して復号させる復号器を決定することができる ので、複数の部分データを複数の復号器で並行して復号する場合に、各復号器の 復号処理時間の不均衡を抑制し、処理効率を向上させることができる。
すなわち、各復号器の処理時間のばらつきが少なくなるように各部分データを復号 させる復号器を決定することにより、復号器が復号処理を行っていない時間を短くし 、画像データの復号処理の効率化を実現することができるようになる。
[0011] また、画像データの複数部分データを並列に処理するので、本来ならば、各復号 器よりも高い処理能力を備える復号器で復号する必要がある画像データであっても、 正しく復号することが可能となる。
また更に、高い処理能力を必要とする画像データの復号処理を行う復号装置を、よ り処理性能が低い復号器を複数個用いて、比較的安価に実現することができるように なる。例えば、 DTV (Digital Television)放送などにおけるディジタル的に符号ィ匕され たビデオ信号を直接受け取り、復号処理のリアルタイム処理が可能となるような復号 装置を、安価な低 、処理能力を備える復号器を用いることによって安価に提供できる ようになる。
[0012] また、前記画像復号装置は、更に、前記複数の復号器それぞれの処理能力を取得 する処理能力取得手段を備え、前記決定手段は、前記属性情報取得手段で取得し た部分データについての属性情報と前記処理能力取得手段で取得した各復号器の 処理能力とに基づいて、当該部分データを復号させる復号器を決定することとしても よい。
これにより、画像データの部分データを復号させる復号器を決定する際に、復号器 の性能をカ卩味することができるので、より復号処理の効率ィ匕を図ることが可能となる。
[0013] また、新たに復号器を追加 Z削除した場合であっても、画像データの部分データを 復号させる復号器を決定する際には、最新の復号器の情報に基づいて、部分データ を復号させる復号器を決定するので、ー且構成した装置に対して新たに復号器を追 加拡張、削除しても、現時点での装置において処理性能を発揮させることができる。 特許文献 1の従来技術では、復号器 4つを LSI化した場合であっても、復号器 4つ がバスを共有して LSI外部のフレームメモリを使用することから入出力ピンを削減する ことができるという利点はあるものの、そのための構成を LSI内に作りこむ必要がある ため、画像データの拡張が容易にはできないという不都合がある。例えば、 SDTV用 の復号器を用 、て HDTV用の復号装置を実現して!/、た場合、容易に 4K規格の画 面サイズ用とすることはできな 、。
[0014] 本発明では、基本的に特別な構成を要せず、画像データの属性と復号器の処理 性能とに基づいて復号処理を行うことから、例えば、 SDTV用の復号器を用いて HD TV用の復号装置を実現して 、た場合であっても、必要な数の復号器を追加するだ けで、容易に 4K規格の画面サイズ用の復号装置とする拡張等が容易になる。
また、前記画像復号装置は、更に、前記決定手段で決定した復号器の識別子と当 該復号器で復号させる部分データの識別子とを対応付けた対応情報を記憶している 対応記憶手段を備え、前記部分データの属性情報は、当該部分データを復号する 際に、他の部分データの復号結果を参照することが必要かを否かを示し、前記決定 手段は、属性情報が他の部分データの復号結果を参照することが必要であることを 示す部分データを復号させる復号器として、当該他の部分データを復号させる復号 器より処理能力の高い復号器を決定し、前記復号手段は、復号する部分データが他 の部分データの復号結果を参照することが必要なときは、前記対応情報の当該他の 部分データが対応付けられている復号器の出力結果を取得して、当該部分データを 復号させることとしてもよい。
[0015] これにより、画像データの各部分データがどの復号器で復号されたかを記憶してい るので、復号を行うために他の復号器で復号された画像が必要になった場合は、当 該他の復号器力 必要な画像を取得して復号処理を行うことができる。
また、復号を行うためには他の復号器で復号された画像が必要な部分データは、 処理能力が高い復号器で復号するよう決定されるので、他の復号器で復号された画 像を取得する処理を行ったとしても、復号処理に力かる時間を他の復号器の処理時 間とあわせることができるようになる。
[0016] また、前記復号手段は、属性情報が他の部分データの復号結果を参照することが 必要であることを示す部分データを復号する前に、当該他の部分データを復号させ ることとしてちよい。
これにより、復号を行うためには、他の部分データの復号された画像が必要な部分 データを復号する前に、当該他の部分データを復号するので、必要なときに他の部 分データの画像を取得することができるようになる。その結果、復号処理を止めること なく迅速に行うことができる。
[0017] また、前記部分データの属性情報は、当該部分データのデータ量であり、前記復 号器の処理能力は、当該復号器が入力するデータのバンド幅であり、前記決定手段 は、他の部分データより大き!、データ量を属性情報とする部分データを復号させる復 号器として、他の部分データを復号させる復号器よりバンド幅が広 ヽ復号器を決定す ることとしてちよい。
これにより、データ量の大きい部分データは、演算能力の高い復号器やデータバン ド幅の広 、演算器で復号処理を行うので、データ量の大き 、部分データであっても、 復号処理に力かる時間を他の復号器の処理時間とあわせることができるようになる。
[0018] また、前記部分データは、前記画像データであるビットストリームの一部であって、 ピクチャを構成するビット列であることとしてもよい。
また、前記部分データは、前記画像データであるビットストリームの一部であって、 ピクチャの一部分を構成するビット列であることとしてもよい。
これにより、画像データの部分データをピクチャゃピクチャより小さい部分のデータ とすることができるので、画像データの圧縮符号化方式に応じて、最適な大きさの部 分データを復号器で復号することができるようになる。
[0019] ピクチャよりも小さい部分のデータとは、例えば、スライスやマクロブロック等をいう。
図面の簡単な説明
[0020] [図 1]実施形態 1の画像復号装置の構成を示すブロック図である。
[図 2]画像データとスライスの関係を示す図である。
[図 3]画像復号装置 10を用いてピクチャを復号表示する概要図である。
[図 4]属性情報 1100の構成及び内容例を示す図である。
[図 5]性能情報 2100の構成及び内容例を示す図である。 [図 6]割当情報 5100の構成及び内容例を示す図である。
[図 7]割当データ 3100等の構成及び内容例を示す図である。
[図 8]画像復号部 (4000等）力 Sスライスを復号するタイムチャートを示す図である。
[図 9]割当データを生成する処理を表すフローチャートである。
[図 10]画像復号部によって行われるスライスを復号する処理を表すフローチャートで ある。
[図 11]画像データとピクチャの関係を示す図である。
[図 12]ピクチャタイプ、表示順序、参照画面、復号順序の関係を示す図である。
[図 13]属性情報 6100の構成及び内容例を示す図である。
[図 14]割当情報 6200の構成及び内容例を示す図である。
[図 15]画像復号部がピクチャを復号するタイムチャートを示す図である。
[図 16]実施形態 3の画像復号装置の構成を示すブロック図である。
[図 17]実施形態 4の画像復号装置の構成を示すブロック図である。
[図 18]従来の画像復号装置の構成を示すブロック図である。
[図 19]割当情報 5200の構成及び内容例を示す図である。
符号の説明
10 20 30 画像復号装置
1000 属性情報検出部
1100 属性情報
2000 割当決定部
2100 性能情報
2200 5100 割当情報
2300 性能情報取得部
3000 割当データ生成部
4000 4001 4002 4003 画像復号部
4100 データ受信部
4200 参照画像取得部
4300 復号器 4400 参照画像送出部
5000 5001 5002 5003 画像記憶部
5200 符号化データ
5300 復号化データ
8000 割当データ蓄積部
9000 画像組立部
発明を実施するための最良の形態
[0022] <実施形態 1 >
<概要 >
本発明にかかる画像復号装置は、符号化された画像のビットストリーム（以下、「画 像データ」という。）を、所定の単位、例えばスライス単位に分割し、各スライスの特性 に応じて復号器に分担させることにより、復号器の空き時間を少なくして効率的な復 号処理を行わせるものである。
[0023] また、本画像復号装置は、適時、各復号器の処理性能を取得することで、復号器の 増減に対応すると共に、各復号器の処理能力をも考慮してスライスの分担をさせるこ とで、より効率的に復号処理を行うことができる。
以下、本発明の実施形態における画像復号装置について、図面を用いて説明する 。尚、本実施形態では、 MPEG— 2規格で作成された画像データを復号する場合に ついて説明する。
[0024] <機能 >
図 1は、画像復号装置の構成を示すブロック図である。
画像復号装置 10は、属性情報検出部 1000、割当決定部 2000、割当データ生成 部 3000、画像復号部（4000、 4001、 4002、 4003)及び画像記憶部（5000、 500 1、 5002、 5003)で構成される。尚、本実施形態では、画像復号部は 4つ備える場 合を説明するが、これに限られない。
[0025] まず、属性情報検出部 1000は、可変長符号化されている画像データを入力とし、 その画像データを構成するスライス毎にその属性を検出する機能を有する。本図で は、画像データを白抜き矢印で表す。 属性とは、そのスライスのデータ量ゃピクチャタイプ、動き補償情報 (画面内予測、 前方向予測、後方向予測、双方向予測)等の特徴情報をいうものとする。属性情報 検出部 1000は、取得する属性によっては、画像データを可変長復号して、属性を取 得する。本実施形態では、属性として、可変長復号を要しないで取得できるデータ量 を用いる。
[0026] 属性情報検出部 1000は、入力した画像データを、基本的に、そのまま出力する。
ここで、図 2を用いて、画像データ及びスライスについて説明する。
図 2は、画像データとスライスの関係を示す図である。
画面フレームに相当するピクチャ 200は、スライス 01〜スライス nで構成され、画像 データ 100は、スライスの先頭を示すスタートコード 101と、スライスの画像を圧縮符 号ィ匕したデータであるデータ 102とで構成される。
[0027] スタートコード 101は、 16進数表記で 000001 (23個の 0の後に 1)という値とその後 の 8ビットのデータの 32ビットからなる。この 8ビットがスタートコードに続くデータの種 類を示している。
MPEG— 2規格におけるデータは、 6層の階層構造を持ち、上位からビデオシーケ ンス、 GOP、ピクチャ、スライス、マクロブロック、ブロックからなり、スタートコードを検 出することによって識別できる階層は、シーケンス、 GOP、ピクチャ及び、スライスで ある。この単位で、以下に説明する割当決定部 2000は、画像データを各画像復号 部 (4000等）に割り当てる。
[0028] 本実施形態ではスライスを検出するものとする。従って、スタートコードは、「00000 1 01」〜「000001 af」であり、「01」〜「af」をスライス番号というものとする。
スライスは、スタートコードから始まるスライスヘッダ 110と、複数のマクロブロック（M B) 111とで構成され、スライスヘッダにはスライスタイプが含まれる。このスライスタイ プは、スライス力 スライスである力、 Bスライス、 Pスライスであるかを示し、 Iスライスは、 自スライス内の情報のみを用いて復号ィ匕できるスライスであり、 Pスライスと Bスライス は他のスライスの画像を参照することによって復号ィ匕できるスライスである。
[0029] マクロブロック 111は、マクロブロックタイプとそのタイプに応じたデータ、例えば、動 き情報と画面間予測誤差データとで構成される。マクロブロックタイプは、このマクロ ブロックが他のスライスの画像を参照する必要があるもの力否力、また、 1方向参照な のか 2方向参照なのか等の情報を表すものである。
属性情報検出部 1000は、画像データ 100からスタートコード 101を検出し、次のス タートコードまでのデータ量をそのスライスの属性情報として記憶することを繰り返す
[0030] 検出したスライスの属性は、属性情報 1100として割当決定部 2000に渡される。具 体的には、画像復号装置 10内の作業用のメモリ（図示していない。 )に記憶され、割 当決定部 2000によって参照される。本図では、便宜上、属性情報を検出する属性 情報検出部 1000内に描いている。後述する性能情報 2100、割当情報 2100も同様 である。
[0031] 次に、割当決定部 2000は、画像データ 100を構成する各スライスをどの画像復号 部 (4000等）に行わせるか、すなわちスライスの割り当てを決定する機能を有する。 この割当決定部 2000は、性能情報取得部 2300を備え、適時、画像復号部 (400 0等)の処理性能を取得して性能情報 2100として記憶しておく機能も有する。この性 能情報取得部 2300は、本画像復号装置 10に搭載されている各画像復号部 (4000 等)の個数を検出し、各処理性能を取得する機能を有する。
[0032] 割当決定部 2000は、スライスの割り当ての決定を、属性情報検出部 1000が検出 した属性情報 1100と、この性能情報 2100とに基づいて決定し、割当情報 2100を 作成する。属性情報 1100、性能情報 2100、割り当て情報 2100の詳細は、図 4〜 図 6を用いて後で説明する。
尚、この割当決定部 2000は、複数のスライス割り当てを決定するため、複数スライ ス分の画像データ 100を蓄積するノ ッファリング手段を備えるものとする。
[0033] 次に、割当データ生成部 3000は、割当決定部 2000が決定した割り当てに従って 、割当決定部 2000のメモリに蓄積されている画像データを読み出して、各画像復号 部 (4000等）に送信する割当データを生成し出力する機能を有する。
割当データとは、割り当てられたスライス分の画像データゃ復号に必要な情報等で ある。割当データ生成部 3000は、割当決定部 2000から受け取った画像データを解 祈し、復号に必要な情報を読み出す。詳細は図 7を用いて後で説明する。 [0034] 画像復号部（4000、 4001、 4002、 4003)は、それぞれ通常の復号機能を有し、 更に、本画像復号装置 10に特有の処理、例えば、必要な画像を他の画像復号部か ら取得する等の処理を行う機能を有する。
各画像復号部 (4000等）は、演算性能等の処理性能に差がある場合はあるが、本 画像復号装置 10に特有の処理を行う機能は同じである。
[0035] また、画像記憶部（5000、 5001、 5002、 5003)は、それぞれ画像復号部 (4000 、 4001、 4002、 4003)が復号処理を行うための各種データを記憶する機能を有し、 それぞれ容量は異なる場合はある力 本画像復号装置 10に特有のデータ、例えば、 どのスライスがどの画像復号部で復号されているかを示すデータなどを記憶する機 能は同じである。
[0036] 従って、以下、画像復号部 4000と画像記憶部 5000とのみを説明する。
まず、画像記憶部 5000から説明する。
画像記憶部 5000は、割当情報 5100、符号化データ 5200及び復号化データ 530 0を記憶する。
割当情報 5100は、どのスライスがどの画像復号部に割り当てられて!/ヽるかを示す 情報である。この情報は、他の画像復号部 (4001等）が復号した画像の参照が必要 となった時に、他の該当する画像復号部 (4001等）に参照する画像 (以下、「参照画 像」という。）の送信依頼を行う際に参照される。更に、復号した画像を表示する際に 、表示する画像がどの画像復号部 (4001等）の画像記憶部（5000等）に記憶されて V、るかを判別するためにも参照される。
[0037] この割当情報 5100は、割当決定部 2000が作成する割当情報 2200と基本的に同 じものであるが、記憶している個数が異なる。すなわち、割当情報 2200は割当デー タを作成してしまえば不要となり更新される力 割当情報 5100は、他の画像復号部（ 4001等)を参照したり参照されたりすることから必要な分を必要な期間記憶している
[0038] 参照に必要な分とは、参照される可能性のある参照画像の含まれるスライスの割当 情報であり、必要な期間とは、参照される可能性がなくなるまでの期間、すなわちスラ イスの復号された画像が表示されるまでの期間である。 符号化データ 5200は、画像復号部 4000に割り当てられたスライスの画像データと 復号に必要な情報である。
[0039] 復号化データ 5300は、画像復号部 4000で復号された画像データである。
この復号化データ 5300は、その画像が表示されるまで記憶されている。すなわち、 その画像が含まれるピクチャが表示されるまでは記憶されている。
尚、本実施形態は MPEG— 2規格で符号化された画像データを復号する場合を 例に説明しているが、例えば、 H. 265ZAVC規格で符号化された画像データの場 合は、表示された後であっても参照される場合があることから、表示され且つ参照さ れることがなくなるまで記憶されていることになる。
[0040] 次に、画像復号部 4000は、データ受信部 4100、参照画像取得部 4200、復号器 4300及び参照画像送出部 4400で構成される。
まず、データ受信部 4100は、割当データ生成部 3000から送出された割当データ 、すなわち、担当するスライスの画像データ等を受信し、画像記憶部 5000に記憶さ せる機能を有する。割当情報 5100と符号ィ匕データ 5200とが記憶される。
[0041] 参照画像取得部 4200は、スライスの復号に際して、他のスライスゃピクチャの参照 が必要となった場合に、他の画像復号部 (4001等）に参照画像の送信依頼を行い、 参照画像を取得する機能を有する。
復号器 4300は、画像記憶部 5000の符号ィ匕データ 5200を読み込み、復号し、復 号ィ匕したスライス (以下、「復号化スライス」という。）を復号ィ匕データ 5300に書き込む 機能を有する。
[0042] 参照画像送出部 4400は、他の画像復号部 (4001等)から参照画像の送信依頼を 受けた場合に、画像記憶部 5000の復号化データ 5300から該当する画像を読み出 し、依頼元に送信する機能を有する。
次に、図 3を用いて、複数の画像復号装置 (4000等)で復号されたスライスを表示 する方法を簡単に説明する。
[0043] 図 3は、本画像復号装置 10を用いてピクチャを復号表示する概要図である。
ピクチャ 200を圧縮符号化した画像データ (ビットストリーム）を復号して、ピクチャ 2 10 (表示画面）として表示する場合を説明する。画像組立部 9000は、画像記憶部（ 5000等)力ゝら復号化スライスを読み出して、一枚のピクチャを再構成して表示する機 能を有する。
[0044] まず、ピクチャ 200を構成するスライスは、それぞれ画像復号部 (4000、 4001等） に割り当てられ、復号される。復号化スライスは、画像記憶部（5000等）の復号ィ匕デ ータ（5300、 5301等）に記憶される。
画像組立部 9000は、割当情報 5100を参照して、スライス 01から順に、該当するス ライスが記憶されている画像記憶部（5000、 5001等）の復号ィ匕データ（5300、 530
1等)から読み出して、表示する。
[0045] 画像組立部 9000は、一枚のピクチャを表示するタイミングは、フレームレートに応じ た時間である。
尚、本図では、画像記憶部 5000の割当情報 5100を参照している力 他の画像記 憶部（5001等)の割当情報を参照してももちろんよぐ画像組立部 9000が割当決定 部 2000から取得して作業用メモリに記憶しておく等でもよ!/、。
[0046] <データ >
以下、本画像復号装置 10で用いる主なデータについて、図 4〜図 8を用いて説明 する。
図 4は、属性情報 1100の構成及び内容例を示す図である。
属性情報 1100は、スライス番号 1101とデータ量 1102とで構成される。
[0047] スライス番号 1101は、スライスの識別子であり、本実施形態ではスタートコード内の スライス番号とする（図 2参照)。
データ量 1102は、スライスのデータ量であり、属性情報検出部 1000によって検出 される。
データ量の算出方法としては、例えば、スライスのスタートコード（図 2参照）のァドレ スと、次のスライスのスタートコードのアドレスとの差分力 算出する。具体的には、ス ライスのデータ量（単位: bit)は、このアドレスの差分に 8 (bit)をかけた値となる。通常 、スライスのスタートコードは、バイト（8bit)単位でァライメントされているためである。
[0048] 例えば、スライス番号 1001「01」で表されるスライスのデータ量は、 「500」kbitsで ある。 図 5は、性能情報 2100の構成及び内容例を示す図である。
性能情報 2100は、画像復号部 ID2101、演算能力 2102及びデータバンド幅 210 3で構成される。
[0049] 画像復号部 ID2101は、画像復号部 (4000等）の識別子であり、「DecOO」は画像 復号部 4000を、「Dec01」は画像復号部 4001を、「Dec02」は画像復号部 4002を 、「Dec03」は画像復号部 4003を表すものとする。
演算能力 2102は、画像復号部 ID2101で示される画像復号部 (4000等)の演算 能力を示し、「SDTV」は、 SDTV画像サイズの圧縮符号ィ匕データであれば正しくリ アルタイムに復号表示できる演算能力であることを示し、「HDTV」は、 HDTV画像 サイズまでの圧縮符号ィ匕データであれば正しくリアルタイムに復号表示できる演算能 力であることを示している。
[0050] ここで、符号化規格と「SDTV」等との関係を簡単に説明すると、これらの規格は、 いくつかの異なる規格の集合体であり、プロファイルとレベルにより規定されている。 プロファイルは、画像がディジタル的に符号ィ匕されたときの異なる複雑さの度合いに 対応したもの、すなわち使用する符号ィ匕要素技術の集合を定義したものであり、レべ ルは画像の異なる解像度に対応する。例えば、 MPEG— 2のメインプロファイル @メ インレベル（Main Profile@Main Level)は、 SDTVの画像サイズのビデオ信号の符号 化を対象としており、メインプロファイル @ハイレベルは、 HDTVの画像サイズのビデ ォ信号の符号化を対象として ヽる。
[0051] 次に、データバンド幅 2103は、画像復号部 ID2101で示される画像復号部（4000 等）の入力データバンド幅を示す。
例えば、画像復号部 ID2101「Dec02」で示される画像復号部 4002は、演算能力 2102力 S「HDTV」、データバンド幅 2103「80」 Mbpsである。
図 6は、割当情報 5100の構成及び内容例を示す図である。
[0052] 割当情報 2200も同様の構成であるため、割当情報 5100のみ説明する。
割当情報 5100は、画像復号部 ID5101と割当スライス番号 5102とで構成される。 画像復号部 ID5101は、性能情報 2100の画像復号部 ID2101と同様である。
[0053] 割当スライス番号 5102は、対応する画像復号部 ID5101で示される画像復号部に 割り当てるスライスの番号を示すものである。ここで示すスライス番号は、属性情報 11
00のスライス番号 1101と同じものである。
例えば、画像復号部 ID5101「DecOO」に対応する割当スライス番号 5102は「01」 であり、属性情報 1100のスライス番号 1101「01」のスライスのデータ量 1102は「50
0」 kbitsであることから、画像復号部 ID5101「DecOO」の画像復号部には 500kbits のスライスが割り当てられたことになる。
[0054] 尚、ここでは、割当スライス番号は 2つまで割り当てている力 これに限られない。
図 7は、割当データ 3100等の構成及び内容例を示す図である。
この害 Γ当データ（3100、 3101、 3102、 3103) ίま、害 Γ当データ生成咅 3000力生成 するデータであり、各画像復号部（4000、 4001, 4002, 4003)毎に生成される。
[0055] この割当データ（3100等）は、割り当てられたスライスのデータに割当情報 2200と 復号に必要な情報 (本図では「パラメータ」と記載している。） 2210とが付加されたも のである。
具体的には、割り当てられた最初のスライスのスタートコード 101の前に割当情報 2 200と復号に必要な情報 (パラメータ） 2210とを付加する。この際、ユーザデータを 示すスタートコード 2201「000001 b2」を割当情報 2200等の前に付加する。
[0056] この復号に必要な情報 (パラメータ）とは、割当データ生成部 3000 (図 1参照）が、 画像データを解析して抜き出した情報である。具体的には、各画像復号部 (4000等 )に渡すスライスのデータ以外の部分、例えば、スライスより上位層にあるシーケンス ヘッダや GOPヘッダなどに含まれるフレームサイズやフレームレートなど、各画像復 号部 (4000等）力スライスを復号する際に必要な情報である。
[0057] これにより、各画像復号装置 (4000等）に、割り当てられたスライスのデータと割当 情報 2200とが通知され、この割当情報 2200を参照することにより参照画像を取得 することが可能となる。
ここで、スライスを画像復号部に割り当てる 1方法について説明する。
<割当情報の作成方法 >
図 8は、画像復号部 (4000等）力スライスを復号するタイムチャートを示す図である [0058] 本図において、「S01」はスライス番号が「01」のスライスを表し、「S02」等も同様で ある。「DecOO」〜「Dec03」は画像復号部 IDである。
DecOOがスライス 01を復号している間（tO)と並列に、 DecOlではスライス 02とスラ イス 03を、 Dec02では、スライス 04とスライス 05を、 Dec03はスライス 06を復号する。
[0059] それぞれの画像復号部 Dec00〜Dec03が、割当られたスライスの復号を終了する と、割当データ生成部 3000から次の割当データが送出され、スライス 07〜スライス 1
1の復号が開始される（tl)。
本実施形態では、各画像復号部 Dec00〜Dec03の復号処理終了から、次の復号 処理までの空き時間をなるベくなくすように、スライスを割り当てる。
[0060] 一般に、スライス単位のデータ量が大きいほど、スライスの処理負荷が高いため、処 理能力の高い画像復号部で復号処理を行う必要がある。
また、各画像復号部での復号処理を妨げないよう、各画像復号部に割当データを 供給するためには、割り当てるスライスのデータ量に応じて、データバンド幅を決める 必要がある。すなわち、割り当てるスライスのデータ量が大きいほど、画像データを受 信できるデータバンド幅が広 、画像復号部を割り当てる必要がある。
[0061] このように、画像復号部の処理性能とスライスのデータ量とを考慮してスライスを画 像復号部に割り当てることで、ピクチャを構成する各スライスの処理を高速に行い、ピ クチャを構成する全スライスを 1フレーム時間内に終了させることが可能となり、リアル タイム処理を行うことができるようになる。
<動作 >
以下、本発明に係る画像復号装置 10の動作について図 9と図 10とを用いて説明 する。
[0062] 図 9は、割当データを生成する処理を表すフローチャートであり、図 10は、画像復 号部によって行われるスライスを復号する処理を表すフローチャートである。
この割当データを生成する処理とスライスを復号する処理とは、並列に行われる。 すなわち、スライスを復号している間に、次の割当データが作成される。
まず、図 9を用いて、割当データを生成する処理を説明する。
[0063] この処理は、属性情報検出部 1000、割当決定部 2000及び割当データ生成部 30 00が行う処理である。
画像データであるビットストリームを読み込んだ属性情報検出部 1000は (ステップ S 100)、スタートコードを検出する（ステップ S 1 10)。
スタートコードを検出したら、スライス番号を読み出し、次のスタートコードを検出す るまで画像データを読み飛ばし、スライスのデータ量を検出する。スライス番号とデー タ量を、属性情報 1100に登録する (ステップ S 120)。
[0064] 属性情報を検出した属性情報検出部 1000は、読み込んだ画像データをそのまま 割当決定部 2000に渡し、割当決定部 2000は、読み込んだ画像データのスライスを どの画像復号部に割り当てるかを決定する (ステップ S 130)。
決定後、画像復号部に復号処理を開始させるか否かを判断し、否と判断した場合 は、さらに画像データを読み込む (ステップ S 140： NO)。
[0065] 復号を開始すると判断した場合 (ステップ S 140 : YES)は、割当生成部 3000に割 当情報 2200に従って、割当データを作成するよう依頼する。
ここで、画像復号部に復号処理を開始させる力否かの判断は、例えば、割当決定 部 2000が備える画像データを蓄積しているバッファリング手段がオーバーフローし、 且つ、全ての画像復号部 (4000等）の復号処理が完了した場合に、復号処理を開 始させると判断する。
[0066] 割当データの生成依頼を受けた割当生成部 3000は、割当情報 2200を参照して、 割当決定部 2000のメモリに蓄積されている画像データを読み出して、各画像復号 部 (4000等）に送信する画像データを生成する (ステップ S 150)。生成した割当デー タは、各画像復号部 (4000、 4001等）にそれぞれ送出する (ステップ S 160)。
[0067] 画像データが無くなれば (ステップ S 170 : YES)処理を終了し、まだあれば (ステツ プ S 170： NO)、割当データを生成する処理を続行する。
次に、図 10を用いて、スライスを復号する処理を説明する。
この処理は、各画像復号部（4000、 4001等）が行う処理である。ここでは、画像復 号部 4000の動作を説明する。他の画像復号部 (4001等)も、並行して同様の復号 処理を行う。
[0068] 割当データ 3100 (図 7参照）を受信したデータ受信部 4100は (ステップ S200)、受 信した割当データ 3100から、割当情報 2200を取り出し、画像記憶部 5000内の割 当情報 5100に記憶させ、スライスのデータは、符号ィ匕データ 5200に記憶させる (ス テツプ S210)。記憶させたデータ受信部 4100は、復号器 4300に復号の開始を依 頼する。
[0069] 依頼を受けた復号器 4300は、符号ィ匕データ 5200から復号するスライス中のマクロ ブロック（以下、「対象マクロブロック」という。）を順に読み出し (ステップ S220)、復号 を開始する。
復号器 4300は、対象マクロブロックの復号に際し、他の画像復号部 (4001等)で 復号されたスライスのマクロブロックを参照する必要がある力否力、すなわち、他の画 像復号部を参照するカゝ否かを判断する。
[0070] 他の画像復号部を参照する力否かは、対象マクロブロックのタイプと参照するスライ スを基に、画像記憶部 5000に記憶されている割当情報 5100を参照して判断する。 具体的には、対象マクロブロックのタイプが他のスライスの画像を参照する必要があ るタイプを示す場合であって、当該他のスライスが他の画像復号部 (4001等）に割り 当てられている場合は、参照すると判断する。従って、対象マクロブロックのタイプが 他のスライスの画像を参照する必要があるタイプを示す場合であっても、参照すると 判断されない場合もある。また、対象マクロブロックのタイプが画面内参照符号化され たことを示す場合も、参照しないと判断される。
[0071] 他の画像復号部を参照すると判断された場合は (ステップ S230： YES)、参照する マクロブロック（以下、「参照マクロブロック」という。）の復号後のデータを取得するよう 参照画像取得部 4200に依頼する。この際、参照マクロブロックを特定できる情報、 例えば、ピクチャ番号と動きベクトル等を指定する。
参照マクロブロックの取得を依頼された参照画像取得部 4200は、画像記憶部 500 0に記憶されている割当情報 5100を参照し、参照マクロブロックの復号を行った画 像復号部 ID5101を求める。参照画像取得部 4200は、求めた画像復号部 ID5101 宛に、参照マクロブロックのデータを送信するよう依頼し、取得する（ステップ S250)。
[0072] また、他のスライスのマクロブロックを参照する必要がないときは（ステップ S230 :N O)、参照マクロブロックのデータを画像記憶部 5000の復号ィ匕データ 5300から読み 出す (ステップ S240)。
復号器 4300は、取得した参照マクロブロックのデータ等を使用して、対象マクロブ ロックを復号し、復号後のデータを復号ィ匕データ 5300に書き込む (ステップ S260)。
[0073] このマクロブロックの復号処理を、割り当てられたスライスが終了するまで行う（ステ ップ S270)。終了後は、割当決定部 2000に、終了を通知する。
<実施形態 2>
<概要 >
実施形態 1では、スライス単位に、スライスのデータ量に基づいて画像復号部に割 り当てたが、本実施形態ではピクチャ単位に、ピクチャのタイプ (1、 P、 B)に基づいて 画像復号部に割り当てる例を説明する。スライスのタイプに基づいて、スライス単位で 割り当ててももちろんよいが、ここでは説明の便宜上、ピクチャ単位で説明する。
[0074] MPEG— 2規格におけるピクチャは、次の 3タイプがある。
画面内予測を行う Iピクチャ、過去のピクチャ力も前方向予測を行う Pピクチャ、過去 と未来のピクチャ力も双方向予測を行う Bピクチャである。
<機能 >
本実施形態の画像復号装置の構成は、実施形態 1と同様である。
[0075] 異なる点は、ピクチャ単位で復号するように動作する点と、属性情報検出部 1000 力 スライスの属性を検出する代わりに、ピクチャの属性を検出する点である。
実施形態 1では、スライスの属性としてスライスのデータ量を求めたが、本実施形態 では、ピクチャの属性としてピクチャタイプを求める。
また、これに伴い、ピクチャタイプに応じて、割当決定部 2000はピクチャを画像復 号部 (4000等）に割り当てる。
[0076] 図 11は、画像データとピクチャの関係を示す図である。
スタートコード 301は、 16進数表記で「000001 (23個の 0の後に 1)」という値とその 後の「00」のデータの 32ビットからなる。
属性情報検出部 1000は、画像データ 300からスタートコード 301を検出し、ピクチ ャヘッダ（図示していない。）から、ピクチャタイプを読み出し、読み出したピクチャタイ プと参照ピクチャとをそのピクチャの属性情報として記憶し、次のスタートコードまで読 みすことを繰り返す。スタートコード 301から次のスタートコード 303の間のデータ 302 カ^ピクチャの画像データとなる。
[0077] <データ >
以下、本実施形態の属性情報 6100と割り当て情報 2200について、図 12〜図 15 を用いて説明する。
まず、図 12を用いて、ピクチャタイプ、表示順序、参照画面、復号順序の関係を説 明する。
[0078] 矩形がピクチャを表し、その中の「I」、「B」、「P」は、それぞれ Iタイプ、 Bタイプ、 Pタ イブを表す。
「表示順序」は、ピクチャを表示する順序を表し、本説明ではピクチャ番号とする。
「参照画面」は、該当するピクチャが参照するピクチャ番号を表し、「復号順序」は、ピ クチャの復号する順序を表す。
[0079] 例えば、「表示順序」が「4」のピクチャは、「参照画面」が「0」、すなわち、ピクチャ番 号が「0」のピクチャを参照する Pタイプであり、「復号順序」が「1」、すなわち、 2番目 に復号するピクチャである。
図 13は、属性情報 6100の構成及び内容例を示す図である。この属性情報 6100 は、実施形態 1における属性情報 1100に代わるものである。
[0080] 属性情報 6100は、復号順序 6101、ピクチャ番号 6102、ピクチャタイプ 6103及び 参照ピクチャ 6104で構成される。
復号順序 6101は、復号するピクチヤの順序を示す。
ピクチャ番号 6102は、ピクチャの識別子を示し、ここでは、ピクチャの表示番号とす る。
[0081] ピクチャタイプ 6103は、ピクチャのタイプを示し、「I」、「B」、「P」は、それぞれ Iタイ プ、 Bタイプ、 Pタイプを表す。
また、参照ピクチャ 6104は、該当するピクチャが参照するピクチャのピクチャ番号を 表す。すなわち、この参照ピクチャが復号されていなければ、該当ピクチャは正しく復 号できないこととなる。
[0082] 例えば、復号順序 6101が「0」、すなわち最初に復号するピクチャは、ピクチャ番号 6102が「0」のピクチャであり、ピクチャタイプ 6103が「I」、すなわち、画面内予測によ つてのみ復号できる Iピクチャである。 Iピクチャであるので、参照ピクチャ 6103はない 次に、図 14は、割当情報 6200の構成及び内容例を示す図である。この割当情報 6200は、実施形態 1における割当情報 2200に代わるものである。
[0083] 割当情報 6200は、復号順序 6101と画像復号部 6201とで構成される。
復号順序 6101は、属性情報 6100の復号順序 6101と同じである。また、画像復号 部 6201は、画像復号部の識別子であり、「DecOO」は画像復号部 4000を、「Dec01 」は画像復号部 4001を、「Dec02」は画像復号部 4002を、「Dec03」は画像復号部 4003を表すものとする。
[0084] 例えば、復号順序 6101が「0」のピクチャは、「DecOO」と「Dec03」とで復号する。
以下に、ピクチャを画像復号部に割り当てる 1方法について説明する。
<割当情報の作成方法 >
図 15は、画像復号部がピクチャを復号するタイムチャートを示す図である。
[0085] 本図にお!/、て、「P0 (I)」はピクチャ番号が「0」のピクチャであって、 Iピクチャである ことを表し、「P2 (B)」等も同様である。「Dec00」〜「Dec03」は画像復号部 IDである 本図のタイムチャートは、図 14で示す割当情報 6200に従って、復号処理を行った 場合を示して 、る。最初にピクチャ 0 (復号順序「0」 )を DecOOと Dec03とで復号し、 次に、ピクチャ 4 (復号順序「1」）を復号する。ピクチャ 0とピクチャ 4は、実施形態 1の ように、それぞれスライス毎に DecOOと Dec03に割り当てられ、復号されることになる
[0086] その後、ピクチャ 1 (復号順序「2」）とピクチャ 2 (復号順序「3」）を DecOlで、ピクチ ャ 3 (復号順序「4」）を Dec02で、ピクチャ 8 (復号順序「5」 )を DecOOと Dec03とで復 号する。
ここで、割り当ての基本的な考え方の例を説明する。
ここでは、 2つの要素を考慮する。 1つ目はピクチャタイプであり、 2つ目は参照ピク チヤである。 [0087] まず、参照画像の読み出しの多いピクチャは、データバンド幅の広い画像復号部に 割り当てる。 Bピクチャ、 Pピクチャ、 Iピクチャの順で画像読み出しが多いと考えられる ことから、この順でデータバンド幅の広 、画像復号部に割り当てる。
次に、 Bピクチャは、参照ピクチヤとなる Iピクチャまたは Pピクチャが復号された後で なければ復号できないことから、ピクチャ番号「1」の参照ピクチヤであるピクチャ番号「 4」を先に復号する (tlO参照)。このとき、復号できるピクチャは他に無いため、 DecO 1と Dec02には、ピクチャは割り当てられていない。その後、ピクチャ番号「1」のピク チヤを復号する (ti l参照)。
[0088] このように、ピクチャタイプと参照ピクチャを考慮して、ピクチャの復号順序と割り当 てる画像復号部とを決定し、割当情報 6200を作成する（図 14参照)。
<動作 >
本実施形態の画像復号装置の動作は、図 9と図 10とを用いて説明した実施形態 1 と同様である。
[0089] 異なるのは、ピクチャ単位で復号する点と、それに伴うステップ S120で検出する属 性情報 6100と、ステップ S 130で作成する割当情報 6200である。
本実施形態では、各画像記憶部（5000等）に復号されたピクチャ（以下、「復号ィ匕 ピクチャ」という。）又は復号化ピクチャの一部が記憶されているので、画像組立部 90
00 (図 3参照）は、割当情報 6200を参照して、符号ィ匕ピクチャを表示順序に応じて 読み出し、必要に応じて組み立てて表示する。
<実施形態 3 >
本実施形態の画像復号装置 20のブロック図を図 16に示す。
[0090] 実施形態 1では、画像復号部（4000、 4001、 4002、 4003)は、それぞれ画像記
'隐咅（5000、 5001, 5002、 5003)を備えて!/ヽた力 本実施形態で ίま、 1つの画像 記憶部 5900を共有する点のみが異なる。
実施形態 1では、各画像記憶部（5000等）は、割当情報 5100、符号化データ 520
0及び復号化データ 5300を記憶して ヽる（図 1参照)。
[0091] 本実施形態では、各画像復号部 (4000等）は、それぞれに画像記憶部 5900内に
、割当情報 5100と符号ィ匕データ 5200とを記憶するための領域が割り当てられてお り、復号化データ 5300を共通にするものとする。尚、割当情報 5100は共通としても よい。
復号ィ匕データ 5300を共通にするとは、例えば、復号ィ匕ピクチャを記憶する領域を ピクチャ単位に設けることである。
[0092] 各画像復号部 (4000等）は、割当データ（3100等）を復号した結果、すなわち割り 当てられたスライスの復号結果である復号化スライスを、割当情報 5100を参照して、 復号化ピクチャ内の該当するスライスの位置に記憶する。
各画像復号部 (4000等）が、それぞれに割り当てられたスライスの復号化スライスを 復号ィ匕ピクチャの領域に書き込むことで、復号化ピクチャを完成させる。
[0093] また、参照画像が必要なときは、復号化ピクチャの領域から、該当する参照マクロブ ロックを読み出し復号する。
表示については、実施形態 1では、画像フレームのラスタ順に表示すべき復号結果 を各画像記憶部 5900から読み出す必要があった。本実施形態では、符号化スライ スはピクチャを構成するように割り当てられた領域に書き込まれている。従って、符号 化ピクチャからラスタ順に復号結果を表示する手段に送ることで画像フレームを表示 することができるので、スライスカもピクチャを組み立てる必要がな 、と!/、う利点がある
<実施形態 4>
本実施形態の画像復号装置 30のブロック図を図 17に示す。
[0094] 実施形態 1では、割当データ生成部 3000で生成した割当データ（3100等）は、画 像復号咅 (4000、 4001、 4002、 4003)に送出されて!/、た力 本実施形態で ίま、一 且、割当データ蓄積部 8000に記憶し、割当データ蓄積部 8000から各画像復号部（ 4000等）に割当データを送出する点のみが異なる。
割当データ蓄積部 8000を設けるのは、画像復号部 (4000等）に対する割当デー タ生成部 3000の生成処理力 画像復号部 (4000等）の処理に対して間に合わなく なる場合があるためである。間に合わない場合は、画像復号処理のリアルタイム処理 ができなくなる。
[0095] 割当データの生成処理が間に合わなくなる場合とは、例えば、割り当ての単位をス ライスよりも小さい単位、すなわち、マクロブロック複数個を単位とする場合である。 通常の MPEG— 2規格で符号化されたビットストリームにおいて、スタートコードで 識別できるセグメントの最小単位はスライス単位である力 ビットストリームを逐一可変 長復号することにより、スライス層以下の単位であるマクロブロックの区切りを識別する ことが可能である。
[0096] そこで、識別したマクロブロックの区切りに MPEG— 2規格で予約されていないスタ ートコードを付加することにより、複数マクロブロック単位でのセグメント化を行うことが できる。
この場合、複数マクロブロック単位での割り当てを行うためには、画像データ 100を 逐一可変長復号することが必要であり、実施形態 1等のように属性情報検出部 1000 で画像データを読み飛ばさないため、通常の復号動作と同様な処理時間が力かるこ ととなる。
[0097] 従って、割当データ生成部 3000の生成処理力 画像復号部 (4000等）の処理に 対して間に合わなくなる場合が生ずる。
そこで、割当データ生成部 3000で生成された割当データを、割当データ蓄積部 8 000に蓄積し、画像復号部 (4000等）の処理と非同期とすることで、画像復号部 (40 00等）における復号処理を画面フレームの表示に間に合わせることが可能となる。
[0098] このとき、逐一可変長復号する過程において、動きベクトルなどの動き補償情報を 取得し、属性情報として割当データに付加することもできる。
この動き補償情報としての動きベクトルは、参照画像を画像記憶部（5000等)から 読み出すときに参照する。
また、属性情報検出部 1000〜割当データ生成部 3000の処理能力が、画像復号 部 (4000等）の処理能力に対して低 、ために画像復号部 (4000等)でのリアルタイ ム処理ができなくなる場合にも、本実施形態は有効である。
[0099] 以下に、画像データを複数の画像復号部に割り当てる 1方法について説明する。
<割当情報の作成方法 >
各画像復号部 (4000等）の画像データの処理時間が均等となり、且つ、処理時間 が短くなるように、各画像復号部 (4000等）に画像データを割り当てる。 具体的には、復号すべき画像データ（ビットストリーム）の単位時間当たりのマクロブ ロック数と、各画像復号部 (4000等）の処理性能、すなわち、単位時間当たりに処理 できるマクロブロック数と力ゝら、割り当てを決める。
[0100] まず、画像データの 1秒あたりのマクロブロック数「1 (エル）」を求める。
マクロブロック数「1」は、画像データの対応画像フレームサイズとフレームレートから 求める。フレームサイズとフレームレートは、ヘッダ情報から取得する。
マクロブロックを、「16画素 X 16画素」とし、フレームサイズを「s (水平画素数） X t ( 垂直画素数)」とし、フレームレートを「u」とすると、 1秒間に復号しなければならない マクロブロック数は、「l=sZl6 X tZl6 X u」となる。「Z」は余剰切り上げとする。
[0101] 例えば、画像データがデジタル 'シネマ規格の 4K規格である場合、画像フレーム サイズ力 S4096画素 2160ライン、フレームレートは毎秒 24フレームとすると、 1秒間に 復号しなければならな ヽマクロブロックの個数は「1= 256 X 135 X 24 = 829, 440」 個となる。
次に、各画像復号部 (4000等）の 1秒当たりに処理できるマクロブロック数「Pi」を求 める。「i」は、並列に処理可能な画像復号部 (4000等）の数 l〜nであり、本実施形 態では nは 4である。
[0102] 画像復号部の仕様として規定されて!ヽる対応画像フレームサイズを「si (水平画素 数） X ti (垂直画素数)」とし、フレームレートを「ui」とすると、 1秒間に復号可能なマク ロブロック数は、「Pi=siZl6 X ti/16 X ui」となる。
例えば、性能情報 2100の演算能力 2102 (図 5参照）が「SDTV」の画像復号部は 、 SDTVの画像フレームサイズが 720画素 480ラインであり、フレームレートは毎秒 3 0フレームであるので、毎秒「Pi=45 X 30 X 30=40, 500」個のマクロブロックの処 理が可能ということになる。
[0103] ここで、単一の画像復号部の性能を超える、単一のビットストリームの画像データの 復号処理を行う場合を考える。
画像復号部の処理性能「Pi」の総和を「Q」とすると、「1ZQ< 1」となるように、複数 の画像復号部を確保できることが前提となる。
次に、確保した画像復号部には、処理時間が均等となるようにマクロブロックを割り 当てる。各画像復号部に割り当てる画像データの量を「mi」とする。「i」は、確保した 画像復号部 (4000等）の数 l〜nである。
[0104] 各画像復号部が割り当てられたマクロブロックを処理する時間、「miZPi」ができる だけ等しくなるように、マクロブロックを各画像復号部に割り当てる。
このように、各画像復号部にマクロブロックを割り当てることで、画像復号部が遊ん でしまう時間を短くし、効率的な復号処理を行うことができる。
本実施形態では、一秒間に復号処理可能なマクロブロック数で処理能力を算出し ているが、処理能力の算出はこれに限定されるものではない。
[0105] また、確保する画像復号部は、画像復号装置が備える全ての画像復号部であって も一部の画像復号部であってもよい。一部の画像復号部を使用する場合は、使用し な 、他の画像復号部で別の画像データの復号処理を行わせることとしてもよ 、。 尚、他の実施形態のスライスゃピクチャを割り当てる場合でも、各スライスゃピクチャ を構成するマクロブロック数を基に、復号させる画像復号部を決定することとしてもよ い。
<補足 >
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下 のようにしてもよい。
(1)実施形態では、割当情報 5100は画像記憶部（5000等）に記憶することとしてい る力 画像復号部 (4000等）の内部のメモリに記憶することとしてもょ 、。
[0106] 割当情報 5100を画像復号部 (4000等）の内部のメモリに記憶した場合は、割当情 報 5100へのアクセスが高速となるという利点がある。
(2)実施形態では、割当情報 5100は、画像復号部 ID5101毎に、割当スライス番号 5102を対応させる構成としている力 図 19に示すような割当情報 5200のような構成 としてちよい。
[0107] すなわち、スライス番号 5201毎に、画像復号部 ID5202を対応させる。このような 構成にすることにより、各画像復号部に割り当てるスライスの個数の制限をなくすこと ができ、よりフレキシブルな割り当てが可能になるという利点がある。
(3)実施形態では、スライスの復号に必要となるシーケンスヘッダゃピクチャヘッダ内 の情報は、割当データとして各画像復号部に送っているが、他の方法で各画像復号 部に知らせることとしても良!、。
[0108] 例えば、実施形態では割当情報 2200とともに割り当てられたスライスのデータのみ を各画像復号部に渡しているが、割当情報 2200とともに全画像データ、例えば、ビ デォシーケンスの先頭からのデータをすベて各画像復号部に渡すこととしてもよ!/、。 この場合、各画像復号部がそれぞれ割り当てられたスライスデータを全画像データか ら取り出して、符号ィ匕データ 5200として格納する。各画像復号部はシーケンスヘッダ ゃピクチャヘッダを参照することができるので、復号に必要な情報を得ることが可能と なる。
[0109] また、画像の復号を制御する属性情報検出部 1000、割当決定部 2000、割当デー タ生成部 3000が必要な情報をストリームを介さずに、各画像復号部に設定すること としてちよい。
(4)画像復号装置は、図 1の各構成要素の全部又は一部を、 1チップ又は複数チッ プの集積回路で実現してもよ!/、。
[0110] 例えば、画像記憶部（5000等)を除く各機能部は、単一の半導体集積回路上に実 現されてもよい。
また、画像復号部 (4000等)は、単一の半導体集積回路で実現され、属性情報検 出部 1000と割当決定部 2000と割当データ生成部 3000とは、単一の半導体集積回 路上に実現されてもよい。
[0111] また、画像復号部 (4000等）は、それぞれ異なる半導体集積回路で実現され、セグ メントデータ量 Z特徴情報検出手段 101、属性情報検出部 1000と割当決定部 200 0と割当データ生成部 3000とは、単一の半導体集積回路上に実現されてもよい。
(5)画像復号装置は、図 1の各構成要素の全部又は一部を、コンピュータのプロダラ ムで実現してもよ 、し、その他どのような形態で実施してもよ 、。
[0112] コンピュータプログラムの場合、メモリカード、 CD—ROMなどいかなる記録媒体に 書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネット ワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
(6)画像復号部（4000等）と画像記憶部（5000等）とは、 STB (Set Top Box)、 DVD レコーダのような個別のシステムで実現されてもよい。
[0113] また、割当データ蓄積部 8000は、ハードデイクス付 DVDレコーダなどのハードディ スクを装備する機器のハードディスクで実現されてもよい。
(7)実施形態では、スライス単位での割り当てをデータ量によって、ピクチャ単位の割 り当てをピクチャタイプによって行った力 これらや、これら以外の属性をあわせて、 データ量とタイプ等とで割り当てを決定してもよ 、。
(8)実施形態では、画像復号部の性能情報 2100として、演算能力とデータバンド幅 を使用することとしている力 他のものであってもよい。
[0114] また、実施形態では、使用可能な画像復号部の全てを使用しているが、一部であつ てもよく、更には、複数の画像データのビットストリームを復号することとしてもよい。 産業上の利用可能性
[0115] 本発明は、画像の復号処理を行う AV機器に適用することができる。

Claims

請求の範囲
[1] 符号化され、複数の部分データで構成されて!、る画像データを復号する画像復号 装置であって、
複数の復号器と、
前記部分データの復号処理時間に影響を及ぼす属性であって、当該部分データ のデータ量を少なくとも含む属性情報を取得する属性情報取得手段と、
前記属性情報取得手段で取得した部分データにっ 、ての属性情報に基づ 、て、 当該部分データを復号させる復号器を決定する決定手段と、
2以上の部分データを前記決定手段で決定した 2以上の復号器に並行して復号さ せる復号手段と
を備えることを特徴とする画像復号装置。
[2] 前記画像復号装置は、更に、前記複数の復号器それぞれの処理能力を取得する 処理能力取得手段を備え、
前記決定手段は、前記属性情報取得手段で取得した部分データにっ 、ての属性 情報と前記処理能力取得手段で取得した各復号器の処理能力とに基づいて、当該 部分データを復号させる復号器を決定すること
を特徴とする請求項 1に記載の画像復号装置。
[3] 前記画像復号装置は、更に、前記決定手段で決定した復号器の識別子と当該復 号器で復号させる部分データの識別子とを対応付けた対応情報を記憶している対応 記憶手段を備え、
前記部分データの属性情報は、当該部分データを復号する際に、他の部分データ の復号結果を参照することが必要かを否かを示し、
前記決定手段は、属性情報が他の部分データの復号結果を参照することが必要で あることを示す部分データを復号させる復号器として、当該他の部分データを復号さ せる復号器より処理能力の高い復号器を決定し、
前記復号手段は、復号する部分データが他の部分データの復号結果を参照するこ とが必要なときは、前記対応情報の当該他の部分データが対応付けられている復号 器の出力結果を取得して、当該部分データを復号させること を特徴とする請求項 2に記載の画像復号装置。
[4] 前記復号手段は、属性情報が他の部分データの復号結果を参照することが必要で あることを示す部分データを復号する前に、当該他の部分データを復号させること を特徴とする請求項 3に記載の画像復号装置。
[5] 前記部分データの属性情報は、当該部分データのデータ量であり、
前記復号器の処理能力は、当該復号器が入力するデータのバンド幅であり、 前記決定手段は、他の部分データより大きいデータ量を属性情報とする部分デー タを復号させる復号器として、他の部分データを復号させる復号器よりバンド幅が広 い復号器を決定すること
を特徴とする請求項 4に記載の画像復号装置。
[6] 前記部分データは、前記画像データであるビットストリームの一部であって、ピクチ ャを構成するビット列であること
を特徴とする請求項 1に記載の画像復号装置。
[7] 前記部分データは、前記画像データであるビットストリームの一部であって、ピクチ ャの一部分を構成するビット列であること
を特徴とする請求項 1に記載の画像復号装置。
[8] 符号化され、複数の部分データで構成されて!ヽる画像データを復号する画像復号 装置で用いられる画像復号方法であって、
複数の復号器と、
前記部分データの復号処理時間に影響を及ぼす属性であって、当該部分データ のデータ量を少なくとも含む属性情報を取得する属性情報取得ステップと、
前記属性情報取得ステップで取得した部分データにっ 、ての属性情報に基づ 、 て、当該部分データを復号させる復号器を決定する決定ステップと、
2以上の部分データを前記決定ステップで決定した 2以上の復号器に並行して復 号させる復号ステップと
を備えることを特徴とする画像復号方法。
PCT/JP2007/060530 2006-05-24 2007-05-23 画像復号装置 WO2007136093A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07743964A EP2023637A4 (en) 2006-05-24 2007-05-23 IMAGE DECODING DEVICE
JP2008516718A JP5296535B2 (ja) 2006-05-24 2007-05-23 画像復号装置
US12/301,870 US9020047B2 (en) 2006-05-24 2007-05-23 Image decoding device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006143839 2006-05-24
JP2006-143839 2006-05-24

Publications (1)

Publication Number Publication Date
WO2007136093A1 true WO2007136093A1 (ja) 2007-11-29

Family

ID=38723403

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/060530 WO2007136093A1 (ja) 2006-05-24 2007-05-23 画像復号装置

Country Status (5)

Country Link
US (1) US9020047B2 (ja)
EP (2) EP2023637A4 (ja)
JP (1) JP5296535B2 (ja)
CN (1) CN101455085A (ja)
WO (1) WO2007136093A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008139708A1 (ja) * 2007-04-27 2008-11-20 Panasonic Corporation 画像復号装置、画像復号システム、画像復号方法、及び集積回路
JP2009065274A (ja) * 2007-09-04 2009-03-26 Sharp Corp 復号装置、デジタルテレビ装置、テレビ付き携帯電話、デジタルメディアプレーヤ、インターネットテレビ装置および復号方法
WO2012014471A1 (ja) * 2010-07-30 2012-02-02 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置および画像符号化方法
JP2012257316A (ja) * 2008-03-28 2012-12-27 Sharp Corp 復号方法、及び符号化方法
WO2015146646A1 (ja) * 2014-03-28 2015-10-01 ソニー株式会社 画像復号装置および方法
US9648317B2 (en) 2012-01-30 2017-05-09 Qualcomm Incorporated Method of coding video and storing video content
JP2022515946A (ja) * 2019-11-28 2022-02-24 ウキョン インフォメーション テクノロジー カンパニー リミテッド 並列フォレンジックマーキング装置及び方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020047B2 (en) * 2006-05-24 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image decoding device
US8462855B2 (en) * 2007-09-26 2013-06-11 Intel Corporation Method and apparatus for stream parsing and picture location
FR2951896A1 (fr) * 2009-10-23 2011-04-29 France Telecom Procede d'encapsulation de sous-flux de donnees, procede de desencapsulation et programmes d'ordinateur correspondants
JP2013512482A (ja) * 2009-11-24 2013-04-11 テレフオンアクチーボラゲット エル エム エリクソン（パブル） エンコード済みのテクスチャ要素ブロックについて使用することができるデコーディングシステムおよび方法
CN102104781B (zh) * 2009-12-18 2013-03-20 联咏科技股份有限公司 图像解码器
CN101840495A (zh) * 2010-05-25 2010-09-22 福建新大陆电脑股份有限公司 一种支持图像并行处理的条码解码装置
WO2012068489A1 (en) 2010-11-18 2012-05-24 Skyfire Labs, Inc. Client-selected network services
CN103583040B (zh) 2011-04-15 2017-03-15 欧朋软件爱尔兰有限责任公司 实时视频检测器
JP6080405B2 (ja) * 2012-06-29 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR102144881B1 (ko) * 2012-06-29 2020-08-14 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 비디오 처리를 위한 송신 장치 및 방법
TWI557744B (zh) * 2015-01-27 2016-11-11 緯創資通股份有限公司 資料儲存方法及嵌入式系統

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0685691A (ja) * 1992-09-03 1994-03-25 Toshiba Corp 圧縮符号化装置
JPH06225278A (ja) * 1992-09-23 1994-08-12 Daewoo Electron Co Ltd 並列構造を有する画像復号装置のための画像データ分割回路
JP2000050255A (ja) * 1998-07-28 2000-02-18 Toshiba Corp 画像復号化装置及び方法
JP2000261797A (ja) * 1999-03-04 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 並列ソフトウェア画像符号化方法、および並列ソフトウェア画像符号化プログラムを記録した記録媒体
JP2000295616A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体
JP2001119699A (ja) * 1999-10-19 2001-04-27 Victor Co Of Japan Ltd 画像復号装置及び画像復号方法
JP2005175997A (ja) * 2003-12-12 2005-06-30 Sony Corp 復号化装置、電子機器、コンピュータ、復号化方法、プログラム及び記録媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784631A (en) * 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US5510842A (en) * 1994-05-04 1996-04-23 Matsushita Electric Corporation Of America Parallel architecture for a high definition television video decoder having multiple independent frame memories
US5532744A (en) 1994-08-22 1996-07-02 Philips Electronics North America Corporation Method and apparatus for decoding digital video using parallel processing
EP0710033A3 (en) 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
US5623311A (en) 1994-10-28 1997-04-22 Matsushita Electric Corporation Of America MPEG video decoder having a high bandwidth memory
US5920352A (en) 1994-10-28 1999-07-06 Matsushita Electric Industrial Co., Ltd. Image memory storage system and method for a block oriented image processing system
US5767797A (en) * 1996-06-18 1998-06-16 Kabushiki Kaisha Toshiba High definition video decoding using multiple partition decoders
JPH10178644A (ja) 1996-12-18 1998-06-30 Sharp Corp 動画像復号装置
JP3217987B2 (ja) * 1997-03-31 2001-10-15 松下電器産業株式会社 動画像信号の復号方法および符号化方法
DE69801209T2 (de) * 1998-03-20 2001-11-08 Stmicroelectronics S.R.L., Agrate Brianza Hierarchischer rekursiver Bewegungsschätzer für Bewegtbildkodierer
US6263023B1 (en) * 1998-10-15 2001-07-17 International Business Machines Corporation High definition television decoder
US6275536B1 (en) 1999-06-23 2001-08-14 General Instrument Corporation Implementation architectures of a multi-channel MPEG video transcoder using multiple programmable processors
US7227589B1 (en) * 1999-12-22 2007-06-05 Intel Corporation Method and apparatus for video decoding on a multiprocessor system
EP1139669A1 (en) * 2000-03-28 2001-10-04 STMicroelectronics S.r.l. Coprocessor for motion estimation in digitised video sequence encoders
FR2811832B1 (fr) * 2000-07-13 2003-09-26 Canon Kk Procedes, dispositifs et appareils d'optimisation adaptative pour la transmission de signaux codes
US7072393B2 (en) * 2001-06-25 2006-07-04 International Business Machines Corporation Multiple parallel encoders and statistical analysis thereof for encoding a video sequence
US20030138045A1 (en) * 2002-01-18 2003-07-24 International Business Machines Corporation Video decoder with scalable architecture
CN1288915C (zh) * 2002-01-23 2006-12-06 诺基亚有限公司 视频序列的编码和解码方法及相关的视频编码器和解码器
US20030161395A1 (en) * 2002-02-28 2003-08-28 Byers Charles Calvin Method and apparatus for improving channel selection performance of compressed digital video systems
JP2004221900A (ja) * 2003-01-14 2004-08-05 Sony Corp 画像情報復号装置及び画像情報復号方法
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US7660469B2 (en) * 2003-10-30 2010-02-09 Nec Electronics Corporation Image decoding apparatus and image decoding method
JP4448714B2 (ja) * 2004-03-03 2010-04-14 パイオニア株式会社 デジタル画像信号復号化装置及び復号化方法
EP1578131A1 (en) * 2004-03-18 2005-09-21 STMicroelectronics S.r.l. Encoding/decoding methods and systems, computer program products therefor
US7936938B2 (en) * 2004-09-07 2011-05-03 Canon Kabushiki Kaisha Methods and devices for encoding a digital image signal and associated decoding methods and devices
JP2006101228A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 映像処理装置
WO2006076589A2 (en) * 2005-01-13 2006-07-20 Silicon Optix Inc. Rapid and smooth selection of compressed video programs
JP4502203B2 (ja) * 2005-03-17 2010-07-14 ルネサスエレクトロニクス株式会社 画像符号化装置、及び画像復号化装置
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US9020047B2 (en) * 2006-05-24 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image decoding device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0685691A (ja) * 1992-09-03 1994-03-25 Toshiba Corp 圧縮符号化装置
JPH06225278A (ja) * 1992-09-23 1994-08-12 Daewoo Electron Co Ltd 並列構造を有する画像復号装置のための画像データ分割回路
JP2000050255A (ja) * 1998-07-28 2000-02-18 Toshiba Corp 画像復号化装置及び方法
JP2000261797A (ja) * 1999-03-04 2000-09-22 Nippon Telegr & Teleph Corp <Ntt> 並列ソフトウェア画像符号化方法、および並列ソフトウェア画像符号化プログラムを記録した記録媒体
JP2000295616A (ja) * 1999-04-08 2000-10-20 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体
JP2001119699A (ja) * 1999-10-19 2001-04-27 Victor Co Of Japan Ltd 画像復号装置及び画像復号方法
JP2005175997A (ja) * 2003-12-12 2005-06-30 Sony Corp 復号化装置、電子機器、コンピュータ、復号化方法、プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2023637A4 *

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5324431B2 (ja) * 2007-04-27 2013-10-23 パナソニック株式会社 画像復号装置、画像復号システム、画像復号方法、及び集積回路
WO2008139708A1 (ja) * 2007-04-27 2008-11-20 Panasonic Corporation 画像復号装置、画像復号システム、画像復号方法、及び集積回路
US8724708B2 (en) 2007-04-27 2014-05-13 Panasonic Corporation Image decoding device, image decoding system, image decoding method, and integrated circuit
JP2009065274A (ja) * 2007-09-04 2009-03-26 Sharp Corp 復号装置、デジタルテレビ装置、テレビ付き携帯電話、デジタルメディアプレーヤ、インターネットテレビ装置および復号方法
US9473772B2 (en) 2008-03-28 2016-10-18 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9681144B2 (en) 2008-03-28 2017-06-13 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
JP2012257316A (ja) * 2008-03-28 2012-12-27 Sharp Corp 復号方法、及び符号化方法
US20140241438A1 (en) 2008-03-28 2014-08-28 Sharp Kabushiki Kaisha Methods, devices and systems for parallel video encoding and decoding
US8824541B2 (en) 2008-03-28 2014-09-02 Sharp Kabushiki Kaisha Methods, devices and systems for parallel video encoding and decoding
US10652585B2 (en) 2008-03-28 2020-05-12 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US11838558B2 (en) 2008-03-28 2023-12-05 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US11438634B2 (en) 2008-03-28 2022-09-06 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US10958943B2 (en) 2008-03-28 2021-03-23 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9503745B2 (en) 2008-03-28 2016-11-22 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US10284881B2 (en) 2008-03-28 2019-05-07 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9930369B2 (en) 2008-03-28 2018-03-27 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
US9681143B2 (en) 2008-03-28 2017-06-13 Dolby International Ab Methods, devices and systems for parallel video encoding and decoding
CN104270645B (zh) * 2008-03-28 2017-10-24 杜比国际公司 用于并行视频编码和解码的方法、设备和系统
JPWO2012014471A1 (ja) * 2010-07-30 2013-09-12 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置および画像符号化方法
WO2012014471A1 (ja) * 2010-07-30 2012-02-02 パナソニック株式会社 画像復号化装置、画像復号化方法、画像符号化装置および画像符号化方法
US9307260B2 (en) 2010-07-30 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, image decoding method, image coding apparatus, and image coding method
JP5656879B2 (ja) * 2010-07-30 2015-01-21 パナソニックＩｐマネジメント株式会社 画像復号化装置、画像復号化方法、画像符号化装置および画像符号化方法
US9648317B2 (en) 2012-01-30 2017-05-09 Qualcomm Incorporated Method of coding video and storing video content
US10958915B2 (en) 2012-01-30 2021-03-23 Qualcomm Incorporated Method of coding video and storing video content
JPWO2015146646A1 (ja) * 2014-03-28 2017-04-13 ソニー株式会社 画像復号装置および方法
US10298927B2 (en) 2014-03-28 2019-05-21 Sony Corporation Image decoding device and method
WO2015146646A1 (ja) * 2014-03-28 2015-10-01 ソニー株式会社 画像復号装置および方法
JP2022515946A (ja) * 2019-11-28 2022-02-24 ウキョン インフォメーション テクノロジー カンパニー リミテッド 並列フォレンジックマーキング装置及び方法

Also Published As

Publication number Publication date
CN101455085A (zh) 2009-06-10
EP2395757A1 (en) 2011-12-14
JP5296535B2 (ja) 2013-09-25
EP2023637A4 (en) 2010-06-16
US20100266049A1 (en) 2010-10-21
JPWO2007136093A1 (ja) 2009-10-01
EP2023637A1 (en) 2009-02-11
US9020047B2 (en) 2015-04-28

Similar Documents

Publication Publication Date Title
WO2007136093A1 (ja) 画像復号装置
EP0843485B1 (en) Video decoder with unified memory
US7342967B2 (en) System and method for enhancing performance of personal video recording (PVR) functions on hits digital video streams
RU2573257C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа
US20070030899A1 (en) Motion estimation apparatus
US8009741B2 (en) Command packet system and method supporting improved trick mode performance in video decoding systems
JPH104550A (ja) Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器
JP2011172243A (ja) 復号装置、および復号情報処理方法
JP6463041B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5869047B2 (ja) デジタルビデオデータを符号化するための方法
JP5324431B2 (ja) 画像復号装置、画像復号システム、画像復号方法、及び集積回路
JP2000295616A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム記録媒体
JPH07503343A (ja) ディジタル・ビデオ処理システムにおけるエラーを隠す装置
KR20020026250A (ko) 비디오 신호 인코딩 및 버퍼 관리
JP2009010649A (ja) スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置
US20070242749A1 (en) Image frame compression of video stream with fast random accessing and decompressing
TWI439137B (zh) 重建一圖像群以在該圖像群中隨機存取之方法及裝置
JP6197708B2 (ja) 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
JP4906197B2 (ja) 復号装置および方法、並びに記録媒体
US20050259752A1 (en) Apparatus for and method of image processing and output, and computer product
US6459736B1 (en) Moving picture decoding apparatus and method
JP2010200019A (ja) 画像符号化装置、画像符号化方法及び集積回路
JPH1093917A (ja) 画像処理装置
JP2007304797A (ja) データアクセス回路、デコード装置、情報再生装置及び電子機器
JP2005229423A (ja) 逆直交変換装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780018867.8

Country of ref document: CN

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07743964

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008516718

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007743964

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12301870

Country of ref document: US