WO2008072452A1 - 動画像復号化装置、半導体装置、映像機器および動画像復号化方法 - Google Patents

動画像復号化装置、半導体装置、映像機器および動画像復号化方法 Download PDF

Info

Publication number
WO2008072452A1
WO2008072452A1 PCT/JP2007/072505 JP2007072505W WO2008072452A1 WO 2008072452 A1 WO2008072452 A1 WO 2008072452A1 JP 2007072505 W JP2007072505 W JP 2007072505W WO 2008072452 A1 WO2008072452 A1 WO 2008072452A1
Authority
WO
WIPO (PCT)
Prior art keywords
header
header information
compressed image
picture
image data
Prior art date
Application number
PCT/JP2007/072505
Other languages
English (en)
French (fr)
Inventor
Masaki Minami
Shigeki Fujii
Kozo Kimura
Kosuke Yoshioka
Makoto Yasuda
Original Assignee
Panasonic Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corporation filed Critical Panasonic Corporation
Priority to EP07832235A priority Critical patent/EP2094015A4/en
Priority to US12/518,527 priority patent/US20100021142A1/en
Priority to JP2008505687A priority patent/JP4664406B2/ja
Publication of WO2008072452A1 publication Critical patent/WO2008072452A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • Moving picture decoding apparatus semiconductor device, video equipment, and moving picture decoding method
  • the present invention relates to a moving picture decoding apparatus that decodes a stream including header information and compressed image data, and in particular, a moving picture having a processor that analyzes header information and a decoder that decodes compressed image data.
  • the present invention relates to a decoding device and the like. Background art
  • CAVLC Context-Adaptive Variable Length Coding
  • CABAC Context-Adaptive Binary
  • Arithmetic Coding context adaptive binary arithmetic coding
  • the context adaptive type is a method that adaptively selects an efficient coding method according to surrounding conditions.
  • the complexity of variable-length encoding and variable-length decoding is increasing.
  • FIG. 1 is a block diagram showing a configuration of a video decoding device in the prior art.
  • the moving picture decoding apparatus in the figure includes a first buffer memory 901, a preprocessing unit 902, a second buffer memory 903, a post processing unit 904, and a frame memory 905, and decodes a stream in two stages of preprocessing and postprocessing. To do.
  • a stream including header information and compressed image data and to which CABAC is applied is input to the first buffer memory 901.
  • the pre-processing unit 902 performs CABAD (Context-Adaptive Binary Arithmetic Decoding), and stores the stream in a state where CABAC is solved in the second buffer memory 903. Since the amount of CABAD processing is large, a certain amount of stream is stored in the second buffer memory 903. [0006]
  • the post-processing unit 904 analyzes a header information in the stream stored in the second buffer memory 903, extracts various parameters, and performs an inverse quantization process according to the extracted various parameters.
  • a decoding unit 911 that performs inverse orthogonal transform processing, motion compensation, and the like (for example, Non-Patent Document 1). The picture thus decoded is stored in the frame memory 905.
  • Non-Patent Document 1 “Consumer Media Processor“ Media Core Processor ”Real-time Processing with Software”, Matsushita Technical Journal, Vol. 45 No. 2 April 1999 Disclosure of Invention
  • FIG. 2A is an explanatory diagram showing an example of a stream.
  • a stream can be viewed as a collection of units called NAL (Network Abstraction Layer) units.
  • NAL units such as aiPcs (Sequence Parameter set ⁇ > ⁇ ⁇ (Supplemental dnhancement Information), PPS (Picture Parameter Set), Slice SL (Slice), etc.
  • SPS unit, SEI Unit and PPS unit are included in the header information SL is included in the compressed image data
  • the NAL unit may enter the middle of the compressed image data as header information.
  • PPS unit is in between.
  • FIG. 2B is a diagram showing the timing of header analysis and decoding processing in the prior art.
  • header analysis unit 910 and decoding processing by the decoding unit 911 are sequentially performed.
  • waiting time occurs in both the header analysis unit 910 and the decryption unit 911, and the processing time required for decryption increases.
  • FIG. 3 is a block diagram showing a configuration of a moving picture decoding apparatus corresponding to two streams in the prior art. This figure corresponds to the post-processing unit 904 in FIG.
  • the header analysis unit 910 is commonly used for header analysis of 2-channel streams.
  • Decryptors 91 1a and 91 lb This corresponds to a stream of one channel.
  • FIG. 4 is a diagram illustrating an example of a 2-channel stream. As shown in the figure, because PPS units are included between slice unit groups, NAL units as header information from two-channel streams may overlap at the same timing (hi ⁇ ! 3 in the figure).
  • FIG. 5 is a diagram showing the timing of header analysis and decoding processing of the 2-channel stream of FIG.
  • the CPU in the figure indicates the header analysis unit 910.
  • the shared CPU cannot perform header analysis at the same time, so a waiting time occurs on one side.
  • header analysis cannot be performed at the timing of stream 1 and stream 2 in the figure.
  • header analysis and decoding processing are performed at the timing of stream 1 and stream 2 ′.
  • a waiting time is generated even when a two-channel stream is decoded simultaneously by using a common header analysis unit.
  • the present invention relates to a moving picture decoding apparatus, a video, and the like that reduce a waiting time generated in a header analysis unit that analyzes header information and a decoding unit that decodes compressed image data, thereby shortening a decoding processing time.
  • Device, semiconductor device, and moving picture decoding method that reduce a waiting time generated in a header analysis unit that analyzes header information and a decoding unit that decodes compressed image data, thereby shortening a decoding processing time.
  • a moving picture decoding apparatus is a moving picture decoding apparatus that decodes a stream including header information and compressed image data, and includes header information and compression in the stream.
  • Discriminating means for discriminating image data, header information storing means for temporarily storing header information discriminated by the discriminating means, and an address of the header information storing means, indicating the end of the header information in one picture
  • the header address storage means for storing the header end address, the compressed image storage means for temporarily storing the compressed image data determined by the determination means, and the address of the compressed image storage means are one picture.
  • header analysis means For storing the end address of the image indicating the end of the compressed image data in Image address storage means, header analysis means for analyzing header information for each picture based on the header end address !, and for each picture based on the analysis result by the header analysis means and the image end address And a decoding means for decoding the compressed image data, and the header analysis means analyzes header information of a picture next to the picture decoded by the decoding means.
  • the moving picture decoding apparatus further stores header information in the header information storage unit, stores a header end address in the header address storage unit, and compresses according to the determination result by the determination unit.
  • Storage control means for controlling storage of compressed image data in the image storage means and storage of the image end address in the image address storage means, and header information corresponding to one picture from the header information storage means according to the header end address Is read, and the read header information is supplied to the header analysis means, the compressed image data corresponding to one picture is read from the compressed image storage means according to the image end address, and the read compressed image data is supplied to the decoding means.
  • Means may be provided.
  • the header information and the compressed image data are stored separately in the header information storage means and the compressed image storage means, instead of storing the header information and the compressed image data in one buffer memory in the order of arrangement in the stream.
  • header information and compressed image data can be read from the header information storage means and the compressed image storage means without depending on the order of arrangement in the stream, parallelization by pipeline processing can be easily realized. , The waiting time can be reduced.
  • header end address and the image end address facilitate reading out the header information and the compressed image information independent of the arrangement order in the stream.
  • the moving picture decoding apparatus further includes a dividing unit that divides a slice unit included in the compressed image data into a slice header and slice data, and the header information and the division determined by the determining unit.
  • the slice header divided into the means is stored in the header information storage means, the compressed image data and the slice data are stored in the compressed image storage means, and the header address storage means and the image address storage means are updated with the storage.
  • a control means e.g., the header analysis unit analyzes the slice header, which is not processed by the decoding unit, and the slice header and the slice data are both processed.
  • the decoding means decodes the slice data. In other words, since the slice header analysis and the slice data decoding process can be pipelined, the performance can be improved.
  • the determination unit further determines a plurality of types of headers included in the header information
  • the header information storage unit includes a plurality of storage areas corresponding to the types of headers included in the header information.
  • the moving picture decoding apparatus further stores the header discriminated by the discriminating means in a storage area corresponding to the type, and sets the header end address of the header existing at the end of one picture for each header type to the header.
  • the header corresponding to one picture is read from the header information storage means for each header type according to the storage control means stored in the address storage means and the end address for each header type, and the read header is supplied to the header analysis means.
  • the compressed image data corresponding to one picture is read from the compressed image storage means according to the image end address, and the read compressed image data is decoded. It may be provided with a readings out control means for supplying. According to this configuration, it is easy to omit header analysis for a type of header that is not essential for the decoding process. For example, there are header types that do not need to be analyzed, depending on the specifications of the video equipment on which the video decoding device is installed and the status of the requested decoding process. Depending on the situation, unnecessary types of headers do not even need to be individually identified, and can be simplified by skipping the storage area.
  • the moving picture decoding apparatus is further stored in a header information storage unit and a detection unit that detects the end of header information in a picture and the end of compressed image data in a picture.
  • An end mark is added to the end of the detected header information with respect to the header information, and an end mark is added to the end position of the detected compressed image data with respect to the compressed image data stored in the compressed image storage means. You may make it provide the addition means to add.
  • the moving picture decoding apparatus is further stored in a header information storage means, a detection means for detecting the end of the header of the same kind in the picture and the end of the compressed image data in the picture.
  • a detection means for detecting the end of the header of the same kind in the picture and the end of the compressed image data in the picture.
  • an end mark is added to the end of the header information of the same type in the picture for each header type, and the compressed image data in the picture is compared with the compressed image data stored in the compressed image storage means.
  • the adding means further adds an end mark to the end of the same kind of header information in the picture for each header type, and compresses the header information stored in the header information storage means.
  • An end mark may be added to the end of the compressed image data in the picture with respect to the compressed image data stored in the image storage means. According to this configuration, an end mark is added to the end of the header information in the picture, and an end mark is added to the end of the compressed image data in the picture. Therefore, it is necessary to always check the end of the picture by address comparison. From the header information storage means and the compressed image storage means, the header analysis and decoding process can proceed in sequence until the mark is read out. As a result, the processing load can be reduced and the processing efficiency can be improved.
  • the discriminating unit discriminates the header information and the compressed image data in the stream for each of the streams of the plurality of channels
  • the video decoding device further includes a header in the picture.
  • Detection means for detecting the end of the information and the end of the compressed image data in the picture, and determination means for determining whether or not the current picture determined by the determination means and the next picture belong to different streams If it is determined that the stream belongs to a different stream, a mark indicating the channel change is added to the header information stored in the header information storage means at the end of the detected header information, and the compressed image storage means And adding means for adding a mark indicating channel change to the position of the end of the detected compressed image data. I even! /,.
  • the discriminating unit discriminates the header information and the compressed image data in the stream for each of the streams of the plurality of channels
  • the moving picture decoding apparatus further includes the same kind in the picture. Detecting means for detecting the end of the header of the image and the end of the compressed image data in the picture, and determining means for determining whether the current picture and the next picture determined by the determining means belong to different streams If the header information stored in the header information storage means is determined to belong to a different stream, the channel change is indicated at the end of the same type of header information in the picture for each header type. Adds a mark indicating the channel change to the end of the compressed image data in the picture to the compressed image data stored in the compressed image storage means. It is provided a stage not good.
  • the mark indicating the channel in units of pictures is compressed image storage means.
  • the compressed image storage means is shared by the two streams, and the header information storage unit is also shared by the two-channel streams.
  • the power S it is possible to use the power S to decode the two streams while switching at least the picture as a unit.
  • the discriminating unit discriminates header information and compressed image data for each of the streams of a plurality of channels
  • the image address storage means has a plurality of storage areas corresponding to the plurality of channels, respectively
  • the video decoding device further includes a plurality of detection means and addition means corresponding to the plurality of channels, Each detection means detects the end of the header information in the picture and the end of the compressed image data in the picture in the corresponding channel stream, and each addition means is stored in the storage area of the corresponding channel.
  • An end mark is added to the end of the detected header information and the compressed image stored in the corresponding channel storage area To the data, at the end of the detected position of the compressed image data may be provided and adding means for adding end mark. According to this configuration, it is possible to switch the decoding process of a stream of a plurality of channels in units of pictures.
  • the moving picture decoding apparatus further includes slice discriminating means for discriminating the first slice unit included in the picture, and the adding means further includes the step of discriminating the first slice unit.
  • a start mark indicating that the first slice unit has appeared may be added to the header information stored in the header information storage means.
  • the moving picture decoding apparatus further includes a temporary storage means for temporarily storing a stream input from the outside, and the determination means for the stream stored in the temporary storage means.
  • An arithmetic decoding unit that performs arithmetic decoding as preprocessing, and a determination unit that determines header information and compressed image data for the arithmetic decoded stream may be provided.
  • the discriminating means also performs arithmetic decoding as preprocessing, and header analysis
  • the means and the decoding means perform header analysis and decoding processing as post-processing. As a result, the two-stage video decoding process can be performed efficiently.
  • the semiconductor device, video equipment, and moving picture decoding method of the present invention also have the same configuration, operation, and effect as described above.
  • header information and compressed image data can be read without depending on the order of arrangement in the stream, parallelization by pipeline processing can be easily realized, and waiting time is reduced. can do.
  • the end of the picture, the start position of the first slice, the switching position of a plurality of streams, and the like can be easily determined during header analysis and decoding processing.
  • FIG. 1 is a block diagram showing a configuration of a video decoding device in the prior art.
  • FIG. 2A is an explanatory diagram showing an example of a stream.
  • FIG. 2B is a diagram showing the timing of header analysis and decoding processing in the prior art.
  • FIG. 3 is a block diagram showing a configuration of a moving picture decoding apparatus corresponding to two streams in the prior art.
  • FIG. 4 is a diagram showing an example of a 2-channel stream.
  • FIG. 5 is a diagram illustrating the timing of header analysis and decoding processing of a 2-channel stream.
  • FIG. 6 is a block diagram showing a configuration of the moving picture decoding apparatus in the first embodiment.
  • FIG. 7 is an explanatory diagram showing a schematic operation of the moving picture decoding apparatus.
  • FIG. 8 is a flowchart showing storage control in the second buffer memory.
  • Fig. 9 is a block diagram showing a configuration of a video decoding apparatus in the second embodiment.
  • FIG. 10 is an explanatory diagram showing an operation of the video decoding device.
  • FIG. 11 is a block diagram showing a configuration of a moving picture decoding apparatus according to Embodiment 3.
  • FIG. 12 is a block diagram showing a configuration example of the header information storage unit.
  • FIG. 13 is a block diagram showing a configuration of a HEA storage unit.
  • FIG. 14 is an explanatory diagram showing a schematic operation of the moving picture decoding apparatus.
  • FIG. 15 is a flowchart showing storage control processing to the second buffer memory.
  • FIG. 16 is a flowchart showing a read control process of the header information storage unit 151 in the read control unit.
  • FIG. 17 is a block diagram showing a configuration of a moving picture decoding apparatus according to Embodiment 4.
  • FIG. 18 is an explanatory diagram of a stream to which an end mark in the header information storage unit is added.
  • FIG. 19 is a block diagram showing a configuration of a moving picture decoding apparatus according to Embodiment 5.
  • FIG. 20 is an explanatory diagram of a stream to which a channel mark in the header information storage unit is added.
  • FIG. 21 is an explanatory diagram showing a two-stream decoding operation in the video decoding device.
  • FIG. 22 is a block diagram showing a configuration of the moving picture decoding apparatus according to the sixth embodiment.
  • FIG. 23 is an explanatory diagram showing a schematic operation of the moving picture decoding apparatus.
  • FIG. 24 is a diagram showing a specific example of a stream stored in the second buffer memory.
  • FIG. 25 is a diagram showing a configuration of video equipment including the moving picture decoding apparatus in the seventh embodiment. Explanation of symbols
  • the moving picture decoding apparatus discriminates header information and compressed image data in a stream, stores the discriminated header information in a header information storage unit, and converts the discriminated compressed image data into a compressed image. Store in the storage. Thereby, the header information and the compressed image information can be read without depending on the arrangement order in the stream. As a result, the header information and the compressed image data from the header information storage unit and the compressed image storage unit can be easily parallelized by the noise line processing, and the waiting time S can be reduced.
  • the moving picture decoding apparatus includes a header address storage unit and an image address storage unit.
  • the header address storage unit is an address of the header information storage unit, and stores a header end address indicating the end of header information in one picture.
  • the image address storage unit is an address of the compressed image storage unit, and stores an image end address indicating the end of the compressed image data in one picture. The header end address and the image end address facilitate reading out the header information and the compressed image information independent of the arrangement order in the stream.
  • FIG. 6 is a block diagram showing a configuration of the moving picture decoding apparatus in the first embodiment.
  • the moving picture decoding apparatus shown in the figure includes a first buffer memory 110, a first decoder 120, a storage control unit 130, a second buffer memory 140, and a second decoder 200. Preprocessing by the first decoder 120 and a second decoder The stream is decoded in two stages of post-processing by 200.
  • the second buffer memory 140 also stores a header information storage unit 150, a header end address (hereinafter abbreviated as HEA) storage unit 160, a compressed image storage unit 170, and a compressed image data end address (hereinafter abbreviated as DEA). Part; 180.
  • HEA header end address
  • DEA compressed image data end address
  • the first buffer memory 110 is a buffer memory that temporarily stores a stream to which CABAC is applied, including header information and compressed image data.
  • the first buffer memory 110 may receive a stream to which CAVLC is applied instead of CABAC.
  • the first decoder 120 performs CABAD (Context-Adaptive Binary Arithmetic Decoding) on the stream stored in the first buffer memory 110.
  • the first decoder 120 also has a function as a discrimination means. That is, the header information and the compressed image data included in the stream with the CABAC solved are discriminated.
  • the storage control unit 130 determines the header information storage unit according to the determination result by the first decoder 120. 150 header information storage, HEA storage section 160 header end address storage, compressed image storage section 170 compressed image data storage, and DEA storage section 180 image end address storage. Control.
  • the second buffer memory 140 has a header information storage unit 150 and a compressed image storage unit 170 as areas for separately storing header information and compressed image data in the stream.
  • the second buffer memory 140 has an HEA storage unit as an area for managing addresses thereof.
  • the header information storage unit 150 temporarily stores the header information according to the control of the storage control unit 130.
  • the HEA storage unit 160 stores the header end address indicating the end of the header information in one picture, which is the address of the header information storage unit 150, under the control of the storage control unit 130.
  • the compressed image storage unit 170 temporarily stores the compressed image data according to the control of the storage control unit 130.
  • the DEA storage unit 180 is an address of the compressed image storage unit 170 according to the control of the storage control unit 130, and stores an image end address indicating the end of the compressed image data in one picture.
  • the second decoder 200 includes a header analysis unit 210 and a decoding unit 220.
  • the second decoder 200 reads out header information corresponding to one picture from the header information storage unit 150 according to the header end address, and supplies the read header information to the header analysis unit 210. Also, the second decoder 200 reads compressed image data corresponding to one picture from the compressed image storage unit 170 according to the image end address, and supplies the read compressed image data to the decoding unit 220.
  • the header analysis unit 210 extracts various parameters by analyzing the header information in the stream stored in the header information storage unit 150 in units of pictures.
  • Decoding section 220 performs inverse quantization processing, inverse orthogonal transform processing, motion compensation, filtering, and the like according to various parameters extracted by header analysis section 210.
  • the picture decoded in this way is output to the frame memory 905.
  • FIG. 7 is an explanatory diagram showing a schematic operation of the video decoding device.
  • NAL Network Abstraction Layer
  • NAL units include SPS (Sequence Parameter Set), SEl (Supplemental bnhancement Inrormation), PP ⁇ (Picture Parameter 3 ⁇ 4et), Swiss SL (Slice), etc.
  • SPS unit, SEI unit, PPS unit The SL unit is included in the compressed image data
  • the NAL unit as header information may enter the middle of the compressed image data (slice SL group). There is a PPS unit between the slice units.
  • the middle part of the figure shows a state in which the header information and the compressed image data included in the stream in the upper part of the figure are separately stored in the second buffer memory 140.
  • the header information storage unit 150 stores NAL units constituting header information such as SPS, SEI, PPS '.
  • HEA head end address
  • SPS SPS
  • SEI SEI
  • PPS ' PPS '
  • the compressed image storage unit 170 is stored as a NAL unit in which the SL unit group constitutes the compressed image data.
  • the DEA image end address
  • the DEA storage unit 180 indicates the end of the compressed image data in the picture.
  • the lower part of the figure shows the processing order of the header analysis unit 210 and the decoding part 220 for the header information and compressed image data shown in the middle part of the figure.
  • the header analysis unit 210 finishes the header analysis of the four NAL units (SPS, SEI, PPS, PPS) of the first picture.
  • the decoding unit 220 uses the various parameter groups obtained as the analysis results to Decodes the compressed image data (four SL units) of the picture.
  • the header analysis unit 210 performs a header analysis process of the next picture.
  • the header analysis unit 210 and the decoding unit 220 perform the header analysis and the image decoding process in parallel as pipeline processing, the processing waiting time can be reduced.
  • FIG. 8 is a flowchart showing storage control in the second buffer memory 140.
  • the figure shows the processing that is performed each time a NAL unit is input from the first decoder 120 to the storage control unit 130.
  • NAL unit is slice or not, (compression of compressed image data or header information (S32) and whether to switch pictures (whether NAL unit at the end of a picture)) (S33) and whether or not EOS (End Of Stream) or not (whether or not it is the last NAL unit of the picture) is determined by the first decoder 120.
  • the storage control unit 130 When the NAL unit is input from the first decoder 120, according to the above determination result, if the NAL unit is not a slice (SL unit), it is stored in the header information storage unit 150 (S32 ⁇ S37), and the NAL unit is sliced. (SL unit), it is stored in the compressed image storage unit 170, and if the picture is switched, the HEA and DEA are stored in the HEA storage unit 160 and the DEA storage unit 180.
  • the storage control unit 130 EOS (the last NAL unit of the picture If the updates the write pointer to the header information storage unit 150 and the compressed image SL ⁇ 170 (wp) for the next new picture.
  • the moving picture decoding apparatus in the present embodiment it is possible to read the header information and the compressed image information without depending on the order of arrangement in the stream.
  • the header information and the compressed image data from the header information storage unit and the compressed image storage unit can be easily parallelized by pipeline processing, and the waiting time can be reduced.
  • the header end address and the image end address make it easy to read header information and compressed image information independent of the order of arrangement in the stream.
  • the moving picture decoding apparatus in the present embodiment divides the slice unit included in the compressed image data into a slice header and slice data, and the slice header
  • the header information is stored in the header information storage unit
  • the slice data is stored in the compressed image storage unit as compressed image data.
  • the header analysis unit analyzes the slice header that does not process both the slice header and the slice data by the decoding unit, and the decoding unit decodes the slice data.
  • the slice header analysis and the slice data decoding process can be pipelined, the performance can be further improved.
  • FIG. 9 is a block diagram showing a configuration of the video decoding apparatus in the second embodiment.
  • the moving picture decoding apparatus in the figure is different from the moving picture decoding apparatus in FIG. 6 in that a dividing unit 125 is mainly added. Since the same reference numerals are given to the same components, the same points will be described below with the description omitted.
  • the dividing unit 125 receives the slice unit from the first decoder 120, divides the slice unit into a slice header and slice data, and outputs the slice header and slice data to the storage control unit 130.
  • the storage control unit 130 stores the slice header from the dividing unit 125 in the header information storage unit 150 in the same manner as other header information, and stores the slice data in the compressed image storage unit 170 as compressed image data. .
  • the slice header and the slice data are stored in the second buffer memory 140 separately.
  • FIG. 10 is an explanatory diagram showing the operation of the video decoding device.
  • the first row from the top in FIG. 10 shows an example of a stream in the first buffer memory 110, and since it has already been described in the top row in FIG. 7, it is omitted.
  • SL represents a slice unit before division
  • Sh represents a slice header after division by the division unit 125
  • Sd represents slice data after division by the division unit 125.
  • the header information storage unit 150 also stores a slice header Sh.
  • the HEA (header end address) of the HEA storage unit 1 60 indicates the end of header information for one picture including the slice header.
  • the compressed image storage unit 170 holds slice data Sd excluding the slice header Sh.
  • the DEA in the DEA storage unit 180 indicates the end of the slice data Sd for one picture.
  • the third row from the top in FIG. 10 shows the processing order of the header analysis unit 210 and the decoding unit 220 for the header information and compressed image data shown in the second row.
  • the analysis processing of the slice header by the header analysis unit 210 and the decoding processing of the slice data by the decoding unit 220 are further parallelized by pipeline processing!
  • the performance can be further improved. it can.
  • NAL units are buffered separately for each header type (that is, NAL unit type) included in the header information. Store. Furthermore, the moving picture decoding apparatus according to the present embodiment determines the type of the NAL unit and stores it in a storage area corresponding to the determined type. For each header type, the end address of the last NAL unit of one picture is stored in the header address storage unit. It is easy to omit the header analysis for each type of header! /, Which is not essential for the decryption process.
  • FIG. 11 is a block diagram showing a configuration of the moving picture decoding apparatus in the third embodiment.
  • the moving picture decoding apparatus of FIG. 6 has a storage control section 131 instead of the storage control section 130 and a second buffer memory 1 41 instead of the second buffer memory 140.
  • the second buffer memory 141 includes a header information storage unit 151 instead of the header information storage unit 150 and a HEA storage unit 161 instead of the HEA storage unit 160, as compared with the second buffer memory 140. Since the same components are denoted by the same reference numerals, the same points will be omitted below and the description will focus on the different points.
  • the second buffer memory 141 is configured to store the NAL unit in an area corresponding to the type.
  • the header information storage unit 151 has the same number of storage areas as the types of NAL units.
  • the HEA storage unit 161 stores the same number of HEAs as the types of NAL units.
  • the storage control unit 131 corresponds to the type of the plurality of storage areas of the header information storage unit 151 according to the type of header (that is, the type of NAL unit) input from the first decoder 120. Store the NAL unit in. Further, the storage control unit 131 stores HEA (header end address) for each type of NAL unit in the HEA storage unit 161. The rest is the same as the storage control unit 130.
  • HEA header end address
  • the header information storage unit has a plurality of storage areas corresponding to the types of headers included in the header information
  • FIG. 12 is a block diagram showing a configuration example of the header information storage unit 151.
  • a compressed image storage unit 170 is also shown.
  • the header information storage unit 151 includes an SPS storage area 152, an SEI storage area 153, and a PPS storage area 154.
  • the header information storage unit 151 has a storage area for each type of NAL unit.
  • the same type of NAL unit is stored in the memory area.
  • the compressed image storage unit 170 has an SL storage area 155 and an EOS storage area 156.
  • FIG. 13 is a block diagram showing a configuration of HEA storage unit 160.
  • a DEA storage unit 180 is also shown.
  • HEA (SPS) is the end address of the last SPS in the picture stored in the SPS storage area 152, and is used as the write pointer wp for SPS.
  • HEA (SEI), HEA (PPS), and DEA (SU, DEA (EOS) are the same except for the corresponding storage area.
  • DEA (EOS) indicates the last NAL unit of the stream or sequence.
  • PEL [1] is a picture 'end' list corresponding to one picture.
  • FIG. 14 is an explanatory diagram showing a schematic operation of the video decoding device.
  • the first row from the top in FIG. 14 is the same stream example as the top row in FIG. 14
  • the second row from the top in FIG. 14 shows a state in which the NAL units that make up the stream and the upper row in FIG. 7 are stored in the header information storage unit 151.
  • the third and fourth stages from the top in Fig. 14 show header analysis and decoding processes that can be switched by the video decoding apparatus.
  • the third row shows the same processing as the lower row in FIG.
  • the fourth row shows the processing in which reading of SEI is omitted.
  • header types that do not need to be analyzed depending on the specifications of the video equipment on which the video decoding device is installed and the status of the requested decoding process.
  • SEI is a parameter class related to the display of moving images, and it is not always necessary to display moving images according to the SEI, so it may be an unnecessary type of header depending on the situation.
  • Fig. 142 it is only necessary to skip SEI storage area 153, so the reading process is simple. Can be.
  • FIG. 15 is a flowchart showing a storage control process for the second buffer memory 141.
  • the figure differs from FIG. 8 in that steps S100 and S101 are provided instead of step S37. Explanation of the same points is omitted, and different points will be mainly described below.
  • the NAL unit input from the first decoder 120 to the storage control unit 131 is not a slice unit, the NAL unit is stored in the storage area corresponding to the type (S100) of the NAL unit determined by the first decoder 120.
  • S 101 To header information storage unit 151
  • the write pointer wp must be managed for each storage area! /.
  • FIG. 16 is a flowchart showing the read control process of the header information storage unit 151 in the read control unit.
  • rp (j) indicates a read pointer for each storage area in the header information storage unit 151.
  • HEA (j) indicates the header end address for each storage area in the header information storage unit 151.
  • j 1, 2, 3, and 4 correspond to the SPS storage area 152, the SEI storage area 153, the PPS storage area 154, and the SL storage area 155.
  • rp (j) is repeated until H EA (j) of the target picture. (S113-S116).
  • the NAL unit is stored in the storage area for each type of NAL unit! /, Which is essential for the decoding process. This makes it easy to omit header analysis for non-type headers.
  • the moving picture decoding apparatus in the present embodiment includes each of a plurality of types of headers (a plurality of types of NAL units) stored in the header information storage unit. , And an end mark indicating the end of the same type of NAL unit in the picture is added to the compressed image data stored in the compressed image storage unit. Since an end mark is added to both header information and compressed image data, it is not necessary to check the end of the same type of NAL unit in the picture by address comparison. Both from the header information storage unit and the compressed image storage unit In order, the header analysis and decoding process can proceed in sequence until the end mark is read. As a result, the processing load can be reduced and the processing efficiency can be improved.
  • FIG. 17 is a block diagram showing the configuration of the moving picture decoding apparatus in the fourth embodiment.
  • the moving picture decoding apparatus in FIG. 11 includes a picture end determining unit 230 and a NAL end adding unit 240, and a read control unit 190. Instead, the difference is that a read control unit 191 is provided. Since the same components are denoted by the same reference numerals, the same points will be omitted below and the description will focus on the different points.
  • the picture end determination unit 230 determines whether the type of NAL unit is the NAL unit that appears last in the picture. In other words, the picture end determination unit 230 detects the end of the same type of NAL unit in the picture.
  • the NAL end adding unit 240 adds an end mark to the NAL unit stored in the header information storage unit 151.
  • the read control unit 191 sequentially starts from the header information storage unit 151 and the compressed image storage unit 170 so that it is not necessary to always check the end of the compressed image data in the picture by address comparison. Read up to the end mark.
  • FIG. 18 is an explanatory diagram of a stream to which end marks in the header information storage unit 151 are added. “End” in the figure represents an end mark. As shown in the figure, the end mark indicates the end of the same type of NAL unit in the picture for each of the storage areas 152 to; 155 for each type of NAL unit! /.
  • the compressed image storage unit 170 can be read in order until the end mark is read for each type of NAL unit, and the header information storage unit 151 can be read efficiently. Can do.
  • the moving picture decoding apparatus includes a header stored in the header information storage unit when the stream differs between the current picture and the next picture.
  • a header stored in the header information storage unit when the stream differs between the current picture and the next picture.
  • a channel mark indicating channel change is added to the end of the header information of the same type in the picture, and the compressed image data stored in the compressed image storage unit.
  • a channel mark indicating the channel change is added to the end of the compressed image data in the picture. .
  • the channel mark indicates the end of the same type of header in the picture, but rather the end of the same type of header in the current stream.
  • FIG. 19 is a block diagram showing a configuration of the moving picture decoding apparatus in the fifth embodiment.
  • the moving picture decoding apparatus in FIG. 17 includes a first buffer memory 111 instead of the first buffer memory 110, and a first decoding instead of the first decoder 120.
  • the difference is that a decoder 121 is provided and a channel determination unit 250 and a CH end adding unit 260 are added. Since the same components are denoted by the same reference numerals, the same points will be omitted below and the description will focus on the different points.
  • the first buffer memory 111 receives a 2-channel stream. Therefore, the first buffer memory 111 divides the internal storage area into two, a chl buffer and a ch2 buffer.
  • the first decoder 121 performs an arithmetic decoding process (CABAD) of a 2-channel stream and a discrimination process between header information and compressed image data. For example, the first decoder 121 reads the stream by switching between the chl buffer and the ch2 buffer in units of one picture or in units of several pictures.
  • CABAD arithmetic decoding process
  • the channel determination unit 250 detects the end of the same kind of header (that is, the NAL unit) in the picture and the end of the compressed image data (slice unit) in the picture, and also detects the current picture and the next It is determined whether the picture belongs to a different stream.
  • the CH end adding unit 260 applies a header (for header information stored in the header information storage unit 151). For each type of NAL unit), a channel mark indicating channel change is added to the end of the same type of NAL unit in the picture, and the compressed image data stored in the compressed image storage unit 170 A mark indicating the channel change is added to the end of the compressed image data.
  • FIG. 20 is an explanatory diagram of a stream to which a channel mark in the header information storage unit 151 is added. “Ch-e” in the figure represents a channel mark. The dotted line shows an example of reading NAL units belonging to the stream before switching. In this way, a plurality of streams that do not require a separate buffer for each stream can be mixed and temporarily stored in the header information storage unit 151.
  • FIG. 21 is an explanatory diagram showing a two-stream decoding operation in the video decoding device.
  • the lch and 2ch streams composed of a plurality of NAL units are classified into header information and compressed image data and stored in the header information storage unit. It is arranged in the same manner as the streams 1 and 2 shown in FIG. 4 before being stored in the header information storage unit 151.
  • CPU means the header analysis unit 210.
  • the header analysis unit 210 and the decoding unit 220 can read the header information and the compressed image data with a high degree of freedom without depending on the order of arrangement in the original stream, and parallelize by pipeline processing. Can be realized easily and the waiting time can be reduced.
  • the HEA storage unit 161 and the DEA storage unit 180 may not be provided.
  • the moving picture decoding apparatus determines the first slice unit included in the picture, and when determining the first slice unit, stores the header information storage. A start mark indicating that the first slice unit has appeared is added to the header information (for each type of NAL unit) stored in the section. According to this, when the slice unit exists in the middle of the header information in the stream, the decoding process of the first slice unit can be started before the analysis of all the header information in the picture is completed. Therefore, the decoding processing efficiency can be improved.
  • FIG. 22 is a block diagram showing a configuration of the moving picture decoding apparatus according to the sixth embodiment.
  • the video decoding device of FIG. 19 includes a first SL determination unit 270 and a SLstart adding unit 280 instead of the channel determination unit 250 and the CH end adding unit 260. Is different. Since the same components are denoted by the same reference numerals, the description of the same points will be omitted below, focusing on the differences.
  • First SL determination section 270 determines the first slice unit included in the picture.
  • the SLstart adding unit 280 stores the header information when the first slice unit is determined. A start mark indicating that the first slice unit has appeared is added to the header information stored in the means.
  • FIG. 23 is an explanatory diagram showing a schematic operation of the video decoding device.
  • the upper part of the figure shows the NAL unit constituting the header information and the NAL unit (slice unit SU constituting the compressed image data.
  • the header information and the compressed image data are separated into a buffer ( Since it is stored in the header information storage unit 151 and the compressed image storage unit 170), it is not known which header the first slice unit SL appears next to, so as shown in the upper part of FIG.
  • the decoding process of the first slice unit SL After analyzing the information, the decoding process of the first slice unit SL will be started, for example, if the first slice unit SL originally existed immediately after the PPS which is the third NAL unit, Even though the decoding process can be started after the completion of the header analysis of the NAL unit, the start wait status may continue.
  • the decoding process can be started at the lower timing of FIG.
  • FIG. 24 is a diagram showing a specific example of a stream stored in the second buffer memory.
  • “SLstart” in the figure represents a start mark added by the first SL determination unit 270.
  • the read control unit 191 supplies the slice unit SL to the decoding unit 220 when the start marks are aligned. Thereby, the decoding process of the first slice unit can be started at an early time point before the analysis of all the header information in the picture is completed.
  • FIG. 25 is a diagram illustrating a configuration of video equipment including the video decoding device according to the seventh embodiment.
  • the video equipment shown in the figure includes a double tuner 11, a stream input control unit 12, a video decoding device 13, an output control unit 14, and display devices 15 and 16, and is a digital transmission / reception tuner or DVD player / recorder.
  • the double tuner 11 has two tuners that receive the digital broadcast signal power program, and outputs the two streams as streams to the stream input control unit 12.
  • Two tuners have two screens It is for display or for receiving front and back programs.
  • the recording medium is a recording medium such as a DVD, and outputs a stream representing content such as a movie to the stream input control unit 12.
  • the stream input control unit 12 selects one or two streams and outputs the selected streams to the moving picture decoding apparatus 13.
  • the video decoding device 13 is any one of the video decoding devices shown in the above embodiments;!
  • the output control unit 14 displays one or two baseband moving image data as decoding results from the moving image decoding device 13 on the display devices 15 and 16.
  • the display devices 15 and 16 display two moving images simultaneously.
  • display device 1 display device 1
  • 5 and 16 may be a display area that divides the PDP TV screen into two parts, or two independent display panels.
  • the video equipment in the figure is not limited to a digital broadcast tuner or DVD player / recorder that does not support recording media.
  • it may be a mobile phone with a TV tuner that performs playback of a TV and playback of a stream recorded on a recording medium such as an SD card, or a similar PDA.
  • each functional block in the block diagrams shown in the above-described embodiments and the like is typically realized as an LSI which is an integrated circuit device.
  • This LSI may be made into one chip or a plurality of chips (for example, functional blocks other than memory may be made into one chip).
  • IC integrated circuit
  • system LSI super LSI
  • unroller LSI depending on the difference in power integration as LSI.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. You can use a Field Programmable Gate Array (FPGA) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and settings of circuit cells inside the LSI.
  • FPGA Field Programmable Gate Array
  • the unit for storing data may be configured separately as in the recording medium 115 of the present embodiment, without being integrated into one chip.
  • the image coding method or the image decoding method shown in the above embodiment can be used in any of the above-described devices and systems, and in this way, in the above embodiment. The described effect can be obtained.
  • the present invention is suitable for a moving picture decoding apparatus and video equipment, and particularly suitable for a moving picture recording / playback apparatus, a video camera, a TV camera, a digital broadcast tuner, a DVD player, a DVD recorder, a mobile phone, and the like. .

Abstract

　本発明の動画像復号化装置は、ストリーム中のヘッダ情報と圧縮画像データとを判別する判別部と、ヘッダ情報を一時的に記憶するヘッダ情報記憶部と、ヘッダ情報記憶部のアドレスであってヘッダ末尾アドレスを記憶するためのヘッダアドレス記憶部と、圧縮画像データを一時的に記憶する圧縮画像記憶部と、圧縮画像記憶部のアドレスであって画像末尾アドレスを記憶するための画像アドレス記憶部と、ヘッダ末尾アドレスに基づいて１ピクチャ毎にヘッダ情報を解析するヘッダ解析部と、解析結果および画像末尾アドレスに基づいて１ピクチャ毎に圧縮画像データを復号化する復号化部とを備え、ヘッダ解析部は、復号化部によって復号化されているピクチャの次のピクチャのヘッダ情報を解析する。

Description

明 細 書
動画像複号化装置、半導体装置、映像機器および動画像複号化方法 技術分野
[0001] 本発明は、ヘッダ情報と圧縮画像データとを含むストリームを復号化する動画像復 号化装置に関し、特にヘッダ情報を解析するプロセッサと圧縮画像データを復号す るデコーダとを有する動画像復号化装置等に関する。 背景技術
[0002] 近年、デジタル映像機器の技術進歩が著しぐ動画像の符号化/複号化を行なう 映像機器が広く普及している。そのような画像処理を行う場合、処理を分割し、複数 の処理部で並列的に動作する画像処理装置が多く使用されている。しかし、技術競 争の中で、それらの装置の処理性能やメモリ使用量の制限は厳しぐ尚且つ、技術 進歩により動画像復号化処理の複雑度は増して!/、る。
[0003] 例えば、 H. 264規格（MPEG— 4 AVC規格）では、可変長符号化の方式として CAVLC (Context-Adaptive Variable Length Coding :コンテキスト適応型可変長符 号化）と CABAC (Context -Adaptive Binary Arithmetic Coding :コンテキスト適応型 2 値算術符号化）の 2種類が選択可能になっている。コンテキスト適応型とは、周囲の 状況に応じて効率の良い符号化方式を適応的に選択する方式である。ただ、可変長 符号化処理および可変長復号化処理の複雑度は増している。
[0004] 図 1は、従来技術における動画像復号装置の構成を示すブロック図である。同図の 動画像復号装置は、第 1バッファメモリ 901、前処理部 902、第 2バッファメモリ 903、 後処理部 904およびフレームメモリ 905を備え、前処理と後処理の 2段階でストリーム を復号化する。
[0005] まず、ヘッダ情報と圧縮画像データとを含み CABACが適用されたストリームは第 1 バッファメモリ 901に入力される。前処理部 902は、 CABAD (Context-Adaptive Bin ary Arithmetic Decoding:コンテキスト適応型 2値算術復号化）を行い、 CABACが解 かれた状態のストリームを第 2バッファメモリ 903に格納する。 CABADの処理量が多 いため、第 2バッファメモリ 903には一定量のストリームが格納される。 [0006] 後処理部 904は、第 2バッファメモリ 903に格納されたストリーム中のヘッダ情報を 解析することにより各種パラメータを抽出するヘッダ解析部 910と、抽出された各種 パラメータに従って、逆量子化処理、逆直交変換処理、動き補償等を行なう復号化 部 91 1とを備える（例えば、非特許文献 1)。このようにして復号化されたピクチャはフ レームメモリ 905に格糸内される。
非特許文献 1：「ソフトウェアで実時間処理を実現した民生用メディア処理プロセッサ" Media Core Processor"] ,松下テクニカルジャーナル， Vol.45 No.2 1999年 4月 発明の開示
発明が解決しょうとする課題
[0007] 図面を用いて、発明が解決しょうとする課題について説明する。
[0008] 図 2Aは、ストリームの一例を示す説明図である。 H. 264規格では、ストリームは、 NAL(Network Abstraction Layer)ユニットと呼ばれる単位の集まりと見ることができる 。 NALユニット ίこ (ま、 aiPcs (Sequence Parameter set入≥>Ε丄 (Supplemental dnhanceme nt Information), PPS (Picture Parameter Set),スライス SL (Slice)等の種類がある。こ のうち、 SPSユニット、 SEIユニット、 PPSユニットはヘッダ情報に含まれる。 SLは圧 縮画像データに含まれる。 H. 264規格では、ヘッダ情報として NALユニットが圧縮 画像データの途中に入ることがある。同図ではスライスユニット群の間に PPSユニット が入っている。
[0009] 図 2Bは、従来技術におけるヘッダ解析と復号化処理のタイミングを示す図である。
同図のように、ヘッダ解析により抽出された各種パラメータはその後の復号化処理に 必要であり、ヘッダ解析部 910によるヘッダ解析と、復号化部 911による復号化処理 は、逐次行なわれる。その結果、ヘッダ解析部 910と復号化部 911の双方のところど ころに待ち時間が発生するという問題があり、復号化に要する処理時間が伸びてしま
5。
[0010] 同様の問題は、 2チャネルのストリームを同時に復号化する場合にも発生する。
[0011] 図 3は、従来技術における 2つのストリームに対応する動画像復号装置の構成を示 すブロック図である。同図は、図 1の後処理部 904に該当する。ヘッダ解析部 910は 2チャネルのストリームのヘッダ解析に共用される。復号化部 91 1a、 91 lbは、それぞ れ 1チャネルのストリームに対応する。
[0012] 図 4は、 2チャネルのストリーム例を示す図である。同図のように、スライスユニット群 の間に PPSユニットが入っているため、 2チャネルのストリームからのヘッダ情報として の NALユニットが同じタイミングで重なる場合が生じる（同図の hi〜！ 3)。
[0013] 図 5は、図 4の 2チャネルのストリームのヘッダ解析と復号化処理のタイミングを示す 図である。図中の CPUはヘッダ解析部 910を示す。ストリーム 1とストリーム 2のヘッダ 情報としての NALユニットが同じタイミングで重なる場合に、共用の CPUは同時にへ ッダ解析することができないので、一方に待ち時間が発生する。その結果、図中のス トリーム 1とストリーム 2のタイミングではヘッダ解析できず、例えば、ストリーム 1とストリ ーム 2'のタイミングでヘッダ解析および復号化処理を行なうことになる。このように、 共用のヘッダ解析部を用いて 2チャネルのストリームを同時に復号化する場合にも、 待ち時間が発生するという問題がある。
[0014] また、図 3においてヘッダ解析部（CPU)を 2つ備えれば、ストリーム 1とストリーム 2と を同じタイミングでもヘッダ解析することが可能になる力 回路面積増加というコストア ップを招くという問題がある。
[0015] 本発明は、ヘッダ情報を解析するヘッダ解析部と圧縮画像データを復号する復号 化部とに発生する待ち時間を低減し、復号化の処理時間を短縮する動画像復号化 装置、映像機器、半導体装置および動画像復号化方法を提供することを目的とする 課題を解決するための手段
[0016] 上記課題を解決するため本発明の動画像復号化装置は、ヘッダ情報と圧縮画像 データとを含むストリームを復号化する動画像復号化装置であって、前記ストリーム 中のヘッダ情報と圧縮画像データとを判別する判別手段と、判別手段によって判別 されたヘッダ情報を一時的に記憶するヘッダ情報記憶手段と、ヘッダ情報記憶手段 のアドレスであって、 1ピクチャ内のヘッダ情報の末尾を示すヘッダ末尾アドレスを記 憶するためのヘッダアドレス記憶手段と、判別手段によって判別された圧縮画像デ ータを一時的に記憶する圧縮画像記憶手段と、圧縮画像記憶手段のアドレスであつ て、 1ピクチャ内の圧縮画像データの末尾を示す画像末尾アドレスを記憶するための 画像アドレス記憶手段と、前記ヘッダ末尾アドレスに基づ!/、て 1ピクチャ毎にヘッダ情 報を解析するヘッダ解析手段と、ヘッダ解析手段による解析結果および前記画像末 尾アドレスに基づいて 1ピクチャ毎に圧縮画像データを復号化する復号化手段とを備 え、前記ヘッダ解析手段は、前記復号化手段によって復号化されているピクチヤの 次のピクチヤのヘッダ情報を解析する。
[0017] ここで、前記動画像復号化装置は、さらに、前記判別手段による判別結果に従って 、ヘッダ情報記憶手段へのヘッダ情報の格納と、ヘッダアドレス記憶手段へのヘッダ 末尾アドレスの格納と、圧縮画像記憶手段への圧縮画像データの格納と、画像アド レス記憶手段への画像末尾アドレスの格納とを制御する格納制御手段と、ヘッダ末 尾アドレスに従ってヘッダ情報記憶手段から 1ピクチャに対応するヘッダ情報を読み 出し、読み出したヘッダ情報をヘッダ解析手段に供給し、画像末尾アドレスに従って 圧縮画像記憶手段から 1ピクチャに対応する圧縮画像データを読み出し、読み出し た圧縮画像データを復号化手段に供給する読み出し制御手段とを備えるようにして もよい。この構成によれば、ヘッダ情報と圧縮画像データとを 1つのバッファメモリにス トリーム中の並び順の通りに格納するのではなぐヘッダ情報記憶手段と圧縮画像記 憶手段とに別々に格納する。その結果、ヘッダ情報記憶手段および圧縮画像記憶 手段からヘッダ情報および圧縮画像データをストリーム中の並び順に依存することな く読み出すことができるので、パイプライン処理による並列化を容易に実現することが でき、待ち時間を低減することができる。
[0018] また、ヘッダ末尾アドレスおよび画像末尾アドレスにより、ヘッダ情報および圧縮画 像情報のストリーム中の並び順に依存しない読み出しを容易にしている。
[0019] ここで、前記動画像復号化装置は、さらに、圧縮画像データに含まれるスライスュニ ットをスライスヘッダとスライスデータとに分割する分割手段と、前記判別手段に判別 されたヘッダ情報と分割手段に分割されたスライスヘッダとをヘッダ情報記憶手段に 格納し、圧縮画像データとスライスデータとを圧縮画像記憶手段に格納し、格納に伴 つてヘッダアドレス記憶手段および画像アドレス記憶手段を更新する格納制御手段 とを備えるようにしてもよい。この構成によれば、スライスヘッダとスライスデータの両 者を復号化手段で処理するのではなぐスライスヘッダをヘッダ解析手段が解析し、 スライスデータを復号化手段が復号する。つまり、スライスヘッダの解析と、スライスデ 一タの復号化処理とをパイプライン処理できるので、性能を向上させることができる。
[0020] ここで、前記判別手段は、さらに、ヘッダ情報に含まれる複数種類のヘッダを判別し 、前記ヘッダ情報記憶手段は、ヘッダ情報に含まれるヘッダの種類に対応する複数 の記憶領域を有し、前記動画像復号化装置は、さらに、前記判別手段に判別された ヘッダをその種類に対応する記憶領域に格納し、ヘッダの種類毎に 1ピクチャの末尾 に存在するヘッダの末尾アドレスをヘッダアドレス記憶手段に格納する格納制御手 段と、ヘッダの種類毎の末尾アドレスに従ってヘッダの種類毎にヘッダ情報記憶手 段から 1ピクチャに対応するヘッダを読み出し、読み出したヘッダをヘッダ解析手段 に供給し、画像末尾アドレスに従って圧縮画像記憶手段から 1ピクチャに対応する圧 縮画像データを読み出し、読み出した圧縮画像データを復号化手段に供給する読 み出し制御手段とを備えるようにしてもよい。この構成によれば、復号化処理に必須 ではない種類のヘッダについてのヘッダ解析を省略することが容易になる。例えば、 動画像復号化装置が実装される映像機器の仕様や、要求された復号化処理の状況 に応じて、解析する必要がないヘッダの種類がある。そのような状況に応じて不要な 種類のヘッダを、個々にヘッダの種類を判別する処理すら不要であり、その記憶領 域を読み飛ばすことにより簡単化することができる。
[0021] ここで、前記動画像復号化装置は、さらに、ピクチャ内のヘッダ情報の末尾と、ピク チヤ内の圧縮画像データの末尾とを検出する検出手段と、ヘッダ情報記憶手段に記 憶されたヘッダ情報に対して、検出されたヘッダ情報の末尾にエンドマークを付加し 、圧縮画像記憶手段に記憶された圧縮画像データに対して、検出された圧縮画像 データの末尾の位置にエンドマークを付加する付加手段とを備えるようにしてもよい。
[0022] ここで、前記動画像復号化装置は、さらに、ピクチャ内の同種のヘッダの末尾と、ピ クチャ内の圧縮画像データの末尾とを検出する検出手段と、ヘッダ情報記憶手段に 記憶されたヘッダ情報に対して、ヘッダの種類毎にピクチャ内の同種のヘッダ情報の 末尾にエンドマークを付加し、圧縮画像記憶手段に記憶された圧縮画像データに対 して、ピクチャ内の圧縮画像データの末尾にエンドマークを付加する付加手段とを備 えるようにしてもよい。 [0023] ここで、前記付加手段は、さらに、ヘッダ情報記憶手段に記憶されたヘッダ情報に 対して、ヘッダの種類毎にピクチャ内の同種のヘッダ情報の末尾に、エンドマークを 付加し、圧縮画像記憶手段に記憶された圧縮画像データに対して、ピクチャ内の圧 縮画像データの末尾にエンドマークを付加するようにしてもよい。この構成によれば、 ピクチャ内のヘッダ情報の末尾にエンドマークが付加され、ピクチャ内の圧縮画像デ ータの末尾にエンドマークが付加されるので、ピクチャの末尾をアドレス比較によって 常にチェックする必要がなぐヘッダ情報記憶手段からも圧縮画像記憶手段からも順 に、マークが読み出されるまでヘッダ解析および復号化処理を進めることができる。こ れにより、処理負荷を軽減し、処理効率を向上させることができる。
[0024] ここで、前記判別手段は、複数チャネルのストリームのそれぞれに対して、ストリーム 中のヘッダ情報と圧縮画像データとを判別し、前記動画像復号化装置は、さらに、ピ クチャ内のヘッダ情報の末尾と、ピクチャ内の圧縮画像データの末尾とを検出する検 出手段と、判別手段に判別される現在のピクチャと次のピクチャとが異なるストリーム に属するか否力、を判定する判定手段と、異なるストリームに属すると判定された場合 に、ヘッダ情報記憶手段に記憶されたヘッダ情報に対して、検出されたヘッダ情報 の末尾に、チャネルの変更を示すマークを付加し、圧縮画像記憶手段に記憶された 圧縮画像データに対して、検出された圧縮画像データの末尾の位置にチャネルの変 更を示すマークを付加する付加手段とを備えるようにしてもよ!/、。
[0025] ここで、前記判別手段は、複数チャネルのストリームのそれぞれに対して、ストリーム 中のヘッダ情報と圧縮画像データとを判別し、前記動画像復号化装置は、さらに、ピ クチャ内の同種のヘッダの末尾と、ピクチャ内の圧縮画像データの末尾とを検出する 検出手段と、判別手段に判別される現在のピクチャと次のピクチャとが異なるストリー ムに属するか否かを判定する判定手段と、異なるストリームに属すると判定された場 合に、ヘッダ情報記憶手段に記憶されたヘッダ情報に対して、ヘッダの種類毎にピク チヤ内の同種のヘッダ情報の末尾に、チャネルの変更を示すマークを付加し、圧縮 画像記憶手段に記憶された圧縮画像データに対して、ピクチャ内の圧縮画像データ の末尾にチャネルの変更を示すマークを付加する付加手段とを備えるようにしてもよ い。この構成によれば、ピクチャ単位でチャネルを示すマークが圧縮画像記憶手段 内にもヘッダ情報記憶手段内にも付加されるので、圧縮画像記憶手段も 2つのストリ ームにより共用され、ヘッダ情報記憶部も 2チャネルのストリームにより共用される。そ の結果、 2つのストリームを少なくともピクチャを単位として切り替えながら復号化する こと力 Sでさる。
[0026] ここで、前記判別手段は、複数チャネルのストリームのそれぞれに対して、ヘッダ情 報と圧縮画像データとを判別し、前記ヘッダ情報記憶手段、前記ヘッダアドレス記憶 手段、前記圧縮画像記憶手段および前記画像アドレス記憶手段は、それぞれ前記 複数チャネルに対応する複数の記憶領域を有し、前記動画像復号化装置は、さらに 、複数のチャネルに対応する複数の検出手段および付加手段とを備え、各検出手段 は、対応するチャネルのストリームにおいて、ピクチャ内のヘッダ情報の末尾と、ピク チヤ内の圧縮画像データの末尾とを検出し、各付加手段は、対応するチャネルの記 憶領域に記憶されたヘッダ情報に対して、検出されたヘッダ情報の末尾にエンドマ ークを付加し、対応するチャネルの記憶領域に記憶された圧縮画像データに対して 、検出された圧縮画像データの末尾の位置にエンドマークを付加する付加手段とを 備えるようにしてもよい。この構成によれば、複数チャネルのストリームの復号化処理 をピクチャ単位で切り替えることができる。
[0027] ここで、前記動画像復号化装置は、さらに、ピクチャに含まれる最初のスライスュニ ットを判別するスライス判別手段を備え、前記付加手段は、さらに、最初のスライスュ ニットが判別されたとき、ヘッダ情報記憶手段に記憶されたヘッダ情報に対して、最 初のスライスユニットが現れたことを示す開始マークを付加するようにしてもよい。この 構成によれば、スライスユニットがストリーム中のヘッダ情報の途中に存在する場合に 、ピクチャ内の全ヘッダ情報の解析が終了する前に、最初のスライスユニットの復号 化処理を開始することができる。
[0028] ここで、前記動画像復号化装置は、さらに、外部から入力されるストリームを一時的 に記憶する一時記憶手段と、前記判別手段は、一時記憶手段に記憶されたストリー ムに対して前処理として算術復号化する算術復号化部と、算術復号化されたストリー ムに対して、ヘッダ情報と圧縮画像データとを判別する判別手段とを備えるようにして もよい。この構成によれば、判別手段が前処理として算術復号化も行い、ヘッダ解析 手段および復号化手段が後処理としてヘッダ解析と復号化処理を行う。これにより、 2段階の動画像復号化処理を効率よく行なうことができる。
[0029] また、本発明の半導体装置、映像機器、動画像復号化方法も上記と同様の構成、 作用、効果を有する。
発明の効果
[0030] 本発明によれば、ヘッダ情報および圧縮画像データをストリーム中の並び順に依存 することなく読み出すことができ、パイプライン処理による並列化を容易に実現するこ とができ、待ち時間を低減することができる。
[0031] また、スライスヘッダの解析と、スライスデータの復号化処理とをパイプライン処理で きるので、性能を向上させることができる。
[0032] さらに、状況に応じて不要な種類のヘッダを、個々にヘッダの種類を判別する処理 をすることなく、簡単に読み飛ばすことができ、処理負荷を軽減し、処理効率を向上 させること力 Sでさる。
[0033] また、ヘッダ解析時および復号化処理時にピクチヤの末尾や、最初のスライスの開 始位置や、複数ストリームの切り替え位置等を簡単に判別することができる。
図面の簡単な説明
[0034] [図 1]図 1は、従来技術における動画像復号装置の構成を示すブロック図である。
[図 2A]図 2Aは、ストリームの一例を示す説明図である。
[図 2B]図 2Bは、従来技術におけるヘッダ解析と復号化処理のタイミングを示す図で ある。
[図 3]図 3は、従来技術における 2つのストリームに対応する動画像復号装置の構成 を示すブロック図である。
[図 4]図 4は、 2チャネルのストリーム例を示す図である。
[図 5]図 5は、 2チャネルのストリームのヘッダ解析と復号化処理のタイミングを示す図 である。
[図 6]図 6は、実施の形態 1における動画像復号化装置の構成を示すブロック図であ [図 7]図 7は、動画像復号化装置の概略動作を示す説明図である。 [図 8]図 8は、第 2バッファメモリへの格納制御を示すフローチャートである。
[図 9]図 9は、実施の形態 2における動画像復号化装置の構成を示すブロック図であ
[図 10]図 10は、動画像復号化装置の動作を示す説明図である。
[図 11]図 11は、実施の形態 3における動画像復号化装置の構成を示すブロック図で ある。
園 12]図 12は、ヘッダ情報記憶部の構成例を示すブロック図である。
[図 13]図 13は、 HEA記憶部の構成を示すブロック図である。
園 14]図 14は、動画像復号化装置の概略動作を示す説明図である。
[図 15]図 15は、第 2バッファメモリへの格納制御処理を示すフローチャートである。
[図 16]図 16は、読み出し制御部におけるヘッダ情報記憶部 151の読み出し制御処 理を示すフローチャートである。
[図 17]図 17は、実施の形態 4における動画像復号化装置の構成を示すブロック図で ある。
[図 18]図 18は、ヘッダ情報記憶部内のエンドマークが付加されたストリームの説明図 である。
[図 19]図 19は、実施の形態 5における動画像復号化装置の構成を示すブロック図で ある。
[図 20]図 20は、ヘッダ情報記憶部内のチャネルマークが付加されたストリームの説明 図である。
[図 21]図 21は、動画像復号化装置における 2ストリームの復号動作を示す説明図で ある。
[図 22]図 22は、実施の形態 6における動画像復号化装置の構成を示すブロック図で ある。
[図 23]図 23は、動画像復号化装置の概略動作を示す説明図である。
[図 24]図 24は、第 2バッファメモリに記憶されるストリームの具体例を示す図である。
[図 25]図 25は、実施の形態 7における動画像復号化装置を備える映像機器の構成 を示す図である。 符号の説明
[0035] 11 ダブノレチューナ
12 ストリーム入力制御部
13 動画像複号化装置
14 出力制御部
15 表示デノ イス
16 表示デバイス
110、 111 第 1バッファメモリ
120、 121 第 1デコーダ
125 分割部
130、 131 格納制御部
140、 141 第 2バッファメモリ
150、 151 ヘッダ情報記憶き 1
160、 161 HEA記憶部
170 圧縮画像記憶部
180 DEA記憶部
190、 191 読み出し制御部
200 第 2デコーダ
210 ヘッダ解析部
220 復号化部
230 ピクチャ終了判定部
240 NALエンド付与部
250 チャネル判定部
260 CHエンド付与部
270 第 1SL判定部
280 SLstart付与部
発明を実施するための最良の形態
[0036] (実施の形態 1) 本実施の形態における動画像復号化装置は、ストリーム中のヘッダ情報と圧縮画 像データとを判別し、判別されたヘッダ情報をヘッダ情報記憶部に格納し、判別され た圧縮画像データを圧縮画像記憶部に格納する。これにより、ストリーム中の並び順 に依存することなくヘッダ情報と圧縮画像情報とを読み出すことができる。その結果、 ヘッダ情報記憶部および圧縮画像記憶部からヘッダ情報および圧縮画像データに 対して、ノイプライン処理による並列化を容易に実現することができ、待ち時間を低 減すること力 Sでさる。
[0037] また、動画像復号化装置は、ヘッダアドレス記憶部と画像アドレス記憶部とを有する 。ヘッダアドレス記憶部は、ヘッダ情報記憶部のアドレスであって、 1ピクチャ内のへッ ダ情報の末尾を示すヘッダ末尾アドレスを記憶する。画像アドレス記憶部は、圧縮画 像記憶部のアドレスであって、 1ピクチャ内の圧縮画像データの末尾を示す画像末尾 アドレスを記憶する。ヘッダ末尾アドレスおよび画像末尾アドレスは、ヘッダ情報およ び圧縮画像情報のストリーム中の並び順に依存しない読み出しを容易にする。
[0038] 図 6は、実施の形態 1における動画像復号化装置の構成を示すブロック図である。
同図の動画像復号装置は、第 1バッファメモリ 110、第 1デコーダ 120、格納制御部 1 30、第 2バッファメモリ 140および第 2デコーダ 200を備え、第 1デコーダ 120による 前処理と第 2デコーダ 200による後処理の 2段階でストリームを復号化する。また、第 2バッファメモリ 140は、ヘッダ情報記憶部 150、ヘッダ末尾アドレス（以下 HEAと略 す。）記憶部 160、圧縮画像記憶部 170および圧縮画像データ末尾アドレス（以下、 DEAと略す。）記憶部； 180を備える。
[0039] 第 1バッファメモリ 110は、ヘッダ情報と圧縮画像データとを含み CABACの適用さ れたストリームを一時的に記憶するバッファメモリである。もちろん、第 1バッファメモリ 110には、 CABACではなく CAVLCの適用されたストリームが入力されてもよい。
[0040] 第 1デコーダ 120は、第 1バッファメモリ 110に記憶されたストリームに CABAD (Co ntext -Adaptive Binary Arithmetic Decoding :コンテキスト適応型 2ィ直算術復号化）を 行う。第 1デコーダ 120は、判別手段としても機能も有する。つまり、 CABACが解か れた状態のストリームに含まれるヘッダ情報と圧縮画像データとを判別する。
[0041] 格納制御部 130は、第 1デコーダ 120による判別結果に従って、ヘッダ情報記憶部 150へのヘッダ情報の格納と、 HEA記憶部 160へのヘッダ末尾アドレスの格納と、 圧縮画像記憶部 170への圧縮画像データの格納と、 DEA記憶部 180への画像末 尾アドレスの格納とを制御する。
[0042] 第 2バッファメモリ 140は、ストリーム中のヘッダ情報と圧縮画像データと別々に記憶 する領域として、ヘッダ情報記憶部 150と圧縮画像記憶部 170とを有している。また、 第 2バッファメモリ 140は、それらのアドレス管理するための領域として、 HEA記憶部
160と DEA記 '慮咅 とを有している。
[0043] ヘッダ情報記憶部 150は、格納制御部 130の制御に従ってヘッダ情報を一時的に 記 fe、する。
[0044] HEA記憶部 160は、格納制御部 130の制御に従って、ヘッダ情報記憶部 150の アドレスであって、 1ピクチャ内のヘッダ情報の末尾を示すヘッダ末尾アドレスを記憶 する。
[0045] 圧縮画像記憶部 170は、格納制御部 130の制御に従って、圧縮画像データを一 時的に記憶する。
[0046] DEA記憶部 180は、格納制御部 130の制御に従って、圧縮画像記憶部 170のァ ドレスであって、 1ピクチャ内の圧縮画像データの末尾を示す画像末尾アドレスを記
[0047] 第 2デコーダ 200は、ヘッダ解析部 210と復号化部 220とを有する。第 2デコーダ 2 00は、ヘッダ末尾アドレスに従ってヘッダ情報記憶部 150から 1ピクチャに対応する ヘッダ情報が読み出し、読み出したヘッダ情報をヘッダ解析部 210に供給する。また 、第 2デコーダ 200は、画像末尾アドレスに従って圧縮画像記憶部 170から 1ピクチ ャに対応する圧縮画像データを読み出し、読み出した圧縮画像データを復号化部 2 20に供給する。
[0048] ヘッダ解析部 210は、ピクチャ単位でヘッダ情報記憶部 150に格納されたストリー ム中のヘッダ情報を解析することにより各種パラメータを抽出する。
[0049] 復号化部 220は、ヘッダ解析部 210によって抽出された各種パラメータに従って、 逆量子化処理、逆直交変換処理、動き補償、フィルタリング等を行なう。このようにし て復号化されたピクチャはフレームメモリ 905に出力される。 [0050] 図 7は、動画像復号化装置の概略動作を示す説明図である。
[0051] 同図上段は、第 1バッファメモリ 110にストリームの一例を示す。 Η· 264規格では、 ストリームは、 NAL(Network Abstraction Layer)ユニットと呼ばれる単位の集まりと見 ること力できる。 NALユニットには、 SPS(Sequence Parameter Set), SEl(Supplement al bnhancement Inrormation)、 PP^ (Picture Parameter ¾et)、スフイス SL (Sliceノ等の 種類がある。このうち、 SPSユニット、 SEIユニット、 PPSユニットはヘッダ情報に含ま れる。 SLユニットは圧縮画像データに含まれる。 H. 264規格では、ヘッダ情報として の NALユニットが圧縮画像データ（スライス SL群）の途中に入ることがある。同図で はスライスユニット群の間に PPSユニットが入っている。
[0052] 同図中段は、同図上段のストリームに含まれるヘッダ情報と圧縮画像データとが別 々に第 2バッファメモリ 140に格納された様子を示している。
[0053] ヘッダ情報記憶部 150は、 SPS、 SEI、 PPS ' · ·等のヘッダ情報を構成する NAL ユニットが格納される。 HEA (ヘッダ末尾アドレス）は、 HEA記憶部 160に格納され、 ピクチャ中のヘッダ情報の末尾を示す。
[0054] 圧縮画像記憶部 170は、 SLユニット群が圧縮画像データを構成する NALユニット として格納される。 DEA (画像末尾アドレス）は、 DEA記憶部 180に格納され、ピクチ ャ中の圧縮画像データの末尾を示す。
[0055] 同図下段は、同図中段に示したヘッダ情報および圧縮画像データに対するヘッダ 解析部 210および復号化部 220の処理順を示す。ヘッダ解析部 210が、最初のピク チヤの 4つの NALユニット（SPS、 SEI、 PPS、 PPS)のヘッダ解析を終える、復号化 部 220は、解析結果として得られる各種パラメータ群を用いて、最初のピクチャの圧 縮画像データ（4つの SLユニット）の復号化処理を行なう。
[0056] 復号化部 220による最初のピクチャの復号化処理と並列に、ヘッダ解析部 210は、 次のピクチヤのヘッダ解析処理を行なう。
[0057] このように、ヘッダ解析部 210と復号化部 220は、ヘッダ解析と画像復号化処理と をパイプライン処理として並列化に行なうので、処理の待ち時間を低減することがで きる。
[0058] 図 8は、第 2バッファメモリ 140への格納制御を示すフローチャートである。同図は、 第 1デコーダ 120から格納制御部 130に NALユニットが入力される毎になされる処 理を示している。同図における、 NALユニットがスライスか否力、 (圧縮画像データであ るかヘッダ情報である力 の判定（S32)と、ピクチャの切替か否か（ピクチャの末尾の NALユニットか否力、）の判定（S33)と、 EOS (End Of Stream)か否力、（ピクチャの最 後の NALユニットか否力、）の判定（S36)は、第 1デコーダ 120によって行なわれる。 格納制御部 130は、第 1デコーダ 120から NALユニットが入力されると、上記の判定 結果に従って、 NALユニットがスライス（SLユニット）でなければ、ヘッダ情報記憶部 150に格納し（S32→S37)、 NALユニットがスライス（SLユニット）であれば、圧縮画 像記憶部 170に格納し、ピクチャの切替であれば HEA記憶部 160および DEA記憶 部 180に HEAと DEAとを格納する。また、格納制御部 130は、 EOSである（ピクチャ の最後の NALユニットである）場合には、ヘッダ情報記憶部 150および圧縮画像記 憶部 170へのライトポインタ (wp)を次の新たなピクチャ用に更新する。
[0059] 以上説明してきたように、本実施の形態における動画像復号化装置によれば、スト リーム中の並び順に依存することなくヘッダ情報と圧縮画像情報とを読み出すことが できる。その結果、ヘッダ情報記憶部および圧縮画像記憶部からヘッダ情報および 圧縮画像データに対して、パイプライン処理による並列化を容易に実現することがで き、待ち時間を低減することができる。また、ヘッダ末尾アドレスおよび画像末尾アド レスは、ヘッダ情報および圧縮画像情報のストリーム中の並び順に依存しない読み 出しを容易にする。
[0060] (実施の形態 2)
本実施の形態における動画像復号化装置は、実施の形態 1の動画像復号化装置 に加えて、圧縮画像データに含まれるスライスユニットをスライスヘッダとスライスデー タとに分割し、スライスヘッダを他のヘッダ情報と同様にヘッダ情報記憶部に格納し、 スライスデータを圧縮画像データとして圧縮画像記憶部に格納する。これによれば、 スライスヘッダとスライスデータの両者を復号化部で処理するのではなぐスライスへ ッダをヘッダ解析部が解析し、スライスデータを復号化部が復号する。つまり、スライ スヘッダの解析と、スライスデータの復号化処理とをパイプライン処理できるので、より 性能を向上させることができる。 [0061] 図 9は、実施の形態 2における動画像復号化装置の構成を示すブロック図である。 同図の動画像復号化装置は、図 6の動画像復号化装置と比較して、主に分割部 12 5が追加されている点が異なっている。同じ構成要素には同じ符号を付しているので 、以下同じ点は説明を省略して異なる点を中心に説明する。
[0062] 分割部 125は、第 1デコーダ 120からスライスユニットが入力され、スライスユニット をスライスヘッダとスライスデータとに分割し、格納制御部 130に出力する。
[0063] 格納制御部 130は、分割部 125からのスライスヘッダを他のヘッダ情報と同様にへ ッダ情報記憶部 150に格納し、スライスデータを圧縮画像データとして圧縮画像記憶 部 170に格納する。これにより、スライスヘッダとスライスデータは別々に第 2バッファ メモリ 140に記憶されることになる。
[0064] 図 10は、動画像復号化装置の動作を示す説明図である。
[0065] 図 10上から第 1段目は、第 1バッファメモリ 110にストリームの一例を示し、既に図 7 上段で説明したので省略する。
[0066] 図 10上から第 2段において、 SLは分割前のスライスユニットを、 Shは分割部 125に よる分割後のスライスヘッダを、 Sdは分割部 125による分割後のスライスデータを表 す。ヘッダ情報記憶部 150には、スライスヘッダ Shも格納されている。 HEA記憶部 1 60の HEA (ヘッダ末尾アドレス）はスライスヘッダも含めた 1ピクチャ分のヘッダ情報 の末尾を示す。圧縮画像記憶部 170には、スライスヘッダ Shを除くスライスデータ Sd が保持される。 DEA記憶部 180の DEAは、 1ピクチャ分のスライスデータ Sdの末尾 を示す。
[0067] 図 10上から第 3段は、第 2段に示したヘッダ情報および圧縮画像データに対する ヘッダ解析部 210および復号化部 220の処理順を示す。ヘッダ解析部 210によるス ライスヘッダの解析処理と、復号化部 220によるスライスデータの復号化処理は、パ ィプライン処理により並列化がより進んで!/、る。
[0068] 以上説明してきたように本実施の形態における動画像復号化装置によれば、スライ スヘッダの解析と、スライスデータの復号化処理とをパイプライン処理できるので、より 性能を向上させることができる。
[0069] (実施の形態 3) 本実施の形態における動画像復号化装置では、実施の形態 1の動画像復号化装 置に加えて、ヘッダ情報に含まれるヘッダの種類（つまり NALユニットの種類）毎に 別々に NALユニットをバッファに格納する。さらに、本実施の形態における動画像復 号化装置は、 NALユニットの種類を判別し、判別した種類に対応する記憶領域に格 納する。また、ヘッダの種類毎に 1ピクチャの末尾の NALユニットの末尾アドレスをへ ッダアドレス記憶部に格納する。復号化処理に必須ではな!/、種類のヘッダにつ!/、て のヘッダ解析を省略することが容易になる。
[0070] 図 11は、実施の形態 3における動画像復号化装置の構成を示すブロック図である 。同図の動画像復号化装置は、図 6の動画像復号化装置と比較して、格納制御部 1 30の代わりに格納制御部 131、第 2バッファメモリ 140の代わりに第 2バッファメモリ 1 41を備える点が異なっている。また、第 2バッファメモリ 141は、第 2バッファメモリ 140 と比較して、ヘッダ情報記憶部 150の代わりにヘッダ情報記憶部 151を、 HEA記憶 部 160の代わりに HEA記憶部 161を備えている。同じ構成要素には同じ符号を付し ているので、以下同じ点は説明を省略して異なる点を中心に説明する。
[0071] 第 2バッファメモリ 141は、 NALユニットをその種類に対応する領域に格納するよう 構成されている。
[0072] ヘッダ情報記憶部 151は、 NALユニットの種類と同数の記憶領域を有する。
[0073] HEA記憶部 161は、 NALユニットの種類と同数の HEAを記憶する。
[0074] 格納制御部 131は、第 1デコーダ 120から入力されるヘッダの種類（つまり NALュ ニットの種類）に応じて、ヘッダ情報記憶部 151の複数の記憶領域のうち種類に対応 する記憶領域に NALユニットを格納する。さらに、格納制御部 131は、 NALユニット の種類毎の HEA (ヘッダ末尾アドレス）を HEA記憶部 161に格納する。これ以外は 、格納制御部 130と同じである。
[0075] 前記ヘッダ情報記憶手段は、ヘッダ情報に含まれるヘッダの種類に対応する複数 の記憶領域を有し、図 12は、ヘッダ情報記憶部 151の構成例を示すブロック図であ る。同図では圧縮画像記憶部 170も併記されている。同図において、ヘッダ情報記 憶部 151は、 SPS記憶領域 152、 SEI記憶領域 153、 PPS記憶領域 154を含む。こ のように、ヘッダ情報記憶部 151は、 NALユニットの種類毎の記憶領域を有し、各記 憶領域には同種の NALユニットが格納される。また、圧縮画像記憶部 170は、 SL記 憶領域 155と、 EOS記憶領域 156を有する。
[0076] 図 13は、 HEA記憶部 160の構成を示すブロック図である。同図では、 DEA記憶 部 180も併記されている。同図において HEA(SPS)は、 SPS記憶領域 152に格納 されたピクチャ内最後の SPSの末尾アドレスであり、 SPS用のライトポインタ wpとして 利用される。 HEA(SEI)、 HEA (PPS)、 DEA(SU、 DEA(EOS)も、対応する記 憶領域が異なる点以外は同様である。 DEA (EOS)はストリームまたはシーケンスの 最後の NALユニットを示す。また、 PEL[1]は、 1ピクチャに対応するピクチャ 'エンド' リストである。
[0077] 図 14は、動画像復号化装置の概略動作を示す説明図である。
[0078] 図 14上から第 1段目は、図 7上段と同じストリーム例であるので説明を省略する。
[0079] 図 14上から第 2段目は、図 7上段とストリームを構成する NALユニットがヘッダ情報 記憶部 151に格納された様子を示す。
[0080] 図 14上から 3段目と 4段目は、動画像復号化装置が切替可能なヘッダ解析および 復号化処理を示している。 3段目は、図 7下段と変わらない処理を示す。 4段目は、 S EIの読み出しを省略した処理を示している。動画像復号化装置が実装される映像機 器の仕様や、要求された復号化処理の状況に応じて、解析する必要がないヘッダの 種類がある。例えば SEIは動画の表示に関するパラメータ類であり、必ずしも SEIに 従って動画を表示する必要がなレ、ので、状況に応じて不要な種類のヘッダとしてもよ い。図 7中段で SEIを読み飛ばすには、個々のヘッダ（NALユニット）の種類を判別 する処理である力 図 142段目では、 SEI記憶領域 153を読み飛ばすだけでよいの で、読み出し処理を簡単にすることができる。
[0081] 図 15は、第 2バッファメモリ 141への格納制御処理を示すフローチャートである。同 図は、図 8と比べて、ステップ S37の代わりにステップ S100、 S 101を有する点が異 なっている。同じ点は説明を省略して、以下異なる点を中心に説明する。第 1デコー ダ 120から格納制御部 131に入力された NALユニットが、スライスユニットでない場 合に、第 1デコーダ 120によって判定された当該 NALユニットの種類（S100)に対応 する記憶領域に NALユニットを格納する（S 101)。なお、ヘッダ情報記憶部 151へ のライトポインタ wpは、記憶領域毎に管理されて!/、る必要がある。
[0082] 図 16は、読み出し制御部におけるヘッダ情報記憶部 151の読み出し制御処理を 示すフローチャートである。同図において rp (j)は、ヘッダ情報記憶部 151内の記憶 領域毎のリードポインタを示す。 HEA(j)は、ヘッダ情報記憶部 151内の記憶領域毎 のヘッダ末尾アドレスを示す。 j = l、 2、 3、 4は SPS記憶領域 152、 SEI記憶領域 15 3、 PPS記憶領域 154、 SL記憶領域 155に対応する。同図のループ 1では、 rp (j)と して直前のピクチャの HEA (j )が設定されてから（S 112)、 rp (j )が対象ピクチャの H EA (j)に至るまで繰り返される（S113〜S 116)。
[0083] 図 16において、図 14の第 3段目の読み出し (省略しない通常の読み出し）を行なう にはループ 1の制御変数 j = l、 2、 3、 4にすればよい。また、図 14の第 4段目の読み 出し（SEIを省略する読み出し）を行なうにはループ 1の制御変数 j = l、 3、 4にすれ ばよい。
[0084] 以上説明してきたように本実施の形態における動画像復号化装置によれば、 NAL ユニットの種類毎に NALユニットを記憶領域に格納して!/、るので、復号化処理に必 須ではない種類のヘッダについてのヘッダ解析の省略を容易にできる。
[0085] (実施の形態 4)
本実施の形態における動画像復号化装置は、実施の形態 3の動画像復号化装置 に加えて、ヘッダ情報記憶部に記憶された複数種類のヘッダ (複数種類の NALュニ ット）のそれぞれ、および圧縮画像記憶部に記憶された圧縮画像データに対して、ピ クチャ内の同じ種類の NALユニットの末尾であることを示すエンドマークを付加する 。ヘッダ情報にも圧縮画像データにもエンドマークが付加されるので、ピクチャ内の 同種の NALユニットの末尾であるかをアドレス比較によってチェックする必要がなぐ ヘッダ情報記憶部からも圧縮画像記憶部からも順に、エンドマークが読み出されるま でヘッダ解析および復号化処理を進めることができる。これにより、処理負荷を軽減 し、処理効率を向上させることができる。
[0086] 図 17は、実施の形態 4における動画像復号化装置の構成を示すブロック図である 。同図の動画像復号化装置は、図 11の動画像復号化装置と比較して、ピクチャ終了 判定部 230および NALエンド付与部 240が追加された点と、読み出し制御部 190の 代わりに読み出し制御部 191を備える点とが異なっている。同じ構成要素には同じ符 号を付しているので、以下同じ点は説明を省略して異なる点を中心に説明する。
[0087] ピクチャ終了判定部 230は、 NALユニットの種類毎に、その種類の NALユニットが ピクチャ内で最後に現れる NALユニットであるかどうかを判定する。言い換えれば、 ピクチャ終了判定部 230は、ピクチャ内の同種の NALユニットの末尾を検出する。
[0088] NALエンド付与部 240は、ピクチャ内の同種の NALユニットの最後であることが検 出された場合、ヘッダ情報記憶部 151に格納された当該 NALユニットにエンドマー クを付与する。
[0089] 読み出し制御部 191は、ピクチャ内のヘッダ情報の末尾ゃピクチャ内の圧縮画像 データの末尾をアドレス比較によって常にチェックする必要がなぐヘッダ情報記憶 部 151からも圧縮画像記憶部 170からも順に、エンドマークまで読み出す。
[0090] 図 18は、ヘッダ情報記憶部 151内のエンドマークが付加されたストリームの説明図 である。図中の「end」はエンドマークを表す。同図のように、エンドマークは、 NALュ ニットの種類毎の記憶領域 152〜； 155のそれぞれに対して、ピクチャ内の同種の NA Lユニットの末尾を示して!/、る。
[0091] 以上説明してきたように本実施の形態における動画像復号化装置によれば、ピクチ ャ内のヘッダ情報の末尾ゃピクチャ内の圧縮画像データの末尾をアドレス比較によ つて常にチェックする必要がなぐヘッダ情報記憶部 151からも圧縮画像記憶部 170 力、らも順に、 NALユニットの種類毎にエンドマークが読み出されるまで順に読み出す ことができ、ヘッダ情報記憶部 151の読み出しを効率よくすることができる。
[0092] (実施の形態 5)
本実施の形態では、複数チャネルのストリームを復号化する動画像復号化装置に ついて説明する。本実施の形態における動画像復号化装置は、実施の形態 4の動 画像復号化装置に加えて、現在のピクチャと次のピクチャとでストリームが異なる場合 に、ヘッダ情報記憶部に記憶されたヘッダ情報に対して、ヘッダの種類（NALュニッ トの種類）毎にピクチャ内の同種のヘッダ情報の末尾に、チャネルの変更を示すチヤ ネルマークを付加し、圧縮画像記憶部に記憶された圧縮画像データに対して、ピク チヤ内の圧縮画像データの末尾にチャネルの変更を示すチャネルマークを付加する 。チャネルマークは、ピクチャ内の同種のヘッダの末尾を示すが、むしろ、現在のスト リーム内の同種のヘッダの末尾を示すものである。これにより、ヘッダ情報記憶部に、 異なるストリームの NALユニットが混在して記憶される場合に、チャネルマークにより 、軽い処理負荷で容易に区別することができる。
[0093] 図 19は、実施の形態 5における動画像復号化装置の構成を示すブロック図である 。同図の動画像復号化装置は、図 17の動画像復号化装置と比較して、第 1バッファ メモリ 110の代わりに第 1バッファメモリ 111を備える点と、第 1デコーダ 120の代わり に第 1デコーダ 121を備える点と、チャネル判定部 250および CHエンド付与部 260 が追加された点とが異なっている。同じ構成要素には同じ符号を付しているので、以 下同じ点は説明を省略して異なる点を中心に説明する。
[0094] 第 1バッファメモリ 111は、 2チャネルのストリームが入力される。そのため、第 1バッ ファメモリ 111は、内部の記憶領域を chlバッファと ch2バッファの 2つに分けている。
[0095] 第 1デコーダ 121は、 2チャネルのストリームの算術復号化処理（CABAD)と、へッ ダ情報と圧縮画像データとの判別処理とを行なう。例えば、第 1デコーダ 121は 1ピク チヤ単位で、あるいは数ピクチャ単位で chlバッファと ch2バッファとを切り替えて、ス トリームを読み出す。
[0096] チャネル判定部 250は、ピクチャ内の同種のヘッダ（つまり NALユニット）の末尾と 、ピクチャ内の圧縮画像データ (スライスユニット）の末尾とを検出し、また、現在のピ クチャと次のピクチャとが異なるストリームに属するか否かを判定する。
[0097] CHエンド付与部 260は、現在のピクチャと次のピクチャとが異なるストリームに属す ると判定された場合に、ヘッダ情報記憶部 151に記憶されたヘッダ情報に対して、へ ッダ（NALユニット）の種類毎にピクチャ内の同種の NALユニットの末尾に、チヤネ ルの変更を示すチャネルマークを付加し、圧縮画像記憶部 170に記憶された圧縮画 像データに対して、ピクチャ内の圧縮画像データの末尾にチャネルの変更を示すマ ークを付加する。
[0098] 図 20は、ヘッダ情報記憶部 151内のチャネルマークが付加されたストリームの説明 図である。図中の「ch-e」はチャネルマークを表す。点線は、切り替え前のストリームに 属する NALユニットの読み出し例を示している。 [0099] このように、ストリーム毎に別個のバッファを設ける必要がなぐ複数のストリームをへ ッダ情報記憶部 151に混在させて一時記憶することができる。
[0100] 図 21は、動画像復号化装置における 2ストリームの復号動作を示す説明図である。
同図上段において、複数の NALユニットからなる lchおよび 2chのストリームは、へッ ダ情報記憶部で、ヘッダ情報と圧縮画像データとに分類されて格納された場合を示 している。ヘッダ情報記憶部 151に格納される前の図 4に示したストリーム 1、 2と同じ ような並びになつている。同図下段において、 CPUはヘッダ解析部 210を意味する。 同図のように、ヘッダ解析部 210と復号化部 220は、ヘッダ情報と圧縮画像データを 元のストリーム中の並び順に依存することなく高い自由度で読み出すことができ、パ ィプライン処理による並列化を容易に実現することができ、待ち時間を低減すること ができる。
[0101] なお、図 19において HEA記憶部 161、 DEA記憶部 180は備えないようにしてもよ い。
[0102] (実施の形態 6)
本実施の形態における動画像復号化装置は、実施の形態 4の動画像復号化装置 に加えて、ピクチャに含まれる最初のスライスユニットを判別し、最初のスライスュニッ トを判別したとき、ヘッダ情報記憶部に記憶されたヘッダ情報 (NALユニットの種類 毎に）に対して、最初のスライスユニットが現れたことを示す開始マークを付加する。こ れによれば、スライスユニットがストリーム中のヘッダ情報の途中に存在する場合に、 ピクチャ内の全ヘッダ情報の解析が終了する前に、最初のスライスユニットの復号化 処理を開始することができるので、復号化の処理効率を向上させることができる。
[0103] 図 22は、実施の形態 6における動画像復号化装置の構成を示すブロック図である 。同図の動画像復号化装置は、図 19の動画像復号化装置と比較して、チャネル判 定部 250および CHエンド付与部 260の代わりに第 1SL判定部 270および SLstart 付与部 280を備える点が異なっている。同じ構成要素には同じ符号を付しているの で、以下同じ点は説明を省略して異なる点を中心に説明する。
[0104] 第 1SL判定部 270は、ピクチャに含まれる最初のスライスユニットを判別する。
[0105] SLstart付与部 280は、最初のスライスユニットが判別されたとき、ヘッダ情報記憶 手段に記憶されたヘッダ情報に対して、最初のスライスユニットが現れたことを示す 開始マークを付加する。
[0106] 図 23は、動画像復号化装置の概略動作を示す説明図である。同図上段は、ヘッダ 情報を構成する NALユニットと、圧縮画像データを構成する NALユニット（スライス ユニット SUとを示している。本実施の形態ではヘッダ情報と圧縮画像データとを分 けてバッファ (ヘッダ情報記憶部 151、圧縮画像記憶部 170)に格納するため、最初 のスライスユニット SLがどのヘッダの次に現れたのかが分からない。そのため、同図 上段のように、ピクチャ内の全部のヘッダ情報の解析後に最初のスライスユニット SL の復号化処理を開始することになる。例えば、最初のスライスユニット SLが 3つの目 の NALユニットである PPSの直後に元々存在していた場合、 3つの目の NALュニッ トのヘッダ解析の完了後に復号化処理開始可能であったにも関わらず、開始待ち状 力続くことも生じえる。
[0107] 本実施の形態では、図 23下段のタイミングで復号化処理を開始することを可能に する。
[0108] 図 24は、第 2バッファメモリに記憶されるストリームの具体例を示す図である。図中 の「SLstart」は、第 1SL判定部 270によって付加される開始マークを表す。読み出し 制御部 191は、開始マークが揃った時点で、スライスユニット SLを復号化部 220に供 給する。これにより、ピクチャ内の全ヘッダ情報の解析が終了する前の早い時点で、 最初のスライスユニットの復号化処理を開始することができる。
[0109] (実施の形態 7)
本実施の形態では、上記各実施の形態で説明した動画像復号化装置を備える映 像機器の具体例につ!/、て説明する。
[0110] 図 25は、実施の形態 7における動画像復号化装置を備える映像機器の構成を示 す図である。同図の映像機器は、ダブルチューナ 11、ストリーム入力制御部 12、動 画像復号化装置 13、出力制御部 14、表示デバイス 15および 16を備え、デジタル放 送受信チューナまたは DVDプレーヤー/レコーダである。
[0111] ダブルチューナ 11は、デジタル放送信号力 番組を受信する 2つのチューナを持 ち、ストリームとしてストリーム入力制御部 12に出力する。 2つのチューナは 2画面表 示用あるいは表番組と裏番組受信用などである。
[0112] また、記録メディアは DVD等の記録媒体であり、映画等のコンテンツを表すストリー ムをストリーム入力制御部 12に出力する。
[0113] ストリーム入力制御部 12は、 1つまたは 2つのストリームを選択し、選択したストリー ムを動画像復号化装置 13に出力する。
[0114] 動画像復号化装置 13は、上記各実施の形態;!〜 6に示した何れかの動画像復号 化装置である。
[0115] 出力制御部 14は、動画像復号化装置 13からの復号結果としての 1つまたは 2つの ベースバンドの動画像データを表示デバイス 15、 16表示する。
[0116] 表示デバイス 15、 16は、 2つの動画像を同時に表示する。例えば、表示デバイス 1
5および 16は PDPテレビ画面を 2分割した表示領域であってもよいし、独立した 2つ の表示パネルであってもよレ、。
[0117] この映像機器によれば、 2つのストリームを効率よく復号化し、同時に表示すること ができる。
[0118] なお、同図の映像機器は、記録メディアに対応していないデジタル放送チューナ、 DVDプレーヤー/レコーダに限らない。例えば、テレビの再生と、 SDカード等の記 録媒体に記録されたストリームの再生とを行なうテレビチューナ付携帯電話機であつ てもよいし、同様の PDAであってもよい。
[0119] なお、上記各実施の形態等に示したブロック図の各機能ブロックは典型的には集 積回路装置である LSIとして実現される。この LSIは 1チップ化されても良いし、複数 チップ化されても良い（例えばメモリ以外の機能ブロックが 1チップ化されていても良 い。）。ここでは、 LSIとした力 集積度の違いにより、 IC、システム LSI、スーパー LSI 、ウノレ卜ラ LSIと呼称されることもある。
[0120] 集積回路化の手法は LSIに限るものではなぐ専用回路又は汎用プロセッサで実 現してもよい。 LSI製造後に、プログラムすることが可能な FPGA (Field Programmabl e Gate Array)や、 LSI内部の回路セルの接続や設定を再構成可能なリコンフィギヤ ラブル ·プロセッサを利用しても良レ、。
[0121] さらには、半導体技術の進歩又は派生する別技術により LSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行って もよい。ノ ィォ技術の適応等が可能性としてありえる。
[0122] また、各機能ブロックのうち、データを格納するユニットだけ 1チップ化せずに、本実 施の形態の記録媒体 115のように別構成としても良い。
[0123] なお、ブロック図の各機能ブロックおよびフローチャートにおいて、中心的な部分は プロセッサおよびプログラムによっても実現される。
[0124] このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を 上述したいずれの機器 ·システムに用いることは可能であり、そうすることで、上記実 施の形態で説明した効果を得ることができる。
産業上の利用可能性
[0125] 本発明は、動画像復号装置および映像機器に適しており、特に、動画像記録再生 装置、ビデオカメラ、テレビカメラ、デジタル放送チューナ、 DVDプレーヤー、 DVD レコーダ、携帯電話機などに適している。

Claims

請求の範囲
[1] ヘッダ情報と圧縮画像データとを含むストリームを復号化する動画像復号化装置で あってゝ
前記ストリーム中のヘッダ情報と圧縮画像データとを判別する判別手段と、 判別手段によって判別されたヘッダ情報を一時的に記憶するヘッダ情報記憶手段 と、
ヘッダ情報記憶手段のアドレスであって、 1ピクチャ内のヘッダ情報の末尾を示す ヘッダ末尾アドレスを記憶するためのヘッダアドレス記憶手段と、
判別手段によって判別された圧縮画像データを一時的に記憶する圧縮画像記憶 手段と、
圧縮画像記憶手段のアドレスであって、 1ピクチャ内の圧縮画像データの末尾を示 す画像末尾アドレスを記憶するための画像アドレス記憶手段と、
前記ヘッダ末尾アドレスに基づいて 1ピクチャ毎にヘッダ情報を解析するヘッダ解 析手段と、
ヘッダ解析手段による解析結果および前記画像末尾アドレスに基づいて 1ピクチャ 毎に圧縮画像データを復号化する復号化手段とを備え、
前記ヘッダ解析手段は、前記復号化手段によって復号化されているピクチャの次 のピクチャのヘッダ情報を解析することを特徴とする動画像復号化装置。
[2] 前記動画像復号化装置は、さらに、
前記判別手段による判別結果に従って、ヘッダ情報記憶手段へのヘッダ情報の格 納と、ヘッダアドレス記憶手段へのヘッダ末尾アドレスの格納と、圧縮画像記憶手段 への圧縮画像データの格納と、画像アドレス記憶手段への画像末尾アドレスの格納 とを制御する格納制御手段と、
ヘッダ末尾アドレスに従ってヘッダ情報記憶手段から 1ピクチャに対応するヘッダ 情報を読み出し、読み出したヘッダ情報をヘッダ解析手段に供給し、画像末尾アドレ スに従って圧縮画像記憶手段から 1ピクチャに対応する圧縮画像データを読み出し
、読み出した圧縮画像データを復号化手段に供給する読み出し制御手段と を備えることを特徴とする請求項 1記載の動画像復号化装置。
[3] 前記動画像復号化装置は、さらに、
圧縮画像データに含まれるスライスユニットをスライスヘッダとスライスデータとに分 割する分割手段と、
前記判別手段に判別されたヘッダ情報と分割手段に分割されたスライスヘッダとを ヘッダ情報記憶手段に格納し、圧縮画像データとスライスデータとを圧縮画像記憶 手段に格納し、格納に伴ってヘッダアドレス記憶手段および画像アドレス記憶手段を 更新する格納制御手段と
を備えることを特徴とする請求項 1記載の動画像復号化装置。
[4] 前記判別手段は、さらに、ヘッダ情報に含まれる複数種類のヘッダを判別し、 前記ヘッダ情報記憶手段は、ヘッダ情報に含まれるヘッダの種類に対応する複数 の記憶領域を有し、
前記動画像復号化装置は、さらに、
前記判別手段に判別されたヘッダをその種類に対応する記憶領域に格納し、へッ ダの種類毎に 1ピクチャの末尾に存在するヘッダの末尾アドレスをヘッダアドレス記 憶手段に格納する格納制御手段と、
ヘッダの種類毎の末尾アドレスに従ってヘッダの種類毎にヘッダ情報記憶手段か ら 1ピクチャに対応するヘッダを読み出し、読み出したヘッダをヘッダ解析手段に供 給し、画像末尾アドレスに従って圧縮画像記憶手段から 1ピクチャに対応する圧縮画 像データを読み出し、読み出した圧縮画像データを復号化手段に供給する読み出し 制御手段と
を備えることを特徴とする請求項 1記載の動画像復号化装置。
[5] 前記動画像復号化装置は、さらに、
ピクチャ内のヘッダ情報の末尾と、ピクチャ内の圧縮画像データの末尾とを検出す る検出手段と、
ヘッダ情報記憶手段に記憶されたヘッダ情報に対して、検出されたヘッダ情報の 末尾にエンドマークを付加し、圧縮画像記憶手段に記憶された圧縮画像データに対 して、検出された圧縮画像データの末尾の位置にエンドマークを付加する付加手段 と を備えることを特徴とする請求項 1記載の動画像復号化装置。
[6] 前記動画像復号化装置は、さらに、
ピクチャ内の同種のヘッダの末尾と、ピクチャ内の圧縮画像データの末尾とを検出 する検出手段と、
ヘッダ情報記憶手段に記憶されたヘッダ情報に対して、ヘッダの種類毎にピクチャ 内の同種のヘッダ情報の末尾にエンドマークを付加し、圧縮画像記憶手段に記憶さ れた圧縮画像データに対して、ピクチャ内の圧縮画像データの末尾にエンドマーク を付加する付加手段と
を備えることを特徴とする請求項 4記載の動画像復号化装置。
[7] 前記判別手段は、複数チャネルのストリームのそれぞれに対して、ストリーム中のへ ッダ情報と圧縮画像データとを判別し、
前記動画像復号化装置は、さらに、
ピクチャ内のヘッダ情報の末尾と、ピクチャ内の圧縮画像データの末尾とを検出す る検出手段と、
判別手段に判別される現在のピクチャと次のピクチャとが異なるストリームに属する か否かを判定する判定手段と、
異なるストリームに属すると判定された場合に、ヘッダ情報記憶手段に記憶された ヘッダ情報に対して、検出されたヘッダ情報の末尾に、チャネルの変更を示すマーク を付加し、圧縮画像記憶手段に記憶された圧縮画像データに対して、検出された圧 縮画像データの末尾の位置にチャネルの変更を示すマークを付加する付加手段と を備えることを特徴とする請求項 2記載の動画像復号化装置。
[8] 前記判別手段は、複数チャネルのストリームのそれぞれに対して、ストリーム中のへ ッダ情報と圧縮画像データとを判別し、
前記動画像復号化装置は、さらに、
ピクチャ内の同種のヘッダの末尾と、ピクチャ内の圧縮画像データの末尾とを検出 する検出手段と、
判別手段に判別される現在のピクチャと次のピクチャとが異なるストリームに属する か否かを判定する判定手段と、 異なるストリームに属すると判定された場合に、ヘッダ情報記憶手段に記憶された ヘッダ情報に対して、ヘッダの種類毎にピクチャ内の同種のヘッダ情報の末尾に、チ ャネルの変更を示すマークを付加し、圧縮画像記憶手段に記憶された圧縮画像デ ータに対して、ピクチャ内の圧縮画像データの末尾にチャネルの変更を示すマーク を付加する付加手段と
を備えることを特徴とする請求項 4記載の動画像復号化装置。
[9] 前記付加手段は、さらに、ヘッダ情報記憶手段に記憶されたヘッダ情報に対して、 ヘッダの種類毎にピクチャ内の同種のヘッダ情報の末尾に、エンドマークを付加し、 圧縮画像記憶手段に記憶された圧縮画像データに対して、ピクチャ内の圧縮画像デ ータの末尾にエンドマークを付加すること
を備えることを特徴とする請求項 8記載の動画像復号化装置。
[10] 前記判別手段は、複数チャネルのストリームのそれぞれに対して、ヘッダ情報と圧 縮画像データとを判別し、
前記ヘッダ情報記憶手段、前記ヘッダアドレス記憶手段、前記圧縮画像記憶手段 および前記画像アドレス記憶手段は、それぞれ前記複数チャネルに対応する複数の 記憶領域を有し、
前記動画像復号化装置は、さらに、複数のチャネルに対応する複数の検出手段お よび付加手段とを備え、
各検出手段は、対応するチャネルのストリームにおいて、ピクチャ内のヘッダ情報の 末尾と、ピクチャ内の圧縮画像データの末尾とを検出し、
各付加手段は、対応するチャネルの記憶領域に記憶されたヘッダ情報に対して、 検出されたヘッダ情報の末尾にエンドマークを付加し、対応するチャネルの記憶領 域に記憶された圧縮画像データに対して、検出された圧縮画像データの末尾の位 置にエンドマークを付加する付加手段と
を備えることを特徴とする請求項 1記載の動画像復号化装置。
[11] 前記動画像復号化装置は、さらに、ピクチャに含まれる最初のスライスユニットを判 別するスライス判別手段を備え、
前記付加手段は、さらに、最初のスライスユニットが判別されたとき、ヘッダ情報記 憶手段に記憶されたヘッダ情報に対して、最初のスライスユニットが現れたことを示 す開始マークを付加する
ことを特徴とする請求項 5記載の動画像復号化装置。
[12] 前記動画像復号化装置は、さらに、外部から入力されるストリームを一時的に記憶 する一時記憶手段と、
前記判別手段は、一時記憶手段に記憶されたストリームに対して前処理として算術 復号化する算術復号化部と、
算術復号化されたストリームに対して、ヘッダ情報と圧縮画像データとを判別する 判別手段と
を備えることを特徴とする請求項 1記載の動画像復号化装置。
[13] ヘッダ情報と圧縮画像データとを含むストリームを復号化する半導体装置であって 前記ストリーム中のヘッダ情報と圧縮画像データとを判別する判別手段と、 判別手段によって判別されたヘッダ情報を一時的に記憶するヘッダ情報記憶手段 と、
ヘッダ情報記憶手段のアドレスであって、 1ピクチャ内のヘッダ情報の末尾を示す ヘッダ末尾アドレスを記憶するためのヘッダアドレス記憶手段と、
判別手段によって判別された圧縮画像データを一時的に記憶する圧縮画像記憶 手段と、
圧縮画像記憶手段のアドレスであって、 1ピクチャ内の圧縮画像データの末尾を示 す画像末尾アドレスを記憶するための画像アドレス記憶手段と、
前記ヘッダ末尾アドレスに基づいて 1ピクチャ毎にヘッダ情報を解析するヘッダ解 析手段と、
ヘッダ解析手段による解析結果および前記画像末尾アドレスに基づいて 1ピクチャ 毎に圧縮画像データを復号化する復号化手段とを備え、
前記ヘッダ解析手段は、前記復号化手段によって復号化されているピクチャの次 のピクチャのヘッダ情報を解析することを特徴とする半導体装置。
[14] 記録媒体又は放送信号からストリームを取得する取得手段と、 請求項 1記載の画像復号化装置と、
画像復号化装置によって復号化された動画像を外部の表示機器に出力する出力 制御部と
を備えることを特徴とする映像機器。
ヘッダ情報と圧縮画像データとを含むストリームを復号化する動画像復号化方法で あってゝ
前記ストリーム中のヘッダ情報と圧縮画像データとを判別する判別ステップと、 判別されたヘッダ情報を第 1バッファメモリに格納するステップと、
第 1バッファメモリのアドレスであって、 1ピクチャ内のヘッダ情報の末尾を示すへッ ダ末尾アドレスを第 2バッファメモリに格納するステップと、
判別手段によって判別された圧縮画像データを第 3バッファメモリに格納するステツ プと、
第 3バッファメモリのアドレスであって、 1ピクチャ内の圧縮画像データの末尾を示す 画像末尾アドレスを第 4バッファメモリに格納するステップと、
前記ヘッダ末尾アドレスに基づいて 1ピクチャ毎にヘッダ情報を解析するヘッダ解 析ステップと、
ヘッダ解析の解析結果および前記画像末尾アドレスに基づいて 1ピクチャ毎に圧 縮画像データを復号化する復号化ステップと
を有し、
前記復号化ステップにおける復号化中に、ヘッダ解析ステップにおいて次のピクチ ャのヘッダ情報を解析する
ことを特徴とする動画像復号化方法。
PCT/JP2007/072505 2006-12-11 2007-11-21 動画像復号化装置、半導体装置、映像機器および動画像復号化方法 WO2008072452A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07832235A EP2094015A4 (en) 2006-12-11 2007-11-21 MOVABLE PICTURE DECODER, SEMICONDUCTOR DEVICE, VIDEO DEVICE, AND MOBILE PICTURE DECODING PROCESS
US12/518,527 US20100021142A1 (en) 2006-12-11 2007-11-21 Moving picture decoding device, semiconductor device, video device, and moving picture decoding method
JP2008505687A JP4664406B2 (ja) 2006-12-11 2007-11-21 動画像復号化装置、半導体装置、映像機器および動画像復号化方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006333776 2006-12-11
JP2006-333776 2006-12-11

Publications (1)

Publication Number Publication Date
WO2008072452A1 true WO2008072452A1 (ja) 2008-06-19

Family

ID=39511477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/072505 WO2008072452A1 (ja) 2006-12-11 2007-11-21 動画像復号化装置、半導体装置、映像機器および動画像復号化方法

Country Status (4)

Country Link
US (1) US20100021142A1 (ja)
EP (1) EP2094015A4 (ja)
JP (1) JP4664406B2 (ja)
WO (1) WO2008072452A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004577A1 (ja) * 2009-07-06 2011-01-13 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、プログラムおよび集積回路

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009105684A (ja) * 2007-10-23 2009-05-14 Panasonic Corp 動画像復号化装置
JP2009111932A (ja) * 2007-10-31 2009-05-21 Panasonic Corp 動画像復号化装置
JP2011066844A (ja) * 2009-09-18 2011-03-31 Toshiba Corp 並列復号装置及びプログラム並びに符号化データの並列復号方法
US8301008B2 (en) * 2010-06-09 2012-10-30 Eldon Technology Limited Apparatus, systems and methods for storing program events in an enhanced history buffer
US9497466B2 (en) * 2011-01-17 2016-11-15 Mediatek Inc. Buffering apparatus for buffering multi-partition video/image bitstream and related method thereof
US8990435B2 (en) 2011-01-17 2015-03-24 Mediatek Inc. Method and apparatus for accessing data of multi-tile encoded picture stored in buffering apparatus
WO2012111315A1 (ja) * 2011-02-16 2012-08-23 パナソニック株式会社 ストリーム生成装置、ストリーム生成方法、ストリーム処理装置、およびストリーム処理方法
JPWO2012140839A1 (ja) * 2011-04-11 2014-07-28 パナソニック株式会社 ストリーム生成装置およびストリーム生成方法
EP2740270A4 (en) 2011-10-31 2015-04-29 Mediatek Inc APPARATUS AND METHOD FOR BUILDING REFERENCED CONTEXT TABLES TO PERFORM AN ENTROPTIC DECODING OF A MULTI-TILE ENCODED IMAGE AND CORRESPONDING ENTROPY DECODER
WO2013165215A1 (ko) * 2012-05-04 2013-11-07 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
JP6000763B2 (ja) * 2012-08-31 2016-10-05 キヤノン株式会社 画像処理装置及び画像処理方法
JP5672320B2 (ja) * 2013-02-26 2015-02-18 Ｎｔｔエレクトロニクス株式会社 デコーダ装置
US9743449B2 (en) * 2014-01-14 2017-08-22 Qualcomm Incorporated Bluetooth low energy secondary data channel with multi-rate streaming
US9927998B2 (en) * 2014-02-05 2018-03-27 Tidal Systems, Inc. Flash memory compression
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US10743032B2 (en) * 2017-05-24 2020-08-11 Qualcomm Incorporated Substream multiplexing for display stream compression
EP3657496A4 (en) * 2017-07-19 2020-08-05 Sony Corporation DEVICE AND PROCESS FOR PROCESSING INFORMATION
US11792432B2 (en) * 2020-02-24 2023-10-17 Tencent America LLC Techniques for signaling and identifying access unit boundaries

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261641A (ja) * 1996-03-26 1997-10-03 Sanyo Electric Co Ltd 圧縮画像データ処理方法及び装置
JPH10215366A (ja) * 1997-01-30 1998-08-11 Dainippon Screen Mfg Co Ltd 圧縮画像データの抽出方法およびその装置
JP2000324490A (ja) * 1999-05-14 2000-11-24 Hitachi Ltd 符号化ディジタル信号復号装置
JP2004221963A (ja) * 2003-01-15 2004-08-05 Fuji Photo Film Co Ltd 分割画像合成処理装置、分割画像合成処理方法および分割画像合成処理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3474005B2 (ja) * 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
CA2173812C (en) * 1995-04-11 2000-02-08 Shinichi Kikuchi Recording medium, recording apparatus and recording method for recording data into recording medium, and reproducing apparatus and reproduction method for reproducing data from recording medium
TW416220B (en) * 1998-01-23 2000-12-21 Matsushita Electric Ind Co Ltd Image transmitting method, image processing method, image processing device, and data storing medium
US7292772B2 (en) * 2000-05-29 2007-11-06 Sony Corporation Method and apparatus for decoding and recording medium for a coded video stream
US7353140B2 (en) * 2001-11-14 2008-04-01 Electric Power Research Institute, Inc. Methods for monitoring and controlling boiler flames
US7277586B2 (en) * 2003-01-15 2007-10-02 Fujifilm Corporation Images combination processing system, images combination processing method, and images combination processing program
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
KR20050113501A (ko) * 2004-05-29 2005-12-02 삼성전자주식회사 에이치 264 비디오 디코더를 위한 구문 분석기
US8514938B2 (en) * 2004-10-07 2013-08-20 Hewlett-Packard Development Company L.P. Picture coding apparatus for a still picture sequence and picture decoding apparatus for a still picture sequence
US20060133507A1 (en) * 2004-12-06 2006-06-22 Matsushita Electric Industrial Co., Ltd. Picture information decoding method and picture information encoding method
US7974517B2 (en) * 2005-10-05 2011-07-05 Broadcom Corporation Determination of decoding information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261641A (ja) * 1996-03-26 1997-10-03 Sanyo Electric Co Ltd 圧縮画像データ処理方法及び装置
JPH10215366A (ja) * 1997-01-30 1998-08-11 Dainippon Screen Mfg Co Ltd 圧縮画像データの抽出方法およびその装置
JP2000324490A (ja) * 1999-05-14 2000-11-24 Hitachi Ltd 符号化ディジタル信号復号装置
JP2004221963A (ja) * 2003-01-15 2004-08-05 Fuji Photo Film Co Ltd 分割画像合成処理装置、分割画像合成処理方法および分割画像合成処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Media Processor for Multimedia Consumer Products 'Media Core Processor", MATSUSHITA TECHNICAL JOURNAL, vol. 45, no. 2, April 1999 (1999-04-01)
See also references of EP2094015A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011004577A1 (ja) * 2009-07-06 2011-01-13 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、プログラムおよび集積回路
CN102687510A (zh) * 2009-07-06 2012-09-19 松下电器产业株式会社 图像解码装置、图像编码装置、图像解码方法、图像编码方法、程序及集成电路
JPWO2011004577A1 (ja) * 2009-07-06 2012-12-20 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法、プログラムおよび集積回路
CN102687510B (zh) * 2009-07-06 2014-11-05 松下电器产业株式会社 图像解码装置、图像编码装置、图像解码方法、图像编码方法及集成电路

Also Published As

Publication number Publication date
EP2094015A1 (en) 2009-08-26
JP4664406B2 (ja) 2011-04-06
US20100021142A1 (en) 2010-01-28
EP2094015A4 (en) 2011-09-28
JPWO2008072452A1 (ja) 2010-03-25

Similar Documents

Publication Publication Date Title
WO2008072452A1 (ja) 動画像復号化装置、半導体装置、映像機器および動画像復号化方法
US8699581B2 (en) Image processing device, image processing method, information processing device, and information processing method
US11234005B2 (en) Device and method of video decoding with first and second decoding code
US20080212683A1 (en) Image Decoding Device, Image Encoding Device and System LSI
JP2010515397A (ja) ビデオハードウェアにおける画像圧縮のためのアーキテクチャ
US11831919B2 (en) Encoding device and encoding method
US20080232461A1 (en) Multi-Decoder and Method
US11611741B2 (en) Video decoding device and video decoding method
CN103210655A (zh) 内容数据生成装置、内容数据生成方法、计算机程序以及记录介质
US20090034625A1 (en) Image Decoder
US20220191517A1 (en) Device and method of video encoding with first and second encoding code
JP5226325B2 (ja) Ｍｐｅｇ映像ストリームにおいて完全な画像を構築するために必要なフレームの動的決定のための方法及び装置
CN101364403A (zh) 图像处理装置及其控制方法
US8681862B2 (en) Moving picture decoding apparatus and moving picture decoding method
US8731311B2 (en) Decoding device, decoding method, decoding program, and integrated circuit
CN106063275A (zh) 图像编码装置和方法及图像处理装置和方法
US8837921B2 (en) System for fast angle changing in video playback devices
EP1615219A1 (en) Creating a DVD compliant stream directly from encoder hardware
JP4810326B2 (ja) 可変長復号方法及び装置
JP2009033227A (ja) 動画像復号化装置、動画像処理システム装置および動画像復号化方法
US20090041127A1 (en) Flexible length decoder
JP2012191247A (ja) 動画像符号化装置および動画像符号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2008505687

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07832235

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12518527

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2007832235

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE