WO2017115482A1 - ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 - Google Patents

ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 Download PDF

Info

Publication number
WO2017115482A1
WO2017115482A1 PCT/JP2016/069861 JP2016069861W WO2017115482A1 WO 2017115482 A1 WO2017115482 A1 WO 2017115482A1 JP 2016069861 W JP2016069861 W JP 2016069861W WO 2017115482 A1 WO2017115482 A1 WO 2017115482A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
bitstream
bit stream
syntax
conversion
Prior art date
Application number
PCT/JP2016/069861
Other languages
English (en)
French (fr)
Inventor
圭 河村
内藤　整
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to CN201680076379.1A priority Critical patent/CN108432251B/zh
Priority to EP16881462.2A priority patent/EP3399751B1/en
Publication of WO2017115482A1 publication Critical patent/WO2017115482A1/ja
Priority to US16/010,870 priority patent/US10757448B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present invention relates to a bit stream conversion device, a bit stream conversion method, a distribution system, a moving image encoding device, a moving image encoding method, and a computer-readable recording medium.
  • Non-Patent Document 1 A moving picture coding method using intra prediction (intraframe prediction) or inter prediction (interframe prediction), residual transform, and entropy coding has been proposed (see Non-Patent Document 1, for example).
  • an extension method of an encoding device / decoding device called a scalable encoding method has been proposed (see, for example, Non-Patent Document 1).
  • High-resolution video such as 4K video and 8K video has begun to circulate.
  • 4K video is distributed at 15 Mbps to 35 Mbps.
  • 8K video is assumed to be 90 Mbps to 110 Mbps as a broadcasting service.
  • Conventional HD video (2K video) has achieved practical quality at about 3 Mbps to 6 Mbps by HEVC (High Efficiency Video Coding).
  • Non-Patent Document 1 Assuming that these videos are stored for streaming, 4K / 8K video requires 10 times more capacity than 2K video. In particular, storing 4K video and 8K video separately requires storage costs, and therefore, the benefit of capacity reduction by the scalable coding technique described in Non-Patent Document 1 is great.
  • the configuration of the encoding device and the decoding device becomes a plurality of loops, and the processing amount increases.
  • the present invention has been made in view of these problems, and an object thereof is to provide a technique capable of suppressing an increase in processing amount in an encoding device or a decoding device while realizing scalability.
  • the bit stream conversion apparatus includes a syntax analysis unit that analyzes a syntax of a bit stream corresponding to moving image data in which a minimum unit size for decoding processing is defined and a syntax of an accompanying bit stream associated with the bit stream; , A high-level grammar conversion unit that converts a high-level grammar obtained as a result of the analysis by the syntax analysis unit into a new high-level grammar including a resolution lower than the resolution included in the high-level grammar, and information obtained as a result of the analysis by the syntax analysis unit A unit conversion unit that converts information associated with the smallest unit in the bitstream into information associated with the corresponding unit in the accompanying bitstream, and a new high-level grammar from the high-level grammar conversion unit. Combined with the converted information in the unit converter according to the syntax to generate a new bitstream Includes a syntax combining unit that, the.
  • This moving image encoding device converts and quantizes an error signal between an image and a predicted image in units of blocks for an encoding target image divided into a plurality of blocks, and generates a first level value.
  • a downsampling unit for generating a block.
  • the transform quantization unit transforms and quantizes the error signal of the block generated by the downsampling unit to generate a second level value.
  • the encoding unit entropy encodes the second level value generated by the transform quantization unit to generate an accompanying bit stream.
  • FIG. 2 It is a schematic diagram which shows the structure of the delivery system which concerns on embodiment. It is a block diagram which shows the function and structure of the moving image encoder of FIG. It is a schematic diagram which shows an example of the structure of a bit stream and an accompanying bit stream. It is a block diagram which shows the function and structure of BS conversion apparatus of FIG. It is a schematic diagram for demonstrating the conversion process in BS conversion apparatus of FIG. It is a block diagram which shows the function and structure of the moving image decoding apparatus of FIG. 2 is a flowchart showing a series of processes for generating a bitstream in the moving picture encoding apparatus of FIG. 1. 2 is a flowchart showing a series of processes for generating an accompanying bitstream in the moving picture encoding apparatus of FIG. 1.
  • H. Scalability in syntax is realized using the feature that various conversion sizes are defined in H.265 or ISO / IEC 23008-2 HEVC. Consider a case where the resolution is changed to 1/2, such as when converting from 8K to 4K. In order to be able to decode the converted bit stream by a HEVC compliant decoder, the bit stream is H.264. It is necessary to satisfy the constraints of H.265.
  • the CU (Coding Unit, coding unit) size, PU (Prediction Unit, prediction unit) size, and TU (Transform Unit, transform unit) size are each 8 (pixel, the same applies below) x 8 Restricted to 64 ⁇ 64, 4 ⁇ 4 to 32 ⁇ 32, and 4 ⁇ 4 to 32 ⁇ 32. Therefore, when the CU size is less than 16 ⁇ 16 (that is, 8 ⁇ 8), the bit stream when the image is reduced to a CU size of 8 ⁇ 8 is generated on the encoding side as an accompanying bit stream (accompaniing bitstream).
  • the PU size / TU size is less than 8 ⁇ 8 (that is, 4 ⁇ 4)
  • the image is reduced, and an associated bit stream when the PU size / TU size is set to 4 ⁇ 4 is generated on the encoding side. Is done.
  • the motion vector accuracy in the PU is set to 1 ⁇ 4.
  • the change in resolution is not limited to 1 ⁇ 2, and may generally be 2 ( ⁇ n) (n is a natural number).
  • the accompanying bitstream is referred to as such as being attached to the bitstream, but may be referred to as an auxiliary bitstream (complementary bitstream) or an auxiliary bitstream as an auxiliary to the bitstream. It may be referred to as an additional bitstream (additional bitstream).
  • FIG. 1 is a schematic diagram illustrating a configuration of a distribution system 100 according to an embodiment.
  • the distribution system 100 is a system used in a video distribution service that distributes high-resolution video such as 4K video and 8K video.
  • the video distribution service may be, for example, VOD (Video On Demand).
  • the distribution system 100 is connected to a moving image decoding apparatus 102 such as a set top box or a personal computer installed at a user site via a network 106 such as the Internet.
  • the moving picture decoding apparatus 102 is connected to a display apparatus 104 such as a television receiver or a monitor.
  • the moving image decoding apparatus 102 is a decoder conforming to HEVC.
  • the distribution system in the video distribution service is an example, and that the technical idea according to the present embodiment can be applied to any system or service including encoding or decoding of moving images. It is clear to the contractor.
  • the distribution system 100 receives designation of moving image content desired to be viewed from the user via the network 106.
  • the distribution system 100 encodes the data of the specified moving image content to generate a bit stream.
  • the distribution system 100 transmits the generated bit stream to the video decoding device 102 of the requesting user via the network 106.
  • the moving picture decoding apparatus 102 decodes the received bit stream to generate moving picture data, and transmits it to the display apparatus 104.
  • the display device 104 processes the received moving image data and outputs designated moving image content.
  • the distribution system 100 includes a moving image DB (database) 108, a moving image encoding device 110, a moving image storage server 101, a BS (bitstream) conversion device 112, a selection unit 114, an output control device 116, Is provided.
  • the moving image DB 108 holds high-resolution moving image data such as 4K video and 8K video.
  • the moving image encoding device 110 acquires moving image data corresponding to the specified moving image content from the moving image DB 108, encodes the acquired moving image data, and generates a bit stream BS and an accompanying bit stream ABS associated therewith. To do.
  • the bit stream BS is equivalent to a bit stream obtained by encoding the obtained moving image data with an encoder compliant with the conventional HEVC.
  • the bit stream BS can be decoded by a decoder compliant with HEVC such as the video decoding device 102.
  • the accompanying bit stream ABS corresponds to data obtained by down-sampling a part of the acquired moving image data. Therefore, decoding by the moving picture decoding apparatus 102 with only the accompanying bitstream ABS is not possible.
  • the moving image accumulation server 101 accumulates the bit stream BS and the accompanying bit stream ABS generated by the moving image encoding device 110.
  • the BS converter 112 converts the bit stream BS constituting the high-resolution video and the accompanying bit stream ABS accompanying it into a new bit stream NBS of the low-resolution video.
  • the BS conversion device 112 acquires the bit stream BS and the accompanying bit stream ABS stored in the moving image storage server 101.
  • the BS converter 112 processes the acquired bit stream BS and the accompanying bit stream ABS at a syntax level, and generates a new bit stream NBS corresponding to moving image data in which the resolution of the moving image data corresponding to the bit stream BS is reduced. Is generated. For example, when the bit stream BS corresponds to 8K moving image data, the new bit stream NBS corresponds to 4K moving image data.
  • the new bit stream NBS can be decoded by the moving picture decoding apparatus 102.
  • the resolution of moving image data acquired from the moving image DB 108 and input to the moving image encoding device 110 is 8K and the resolution of moving image data corresponding to the new bitstream NBS is 4K, that is, the resolution is 1 /.
  • the case of 2 will be described. Those skilled in the art who have touched this specification will readily understand that the configuration described in this embodiment can be extended to a case where the resolution is 2 (-n) times.
  • the selection unit 114 selects one of the new bit stream NBS generated by the BS converter 112 and the bit stream BS stored in the moving image storage server 101, and selects the selected bit stream via the network 106. To the moving picture decoding apparatus 102.
  • the output control device 116 controls the selection unit 114.
  • the user designates the resolution in consideration of the display capability of the display device 104 when designating the moving image content to be viewed.
  • the output control device 116 acquires the resolution specified via the network 106.
  • the output control device 116 controls the selection unit 114 so that the moving image data having the acquired resolution is output from the selection unit 114.
  • the output control device 116 causes the selection unit 114 to select the bit stream BS if the designated resolution is 8K, and to select a new bit stream NBS if the designated resolution is 4K.
  • the selection unit 114 selects a new bit stream NBS generated by the BS converter 112 when a request is received from the user to request a lower 4K resolution of 8K and 4K.
  • FIG. 2 is a block diagram showing the function and configuration of the moving picture coding apparatus 110 of FIG.
  • Each block shown here can be realized by hardware and other elements such as a computer CPU and a mechanical device, and software can be realized by a computer program or the like.
  • Draw functional blocks Therefore, those skilled in the art who have touched this specification will understand that these functional blocks can be realized in various forms by a combination of hardware and software.
  • the computer program for realizing the moving image encoding device 110 may be stored in a computer-readable recording medium or distributed via a network.
  • the video encoding device 110 includes a frame buffer 202, an in-loop filter 204, an inter prediction unit 206, an intra prediction unit 208, a transform / quantization unit 210, an entropy encoding unit 212, an inverse quantization / An inverse conversion unit 214, a downsampling unit 216, a subtraction unit 218, an addition unit 220, and a block division unit 222 are provided.
  • the block dividing unit 222 divides an image to be encoded, that is, a frame included in moving image data from the moving image DB 108 into a plurality of blocks.
  • the block sizes vary, and the plurality of blocks have a quadtree structure.
  • the division of the image into blocks in the block dividing unit 222 is based on the division of the image into blocks in HEVC. That is, the size of CTU (Coding Tree Unit), which is the largest processing size, is 64 ⁇ 64, and there are 32 ⁇ 32, 16 ⁇ 16, and 8 ⁇ 8 sizes obtained by repeatedly dividing this into four.
  • the block division unit 222 outputs the processing target block to the subtraction unit 218, the inter prediction unit 206, and the intra prediction unit 208.
  • CTU, CU, PU, and TU are units that are units of encoding processing in the moving image encoding device 110 and decoding processing in the moving image decoding device 102, and the minimum sizes thereof are 8 ⁇ 8, 8 ⁇ 8, It is specified as 4 ⁇ 4 and 4 ⁇ 4.
  • the image data of the previous frame is input from the frame buffer 202 to the inter prediction unit 206.
  • the inter prediction unit 206 outputs a prediction block of the processing target block based on inter-frame prediction based on the previous frame.
  • the intra prediction unit 208 receives image data of the already processed block of the same frame as the processing target frame from the addition unit 220.
  • the intra prediction unit 208 outputs a prediction block of the processing target block based on another block in the same frame as the processing target block. Either the output of the inter prediction unit 206 or the output of the intra prediction unit 208 is output to the subtraction unit 218 depending on whether inter-frame prediction or intra-frame prediction is applied to the processing target block.
  • the subtraction unit 218 generates an error (residual) signal between the image to be encoded and the intra predicted image or the inter predicted image in units of blocks.
  • the subtraction unit 218 outputs an error signal indicating an error between the processing target block and the prediction block output by the inter prediction unit 206 or the intra prediction unit 208.
  • the transform / quantization unit 210 transforms (for example, orthogonal transform) and quantizes the error signal in units of blocks, and generates a first level value.
  • the transform / quantization unit 210 outputs the generated first level value to the entropy coding unit 212 and the inverse quantization / inverse transform unit 214.
  • the entropy encoder 212 entropy-encodes the first level value and side information (not shown) generated by the transformer / quantizer 210 to generate a bitstream BS.
  • the side information is information necessary for reconstructing pixel values used in the decoding device, such as a prediction mode indicating whether intra prediction or inter prediction is used, a motion vector, a quantization parameter, a block size, and the like. Contains related information.
  • the inverse quantization / inverse transformation unit 214 performs processing reverse to the processing in the transformation / quantization unit 210 to generate an error signal.
  • the addition unit 220 adds the error signal output from the inverse quantization / inverse conversion unit 214 and the prediction block output from the inter prediction unit 206 or the intra prediction unit 208 to generate a processing target block, and generates an intra prediction unit. 208 and output to the in-loop filter 204.
  • the in-loop filter 204 generates a local decoded image corresponding to the frame and outputs it to the frame buffer 202. This locally decoded image is used for inter-frame prediction in the inter prediction unit 206.
  • the downsampling unit 216 generates a minimum-size conversion block having a resolution (that is, 4K) lower than the resolution (that is, 8K) of the encoding target image from the conversion block having a size larger than the minimum size.
  • the downsampling unit 216 acquires an intra / inter prediction error signal output from the subtraction unit 218 in units of transform blocks.
  • the downsampling unit 216 identifies the size of the transform block of the acquired intra / inter prediction error signal. When the specified size is larger than the minimum size (4 ⁇ 4), the downsampling unit 216 reduces the transform block to the minimum size, and outputs the transform block that has been reduced to the minimum size.
  • the downsampling unit 216 outputs a transform block obtained by reducing the transform block to 4 ⁇ 4 only when the specified size is 8 ⁇ 8 and the transform block is divided into 4 ⁇ 4.
  • the downsampling unit 216 may collect four 4 ⁇ 4 transform blocks generated by quadtree partitioning of the 8 ⁇ 8 transform block and reconstruct an 8 ⁇ 8 block.
  • the downsampling unit 216 may reduce the reconstructed 8 ⁇ 8 block to 4 ⁇ 4.
  • the 4 ⁇ 4 transform block output from the downsampling unit 216 is equivalent to the transform block of the minimum size when the resolution of the encoding target image is reduced to 4K.
  • the transform / quantization unit 210 obtains a transform block of the minimum size generated by the downsampling unit 216, transforms and quantizes the obtained transform block, and generates a second level value.
  • the entropy encoding unit 212 entropy encodes the second level value generated by the transform / quantization unit 210 to generate an associated bitstream ABS. Further, the entropy encoding unit 212 receives the level value and the intra prediction mode (not shown), and outputs the bit stream BS or the accompanying bit stream ABS. In this way, the reduced 4 ⁇ 4 block is also encoded.
  • the bit stream BS corresponds to an image to be encoded having a resolution of 8K
  • the accompanying bit stream ABS accompanying the bit stream BS is a minimum size of a 4K image in which the resolution of the image to be encoded is halved.
  • FIG. 3 is a schematic diagram showing an example of the structure of the bit stream BS and the accompanying bit stream ABS.
  • the accompanying bitstream ABS is attached to the bitstream BS.
  • the accompanying bitstream ABS may have a header 302 for identifying the accompanying bitstream ABS.
  • the video encoding apparatus 110 may output the bit stream BS and the accompanying bit stream ABS together as one bit stream.
  • the bitstream BS is information other than the video coding layer (video coding layer) (for example, VUI (Video Usability Information), SPS (Sequence Parameter Set), PPS (Picture Parameter Set), etc.) and is called a high-level grammar. ), Slice header, CU information, PU information, and TU information. The slice header shall be included in the high level grammar. Information regarding block division and intra prediction modes is stored in the CU information. Information regarding motion vectors is stored in the PU information. A level value is stored in the TU information.
  • the accompanying bitstream ABS has the same configuration as the bitstream BS.
  • FIG. 4 is a block diagram showing the function and configuration of the BS converter 112 of FIG.
  • Each block shown here can be realized by hardware and other elements such as a computer CPU and a mechanical device, and software can be realized by a computer program or the like.
  • Draw functional blocks Therefore, those skilled in the art who have touched this specification will understand that these functional blocks can be realized in various forms by a combination of hardware and software.
  • the computer program that implements the BS conversion device 112 may be stored in a computer-readable recording medium or distributed via a network.
  • the BS conversion device 112 includes a syntax analysis unit (Parser) 402, a unit conversion unit 404, a high-level grammar conversion unit (High Level Syntax Converter) 406, and a syntax synthesis unit (Synthesis) 408.
  • the syntax analysis unit 402 analyzes the syntax of the bitstream BS and the syntax of the accompanying bitstream ABS stored in the moving image storage server 101.
  • the syntax analysis unit 402 includes a BS analysis unit 410 and an ABS analysis unit 412.
  • the BS analysis unit 410 acquires the bit stream BS, analyzes the syntax of the bit stream BS, and decomposes the bit stream BS into high-level grammar, CU information, PU information, and TU information.
  • the BS analysis unit 410 outputs the high-level grammar, CU information, PU information, and TU information obtained as a result of the analysis to the high-level grammar conversion unit 406, CU conversion unit 414, PU conversion unit 416, and TU conversion unit 418, respectively.
  • the ABS analysis unit 412 acquires the accompanying bitstream ABS and analyzes the syntax of the accompanying bitstream ABS.
  • the ABS analysis unit 412 outputs the CU information, PU information, and TU information obtained as a result of the analysis to the CU conversion unit 414, the PU conversion unit 416, and the TU conversion unit 418, respectively.
  • the high-level grammar conversion unit 406 acquires the high-level grammar output from the BS analysis unit 410, and converts the acquired high-level grammar into a new high-level grammar including a resolution lower than the resolution included in the high-level grammar.
  • the high-level grammar conversion unit 406 includes the resolution (that is, 4K) obtained by dividing the resolution (that is, 8K) included in the acquired high-level grammar by 2 in the new high-level grammar. In this way, the high-level grammar conversion unit 406 changes the resolution of the high-level grammar.
  • the unit conversion unit 404 includes a CU conversion unit 414, a PU conversion unit 416, and a TU conversion unit 418.
  • the CU conversion unit 414 acquires CU information in the bitstream BS from the BS analysis unit 410.
  • the CU conversion unit 414 acquires CU information in the accompanying bitstream ABS from the ABS analysis unit 412.
  • the CU conversion unit 414 converts the CU information associated with the CU having the minimum size (8 ⁇ 8) among the CU information in the acquired bitstream BS to the corresponding minimum size CU in the acquired associated bitstream ABS. Is converted into CU information associated with the.
  • the CU conversion unit 414 discards the CU information derived from the bit stream BS and outputs CU information derived from the accompanying bit stream ABS instead.
  • the CU conversion unit 414 outputs the CU information derived from the bit stream BS as it is.
  • the PU conversion unit 416 acquires PU information in the bitstream BS from the BS analysis unit 410.
  • the PU conversion unit 416 acquires PU information in the accompanying bitstream ABS from the ABS analysis unit 412.
  • the PU conversion unit 416 converts the PU information associated with the PU of the minimum size (4 ⁇ 4) among the PU information in the acquired bitstream BS to the corresponding minimum size PU in the acquired associated bitstream ABS. Convert to PU information associated with. For example, the PU conversion unit 416 discards the PU information derived from the bit stream BS when the block size is the minimum PU size, and outputs PU information derived from the accompanying bit stream ABS instead.
  • the PU conversion unit 416 converts the accuracy (or size) of a motion vector associated with a PU having a size larger than the minimum size in the bitstream BS to 1/2, thereby converting the motion vector into accuracy corresponding to 4K. At this time, the PU conversion unit 416 reconstructs a motion vector having a precision of 1 ⁇ 2, encodes it again, and outputs PU information.
  • the TU conversion unit 418 acquires TU information in the bitstream BS from the BS analysis unit 410.
  • the TU converter 418 acquires TU information in the accompanying bitstream ABS from the ABS analyzer 412.
  • the TU conversion unit 418 converts the TU information associated with the TU having the minimum size (4 ⁇ 4) among the TU information in the acquired bitstream BS into the corresponding minimum size TU in the acquired associated bitstream ABS.
  • the TU conversion unit 418 extracts a low frequency component from a set of level values associated with a TU having a block size that is not the minimum TU size, that is, larger than the minimum TU size. Create a set.
  • the TU conversion unit 418 reconstructs the level value matrix to change the block size, extracts only the level values constituting the low frequency component, and outputs the TU information. For example, the TU conversion unit 418 reconstructs the level value matrix to halve the block size, extracts half of the low frequency side of each row and column, sets the number of level values to 1/4, and sets the TU information Is output.
  • the syntax synthesis unit 408 uses the new high-level grammar from the high-level grammar conversion unit 406 and the CU information, PU information, and TU information after conversion in each of the CU conversion unit 414, the PU conversion unit 416, and the TU conversion unit 418. Accordingly, a new bit stream NBS is generated by combining.
  • FIG. 5 is a schematic diagram for explaining the conversion process in the BS converter 112 of FIG.
  • the 16 ⁇ 16 portion of the 8K image is divided into 8 ⁇ 8 TU1, TU2, and TU3 and 4 ⁇ 4 TU4, TU5, TU6, and TU7.
  • the level value associated with each of these TU1 to TU7 is encoded and stored in the TU information of the bitstream BS.
  • 4 ⁇ 4 TU8 is generated by applying the downsampling according to the present embodiment to the 16 ⁇ 16 portion.
  • TU4, TU5, TU6, and TU7 collectively correspond to TU8.
  • the level value associated with TU8 is encoded and stored in the TU information of the accompanying bitstream ABS.
  • TU conversion unit 418 For TU1 having a size (8 ⁇ 8) larger than the minimum TU size (4 ⁇ 4), the low-frequency component of TU1 is extracted, and 4 ⁇ 4 TU9 is generated. Similarly, TU conversion unit 418 generates TU2 to TU10 and TU3 to TU11. The TU4, TU5, TU6, and TU7 having the minimum TU size (4 ⁇ 4) are discarded by the TU conversion unit 418 and replaced with TU8 derived from the accompanying bitstream ABS. The level values associated with each of these TU9, TU10, TU11, and TU8 are encoded and stored in the TU information of the new bitstream NBS.
  • FIG. 6 is a block diagram showing the function and configuration of the moving picture decoding apparatus 102 of FIG.
  • Each block shown here can be realized by hardware and other elements such as a computer CPU and a mechanical device, and software can be realized by a computer program or the like.
  • Draw functional blocks Therefore, those skilled in the art who have touched this specification will understand that these functional blocks can be realized in various forms by a combination of hardware and software.
  • the video decoding apparatus 102 includes an entropy decoding unit 602, an inverse quantization / inverse transform unit 604, an addition unit 606, an inter prediction unit 608, an intra prediction unit 610, a frame buffer 612, and an in-loop filter 614. .
  • the moving picture decoding apparatus 102 obtains output moving picture data from the bit stream BS or the new bit stream NBS by a procedure reverse to the procedure performed by the moving picture encoding apparatus 110.
  • the entropy decoding unit 602 receives a bit stream BS or a new bit stream NBS from the distribution system 100 via the network 106.
  • the entropy decoding unit 602 performs entropy decoding on the received bit stream, and extracts a level value and side information. Note that the process of obtaining side information and level values from the bitstream is referred to as a parse process. Reconstructing the pixel value using the side information and the level value obtained in this way is called a decoding process.
  • the inverse quantization / inverse transform unit 604 generates an error signal by inverse quantization and inverse transform of the level value in units of blocks.
  • the adder 606 determines whether the block corresponding to the error signal generated by the inverse quantization / inverse transform unit 604 is intra-predicted or inter-predicted, depending on whether the block is intra-predicted or inter-predicted.
  • the predicted image of the block output by any one of the prediction units 610 and the error signal of the block are added to reproduce the block.
  • the adding unit 606 outputs the reproduced block to the intra prediction unit 610 and the in-loop filter 614.
  • the intra prediction unit 610 performs intra-frame prediction using the reproduced block to generate an intra prediction image.
  • the in-loop filter 614 is a deblock filter, for example.
  • the in-loop filter 614 receives all the blocks of one frame, the in-loop filter 614 generates a local decoded image corresponding to the frame and outputs it to the frame buffer 612. This locally decoded image is used for inter-frame prediction in the inter prediction unit 608 and simultaneously output to the display device 104 as output moving image data.
  • FIG. 7 is a flowchart showing a series of processes for generating the bitstream BS in the moving picture encoding apparatus 110 of FIG.
  • the moving image encoding device 110 acquires an image to be encoded (S702).
  • the moving image encoding apparatus 110 divides the acquired encoding target image into a plurality of blocks (S704).
  • the moving image encoding device 110 calculates the difference between the image to be encoded and the predicted image in units of divided blocks, and generates an error signal (S706).
  • the moving image encoding device 110 performs orthogonal transform on the error signal for each block and then quantizes the block based on a predetermined quantization parameter (S708).
  • the moving image encoding apparatus 110 entropy-encodes the first level value obtained as a result of quantization, and generates a bitstream BS (S710).
  • the video encoding device 110 outputs the generated bit stream BS (S712).
  • FIG. 8 is a flowchart showing a series of processes for generating the accompanying bitstream ABS in the moving picture encoding apparatus 110 of FIG.
  • the video encoding device 110 acquires a block having a size larger than the minimum size (S802).
  • the moving image encoding apparatus 110 downsamples the acquired block, and generates a block having a minimum size having a resolution that is 1 ⁇ 2 of the resolution of the image to be encoded (S804).
  • the moving image coding apparatus 110 performs orthogonal transformation on the error signal for the generated minimum-size block, and quantizes the block based on a predetermined quantization parameter (S806).
  • the moving image encoding device 110 entropy-encodes the second level value obtained as a result of the quantization, and generates an associated bitstream ABS (S808).
  • the moving picture coding apparatus 110 attaches the generated accompanying bitstream ABS to the bitstream BS and outputs it (S810).
  • FIG. 9 is a flowchart showing a series of processes in the BS converter 112 of FIG.
  • the BS converter 112 acquires the bit stream BS and the accompanying bit stream ABS from the moving image storage server 101 (S902).
  • the BS converter 112 analyzes the acquired syntax of the bitstream BS and the syntax of the accompanying bitstream ABS (S904).
  • the BS converter 112 converts the high-level grammar extracted from the bitstream BS by the syntax analysis so that the resolution is 1 ⁇ 2, and obtains a new high-level grammar (S906).
  • the BS converter 112 transmits the CU information, PU information, and TU information associated with the minimum size CU, PU, and TU in the bitstream BS to the corresponding minimum size CU, PU, and TU in the associated bitstream ABS. Replacement is performed with the associated CU information, PU information, and TU information (S908).
  • the BS converter 112 combines the new high-level grammar with the replaced CU information, PU information, and TU information according to the syntax to generate a new bitstream NBS (S910).
  • the encoding side can generate a bit stream of a low resolution video by adding an accompanying bit stream to the high resolution video. This eliminates the need for separate encoding of low-resolution video. Since it is not necessary to prepare a device or a circuit for changing the resolution of the received video on the decoding side, the device configuration can be simplified.
  • the comparative example relates to a scalable coding scheme (see, for example, Non-Patent Document 1). This is a technique for encoding / decoding a basic video called a base layer and an extended video obtained by adding an extended portion called an enhancement layer to the basic video to expand various elements. Various elements include frame rate, resolution, bit depth, and color gamut.
  • the comparative example particularly relates to spatial scalability, which is scalability of resolution.
  • FIG. 10 is a block diagram showing the function and configuration of the scalable encoding device 130 according to the comparative example.
  • the downsampling unit 132 receives an input image and outputs an image with a resolution reduced to 1 ⁇ 2.
  • the 1/2 resolution video is encoded in the same manner as a normal encoding device.
  • the inter-layer reference image generation unit 134 receives the decoded image and outputs the image that has been doubled to the frame buffer 136.
  • the base layer image can be used as a reference image in the enhancement layer encoding, and the encoding efficiency is improved as compared with the case of encoding each individually.
  • FIG. 11 is a block diagram showing the function and configuration of the scalable decoding device 140 according to the comparative example.
  • the scalable decoding device 140 When decoding only the base layer, it is the same as the existing decoding device.
  • an inter-layer prediction image is added to the reference image buffer 142 of the enhancement layer.
  • the scalable encoding / decoding method according to the comparative example requires a plurality of encoding loops / decoding loops (for example, for low resolution and for high resolution). is there. Therefore, the memory bandwidth and processing amount required for signal processing increase in proportion to the total number of pixels in all layers.
  • a bit stream of a low resolution video for example, 4K video
  • a high resolution video for example, 8K video
  • the resolution is changed at the syntax level, so that the processing amount can be reduced as compared with the case where the resolution is changed at the signal level.
  • examples of the database are a hard disk and a semiconductor memory. Further, based on the description of the present specification, each unit is configured by a CPU (not shown), a module of an installed application program, a module of a system program, a semiconductor memory that temporarily stores the content of data read from the hard disk, or the like. It will be appreciated by those skilled in the art who have touched this specification that this can be achieved.
  • the distribution system 100 on the encoding side includes the BS conversion device 112 .
  • the present invention is not limited to this, and the BS conversion device may be provided on the decoding side.
  • the BS converter provided at the user site may receive an 8K video bitstream and an accompanying bitstream via the network 106 and generate a 4K video bitstream by syntax processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビットストリーム変換装置は、復号処理に係るユニットの最小サイズが規定されている動画像データに対応するビットストリームの構文と前記ビットストリームに付随する付随ビットストリームの構文とを解析する構文解析部と、構文解析部による解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する高位文法変換部と、構文解析部による解析の結果得られる情報であってビットストリーム中の最小サイズのユニットに関連付けられた情報を、付随ビットストリーム中の対応するユニットに関連付けられた情報に変換するユニット変換部と、高位文法変換部からの新たな高位文法とユニット変換部における変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成する構文合成部と、を備える。

Description

ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
　本発明は、ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体に関する。
　イントラ予測（フレーム内予測）またはインター予測（フレーム間予測）と、残差変換と、エントロピー符号化とを用いた動画像符号化方式が提案されている（例えば、非特許文献１参照）。また、スケーラブル符号化方式とよばれる、符号化装置・復号装置の拡張方式が提案されている（例えば、非特許文献１参照）。
　近年、４Ｋ映像や８Ｋ映像といった高解像度の映像が流通し始めている。映像配信サービスで４Ｋ映像は１５Ｍｂｐｓ～３５Ｍｂｐｓで配信されている。一方、８Ｋ映像は放送サービスとして９０Ｍｂｐｓ～１１０Ｍｂｐｓが想定されている。これまでのＨＤ映像（２Ｋ映像）については、ＨＥＶＣ（Ｈｉｇｈ　Ｅｆｆｉｃｉｅｎｃｙ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）により３Ｍｂｐｓ～６Ｍｂｐｓ程度で実用的な品質が実現できている。
　これらの映像をストリーミングするために蓄積することを想定すると、４Ｋ／８Ｋ映像は２Ｋ映像の１０倍以上の容量が必要となる。特に、４Ｋ映像と８Ｋ映像とを個別に蓄積するのはストレージコストがかかるため、非特許文献１に記載されるようなスケーラブル符号化技術による容量削減の恩恵は大きい。
ITU-T H.265 High Efficiency Video Coding.
　しかしながら、従来のＨＥＶＣのスケーラブル符号化・復号技術では、符号化装置や復号装置の構成が複数ループとなり、処理量が多くなる。
　本発明はこうした課題に鑑みてなされたものであり、その目的は、スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑えることができる技術の提供にある。
　本発明のある態様は、ビットストリーム変換装置に関する。このビットストリーム変換装置は、復号処理に係るユニットの最小サイズが規定されている動画像データに対応するビットストリームの構文と前記ビットストリームに付随する付随ビットストリームの構文とを解析する構文解析部と、構文解析部による解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する高位文法変換部と、構文解析部による解析の結果得られる情報であってビットストリーム中の最小サイズのユニットに関連付けられた情報を、付随ビットストリーム中の対応するユニットに関連付けられた情報に変換するユニット変換部と、高位文法変換部からの新たな高位文法とユニット変換部における変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成する構文合成部と、を備える。
　本発明の別の態様は、動画像符号化装置である。この動画像符号化装置は、複数のブロックに分割された符号化対象の画像について、ブロック単位で画像と予測画像との誤差信号を変換および量子化し、第１レベル値を生成する変換量子化部と、変換量子化部によって生成された第１レベル値をエントロピー符号化してビットストリームを生成する符号化部と、最小サイズよりも大きなサイズのブロックから、画像の解像度よりも低い解像度の最小サイズのブロックを生成するダウンサンプリング部と、を備える。変換量子化部はダウンサンプリング部によって生成されたブロックの誤差信号を変換および量子化して第２レベル値を生成する。符号化部は、変換量子化部によって生成された第２レベル値をエントロピー符号化して付随ビットストリームを生成する。
　なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。
　本発明によれば、スケーラビリティを実現しつつ符号化装置または復号装置における処理量の増加を抑えることができる。本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。
実施の形態に係る配信システムの構成を示す模式図である。 図１の動画像符号化装置の機能および構成を示すブロック図である。 ビットストリームおよび付随ビットストリームの構造の一例を示す模式図である。 図１のＢＳ変換装置の機能および構成を示すブロック図である。 図１のＢＳ変換装置における変換処理を説明するための模式図である。 図１の動画像復号装置の機能および構成を示すブロック図である。 図１の動画像符号化装置においてビットストリームを生成する一連の処理を示すフローチャートである。 図１の動画像符号化装置において付随ビットストリームを生成する一連の処理を示すフローチャートである。 図１のＢＳ変換装置における一連の処理を示すフローチャートである。 比較例に係るスケーラブル符号化装置の機能および構成を示すブロック図である。 比較例に係るスケーラブル復号装置の機能および構成を示すブロック図である。
　以下、各図面に示される同一または同等の構成要素、部材、処理、信号には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。
　実施の形態では、Ｈ．２６５またはＩＳＯ／ＩＥＣ　２３００８－２　ＨＥＶＣにおいて様々な変換サイズが規定されているという特徴を用いて、シンタックスにおけるスケーラビリティが実現される。８Ｋから４Ｋに変換する場合などの解像度を１／２に変更する場合を考える。変換されたビットストリームをＨＥＶＣ準拠のデコーダで復号可能とするため、該ビットストリームはＨ．２６５の制約を満たす必要がある。具体的には、ＨＥＶＣではＣＵ（Ｃｏｄｉｎｇ　Ｕｎｉｔ、コーディングユニット）サイズ、ＰＵ（Ｐｒｅｄｉｃｔｉｏｎ　Ｕｎｉｔ、プレディクションユニット）サイズ、ＴＵ（Ｔｒａｎｓｆｏｒｍ　Ｕｎｉｔ、トランスフォームユニット）サイズはそれぞれ、８（画素、以下同様）×８～６４×６４、４×４～３２×３２、４×４～３２×３２に制約されている。そこで、ＣＵサイズが１６×１６未満（すなわち８×８）の時には、画像を縮小してＣＵサイズを８×８とした時のビットストリームが付随ビットストリーム（ａｃｃｏｍｐａｎｙｉｎｇ　ｂｉｔｓｔｒｅａｍ)として符号化側で生成される。同様に、ＰＵサイズ／ＴＵサイズが８×８未満（すなわち４×４）の時には、画像を縮小して、ＰＵサイズ／ＴＵサイズを４×４とした時の付随ビットストリームが符号化側で生成される。
　一方、ＣＵサイズが１６×１６以上、またはＰＵサイズが８×８以上の時には特に変更は加えられず、ＴＵサイズが８×８以上の時には、低周波成分のレベル値のみが再符号化される。また、ＰＵにおける動きベクトル精度は１／４に揃えられる。
　その結果、８Ｋなどの高解像度映像に付随ビットストリームを追加する（オーバヘッド）ことで、ビットストリームのみからＨＥＶＣ準拠のデコーダで復号可能な低解像度映像のビットストリームを生成することができる。
　なお、解像度の変更は１／２に限定されず、一般に２（－ｎ）であればよい（ｎは自然数）。また、付随ビットストリームはビットストリームに付随するものとしてそのように称されているが、ビットストリームを補助するものとして補助ビットストリーム（ｓｕｐｐｌｅｍｅｎｔａｒｙ　ｂｉｔｓｔｒｅａｍ、ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｂｉｔｓｔｒｅａｍ）と称されてもよく、またはビットストリームに追加されるものとして追加ビットストリーム(ａｄｄｉｔｉｏｎａｌ　ｂｉｔｓｔｒｅａｍ)と称されてもよい。
　図１は、実施の形態に係る配信システム１００の構成を示す模式図である。配信システム１００は、４Ｋ映像や８Ｋ映像などの高解像度の映像を配信する映像配信サービスにおいて使用されるシステムである。映像配信サービスは例えばＶＯＤ（Ｖｉｄｅｏ　Ｏｎ　Ｄｅｍａｎｄ）であってもよい。配信システム１００はインターネットなどのネットワーク１０６を介して、ユーザサイトに設置されているセットトップボックスやパーソナルコンピュータなどの動画像復号装置１０２と接続される。動画像復号装置１０２は、テレビ受像機やモニタなどの表示装置１０４と接続される。動画像復号装置１０２は、ＨＥＶＣに準拠したデコーダである。
　なお、映像配信サービスにおける配信システムは一例であり、動画像の符号化または復号を含む任意のシステムやサービスに、本実施の形態に係る技術的思想を適用できることは、本明細書に触れた当業者には明らかである。
　配信システム１００は、ネットワーク１０６を介してユーザから観たい動画コンテンツの指定を受ける。配信システム１００は、指定された動画コンテンツのデータを符号化してビットストリームを生成する。配信システム１００は、生成されたビットストリームをネットワーク１０６を介して要求元のユーザの動画像復号装置１０２に送信する。動画像復号装置１０２は受信したビットストリームを復号して動画像データを生成し、表示装置１０４に送信する。表示装置１０４は、受信した動画像データを処理し、指定された動画コンテンツを出力する。
　配信システム１００は、動画像ＤＢ（データベース）１０８と、動画像符号化装置１１０と、動画像蓄積サーバ１０１と、ＢＳ（ビットストリーム）変換装置１１２と、選択部１１４と、出力制御装置１１６と、を備える。動画像ＤＢ１０８は、４Ｋ映像や８Ｋ映像などの高解像度の動画像のデータを保持する。動画像符号化装置１１０は、指定された動画コンテンツに対応する動画像データを動画像ＤＢ１０８から取得し、取得された動画像データを符号化し、ビットストリームＢＳおよびそれに付随する付随ビットストリームＡＢＳを生成する。ビットストリームＢＳは、取得された動画像データを従来のＨＥＶＣに準拠したエンコーダで符号化して得られるビットストリームと同等である。したがって、ビットストリームＢＳは動画像復号装置１０２などのＨＥＶＣに準拠したデコーダにより復号可能である。一方、付随ビットストリームＡＢＳは取得された動画像データの一部をダウンサンプリングして得られるデータに対応する。したがって、付随ビットストリームＡＢＳのみの動画像復号装置１０２による復号は可能でない。動画像蓄積サーバ１０１は、動画像符号化装置１１０によって生成されたビットストリームＢＳと付随ビットストリームＡＢＳとを蓄積する。
　ＢＳ変換装置１１２は、高解像度映像を構成するビットストリームＢＳとそれに付随する付随ビットストリームＡＢＳとを、低解像度映像の新たなビットストリームＮＢＳへと変換する。ＢＳ変換装置１１２は、動画像蓄積サーバ１０１に蓄積されているビットストリームＢＳおよび付随ビットストリームＡＢＳを取得する。ＢＳ変換装置１１２は、取得されたビットストリームＢＳおよび付随ビットストリームＡＢＳをシンタックスレベルで処理し、ビットストリームＢＳに対応する動画像データの解像度を低くした動画像データに対応する新たなビットストリームＮＢＳを生成する。例えば、ビットストリームＢＳが８Ｋの動画像データに対応するとき、新たなビットストリームＮＢＳは４Ｋの動画像データに対応する。新たなビットストリームＮＢＳは動画像復号装置１０２により復号可能である。
　以下、動画像ＤＢ１０８から取得され動画像符号化装置１１０に入力される動画像データの解像度が８Ｋであり新たなビットストリームＮＢＳに対応する動画像データの解像度が４Ｋである場合すなわち解像度を１／２にする場合について説明する。本明細書に触れた当業者には、本実施の形態で説明される構成の、解像度を２（－ｎ）倍にする場合への拡張は自明である。
　選択部１１４は、ＢＳ変換装置１１２によって生成された新たなビットストリームＮＢＳおよび動画像蓄積サーバ１０１に蓄積されているビットストリームＢＳのうちからひとつを選択し、選択されたビットストリームをネットワーク１０６を介して動画像復号装置１０２に送信する。
　出力制御装置１１６は選択部１１４を制御する。ユーザは、観たい動画コンテンツを指定する際、表示装置１０４の表示能力等を考慮し、解像度を指定する。出力制御装置１１６はネットワーク１０６を介して指定された解像度を取得する。出力制御装置１１６は、取得された解像度の動画像データが選択部１１４から出力されるよう、選択部１１４を制御する。例えば、出力制御装置１１６は指定された解像度が８Ｋであれば選択部１１４にビットストリームＢＳを選択させ、指定された解像度が４Ｋであれば新たなビットストリームＮＢＳを選択させる。その結果、選択部１１４は、８Ｋ、４Ｋのうち低い方の４Ｋの解像度を所望するというリクエストがユーザからあったときには、ＢＳ変換装置１１２により生成される新たなビットストリームＮＢＳを選択する。
　図２は、図１の動画像符号化装置１１０の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。動画像符号化装置１１０を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。
　動画像符号化装置１１０は、フレームバッファ２０２と、インループフィルタ２０４と、インター予測部２０６と、イントラ予測部２０８と、変換・量子化部２１０と、エントロピー符号化部２１２と、逆量子化・逆変換部２１４と、ダウンサンプリング部２１６と、減算部２１８と、加算部２２０と、ブロック分割部２２２と、を備える。
　ブロック分割部２２２は、動画像ＤＢ１０８からの動画像データに含まれる符号化対象の画像すなわちフレームを複数のブロックに分割する。ブロックのサイズは様々であり、複数のブロックは四分木構造を有する。ブロック分割部２２２における画像のブロックへの分割はＨＥＶＣにおける画像のブロックへの分割に準じる。すなわち、もっとも大きな処理サイズであるＣＴＵ（Ｃｏｄｉｎｇ　Ｔｒｅｅ　Ｕｎｉｔ）のサイズは６４×６４であり、これを繰り返し四分割した３２×３２、１６×１６、８×８のサイズが存在している。ブロック分割部２２２は処理対象ブロックを減算部２１８とインター予測部２０６とイントラ予測部２０８とに出力する。
　なお、ＣＴＵ、ＣＵ、ＰＵ、ＴＵは動画像符号化装置１１０における符号化処理および動画像復号装置１０２における復号処理の単位となるユニットであり、それぞれの最小サイズは８×８、８×８、４×４、４×４と規定されている。
　インター予測部２０６には、フレームバッファ２０２から以前のフレームの画像データが入力される。インター予測部２０６は、以前のフレームに基づき、フレーム間予測による処理対象ブロックの予測ブロックを出力する。イントラ予測部２０８には、処理対象のフレームと同じフレームの既に処理したブロックの画像データが加算部２２０から入力される。イントラ予測部２０８は、処理対象ブロックと同じフレームの他のブロックに基づき、処理対象ブロックの予測ブロックを出力する。処理対象ブロックにフレーム間予測を適用するか、フレーム内予測を適用するかに応じて、インター予測部２０６の出力とイントラ予測部２０８の出力とのいずれかが減算部２１８に出力される。
　減算部２１８は、ブロック単位で符号化対象の画像とイントラ予測画像またはインター予測画像との誤差（残差）信号を生成する。減算部２１８は、処理対象ブロックと、インター予測部２０６またはイントラ予測部２０８が出力した予測ブロックとの誤差を示す誤差信号を出力する。変換・量子化部２１０は、ブロック単位で誤差信号を変換（例えば、直交変換）および量子化し、第１レベル値を生成する。変換・量子化部２１０は、生成された第１レベル値をエントロピー符号化部２１２および逆量子化・逆変換部２１４に出力する。エントロピー符号化部２１２は、変換・量子化部２１０によって生成された第１レベル値とサイド情報（不図示）とをエントロピー符号化して、ビットストリームＢＳを生成する。なお、サイド情報は、復号装置において使用する画素値の再構成に必要な情報であり、イントラ予測またはインター予測の何れを使用したかを示す予測モード、動きベクトル、量子化パラメータ、ブロックサイズ等の関連情報を含む。
　逆量子化・逆変換部２１４は、変換・量子化部２１０における処理とは逆の処理を行って誤差信号を生成する。加算部２２０は、逆量子化・逆変換部２１４が出力する誤差信号と、インター予測部２０６またはイントラ予測部２０８が出力する予測ブロックと、を加算して処理対象ブロックを生成し、イントラ予測部２０８と、インループフィルタ２０４に出力する。インループフィルタ２０４は、当該フレームに対応する局所復号画像を生成してフレームバッファ２０２に出力する。この局所復号画像は、インター予測部２０６におけるフレーム間予測に使用される。
　ダウンサンプリング部２１６は、最小サイズよりも大きなサイズの変換ブロックから、符号化対象の画像の解像度（すなわち８Ｋ）よりも低い解像度（すなわち４Ｋ）の最小サイズの変換ブロックを生成する。ダウンサンプリング部２１６は、変換ブロック単位で減算部２１８から出力されるイントラ・インター予測誤差信号を取得する。ダウンサンプリング部２１６は、取得されたイントラ・インター予測誤差信号の変換ブロックのサイズを特定する。ダウンサンプリング部２１６は、特定されたサイズが最小サイズ（４×４）よりも大きい場合には変換ブロックを最小サイズまで縮小し、縮小され最小サイズとなった変換ブロックを出力する。例えばダウンサンプリング部２１６は、特定されたサイズが８×８であり、その変換ブロックが４×４に分割されているときにのみ、その変換ブロックを４×４に縮小した変換ブロックを出力する。あるいはまた、ダウンサンプリング部２１６は、８×８の変換ブロックの４分木分割により生成された４つの４×４の変換ブロックを集めて８×８のブロックを再構成してもよい。ダウンサンプリング部２１６は、再構成された８×８のブロックを４×４に縮小してもよい。ダウンサンプリング部２１６から出力される４×４の変換ブロックは、符号化対象の画像の解像度を４Ｋに落としたときの最小サイズの変換ブロックと同等である。
　変換・量子化部２１０は、ダウンサンプリング部２１６によって生成された最小サイズの変換ブロックを取得し、取得された変換ブロックを変換および量子化して第２レベル値を生成する。エントロピー符号化部２１２は、変換・量子化部２１０によって生成された第２レベル値をエントロピー符号化して付随ビットストリームＡＢＳを生成する。また、エントロピー符号化部２１２はレベル値とイントラ予測モード（不図示）を入力とし、ビットストリームＢＳまたは付随ビットストリームＡＢＳを出力する。このように、縮小された４×４のブロックについても符号化される。ビットストリームＢＳは解像度が８Ｋの符号化対象の画像に対応し、該ビットストリームＢＳに付随する付随ビットストリームＡＢＳは符号化対象の画像の解像度を１／２にした４Ｋの画像の、最小サイズのＣＵ、ＰＵ、ＴＵに関連する情報を含む。
　図３は、ビットストリームＢＳおよび付随ビットストリームＡＢＳの構造の一例を示す模式図である。付随ビットストリームＡＢＳはビットストリームＢＳに付随する。付随ビットストリームＡＢＳは、付随ビットストリームＡＢＳを識別するためのヘッダ３０２を有してもよい。動画像符号化装置１１０は、ビットストリームＢＳと付随ビットストリームＡＢＳとを合わせてひとつのビットストリームとして出力してもよい。
　ビットストリームＢＳは、映像符号化レイヤ（ｖｉｄｅｏ　ｃｏｄｉｎｇ　ｌａｙｅｒ）以外の情報（例えば、ＶＵＩ（Ｖｉｄｅｏ　Ｕｓａｂｉｌｉｔｙ　Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）、ＰＰＳ（Ｐｉｃｔｕｒｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）などであり、高位文法と称される）と、スライスヘッダと、ＣＵ情報と、ＰＵ情報と、ＴＵ情報と、を含む。スライスヘッダは高位文法に含まれるものとする。ＣＵ情報にはブロック分割およびイントラ予測モードに関する情報が格納されている。ＰＵ情報には動きベクトルに関する情報が格納されている。ＴＵ情報にはレベル値が格納されている。付随ビットストリームＡＢＳはビットストリームＢＳと同様の構成を有する。
　図４は、図１のＢＳ変換装置１１２の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。ＢＳ変換装置１１２を実現するコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて、又は、ネットワーク経由で配布が可能なものであってもよい。
　ＢＳ変換装置１１２は、構文解析部（Ｐａｒｓｅｒ）４０２と、ユニット変換部４０４と、高位文法変換部（Ｈｉｇｈ　Ｌｅｖｅｌ　Ｓｙｎｔａｘ　Ｃｏｎｖｅｒｔｅｒ）４０６と、構文合成部（Ｓｙｎｔｈｅｓｉｓ）４０８と、を備える。構文解析部４０２は、動画像蓄積サーバ１０１に蓄積されているビットストリームＢＳの構文と付随ビットストリームＡＢＳの構文とを解析する。構文解析部４０２は、ＢＳ解析部４１０とＡＢＳ解析部４１２とを含む。ＢＳ解析部４１０はビットストリームＢＳを取得し、ビットストリームＢＳの構文を解析し、ビットストリームＢＳを高位文法、ＣＵ情報、ＰＵ情報、ＴＵ情報に分解する。ＢＳ解析部４１０は、解析の結果得られた高位文法、ＣＵ情報、ＰＵ情報、ＴＵ情報をそれぞれ高位文法変換部４０６、ＣＵ変換部４１４、ＰＵ変換部４１６、ＴＵ変換部４１８に出力する。ＡＢＳ解析部４１２は、付随ビットストリームＡＢＳを取得し、付随ビットストリームＡＢＳの構文を解析する。ＡＢＳ解析部４１２は、解析の結果得られたＣＵ情報、ＰＵ情報、ＴＵ情報をそれぞれＣＵ変換部４１４、ＰＵ変換部４１６、ＴＵ変換部４１８に出力する。
　高位文法変換部４０６は、ＢＳ解析部４１０から出力された高位文法を取得し、取得された高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する。例えば高位文法変換部４０６は、取得された高位文法に含まれる解像度（すなわち８Ｋ）を２で除して得られる解像度（すなわち４Ｋ）を、新たな高位文法に含める。このようにして、高位文法変換部４０６において高位文法の解像度が変更される。
　ユニット変換部４０４は、ＣＵ変換部４１４とＰＵ変換部４１６とＴＵ変換部４１８とを含む。ＣＵ変換部４１４は、ＢＳ解析部４１０からビットストリームＢＳ中のＣＵ情報を取得する。ＣＵ変換部４１４は、ＡＢＳ解析部４１２から付随ビットストリームＡＢＳ中のＣＵ情報を取得する。ＣＵ変換部４１４は、取得されたビットストリームＢＳ中のＣＵ情報のうち最小サイズ（８×８）のＣＵに関連付けられたＣＵ情報を、取得された付随ビットストリームＡＢＳ中の対応する最小サイズのＣＵに関連付けられたＣＵ情報に変換する。例えばＣＵ変換部４１４は、ブロックサイズが最小ＣＵサイズの時にはビットストリームＢＳ由来のＣＵ情報を破棄し、代わりに付随ビットストリームＡＢＳ由来のＣＵ情報を出力する。ＣＵ変換部４１４は、ブロックサイズが最小ＣＵサイズでない場合にはビットストリームＢＳ由来のＣＵ情報をそのまま出力する。
　ＰＵ変換部４１６は、ＢＳ解析部４１０からビットストリームＢＳ中のＰＵ情報を取得する。ＰＵ変換部４１６は、ＡＢＳ解析部４１２から付随ビットストリームＡＢＳ中のＰＵ情報を取得する。ＰＵ変換部４１６は、取得されたビットストリームＢＳ中のＰＵ情報のうち最小サイズ（４×４）のＰＵに関連付けられたＰＵ情報を、取得された付随ビットストリームＡＢＳ中の対応する最小サイズのＰＵに関連付けられたＰＵ情報に変換する。例えばＰＵ変換部４１６は、ブロックサイズが最小ＰＵサイズの時にはビットストリームＢＳ由来のＰＵ情報を破棄し、代わりに付随ビットストリームＡＢＳ由来のＰＵ情報を出力する。ＰＵ変換部４１６は、ビットストリームＢＳ中の最小サイズよりも大きなサイズのＰＵに関連付けられた動きベクトルの精度（または大きさ）を１／２にすることで、４Ｋに応じた精度に変換する。この際、ＰＵ変換部４１６は、精度が１／２の動きベクトルを再構築してから再び符号化して、ＰＵ情報を出力する。
　ＴＵ変換部４１８は、ＢＳ解析部４１０からビットストリームＢＳ中のＴＵ情報を取得する。ＴＵ変換部４１８は、ＡＢＳ解析部４１２から付随ビットストリームＡＢＳ中のＴＵ情報を取得する。ＴＵ変換部４１８は、取得されたビットストリームＢＳ中のＴＵ情報のうち最小サイズ（４×４）のＴＵに関連付けられたＴＵ情報を、取得された付随ビットストリームＡＢＳ中の対応する最小サイズのＴＵに関連付けられたＴＵ情報に変換する。例えばＴＵ変換部４１８は、ブロックサイズが最小ＴＵサイズの時にはビットストリームＢＳ由来のＴＵ情報を破棄し、代わりに付随ビットストリームＡＢＳ由来のＴＵ情報を出力する。
　ＴＵ変換部４１８は、ブロックサイズが最小ＴＵサイズでない、すなわち最小ＴＵサイズより大きなサイズのＴＵに関連付けられたレベル値の集合から低周波成分を抽出することにより、４Ｋの解像度に応じたレベル値の集合を生成する。ＴＵ変換部４１８は、ブロックサイズが最小ＴＵサイズでない場合には、ブロックサイズを変更するためレベル値行列を再構成して低周波成分を構成するレベル値のみを抽出してＴＵ情報を出力する。例えばＴＵ変換部４１８は、ブロックサイズを半分にするためにレベル値行列を再構成して、行と列それぞれの低周波数側の半分を抽出し、レベル値の個数を１／４として、ＴＵ情報を出力する。
　構文合成部４０８は、高位文法変換部４０６からの新たな高位文法とＣＵ変換部４１４、ＰＵ変換部４１６、ＴＵ変換部４１８のそれぞれにおける変換後のＣＵ情報、ＰＵ情報、ＴＵ情報とを構文にしたがい合成し、新たなビットストリームＮＢＳを生成する。
　図５は、図１のＢＳ変換装置１１２における変換処理を説明するための模式図である。８Ｋ画像の１６×１６の部分は８×８のＴＵ１、ＴＵ２、ＴＵ３と、４×４のＴＵ４、ＴＵ５、ＴＵ６、ＴＵ７と、に分割されている。これらのＴＵ１～ＴＵ７のそれぞれに関連付けられたレベル値は符号化され、ビットストリームＢＳのＴＵ情報に格納される。また、本実施の形態に係るダウンサンプリングを上記１６×１６の部分に適用することにより、４×４のＴＵ８が生成される。ＴＵ４、ＴＵ５、ＴＵ６、ＴＵ７はまとめてＴＵ８に対応する。ＴＵ８に関連付けられたレベル値は符号化され、付随ビットストリームＡＢＳのＴＵ情報に格納される。
　ＴＵ変換部４１８において、最小ＴＵサイズ（４×４）よりも大きなサイズ（８×８）のＴＵ１については、ＴＵ１の低周波成分が抽出され、４×４のＴＵ９が生成される。同様に、ＴＵ変換部４１８においてＴＵ２からＴＵ１０が、ＴＵ３からＴＵ１１が、それぞれ生成される。最小ＴＵサイズ（４×４）のＴＵ４、ＴＵ５、ＴＵ６、ＴＵ７はＴＵ変換部４１８によって破棄され、付随ビットストリームＡＢＳ由来のＴＵ８に置き換えられる。これらのＴＵ９、ＴＵ１０、ＴＵ１１、ＴＵ８のそれぞれに関連付けられたレベル値は符号化され、新たなビットストリームＮＢＳのＴＵ情報に格納される。
　図６は、図１の動画像復号装置１０２の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現できることは、本明細書に触れた当業者には理解される。
　動画像復号装置１０２は、エントロピー復号部６０２と、逆量子化・逆変換部６０４と、加算部６０６と、インター予測部６０８と、イントラ予測部６１０と、フレームバッファ６１２と、インループフィルタ６１４と、を備える。動画像復号装置１０２は、動画像符号化装置１１０で行われる手順と逆の手順により、ビットストリームＢＳまたは新たなビットストリームＮＢＳから出力動画像データを得る。
　エントロピー復号部６０２は、ネットワーク１０６を介して配信システム１００からビットストリームＢＳまたは新たなビットストリームＮＢＳを受信する。エントロピー復号部６０２は、受信したビットストリームをエントロピー復号し、レベル値とサイド情報とを取り出す。なお、ビットストリームからサイド情報およびレベル値を得る処理はパース（ｐａｒｓｅ）処理と称される。このようにして得られたサイド情報およびレベル値を用いて画素値を再構成することは、復号処理と称される。
　逆量子化・逆変換部６０４は、ブロック単位でレベル値を逆量子化および逆変換して誤差信号を生成する。加算部６０６は、逆量子化・逆変換部６０４によって生成された誤差信号に対応するブロックがイントラ予測されたものであるかインター予測されたものであるかに応じて、インター予測部６０８またはイントラ予測部６１０のいずれか一方が出力する当該ブロックの予測画像と当該ブロックの誤差信号とを加算し、当該ブロックを再生する。加算部６０６は、再生されたブロックをイントラ予測部６１０とインループフィルタ６１４とに出力する。イントラ予測部６１０は再生されたブロックを使用してフレーム内予測を行いイントラ予測画像を生成する。インループフィルタ６１４は例えばデブロックフィルタである。インループフィルタ６１４は、１つのフレームの総てのブロックを受け取ると、当該フレームに対応する局所復号画像を生成してフレームバッファ６１２に出力する。この局所復号画像は、インター予測部６０８におけるフレーム間予測に使用されると同時に、出力動画像データとして表示装置１０４に出力される。
　以上の構成による動画像符号化装置１１０およびＢＳ変換装置１１２の動作を説明する。
　図７は、図１の動画像符号化装置１１０においてビットストリームＢＳを生成する一連の処理を示すフローチャートである。動画像符号化装置１１０は、符号化対象の画像を取得する（Ｓ７０２）。動画像符号化装置１１０は、取得された符号化対象の画像を複数のブロックへ分割する（Ｓ７０４）。動画像符号化装置１１０は、分割されたブロック単位で、符号化対象の画像と予測画像との差分を演算し、誤差信号を生成する（Ｓ７０６）。動画像符号化装置１１０は、ブロックごとに誤差信号を直交変換した上で所定の量子化パラメータに基づき量子化する（Ｓ７０８）。動画像符号化装置１１０は、量子化の結果得られる第１レベル値をエントロピー符号化し、ビットストリームＢＳを生成する（Ｓ７１０）。動画像符号化装置１１０は、生成されたビットストリームＢＳを出力する（Ｓ７１２）。
　図８は、図１の動画像符号化装置１１０において付随ビットストリームＡＢＳを生成する一連の処理を示すフローチャートである。動画像符号化装置１１０は、最小サイズよりも大きなサイズのブロックを取得する（Ｓ８０２）。動画像符号化装置１１０は、取得されたブロックをダウンサンプリングし、符号化対象の画像の解像度の１／２の解像度の最小サイズのブロックを生成する（Ｓ８０４）。動画像符号化装置１１０は、生成された最小サイズのブロックについて誤差信号を直交変換した上で所定の量子化パラメータに基づき量子化する（Ｓ８０６）。動画像符号化装置１１０は、量子化の結果得られる第２レベル値をエントロピー符号化し、付随ビットストリームＡＢＳを生成する（Ｓ８０８）。動画像符号化装置１１０は、生成された付随ビットストリームＡＢＳをビットストリームＢＳに付随させて出力する（Ｓ８１０）。
　図９は、図１のＢＳ変換装置１１２における一連の処理を示すフローチャートである。ＢＳ変換装置１１２は、動画像蓄積サーバ１０１からビットストリームＢＳおよび付随ビットストリームＡＢＳを取得する（Ｓ９０２）。ＢＳ変換装置１１２は、取得されたビットストリームＢＳの構文と、付随ビットストリームＡＢＳの構文と、を解析する（Ｓ９０４）。ＢＳ変換装置１１２は、構文解析によりビットストリームＢＳから抽出された高位文法を、解像度が１／２になるよう変換し、新たな高位文法を得る（Ｓ９０６）。ＢＳ変換装置１１２は、ビットストリームＢＳ中の最小サイズのＣＵ、ＰＵ、ＴＵに関連付けられたＣＵ情報、ＰＵ情報、ＴＵ情報を、付随ビットストリームＡＢＳ中の対応する最小サイズのＣＵ、ＰＵ、ＴＵに関連付けられたＣＵ情報、ＰＵ情報、ＴＵ情報で置換する（Ｓ９０８）。ＢＳ変換装置１１２は、新たな高位文法と置換後のＣＵ情報、ＰＵ情報、ＴＵ情報とを構文にしたがい合成し、新たなビットストリームＮＢＳを生成する（Ｓ９１０）。
　本実施の形態に係る配信システム１００によると、信号処理における処理量を削減したスケーラブル符号化方式が実現可能となる。例えば、符号化側では、高解像度映像に付随ビットストリームを追加することで低解像度映像のビットストリームを生成することができる。これにより、低解像度映像の別途の符号化が不要となる。復号側では受信した映像の解像度を変更するための装置や回路を用意する必要はないので、装置構成をシンプルにすることができる。
　比較例を参照することで本実施の形態の作用効果を説明する。比較例は、スケーラブル符号化方式（例えば、非特許文献１参照）に関する。これはベースレイヤと呼ばれる基本映像と、基本映像にエンハンスメントレイヤと呼ばれる拡張部分を追加して様々な要素が拡張された拡張映像とを符号化・復号する手法である。様々な要素としては、フレームレート、解像度、ビット深度、色域などがある。比較例は特に解像度のスケーラビリティである空間スケーラビリティに関する。
　図１０は、比較例に係るスケーラブル符号化装置１３０の機能および構成を示すブロック図である。ダウンサンプリング部１３２は入力画像を入力とし、解像度を１／２にした画像を出力する。１／２解像度の映像は、通常の符号化装置と同様に符号化される。レイヤ間参照画像生成部１３４は、復号された画像を入力とし、２倍に拡大した画像をフレームバッファ１３６に出力する。この結果、エンハンスメントレイヤの符号化における参照画像として、ベースレイヤの画像を利用することができ、それぞれ個別にエンコードするよりも、符号化効率が改善する。
　図１１は、比較例に係るスケーラブル復号装置１４０の機能および構成を示すブロック図である。ベースレイヤのみを復号する場合には、既存の復号装置と同じである。一方、エンハンスメントレイヤまで復号するときには、エンハンスメントレイヤの参照画像バッファ１４２に、レイヤ間予測画像を追加する。
　図１０および図１１に示される回路構成からも明らかな通り、比較例に係るスケーラブル符号化・復号方式では、複数の符号化ループ／復号ループ（例えば、低解像度用と高解像度用）が必要である。したがって、信号処理に必要なメモリ帯域や処理量が全レイヤの画素数の合計に比例して増大する。これに対して本実施の形態に係る方式では、高解像度映像（例えば８Ｋ映像）のビットストリームから低解像度映像（例えば、４Ｋ映像）のビットストリームをシンタックス処理において生成する。したがって、高解像度映像と低解像度映像のどちらも単一ループの復号装置で復号可能となり、メモリ帯域や処理量を低減することができる。また、消費電力も低減できる。
　また、本実施の形態に係る方式では、シンタックスレベルで解像度を変更するので、信号レベルで解像度を変更する場合と比較して処理量を低減できる。
　上述の実施の形態において、データベースの例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現できることは本明細書に触れた当業者には理解される。
　以上、実施の形態に係る配信システム１００の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。
　実施の形態では、符号化側である配信システム１００がＢＳ変換装置１１２を備える場合について説明したが、これに限られず、ＢＳ変換装置は復号側に設けられてもよい。例えば、ユーザサイトに設けられたＢＳ変換装置はネットワーク１０６を介して８Ｋ映像のビットストリームおよび付随ビットストリームを受信し、シンタックス処理にて４Ｋ映像のビットストリームを生成してもよい。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
　本願は、２０１５年１２月２８日提出の日本国特許出願特願２０１５－２５６４８８を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。

Claims (14)

  1. 　復号処理に係るユニットの最小サイズが規定されている動画像データに対応するビットストリームの構文と前記ビットストリームに付随する付随ビットストリームの構文とを解析する構文解析部と、
    　前記構文解析部による解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換する高位文法変換部と、
    　前記構文解析部による解析の結果得られる情報であって前記ビットストリーム中の最小サイズのユニットに関連付けられた情報を、前記付随ビットストリーム中の対応するユニットに関連付けられた情報に変換するユニット変換部と、
    　前記高位文法変換部からの前記新たな高位文法と前記ユニット変換部における変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成する構文合成部と、を備えることを特徴とするビットストリーム変換装置。
  2. 　前記高位文法変換部は、前記構文解析部による解析の結果得られる高位文法に含まれる解像度を２のｎ乗（ｎは自然数）で除して得られる解像度を、前記新たな高位文法に含めることを特徴とする請求項１に記載のビットストリーム変換装置。
  3. 　前記ユニット変換部は、前記ビットストリーム中の最小サイズのユニットに関連付けられた情報を破棄し、代わりに前記付随ビットストリーム中の対応するユニットに関連付けられた情報を出力することを特徴とする請求項１または２に記載のビットストリーム変換装置。
  4. 　前記ユニットはコーディングユニット（Ｃｏｄｉｎｇ　Ｕｎｉｔ）を含むことを特徴とする請求項１から３のいずれか１項に記載のビットストリーム変換装置。
  5. 　前記ユニットはプレディクションユニット（Ｐｒｅｄｉｃｔｉｏｎ　Ｕｎｉｔ）を含み、
    　前記ユニット変換部は、前記ビットストリーム中の最小サイズよりも大きなサイズのプレディクションユニットに関連付けられた動きベクトルの精度を、前記低い解像度に応じた精度に変換することを特徴とする請求項１から４のいずれか１項に記載のビットストリーム変換装置。
  6. 　前記ユニットはトランスフォームユニット（Ｔｒａｎｓｆｏｒｍ　Ｕｎｉｔ）を含み、
    　前記ユニット変換部は、前記ビットストリーム中の最小サイズより大きなサイズのトランスフォームユニットに関連付けられたレベル値の集合を、前記低い解像度に応じたレベル値の集合に変換することを特徴とする請求項１から５のいずれか１項に記載のビットストリーム変換装置。
  7. 　前記ユニット変換部は、前記ビットストリーム中の最小サイズより大きなサイズのトランスフォームユニットに関連付けられたレベル値の集合から低周波成分を抽出することにより、前記低い解像度に応じたレベル値の集合を生成することを特徴とする請求項６に記載のビットストリーム変換装置。
  8. 　前記ビットストリームは所定の復号装置により復号可能である一方、前記付随ビットストリームのみの前記所定の復号装置による復号は可能でないことを特徴とする請求項１から７のいずれか１項に記載のビットストリーム変換装置。
  9. 　請求項１から８のいずれか１項に記載のビットストリーム変換装置と、
    　前記低い解像度を所望するというリクエストがあったときには前記ビットストリーム変換装置により生成される新たなビットストリームを選択する選択部と、を備えることを特徴とする配信システム。
  10. 　復号処理に係るユニットの最小サイズが規定されている動画像データに対応するビットストリームの構文と前記ビットストリームに付随する付随ビットストリームの構文とを解析することと、
    　前記解析の結果得られる高位文法を、該高位文法に含まれる解像度よりも低い解像度を含む新たな高位文法に変換することと、
    　前記解析の結果得られる情報であって前記ビットストリーム中の最小サイズのユニットに関連付けられた情報を、前記付随ビットストリーム中の対応するユニットに関連付けられた情報に変換することと、
    　前記新たな高位文法と前記変換後の情報とを構文にしたがい合成し、新たなビットストリームを生成することと、を含むことを特徴とするビットストリーム変換方法。
  11. 　請求項１から８のいずれか１項に記載のビットストリーム変換装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。
  12. 　複数のブロックに分割された符号化対象の画像について、ブロック単位で前記画像と予測画像との誤差信号を変換および量子化し、第１レベル値を生成する変換量子化部と、
    　前記変換量子化部によって生成された第１レベル値をエントロピー符号化してビットストリームを生成する符号化部と、
    　最小サイズよりも大きなサイズのブロックから、前記画像の解像度よりも低い解像度の最小サイズのブロックを生成するダウンサンプリング部と、を備え、
    　前記変換量子化部は前記ダウンサンプリング部によって生成されたブロックの誤差信号を変換および量子化して第２レベル値を生成し、
    　前記符号化部は、前記変換量子化部によって生成された第２レベル値をエントロピー符号化して付随ビットストリームを生成することを特徴とする動画像符号化装置。
  13. 　複数のブロックに分割された符号化対象の画像について、ブロック単位で前記画像と予測画像との誤差信号を変換および量子化し、第１レベル値を生成することと、
    　生成された第１レベル値をエントロピー符号化してビットストリームを生成することと、
    　最小サイズよりも大きなサイズのブロックから、前記画像の解像度よりも低い解像度の最小サイズのブロックを生成することと、
    　生成されたブロックの誤差信号を変換および量子化して第２レベル値を生成することと、
    　生成された第２レベル値をエントロピー符号化して付随ビットストリームを生成することと、を含むことを特徴とする動画像符号化方法。
  14. 　請求項１２に記載の動画像符号化装置としてコンピュータを機能させるプログラムを有することを特徴とするコンピュータ可読記録媒体。
PCT/JP2016/069861 2015-12-28 2016-07-05 ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体 WO2017115482A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680076379.1A CN108432251B (zh) 2015-12-28 2016-07-05 比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质
EP16881462.2A EP3399751B1 (en) 2015-12-28 2016-07-05 Bitstream transformation apparatus, bitstream transformation method, distribution system, and computer-readable storage medium
US16/010,870 US10757448B2 (en) 2015-12-28 2018-06-18 Bitstream transformation apparatus, bitstream transformation method, distribution system, moving image encoding apparatus, moving image encoding method and computer-readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015256488A JP6566864B2 (ja) 2015-12-28 2015-12-28 ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
JP2015-256488 2015-12-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/010,870 Continuation US10757448B2 (en) 2015-12-28 2018-06-18 Bitstream transformation apparatus, bitstream transformation method, distribution system, moving image encoding apparatus, moving image encoding method and computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2017115482A1 true WO2017115482A1 (ja) 2017-07-06

Family

ID=59225574

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/069861 WO2017115482A1 (ja) 2015-12-28 2016-07-05 ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体

Country Status (5)

Country Link
US (1) US10757448B2 (ja)
EP (1) EP3399751B1 (ja)
JP (1) JP6566864B2 (ja)
CN (1) CN108432251B (ja)
WO (1) WO2017115482A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566865B2 (ja) * 2015-12-28 2019-08-28 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133502A1 (en) * 2004-11-30 2006-06-22 Yung-Lyul Lee Image down-sampling transcoding method and device
JP2015076765A (ja) * 2013-10-09 2015-04-20 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
WO2005099276A2 (en) * 2004-04-02 2005-10-20 Thomson Licensing Complexity scalable video encoding
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8594200B2 (en) * 2009-11-11 2013-11-26 Mediatek Inc. Method of storing motion vector information and video decoding apparatus
US9729884B2 (en) * 2012-01-18 2017-08-08 Lg Electronics Inc. Method and device for entropy coding/decoding
WO2015033510A1 (ja) 2013-09-09 2015-03-12 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
JP6150134B2 (ja) 2014-03-24 2017-06-21 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060133502A1 (en) * 2004-11-30 2006-06-22 Yung-Lyul Lee Image down-sampling transcoding method and device
JP2015076765A (ja) * 2013-10-09 2015-04-20 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム

Also Published As

Publication number Publication date
CN108432251A (zh) 2018-08-21
EP3399751B1 (en) 2023-09-06
JP2017120978A (ja) 2017-07-06
EP3399751A4 (en) 2019-01-02
CN108432251B (zh) 2022-03-08
EP3399751A1 (en) 2018-11-07
JP6566864B2 (ja) 2019-08-28
US10757448B2 (en) 2020-08-25
US20180302652A1 (en) 2018-10-18

Similar Documents

Publication Publication Date Title
JP6416992B2 (ja) ビデオビットストリームをトランスコーディングする方法及び構成
US10291934B2 (en) Modified HEVC transform tree syntax
JP6566865B2 (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体
JP6704932B2 (ja) ビデオコーディングシステムにおける残差変換及び逆変換方法
JP6438904B2 (ja) ビデオ信号処理
JP5768180B2 (ja) 画像復号方法及び画像復号装置
KR100843080B1 (ko) 비디오 트랜스코딩 방법 및 장치
US8243798B2 (en) Methods and apparatus for scalable video bitstreams
JP2023158204A (ja) 変換スキップ及びパレットコーディング関連情報のシグナリングベースの映像又はビデオコーディング
KR102284107B1 (ko) 영상을 부호화/복호화하기 위한 파라미터 세트 생성 방법 및 장치
JP6566864B2 (ja) ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
JP2007266750A (ja) 符号化方法
CN116325723B (zh) 用于视频解码的方法、计算机设备及介质
CN111147858B (zh) 视频解码方法、装置、设备及存储介质
KR20150056679A (ko) 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
JP2018032913A (ja) 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
JP6577426B2 (ja) トランスコードシステム、トランスコード方法、コンピュータ可読記録媒体、復号装置および符号化装置
US20150010083A1 (en) Video decoding method and apparatus using the same
EP2498496A1 (en) Multi-format video decoder and methods for use therewith
JP7378035B2 (ja) 変換装置、復号装置、変換方法および復号方法
JP2011109390A (ja) 画像符号化装置、画像符号化方法、画像復号装置、及び、画像復号方法
CN116458159A (zh) 跳过变换标志编码
KR20160148835A (ko) 참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16881462

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE