WO2014091984A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
WO2014091984A1
WO2014091984A1 PCT/JP2013/082579 JP2013082579W WO2014091984A1 WO 2014091984 A1 WO2014091984 A1 WO 2014091984A1 JP 2013082579 W JP2013082579 W JP 2013082579W WO 2014091984 A1 WO2014091984 A1 WO 2014091984A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
banding suppression
unit
video stream
processing
Prior art date
Application number
PCT/JP2013/082579
Other languages
English (en)
French (fr)
Inventor
塚越 郁夫
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP13861777.4A priority Critical patent/EP2934014A4/en
Priority to KR1020157014745A priority patent/KR20150094619A/ko
Priority to SG11201504459QA priority patent/SG11201504459QA/en
Priority to JP2014552002A priority patent/JP6305934B2/ja
Priority to CN201380063894.2A priority patent/CN104854872B/zh
Priority to BR112015013203A priority patent/BR112015013203A2/pt
Priority to US14/440,461 priority patent/US9979985B2/en
Priority to RU2015121698A priority patent/RU2651241C2/ru
Publication of WO2014091984A1 publication Critical patent/WO2014091984A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]

Definitions

  • the present technology relates to a transmission device, a transmission method, a reception device, and a reception method, and particularly to a transmission device that transmits image data quantized with a limited number of gradations.
  • Some image data processing apparatuses perform so-called gradation conversion in which N-bit image data is converted into M-bit image data having a lower number of gradations. Such gradation conversion is performed, for example, by simply truncating the lower NM bit values in the N-bit pixel data and quantizing them into M-bit pixel data.
  • a band-like pattern that is, banding
  • the quantization error is perceived due to the influence of the quantization error in a region where the pixel value gradually changes like a gradation portion in an image. .
  • FIG. 22A shows an example of a gradation conversion device that performs banding suppression processing by the random dither method.
  • This gradation conversion apparatus includes a calculation unit 311, a random noise output unit 312, and a quantization unit 313.
  • the arithmetic unit 311 stores, for example, the pixel value IN (x, y) of each pixel (x, y) of 16-bit image data as image data to be subjected to gradation conversion (image before gradation conversion). They are supplied in raster scan order.
  • the pixel (x, y) represents the xth pixel from the left and the yth pixel from the top.
  • the arithmetic unit 311 is supplied with random noise from a random noise output unit 312 that generates and outputs random noise.
  • the calculation unit 311 adds the pixel value IN (x, y) and the random noise, and supplies the addition value obtained as a result to the quantization unit 313.
  • the quantization unit 313 quantizes the addition value from the calculation unit 311 to, for example, 8 bits, and converts the resulting 8-bit quantization value into each pixel (x, y) of the image data after gradation conversion. Is output as a pixel value OUT (x, y).
  • FIG. 22B shows an example of a gradation conversion device that performs banding suppression processing by a systematic dither method.
  • This gradation conversion apparatus includes a calculation unit 321 and a quantization unit 322.
  • the pixel value IN (x, y) of each pixel (x, y) of 16-bit image data is supplied to the calculation unit 321 as an image to be subjected to gradation conversion in the raster scan order.
  • the arithmetic unit 321 is supplied with a dither matrix.
  • the calculation unit 321 adds the pixel value IN (x, y) and the value of the dither matrix corresponding to the position of the pixel (x, y) having the pixel value IN (x, y), and obtains the result.
  • the added value is supplied to the quantization unit 322.
  • the quantization unit 322 quantizes the addition value from the calculation unit 321 to, for example, 8 bits, and converts the resulting 8-bit quantization value of the pixel (x, y) of the image data after gradation conversion. Output as pixel value OUT (x, y).
  • FIG. 22C shows an example of a gradation conversion device that performs banding suppression processing by the error diffusion method.
  • This gradation conversion apparatus includes a calculation unit 331, a quantization unit 332, a calculation unit 333, and a two-dimensional filter 334.
  • the quantization unit 332 quantizes the addition value from the calculation unit 331 into, for example, 8 bits, and converts the resulting 8-bit quantization value into each pixel (x, y) of the image data after gradation conversion. Is output as a pixel value OUT (x, y).
  • the pixel value OUT (x, y) output from the quantization unit 332 is also supplied to the calculation unit 333.
  • the calculation unit 333 subtracts the pixel value OUT (x, y) from the quantization unit 332 from the addition value from the calculation unit 331, and a quantization error ⁇ Q (x , y) is obtained and supplied to the two-dimensional filter 334.
  • the two-dimensional filter 334 is a two-dimensional filter for filtering a signal, filters the quantization error ⁇ Q (x, y) from the calculation unit 333, and outputs the filtering result to the calculation unit 331.
  • this error diffusion method can obtain an image with good image quality as an image after gradation conversion as compared with the random dither method or the systematic dither method.
  • FIG. 23 shows the relationship between banding and the above-mentioned dither and error diffusion.
  • the concept of this technology is A transmission unit for transmitting a container in a predetermined format having a video stream including encoded image data;
  • the transmission apparatus includes an information insertion unit that inserts information related to banding suppression processing of the image data into the video stream.
  • a container of a predetermined format having a video stream including encoded image data is transmitted by the transmission unit.
  • the transmission unit may transmit a container having a predetermined format in response to a request from the reception side.
  • the container may be a transport stream (MPEG-2 TS) adopted in the digital broadcasting standard.
  • the container may be MP4 used for Internet distribution or the like, or a container of other formats.
  • Information related to banding suppression processing of image data is inserted into the video stream by the information insertion unit.
  • the information insertion unit may be configured to insert information related to the banding suppression process into the video stream in units of pictures or scenes.
  • the information related to the banding suppression process may include information indicating whether the banding suppression process is performed on the image data.
  • the information regarding the banding suppression process may include information indicating the type of the banding suppression process performed on the image data.
  • the information related to the banding suppression process may include information indicating whether the banding suppression process should be performed on the image data. Further, for example, the information related to the banding suppression process may include information indicating whether the gradation number reduction process is performed on the image data. In this case, the information related to the banding suppression process may include information indicating the number of gradations before the gradation number reduction process.
  • the receiving side can appropriately perform the banding suppression process based on the information related to the banding suppression process. For example, it is possible to perform control so that the banding suppression process is performed only when the banding suppression process is not performed on the transmission side. Further, for example, it is possible to control so that the banding suppression process is performed only on the image data to be subjected to the banding suppression process.
  • an identification information insertion unit that inserts identification information indicating whether information regarding banding suppression processing is inserted in the video stream may be further provided in the container layer.
  • the container is a transport stream
  • the identification information insertion unit is configured to insert the identification information under the video elementary loop of the program map table included in the transport stream. Also good.
  • the receiver can know whether or not information related to banding suppression processing is inserted in the video stream without decoding the video stream, and can appropriately extract this information.
  • a receiving unit for receiving a container of a predetermined format including a video stream including encoded image data and including information on banding suppression processing of the image data;
  • a decoding unit for decoding the video stream to obtain image data;
  • a processing unit that performs banding suppression processing on the decoded image data;
  • a control unit that controls the processing unit based on information related to banding suppression processing inserted in the video stream.
  • a container having a predetermined format having a video stream is received by the receiving unit.
  • the video stream includes encoded image data and information related to banding suppression processing of the image data.
  • the video data is obtained by decoding the video stream by the decoding unit.
  • the processing unit performs banding suppression processing on the decoded image data.
  • the control unit controls the processing unit based on the information related to the banding suppression process inserted in the video stream.
  • the information related to the banding suppression process includes information indicating whether the banding suppression process should be performed on the image data and information indicating whether the banding suppression process is performed on the image data.
  • the banding suppression process for the decoded image data is controlled based on the information on the banding suppression process of the image data inserted in the video stream. Therefore, it is possible to appropriately perform the banding suppression process.
  • a receiving unit for receiving a container in a predetermined format having a video stream including encoded image data; A decoding unit for decoding the video stream to obtain image data; A processing unit that performs banding suppression processing on the decoded image data; When the displayable gradation number in the display unit for displaying the image based on the decoded image data is different from the bit number of the image data in the video stream, banding suppression processing is performed on the decoded image data.
  • a receiving apparatus includes a control unit that controls the processing unit.
  • a container having a predetermined format having a video stream including encoded image data is received by the receiving unit.
  • the video data is obtained by decoding the video stream by the decoding unit.
  • the processing unit performs banding suppression processing on the decoded image data.
  • the processing unit is controlled by the control unit.
  • the banding suppression process is performed on the decoded image data. To be controlled. Thereby, banding suppression processing is performed appropriately.
  • FIG. 1 shows a configuration example of an image transmission / reception system 10 as an embodiment.
  • the image transmission / reception system 10 includes a transmission device 100 and a reception device 200.
  • the transmission device 100 configures a broadcasting station and transmits a transport stream TS as a container on a broadcast wave.
  • the transport stream TS includes a video stream including encoded image data.
  • Information related to banding suppression processing of image data (hereinafter referred to as “banding suppression processing information” as appropriate) is inserted into the video stream.
  • this banding suppression processing information is inserted in the picture header or sequence header user data area of the video stream, for example, in units of pictures or scenes.
  • This banding suppression processing information includes information indicating whether the banding suppression processing is performed on the image data and information indicating the type of the banding suppression processing.
  • the banding suppression processing information includes information indicating whether banding suppression processing should be performed on the image data. Further, the banding suppression processing information includes information indicating whether the gradation number reduction processing has been performed on the image data and information indicating the gradation number before the gradation number reduction processing. Details of this banding suppression processing information will be described later.
  • the receiving apparatus 200 performs banding suppression processing on the decoded image data, and generates display image data. At this time, the receiving apparatus 200 extracts the banding suppression process information inserted in the video stream, and controls the banding suppression process based on the banding suppression process information. For example, when image data is image data to be subjected to banding suppression processing, and banding suppression processing is not performed on image data, control is performed so that banding suppression processing is performed on decoded image data. To do.
  • the dither addition unit 51 includes a calculation unit 61, a high pass filter (HPF) 62, a random noise output unit 63, and a coefficient setting unit 64.
  • the calculation unit 61 is supplied with the pixel value IN (x, y) of the input image data in the raster scan order. Further, the output of the high pass filter 62 is supplied to the arithmetic unit 61.
  • the calculation unit 61 adds the output of the high-pass filter 62 to the pixel value IN (x, y) of the input image data, and uses the resulting addition value as the pixel value F (x, y) of the dithered image data. y) is supplied to the one-dimensional ⁇ modulator 52.
  • the high-pass filter 62 filters the random noise output from the random noise output unit 63 based on the filter coefficient set by the coefficient setting unit 64, and calculates the high-frequency component of the random noise obtained as a result of the filtering. To supply.
  • the coefficient setting unit 64 determines the filter coefficient of the high-pass filter 62 from the spatial frequency characteristics of human vision and sets the high-pass filter 62.
  • the high-pass filter 62 performs a product-sum operation or the like of the filter coefficient set by the coefficient setting unit 64 and the random noise output from the random noise output unit 63, and thereby the random noise output from the random noise output unit 63 is output. Noise is filtered to extract high frequency components. This high frequency component is supplied to the calculation unit 61.
  • the N-bit pixel value IN (x, y) of the input image data and the high frequency component of random noise from the high pass filter 62 are added and obtained as a result, for example, the same as the input image data.
  • the N-bit added value which is the number of bits, or an added value of more bits is supplied to the one-dimensional ⁇ modulator 52 as a dithered pixel value F (x, y).
  • the one-dimensional ⁇ modulation unit 52 includes a calculation unit 71, a quantization unit 72, a calculation unit 73, a one-dimensional filter 74, and a coefficient setting unit 75.
  • the pixel value F (x, y) of the dithered image data is supplied from the dither addition unit 51 to the calculation unit 71 in the raster scan order.
  • the calculation unit 71 is supplied with the output of the one-dimensional filter 74.
  • the calculation unit 71 adds the pixel value F (x, y) from the dither addition unit 51 and the output of the one-dimensional filter 74, and supplies the resulting addition value to the quantization unit 72 and the calculation unit 73. To do.
  • the quantization unit 72 quantizes the addition value from the calculation unit 71 into M bits. Then, the quantization unit 72 converts the M-bit quantized value (quantized value including the quantization error ⁇ Q (x, y)) obtained as a result into the pixel value OUT of the output image data after the gradation number conversion. (x, y) is supplied to the encoder 103 and also supplied to the calculation unit 73.
  • the coefficient setting unit 75 determines the filter coefficient of the one-dimensional filter 74 from the spatial frequency characteristics of human vision, etc., and sets it in the one-dimensional filter 74.
  • the one-dimensional filter 74 performs a product-sum operation or the like of the filter coefficient set by the coefficient setting unit 75 and the quantization error -Q (x, y) output from the calculation unit 73, thereby obtaining a calculation unit.
  • the quantization error ⁇ Q (x, y) output from 73 is filtered, and the high frequency component of the quantization error ⁇ Q (x, y) is extracted. This high frequency component is supplied to the calculation unit 71.
  • the pixel value OUT (x, y) from the quantization unit 72 is subtracted from the added value from the calculation unit 71, and the quantum value included in the pixel value OUT (x, y) from the quantization unit 72 is subtracted.
  • a conversion error -Q (x, y) is obtained.
  • This quantization error ⁇ Q (x, y) is supplied to the one-dimensional filter 74.
  • the quantization error ⁇ Q (x, y) from the calculation unit 73 is filtered, and the filtering result is output to the calculation unit 71.
  • the result of filtering the quantization error -Q (x, y) output from the one-dimensional filter 74 and the pixel value F (x, y) are added.
  • the quantization error ⁇ Q (x, y) is fed back to the input side (calculation unit 71) via the one-dimensional filter 74, so that the one-dimensional ⁇ modulation is performed. Done. Therefore, the one-dimensional ⁇ modulation unit 52 performs one-dimensional ⁇ modulation on the pixel value F (x, y) from the dither addition unit 51, and as a result of the one-dimensional ⁇ modulation, the pixel value OUT (x, y) is output.
  • the quantization error ⁇ Q (x, y) is a quantization error with respect to the pixel value F (x, y), but the pixel value F (x, y) is ⁇ modulated.
  • the quantization error -Q (x, y) for the pixel value F (x, y) is not used, and the pixel value F ( The quantization error for the pixel value before (x, y) (the pixel value processed earlier) is used.
  • the encoder 103 applies, for example, a code such as MPEG4-AVC (MVC), MPEG2 video, or HEVC (High Efficiency Video Coding) to the M-bit image data output from the banding suppression processing unit 102.
  • MVC MPEG4-AVC
  • HEVC High Efficiency Video Coding
  • the video encoder 103 generates a video stream (video elementary stream) including the encoded image data by a stream formatter (not shown) provided in the subsequent stage.
  • the encoder 103 inserts banding suppression processing information into the video stream in units of pictures or scenes.
  • the banding suppression processing information is supplied from the banding suppression processing unit 102, for example.
  • the banding processing information includes information indicating whether banding suppression processing has been performed on the image data, information indicating the type of banding suppression processing, information indicating whether banding suppression processing should be performed on the image data, image Information indicating whether the gradation number reduction processing has been performed on the data, information indicating the number of gradations before the gradation number reduction processing, and the like are included.
  • the transmission unit 104 packetizes and multiplexes other streams such as a video stream generated by the encoder 103 and an audio stream generated by an audio encoder (not shown) to generate a transport stream TS. Then, the transmission unit 104 modulates the transport stream TS with a modulation scheme suitable for broadcasting such as QPSK / OFDM, and transmits the RF modulation signal from the transmission antenna.
  • a modulation scheme suitable for broadcasting such as QPSK / OFDM
  • the transmission unit 104 inserts identification information indicating whether banding suppression processing information is inserted into the video stream into the layer of the transport stream TS.
  • this identification information is inserted under a video elementary loop (Video ES loop) of a program map table (PMT: Program Map Table) included in the transport stream TS.
  • PMT Program Map Table
  • Image data output from the camera 101 is supplied to the banding suppression processing unit 102.
  • banding suppression processing unit 102 gradation number reduction processing and banding suppression processing are performed according to the number of quantization bits (number of gradations).
  • the banding suppression processing unit 102 converts the image data into M-bit image data and performs banding suppression processing. Bit image data is output.
  • the banding suppression processing unit 102 does not perform the gradation number reduction process or the banding suppression process, and the image data output from the camera 101 remains as it is. Is output.
  • the image data output from the banding suppression processing unit 102 is supplied to the encoder 103.
  • the M-bit image data output from the banding suppression processing unit 102 is encoded by, for example, MPEG4-AVC (MVC), MPEG2 video, or HEVC (High Efficiency Video Coding).
  • MVC MPEG4-AVC
  • MPEG2 video MPEG2 video
  • HEVC High Efficiency Video Coding
  • encoded image data is generated, and a video stream (video elementary stream) including the encoded image data is generated.
  • the encoder 103 inserts banding suppression processing information into the video stream in units of pictures or scenes.
  • the video stream generated by the encoder 103 is supplied to the transmission unit 104.
  • other streams such as the video stream and the audio stream are packetized and multiplexed to generate a transport stream TS.
  • identification information indicating whether banding suppression processing information is inserted into the video stream is inserted into the layer of the transport stream TS.
  • the transport stream TS is modulated by a modulation scheme suitable for broadcasting such as QPSK / OFDM, and the RF modulation signal is transmitted from the transmission antenna.
  • banding suppression processing information is inserted into the video stream.
  • the banding suppression processing information is stored in the access unit (AU). Is inserted as an SEI message in the “SEIs” portion of the message.
  • banding suppression processing information is inserted as a picture processing / SEI message.
  • 4A shows the top access unit of a GOP (Group Of Pictures), and
  • FIG. 4B shows an access unit other than the top of the GOP. Since the SEI message is encoded at a position earlier in the bitstream than the slice in which the pixel data is encoded, the receiver can quickly perform banding suppression processing on the image data based on the contents of the SEI. Control becomes possible.
  • FIG. 5A shows a structure example (Syntax) of “picture processing” SEI message.
  • “Uuid_iso_iec — 11578” has a UUID value indicated by “ISO / IEC 11578: 1996 Annex A.”.
  • “Picture_processing_data ()” is inserted into the “user_data_payload_byte” field.
  • FIG. 5B shows a structural example (Syntax) of “picture_processing_data ()”. In this, “Pictureseiprocessing_sei ()” is inserted.
  • “Userdata_id” is an identifier of “Picture processing_sei ()” indicated by 16 bits without a sign.
  • FIG. 6 shows a structural example (Syntax) of “Picture processing_sei ()”.
  • FIG. 7 shows the contents (Semantics) of main information in the structural example shown in FIG.
  • a 1-bit field of “tone_process_preferred” indicates whether or not banding suppression processing should be performed on image data. “1” indicates that banding suppression processing should be performed, that is, it is expected that image quality improvement is expected by performing banding suppression processing. “0” indicates that banding suppression processing is not required.
  • the 1-bit field of “levels_scaled” indicates whether or not gradation number reduction processing has been performed on the image data. “1” indicates that gradation number reduction processing is performed. “0” indicates that the gradation number reduction process is not performed.
  • a 2-bit field of “levels_before_encoding” indicates the number of gradations (bit number) before the gradation number reduction process. “00” indicates 8 bits / pixel. “01” indicates 10 bits / pixel. “10” indicates 12 bits / pixel. “11” indicates 14 bits / pixel.
  • “1-bit field of“ anti_banding_processed ” indicates whether or not banding suppression processing is performed on the transmission side. “1” indicates that banding suppression processing is performed. “0” indicates that banding suppression processing is not performed.
  • a 3-bit field of “banding_process_type” indicates the type of banding suppression processing. For example, “001” indicates a dither method, “010” indicates a density pattern method, and “011” indicates an error diffusion method.
  • the video stream includes banding suppression processing information under the video elementary loop (Video ES loop) of the program map table (PMT) of the transport stream TS.
  • the identification information indicating that is inserted.
  • 1-bit field of “picture_processing_information_existed” indicates whether image processing is applied to the video layer. “1” indicates that image processing is applied to the video layer, that is, a picture processing SEI message exists in the video stream. “0” indicates that no image processing is applied to the video layer, that is, no picture processing / SEI message exists in the video stream.
  • the transport stream TS includes a PMT (Program Map Table) as PSI (Program Specific Information).
  • PSI Program Specific Information
  • This PSI is information describing to which program each elementary stream included in the transport stream TS belongs.
  • the transport stream TS includes an EIT (Event Information Table) as SI (Serviced Information) for managing events (programs).
  • the PMT has a program loop that describes information related to the entire program.
  • the PMT includes an elementary loop having information related to each elementary stream.
  • video elementary loop information such as a stream type and a packet identifier (PID) is arranged corresponding to the video stream described above, and a descriptor describing information related to the video stream is also arranged. .
  • PID packet identifier
  • a picture processing descriptor (picture_processing descriptor) (see FIG. 8A) is inserted under the video elementary loop (Video ES loop) of the PMT. As described above, this descriptor indicates whether or not banding suppression processing information, that is, picture processing SEI message is inserted in the video stream.
  • the banding suppression processing unit 102 also performs gradation number reduction processing.
  • the gradation number reduction process may be performed before or after the banding suppression processing unit 102. In that sense, the gradation number reduction process may be performed in the encoder 103.
  • the banding suppression processing in the banding suppression processing unit 102 is performed by a random dither method (see FIG. 3).
  • the banding suppression process is not limited to the random dither method, and may be other methods such as a systematic dither method and an error diffusion method.
  • FIG. 10 shows a configuration example of the receiving device 200.
  • the receiving apparatus 200 includes a receiving unit 201, a decoder 202, a banding suppression processing unit 203, a display unit 204, and a control unit 205.
  • the control unit 205 includes a CPU (Central Processing Unit) and controls each unit of the reception device 200.
  • CPU Central Processing Unit
  • the decoder 202 performs a decoding process on the video stream extracted by the receiving unit 201 to generate image data. Also, the decoder 202 extracts the picture processing SEI message (picture processing SEI message) inserted in the video stream, and thus banding suppression processing information, and sends it to the control unit 205.
  • picture processing SEI message picture processing SEI message
  • the banding suppression processing unit 203 performs banding suppression processing on the image data output from the decoder 202 under the control of the control unit 205. Although detailed description is omitted, the banding suppression processing unit 203 is configured in the same manner as the banding suppression processing unit 102 in the transmission device 100 described above.
  • the display unit 204 displays an image based on the image data output from the banding processing unit 203.
  • the display unit 204 includes a display such as an LCD (Liquid Crystal Display).
  • the control unit 205 controls the operation of the banding suppression processing unit 203 based on the banding suppression processing information and the like. For example, when the image data is image data to be subjected to banding suppression processing and the image data is not subjected to banding suppression processing, the control unit 205 performs banding suppression processing on the decoded image data. To be controlled.
  • the number of bits of image data before gradation number reduction processing before encoding is the number of encoded image data bits ( ⁇ slicesdata ''). Larger than the number of bits).
  • the number of bits of encoded image data is equal to or larger than the number of bits of image data after decoding (whether the decoder decodes faithfully according to the number of bits of slice data or performs simplified decoding) Dependent).
  • the decoder 202 faithfully decodes the video stream, the number of bits of the encoded image data is equal to the number of bits of the image data after decoding.
  • bit number of the image data before the gradation number reduction process before encoding is the first bit number
  • bit number of the encoded image data is the second bit number
  • bit number of the decoded image data is the first bit number. Assuming that the number of bits is 3, these relationships are expressed by the following equation (1). First bit number> second bit number ⁇ third bit number (1)
  • the banding suppression processing unit 203 executes banding suppression processing under the control of the control unit 205, for example, as follows. (1) If the number of bits of the image data before the gradation number reduction process before encoding is larger than the number of bits of the encoded image data and the banding suppression process is not performed on the transmission side, the banding suppression process is executed. To do. At that time, the type of filter can be changed according to the number of bits of the image data before the gradation number reduction process before encoding.
  • step ST1 the control unit 205 starts control processing, and then proceeds to processing in step ST2.
  • step ST2 the control unit 205 determines whether or not banding suppression processing should be performed on the image data. The control unit 205 can make this determination based on the information of “tone_process_preferred” of the picture processing / SEI message.
  • step ST10 When determining that the banding suppression process is not necessary, the control unit 205 immediately proceeds to the process of step ST10. On the other hand, when determining that the banding suppression process should be performed, the control unit 205 proceeds to the process of step ST3. In step ST3, the control unit 205 determines whether or not gradation number reduction processing has been performed. The control unit 205 can make this determination based on the “levels_scaled” information of the picture processing SEI message. When determining that the gradation number reduction process has not been performed, the control unit 205 immediately proceeds to the process of step ST10.
  • control unit 205 immediately proceeds to the process of step ST10 even when no picture processing or SEI message is inserted in the video stream and this SEI message is not sent from the decoder 202.
  • the control unit 205 recognizes the number of gradations that can be displayed on the monitor (display unit 204).
  • the control unit 205 includes, for example, monitor function information in advance, and can be performed based on this function information.
  • step ST11 the control unit 205 determines whether or not the number of tones that can be displayed on the monitor (the number of bits) differs from the number of encoded bits (the number of bits of image data in the video stream). If it is determined that they are not different, the control unit 205 immediately proceeds to step ST13 and ends the control process. In this case, the banding suppression processing unit 203 does not perform the banding suppression process and outputs the input image data as it is.
  • control unit 205 when determining that they are different, causes the banding suppression processing unit 203 to execute a banding suppression process in step ST12. In this case, for example, the filter of the suppression process is switched according to the degree of difference. After the process of step ST12, the control unit 205 proceeds to step ST13 and ends the control process.
  • step ST3 when determining that the gradation number reduction process has been performed in step ST3, the control unit 205 proceeds to the process of step ST4.
  • step ST4 the control unit 205 recognizes the number of gradations before the gradation number reduction process.
  • the control unit 205 can perform this recognition based on the information of “levels_before_encoding” of the picture processing / SEI message.
  • step ST5 the control unit 205 determines whether or not banding suppression processing has been completed.
  • the control unit 205 can make this determination based on the information of “anti_banding_processed_levels_before_encoding” of the picture processing / SEI message.
  • the control unit 205 When determining that the banding suppression process has not been completed, the control unit 205 recognizes the number of displayable gradation levels on the monitor (display unit 204) in step ST10, and then proceeds to the process of step ST11. In step ST11, the control unit 205 determines whether or not the number of tones that can be displayed on the monitor (the number of bits) differs from the number of encoded bits (the number of bits of image data in the video stream). If it is determined that they are not different, the control unit 205 immediately proceeds to step ST13 and ends the control process. In this case, the banding suppression processing unit 203 does not perform the banding suppression process and outputs the input image data as it is.
  • the control unit 205 when determining that they are different, causes the banding suppression processing unit 203 to execute a banding suppression process in step ST12.
  • the filter of the suppression process is switched according to the degree of difference.
  • the type of filter is changed according to the number of gradations before the gradation number reduction process recognized in step ST4.
  • the control unit 205 proceeds to step ST13 and ends the control process.
  • step ST11 the control unit 205 determines whether the monitor displayable gradation number (bit number) is different from the encoded bit number (bit number of image data in the video stream). If it is determined that they are not different, the control unit 205 immediately proceeds to step ST13 and ends the control process. In this case, the banding suppression processing unit 203 does not perform the banding suppression process and outputs the input image data as it is.
  • the control unit 205 causes the banding suppression processing unit 203 to execute a banding suppression process in step ST12.
  • the filter of the suppression process is switched according to the degree of difference.
  • the type of filter is changed according to the number of gradations before the gradation number reduction process recognized in step ST4.
  • the filter of the suppression process is switched according to the number of bits after decoding recognized in step ST7 and the number of displayable gradations recognized in step ST10.
  • the control unit 205 proceeds to step ST13 and ends the control process.
  • step ST8 when it is determined in step ST8 that they are different, the control unit 205 proceeds to the process of step ST9.
  • the control unit 205 causes the banding suppression processing unit 203 to execute a reverse process of the banding suppression process performed on the transmission side, and temporarily returns to the original state where the banding process is not performed.
  • the receiving unit 201 extracts a picture processing descriptor (picture_processing descriptor) (see FIG. 8A) from the transport stream TS, and sends it to the control unit 205.
  • the control unit 205 recognizes whether or not banding suppression information is inserted into the video stream from the description of the descriptor.
  • the decoder 202 decodes the video stream and generates image data. This image data is supplied to the banding suppression processing unit 203. Also, the decoder 202 extracts a picture processing / SEI message (picture processing SEI message) inserted in the video stream, and thus banding suppression processing information, and sends it to the control unit 205.
  • a picture processing / SEI message picture processing SEI message
  • the image data output from the banding suppression processing unit 203 is supplied to the display unit 204.
  • the display unit 204 displays an image based on the image data.
  • the receiving device 200 can appropriately perform the banding suppression process based on the banding suppression process information.
  • FIG. 13 shows a configuration example of the stream distribution system 10A.
  • This stream distribution system 10A is an MPEG-DASH based stream distribution system.
  • N IPTV clients 13-1, 13-2,..., 13-N are connected to a DASH segment streamer 11 and a DASH MPD server 12 via a CDN (Content Delivery Network) 14.
  • CDN Content Delivery Network
  • the DASH segment streamer 11 generates a DASH specification stream segment (hereinafter referred to as “DASH segment”) based on media data (video data, audio data, caption data, etc.) of predetermined content, and HTTP from the IPTV client. Send segments on demand.
  • DASH segment streamer 11 is a web server.
  • the DASH MPD server 12 is a server that generates an MPD file for acquiring a DASH segment generated in the DASH segment streamer 11.
  • the MPD file is generated based on the content metadata from the content management server (not shown in FIG. 13) and the segment address (url) generated in the DASH segment streamer 11.
  • the structure of the period has information on the program (a set of synchronized video and audio data). Further, the adaptation set structure included in the period structure groups the stream selection range (representation group). In addition, the representation structure included in the adaptation set structure has information such as the encoding speed of the moving image and audio, and the audio size of the moving image.
  • the segment info structure included in the representation structure has information related to video and audio segments.
  • the initialization segment structure included in the segment info structure has initialization information such as a data compression method.
  • the media segment structure included in the segment info structure has information such as an address for acquiring a moving image or audio segment.
  • FIG. 15 shows an example of each structure included in the MPD file described above, arranged on the time axis.
  • the MPD file includes two periods, and each period includes two segments.
  • each period includes two adaptation sets, and each adaptation set includes two representations related to streams of the same content with different stream attributes.
  • FIG. 16 shows an example of the relationship between the structures arranged hierarchically in the MPD file described above.
  • a media presentation Media Presentation
  • a media presentation includes a plurality of periods (Periods) separated by time intervals. For example, the first period starts from 0 seconds, the next period starts from 100 seconds, and so on.
  • a period includes a plurality of representations (Representation).
  • the plurality of representations include a group of representations related to video data streams having the same content with different stream attributes, for example, rates, grouped by the above-described adaptation set (AdaptationSet).
  • FIG. 18 shows an example of the flow from generation of a DASH segment or DASH MPD file from content.
  • Content is sent from the content management server 15 to the DASH segment streamer 11.
  • the DASH segment streamer 11 generates a DASH segment for each data stream based on video data, audio data, and the like that constitute the content.
  • the HTTP access unit 132 requests the DASH segment streamer 11 for a moving image or audio segment used for moving image reproduction.
  • a stream having the optimum image size and encoding speed is selected. For example, in a first stage, a segment of a stream having a low encoding rate (rate) is requested, and when a communication condition is good, a segment of a stream having a high encoding rate (rate) is requested.
  • FIG. 20 shows a general DASH-based stream distribution system. Both the DASH MPD file and the DASH segment are distributed via a CDN (Content Delivery Network) 14.
  • the CDN 14 has a configuration in which a plurality of cache servers (DASH cache servers) are arranged in a network.
  • the cache server receives an HTTP request for acquiring an MPD file from the IPTV client 13. If the cache server is in the local MPD cache, it returns an HTTP response to the IPTV client 13. If the cache server is not in the local MPD cache, the cache server transfers the request to the DASHSMPD server 12 or a higher-level cache server. The cache server receives the HTTP response in which the MPD file is stored, transfers the HTTP response to the IPTV client 13, and performs a cache process.
  • the DASH segment delivered to the IPTV client 13-1 that originally issued the HTTP request is temporarily cached in the path cache server, and the subsequent HTTP request from the other IPTV client 13-2 is received. Is delivered its cached DASH segment. Therefore, it is possible to improve the delivery efficiency of HTTP streaming for the majority of IPTV clients.
  • the transmission apparatus according to any one of (1) to (4), wherein the information related to the banding suppression process includes information indicating whether the number of gradations is reduced on the image data.
  • the information related to the banding suppression process includes information indicating the number of gradations before the gradation number reduction process.
  • the information insertion unit The transmission device according to any one of (1) to (6), wherein information related to the banding suppression process is inserted into the video stream in units of pictures or scenes.
  • the information processing apparatus according to any one of (1) to (7), further including an identification information insertion unit that inserts identification information indicating whether information related to the banding suppression process is inserted into the video stream in the container layer. The transmitting device described.
  • the main feature of the present technology is that banding suppression processing information (picture processing) including information indicating whether banding suppression processing should be performed on the image data, information indicating whether banding suppression processing is performed on the image data, or the like in the video stream.
  • banding suppression processing information including information indicating whether banding suppression processing should be performed on the image data, information indicating whether banding suppression processing is performed on the image data, or the like in the video stream.
  • the main feature of the present technology is that when the displayable gradation number in the display unit that displays the image based on the decoded image data and the bit number of the image data in the video stream are different, the decoded image data By performing the banding suppression process, the banding suppression process is appropriately performed on the receiving side (see FIG. 12).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

 受信側においてバンディング抑制処理が適切に行われるようにする。 符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する。このビデオストリームに、画像データのバンディング抑制処理に関する情報を挿入する。この情報には、例えば、画像データにバンディング抑制処理が施されているかを示す情報、画像データにバンディング抑制処理をすべきかを示す情報などが含まれる。受信側では、送信側から送られてくるバンディング抑制処理に関する情報に基づいて、バンディング抑制処理を制御でき、バンディング抑制処理を適切に行うことが可能となる。

Description

送信装置、送信方法、受信装置および受信方法
 本技術は、送信装置、送信方法、受信装置および受信方法に関し、特に、限定された階調数で量子化が行われた画像データを送信する送信装置等に関する。
 画像データの処理装置には、Nビットの画像データを、それよりも階調数が低いMビットの画像データに変換する、いわゆる階調変換を行うものがある。このような階調変換は、例えば、Nビットの画素データにおける下位N-Mビットの値を単純に切り捨てて、Mビットの画素データに量子化することで行われる。しかし、この場合には、画像中のグラデーション部分のように、画素値が緩やかに変化する領域において、量子化誤差の影響で帯状の模様、すなわちバンディング(banding)が知覚されてしまうという不都合がある。
 従来、このようなバンディングを抑制するバンディング抑制処理として種々の方法(種類)、例えば、ランダムディザ法、組織的ディザ法、誤差拡散法などが知られている(例えば、特許文献1参照)。
 図22(a)は、ランダムディザ法によるバンディング抑制処理を施す階調変換装置の一例を示している。この階調変換装置は、演算部311、ランダムノイズ出力部312および量子化部313から構成される。
 演算部311には、階調変換の対象の画像データ(階調変換前の画像)として、例えば、16ビットの画像データの各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。なお、画素(x,y)は、左からx番目で、上からy番目の画素を表す。また、この演算部311には、ランダムノイズを発生して出力するランダムノイズ出力部312からのランダムノイズが供給される。
 演算部311は、画素値IN(x,y)とランダムノイズとを加算し、その結果得られる加算値を、量子化部313に供給する。量子化部313は、演算部311からの加算値を、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、階調変換後の画像データの各画素(x,y)の画素値OUT(x,y)として出力する。
 図22(b)は、組織的ディザ法によるバンディング抑制処理を施す階調変換装置の一例を示している。この階調変換装置は、演算部321および量子化部322から構成される。
 演算部321には、階調変換の対象の画像として、例えば、16ビットの画像データの各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。また、この演算部321には、ディザマトリクスが供給される。演算部321は、画素値IN(x,y)と、その画素値IN(x,y)を有する画素(x,y)の位置に対応した、ディザマトリクスの値とを加算し、その結果得られる加算値を、量子化部322に供給する。
 量子化部322は、演算部321からの加算値を、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、階調変換後の画像データの画素(x,y)の画素値OUT(x,y)として出力する。
 図22(c)は、誤差拡散法によるバンディング抑制処理を施す階調変換装置の一例を示している。この階調変換装置は、演算部331、量子化部332、演算部333および2次元フィルタ334から構成される。
 演算部331には、階調変換の対象の画像として、例えば、16ビットの画像データの各画素(x,y)の画素値IN(x,y)が、ラスタスキャン順に供給される。また、この演算部331には、2次元フィルタ334の出力が供給される。演算部331は、画素値IN(x,y)と、2次元フィルタ334の出力とを加算し、その結果得られる加算値を、量子化部332および演算部333に供給する。
 量子化部332は、演算部331からの加算値を、例えば、8ビットに量子化し、その結果得られる8ビットの量子化値を、階調変換後の画像データの各画素(x,y)の画素値OUT(x,y)として出力する。
 また、量子化部332が出力する画素値OUT(x,y)は、演算部333にも供給される。演算部333は、演算部331からの加算値から、量子化部332からの画素値OUT(x,y)を減算して、量子化部332での量子化により生じる量子化誤差-Q(x,y)を求め、2次元フィルタ334に供給する。
 2次元フィルタ334は、信号をフィルタリングする2次元のフィルタであり、演算部333からの量子化誤差-Q(x,y)をフィルタリングし、そのフィルタリングの結果を、演算部331に出力する。
 演算部331では、以上のようにして、2次元フィルタ334が出力する、量子化誤差-Q(x,y)のフィルタリングの結果と、画素値IN(x,y)とが加算される。この場合、量子化誤差-Q(x,y)が、2次元フィルタ334を介して、入力側(演算部331)にフィードバックされており、2次元のΔΣ変調器が構成されている。
 この2次元のΔΣ変調器によれば、量子化誤差-Q(x,y)が、水平方向(x方向)および、垂直方向(y方向)のいずれについても、空間周波数の高域に拡散される。そのため、この誤差拡散法は、ランダムディザ法や組織的ディザ法に比較して、階調変換後の画像として、良好な画質の画像を得ることができる。
 図23は、バンディングと、上述のディザや誤差拡散との関係を示している。ここでは、N=16、M=8である場合、すなわち、16ビットの画像データを8ビットの画像データに量子化して階調変換を行う例である。この場合、入力される16ビットのデータの下位8ビットを切り捨てることで量子化が行われる。
 オリジナルの16ビットの画像データとして、図23(a)に示すようなグラデーション画像が入力された場合を考える。この16ビットの画像データを8ビットの画像データに量子化する場合において、ディザや誤差拡散を行わなかった場合には、図23(b)に示すように、階調の不連続性、つまりはバンディングが生じる。これは、16ビットの場合よりも8ビットの場合の方が、分解能が低下することによって、図23(b)の右側に示すように同一の画素値が連続する平坦部分が発生してしまうことに起因する。
 ディザや誤差拡散を行った場合には、図23(c)の右側に示すように画素値の平坦化が緩和され、その結果、図23(c)の左側に示されるように、オリジナルの16ビット画像データにより近い階調表現が実現されるものとなる。このようにディザや誤差拡散は、ドット密度で階調を表現するものであると捉えることができる。
特開2009―207113号公報
 画像送受信システムにおいて、上述のバンディング抑制処理は、送信側で行うことも可能であるし、受信側で行うことも可能である。受信側では、送信側でバンディング抑制処理が行われている場合にはバンディング抑制処理は不要であり、一方、送信側でバンディング抑制処理が行われていない場合にはバンディング抑制処理を行うことが期待される。
 本技術の目的は、受信側においてバンディング抑制処理が適切に行われるようにすることにある。
 本技術の概念は、
 符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
 上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入する情報挿入部とを備える
 送信装置にある。
 本技術において、送信部により、符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナが送信される。例えば、送信部は、受信側からの要求に応じて、所定フォーマットのコンテナを送信する、ようにされてもよい。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
 情報挿入部により、ビデオストリームに、画像データのバンディング抑制処理に関する情報が挿入される。例えば、情報挿入部は、バンディング抑制処理に関する情報を、ビデオストリームに、ピクチャ単位あるいはシーン単位で挿入する、ようにされてもよい。
 例えば、バンディング抑制処理に関する情報には、画像データにバンディング抑制処理が施されているかを示す情報が含まれる、ようにされてもよい。そして、この場合、バンディング抑制処理に関する情報には、画像データに施されるバンディング抑制処理の種類を表す情報が含まれる、ようにされてもよい。
 また、例えば、バンディング抑制処理に関する情報には、画像データにバンディング抑制処理をすべきかを示す情報が含まれる、ようにされてもよい。また、例えば、バンディング抑制処理に関する情報には、画像データに階調数低下処理が施されているかを示す情報が含まれる、ようにされてもよい。そして、この場合、バンディング抑制処理に関する情報には、階調数低下処理前の階調数を示す情報が含まれる、ようにされてもよい。
 このように本技術においては、ビデオストリームに、画像データのバンディング抑制処理に関する情報が挿入されるものである。そのため、受信側においては、このバンディング抑制処理に関する情報に基づいて、バンディング抑制処理を適切に行うことが可能となる。例えば、送信側でバンディング抑制処理が行われていない場合にのみバンディング抑制処理が行われるように制御できる。また、例えば、バンディング抑制処理をすべき画像データにのみバンディング抑制処理が行われるように制御できる。
 なお、本技術において、例えば、コンテナのレイヤに、ビデオストリームにバンディング抑制処理に関する情報が挿入されているかを示す識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、コンテナはトランスポートストリームであり、識別情報挿入部は、識別情報を、トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する、ようにされてもよい。この場合、受信機は、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理に関する情報が挿入されているか否かを知ることができ、この情報の抽出を適切に行うことができる。
 また、本技術の他の概念は、
 符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームをデコードして画像データを得るデコード部と、
 上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
 上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、上記処理部を制御する制御部とを備える
 受信装置にある。
 本技術において、受信部により、ビデオストリームを有する所定フォーマットのコンテナが受信される。このビデオストリームには、符号化画像データが含まれていると共に、画像データのバンディング抑制処理に関する情報が挿入されている。デコード部により、ビデオストリームがデコードされて画像データが得られる。処理部により、デコード後の画像データに対してバンディング抑制処理が施される。そして、制御部により、ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、処理部が制御される。
 例えば、バンディング抑制処理に関する情報には、画像データにバンディング抑制処理をすべきかを示す情報および画像データにバンディング抑制処理が施されているかを示す情報が含まれており、制御部は、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、制御部でデコード後の画像データに対してバンディング抑制処理が施されるように制御する、ようにされてもよい。
 このように本技術においては、ビデオストリームに挿入されている画像データのバンディング抑制処理に関する情報に基づいて、デコード後の画像データに対するバンディング抑制処理が制御されるものである。そのため、バンディング抑制処理を適切に行うことが可能となる。
 また、本技術の他の概念は、
 符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームをデコードして画像データを得るデコード部と、
 上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
 上記デコード後の画像データによる画像を表示する表示部における表示可能階調数と上記ビデオストリームにおける画像データのビット数とが異なるとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように上記処理部を制御する制御部とを備える
 受信装置にある。
 本技術において、受信部により、符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナが受信される。デコード部により、ビデオストリームがデコードされて画像データが得られる。処理部により、デコード後の画像データに対してバンディング抑制処理が施される。
 そして、制御部により、処理部が制御される。この場合、デコード後の画像データによる画像を表示する表示部における表示可能階調数とビデオストリームにおける画像データのビット数とが異なるとき、デコード後の画像データに対してバンディング抑制処理が施されるように制御される。これにより、バンディング抑制処理が適切に行われる。
 本技術によれば、受信側においてバンディング抑制処理を適切に行うことができる。
実施の形態としての画像送受信システムの構成例を示すブロック図である。 画像送受信システムを構成する送信装置の構成例を示すブロック図である。 送信装置を構成するバンディング抑制処理部の構成例を示すブロック図である。 ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)がアクセスユニットの“SEIs”の部分に挿入されることを説明するための図である。 「picture processing SEI message」の構造例(Syntax)を示す図である。 「Picture processing_sei ()」の構造例(Syntax)を示す図である。 「Picture processing_sei ()」の構造例における主要な情報の内容(Semantics)を示す図である。 ピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)の構造例(Syntax)およびその主要な情報の内容(Semantics)を示す図である。 実施の形態におけるトランスポートストリームTSの構成例を示す図である。 画像送受信システムを構成する受信装置の構成例を示すブロック図である。 受信装置の制御部における、ピクチャ毎の、バンディング抑制処理の制御手順の一例を示すフローチャート(1/2)である。 受信装置の制御部における、ピクチャ毎の、バンディング抑制処理の制御手順の一例を示すフローチャート(2/2)である。 DASHベースのストリーム配信システムの構成例を示すブロック図である。 MPDファイルの階層構造を示す図である。 MPDファイルに含まれる各構造体の一例を時間軸上に並べて示した図である。 MPDファイルに階層的に配置されている各構造体の関係の一例を示す図である。 ピリオド(Period)と、リプレゼンテーション(Representation)と、セグメント(Segment)の関係の一例を示す図である。 コンテンツからDASHセグメントやDASH MPDファイルを生成するまでのフローの一例を示す図である。 ストリーム配信システムを構成するIPTVクライアントの構成例を示す図である。 一般的な、DASHベースのストリーム配信システムの系を示す図である。 ビデオストリームを含むFragmentedMP4ストリームの構成例を示す図である。 バンディング抑制処理としてのランダムディザ法、組織的ディザ法、誤差拡散法を説明するための図である。 バンディングとディザや誤差拡散との関係を説明するための図である。
 以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
 1.実施の形態
 2.変形例
 <1.実施の形態>
 [画像送受信システム]
 図1は、実施の形態としての画像送受信システム10の構成例を示している。この画像送受信システム10は、送信装置100および受信装置200により構成されている。送信装置100は、例えば、放送局を構成し、コンテナとしてのトランスポートストリームTSを放送波に載せて送信する。
 このトランスポートストリームTSには、符号化画像データを含むビデオストリームが含まれる。そして、このビデオストリームには、画像データのバンディング抑制処理に関する情報(以下、適宜、「バンディング抑制処理情報」という)が挿入される。この場合、このバンディング抑制処理情報は、ビデオストリームのピクチャヘッダまたはシーケンスヘッダのユーザデータ領域などに、例えば、ピクチャ単位あるいはシーン単位などで挿入される。
 このバンディング抑制処理情報には、画像データにバンディング抑制処理が施されているかを示す情報およびそのバンディング抑制処理の種類を表す情報が含まれる。また、このバンディング抑制処理情報には、画像データにバンディング抑制処理をすべきかを示す情報が含まれる。また、このバンディング抑制処理情報には、画像データに階調数低下処理が施されているかを示す情報および階調数低下処理前の階調数を示す情報が含まれる。このバンディング抑制処理情報の詳細については、後述する。
 また、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報が挿入される。例えば、この識別情報は、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。この識別情報により、受信側では、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理情報が挿入されているかを知ることができ、このバンディング抑制処理情報の抽出を適切に行うことが可能となる。この識別情報の詳細については、後述する。
 受信装置200は、送信装置100から送られてくるトランスポートストリームTSを、放送波を介して受信する。受信装置200は、このトランスポートストリームTSに含まれるビデオデータストリームに対してデコード処理を行って、画像データを取得する。この際、受信装置200は、トランスポートストリームTSのレイヤに挿入されている識別情報により、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理情報が挿入されているかを知ることができる。
 受信装置200は、デコード後の画像データに対してバンディング抑制処理を施し、表示用の画像データを生成する。この際、受信装置200は、ビデオストリームに挿入されているバンディング抑制処理情報を抽出し、このバンディング抑制処理情報に基づいて、バンディング抑制処理を制御する。例えば、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、デコード後の画像データに対してバンディング抑制処理が施されるように制御する。
 「送信装置の構成例」
 図2は、送信装置100の構成例を示している。この送信装置100は、カメラ101と、バンディング抑制処理部102と、エンコーダ103と、送信部104を有している。カメラ101は、被写体を撮像して画像データを出力する。バンディング抑制処理部102は、カメラ101から出力される画像データに対し、その量子化ビット数(階調数)に応じて、階調数低下処理とバンディング抑制処理を行う。
 すなわち、バンディング抑制処理部102は、カメラ101から出力される画像データがNビットであって、N>Mであるとき、Mビットの画像データに変換すると共にバンディング抑制処理を施し、Mビットの画像データを出力する。なお、カメラ101から出力される画像データがMビットの画像データであるとき、バンディング抑制処理部102は、カメラ101から出力される画像データをそのまま出力する。
 図3は、バンディング抑制処理部102の構成例を示している。このバンディング抑制処理部102は、ディザ加算部51と1次元ΔΣ変調部52が直列接続された構成とされている。ディザ加算部51は、カメラ101から入力される入力画像データの各画素値IN(x,y)に、ランダムノイズを加算することにより、対象画像にディザを施し、1次元ΔΣ変調部52に供給する。1次元ΔΣ変調部52は、ディザ加算部51からの、ディザが施された画像データに、1次元のΔΣ変調を施し、その結果得られる出力画像データの各画素値OUT(x,y)を、エンコーダ103に供給する。
 ディザ加算部51について説明する。ディザ加算部51は、演算部61、ハイパスフィルタ(HPF:High Pass Filter)62、ランダムノイズ出力部63および係数設定部64から構成される。演算部61には、入力画像データの画素値IN(x,y)が、ラスタスキャン順に供給される。また、この演算部61には、ハイパスフィルタ62の出力が供給される。
 演算部61は、入力画像データの画素値IN(x,y)に、ハイパスフィルタ62の出力を加算し、その結果得られる加算値を、ディザが施された画像データの画素値F(x,y)として、1次元ΔΣ変調部52に供給する。ハイパスフィルタ62は、係数設定部64によって設定されるフィルタ係数に基づき、ランダムノイズ出力部63が出力するランダムノイズをフィルタリングし、そのフィルタリングの結果得られる、ランダムノイズの高域成分を、演算部61に供給する。
 ランダムノイズ出力部63は、例えば、ガウス分布等に従うランダムノイズを発生し、ハイパスフィルタ62に出力する。係数設定部64は、人の視覚の空間周波数特性などに基づいて、ハイパスフィルタ62のフィルタ係数を決定し、ハイパスフィルタ62に設定する。
 このディザ加算部51では、係数設定部64により、人の視覚の空間周波数特性などから、ハイパスフィルタ62のフィルタ係数が決定され、ハイパスフィルタ62に設定される。そして、ハイパスフィルタ62で、係数設定部64によって設定されたフィルタ係数と、ランダムノイズ出力部63が出力するランダムノイズとの積和演算等が行われることで、ランダムノイズ出力部63が出力するランダムノイズがフィルタリングされて高域成分が取り出される。この高域成分は演算部61に供給される。
 演算部61では、入力画像データのNビットの画素値IN(x,y)と、ハイパスフィルタ62からのランダムノイズの高域成分とが加算され、その結果得られる、例えば、入力画像データと同一のビット数であるNビットの加算値またはそれ以上のビット数の加算値が、ディザが施された画素値F(x,y)として、1次元ΔΣ変調部52に供給される。
 次に、1次元ΔΣ変調部52について説明する。この1次元ΔΣ変調部52は、演算部71、量子化部72、演算部73、1次元フィルタ74および係数設定部75から構成される。演算部71には、ディザ加算部51から、ディザが施された画像データの画素値F(x,y)が、ラスタスキャン順に供給される。また、演算部71には、1次元フィルタ74の出力が供給される。
 演算部71は、ディザ加算部51からの画素値F(x,y)と、1次元フィルタ74の出力とを加算し、その結果得られる加算値を、量子化部72および演算部73に供給する。量子化部72は、演算部71からの加算値を、Mビットに量子化する。そして、量子化部72は、その結果得られるMビットの量子化値(量子化誤差-Q(x,y)を含む量子化値)を、階調数変換後の出力画像データの画素値OUT(x,y)として、エンコーダ103に供給すると共に、演算部73に供給する。
 演算部73は、演算部71からの加算値から、量子化部72からの画素値OUT(x,y)を減算することで、量子化部72での量子化により生じる量子化誤差-Q(x,y)を求め、1次元フィルタ74に供給する。この1次元フィルタ74は、信号をフィルタリングする1次元のフィルタであり、演算部73からの量子化誤差-Q(x,y)をフィルタリングし、そのフィルタリングの結果を、演算部71に出力する。
 ここで、演算部71では、1次元フィルタ74が出力する、量子化誤差-Q(x,y)のフィルタリングの結果と、画素値F(x,y)とが加算される。係数設定部75は、人の視覚の空間周波数特性など基づいて、1次元フィルタ74のフィルタ係数を決定し、1次元フィルタ74に設定する。
 この1次元ΔΣ変調部52では、係数設定部75により、人の視覚の空間周波数特性などから、1次元フィルタ74のフィルタ係数が決定され、1次元フィルタ74に設定される。そして、1次元フィルタ74では、係数設定部75によって設定されたフィルタ係数と、演算部73が出力する量子化誤差-Q(x,y)との積和演算等を行われることで、演算部73が出力する量子化誤差-Q(x,y)がフィルタリングされ、量子化誤差-Q(x,y)の高域成分が取り出される。この高域成分は演算部71に供給される。
 演算部71では、ディザ加算部51からの画素値F(x,y)と、1次元フィルタ74の出力とが加算され、その結果得られる加算値が、量子化部72および演算部73に供給される。量子化部72では、演算部71からの加算値がMビットに量子化され、その結果得られるMビットの量子化値は、階調数変換後の画像データの画素値OUT(x,y)として、エンコーダ103に供給されると共に、演算部73に供給される。
 演算部73では、演算部71からの加算値から、量子化部72からの画素値OUT(x,y)が減算され、量子化部72からの画素値OUT(x,y)に含まれる量子化誤差-Q(x,y)が求められる。この量子化誤差-Q(x,y)は1次元フィルタ74に供給される。1次元フィルタ74では、演算部73からの量子化誤差-Q(x,y)がフィルタリングされ、そのフィルタリングの結果が、演算部71に出力される。演算部71では、1次元フィルタ74から出力される量子化誤差-Q(x,y)のフィルタリングの結果と、画素値F(x,y)とが加算される。
 1次元ΔΣ変調部52では、量子化誤差-Q(x,y)が、1次元フィルタ74を介して、入力側(演算部71)にフィードバックされており、これにより、1次元のΔΣ変調が行われる。したがって、1次元ΔΣ変調部52では、ディザ加算部51からの画素値F(x,y)に対して、1次元のΔΣ変調が施され、その1次元のΔΣ変調の結果として、画素値OUT(x,y)が出力される。
 なお、この1次元ΔΣ変調部52において、量子化誤差-Q(x,y)は、画素値F(x,y)に対する量子化誤差であるが、画素値F(x,y)をΔΣ変調して得られる画素値OUT(x,y)を求めるにあたっては、画素値F(x,y)に対する量子化誤差-Q(x,y)は使用されず、ラスタスキャン順で、画素値F(x,y)よりも前の画素値(先に処理された画素値)に対する量子化誤差が使用される。
 図2に戻って、エンコーダ103は、バンディング抑制処理部102から出力されるMビットの画像データに対して、例えば、MPEG4-AVC(MVC)、MPEG2video、あるいはHEVC(High Efficiency Video Coding)などの符号化を施して、符号化画像データを得る。また、このビデオエンコーダ103は、後段に備えるストリームフォーマッタ(図示せず)により、この符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)を生成する。
 この際、エンコーダ103は、このビデオストリームに、ピクチャ単位あるいはシーン単位などで、バンディング抑制処理情報を、挿入する。このバンディング抑制処理情報は、例えば、バンディング抑制処理部102から供給される。このバンディング処理情報には、上述したように、画像データにバンディング抑制処理が施されているかを示す情報、バンディング抑制処理の種類を表す情報、画像データにバンディング抑制処理をすべきかを示す情報、画像データに階調数低下処理が施されているかを示す情報、階調数低下処理前の階調数を示す情報などが含まれる。
 送信部104は、エンコーダ103で生成されたビデオストリームや図示しないオーディオエンコーダで生成されたオーディオストリームなどの他のストリームをパケット化して多重し、トランスポートストリームTSを生成する。そして、送信部104は、トランスポートストリームTSを、QPSK/OFDM等の放送に適した変調方式で変調し、そのRF変調信号を送信アンテナから送信する。
 この際、送信部104は、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報を挿入する。例えば、この識別情報は、トランスポートストリームTSに含まれるプログラム・マップ・テーブル(PMT:Program Map Table)のビデオエレメンタリ・ループ(Video ES loop)の配下に挿入される。
 図2に示す送信装置100の動作を簡単に説明する。カメラ101から出力される画像データはバンディング抑制処理部102に供給される。このバンディング抑制処理部102では、その量子化ビット数(階調数)に応じて、階調数低下処理とバンディング抑制処理が行われる。
 この場合、バンディング抑制処理部102では、カメラ101から出力される画像データがNビットであって、N>Mであるとき、Mビットの画像データに変換されると共にバンディング抑制処理が施され、Mビットの画像データが出力される。一方、カメラ101から出力される画像データがMビットの画像データであるとき、バンディング抑制処理部102では、階調数低下処理やバンディング抑制処理は行われず、カメラ101から出力される画像データがそのまま出力される。
 バンディング抑制処理部102から出力される画像データは、エンコーダ103に供給される。このエンコーダ103では、バンディング抑制処理部102から出力されるMビットの画像データに対して、例えば、MPEG4-AVC(MVC)、MPEG2video、あるいはHEVC(High Efficiency Video Coding)などの符号化が施されて、符号化画像データが生成され、この符号化画像データを含むビデオストリーム(ビデオエレメンタリストリーム)が生成される。この際、エンコーダ103では、このビデオストリームに、ピクチャ単位あるいはシーン単位などで、バンディング抑制処理情報が挿入される。
 このエンコーダ103で生成されるビデオストリームは、送信部104に供給される。この送信部104では、このビデオストリームやオーディオストリームなどの他のストリームがパケット化されて多重され、トランスポートストリームTSが生成される。この際、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報が挿入される。そして、この送信部104では、トランスポートストリームTSが、QPSK/OFDM等の放送に適した変調方式で変調され、そのRF変調信号が送信アンテナから送信される。
 [バンディング抑制処理情報、識別情報、TS構成]
 上述したように、ビデオストリームに、バンディング抑制処理情報が挿入される。例えば、符号化方式がMPEG4-AVCである場合、または、HEVCのような、NALパケットなどの符号化構造が似通っている符号化方式である場合、このバンディング抑制処理情報は、アクセスユニット(AU)の“SEIs”の部分に、SEIメッセージとして挿入される。
 この場合、バンディング抑制処理情報は、ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)として挿入される。図4(a)は、GOP(Group Of Pictures)の先頭のアクセスユニットを示しており、図4(b)は、GOPの先頭以外のアクセスユニットを示している。SEIメッセージは、画素データが符号化されているスライス(slices)よりもビットストリーム上、早い位置に符号化されるので、受信機はSEIの内容に基づいて、画像データに対するバンディング抑制処理の迅速な制御が可能となる。
 図5(a)は、「picture processing SEI message」の構造例(Syntax)を示している。「uuid_iso_iec_11578」は、“ISO/IEC 11578:1996 AnnexA.”で示されるUUID値をもつ。「user_data_payload_byte」のフィールドに、「picture_processing_data()」が挿入される。図5(b)は、「picture_processing_data()」の構造例(Syntax)を示している。この中に、「Picture processing_sei()」が挿入される。「userdata_id」は、符号なし16ビットで示される「Picture processing_sei()」の識別子である。
 図6は、「Picture processing_sei ()」の構造例(Syntax)を示している。また、図7は、図6に示す構造例における主要な情報の内容(Semantics)を示している。「tone_process_preferred」の1ビットフィールドは、画像データに対してバンディング抑制処理をすべきか否かを示す。“1”は、バンディング抑制処理をすべきこと、つまりバンディング抑制処理をして画質改善を行うことが期待されることを示す。“0”は、バンディング抑制処理は必要ないことを示す。
 「levels_scaled」の1ビットフィールドは、画像データに階調数低下処理が施されているか否かを示す。“1”は、階調数低下処理が施されていることを示す。“0”は、階調数低下処理が施されていないことを示す。「levels_before_encoding」の2ビットフィールドは、階調数低下処理前の階調数(ビット数)を示す。“00”は、8ビット/ピクセルであることを示す。“01”は、10ビット/ピクセルであることを示す。“10”は12ビット/ピクセルであることを示す。“11”は、14ビット/ピクセルであることを示す。
 「anti_banding_processed」の1ビットフィールドは、送信側でバンディング抑制処理が行われているか否かを示す。“1”は、バンディング抑制処理が行われていることを示す。“0”は、バンディング抑制処理が行われていないことを示す。「banding_process_type」の3ビットフィールドは、バンディング抑制処理の種類を示す。例えば、“001”はディザ法を示し、“010”は濃度パターン法を示し、“011”は誤差拡散法を示す。
 また、上述したように、例えば、トランスポートストリームTSのプログラム・マップ・テーブル(PMT)のビデオエレメンタリ・ループ(Video ES loop)の配下に、ビデオストリームにバンディング抑制処理情報が含まれているか否かを示す識別情報が挿入される。
 図8(a)は、この識別情報としてのピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)の構造例(Syntax)を示している。また、図8(b)は、図8(a)に示す構造例における主要な情報の内容(Semantics)を示している。「picture_processing descriptor tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、ピクチャ・プロセシング・デスクリプタであることを示す。「picture_processing descriptor length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
 「picture_processing_information_existed」の1ビットフィールドは、ビデオレイヤに画像処理が適用されているかを示す。“1”は、ビデオレイヤに画像処理が適用されていること、つまり、ビデオストリームにピクチャ・プロセシング・SEIメッセージが存在することを示す。“0”は、ビデオレイヤに画像処理が適用されていないこと、つまり、ビデオストリームにピクチャ・プロセシング・SEIメッセージが存在しないことを示す。
 図9は、トランスポートストリームTSの構成例を示している。この例では、図面の簡単化のために、ビデオストリーム(ビデオエレメンタリストリーム)以外の部分については、図示を省略している。トランスポートストリームTSには、ビデオストリームのPESパケット「PID1:video PES1」が含まれている。このビデオストリームに、バンディング抑制処理情報が、ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)(図6参照)として挿入されている。
 また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームTSに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームTSには、イベント(番組)単位の管理を行うSI(Serviced Information)としてのEIT(Event Information Table)が含まれている。
 PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ(Video ES loop)が存在する。このビデオエレメンタリ・ループには、上述のビデオストリームに対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
 このPMTのビデオエレメンタリ・ループ(Video ES loop)の配下に、ピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)(図8(a)参照)が挿入されている。このデスクリプタは、上述したように、ビデオストリームにバンディング抑制処理情報、従ってピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)が挿入されているか否かを示すものである。
 なお、図2に示す送信装置100では、カメラ101の画像データを送信する例を示した。しかし、このカメラ101の代わりに画像データが記録されたストレージが配置される例も考えられる。その場合、ストレージから読み出される画像データを送信することとなる。
 また、図2に示す送信装置100では、バンディング抑制処理部102で階調数低下処理も行われる例を示した。しかし、階調数低下処理は、バンディング抑制処理部102の前段あるいは後段で行われるようにしてもよい。その意味で、階調数低下処理は、エンコーダ103内で行われるようにしてもよい。
 また、図2に示す送信装置100では、バンディング抑制処理部102におけるバンディング抑制処理はランダムディザ法で行う例を示した(図3参照)。しかし、本技術において、バンディング抑制処理は、このランダムディザ法に限定されるものではなく、組織的ディザ法、誤差拡散法などのその他の方法であってもよい。
 「受信装置の構成例」
 図10は、受信装置200の構成例を示している。この受信装置200は、受信部201と、デコーダ202と、バンディング抑制処理部203と、表示部204と、制御部205を有している。制御部205は、CPU(Central Processing Unit)を備え、受信装置200の各部を制御する。
 受信部201は、受信アンテナで受信されたRF変調信号を復調し、トランスポートストリームTSを取得する。そして、この受信部201は、トランスポートストリームTSに含まれているビデオストリームなどの各ストリームを抽出する。また、受信部201は、トランスポートストリームTSからピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)(図8(a)参照)を抽出し、制御部205に送る。制御部205は、このデスクリプタの記述から、ビデオストリームに、バンディング抑制情報が挿入されているか否かを認識する。
 デコーダ202は、受信部201で抽出されたビデオストリームに対してデコード処理を行って、画像データを生成する。また、デコーダ202は、ビデオストリームに挿入されているピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)、従ってバンディング抑制処理情報を抽出し、制御部205に送る。
 バンディング抑制処理部203は、制御部205の制御のもと、デコーダ202から出力される画像データに対して、バンディング抑制処理を行う。詳細説明は省略するが、このバンディング抑制処理部203は、上述の送信装置100におけるバンディング抑制処理部102と同様に構成される。表示部204は、バンディング処理部203から出力される画像データによる画像を表示する。この表示部204は、LCD(Liquid Crystal Display)等のディスプレイにより構成されている。
 制御部205は、バンディング抑制処理情報などに基づいて、バンディング抑制処理部203の動作を制御する。例えば、制御部205は、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、デコード後の画像データに対してバンディング抑制処理が施されるように制御する。
 ここで、送信側でバンディング抑制処理が行われている場合、エンコード前の階調数低下処理前の画像データのビット数は、エンコードされている画像データのビット数(「slice data」としてストリームを構成するビット数)よりも大きい。また、エンコードされている画像データのビット数は、デコード後の画像データのビット数と比べて、同等あるいは大きい(デコーダがslice dataのビット数に従って忠実にデコードするか、簡略化デコードを行うかに依存する)。デコーダ202がビデオストリームを忠実にデコードする場合は、エンコードされている画像データのビット数と、デコード後の画像データのビット数は同等となる。
 エンコード前の階調数低下処理前の画像データのビット数を第1のビット数とし、エンコードされている画像データのビット数を第2のビット数とし、デコード後の画像データのビット数を第3のビット数とすると、これらの関係は、以下の(1)式のようになる。
 第1のビット数>第2のビット数≧第3のビット数   ・・・(1)
 バンディング抑制処理部203は、制御部205の制御のもと、例えば、以下のようにバンディング抑制処理を実行する。
 (1)エンコード前の階調数低下処理前の画像データのビット数がエンコードされている画像データのビット数より大きく、かつ送信側でバンディング抑制処理が行われていない場合、バンディング抑制処理を実行する。その際、エンコード前の階調数低下処理前の画像データのビット数に応じて、フィルタの種類を変えることが可能である。
 (2)エンコードされている画像データのビット数とデコード後の画像データのビット数とが異なる場合は、デコード処理によって、雑音が生ずる場合があるので、それに対応した雑音対策を行うために、送信側で行われた抑制処理を元に戻した後に、あらためて抑制処理を行う。
 (3)デコード後の画像データのビット数と表示可能なビット数とが異なる場合、異なる度合いに応じて、抑制処理のフィルタを切り換える。
 図11、図12のフローチャートは、制御部205における、ピクチャ毎の、バンディング抑制処理の制御手順の一例を示している。制御部205は、ステップST1において、制御処理を開始し、その後に、ステップST2の処理に進む。このステップST2において、制御部205は、画像データに対してバンディング抑制処理をすべきか否かを判断する。制御部205は、この判断を、ピクチャ・プロセシング・SEIメッセージの「tone_process_preferred」の情報に基づいて行うことができる。
 バンディング抑制処理は必要ないと判断するとき、制御部205は、直ちに、ステップST10の処理に進む。一方、バンディング抑制処理をすべきと判断するとき、制御部205は、ステップST3の処理に進む。このステップST3において、制御部205は、階調数低下処理が施されているか否かを判断する。制御部205は、この判断を、ピクチャ・プロセシング・SEIメッセージの「levels_scaled」の情報に基づいて行うことができる。階調数低下処理が施されていないと判断するとき、制御部205は、直ちに、ステップST10の処理に進む。
 なお、制御部205は、ビデオストリームにピクチャ・プロセシング・SEIメッセージの挿入がなく、デコーダ202からこのSEIメッセージが送られてこない場合も、直ちに、ステップST10の処理に進む。このステップST10において、制御部205は、モニタ(表示部204)の表示可能階調数を認識する。制御部205は、例えば、モニタの機能情報を予め備えており、この機能情報に基づいて行うことができる。
 次に、制御部205は、ステップST11の処理に進む。このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
 一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
 また、ステップST3で階調数低下処理が施されていると判断するとき、制御部205は、ステップST4の処理に進む。このステップST4において、制御部205は、階調数低下処理前の階調数を認識する。制御部205は、この認識を、ピクチャ・プロセシング・SEIメッセージの「levels_before_encoding」の情報に基づいて行うことができる。
 次に、制御部205は、ステップST5において、バンディング抑制処理済みか否かを判断する。制御部205は、この判断を、ピクチャ・プロセシング・SEIメッセージの「anti_banding_processed levels_before_encoding」の情報に基づいて行うことができる。
 バンディング抑制処理済みでないと判断するとき、制御部205は、ステップST10において、モニタ(表示部204)の表示可能階調数を認識し、その後に、ステップST11の処理に進む。このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
 一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。また、この場合、ステップST4で認識された階調数低下処理前の階調数に応じてフィルタの種類を変えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
 また、ステップST5でバンディング抑制処理済みであると判断するとき、制御部205は、ステップST6の処理に進む。このステップST6において、制御部205は、処理のタイプを認識する。制御部205は、この認識を、ピクチャ・プロセシング・SEIメッセージの「banding_process_type」の情報に基づいて行うことができる。そして、制御部205は、ステップST7において、デコード後のビット数を認識する。制御部205は、この認識を、デコーダ202からの情報により行うことができる。
 次に、制御部205は、ステップST8において、デコード後のビット数とエンコードされているビット数が異なるか否かを判断する。例えば、デコーダ202で簡略化デコードが行われる場合には異なるものとなる。異なっていないと判断するとき、制御部205は、ステップST10において、モニタ(表示部204)の表示可能階調数を認識し、その後に、ステップST11の処理に進む。
 このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
 一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。また、この場合、ステップST4で認識された階調数低下処理前の階調数に応じてフィルタの種類を変えることが行われる。また、この場合、例えば、ステップST7で認識されたデコード後のビット数およびステップST10で認識されたモニタの表示可能階調数に応じて、抑制処理のフィルタを切り換えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
 また、ステップST8で異なっていると判断するとき、制御部205は、ステップST9の処理に進む。このステップST9において、制御部205は、バンディング抑制処理部203に、送信側で行われているバンディング抑制処理の逆処理を実行させ、一旦、バンディング処理が行われていない元の状態に戻す。
 次に、制御部205は、ステップST10において、モニタ(表示部204)の表示可能階調数を認識し、その後に、ステップST11の処理に進む。このステップST11において、制御部205は、モニタ表示可能階調数(ビット数)とエンコードされているビット数(ビデオストリームにおける画像データのビット数)が異なるか否かを判断する。異なっていないと判断する場合、制御部205は、直ちに、ステップST13に進み、制御処理を終了する。この場合、バンディング抑制処理部203では、バンディング抑制処理は行われず、入力画像データがそのまま出力される。
 一方、異なっていると判断する場合、制御部205は、ステップST12において、バンディング抑制処理部203にバンディング抑制処理を実行させる。この場合、例えば、異なり度合いに応じて、抑制処理のフィルタを切り換えることが行われる。また、この場合、例えば、ステップST4で認識された階調数低下処理前の階調数に応じてフィルタの種類を変えることが行われる。また、この場合、例えば、ステップST7で認識されたデコード後のビット数およびステップST10で認識されたモニタの表示可能階調数に応じて、抑制処理のフィルタを切り換えることが行われる。ステップST12の処理の後、制御部205は、ステップST13に進み、制御処理を終了する。
 図10に示す受信装置100の動作を簡単に説明する。受信部201では、受信アンテナで受信されたRF変調信号が復調され、トランスポートストリームTSが取得される。そして、この受信部201では、トランスポートストリームTSに含まれているビデオストリームなどの各ストリームが抽出される。受信部201で抽出されるビデオストリームは、デコーダ202に供給される。
 また、受信部201では、トランスポートストリームTSからピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)(図8(a)参照)が抽出され、制御部205に送られる。制御部205では、このデスクリプタの記述から、ビデオストリームに、バンディング抑制情報が挿入されているか否かが認識される。
 デコーダ202では、ビデオストリームに対してデコード処理が行われ、画像データが生成される。この画像データは、バンディング抑制処理部203に供給される。また、デコーダ202では、ビデオストリームに挿入されているピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)、従ってバンディング抑制処理情報が抽出され、制御部205に送られる。
 バンディング抑制処理部203では、制御部205の制御のもと、デコーダ202から出力される画像データに対して、バンディング抑制処理が行われる。この場合、例えば、画像データがバンディング抑制処理をすべき画像データであって、画像データに対してバンディング抑制処理が施されていないとき、デコード後の画像データに対してバンディング抑制処理が施される。なお、バンディング抑制処理が行われない場合、バンディング抑制処理部203からは、入力画像データがそのまま出力される。
 バンディング抑制処理部203から出力される画像データは表示部204に供給される。そして、表示部204には、画像データによる画像が表示される。
 上述したように、図1に示す画像送受信システム10においては、送信装置100において、ビデオストリームに、画像データがバンディング抑制処理をすべきかを示す情報、画像データにバンディング抑制処理が行われているかを示す情報等を含む画像データのバンディング抑制処理情報が挿入される。そのため、受信装置200においては、このバンディング抑制処理情報に基づいて、バンディング抑制処理を適切に行うことが可能となる。
 また、図1に示す画像送受信システム10においては、送信装置100において、トランスポートストリームTSのレイヤに、ビデオストリームにバンディング抑制処理情報が挿入されているかを示す識別情報が挿入される。そのため、受信装置200においては、ビデオストリームをデコードしなくても、このビデオストリームにバンディング抑制処理情報が挿入されているか否かを知ることができ、この情報の抽出を適切に行うことができる。
 <2.変形例>
 なお、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。
 図13は、ストリーム配信システム10Aの構成例を示している。このストリーム配信システム10Aは、MPEG-DASHベースのストリーム配信システムである。このストリーム配信システム10Aは、DASHセグメントストリーマ11およびDASH MPDサーバ12に、N個のIPTVクライアント13-1,13-2,・・・,13-Nが、CDN(Content Delivery Network)14を介して、接続された構成となっている。
 DASHセグメントストリーマ11は、所定のコンテンツのメディアデータ(ビデオデータ、オーディオデータ、字幕データなど)に基づいて、DASH仕様のストリームセグメント(以下、「DASHセグメント」という)を生成し、IPTVクライアントからのHTTP要求に応じてセグメントを送出する。このDASHセグメントストリーマ11は、ウェブ(Web)サーバである。
 また、DASHセグメントストリーマ11は、IPTVクライアント13(13-1,13-2,・・・,13-N)からCDN14を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、CDN14を介して、要求元のIPTVクライアント13に送信する。この場合、IPTVクライアント13は、MPD(Media Presentation Description)ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
 DASH MPDサーバ12は、DASHセグメントストリーマ11において生成されるDASHセグメントを取得するためのMPDファイルを生成するサーバである。コンテンツマネジメントサーバ(図13には図示せず)からのコンテンツメタデータと、DASHセグメントストリーマ11において生成されたセグメントのアドレス(url)をもとに、MPDファイルを生成する。
 MPDのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション(Representation)という要素を利用して、それぞれの属性が記述される。例えば、MPDファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。IPTVクライアント13では、そのレートの値を参考にして、上述したように、IPTVクライアント13の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
 MPDファイルは、図14に示すように、階層構造をとる。このMPDファイルには、DASHセグメントストリーマ11に格納した動画の圧縮方式や符号化速度、画像サイズ、言語などの情報がXML形式で階層的に記述される。このMPDファイルは、ピリオド(Period)、アダプテーションセット(AdaptationSet)、リプレゼンテーション(Representation)、セグメントインフォ(SegmentInfo)、イニシャライゼーション・セグメント(Initialization Segment)、メディア・セグメント(Media Segment)などの構造体が、階層的に含まれている。
 ピリオドの構造体は、プログラム(同期を取った1組の動画や音声等のデータ)の情報を持つ。また、ピリオドの構造体に含まれるアダプテーションセットの構造体は、ストリームの選択範囲(リプレゼンテーション群)をグルーピングする。また、アダプテーションセットの構造体に含まれるリプレゼンテーションの構造体は、動画や音声の符号化速度、動画の音声サイズなどの情報を持つ。
 また、リプレゼンテーションの構造体に含まれるセグメントインフォの構造体は、動画や音声のセグメント関連の情報を持つ。また、セグメントインフォの構造体に含まれるイニシャライゼーション・セグメントの構造体は、データ圧縮方式などの初期化情報を持つ。また、セグメントインフォの構造体に含まれるメディア・セグメントの構造体は、動画や音声のセグメントを取得するアドレスなどの情報を持つ。
 図15は、上述のMPDファイルに含まれる各構造体の一例を時間軸上に並べて示したものである。この例においては、MPDファイルにピリオドが2個含まれ、各ピリオドにセグメントが2個含まれている。また、この例においては、各ピリオドにアダプテーションセットが2個含まれ、各アダプテーションセットにストリーム属性の異なる同一内容のストリームに係るリプレゼンテーションが2個含まれている。
 図16は、上述のMPDファイルに階層的に配置されている各構造体の関係の一例を示している。図16(a)に示すように、MPDファイル全体としてのメディア・プレゼンテーション(Media Presentation)には、時間間隔で区切られた複数のピリオド(Period)が存在する。例えば、最初のピリオドはスタートが0秒から、次のピリオドはスタートが100秒から、などとなっている。
 図16(b)に示すように、ピリオドには、複数のリプレゼンテーション(Representation)が存在する。この複数のリプレゼンテーションには、上述したアダプテーションセット(AdaptationSet)でグルーピングされる、ストリーム属性、例えばレートの異なる同一内容のビデオデータストリームに係るリプレゼンテーション群が存在する。
 図16(c)に示すように、リプレゼンテーションには、セグメントインフォ(SegmentInfo)が含まれている。このセグメントインフォには、図16(d)に示すように、イニシャライゼーション・セグメント(Initialization Segment)と、ピリオドをさらに細かく区切ったセグメント(Segment)毎の情報が記述される複数のメディア・セグメント(Media Segment)が存在する。メディア・セグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
 なお、アダプテーションセットでグルーピングされている複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、IPTVクライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのない動画配信が可能となる。
 図17は、ピリオド(Period)と、リプレゼンテーション(Representation)と、セグメント(Segment)の関係の一例を示している。この例においては、MPDファイルにピリオドが2個含まれ、各ピリオドにセグメントが2個含まれている。また、この例においては、各ピリオドに、同一のメディアコンテンツに係る複数のリプレゼンテーションが含まれている。
 図18は、コンテンツからDASHセグメントやDASH MPDファイルを生成するまでのフローの一例を示している。コンテンツマネジメントサーバ15からDASHセグメントストリーマ11にコンテンツが送付される。DASHセグメントストリーマ11は、そのコンテンツを構成するビデオデータ、オーディオデータ等に基づいて、各データストリームのDASHセグメントを生成する。
 また、DASHセグメントストリーマ11は、生成した各データストリームのDASHセグメントのアドレス(url)の情報を、DASH MPDサーバ12に送付する。コンテンツマネジメントサーバ15は、コンテンツのメタデータを、DASH MPDサーバ12に送付する。DASH MPDサーバ12は、各データストリームのDASHセグメントのアドレス情報と、コンテンツのメタデータとに基づいて、DASH MPDファイルを生成する。
 図19は、IPTVクライアント13(13-1~13-N)の構成例を示している。IPTVクライアント13は、ストリーミングデータ制御部131と、HTTPアクセス部132と、動画再生部133を有している。ストリーミングデータ制御部131は、DASH MPDサーバ12からMPDファイルを取得し、その内容を解析する。
 HTTPアクセス部132は、動画再生に用いる動画や音声のセグメントをDASHセグメントストリーマ11に要求する。この際、IPTVクライアント13の画面サイズや伝送路の状態などを加味して、それに合わせた最適な画像サイズや符号化速度のストリームを選ぶ。例えば、最初の段階では符号化速度(レート)の遅いストリームのセグメントを要求し、通信状況が良好ならば符号化速度(レート)の速いストリームのセグメントを要求するように切り替える。
 HTTPアクセス部132は、受け取った動画や音声のセグメントを動画再生部133に送る。動画再生部133は、HTTPアクセス部132から送られてくる各セグメントに復号処理を施して一本の動画コンテンツを得て、動画や音声を再生する。なお、IPTVクライアント13の各部の処理は例えばソフトウェアにより行われる。
 図20は、一般的な、DASHベースのストリーム配信システムの系を示している。DASH MPDファイルも、DASHセグメントも、全てCDN(Content Delivery Network)14を介して配信される。CDN14は、複数のキャッシュサーバ(DASHキャッシュサーバ)がネットワーク配列された構成となっている。
 キャッシュサーバは、IPTVクライアント13からのMPDファイルの取得のためのHTTPリクエストを受ける。キャッシュサーバは、ローカルMPDキャッシュにあれば、IPTVクライアント13にHTTPレスポンスとして返す。また、キャッシュサーバは、ローカルMPDキャッシュになければ、そのリクエストをDASH MPDサーバ12あるいは上位のキャッシュサーバに転送する。そして、キャッシュサーバは、MPDファイルの格納されたHTTPレスポンスを受け、IPTVクライアント13に転送すると共に、キャッシュ処理を行う。
 また、キャッシュサーバは、IPTVクライアント13からのDASHセグメント取得のHTTPリクエストを受ける。キャッシュサーバは、ローカルセグメントキャッシュにあれば、IPTVクライアント13にHTTPレスポンスとして返す。また、キャッシュサーバは、ローカルセグメントキャッシュになければ、そのリクエストをDASHセグメントストリーマ11あるいは上位のキャッシュサーバに転送する。そして、キャッシュサーバは、DASHセグメントの格納されたHTTPレスポンスを受け、IPTVクライアント13に転送すると共に、キャッシュ処理を行う。
 CDN14では、最初にHTTPリクエストを発したIPTVクライアント13-1へ配信されるDASHセグメントが、経路のキャッシュサーバで一時的にキャッシュされ、後続の他のIPTVクライアント13-2からのHTTPリクエストに対しては、そのキャッシュされたDASHセグメントが配信される。そのため、大多数のIPTVクライアントに対するHTTPストリーミングの配信効率を向上させることができる。
 CDN14は、複数のキャッシュサーバの他に、所定個数のキャッシュ管理サーバを有している。このキャッシュ管理サーバは、MPDファイルに含まれる各ビデオデータストリームのDASHセグメントのキャッシュに関する指標に基づいて、キャッシュ制御ポリシーを作成し、各キャッシュサーバに配布する。各キャッシュサーバは、このキャッシュ制御ポリシーに基づいて、各ビデオデータストリームのDASHセグメントのキャッシング処理を行う。
 図21は、FragmentedMP4ストリームの構成例を示している。ビデオのFragmentedMP4ストリームには、ビデオストリームをパケット化して得られたFragmentedMP4が含まれている。FragmentedMP4の「mdat」の部分にビデオストリームの所定ピクチャ分が挿入される。このビデオストリームには、上述実施の形態と同様に、ピクチャ毎に、ピクチャ・プロセシング・SEIメッセージ(picture processing SEI message)が挿入される。これにより、受信装置であるIPTVクライアント13に、バンディング抑制処理情報が送られる。そして、上述実施の形態と同様に、IPTVクライアント13では、このバンディング抑制処理情報に基づいて、バンディング抑制処理の制御が可能となる。
 なお、Picture Processing SEI(バンディング抑制処理情報)を上述したようにビデオストリームに挿入して送る場合の他に、このPicture Processing SEIをMPDファイルで送ることも考えられる。この場合、アダプテーションセット(AdaptationSet)で新たなID付けを行い、ビデオストリームと共に、Picture Processing SEIだけを新規リプレゼンテーション(Representation)で定義することになる。また、トランスポートストリームTSをそのままDASHで送る場合もある。その場合には、ピクチャ・プロセシング・デスクリプタ(picture_processing descriptor)が挿入されたトランスポートストリームTSがそのまま送られる。
 また、上述実施の形態においては、本技術を画像データの送受信系に適用した例を示したが、本技術は音声データの送受信系にも同様に適用できることは勿論である。この場合、送信側では、オーディオストリームに、所定の時間単位で、量子化ノイズ抑制処理情報(上述の実施の形態におけるバンディング抑制処理情報に相当する)が挿入される。そして、受信側では、送信側から送られてくる量子化ノイズ抑制処理情報に基づいて量子化ノイズ抑制処理が行われる。
 また、本技術は、以下のような構成を取ることもできる。
 (1)符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
 上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入する情報挿入部とを備える
 送信装置。
 (2)上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理が施されているかを示す情報が含まれる
 前記(1)に記載の送信装置。
 (3)上記バンディング抑制処理に関する情報には、上記画像データに施されるバンディング抑制処理の種類を表す情報が含まれる
 前記(2)に記載の送信装置。
 (4)上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理をすべきかを示す情報が含まれる
 前記(1)から(3)のいずれかに記載の送信装置。
 (5)上記バンディング抑制処理に関する情報には、上記画像データに階調数低下処理が施されているかを示す情報が含まれる
 前記(1)から(4)のいずれかに記載の送信装置。
 (6)上記バンディング抑制処理に関する情報には、上記階調数低下処理前の階調数を示す情報が含まれる
 前記(5)に記載の送信装置。
 (7)上記情報挿入部は、
 上記バンディング抑制処理に関する情報を、上記ビデオストリームに、ピクチャ単位あるいはシーン単位で挿入する
 前記(1)から(6)のいずれかに記載の送信装置。
 (8)上記コンテナのレイヤに、上記ビデオストリームに上記バンディング抑制処理に関する情報が挿入されているかを示す識別情報を挿入する識別情報挿入部をさらに備える
 前記(1)から(7)のいずれかに記載の送信装置。
 (9)上記コンテナはトランスポートストリームであり、
 上記識別情報挿入部は、上記識別情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する
 前記(8)に記載の送信装置。
 (10)上記送信部は、受信側からの要求に応じて、上記所定フォーマットのコンテナを送信する
 前記(1)から(9)のいずれかに記載の送信装置。
 (11)符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信するステップと、
 上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入するステップとを備える
 送信方法。
 (12)符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームをデコードして画像データを得るデコード部と、
 上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
 上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、上記処理部を制御する制御部とを備える
 受信装置。
 (13)上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理をすべきかを示す情報および上記画像データにバンディング抑制処理が施されているかを示す情報が含まれており、
 上記制御部は、上記画像データがバンディング抑制処理をすべき画像データであって、上記画像データに対してバンディング抑制処理が施されていないとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように制御する
 前記(12)に記載の受信装置。
 (14)符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信するステップと、
 上記ビデオストリームをデコードして画像データを得るステップと、
 上記デコード後の画像データに対して、上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、バンディング抑制処理を施すステップとを備える
 受信方法。
 (15)符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
 上記ビデオストリームをデコードして画像データを得るデコード部と、
 上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
 上記デコード後の画像データによる画像を表示する表示部における表示可能階調数と上記ビデオストリームにおける画像データのビット数とが異なるとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように上記処理部を制御する制御部とを備える
 受信装置。
 本技術の主な特徴は、ビデオストリームに、画像データにバンディング抑制処理をすべきかを示す情報、画像データにバンディング抑制処理が施されているかを示す情報などを含むバンディング抑制処理情報(ピクチャ・プロセシング・SEIメッセージ)を挿入することで、受信側においてバンディング抑制処理が適切に行われるようにしたことである(図9参照)。また、本技術の主な特徴は、デコード後の画像データによる画像を表示する表示部における表示可能階調数とビデオストリームにおける画像データのビット数とが異なるとき、デコード後の画像データに対してバンディング抑制処理が施されるようにすることで、受信側においてバンディング抑制処理が適切に行われるようにしたことである(図12参照)。
 10・・・画像送受信システム
 10A・・・ストリーム配信システム
 11・・・DASH セグメントストリーマ
 12・・・DASH MPDサーバ
 13,13-1~13-N・・・IPTVクライアント
 14・・・CDN
 15・・・コンテンツマネジメントサーバ
 61,71,73・・・演算部
 62・・・ハイパスフィルタ
 63・・・ランダムノイズ出力部
 64,75・・・係数設定部
 72・・・量子化部
 74・・・1次フィルタ
 100・・・送信装置
 101・・・カメラ
 102・・・バンディング抑制処理部
 103・・・エンコーダ
 131・・・ストリーミングデータ制御部
 132・・・HTTPアクセス部
 133・・・動画再生部
 104・・・送信部
 200・・・受信装置
 201・・・受信部
 202・・・デコーダ
 203・・・バンディング抑制処理部
 204・・・表示部
 205・・・制御部

Claims (15)

  1.  符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信する送信部と、
     上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入する情報挿入部とを備える
     送信装置。
  2.  上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理が施されているかを示す情報が含まれる
     請求項1に記載の送信装置。
  3.  上記バンディング抑制処理に関する情報には、上記画像データに施されるバンディング抑制処理の種類を表す情報が含まれる
     請求項2に記載の送信装置。
  4.  上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理をすべきかを示す情報が含まれる
     請求項1に記載の送信装置。
  5.  上記バンディング抑制処理に関する情報には、上記画像データに階調数低下処理が施されているかを示す情報が含まれる
     請求項1に記載の送信装置。
  6.  上記バンディング抑制処理に関する情報には、上記階調数低下処理前の階調数を示す情報が含まれる
     請求項5に記載の送信装置。
  7.  上記情報挿入部は、
     上記バンディング抑制処理に関する情報を、上記ビデオストリームに、ピクチャ単位あるいはシーン単位で挿入する
     請求項1に記載の送信装置。
  8.  上記コンテナのレイヤに、上記ビデオストリームに上記バンディング抑制処理に関する情報が挿入されているかを示す識別情報を挿入する識別情報挿入部をさらに備える
     請求項1に記載の送信装置。
  9.  上記コンテナはトランスポートストリームであり、
     上記識別情報挿入部は、上記識別情報を、上記トランスポートストリームに含まれるプログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する
     請求項8に記載の送信装置。
  10.  上記送信部は、受信側からの要求に応じて、上記所定フォーマットのコンテナを送信する
     請求項1に記載の送信装置。
  11.  符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを送信するステップと、
     上記ビデオストリームに、上記画像データのバンディング抑制処理に関する情報を挿入するステップとを備える
     送信方法。
  12.  符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
     上記ビデオストリームをデコードして画像データを得るデコード部と、
     上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
     上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、上記処理部を制御する制御部とを備える
     受信装置。
  13.  上記バンディング抑制処理に関する情報には、上記画像データにバンディング抑制処理をすべきかを示す情報および上記画像データにバンディング抑制処理が施されているかを示す情報が含まれており、
     上記制御部は、上記画像データがバンディング抑制処理をすべき画像データであって、上記画像データに対してバンディング抑制処理が施されていないとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように制御する
     請求項12に記載の受信装置。
  14.  符号化画像データを含み、画像データのバンディング抑制処理に関する情報が挿入されているビデオストリームを有する所定フォーマットのコンテナを受信するステップと、
     上記ビデオストリームをデコードして画像データを得るステップと、
     上記デコード後の画像データに対して、上記ビデオストリームに挿入されているバンディング抑制処理に関する情報に基づいて、バンディング抑制処理を施すステップとを備える
     受信方法。
  15.  符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部と、
     上記ビデオストリームをデコードして画像データを得るデコード部と、
     上記デコード後の画像データに対してバンディング抑制処理を施す処理部と、
     上記デコード後の画像データによる画像を表示する表示部における表示可能階調数と上記ビデオストリームにおける画像データのビット数とが異なるとき、上記デコード後の画像データに対してバンディング抑制処理が施されるように上記処理部を制御する制御部とを備える
     受信装置。
PCT/JP2013/082579 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法 WO2014091984A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
EP13861777.4A EP2934014A4 (en) 2012-12-13 2013-12-04 TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE AND RECEIVER METHOD
KR1020157014745A KR20150094619A (ko) 2012-12-13 2013-12-04 송신 장치, 송신 방법, 수신 장치 및 수신 방법
SG11201504459QA SG11201504459QA (en) 2012-12-13 2013-12-04 Transmission device, transmitting method, reception device, and receiving method
JP2014552002A JP6305934B2 (ja) 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法
CN201380063894.2A CN104854872B (zh) 2012-12-13 2013-12-04 发送装置、传输方法、接收装置以及接收方法
BR112015013203A BR112015013203A2 (pt) 2012-12-13 2013-12-04 dispositivos e métodos de transmissão e de recepção
US14/440,461 US9979985B2 (en) 2012-12-13 2013-12-04 Transmission device, transmitting method, reception device, and receiving method
RU2015121698A RU2651241C2 (ru) 2012-12-13 2013-12-04 Передающее устройство, способ передачи, приемное устройство и способ приема

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012271888 2012-12-13
JP2012-271888 2012-12-13

Publications (1)

Publication Number Publication Date
WO2014091984A1 true WO2014091984A1 (ja) 2014-06-19

Family

ID=50934276

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/082579 WO2014091984A1 (ja) 2012-12-13 2013-12-04 送信装置、送信方法、受信装置および受信方法

Country Status (9)

Country Link
US (1) US9979985B2 (ja)
EP (1) EP2934014A4 (ja)
JP (1) JP6305934B2 (ja)
KR (1) KR20150094619A (ja)
CN (1) CN104854872B (ja)
BR (1) BR112015013203A2 (ja)
RU (1) RU2651241C2 (ja)
SG (1) SG11201504459QA (ja)
WO (1) WO2014091984A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016184532A1 (en) * 2015-05-18 2016-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
US20190075296A1 (en) * 2014-06-27 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN108174164A (zh) * 2018-01-16 2018-06-15 北京三体云联科技有限公司 一种实时视频处理方法及装置
US10805658B2 (en) * 2018-09-12 2020-10-13 Roku, Inc. Adaptive switching in a whole home entertainment system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032142A1 (en) * 2003-09-23 2005-04-07 Thomson Licensing S.A. Video comfort noise addition technique
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
JP2009207113A (ja) 2008-02-01 2009-09-10 Sony Corp 階調変換装置、階調変換方法、及び、プログラム
JP2010514315A (ja) * 2006-12-19 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号を符号化するための方法及びシステム、符号化された画像信号、画像信号を復号化するための方法及びシステム
JP2012151562A (ja) * 2011-01-17 2012-08-09 Hitachi Kokusai Electric Inc 映像処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0933723B1 (en) 1993-11-19 2003-07-16 Canon Kabushiki Kaisha Printing apparatus
JP3554034B2 (ja) 1994-09-02 2004-08-11 キヤノン株式会社 カラー印刷装置及びその方法
US7627033B2 (en) * 2004-11-15 2009-12-01 Microsoft Corporation Video rate control
CN101120593A (zh) * 2005-04-13 2008-02-06 诺基亚公司 可扩展性信息的编码、存储和信号发送
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8532198B2 (en) * 2006-12-28 2013-09-10 Thomson Licensing Banding artifact detection in digital video content
CA2674310C (en) * 2007-01-16 2016-05-24 Thomson Licensing System and method for reducing artifacts in images
KR101436671B1 (ko) * 2007-10-15 2014-09-02 톰슨 라이센싱 스케일러블 비디오에 대한 계층간 레시듀 예측을 위한 방법들 및 장치들
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
BRPI0817770B1 (pt) * 2007-10-16 2020-11-10 Interdigital Madison Patent Holdings métodos e aparelhos para a remoção de artefatos para a escalabilidade de profundidade em bits
US8750390B2 (en) 2008-01-10 2014-06-10 Microsoft Corporation Filtering and dithering as pre-processing before encoding
JP5276170B2 (ja) * 2008-08-08 2013-08-28 トムソン ライセンシング バンディング・アーチファクトを検出する方法および装置
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
JP5317878B2 (ja) 2009-07-30 2013-10-16 キヤノン株式会社 画像形成装置
JP5281624B2 (ja) * 2010-09-29 2013-09-04 日本電信電話株式会社 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置およびそれらのプログラム
CN103385001B (zh) 2011-02-25 2017-08-08 太阳专利托管公司 用于去块的高效率决策

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005032142A1 (en) * 2003-09-23 2005-04-07 Thomson Licensing S.A. Video comfort noise addition technique
JP2007257641A (ja) * 2006-03-24 2007-10-04 Sharp Corp トーンマッピングのメッセージングのための方法、システム、画像受信装置、画像送信装置、およびプログラム
JP2010514315A (ja) * 2006-12-19 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号を符号化するための方法及びシステム、符号化された画像信号、画像信号を復号化するための方法及びシステム
JP2009207113A (ja) 2008-02-01 2009-09-10 Sony Corp 階調変換装置、階調変換方法、及び、プログラム
JP2012151562A (ja) * 2011-01-17 2012-08-09 Hitachi Kokusai Electric Inc 映像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2934014A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190075296A1 (en) * 2014-06-27 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US10645390B2 (en) * 2014-06-27 2020-05-05 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US11310507B2 (en) 2014-06-27 2022-04-19 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
US11856200B2 (en) 2014-06-27 2023-12-26 Panasonic Intellectual Property Management Co., Ltd. Data output apparatus, data output method, and data generation method
WO2016184532A1 (en) * 2015-05-18 2016-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture
US10136148B2 (en) 2015-05-18 2018-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Methods, receiving device and sending device for managing a picture

Also Published As

Publication number Publication date
KR20150094619A (ko) 2015-08-19
JPWO2014091984A1 (ja) 2017-01-12
CN104854872A (zh) 2015-08-19
US9979985B2 (en) 2018-05-22
SG11201504459QA (en) 2015-07-30
BR112015013203A2 (pt) 2017-07-11
CN104854872B (zh) 2018-07-20
EP2934014A1 (en) 2015-10-21
US20150281740A1 (en) 2015-10-01
RU2015121698A (ru) 2016-12-27
EP2934014A4 (en) 2016-07-13
JP6305934B2 (ja) 2018-04-04
RU2651241C2 (ru) 2018-04-18

Similar Documents

Publication Publication Date Title
US9832534B2 (en) Content transmission device and content playback device
JP2024003187A (ja) 処理装置
WO2014178286A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP6305934B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR102423434B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
CN109792546B (zh) 从服务器向客户端设备传送视频内容的方法
JP7232183B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6930419B2 (ja) 画像処理装置、画像処理方法、受信装置および送信装置
US20180338168A1 (en) Splicing in adaptive bit rate (abr) video streams
JP7160158B2 (ja) 送信装置および送信方法
JP5734699B2 (ja) 配信映像の超解像化装置
US9854019B2 (en) Method and apparatus for modifying a stream of digital content
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
US20230308719A1 (en) A method of controlling energy consumed by a mulitmedia streaming application
GB2489020A (en) A method of communicating a traffic stream over a communications network comprising a variable traffic bandwidth

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13861777

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014552002

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14440461

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20157014745

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2015121698

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: IDP00201503383

Country of ref document: ID

Ref document number: 2013861777

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015013203

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015013203

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150605