WO2012140904A1 - 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置 - Google Patents

画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置 Download PDF

Info

Publication number
WO2012140904A1
WO2012140904A1 PCT/JP2012/002570 JP2012002570W WO2012140904A1 WO 2012140904 A1 WO2012140904 A1 WO 2012140904A1 JP 2012002570 W JP2012002570 W JP 2012002570W WO 2012140904 A1 WO2012140904 A1 WO 2012140904A1
Authority
WO
WIPO (PCT)
Prior art keywords
code amount
unit
compression
components
luminance component
Prior art date
Application number
PCT/JP2012/002570
Other languages
English (en)
French (fr)
Inventor
和博 野村
西村 隆
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/805,543 priority Critical patent/US8923613B2/en
Priority to JP2012538111A priority patent/JPWO2012140904A1/ja
Priority to CN201280001707.3A priority patent/CN102959962B/zh
Publication of WO2012140904A1 publication Critical patent/WO2012140904A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]

Definitions

  • the present invention relates to an image compression apparatus and the like, and more particularly to an image compression apparatus and the like for reducing the capacity of data stored in a memory.
  • a general DTV (Digital Television) system includes a decoder block and an image signal processing block.
  • Decoder block is MPEG2 or H.264.
  • Stream data conforming to a standard such as H.264 is decoded and image (frame) data is written to the memory.
  • the image signal processing block reads the image data written in the memory and performs image processing such as resizing and high image quality.
  • the image signal processing block also performs OSD (On Screen Display) and a plurality of moving image synthesis processing.
  • the image signal processing block temporarily writes image data for image processing and synthesis processing into the memory, reads out the image data when necessary, and outputs the image data for which all processing has been completed as an output image.
  • the capacity of the image data stored in the memory can be reduced by compressing the image data before storing it in the memory, the memory bandwidth can be reduced, and the cost can be reduced, for example, the number of installed memories.
  • FIG. 11 is a block diagram showing a conventional image compression apparatus described in Patent Document 1. In FIG.
  • the image compression apparatus described in Patent Document 1 converts a color space of input image data into a luminance component and a color difference component, and among a plurality of components, according to a gradation change degree in the input image data.
  • a resolution conversion process for reducing the resolution is executed for a part of the components.
  • the resolution is reduced for components that are less affected by lowering the resolution, for example, the Cb component and Cr component of image data in the YCbCr color space, and the B component of image data in the RGB color space. It is decreasing.
  • the compression rate is obtained by sub-sampling (that is, thinning out or reducing the resolution) some components that are not easily affected by the reduction in resolution. Is increasing. For this reason, for example, in the case of image data composed of luminance components and color difference components, such as digital broadcasting, where the color difference components are originally thinned out, the color difference components that are less likely to be affected by a decrease in resolution are more than necessary. It will be thinned out and there is a high possibility of causing image degradation.
  • An object of the present invention is to provide an image compression apparatus or the like that can perform compression processing with less image deterioration even in image data in which color difference components are subsampled.
  • an image compression device that performs fixed-length compression on compression target data including a plurality of components including a luminance component.
  • a code amount allocating unit that determines a code amount to be allocated to each of the plurality of components according to the luminance component, and the code amount allocating unit And a compression unit that compresses each of the plurality of components according to the code amount.
  • the image compression apparatus and the like of the present invention it is possible to perform compression processing with less image deterioration even in image data in which color difference components are subsampled.
  • FIG. 1 is a block diagram showing a configuration example of a video display apparatus according to the present invention.
  • FIG. 2 is a block diagram illustrating a configuration example of an image signal processing unit in the video display device.
  • FIG. 3 is a block diagram illustrating a configuration example of an image compression unit constituting the image signal processing unit.
  • FIG. 4 is a block diagram illustrating a configuration example of a code amount allocating unit included in the image compressing unit.
  • FIG. 5 is a block diagram illustrating a configuration example of the compression unit constituting the image compression unit.
  • FIG. 6 is a flowchart showing steps of an image compression method for performing fixed-length compression on compression target data including a plurality of components including luminance components.
  • FIG. 7 is a graph showing the maximum error when 4-bit differential encoding and 6-bit pixel encoding are performed on the luminance component.
  • FIG. 8A is a graph showing the relationship between the absolute difference and the maximum error when 4 bits are assigned to the luminance component.
  • FIG. 8B is a graph showing the relationship between the 6-bit absolute difference value and the maximum error in the color difference component.
  • FIG. 9A is a graph showing the relationship between the absolute difference and the maximum error when 6 bits are assigned to the luminance component.
  • FIG. 9B is a graph showing the relationship between the 4-bit absolute difference value and the maximum error in the color difference component.
  • FIG. 10 is an external view showing the external appearance of the DTV system.
  • FIG. 11 is a block diagram showing a configuration of a conventional image compression apparatus.
  • An image compression device is an image compression device that performs fixed-length compression on compression target data including a plurality of components including a luminance component, and a total amount of codes allocated to the plurality of components is A code amount allocating unit that determines a code amount to be allocated to each of the plurality of components in accordance with the luminance component, and a code amount determined by the code amount allocating unit. A compression unit that compresses each of the components.
  • the image compression apparatus having the above configuration when the change in the luminance component is small in the fixed-length compression, it is possible to increase the allocation of the code amount of other components (for example, the color difference component, the hue component, and the saturation component). .
  • the luminance component is easily affected by deterioration with respect to other components.
  • the amount of change when the amount of change is small, it is possible to prevent or suppress the deterioration even if the allocation of the code amount is reduced.
  • the image compression apparatus having the above configuration when the amount of change in the luminance component is small, the allocation of the code amount of the luminance component is reduced and the code amount of the other component is increased, so that the deterioration of the luminance component becomes obvious. Therefore, it is possible to suppress a decrease in resolution of other components.
  • the image compression apparatus described in Patent Document 1 when a color difference component is thinned out, in particular, in the case of a color gradation, there is a high possibility that the color change is distorted, and in the case of a color edge, the image is blurred. The possibility increases.
  • the image compression apparatus having the above configuration can increase the code amount of the color difference component particularly in the color gradation and the color edge where the change in the luminance component is relatively small, so that noise can be suppressed satisfactorily.
  • the compression target data may be image data for one frame, or may be an image block obtained by dividing image data for one frame into blocks having a predetermined number of pixels. Good.
  • the code amount allocating unit calculates a difference absolute value between the luminance component of the pixel and a luminance component of an adjacent pixel adjacent to the pixel for each of the pixels constituting the compression target data. And the code amount to be allocated may be determined according to the maximum value of the absolute difference value calculated by the difference calculation unit.
  • the code amount assigning unit further compares the maximum value of the absolute difference value calculated by the difference calculating unit with a desired threshold value, and when the maximum value is equal to or less than the threshold value, The code amount to be assigned to the luminance component is determined as the first code amount, and when the code amount exceeds the threshold, a comparison unit may be provided that determines the code amount to be assigned to the luminance component as the second code amount.
  • the code amount assigning unit assigns the code amount of a component other than the luminance component of the plurality of components to the luminance component when assigning the first code amount to the luminance component.
  • the code amount to be assigned may be determined so as to be larger than the code amount of a component other than the luminance component among the plurality of components when the code amount is assigned.
  • the code amount assigning unit may determine the code amount to be assigned according to the characteristics of the compression target data in addition to the luminance component.
  • the code amount allocating unit calculates a difference absolute value between the luminance component of the pixel and a luminance component of an adjacent pixel adjacent to the pixel for each of the pixels constituting the compression target data.
  • the amount of code allocated to the luminance component decreases as the difference absolute value of the luminance component decreases, and the luminance component increases as the thinning-out amount of components other than the luminance component of the compression target data increases.
  • the code amount to be allocated may be determined so that the code amount to be allocated becomes small.
  • the compression unit executes a plurality of different encodings to generate a plurality of encoded data, and a decoding unit that decodes the plurality of encoded data to generate a plurality of decoded data And a compression mode determination unit that obtains a difference between decoded data and the compression target data for each of the plurality of decoded data, and determines one encoded data from the plurality of encoded data based on the difference And a selection unit that selectively outputs the encoded data determined by the compression mode determination unit.
  • the comparison unit compares the maximum value of the absolute difference value with the threshold value determined by the maximum error when the plurality of encodings are applied to the luminance component. You may determine the code amount allocated to a component.
  • An image compression method is an image compression method for performing fixed-length compression on compression target data including a plurality of components including a luminance component, and includes a code amount allocated to the plurality of components.
  • the plurality of components are determined according to the code amount determined in the step of determining the code amount to be assigned to each of the plurality of components and the step of determining the code amount. Compressing each of the components.
  • An integrated circuit is an integrated circuit for an image compression device that performs fixed-length compression on compression target data including a plurality of components including a luminance component, and a code assigned to the plurality of components
  • a code amount allocation unit that determines a code amount to be allocated to each of the plurality of components according to the luminance component, and a code amount determined by the code amount allocation unit.
  • a compression unit that compresses each of the plurality of components.
  • a program according to an aspect of the present disclosure is a program for causing a computer to perform fixed-length compression on compression target data including a plurality of components including a luminance component, the code amount allocated to the plurality of components According to the luminance component, the plurality of components are determined according to the code amount determined in the step of determining the code amount to be assigned to each of the plurality of components and the step of determining the code amount. Compressing each of the components.
  • a video display device is a video display device including an image compression device that performs fixed-length compression on compression target data including a plurality of components including luminance components, and the compression target data is the image
  • a desired image processing is performed using a memory for storing compressed data after compression at a fixed length by a compression device and the decoded data obtained by decoding the compressed data, and the data after the image processing is output to a predetermined display panel.
  • An image signal processing unit wherein the image compression device makes a total of code amounts allocated to the plurality of components constant, and the luminance of the compression target data output from the image signal processing unit According to the component, a code amount allocating unit that determines a code amount to be assigned to each of the plurality of components, and the code amount determined by the code amount allocating unit, It compresses each minute, and a compression unit to be output to the memory.
  • FIG. 1 is a block diagram illustrating a configuration example of a DTV system 1 that employs an image compression apparatus according to the present embodiment.
  • the DTV system 1 includes an image processing apparatus 10, a front end 20, an external memory 30, and a display 40 as shown in FIG.
  • the front end 20 includes a video input device such as a tuner or a communication module, selects a desired transport stream from the transmitted digital broadcast wave, for example, a transport stream of a selected broadcast station, and performs image processing. Output to the stream controller 12 of the apparatus 10.
  • a video input device such as a tuner or a communication module
  • the external memory 30 is composed of a RAM or a FIFO, and writes and reads data based on a request from the memory control unit 15 of the image processing apparatus 10.
  • the display 40 is a display panel of the DTV system. In this embodiment, the display 40 receives display data from the DTV system 1 and displays it.
  • the image processing apparatus 10 is an apparatus for receiving stream data output from the front end 20 and generating display data. As shown in FIG. 1, the stream controller 12, the CPU 13, the decoder 14, the memory control unit 15, An image signal processing unit 16 is provided. The stream controller 12, CPU 13, decoder 14, memory control unit 15, and image signal processing unit 16 are connected via the bus 11.
  • the stream controller 12 is mainly composed of a descrambler and a transport decoder. Since the transport stream output from the front end 20 is encrypted with the stream cipher, the stream controller 12 cancels the stream cipher based on the copyright information of the transport stream. The stream controller 12 extracts a desired video packet, audio packet, and additional information packet such as program information from the transport stream whose stream cipher has been canceled.
  • the CPU 13 is generally realized by a processor that is hardware, and controls the entire system including the image signal processing unit 16.
  • the decoder 14 decodes the video packet and the audio packet, obtains the video signal and the audio signal, and outputs them to the image signal processing unit 16.
  • the memory control unit 15 is directly connected to the external memory 30 without going through the bus 11, and processes memory accesses requested by the stream controller 12, the CPU 13, the decoder 14, and the image signal processing unit 16.
  • the image signal processing unit 16 is a processing unit that receives the video signal and the audio signal from the decoder 14 and executes image processing and synthesis processing on the image indicated by the video signal. As shown in FIG. A composition processing unit 161 and an image compression / decompression unit 162 are included. FIG. 2 is a block diagram illustrating a configuration example of the image signal processing unit 16.
  • the image processing / compositing processing unit 161 performs image processing such as resizing processing and image quality enhancement processing on the image indicated by the video signal input from the decoder 14 via the bus 11, and composition of OSD and multiple moving images. Processing is performed, and a video signal after image processing and composition processing is output to the display 40.
  • the image compression / decompression unit 162 includes an image compression unit 200 that performs fixed-length compression processing on the input data output from the image processing / composition processing unit 161, and the compressed data that has been subjected to fixed-length compression processing.
  • An image expansion unit 300 that performs expansion processing.
  • the image compression / decompression unit 162 is provided in an interface portion with the bus 11 of the image signal processing unit 16.
  • the image compression / decompression unit 162 compresses and decompresses image data stored in the external memory 30, thereby reducing the amount of data flowing on the bus 11 and reducing the bandwidth and capacity of the external memory 30. Can be reduced.
  • the image compression unit 200 is a processing unit that performs fixed-length compression on compression target data including a plurality of components including luminance components, and compresses input data in a fixed-length manner in units of blocks. By performing compression processing in units of blocks, it is possible to reduce the amount of computation when hardware is implemented. Further, by performing fixed length compression in units of blocks, the worst compression rate for the entire image can be guaranteed.
  • FIG. 3 is a block diagram illustrating a configuration example of the image compression unit 200. More specifically, as shown in FIG. 3, the image compression unit 200 divides input data into a plurality of compression target blocks (corresponding to compression target data) having a predetermined number of pixels, and a compression target block. Based on the luminance components of a plurality of constituting pixels, a code amount assigning unit 220 that assigns a code amount for each component in units of blocks, and a compression unit 230 that compresses each of the components with the assigned code amount Yes.
  • a code amount assigning unit 220 that assigns a code amount for each component in units of blocks
  • a compression unit 230 that compresses each of the components with the assigned code amount Yes.
  • the code amount assigning unit 220 is a processing unit that makes the sum of code amounts assigned to a plurality of components constant and determines the code amount assigned to each of the plurality of components according to the luminance component.
  • FIG. 4 is a block diagram illustrating a configuration example of the code amount assignment unit 220.
  • the code amount allocation unit 220 configures a block with a difference calculation unit 221 that calculates a difference absolute value between the luminance value of a pixel constituting the block and the luminance value of an adjacent pixel adjacent to the pixel.
  • a comparison unit 222 that determines the allocation of the code amount by comparing the absolute value of the block with a desired threshold value using the maximum value of the absolute difference values of the plurality of pixels as the difference absolute value of the block.
  • the compression unit 230 is configured to perform fixed length compression processing in units of pixel data components.
  • FIG. 5 is a block diagram illustrating a configuration example of the compression unit 230.
  • the compression unit 230 includes a pixel encoding unit 231, a differential encoding unit 232, a pixel decoding unit 233, a differential decoding unit 234, and a compression mode determination unit 235. And a selection unit 236.
  • the pixel encoding unit 231 performs fixed-length encoding processing on the pixel values of a plurality of pixels constituting the block.
  • the differential encoding unit 232 performs fixed-length encoding processing on the absolute difference value between adjacent pixels of a plurality of pixels constituting the block.
  • the pixel decoding unit 233 performs a decoding process on the compressed data subjected to the fixed length compression process by the pixel encoding unit 231 to generate decoded data.
  • the differential decoding unit 234 performs a decoding process on the compressed data subjected to the fixed length compression process by the differential encoding unit 232 to generate decoded data.
  • the compression mode determination unit 235 inputs the error between the decoded data decoded by the pixel decoding unit 233 and the corresponding pixel data (input pixel data) of the block to be compressed, and the decoded data decoded by the differential encoding unit 232 The error with the pixel data is compared, and the encoding unit that outputs the compressed data corresponding to the decoded data with a small error is determined from among the pixel encoding unit 231 and the differential encoding unit 232.
  • the selection unit 236 selects the compressed data output from the encoding unit determined by the compression mode determination unit 235 that the error is small, and adds encoding information indicating the encoding unit corresponding to the selected compressed data The compressed data is output to the memory control unit 15.
  • the image decompression unit 300 decodes the compressed data read from the external memory 30 by a decoding method corresponding to the encoding method indicated by the encoding information, and outputs the decoded data to the image processing / synthesis processing unit 161.
  • the image compression / decompression unit 162 is provided in the interface portion of the image signal processing unit 16, but the present invention is not limited to this.
  • the image compression / decompression unit 162 has a fixed length before it is stored in the external memory 30 with respect to input data output from the image processing / compositing processing unit 161 such as an interface portion with the bus 11 of the memory control unit 15. It only needs to be provided so that compression processing can be performed.
  • the image compression / decompression unit 162 performs fixed-length compression processing before being stored in the external memory 30, and performs decompression processing on the compressed data subjected to fixed-length compression processing read from the external memory 30 before performing image processing. As a result, the capacity of data stored in the external memory 30 can be reduced, and the memory bandwidth can be reduced.
  • FIG. 6 is a flowchart showing the processing operation of the image compression unit 200.
  • the pixel data of the pixels constituting the block to be compressed has each component of the color space with 10-bit accuracy.
  • the color space is a YCbCr color space
  • the pixel data has two components, a luminance component (Y) and a color difference component (Cb and Cr). Since the data amount of each component is 10 bits, the data amount of one pixel data is 20 bits.
  • the pixel data of the present embodiment is represented in a 4: 2: 2 format in which the sample ratio (Y: Cb: Cr) of the luminance component (Y) and the color difference components (Cb and Cr) in the color space is 4: 2.
  • the target compression rate is set to 50%. That is, one pixel data is compressed from 20 bits to 10 bits. Therefore, in this embodiment, the code amount assigning unit 220 of the image signal processing unit 16 assigns a code amount to the luminance component and the color difference component so that the total is 10 bits. In the present embodiment, a case will be described in which the code amounts of luminance components and color difference components are assigned (4 bits: 6 bits) and (6 bits: 4 bits).
  • the image compression / decompression unit 162 of the image signal processing unit 16 is referred to when performing image processing on display data, not the data itself used to display a TV broadcast on the display 40.
  • This processing data is data to be compressed. More specifically, the processing data is, for example, data that is used only within the DTV system 1 and includes pixel data of adjacent pixels around the prediction target block in intra prediction. Since the compression target data is not image data displayed directly on the display 40, even if the image quality deteriorates to some extent, the influence on the image displayed on the display 40 is small. For this reason, even if the data to be compressed is further subjected to fixed-length compression processing (fixed-length encoding), it is considered that there is little influence on the image displayed on the display 40.
  • fixed-length compression processing fixed-length encoding
  • the image signal processing unit 16 performs fixed-length compression processing and decompression processing on such processing data, so that the image data displayed on the display 40 is stored in the external memory 30 without degrading the image quality. Data capacity can be reduced. Further, since the fixed length compression process is performed, the compression method is simple, and the compression process can be executed with a small amount of processing.
  • the blocking unit 210 divides the input compression target data into a plurality of compression target blocks including pixels of a predetermined size, and the code amount allocation unit 220 and the compression target data are compressed. It outputs to the part 230 (step S11).
  • the compression target block is a block of 4 horizontal pixels (4 ⁇ 1 pixel unit) will be described as an example.
  • the block to be compressed is not limited to 4 horizontal pixels, and may be of any size such as 8 horizontal pixels, 16 horizontal pixels, or a 2 ⁇ 2 rectangle.
  • the code amount assignment unit 220 assigns a code amount in units of the input compression target block (step S12).
  • the difference calculating unit 221 of the code amount allocating unit 220 calculates an absolute value of a difference with an adjacent pixel for each of the pixels constituting the input compression target block, and outputs the difference to the comparing unit 222.
  • the comparison unit 222 of the code amount assigning unit 220 extracts the absolute value of the difference output from the difference calculation unit 221 and compares the extracted difference absolute value with a threshold value, thereby obtaining a luminance component.
  • the code amount to be assigned to the color difference component is determined.
  • the threshold is set to 16
  • the comparison unit 222 of the present embodiment has 4 bits (corresponding to the first code amount) assigned to the luminance component and the code amount assigned to the color difference component.
  • the code amount assigned to the luminance component is set to 6 bits (corresponding to the second code amount), and the code amount assigned to the color difference component is set to 4 bits.
  • the set code amount is output to the compression unit 230 as allocation information.
  • the allocation information may be only the luminance component allocation amount or only the chrominance component allocation amount, or both components. May be allocated. When there are three or more types of components, it is only necessary to include information on the allocated amounts of at least two types of components.
  • the pixel encoding unit 231 performs a quantization process on the luminance component and color difference component of the pixels constituting the input compression target block according to the code amount of the allocation information output from the code amount allocation unit 220. Is executed to output pixel encoded data including encoded data of luminance components and encoded data of color difference components (part of step S13).
  • a quantization process for example, when a 10-bit component is changed to 4 bits, there is a method of adding 1 to the upper 5 bits, extracting only the upper 4 bits, and deleting the lower 6 bits.
  • the difference encoding unit 232 calculates a difference value between components of adjacent pixels, and encodes the difference value according to the code amount of the allocation information output from the code amount allocation unit 220 (part of step S13).
  • the data of the fourth pixel of the compression target block input immediately before the current compression target block is used. That is, the differential encoding unit 232 is output from the differential decoding unit 234 or the pixel decoding unit 233 via the compression mode determination unit 235 in addition to the data of the plurality of components of the plurality of pixels constituting the compression target block.
  • the encoded data is generated using the decoded data obtained by decoding the encoded data (compressed data) of the fourth pixel of the immediately preceding compression target block.
  • a difference from the pixel data of the fourth pixel decoded in the immediately preceding block is calculated to calculate a difference value.
  • clip processing is performed according to the code amount determined by the code amount assigning unit 220, and the encoded data of the first pixel is output. For example, when the 10-bit difference value is changed to 4 bits, the clipping process is performed by clipping the difference value of ⁇ 8 or less to ⁇ 8 (1111) and the difference value of 7 or more to 15 (0111).
  • the difference value is calculated by calculating the difference from the decoded data obtained by decoding the encoded data of the (n-1) pixel of the compression target block. To do. Thereafter, like the first pixel, the clipping process is performed, and the encoded data of the nth pixel is output.
  • the pixel decoding unit 233 performs inverse quantization processing on the pixel encoded data, decodes the pixel data, generates decoded data, and outputs the decoded data to the compression mode determination unit 235.
  • inverse quantization process for example, when decoding from 4-bit encoded data to 10-bit pixel data, a method of filling the upper 4 bits of the pixel data with the encoded data and filling the lower 6 bits with 0 or 1, There is a method of filling encoded data into lower bits.
  • the differential decoding unit 234 holds the pixel data decoded immediately before, adds the data obtained by decoding the differential encoded data to the previous pixel data, generates decoded data, and outputs the decoded data to the compression mode determination unit 235. To do.
  • the compression mode determination unit 235 When the decoded data is output from the pixel decoding unit 233, the compression mode determination unit 235 outputs the pixel data (input pixel data) of the corresponding pixel of the compression target block input to the compression unit 230 and the pixel decoding unit 233. A first difference from the output decoded data is calculated. Similarly, when the decoded data is output from the differential decoding unit 234, the compression mode determination unit 235 calculates a second difference between the corresponding input pixel data and the decoded data output from the differential decoding unit 234. . The compression mode determination unit 235 compares the first difference and the second difference, and determines the encoding unit corresponding to the smaller value of the pixel encoding unit 231 and the difference encoding unit 232. (Step S14). The decoded data corresponding to the determined encoding unit is output to the differential encoding unit 232 for use in encoding the next pixel data.
  • the compression mode determination unit 235 includes, in units of pixels, an error (first difference) between the decoded data output from the pixel decoding unit 233 and the input pixel data, and the difference decoding unit 234.
  • an error second difference
  • the present invention is not limited to this.
  • the determination may be performed in units of compression target blocks.
  • a method of calculating the first difference and the second difference for all the pixels constituting the compression target block and selecting an encoding unit with a small maximum error, or an average value of difference values (errors) For example, there is a method of selecting an encoding unit having a small value.
  • the selection unit 236 selectively outputs the encoded data output from the encoding unit selected by the compression mode determination unit 235 to the memory control unit 15 via the bus 11.
  • threshold value determination method in the code amount assignment unit 220 of the image compression unit 200 will be described with reference to FIG.
  • the threshold value is fixedly set in the image processing apparatus 10 when the image processing apparatus 10 is manufactured.
  • the threshold value may be arbitrarily set from the outside after manufacturing. Good.
  • the threshold value is a plurality of encoding methods.
  • the threshold value is the difference between the luminance value of the pixel data constituting the block to be input and the luminance value after compression by differential encoding and pixel encoding. Determine the maximum error to be minimum.
  • the absolute difference value of the luminance component from the previous pixel falls below the maximum value that can be expressed by the code amount after compression.
  • the maximum error between the difference absolute value before compression and the difference absolute value after compression is 0 (the solid line portion in FIG. 7 where the difference absolute value is 8 or less).
  • the absolute value after compression is clipped to the maximum value after compression, so the maximum error is between pixels. The larger the luminance value is, the larger the difference is (the solid line portion in FIG.
  • the maximum error is constant regardless of the absolute difference value.
  • the code amount allocation after compression is 6 bits
  • the maximum error is 8.
  • the transition of the maximum error in pixel encoding is a graph shown by “6 bit quantization” in FIG. 7 (the broken line portion having a difference absolute value of 16 or less and the solid line portion having a difference absolute value of 16 or more in FIG. 7).
  • the maximum difference absolute value when the maximum difference absolute value is less than or equal to the threshold value (in this embodiment, the code amount allocation amount is 4 bits), the maximum error tends to be reduced by differential encoding, and the maximum difference absolute value is If it is larger than the threshold value (in this embodiment, the code amount allocation amount is 6 bits), it is considered that the maximum error tends to be reduced by pixel encoding. Therefore, from FIG. 7, a “4 bit clip” graph showing the maximum error when the differential encoding is performed with a 4-bit code amount, and the maximum error when the pixel encoding is executed with a 6-bit code amount “ 16 that is the intersection of the “6-bit quantization” graph is set as the threshold value.
  • the maximum error can be suppressed to 8 by performing differential encoding by assigning the code amount of 4 bits, and when it is 16 or more, the code amount of 6 bits.
  • the maximum error can be suppressed to 8 by performing pixel encoding by assigning.
  • FIG. 8A is a graph (solid line portion) showing the relationship between the maximum error of the luminance component and the absolute difference value when the code amount is assigned to the luminance component and the color difference component (4 bits: 6 bits).
  • the horizontal straight line with the maximum error 8 is a graph showing the maximum error when 6-bit pixel encoding is performed.
  • the solid line in the region where the difference absolute value is 16 or less and the oblique broken line in the region where the difference absolute value is 16 or more are graphs showing the maximum error when 4-bit difference encoding is performed.
  • FIG. 8B is a graph (solid line portion) showing the relationship between the maximum error of the color difference component and the absolute difference value when the code amount is assigned to the luminance component and the color difference component (4 bits: 6 bits).
  • a horizontal straight line with a maximum error of 8 and a solid line are graphs showing the maximum error when 6-bit pixel encoding is performed.
  • a solid line in a region where the difference absolute value is 40 or less and a broken line in a region where the difference absolute value is 40 or more are graphs showing the maximum error when 4-bit difference encoding is performed.
  • the maximum error of the luminance component is 0 when the difference absolute value is 0 to 8, and becomes larger according to the difference absolute value when the difference absolute value is 8 to 16.
  • the maximum error of the color difference component is obtained by performing the pixel encoding with the 6-bit code amount and the graph of “6 bit clip” when the differential encoding is performed with the 6-bit code amount.
  • the smaller value is obtained.
  • 6-bit differential encoding is performed, and when it is 40 or more, 6-bit pixel encoding is performed, thereby suppressing the maximum error to 8. it can.
  • FIG. 9A is a graph (solid line part) showing the relationship between the maximum error of the luminance component and the absolute difference value when the code amount is assigned to the luminance component and the color difference component (6 bits: 4 bits).
  • a horizontal straight line with a maximum error of 8 and a solid line are graphs showing the maximum error when 6-bit pixel encoding is performed.
  • the diagonal broken line is a graph showing the maximum error when 4-bit differential encoding is performed.
  • 9B is a graph (solid line portion) showing the relationship between the maximum error of the color difference component and the absolute difference when the code amount is assigned to the luminance component and the color difference component (6 bits: 4 bits).
  • the solid line of the region where the difference absolute value is 32 or less and the broken line of the region of 32 or more are graphs showing the maximum error when 4-bit difference encoding is performed.
  • the broken line in the area where the difference absolute value is 32 or less and the solid line in the area where the difference absolute value is 32 or more are graphs showing the maximum error when performing 4-bit pixel encoding.
  • the maximum error of the luminance component is 8.
  • the maximum error of the color difference component is obtained by performing the pixel encoding with the graph of “4-bit clip” when the difference encoding is performed with the code amount of 4 bits and the code amount of 4 bits.
  • the smaller value is obtained. That is, when the difference absolute value of the color difference signal is smaller than 32, 4-bit difference encoding is performed, and when it is 32 or more, 4-bit pixel encoding is performed to suppress the maximum error to 32. it can.
  • the accuracy of the color difference component can be improved by increasing the code amount of the color difference component.
  • the code amount is not assigned according to the luminance component.
  • the assigned amount of the luminance component and the color difference component is fixed (6 bits: 4 bits), so the maximum error of the color difference component is Even if the change amount of the luminance component was 16 or less, it was 32.
  • the maximum error of the color difference component can be suppressed to 8 when the change amount of the luminance component is 16 or less.
  • the image compression apparatus appropriately changes the code amount of the luminance component and the code amount of the color difference component according to the difference between the luminance component and the adjacent pixel, and compresses the input pixel data. Even for data in which color difference components such as moving images are sampled, if the difference in luminance components is small, further deterioration of the color difference components can be prevented. When the change of the luminance component is small, the color gradation and the color edge can be prevented by increasing the code amount of the color difference component.
  • the code amount assignment unit 220 compares the maximum value of the absolute difference value of the luminance component and the threshold when determining the assignment of the code amount.
  • the present invention is not limited to this. Instead, for example, an average value of absolute difference values may be compared with a threshold value.
  • the threshold value may be compared with the maximum value of the pixel value, etc., instead of the difference value of the luminance component.
  • the compression unit 230 when comparing the maximum value of the absolute difference value of the luminance component and the threshold with each other, the compression unit 230 preferably includes a difference encoding unit 232. Similarly, when comparing the maximum value of pixel values and the like with a threshold value, the compression unit 230 preferably includes a pixel encoding unit 231.
  • the code amount assignment unit 220 has been described with respect to the case where the assignment of the code amount of the luminance component and the color difference component is (4 bits: 6 bits) and (6 bits: 4 bits). It is not limited to.
  • the code amount allocation may be other types such as (7 bits: 3 bits), or may be three or more types instead of two types.
  • the code amount assigning unit 220 may be configured to further switch the assignment mode according to the characteristics (type) of the image to be handled.
  • the first mode in which the code amounts of the luminance component and the color difference component are assigned (4 bits: 6 bits) and (6 bits: 4 bits), and the code amounts of the luminance components and the color difference components are set.
  • the second mode is set to (7 bits: 3 bits) and (6 bits: 4 bits) and the amount of color difference components of the input data (compression target block) is large
  • the first mode may be configured to select the second mode when the thinning amount of the color difference component is small.
  • the compression unit 230 encodes two encoding methods, that is, a pixel encoding method using quantization by the pixel encoding unit 231 and a difference value by the differential encoding unit 232.
  • the encoded data is generated by the differential encoding method to be converted into an example.
  • the present invention is not limited to this.
  • a plurality of pixel encodings including quantization and differential encoding may be combined to generate encoded data, or encoded data may be generated using another encoding method.
  • the compression unit 230 may be configured to create encoded data by one encoding method.
  • the luminance component and the color difference component are described as examples of the components constituting the color space, but other combinations including the luminance component may be used.
  • components other than the luminance component there are, for example, a hue component and a saturation component in addition to the color difference component.
  • the code amount assignment unit 220 is configured to include the blocking unit 210, but may be configured not to include the blocking unit 210.
  • data input to the image compression unit 200 is set as compression target data.
  • each functional block shown in FIG. 1, such as the image signal processing unit 16, the decoder 14, and the memory control unit 15, is typically realized as an LSI (Large Scale Integration) that is an integrated circuit. Is done. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. Although referred to here as LSI, depending on the degree of integration, it may also be called IC (Integrated Circuit), system LSI, super LSI, or ultra LSI.
  • LSI Large Scale Integration
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware, or a component that can be realized by software may be realized by executing a program.
  • the present invention relates to a compression target data having pixel data composed of a plurality of components including a luminance component.
  • the fixed length compression can be performed while preventing this. Accordingly, the present invention can reduce the amount of data when storing data in a memory, and is useful for an image processing apparatus that handles high-resolution image data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

色差成分の画質劣化を低減する。輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置(200)であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部(220)と、前記符号量割当部(220)によって決定された符号量で、前記複数の成分のそれぞれを圧縮する圧縮部(230)とを備える。

Description

画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置
 本発明は、画像圧縮装置等に関し、特に、メモリに格納するデータの容量を削減するための画像圧縮装置等に関する。
 近年、TVやモバイル機器に搭載されたディスプレイの高解像度化が急速に進んでいる。この10年間で、ハイビジョン放送の開始やBlu-ray Discの登場に伴い、ディスプレイの解像度はSD(例えば、720x480)からHD(例えば、1366x768)、Full HD(例えば、1920x1080)へと進化を遂げた。
 しかしながら、ディスプレイの高解像度化が進むと、ディスプレイに出力される出力画像のデータ量も増大する。これに伴い、ディスプレイに出力画像を出力する画像処理装置において、出力画像を一時的に格納するためのフレームメモリの容量が増大し、必要なメモリ帯域も増大することになる。このようなデータ量の増加に伴い、外付けメモリの個数増加や消費電力の増加の問題はより深刻になっている。
 なお、一般的なDTV(Digital Television)システムは、デコーダブロックと、画像信号処理ブロックとを備えている。
 デコーダブロックは、MPEG2やH.264などの規格に沿ったストリームデータをデコードし画像(フレーム)データをメモリに書き込む。
 画像信号処理ブロックは、メモリに書き込まれた画像データを読み込み、リサイズや高画質化等の画像処理を行う。また、画像信号処理ブロックは、OSD(On Screen Display)や複数の動画の合成処理もここで行う。画像信号処理ブロックは、画像処理や合成処理のための画像データを、一時的にメモリへ書き込み、必要になったら読み出し、全ての処理が完了した画像データを出力画像として出力する。
 具体的には、解像度が1080p(1920x1080、60fps)の24bitフルカラーの動画を扱う場合、1フレームあたりの必要帯域は約360MB/sである。さらに、上述した動画に対して、複雑な画像処理(複数動画の合成など)を行う場合には、メモリへの書き込み回数および読み出し回数が非常に増加するため、必要とされるメモリ帯域はかなり増加する。この場合、DTVシステムでは、数GB/s以上の帯域を持つ高周波数のメモリが複数必要となり、コストが増大する。
 このため、メモリに格納する前に画像データを圧縮処理することにより、メモリに格納する画像データの容量を削減できれば、メモリ帯域を削減することができ、コスト削減、例えば、搭載するメモリ個数の削減や、周波数の低いメモリの使用が可能になる。
 従来の画像圧縮装置としては、例えば、画像データを複数の画像ブロックに分割し、画像ブロック単位で圧縮処理を行う装置であって、画像ブロックにCGエッジが含まれているか否かに応じて、画像ブロックのデータセット値に含まれる色差成分をサブサンプリング(間引き)し、サブサンプリング後のデータセット値を予測符号化方式により符号化しているものが開示されている(例えば、特許文献1参照)。図11は、特許文献1に記載された従来の画像圧縮装置を示すブロック図である。
 上記特許文献1に記載の画像圧縮装置は、入力された画像データの色空間を輝度成分と色差成分とに変換し、入力された画像データにおける階調変化度に応じて、複数の成分のうちの一部の成分について、解像度を低下させる解像度変換処理を実行する。特許文献1に記載の画像圧縮装置では、解像度を低下させることによる影響が少ない成分、例えば、YCbCr色空間の画像データのCb成分およびCr成分、RGB色空間の画像データのB成分について、解像度を低下させている。
特開2007-28394号公報
 上述したように、特許文献1に記載の画像圧縮装置では、解像度の低下による影響が顕在化しにくい一部の成分をサブサンプリングする(つまり、間引きする、あるいは、解像度を低下させる)ことにより圧縮率を高めている。このため、例えば、デジタル放送など、輝度成分および色差成分で構成され、もともと色差成分が間引かれている画像データの場合には、解像度の低下による影響が顕在化しにくい色差成分がさらに必要以上に間引かれることになり、画像劣化を引き起こす可能性が高くなる。
 本発明は、色差成分がサブサンプリングされた画像データにおいても、画像劣化のより少ない圧縮処理を行える画像圧縮装置等を提供することを目的とする。
 上記の課題を解決するために、本発明に係る画像圧縮装置の一態様は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える。
 本発明の画像圧縮装置等によれば、色差成分がサブサンプリングされた画像データにおいても、画像劣化のより少ない圧縮処理を行うことが可能になる。
図1は、本発明に係る映像表示装置の構成例を示すブロック図である。 図2は、映像表示装置のうち、画像信号処理部の構成例を示すブロック図である。 図3は、画像信号処理部を構成する画像圧縮部の構成例を示すブロック図である。 図4は、画像圧縮部を構成する符号量割当部の構成例を示すブロック図である。 図5は、画像圧縮部を構成する圧縮部の構成例を示すブロック図である。 図6は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮するための画像圧縮方法の各工程を示すフローチャートである。 図7は、輝度成分に対し4ビットの差分符号化と6ビットの画素符号化を行ったときの最大誤差を示すグラフである。 図8Aは、輝度成分に4ビットを割り当てた場合の差分絶対値と最大誤差との関係を示すグラフである。 図8Bは、色差成分に6ビットの差分絶対値と最大誤差との関係を示すグラフである。 図9Aは、輝度成分に6ビットを割り当てた場合の差分絶対値と最大誤差との関係を示すグラフである。 図9Bは、色差成分に4ビットの差分絶対値と最大誤差との関係を示すグラフである。 図10は、DTVシステムの外観を示す外観図である。 図11は、従来の画像圧縮装置の構成を示すブロック図である。
(発明の概要)
 本開示の一態様に係る画像圧縮装置は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える。
 上記構成の画像圧縮装置によれば、固定長圧縮において、輝度成分の変化が少ない場合に、他の成分(例えば、色差成分、色相成分、彩度成分)の符号量の割り当てを増やすことができる。輝度成分は、他の成分に対して劣化の影響が顕在化しやすいが、変化量が少ない場合は、符号量の割り当てを少なくしても、劣化を防止あるいは顕在化を抑えることが可能である。つまり、上記構成の画像圧縮装置では、輝度成分の変化量が少ない場合に、輝度成分の符号量の割り当てを少なくし、他の成分の符号量を増やすので、輝度成分の劣化を顕在化させることなく、他の成分の解像度の低下を押さえることが可能になる。
 特許文献1に記載の画像圧縮装置では、例えば、色差成分を間引くと、特に、色グラデーションの場合は、色変化が歪になる可能性が高くなり、色エッジの場合は、画像がぼやけたりする可能性が高くなる。これに対し、上記構成の画像圧縮装置は、特に、輝度成分の変化が比較的少ない色グラデーションや色エッジでは、色差成分の符号量を増やすことができるので、良好にノイズを抑えることができる。
 なお、上記構成の画像圧縮装置において、圧縮対象データとは、1フレーム分の画像データであってもよいし、1フレーム分の画像データを所定画素数のブロックに分割した画像ブロックであってもよい。
 また、例えば、前記符号量割当部は、前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、前記差分算出部によって算出された前記差分絶対値の最大値に応じて、割り当てる前記符号量を決定してもよい。
 また、例えば、前記符号量割当部は、さらに、前記差分算出部において算出された前記差分絶対値の最大値と、所望の閾値とを比較し、前記最大値が前記閾値以下のときは、前記輝度成分に割り当てる符号量を第1の符号量に決定し、前記閾値を上回るときは、前記輝度成分に割り当てる符号量を第2の符号量に決定する比較部を備えてもよい。
 また、例えば、前記符号量割当部は、前記輝度成分に前記第1の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量が、前記輝度成分に前記第2の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量よりも大きくなるように、割り当てる前記符号量を決定してもよい。
 また、例えば、前記符号量割当部は、前記輝度成分に加え、前記圧縮対象データの特性に応じて、割り当てる前記符号量を決定してもよい。
 また、例えば、前記符号量割当部は、前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、前記輝度成分の前記差分絶対値が小さくなるほど前記輝度成分に割り当てる符号量が小さくなるように、且つ、前記圧縮対象データの前記輝度成分以外の成分の間引き量が大きいほど前記輝度成分に割り当てる符号量が小さくなるように、割り当てる前記符号量を決定してもよい。
 また、例えば、前記圧縮部は、互いに異なる複数の符号化を実行して複数の符号化データを生成する符号化部と、前記複数の符号化データを復号して複数の復号データを生成する復号化部と、前記複数の復号データ毎に、復号データと前記圧縮対象データとの差分を求め、前記差分に基づいて、前記複数の符号化データから一つの符号化データを決定する圧縮モード判定部と、前記圧縮モード判定部によって決定された前記符号化データを選択出力する選択部とを備えてもよい。
 また、例えば、前記比較部は、前記差分絶対値の最大値と、前記複数の符号化を前記輝度成分に対して適用した場合の最大誤差により決定された前記閾値とを比較して、前記輝度成分に割り当てる符号量を決定してもよい。
 本開示の一態様に係る画像圧縮方法は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮するための画像圧縮方法であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む。
 本開示の一態様に係る集積回路は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置のための集積回路であって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える。
 本開示の一態様に係るプログラムは、輝度成分を含む複数の成分で構成される圧縮対象データに対する固定長圧縮をコンピュータに実行させるためのプログラムであって、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む。
 本開示の一態様に係る映像表示装置は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置を備える映像表示装置であって、前記圧縮対象データを前記画像圧縮装置により固定長圧縮した後の圧縮データを格納するメモリと、前記圧縮データを復号した復号データを用いて所望の画像処理を行い、画像処理後のデータを所定の表示パネルに対して出力する画像信号処理部とを備え、前記画像圧縮装置は、前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記画像信号処理部から出力された前記圧縮対象データの前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮し、前記メモリに出力する圧縮部とを有する。
 以下、本発明の実施の形態を、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の望ましい一具体例を示すものである。以下の実施の形態で示される構成要素、構成要素の配置位置および接続形態、処理、処理の順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より望ましい形態を構成する任意の構成要素として説明される。
 (実施の形態)
 本開示に係る画像圧縮装置の実施形態について、図1~図5を基に説明する。なお、本実施形態では、画像圧縮装置がDTVシステム(映像表示装置の一例)に搭載されている場合を例に説明する。
 [DTVシステムの構成]
 まず、図1のDTVシステム1の構成について説明する。図1は、本実施形態に係る画像圧縮装置を採用したDTVシステム1の構成例を示すブロック図である。
 DTVシステム1は、図1に示すように、画像処理装置10、フロントエンド20、外部メモリ30、ディスプレイ40を備えている。
 フロントエンド20は、チューナまたは通信モジュールなどの映像入力デバイスで構成され、伝送されてくるデジタル放送波から所望のトランスポートストリーム、例えば、選局された放送局のトランスポートストリームを選択し、画像処理装置10のストリームコントローラ12に出力する。
 外部メモリ30は、RAMやFIFOで構成され、画像処理装置10のメモリ制御部15からの要求に基づいてデータの書き込みおよび読み出しを行う。
 ディスプレイ40は、DTVシステムの表示パネルであり、本実施形態では、DTVシステム1から表示データを受け付けて表示する。
 画像処理装置10は、フロントエンド20から出力されたストリームデータを受け付けて表示データを生成するための装置であり、図1に示すように、ストリームコントローラ12、CPU13、デコーダ14、メモリ制御部15、および、画像信号処理部16を備えている。なお、ストリームコントローラ12、CPU13、デコーダ14、メモリ制御部15、画像信号処理部16は、バス11を介して接続されている。
 ストリームコントローラ12は、デスクランブラやトランスポートデコーダを主体として構成される。フロントエンド20から出力されたトランスポートストリームは、ストリーム暗号で暗号化されているため、ストリームコントローラ12は、トランスポートストリームの著作権情報を基にストリーム暗号を解除する。ストリームコントローラ12は、ストリーム暗号を解除したトランスポートストリームから所望の映像のパケット、音声のパケット、及び、番組情報等の付加情報のパケットを抽出する。
 CPU13は、一般的に、ハードウェアであるプロセッサにより実現され、画像信号処理部16を含むシステム全体の制御を行う。
 デコーダ14は、映像のパケット及び音声のパケットをデコードし、映像信号及び音声信号を得て、画像信号処理部16へ出力する。
 メモリ制御部15は、バス11を介さずに外部メモリ30と直接接続され、ストリームコントローラ12、CPU13、デコーダ14、画像信号処理部16が要求するメモリアクセスを処理する。
 画像信号処理部16は、デコーダ14からの映像信号及び音声信号を受け付けて、映像信号が示す画像に対し画像処理および合成処理を実行する処理部であり、図2に示すように、画像処理・合成処理部161と、画像圧縮伸張部162とを有している。図2は、画像信号処理部16の構成例を示すブロック図である。
 画像処理・合成処理部161は、デコーダ14からバス11を介して入力された映像信号が示す画像に対して、リサイズ処理や高画質化処理等の画像処理、および、OSDや複数動画等の合成処理を行い、ディスプレイ40に画像処理および合成処理後の映像信号を出力する。
 画像圧縮伸張部162は、図2に示すように、画像処理・合成処理部161から出力された入力データに対し固定長圧縮処理を行う画像圧縮部200と、固定長圧縮処理された圧縮データを伸張処理する画像伸張部300とを有している。画像圧縮伸張部162は、図2に示すように、画像信号処理部16のバス11とのインタフェース部分に設けられている。本実施形態では、後述するように画像圧縮伸張部162において外部メモリ30に格納される画像データを圧縮および伸張することで、バス11上に流れるデータ量を少なくし、外部メモリ30の帯域および容量を削減することが可能になる。
 画像圧縮部200は、輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する処理部であり、入力データを、ブロック単位で固定長圧縮する。ブロック単位で圧縮処理を行うことにより、ハードウェア実装するにあたっての演算量の低減が図れる。また、ブロック単位で固定長圧縮にすることで、画像全体での最悪圧縮率も保証できる。
 図3は、画像圧縮部200の構成例を示すブロック図である。より具体的には、画像圧縮部200は、図3に示すように、入力データを所定画素数の複数の圧縮対象ブロック(圧縮対象データに相当)に分割するブロッキング部210と、圧縮対象ブロックを構成する複数の画素の輝度成分に基づいて、ブロック単位で成分別に符号量の割り当てを行う符号量割当部220と、割り当てられた符号量で成分のそれぞれを圧縮する圧縮部230とを有している。
 符号量割当部220は、複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、輝度成分に応じて、複数の成分のそれぞれに割り当てる符号量を決定する処理部である。
 図4は、符号量割当部220の構成例を示すブロック図である。符号量割当部220は、図4に示すように、ブロックを構成する画素の輝度値と当該画素に隣接する隣接画素の輝度値との差分絶対値を求める差分算出部221と、ブロックを構成する複数の画素の差分絶対値のうちの最大値をブロックの差分絶対値とし、ブロックの差分絶対値と所望の閾値とを比較して符号量の割当を決める比較部222とを有している。
 圧縮部230は、画素データの成分単位で固定長圧縮処理を行うように構成されている。
 図5は、圧縮部230の構成例を示すブロック図である。具体的には、圧縮部230は、図5に示すように、画素符号化部231と、差分符号化部232と、画素復号化部233と、差分復号化部234と、圧縮モード判定部235と、選択部236とを備える。
 画素符号化部231は、ブロックを構成する複数の画素の画素値に対して固定長符号化処理を行う。差分符号化部232は、ブロックを構成する複数の画素の隣接画素との差分絶対値に対して固定長符号化処理を行う。画素復号化部233は、画素符号化部231で固定長圧縮処理された圧縮データに対し復号処理を行い、復号データを生成する。差分復号化部234は、差分符号化部232で固定長圧縮処理された圧縮データに対し復号処理を行い、復号データを生成する。圧縮モード判定部235は、画素復号化部233で復号された復号データと圧縮対象ブロックの対応する画素データ(入力画素データ)との誤差と、差分符号化部232で復号された復号データと入力画素データとの誤差とを比較し、画素符号化部231および差分符号化部232のうち、誤差が少ない復号データに対応する圧縮データを出力した符号化部を判定する。選択部236は、圧縮モード判定部235により誤差が少ないと判定された符号化部から出力された圧縮データを選択し、選択された圧縮データに対応する符号化部を示す符号化情報を付加した圧縮データをメモリ制御部15に出力する。
 画像伸張部300は、外部メモリ30から読み出された圧縮データを、符号化情報が示す符号化方法に対応する復号方法で復号し、画像処理・合成処理部161に出力する。
 なお、本実施形態では、画像圧縮伸張部162を画像信号処理部16のインタフェース部分に設ける構成としたが、これに限るものではない。画像圧縮伸張部162は、例えば、メモリ制御部15のバス11とのインタフェース部分など、画像処理・合成処理部161から出力された入力データに対し、外部メモリ30に格納される前に、固定長圧縮処理を行うことができるように設けられていればよい。画像圧縮伸張部162により、外部メモリ30に格納される前に固定長圧縮処理を行い、外部メモリ30から読み出した固定長圧縮処理された圧縮データに対し、画像処理を行う前に伸張処理を行うことで、外部メモリ30に記憶されるデータの容量を削減し、メモリ帯域を削減することができる。
 [画像圧縮部200の処理動作]
 次に、画像圧縮部200の処理動作について、図6を基に、詳細な数値を用いて具体的に説明する。図6は、画像圧縮部200の処理動作を示すフローチャートである。
 なお、本実施形態においては、前提条件として、圧縮対象ブロックを構成する画素の画素データが、色空間の各成分を10ビット精度で持つ場合を例に説明する。色空間は、本実施形態では、YCbCr色空間であり、画素データは、輝度成分(Y)と色差成分(CbおよびCr)の2つの成分を持つ。各成分のデータ量が10ビットであることから、1つの画素データのデータ量は20ビットとなる。なお、本実施形態の画素データは、当該色空間における輝度成分(Y)と色差成分(CbおよびCr)のサンプル比(Y:Cb:Cr)が4:2:2のフォーマットで表される。
 また、本実施形態では、目標圧縮率を50%に設定している。すなわち、1つの画素データを、20ビットから10ビットに圧縮する。従って、本実施形態では、画像信号処理部16の符号量割当部220は、輝度成分および色差成分に、全体で10ビットとなるように符号量を割り当てる。本実施形態では、輝度成分と色差成分の符号量の割り当てを(4ビット:6ビット)、(6ビット:4ビット)とする場合について説明する。
 さらに、本実施形態では、画像信号処理部16の画像圧縮伸張部162は、ディスプレイ40にTV放送を表示するのに用いられるデータそのものではなく、表示データに対して画像処理を行う際に参照される処理用データを、圧縮対象データとしている。より具体的には、処理用データは、例えば、DTVシステム1の内部でのみ使用されるデータであり、イントラ予測における予測対象ブロックの周囲の隣接画素の画素データなどがあげられる。なお、圧縮対象データは、ディスプレイ40に直接表示される画像データではないことから、ある程度画質が低下しても、ディスプレイ40上に表示される画像への影響は少ない。このため、当該圧縮対象データをさらに固定長圧縮処理(固定長符号化)しても、ディスプレイ40上に表示される画像への影響は少ないと考えられる。画像信号処理部16は、このような処理用データに対し、固定長圧縮処理および伸張処理を行うことで、ディスプレイ40上に表示される画像の画質低下を招くことなく、外部メモリ30に格納されるデータの容量を削減できる。また、固定長圧縮処理を行うことから、圧縮方法が簡素であり、少ない処理量で圧縮処理を実行できる。
 画像圧縮部200は、圧縮対象データが入力されると、ブロッキング部210が、入力された圧縮対象データを、既定サイズの画素からなる複数の圧縮対象ブロックに分割し、符号量割当部220および圧縮部230に出力する(ステップS11)。本実施形態では、圧縮対象ブロックは、水平4画素(4x1画素単位)のブロックである場合を例に説明する。なお、圧縮対象ブロックは、水平4画素に限られるものではなく、水平8画素や水平16画素、2×2の矩形など、任意の大きさであってよい。
 符号量割当部220は、入力された圧縮対象ブロック単位で符号量の割り当てを行う(ステップS12)。
 符号量割当部220の差分算出部221は、入力された圧縮対象ブロックを構成する画素のそれぞれについて、隣接画素との差分絶対値を計算し、比較部222に出力する。
 符号量割当部220の比較部222は、差分算出部221から出力された差分絶対値の中で最大値であるものを抽出し、抽出した差分絶対値と閾値とを比較することにより、輝度成分および色差成分に割り当てる符号量を決定する。
 本実施形態では、閾値が16に設定されている場合を例に説明する。また、本実施形態の比較部222は、差分絶対値の最大値が16以下の場合は、輝度成分に割り当てる符号量を4ビット(第1の符号量に相当)、色差成分に割り当てる符号量を6ビットに設定し、差分絶対値の最大値が16より大きいの場合は、輝度成分に割り当てる符号量を6ビット(第2の符号量に相当)、色差成分に割り当てる符号量を4ビットに設定し、設定した符号量を割り当て情報として圧縮部230に出力する。なお、割り当て情報は、圧縮部230の処理が固定長圧縮処理であることから、輝度成分の割り当て量のみであってもよいし、色差成分の割り当て量のみであってもよいし、両方の成分の割り当て量であってもよい。成分が3種類以上ある場合は、少なくとも2種類の成分の割り当て量の情報を含んでいればよい。
 圧縮部230において、画素符号化部231は、符号量割当部220から出力された割り当て情報の符号量に従って、入力された圧縮対象ブロックを構成する画素の輝度成分および色差成分に対して量子化処理を実行し、輝度成分の符号化データと色差成分の符号化データとを含む画素符号化データを出力する(ステップS13の一部)。量子化処理としては、例えば、10ビットの成分を4ビットにする場合、上位5ビット目に1を足してから上位4ビットのデータのみを抽出し、下位6ビットを削除する方法などがある。
 差分符号化部232は、隣接画素同士の成分の差分値を算出し、符号量割当部220から出力された割り当て情報の符号量に従って、当該差分値を符号化する(ステップS13の一部)。なお、圧縮対象ブロックの1画素目については、現在の圧縮対象ブロックの直前に入力された圧縮対象ブロックの4画素目のデータを用いる。つまり、差分符号化部232は、圧縮対象ブロックを構成する複数の画素の複数の成分のデータに加え、差分復号化部234または画素復号化部233から圧縮モード判定部235を介して出力された、直前の圧縮対象ブロックの4画素目の符号化データ(圧縮データ)を復号した復号データを用いて、符号化データを生成する。
 符号化方法としては、圧縮対象ブロックの1画素目は、先ず、直前のブロックで復号化した4画素目の画素データとの差分を計算して、差分値を算出する。その後、符号量割当部220によって決められた符号量に従ってクリップ処理を実施し、1画素目の符号化データを出力する。クリップ処理は、例えば、10ビットの差分値を4ビットにする場合、-8以下の差分値は-8(1111)に、7以上の差分値は15(0111)にクリッピングして行う。
 圧縮対象ブロックのn(n=2、3、4)画素目は、圧縮対象ブロックの(n-1)画素目の符号化データを復号した復号データとの差分を計算して、差分値を算出する。その後、1画素目と同様に、クリップ処理を実施し、n画素目の符号化データを出力する。
 画素復号化部233は、画素符号化データに対して逆量子化処理を実施し、画素データに復号して復号データを生成し、圧縮モード判定部235に出力する。逆量子化処理は、例えば、4ビットの符号化データから10ビットの画素データに復号する場合、画素データの上位4ビットを符号化データで埋め、下位6ビットを0や1で埋める方法や、下位ビットに対して符号化データを埋める方法がある。
 差分復号化部234は、直前に復号した画素データを保持しており、直前の画素データに、差分符号化データを復号したデータを加算して復号データを生成し、圧縮モード判定部235に出力する。
 圧縮モード判定部235は、画素復号化部233から復号データが出力されると、圧縮部230に入力された圧縮対象ブロックの対応する画素の画素データ(入力画素データ)と画素復号化部233から出力された復号データとの第1の差分を算出する。同様に、圧縮モード判定部235は、差分復号化部234から復号データが出力されると、対応する入力画素データと差分復号化部234から出力された復号データとの第2の差分を算出する。圧縮モード判定部235は、第1の差分と第2の差分とを比較し、画素符号化部231および差分符号化部232のうち、値が小さい方の差分に対応する符号化部を決定する(ステップS14)。また、決定した符号化部に対応する方の復号データを、次の画素データに対する符号化で使用するため、差分符号化部232に出力する。
 なお、本実施形態の圧縮モード判定部235は、画素単位で、画素復号化部233から出力された復号データと入力画素データとの誤差(第1の差分)、および、差分復号化部234から出力された復号データと入力画素データとの誤差(第2の差分)を求め、誤差が少ない方の符号化部を判定するように構成したが、これに限るものではない。判定方法としては、例えば、圧縮対象ブロック単位で行ってもよい。この場合は、例えば、圧縮対象ブロックを構成する全ての画素について第1の差分および第2の差分を算出し、最大誤差が小さい符号化部を選択する方法や、差分値(誤差)の平均値が小さい符号化部を選択する方法などがある。
 選択部236は、圧縮モード判定部235によって選択された符号化部から出力される符号化データを、バス11を介してメモリ制御部15に選択出力する。
 [画像圧縮部200における閾値の決定方法]
 以下、画像圧縮部200の符号量割当部220における閾値の決定方法について、図7を用いて説明する。なお、本実施形態では、閾値は、画像処理装置10の製造時に、画像処理装置10に固定的に設定される場合を例に説明するが、製造後に外部から任意に設定可能に構成してもよい。
 本実施形態では、閾値は、複数の符号化方法、本実施形態では、差分符号化と画素符号化で、入力される圧縮対象ブロックを構成する画素データの輝度値と圧縮後の輝度値との最大誤差が最小になるように決定する。
 より詳細には、図7に示すように、差分符号化の場合、直前の画素(隣接画素)との輝度成分の差分絶対値が、圧縮後の符号量で表すことができる最大値以下に収まる場合は、圧縮前の差分絶対値と圧縮後の差分絶対値との最大誤差は0となる(図7の差分絶対値が8以下の実線部分)。また、隣接画素との輝度成分の差分絶対値が、圧縮後の最大値以下に収まらない場合は、圧縮後の差分絶対値が圧縮後の最大値にクリップされるため、最大誤差は画素同士の輝度値が離れるほど大きくなる(図7の差分絶対値が8~16の実線部分と差分絶対値が16以上の破線部分)。例えば、差分符号化において、圧縮後の符号量の割り当てが4ビットの場合、圧縮後の符号量で表すことができる最大値は-8~7となる。従って、差分符号化における最大誤差の推移は、図7の「4bitクリップ」のグラフ(図7の差分絶対値が16以下の実線部分と差分絶対値が16以上の破線部分)で示すように、差分絶対値が8ビット以下の領域では0になり、8ビット以上の領域では、差分絶対値に比例して大きくなる。
 これに対し、画素符号化の場合、最大誤差は差分絶対値によらず一定になる。例えば、画像符号化において、圧縮後の符号量の割り当てが6ビットの場合、6ビット量子化では下位4ビットを丸めるため、最大誤差は8になる。つまり、画素符号化における最大誤差の推移は、図7の「6bit量子化」で示すグラフ(図7の差分絶対値が16以下の破線部分と差分絶対値が16以上の実線部分)になる。
 すなわち、差分絶対値の最大値が閾値以下の場合(本実施形態では、符号量の割当量が4ビット)は、差分符号化で最大誤差が小さくなる傾向にあり、差分絶対値の最大値が閾値より大きい場合(本実施形態では、符号量の割当量が6ビット)は、画素符号化で最大誤差が小さくなる傾向にあると考えられる。従って、図7より、4ビットの符号量で差分符号化を実行したときの最大誤差を示す「4bitクリップ」グラフと、6ビットの符号量で画素符号化を実行したときの最大誤差を示す「6bit量子化」グラフの交点である16を閾値に設定する。これにより、差分絶対値が16より小さい場合は、4ビットの符号量の割り当てで差分符号化を行うことで、最大誤差を8に抑えることができ、16以上の場合は、6ビットの符号量の割り当てで画素符号化を行うことで、最大誤差を8に抑えることができる。
 [最大誤差と差分絶対値との関係]
 次に、輝度成分と色差成分の符号量の割り当てを(4ビット:6ビット)、(6ビット:4ビット)とした場合の最大誤差と差分絶対値との関係について、図8A、図8B、図9Aおよび図9Bを用いて説明する。
 先ず、輝度成分の差分絶対値が16以下の場合、すなわち、輝度成分と色差成分に(4ビット:6ビット)で符号量を割り当てる場合について説明する。図8Aは、輝度成分と色差成分に(4ビット:6ビット)で符号量を割り当てた場合の輝度成分の最大誤差と差分絶対値との関係を示すグラフ(実線部分)である。なお、図8Aにおいて、最大誤差8の横一直線の破線は、6ビットの画素符号化を行った場合の最大誤差を示すグラフである。また、差分絶対値が16以下の領域の実線および差分絶対値が16以上の領域の斜めの破線が、4ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。図8Bは、輝度成分と色差成分に(4ビット:6ビット)で符号量を割り当てた場合の色差成分の最大誤差と差分絶対値との関係を示すグラフ(実線部分)である。なお、図8Bにおいて、最大誤差8の横一直線の破線および実線が、6ビットの画素符号化を行った場合の最大誤差を示すグラフとなっている。また、差分絶対値が40以下の領域の実線および差分絶対値が40以上の領域の破線が、4ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。
 図8Aに示すように、輝度成分の最大誤差は、差分絶対値が0~8のときは0、差分絶対値が8~16のときは差分絶対値に応じて大きくなる。
 また、図8Bに示すように、色差成分の最大誤差は、6ビットの符号量で差分符号化を行った場合の「6bitクリップ」のグラフと、6ビットの符号量で画素符号化を行った場合の「6bit量子化」のグラフのうち、値の小さい方になる。つまり、色差信号の差分絶対値が40よりも小さい場合は、6ビットの差分符号化を行い、40以上の場合は、6ビットの画素符号化を行うことで、最大誤差を8に抑えることができる。
 引き続き、輝度成分の差分絶対値が16より大きい場合、すなわち、輝度成分と色差成分に(6ビット:4ビット)で符号量を割り当てる場合について説明する。図9Aは、輝度成分と色差成分に(6ビット:4ビット)で符号量を割り当てた場合の輝度成分の最大誤差と差分絶対値との関係を示すグラフ(実線部分)である。なお、図9Aにおいて、最大誤差8の横一直線の破線および実線が、6ビットの画素符号化を行った場合の最大誤差を示すグラフとなっている。また、斜めの破線は、4ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。図9Bは、輝度成分と色差成分に(6ビット:4ビット)で符号量を割り当てた場合の色差成分の最大誤差と差分絶対値との関係を示すグラフ(実線部分)である。なお、図9Bにおいて、差分絶対値が32以下の領域の実線と32以上の領域の破線が、4ビットの差分符号化を行った場合の最大誤差を示すグラフとなっている。また、差分絶対値が32以下の領域の破線と32以上の領域の実線が、4ビットの画素符号化を行った場合の最大誤差を示すグラフとなっている。
 図9Aに示すように、輝度成分の最大誤差は、8となっている。
 また、図9Bに示すように、色差成分の最大誤差は、4ビットの符号量で差分符号化を行った場合の「4bitクリップ」のグラフと、4ビットの符号量で画素符号化を行った場合の「4bit量子化」のグラフのうち、値の小さい方になる。つまり、色差信号の差分絶対値が32よりも小さい場合は、4ビットの差分符号化を行い、32以上の場合は、4ビットの画素符号化を行うことで、最大誤差を32に抑えることができる。
 以上より、本実施形態では、輝度成分の変化が少ない場合、色差成分の符号量を増やすことで、色差成分の精度を向上させることができる。より詳細には、従来は、輝度成分に応じて符号量を割り当てず、例えば、輝度成分と色差成分の割当量は(6ビット:4ビット)に固定されていたため、色差成分の最大誤差は、輝度成分の変化量が16以下であっても32となっていた。これに対し、本実施形態では、上述したように、輝度成分の変化量が16以下の場合には、色差成分の最大誤差は、8に抑えることができる。
 かかる構成によれば、本実施形態の画像圧縮装置は、輝度成分の隣接画素との差分に応じて輝度成分の符号量と色差成分の符号量を適宜変更し、入力画素データを圧縮するので、動画のような色差成分がサンプリングされたデータであっても、輝度成分の差分が小さい場合には、さらなる色差成分の劣化を防ぐことができる。輝度成分の変化が少ない場合に、色差成分の符号量を増やすことで、色グラデーションや色エッジを防ぐことができる。
 (別実施形態)
 (1)上記実施形態では、符号量割当部220は、符号量の割り当てを決定する際に、輝度成分の差分絶対値の最大値と閾値とを比較していたが、これに限定されるものではなく、例えば、差分絶対値の平均値と閾値とを比較してもよい。
 また、輝度成分の差分値ではなく、画素値の最大値等と閾値とを比較するように構成してもよい。
 なお、輝度成分の絶対差分値の最大値等と閾値とを比較する場合、圧縮部230は、差分符号化部232を備えることが望ましい。同様に、画素値の最大値等と閾値とを比較する場合、圧縮部230は、画素符号化部231を備えることが望ましい。
 (2)上記実施形態では、符号量割当部220は、輝度成分と色差成分の符号量の割り当てを(4ビット:6ビット)、(6ビット:4ビット)とした場合について説明したが、これに限るものではない。符号量の割り当ては、(7ビット:3ビット)など、他の種類であってもよいし、2種類ではなく、3種類以上であってもよい。
 (3)上記実施形態において、符号量割当部220は、さらに、扱う画像の特性(種類)に応じて、割り当てモードを切り替えるように構成してもよい。
 具体的には、例えば、輝度成分と色差成分の符号量の割り当てを(4ビット:6ビット)、(6ビット:4ビット)とする第1のモードと、輝度成分と色差成分の符号量の割り当てを(7ビット:3ビット)、(6ビット:4ビット)とする第2のモードとを設定し、入力データ(圧縮対象ブロック)の色差成分の間引き量が多い場合には、第1のモードを、色差成分の間引き量が少ない場合には、第2のモードを選択するように構成してもよい。
 (4)また、上記実施形態では、圧縮部230は、2つの符号化方法、すなわち、画素符号化部231により量子化を用いた画素符号化方法と、差分符号化部232により差分値を符号化する差分符号化方法により、符号化データを作成する場合を例に説明したが、これに限定されるものではない。量子化を含む複数の画素符号化と差分符号化を組み合わせて符号化データを作成してもよいし、別の符号化方式を用いて符号化データを作成してもよい。
 また、圧縮部230は、1つの符号化方法で符号化データを作成するように構成してもよい。
 (5)上記実施形態では、色空間を構成する成分として、輝度成分と色差成分を例に説明したが、輝度成分を含む他の組み合わせであってもよい。輝度成分以外の他の成分としては、色差成分の他、例えば、色相成分や彩度成分などがある。
 (6)上記実施形態では、符号量割当部220は、ブロッキング部210を備える構成としたが、ブロッキング部210を備えない構成としてもよい。この場合は、画像圧縮部200に入力されたデータを圧縮対象データとする。
 (7)なお、上記実施形態において、画像信号処理部16、デコーダ14、メモリ制御部15等、図1に示す各機能ブロックは、典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは個別に1チップ化されても良いし、一部または全てを含むように1チップ化されても良い。ここでは、LSIとしたが、集積度の違いにより、IC(Integrated Circuit)、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
 (8)また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
 (9)さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
 (10)また、上記実施形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。
 以上、図面を参照して本発明の実施の形態を説明したが、この発明は、上述した実施の形態に限定されない。上述した実施の形態に対して、この発明と同一の範囲において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
 本発明は、輝度成分を含む複数の成分で構成される画素データを有する圧縮対象データについて、輝度成分の変化が少ない場合に、他の成分の符号量の割り当てを増やして、色グラデーションや色エッジを防ぎつつ、固定長圧縮することができる。これにより、本発明は、データをメモリに格納する際のデータ量の削減が可能になり、高解像度の画像データを扱う画像処理装置に有用である。
1  DTVシステム
10 画像処理装置
12 ストリームコントローラ
13 CPU
14 デコーダ
15 メモリ制御部
16 画像信号処理部
20 フロントエンド
30 外部メモリ
40 ディスプレイ
161 画像処理・合成処理部
162 画像圧縮伸張部
200 画像圧縮部
210 ブロッキング部
220 符号量割当部
221 差分算出部
222 比較部
230 圧縮部
231 画素符号化部
232 差分符号化部
233 画素復号化部
234 差分復号化部
235 圧縮モード判定部
236 選択部
300 画像伸張部

Claims (12)

  1.  輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置であって、
     前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、
     前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える
     画像圧縮装置。
  2.  前記符号量割当部は、前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、前記差分算出部によって算出された前記差分絶対値の最大値に応じて、割り当てる前記符号量を決定する
     請求項1に記載の画像圧縮装置。
  3.  前記符号量割当部は、さらに、前記差分算出部において算出された前記差分絶対値の最大値と、所望の閾値とを比較し、前記最大値が前記閾値以下のときは、前記輝度成分に割り当てる符号量を第1の符号量に決定し、前記閾値を上回るときは、前記輝度成分に割り当てる符号量を第2の符号量に決定する比較部を備える
     請求項2に記載の画像圧縮装置。
  4.  前記符号量割当部は、前記輝度成分に前記第1の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量が、前記輝度成分に前記第2の符号量を割り当てる場合における前記複数の成分のうちの前記輝度成分以外の成分の符号量よりも大きくなるように、割り当てる前記符号量を決定する
     請求項3に記載の画像圧縮装置。
  5.  前記符号量割当部は、前記輝度成分に加え、前記圧縮対象データの特性に応じて、割り当てる前記符号量を決定する
     請求項1に記載の画像圧縮装置。
  6.  前記符号量割当部は、
      前記圧縮対象データを構成する画素のそれぞれについて、前記画素の前記輝度成分と前記画素に隣接する隣接画素の輝度成分との差分絶対値を求める差分算出部を備え、
      前記輝度成分の前記差分絶対値が小さくなるほど前記輝度成分に割り当てる符号量が小さくなるように、且つ、前記圧縮対象データの前記輝度成分以外の成分の間引き量が大きいほど前記輝度成分に割り当てる符号量が小さくなるように、割り当てる前記符号量を決定する
     請求項5に記載の画像圧縮装置。
  7.  前記圧縮部は、
     互いに異なる複数の符号化を実行して複数の符号化データを生成する符号化部と、
     前記複数の符号化データを復号して複数の復号データを生成する復号化部と、
     前記複数の復号データ毎に、復号データと前記圧縮対象データとの差分を求め、前記差分に基づいて、前記複数の符号化データから一つの符号化データを決定する圧縮モード判定部と、
     前記圧縮モード判定部によって決定された前記符号化データを選択出力する選択部とを備える
     請求項3に記載の画像圧縮装置。
  8.  前記比較部は、前記差分絶対値の最大値と、前記複数の符号化を前記輝度成分に対して適用した場合の最大誤差により決定された前記閾値とを比較して、前記輝度成分に割り当てる符号量を決定する
     請求項7に記載の画像圧縮装置。
  9.  輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮するための画像圧縮方法であって、
     前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、
     前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む
     画像圧縮方法。
  10.  輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置のための集積回路であって、
     前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、
     前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮する圧縮部とを備える
     集積回路。
  11.  輝度成分を含む複数の成分で構成される圧縮対象データに対する固定長圧縮をコンピュータに実行させるためのプログラムであって、
     前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する工程と、
     前記符号量を決定する工程において決定された符号量により、前記複数の成分のそれぞれを圧縮する工程とを含む
     プログラム。
  12.  輝度成分を含む複数の成分で構成される圧縮対象データを固定長圧縮する画像圧縮装置を備える映像表示装置であって、
     前記圧縮対象データを前記画像圧縮装置により固定長圧縮した後の圧縮データを格納するメモリと、
     前記圧縮データを復号した復号データを用いて所望の画像処理を行い、画像処理後のデータを所定の表示パネルに対して出力する画像信号処理部とを備え、
     前記画像圧縮装置は、
      前記複数の成分に割り当てられる符号量の合計が一定になるようにし、且つ、前記画像信号処理部から出力された前記圧縮対象データの前記輝度成分に応じて、前記複数の成分のそれぞれに割り当てる符号量を決定する符号量割当部と、
      前記符号量割当部によって決定された符号量により、前記複数の成分のそれぞれを圧縮し、前記メモリに出力する圧縮部とを有する
     映像表示装置。
PCT/JP2012/002570 2011-04-15 2012-04-13 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置 WO2012140904A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/805,543 US8923613B2 (en) 2011-04-15 2012-04-13 Image compression device, image compression method, integrated circuit, program, and picture display apparatus
JP2012538111A JPWO2012140904A1 (ja) 2011-04-15 2012-04-13 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置
CN201280001707.3A CN102959962B (zh) 2011-04-15 2012-04-13 图像压缩装置、图像压缩方法、集成电路以及影像显示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011090771 2011-04-15
JP2011-090771 2011-04-15

Publications (1)

Publication Number Publication Date
WO2012140904A1 true WO2012140904A1 (ja) 2012-10-18

Family

ID=47009093

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002570 WO2012140904A1 (ja) 2011-04-15 2012-04-13 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置

Country Status (4)

Country Link
US (1) US8923613B2 (ja)
JP (1) JPWO2012140904A1 (ja)
CN (1) CN102959962B (ja)
WO (1) WO2012140904A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015104084A (ja) * 2013-11-27 2015-06-04 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 圧縮装置、および圧縮方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6079549B2 (ja) * 2013-10-15 2017-02-15 ソニー株式会社 画像処理装置、画像処理方法
JP2015139201A (ja) * 2014-01-24 2015-07-30 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 圧縮装置、および伸長装置
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN107820097A (zh) * 2017-10-11 2018-03-20 惠科股份有限公司 一种画面存储方法和显示面板
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11044478B2 (en) * 2018-07-02 2021-06-22 Apple Inc. Compression with multi-level encoding
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63269684A (ja) * 1987-04-28 1988-11-07 Canon Inc 画像処理装置
JPH02105790A (ja) * 1988-10-14 1990-04-18 Sony Corp 画像信号の高能率符号化装置
JPH0662431A (ja) * 1992-08-14 1994-03-04 Oki Electric Ind Co Ltd カラ−画素デ−タの量子化/逆量子化方法
JP2001506094A (ja) * 1996-12-12 2001-05-08 トムソン コンシューマ エレクトロニクス インコーポレイテッド メモリ管理システムのためのイメージ要素プロセッサ
JP2003047024A (ja) * 2001-05-14 2003-02-14 Nikon Corp 画像圧縮装置および画像圧縮プログラム
JP2004096705A (ja) * 2002-01-09 2004-03-25 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および動きベクトル復号化方法
WO2009110559A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化/復号装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974071A (en) 1987-04-28 1990-11-27 Canon Kabushiki Kaisha Color image data encoding apparatus having improved resolution/efficiency characteristics
US4947249A (en) 1988-10-14 1990-08-07 Sony Corporation Apparatus in which subsampling and block coding are both employed for coding digital video data
US5748245A (en) * 1993-03-29 1998-05-05 Canon Kabushiki Kaisha Encoding apparatus for encoding input information data while controlling a code quantity of encoded information data
JP4350809B2 (ja) * 1997-03-24 2009-10-21 富士フイルム株式会社 ディジタルカメラ
US7035459B2 (en) 2001-05-14 2006-04-25 Nikon Corporation Image compression apparatus and image compression program
WO2003016366A1 (fr) 2001-08-17 2003-02-27 Idemitsu Petrochemical Co., Ltd. Copolymere ethylenique et film comprenant ledit copolymere
JP2004328406A (ja) * 2003-04-24 2004-11-18 Matsushita Electric Ind Co Ltd 符号量制御方法及び符号化装置
JP2007019878A (ja) * 2005-07-07 2007-01-25 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像符号化方法
JP4789060B2 (ja) 2005-07-20 2011-10-05 富士ゼロックス株式会社 画像圧縮装置、画像伸長装置、画像処理方法及びプログラム
CN101047857B (zh) * 2006-03-27 2010-04-07 华为技术有限公司 实现分层变长编解码的方法
CN100596200C (zh) * 2007-04-27 2010-03-24 华为技术有限公司 图像压缩方法及图像编码器
US8340445B2 (en) 2007-10-01 2012-12-25 Sharp Kabushiki Kaisha Image encoding device, image encoding method, image encoding/decoding system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63269684A (ja) * 1987-04-28 1988-11-07 Canon Inc 画像処理装置
JPH02105790A (ja) * 1988-10-14 1990-04-18 Sony Corp 画像信号の高能率符号化装置
JPH0662431A (ja) * 1992-08-14 1994-03-04 Oki Electric Ind Co Ltd カラ−画素デ−タの量子化/逆量子化方法
JP2001506094A (ja) * 1996-12-12 2001-05-08 トムソン コンシューマ エレクトロニクス インコーポレイテッド メモリ管理システムのためのイメージ要素プロセッサ
JP2003047024A (ja) * 2001-05-14 2003-02-14 Nikon Corp 画像圧縮装置および画像圧縮プログラム
JP2004096705A (ja) * 2002-01-09 2004-03-25 Matsushita Electric Ind Co Ltd 動きベクトル符号化方法および動きベクトル復号化方法
WO2009110559A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化/復号装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015104084A (ja) * 2013-11-27 2015-06-04 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 圧縮装置、および圧縮方法
US9936211B2 (en) 2013-11-27 2018-04-03 Samsung Display Co., Ltd. Compression device and compression method

Also Published As

Publication number Publication date
CN102959962A (zh) 2013-03-06
US20130094777A1 (en) 2013-04-18
US8923613B2 (en) 2014-12-30
CN102959962B (zh) 2015-11-25
JPWO2012140904A1 (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
WO2012140904A1 (ja) 画像圧縮装置、画像圧縮方法、集積回路、プログラムおよび映像表示装置
US10257483B2 (en) Color gamut mapper for dynamic range conversion and methods for use therewith
JP6205000B2 (ja) 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信
JP5358482B2 (ja) 表示駆動回路
US7570819B2 (en) Method and apparatus for displaying images with compression mechanism
US6983078B2 (en) System and method for improving image quality in processed images
US11234005B2 (en) Device and method of video decoding with first and second decoding code
US11849124B2 (en) Device and method of video encoding with first and second encoding code
US10225561B2 (en) Method and apparatus for syntax signaling in image and video compression
US11445160B2 (en) Image processing device and method for operating image processing device
US11265563B2 (en) Optimization of downsampling occurring before encoding images during compression
US7167520B2 (en) Transcoder
US8929446B1 (en) Combiner processing system and method for support layer processing in a bit-rate reduction system
US11483592B1 (en) System and method for improving and reducing visual distortion
TWI424748B (zh) 無線類比電視接收機之緩衝減量
JP2012004890A (ja) 映像信号出力装置、映像信号出力方法
JP6990172B2 (ja) Hdr符号化/復号のための色成分サンプルの共に配置される輝度サンプルの決定
KR102113759B1 (ko) 다채널 부화면 처리장치 및 처리방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001707.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2012538111

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12770775

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13805543

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12770775

Country of ref document: EP

Kind code of ref document: A1