WO2007013335A1 - デジタル信号符号化および復号化装置ならびにその方法 - Google Patents

デジタル信号符号化および復号化装置ならびにその方法 Download PDF

Info

Publication number
WO2007013335A1
WO2007013335A1 PCT/JP2006/314265 JP2006314265W WO2007013335A1 WO 2007013335 A1 WO2007013335 A1 WO 2007013335A1 JP 2006314265 W JP2006314265 W JP 2006314265W WO 2007013335 A1 WO2007013335 A1 WO 2007013335A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
data
pixel
pixel value
quantization
Prior art date
Application number
PCT/JP2006/314265
Other languages
English (en)
French (fr)
Inventor
Kazuo Okamoto
Yuji Nagaishi
Tatsuro Juri
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to CN2006800275563A priority Critical patent/CN101233765B/zh
Priority to US11/996,705 priority patent/US8275207B2/en
Priority to EP06768291A priority patent/EP1912445A4/en
Publication of WO2007013335A1 publication Critical patent/WO2007013335A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present invention relates to compression encoding and decoding of digital data. Specifically, the present invention relates to an apparatus and a method for compression encoding of a pixel signal output from an image sensor and decoding of a compression-encoded pixel signal.
  • Charge-coupled image sensors CCD image sensors
  • MOS image sensors metal oxide semiconductor image sensors
  • digital image sensors such as digital cameras and camera-equipped mobile phones.
  • the MOS type image pickup device includes a complementary metal oxide semiconductor type image pickup device (CMOS type image pickup device), an N channel type metal oxide film semiconductor type image pickup device (NMOS type image pickup device), and the like.
  • CMOS type image pickup device complementary metal oxide semiconductor type image pickup device
  • NMOS type image pickup device N channel type metal oxide film semiconductor type image pickup device
  • CCD-type image sensors are characterized by a wide dynamic range and low noise.
  • MOS-type image sensors can be used with the MOS process, so the structure is simple and the power is a single power source. It is characterized by being suitable.
  • the RAW data is subjected to signal processing operations such as zoom processing such as enlargement and reduction, and the data after the operation is temporarily stored in the SDRAM again.
  • the data is converted into data (compressed data) in a compressed data format (compressed data) suitable for recording such as JPEG, and then temporarily stored in the SDRAM again.
  • SDRAM data is read at high speed by direct 'memory' access (DMA) control, and the data is stored in an external semi-permanent storage memory.
  • the semi-permanent storage memory is a storage medium that is generally used as an image storage medium for a digital camera, such as an SD card.
  • Continuous imaging so-called continuous shooting, is realized by continuously executing the signal processing related to single shooting.
  • the process of converting from RAW data to compressed data format data (compressed data) is time consuming compared to the process of reading out the accumulated charge of a pixel and temporarily storing it as RAW data. . Therefore, in continuous shooting, storage of RAW data in SDRAM and conversion of RAW data into compressed data are performed in parallel, and the read RAW data is as long as the SDRAM storage capacity permits. In addition, it is temporarily stored in SDRAM. Therefore, to increase the number of frames that can be shot continuously, it is necessary to increase the storage capacity of the SDRAM.
  • FIG. 11 is a configuration diagram illustrating a method for reducing the amount of use of the frame memory disclosed in Patent Document 1 by taking a digital still camera as an example.
  • the video camera 100 includes a video processing unit (CPU) 110, a flash memory 120, a JPEG LSI 130, a display Z captive controller 141, a buffer memory 142, a memory transfer controller 143, an address bus switching unit 144, a read data latch 145, and an output level.
  • the pre-compression data input from the video input unit 180 in FIG. 11 is sent to the subtraction Z differential compression unit 149. Therefore, subtraction and differential compression are performed. At this time, compression is performed with reference to the differential compression Z expansion conversion table 148. The resulting compressed data is temporarily stored in the frame memory 160 via the data bus. The compressed pre-decompression data in the frame memory 160 is converted into post-expansion data in the differential expansion Z addition unit 147 with reference to the differential compression Z expansion conversion table 148 and output from the video output unit 170.
  • FIGS. 12 and 13 are diagrams outlining the method of the lossy compression code for digital signals disclosed in Patent Document 2.
  • FIG. FIG. 12 is a block diagram of a single-plate CCD
  • FIG. 13 is a flowchart relating to lossy compression encoding. Referring to FIG. 12, the same color pixels f, e, and d processed before the target pixel x and the pixel X, and the different color adjacent pixels c, a, and b adjacent to the pixel x are shown.
  • This method is a method in which image data is compressed by entropy-coding the prediction error ⁇ between the prediction value y of the target pixel x and the prediction value y of the pixel of interest x in a single CCD with color filters R, G, and B arranged. And calculating a predicted value using a pixel value of a neighboring pixel and a pixel value of an adjacent pixel in which a color filter having a color component different from that of the target pixel is arranged, and a pixel value of the neighboring pixel and the target pixel A color filter with the same color component is placed.
  • the predicted value is calculated using the pixel value of the same color pixel, and it is determined which predicted value the target pixel X is similar to! /, And based on the determination result, the next target pixel is determined. It is determined whether to calculate the predicted value using the pixel value of the adjacent pixel or the same color pixel as the predicted value.
  • quantization is performed by a non-linear table, and a table value used for actual calculation is calculated by uniformly multiplying by a constant.
  • the compression rate can be changed by irreversible conversion.
  • the quantized data is further entropy encoded.
  • a memory such as a ROM is necessary in that the prediction error ⁇ calculated by the pixel value is quantized by a predetermined quantization table, and the circuit configuration becomes large. Processing burden is heavy.
  • FIG. 14 is a block diagram of an image encoding device disclosed in Patent Document 3.
  • the image encoding device receives an input pixel value having a dynamic range of d bits from the pixel value input unit 101, and the quantization unit 104 converts the input pixel value according to the code key.
  • This is an image encoding device that converts n-bit quantized values and outputs them from the output unit 105.
  • This image encoding apparatus further includes a predicted value generation means 106 for generating a predicted value for an input pixel value from pixels around the input pixel, and d — n having a quantization width of 2 in d-bit accuracy.
  • a linear quantizer that generates a linear quantizer with the number of linear quantization representative points that is obtained by subtracting the additional upper limit number that is set to the power of 2 n For method 102 and the linear quantizer, add a number of quantization representative points below the additional upper limit near the predicted value to make the quantization width near the predicted value smaller than that of the linear quantizer.
  • An image encoding device that outputs quantized values.
  • Patent Document 3 does not have a ROM table for quantization.
  • the image encoding apparatus is expected to be realized as a smaller apparatus than the apparatus according to the invention disclosed in Patent Document 1 and Patent Document 2.
  • Patent Document 1 Japanese Patent Laid-Open No. 11-341288
  • Patent Document 2 Japanese Patent Laid-Open No. 2000-244935
  • Patent Document 3 JP-A-10-056638
  • Patent Document 2 selects both the same color and different colors, and then selects the one with the smaller prediction error. For this reason, it is not possible to determine which prediction formula should be used without performing not only encoding but also decoding. For this reason, an increase in throughput cannot be avoided.
  • the apparatus for carrying out this method has a large circuit configuration and a heavy load on processing.
  • the present invention can be implemented with a small circuit configuration, and the processing for encoding is configured by a simple operation, so that a high compression rate can be achieved with a low operation processing load. It is an object of the present invention to provide a digital signal compression encoding and decoding apparatus to be realized, and a method for digital signal compression encoding and decoding.
  • At least a pixel in which a signal from a light receiving unit in which pixels sensed in the first color and pixels sensed in the second color are periodically arranged is shown in digital form.
  • a digital data encoder that receives and processes value data
  • the difference value between the second pixel value data of the two pixels is output as the first pixel difference value
  • the third pixel value data of the third pixel that senses the second color is located in the vicinity of the third pixel.
  • the maximum value is calculated as the maximum pixel value difference, and values greater than the calculated maximum pixel value difference are quantized.
  • the offset value setting unit to be set as the offset value and the difference between the second pixel value data and the first offset value are set as the first quantized processing value, and the fourth pixel value data and the second offset value are set.
  • the quantized process value setting unit for setting the difference between the first quantized process value and the first quantized process value and the second quantized process value by quantizing the first compressed code A digital data encoding device having a quantization unit for obtaining pixel value data and second compressed encoded pixel value data.
  • the first color and the second color are different.
  • an offset value zero setting unit that resets the offset value to zero when the offset value determined by the offset value setting unit is equal to or less than zero.
  • a quantization width determining unit that determines a quantization width in quantization.
  • the quantization width increases as the maximum pixel value difference increases.
  • a quantization width information data generation unit that encodes the determined quantization width into a code having an m-bit length (m is a natural number).
  • the quantization width determination unit determines any one of a plurality of predetermined quantization widths.
  • the number of the plurality of quantization widths is preferably 2 m or less.
  • m is preferably 2.
  • a compression-encoded image data generation unit is further included, and the compression-encoded image data generation unit includes at least quantization width information data, a first compression-encoded pixel value.
  • S bit length (s is a natural number) compression encoded image data including either the data or the second compression encoded pixel value data, where s is a multiple of 8. Good.
  • the compression-coded image data generation unit records the first pixel value data as it is as initial pixel value data in the compression-coded image data.
  • the quantization width determination unit obtains the maximum number of digits among the number of digits required for unsigned integer binary value representation for each of the first pixel difference value and the second pixel difference value. Therefore, it is preferable to determine one of a plurality of quantization widths.
  • an error correction unit that corrects the second pixel value data to generate error correction pixel value data, and a decoded pixel value data by decoding the compressed encoded pixel value data.
  • the offset value setting unit sets the first offset value using the decoded pixel value data instead of the first pixel value data, and sets the quantized processing value. It is preferable that the unit sets the first quantized processing value using error correction pixel value data instead of the second pixel value data.
  • the correction of the second pixel value data in the error correction unit is a correction value related to a difference between the first pixel value data and the decoded pixel value data from the second pixel value. This is preferably done by subtracting.
  • an initial pixel value data section in which the first pixel value data of the first pixel that senses the first color is recorded as it is as the first initial pixel value data;
  • a compression-encoded pixel value data section in which first compressed encoded pixel value data indicating the second pixel value data of the second pixel located in the vicinity of the first pixel and sensed in the first color is recorded;
  • the difference between the compressed encoded image data input unit for inputting compressed encoded image data of s bit length (s is a natural number) and the first initial pixel value data and the set first quantized reference value is the first.
  • the initial pixel value data portion further includes a proximity to the first pixel.
  • the third pixel value data of the third pixel that senses the second color is recorded as the second initial value pixel value data as it is, and is further positioned in the vicinity of the third pixel in the compression code pixel value data portion.
  • Second compressed encoded pixel value data indicating the fourth pixel value data of the fourth pixel sensed in two colors is recorded, and the offset value setting unit further includes the second initial value data and the first quantized reference value.
  • the inverse quantization unit further obtains the second inverse quantized pixel value data by inversely quantizing the second compressed code pixel value data using the first quantization width, and decoding It is preferable that the quantized pixel value generation unit further generates the second decoded pixel value data by obtaining a sum of the second dequantized pixel value data and the second offset value.
  • the first color and the second color are preferably different from each other.
  • the compression code key pixel value data portion is further located near the second pixel, close to the fourth pixel, and the fifth pixel of the fifth pixel that senses the first color.
  • the third compressed encoded pixel value data indicating the 5 pixel value data is recorded, and the offset value setting unit further calculates the difference between the first decoded pixel value data and the set second quantization reference value as the third offset.
  • the inverse quantization unit further obtains the third inverse quantized pixel value data by dequantizing the third compressed encoded pixel value data using the set second quantization width, and obtains the decoded pixel value. It is preferable that the generation unit further generates the third decoded pixel value data by calculating a sum of the third dequantized pixel value data and the third offset value.
  • an offset value zero setting unit that resets the offset value to zero when the offset value determined by the offset value setting unit is equal to or less than zero.
  • the compression-coded image data includes at least first quantization width information data including information related to the first quantization width and second quantization including information related to the second quantization width. It is preferable that the width information data includes a quantized width information data portion in which the deviation is recorded.
  • the method further includes a quantization width setting unit that sets a quantization width in inverse quantization to one of a plurality of predetermined quantization widths.
  • the quantization width setting unit sets the first quantization width and the second quantization width to one of a plurality of quantization widths from the first quantization width information data and the second quantization width information data. Preferred That's right.
  • a quantization reference value setting unit that sets a quantization reference value in inverse quantization to one of a plurality of predetermined quantization reference values. Then, the quantization reference value setting unit converts the first quantization reference value and the second quantization reference value from the first quantization width information data and the second quantization width information data, respectively, to a plurality of quantization reference values. It is preferable to set one of these.
  • the first quantization width information data and the second quantization width information data are data each having an m-bit length (m is a natural number).
  • the number of the plurality of quantization widths and the plurality of quantization reference values is 2 m or less.
  • m is preferably 2.
  • the present invention is an image in which a signal from a light receiving unit in which at least pixels that sense the first color and pixels that sense the second color are periodically arranged is shown in digital form.
  • the digital data encoding method that receives and processes elementary data
  • the difference value between the second pixel value data of the second pixel and the second pixel value data is output as the first pixel difference value
  • the third pixel value data of the third pixel sensed in the second color is located in the vicinity of the third pixel
  • the difference value between the fourth pixel value data of the fourth pixel sensed in the second color is output as the second pixel difference value
  • the difference generation step the absolute value of the first pixel difference value
  • the absolute value of the second pixel difference value is the maximum value of the values.
  • a quantization reference value determining step that is determined as a child reference value, a difference between the first pixel value data and the quantized reference value is set as a first offset value, and the third pixel value data and the quantized reference value are The offset value setting step for setting the difference as the second offset value, the difference between the second pixel value data and the first offset value is set as the first quantized processing value, and the fourth pixel value data and the first offset value are set.
  • Quantized processing value setting step for setting the difference from the offset value as the second quantized processing value, and the first quantized processing value and the second quantized processing value are respectively quantized to the first quantized processing value.
  • a quantization step for obtaining compression code pixel value data and second compression code pixel value data.
  • an initial pixel value data section in which the first pixel value data of the first pixel that senses the first color is recorded as it is as the first initial pixel value data;
  • a compression-encoded pixel value data section in which first compressed encoded pixel value data indicating the second pixel value data of the second pixel located in the vicinity of the first pixel and sensed in the first color is recorded;
  • the difference between the compression encoded image data input step for inputting compressed encoded image data of s bit length (s is a natural number) and the first initial pixel value data and the set first quantization reference value is the first.
  • the digital signal compression encoder / decoder device and method according to the present invention is relatively simple since it is not necessary to have a table for the encoder / decoder and has a small circuit configuration. A high data compression rate is achieved using arithmetic processing.
  • FIG. 1 is a block diagram of a digital still camera according to the present invention.
  • FIG. 2 Schematic diagram showing how the SDRAM storage area is used.
  • FIG. 3 is a schematic diagram showing an arrangement of pixels in an image sensor light receiving section.
  • FIG. 4 A block diagram of the CODEC 13 that works for the first embodiment.
  • FIG. 5A is a flowchart of an encoding process.
  • FIG. 5B is a flowchart of the encoding process.
  • FIG. 6 is a graph showing the relationship between various quantities in quantization.
  • FIG. 7 is a graph for explaining the details of the quantization processing, which represents the pixel value g2 as an example.
  • FIG. 8A is a flowchart of decryption process.
  • FIG. 8B is a flowchart of decoding processing.
  • FIG. 9 A block diagram of the CODEC 113 that works for the second embodiment.
  • FIG. 10 is a block diagram of a CODEC 213 that works in the third embodiment.
  • FIG. 11 is a block diagram showing a configuration of a digital still camera disclosed in Patent Document 1.
  • FIG. 12 Partial schematic view of a single-plate CCD.
  • FIG. 13 is a flowchart of a digital signal compression code method disclosed in Patent Document 2.
  • FIG. 14 is a block diagram of an image encoding device disclosed in Patent Document 3.
  • FIG. 1 is a block diagram of a digital still camera (DSC) 1 in which a digital signal compression encoding / decoding device (codec (C ODEC)) 13 according to this embodiment is mounted.
  • DSC digital still camera
  • codec codec
  • the image sensor 5 is a CCD type image sensor. Pixels (not shown) of the image sensor 5 accumulate electric charges according to the amount of input light. The accumulated charge is output as an analog pixel signal at a predetermined timing by the image sensor driving unit 7 and sent to the previous signal processing unit 9.
  • the pre-signal processing unit 9 performs pre-processing on the analog pixel signal and sends the analog pixel signal to the analog Z digital conversion unit 11.
  • the analog Z / digital converter (ADC) 11 converts an analog pixel signal into a digital pixel signal and outputs pixel value data in a digital format.
  • the digital pixel signal that is the digital pixel value data output from the ADC 11 is input to the digital signal compression encoding / decoding device (CODEC) 13. Is done.
  • the CODEC 13 analyzes the input digital pixel signal and sends compressed encoded pixel value data obtained by compression encoding the digital pixel signal, information related to the compression encoding, and the like to the SDRAM 15, which is a buffer memory.
  • a group of data sent to the SDRAM 15 constitutes compressed encoded image data.
  • the compression code key and decoding key in the CODEC 13 will be described in detail below.
  • the output compression encoded pixel value data and the like are stored in the SDRAM 15.
  • the compressed encoded pixel value data and the like stored in the SDRAM 15 are sent again to the CODEC 13 and decoded to generate decoded pixel value data.
  • the decoded pixel value data is sent to the YC processing unit 17, converted into luminance and chrominance data, sent to the SDRAM 15 again, and stored.
  • the luminance and color difference data stored in the SDRAM 15 is sent to the JPEG processing unit 19, subjected to JPEG compression processing, and JPEG data image data (JPEG image data) is stored in the SDRAM 15.
  • JPEG image data is sent to and stored at an SD card 25, which is an external storage medium, at high speed by DMA control or the like.
  • a CPU (not shown) included in the control unit 21 executes a program stored in a memory (not shown) included in the control unit 21 and controls the above processing.
  • the control unit 21 can also send information stored in the SD RAM 15 to the display unit 27 and the SD card 25 via the external interface 23. Also, read the information stored in the SD card 25 Is also possible.
  • the image sensor 5 may be a MOS type image sensor.
  • the image pickup device 5 is not limited to an image pickup device including a pixel that senses three colors, a pixel that senses red, a pixel that senses green, and a pixel that senses blue. It may also be an image sensor with complementary color pixels. Further, it may be an image sensor having only two types of pixels that sense two different colors. Furthermore, it may be an image sensor that includes pixels that sense only one color, or an image that includes multiple pixels with a single characteristic that senses light more widely than pixels that sense only light in a specific wavelength band. It may be an element.
  • the external storage medium is not limited to the SD card 25, and may be any medium that is generally used as an image storage medium for a digital camera.
  • FIG. 2 is a diagram schematically showing the usage status of the storage area of the SDRAM 15.
  • the SDRAM 15 stores three types of data, that is, compression-encoded image data, luminance and color difference data, and JPEG image data.
  • the storage area 15a is an area for storing compressed and encoded image data
  • the storage area 15b is an area for storing luminance and color difference data
  • the storage area is an area for storing JPEG image data. Called 15c.
  • the storage area boundaries (broken lines) shown in this figure are formal and do not represent actual usage rates.
  • a digital pixel signal (RAW data) based on a signal value output from the imaging element 5 is compression-encoded by the CODEC 13 and is compression-encoded. It is stored in the storage area 15a as value data (part of the data group constituting the compression-encoded image data).
  • value data part of the data group constituting the compression-encoded image data.
  • the YC processing unit 17 After being decoded by the CODEC 13, it is sent to the YC processing unit 17, where it is subjected to data processing and stored as luminance and color difference data in the storage area 15b.
  • the luminance and color difference data is JPEG-compressed by the JPEG processing unit 19 and stored in the storage area 15c as JPEG image data.
  • the JPEG image data is then transferred to the SD card 25.
  • the storage area 15a It is effective to reduce the amount of use.
  • the digital signal compression encoding according to the present invention has the effect of reducing the amount of use of the area 15a by compressing the digital pixel signal (RAW data) and sending it to the SDRAM 15. As a result, a large storage area can be used for the area 15b and the area 15c, and the number of continuous shots of the digital still camera 1 can be increased.
  • the processing time can be shortened and the power consumption can be reduced.
  • FIG. 3 is a diagram showing the arrangement of the pixels 29 in the light receiving section of the image sensor 5.
  • the light receiving unit is provided with a plurality of pixels 29, and each of the pixels 29 has a color filter of red (R), green (G), or blue (B).
  • the wavelength band (color in the visible light region) sensed by each pixel 29 is limited by the color filter.
  • Pixels that sense different colors (wavelength bands) are periodically arranged in the light receiving section.
  • the arrangement of the three color filters is a so-called Bayer arrangement.
  • the charges accumulated in the pixels 29 are also output in order by the image sensor driving unit 7 (see FIG. 1), in order of the left pixel force for each line. For example, first, the accumulated charges are read in the order of G1, R1, G2, R2,... Sequentially from the leftmost pixel G1 of the first line L1, and then sequentially from the leftmost pixel B1 of the second line L2. , Bl, Gl, B2, G2,.
  • the read charge is preprocessed by the presignal processing unit 9 and converted into a digital pixel signal by the ADC 11.
  • the ADC 11 converts the signal from each pixel into a 12-bit digital pixel signal.
  • a digital pixel signal (pixel value data) having a length of 12 bits is supplied in order from the leftmost pixel of the first line L1, the pixel G1, and the power digital pixel signal in order, the pixel Gl, the pixel Rl, and the pixel G2. , Pixels R2,...
  • the digital pixel signal of the pixel force included in the second line L2 is input to the CODEC 13 in the same manner.
  • FIG. 4 is a block diagram of the CODEC 13 in this embodiment.
  • the configuration of CODEC13 is outlined below along the flow of signals to be encoded and decoded. A detailed description of the operation of CODE C13 will be given later by using a digital pixel signal value, that is, a specific value for the pixel value for illustrative purposes.
  • the CODEC 13 is roughly divided into a code key unit 31 and a decoding key unit 33.
  • the encoding unit 31 constituting the digital data encoding apparatus can input the output from the ADC 11 and output data to the S DRAM 15 and the decoding unit 33.
  • the decoding unit 33 constituting the digital data decoding apparatus can input the output from the encoding unit 31 and the SDRAM 15 and output the data to the encoding unit 31 and the YC processing unit 17.
  • FIG. 5A is a flowchart of the compression code process.
  • each digital pixel signal value (pixel value data) is 12-bit digital data. That is, the input pixel value data bit length d is 12 in this embodiment.
  • the pixel value data input to the input unit 35 is processed as pixel values to be processed as an initial pixel value generation unit 45, a difference generation unit 37, a quantization processing unit 47, and a pixel value. Sent to storage unit 39.
  • the knocking unit 51 includes a compression encoded image data generation unit 51a that generates compression encoded image data, and a compression encoded image data output unit 5 lb that outputs. If the generating unit 51a of the packing unit 51 determines that the transmitted initial pixel value data needs to be recorded in the compressed encoded image data, the generating unit 51a performs processing so that the compressed encoded image data includes the initial pixel value data. When it is not necessary to record data as initial pixel value data, the transmitted initial pixel value is ignored.
  • the initial pixel value is at least within one frame of image data for each color (R, G, B) of the pixel. One is enough. In this embodiment, at least one initial pixel value data is recorded for each color pixel value for each s-bit long packing data to be described later. It is not necessary to record initial pixel value data for pixel values of colors that are not recorded at all for certain knocking data.
  • the initial pixel value generation unit 45 outputs the input data as it is without performing any special processing.
  • the initial pixel value generation unit 45 is shown for the purpose of clarifying the process of inputting the pixel value to be processed to the packing unit 51 as initial pixel value data. ( Figure 5A, steps S101 and S102).
  • the pixel value storage unit 39 temporarily stores a plurality of pixel value data, and outputs them to the difference generation unit 37 and the quantization processing unit 47 at an appropriate timing. These stored pixel values are previously processed pixel values input to the CODEC 13 as pixel value data before the current pixel value to be processed, and are previously compression-encoded and decoded by the decoding unit 33. Is a pixel value decoded by receiving a process related to decoding, that is, decoded pixel value data.
  • the storage unit 39 has the same color as the current pixel value to be processed among the plurality of stored pixel value data, and the source of the current pixel value to be processed in the light receiving unit of the image sensor. Pixel value data of pixel 29 (see Fig.
  • the value is sent to the difference generation unit 37 as a value.
  • the pixel value of the same color on the left side of the neighborhood is usually on the left side of the pixel indicated by the current pixel value to be processed in the light receiving unit. If there is no pixel of the same color on the left in the same line, use the pixel value of the same color pixel in the vicinity in the upper line as the pixel value of the same color on the left in the vicinity!
  • a predetermined value may be output as a pixel value on the left side in the same color.
  • the same color pixel closest to the processing target pixel is used as the same color pixel located in the vicinity. However, if the pixel is not closest but is located in the vicinity, difference generation is performed. May be used for
  • the difference quantization range determination unit 41 sends the difference absolute value of each processing target pixel value based on the absolute value of the difference value regarding each processing target pixel value sent from the difference generation unit 37, that is, the difference absolute value. Find the "quantization range”.
  • This “quantization range” refers to the number of digits in the difference absolute value (binary notation), the number expressed in binary. In other words, it means the number of digits (bits) required for a signed or unsigned integer binary representation of an absolute difference value, that is, an unsigned integer binary representation of a difference value.
  • the quantization range is sent to the zone quantization width determination unit 43. ( Figure 5 A, step SI 04.)
  • the quantization range of another pixel included in the same "zone" to be described later that is, the second pixel, the third pixel, the fourth pixel, etc., is differentially quantized. Waiting for the message from the range determination unit 41, the following processing is started.
  • the “zone” refers to a set of pixels (and a set of pixel values of these pixels) composed of a plurality of adjacent pixels.
  • “Neighboring” pixels refers to the adjacent or closest pixel to a pixel. All pixels contained in a zone are adjacent to other pixels in the same zone! /.
  • the CODEC 13 quantizes pixel values included in the same zone with the same quantization accuracy (quantization representative value interval) based on the same “zone quantization width” described later, that is, the quantization width.
  • the number of pixels included in the zone, p is not limited to 4, but may be an integer from 1 to the total number of pixels in the light receiving element.
  • the number p of pixels included in the zone may be variable. The pixel that output the pixel value data used as the initial pixel value should not be included in the zone!
  • zone quantization is information relating to a quantization coefficient or quantization width at the time of quantization of the pixel value to be processed. Determine the width. ( Figure 5A, step SI 06.)
  • Zone quantization width is a quantization when quantizing pixel values included in the same zone. It can also be said to be data for transmitting information about the width (interval) of the representative value to the quantization processing unit 47.
  • This zone quantization width is an integer value of 0 or more.
  • the zone quantization width is a value obtained by adding 1 to the quantization range corresponding to the maximum pixel value difference that is the maximum difference value between the pixel value included in the zone and the pixel value of the same color on the left. It is equal to the difference between the number of bits n of the data obtained by compression encoding the data, that is, the number of bits of the compression encoded pixel value data (n).
  • four types of digital data representing four different types of integer values are quantized to the same quantized value. The same applies when rounding the lower 3 bits or more.
  • the determined zone quantization width is sent to the quantization processing unit 47 and the class value code generation unit 49.
  • the class value code generating unit 49 that generates the quantization width information data includes a m-bit "class value" corresponding to the sent zone quantization width, that is, the quantization width information data, as a packing unit. Send to 51.
  • m 2.
  • This “class value” is included in each zone. This is data indicating the quantization coefficient (the number of bits rounded by quantization) in the quantization of the pixel value data, and is processed by the packing unit 51 together with the compressed encoded pixel value data which is the compressed pixel value data. Recorded. ( Figure 5A, step S107.)
  • the quantization processing unit 47 sends the processing target pixel value, the neighboring left same color pixel value.
  • Pixel value data and quantization reference value power offset value setting unit 47b for setting an offset candidate value or offset candidate value
  • An offset zero setting unit 47e for setting an offset value having a zero value from an offset (candidate) value equal to or less than zero;
  • a quantized process value setting unit 47c that sets a quantized process value that is an actual quantized value
  • a quantizing unit 47d for quantizing the quantized processing value.
  • the processing in the quantization processing unit 47 will be described in detail using a processing example described below.
  • the packing unit 51 has a function (generation unit 51a) for collecting a plurality of input data, that is, a compression-encoded data group, and packing the data into an appropriate size.
  • the SDRAM 15 has a function of outputting to the unpacking unit 53 (output unit 51b). It is also possible to output each data as it is without knocking.
  • the size of the packing data that is the compressed code image data is s bits. For example, s (s: natural number) is an integral multiple of 8 (8, 16,..., 64,..., 96, etc.). If there are still unused bits at the back of the packing data that cannot be used to record significant data, record the specified dummy data.
  • the unpacking unit 53 which is a block for inputting the compression code key image data, analyzes the knocked data or the unpacked data sent from the packing unit 51 and the packing data sent from the SDRAM 15.
  • Packing data is initial It is divided into an initial pixel value data portion including pixel value data, a quantization width information data portion including class values, and a compression encoded pixel value data portion including compression encoded pixel value data. The data is separated into a plurality of data, and each data is sent to the inverse quantization processing unit 55.
  • An offset value setting unit 55a that sets an offset value using initial pixel value data or decoded pixel value data and a quantized reference value
  • a decoded pixel value generation unit 55c that generates decoded pixel value data using the pixel value data or the decoded pixel value data and the dequantized pixel value data;
  • An offset value zero setting unit 55d for setting an offset value or offset candidate value equal to or less than zero to zero
  • the inverse quantization processing unit 55 performs inverse quantization by performing inverse processing on the compression-coded pixel value data by performing the reverse process of the quantization processing unit 47, using the various data that has been sent.
  • the decoded pixel value data is obtained by obtaining the pixel value data and further processing the dequantized pixel value data.
  • the decoded pixel value data (12-bit length data in this embodiment) is sent to the output unit 57. Since the initial pixel value data is sent as actual data having a 12-bit length, it is sent to the output unit 57 as it is.
  • the output unit 57 sends the transmitted initial pixel value data and decoded pixel value data to the YC processing unit 17 and the pixel value storage unit 39.
  • the transmitted decoded pixel value data can be used for difference generation processing and quantization of another processing target pixel value.
  • FIG. 5B is a flowchart showing the details of the processing in step S108 in FIG. 5A.
  • 12-bit data is input to the processing target pixel value input unit 35 from the ADC 11 at a predetermined timing.
  • the pixel value gl of the pixel G1 is input first, then the pixel value rl of the pixel R1 is input, and similarly, g2, r2, g3, r3,.
  • the first input pixel value for each color (in this example, gl, rl) is sent to the initial pixel value generation unit 45 and processed as initial pixel value data, and the packing unit 51 It is desirable to be sent to.
  • the initial pixel value is recorded as actual data, and the difference generation process and quantization process are not performed.
  • the quantization processing unit 47 and the pixel value storage unit 39 are temporarily stored.
  • the processing target pixel value data is processed as the initial pixel value data at a predetermined number of pixel intervals, the effect of resetting the error accumulation due to quantization is expected, and an improvement in the SN ratio of the reproduced image relative to the input image is expected. Is done.
  • the pixel value g2 is set as a processing target pixel value, and g2 is sent to the quantization processing unit 47, the difference generation unit 37, and the pixel value storage unit 39. At this time, the pixel value gl is sent from the pixel value storage unit 39 to the difference generation unit 37 as a neighboring left same color pixel value, and a difference value between both pixel values is obtained. In other words, if the difference value at this time is ⁇ g2,
  • the difference value A g2 is sent to the difference quantization width determination unit 41.
  • a ci ci-c (i-1), where c is the pixel color, c is r, g, or b, and i is an integer indicating the pixel order. . ci is a pixel value to be processed, and c (i ⁇ 1) is a pixel value of the same color to the left of the neighborhood, and is stored in the pixel value storage unit and has been previously input, or Decoded pixel value data that has been compression-encoded and decoded.
  • the pixel value to be processed previously input is used as the pixel value of the same color on the left side.
  • the decoded pixel value data is obtained.
  • a difference value A r2 related to the processing target pixel value r2 a difference value A g3 related to the processing target pixel value g3, and a difference value A r3 related to the processing target pixel value r3 are obtained.
  • the difference value from the pixel value g2 stored in the pixel value storage unit 39 is A g3.
  • the difference quantization width determination unit 41 obtains the absolute value of each transmitted difference value, that is, the difference absolute value, and the number of digits when the difference absolute value is expressed in binary notation, that is, the quantization range (necessary Find the number of bits, bit 0).
  • the decimal number X will be expressed as & D (X) and the binary number Y will be expressed as & B (Y).
  • the obtained four quantization ranges are zone quantization width determinators. Sent to 43.
  • the absolute value of the difference value that is, the absolute value of the difference is obtained, and the number of digits of the difference absolute value expressed in binary is used as the quantization range. Is output to the zone quantization width determination unit 43.
  • the zone quantization width determination unit 43 waits for the input of each quantization range related to the pixel values of the pixels included in the first zone, and obtains the zone quantization width.
  • the zone quantization width is equal to the difference between the value obtained by adding 1 to the maximum value of the quantization range of the pixels included in the zone and the number of compression data bits. However, if it becomes a negative number, it shall be zero. That is, the zone quantization width is determined based on the maximum pixel value difference, which is the maximum value in the absolute difference value between the pixel included in the zone and the neighboring left same color pixel value.
  • the zone quantization width determination unit 43 determines the zone quantization width
  • the zone quantization width determination unit 43 sends the zone quantization width to the quantization processing unit 47 and the class value code generation unit 49.
  • a “quantized processing value” that is a value based on the difference value between the sent processing target pixel value and the neighboring left-hand same color pixel value is based on the zone quantization width. ! Quantize.
  • the zone quantization width of the first zone is 2. There is a correlation between the zone quantization width, the accuracy of the quantization executed in the quantization processing unit, and the interval between the quantization representative values. As the zone quantization width increases, the quantization representative is increased. The value interval is also increasing.
  • the present invention obtains a value to be quantized from pixel values included in the same zone. High quantization accuracy is desired (the interval between quantization representative values is desired to be narrow), but if the value to be quantized is a large value, the quantization accuracy is lowered and the value to be quantized is reduced. There is a need to convert to a code with a given bit length. In that case, the quantization accuracy is lowered, that is, the interval between the quantized representative values is increased.
  • Zone quantization width is an indicator of possible quantization accuracy. The relationship between the zone quantization width and the quantization accuracy (or the interval between quantization representative values) may be determined in consideration of the relationship with the bit length of the desired code.
  • the quantization representative value interval is set to 4, that is, the lower 2 bits of the quantized processing value are rounded to obtain 8-bit compressed code pixel value data.
  • the “quantized processing value” is calculated based on the pixel value to be processed without directly quantizing the difference value and the pixel value on the left side in the vicinity thereof.
  • the quantized processing value is quantized, and the value is output as compressed encoded pixel value data.
  • Table 2 shows the pixel value to be processed, the difference value, the compression-coded pixel value data in this example, and the values used in the process.
  • the quantization process will be described by taking the calculation of the compression code pixel value data of the pixel value data of the pixel G2 as an example.
  • the quantization width of the first zone is 4. (By rounding the lower 2 bits of the data, 8-bit data is obtained from the 10-bit data. Therefore, the data related to the 12-bit pixel value is rounded by 2 bits and quantized with 10-bit precision. .)
  • the quantization reference value only needs to be a value greater than or equal to the maximum pixel value difference.
  • this quantization reference value is subtracted from the pixel value gl which is the pixel value gl which is the same color pixel on the left side of the pixel value g2 to obtain an “offset candidate value” (FIG. 5B, step S108b).
  • the sign of the offset candidate value is examined. If the sign is non-negative, the offset candidate value is used as the “offset value”. If the offset candidate value is negative, the offset value is 0 (FIG. 5B, steps S108c, S108d, S108e).
  • the processing target pixel value g2 power is subtracted from the talent offset value to obtain the “quantized processing value” (FIG.
  • step S108f the sum of the difference value A g2 and the quantization reference value can be referred to as a “quantized process value”.
  • This value is & B (0011100100) for pixel G2.
  • the lower 2 bits of the quantized value are rounded to obtain a quantized value (compression coded pixel value data) & B (00111001) (FIG. 5B, step S108g). If the most significant bit in the bits to be rounded is “1”, the value obtained by adding “1” to the least significant bit in the bits that are not rounded is used as compression code pixel value data. If a carry is caused by adding “1”, other bits naturally change.
  • the offset candidate value may be a value obtained by setting the other bits to zero except for the lower r bits of the offset candidate value.
  • r is equal to the number of bits rounded by quantization. For example, if the zone quantization width is 4, 2-bit rounding is performed in quantization, so the following processing is performed using & B (0000000010), which is zero except for the lower 2 bits, as an offset value. Also good. In this case, the quantized value of pixel R2 is & D (48).
  • the quantization of the pixel value r2 of the pixel R2 will be described as an example.
  • the pixel value of the same color to the left of r2 is rl. Therefore, the offset candidate value is 262.
  • the quantized processing value is the 10-bit pixel value r2 itself, which is the upper 2 bits of the pixel value r2, and the value is & B (0000110010).
  • the lower 2 bits of this quantized value are rounded to obtain a quantized value (compressed coded pixel value data) & B (00001101).
  • compression-coded pixel value data & B (00011100) of pixel value g3 of pixel G3 and compression-coded pixel value data & B (00011001) of pixel value r3 of pixel R3 are obtained.
  • FIG. 6 is a graph plotting the relationship between the pixel values used in this example, gl, rl, g2, r2, g3, r3 and various quantities.
  • the pixel value is an integer value between 0 and 4095 given as 12-bit data.
  • the offset value of g2 is obtained based on the pixel value gl and the quantization reference value, and the value obtained by subtracting the offset value of g2 from the pixel value g2 is determined as the quantized processing value of g2. To do.
  • the quantized processing value of g2 is equal to the sum of the quantization reference value and the difference value Ag2. Therefore, it is possible to obtain the quantized processing value of g2 without using the pixel value gl and the pixel value g2.
  • the offset value is zero. Therefore, the quantized values of r2 and r3 are equal to the pixel value r2.
  • an offset value of g3 is obtained based on the pixel value g2 and the quantization reference value, and a value obtained by subtracting the offset value of g3 from the pixel value g3 is defined as g3 quantization.
  • the quantized value of g3 is also equal to the sum of the quantized reference value and the difference value Ag3. Therefore, it is possible to obtain the quantized processing value of g3 without using the pixel value g2 and the pixel value g3.
  • FIG. 7 is a graph illustrating the details of the quantization process with the pixel value g2 as an example.
  • the quantized values for all pixel values are 0 or more and 2 or less the quantization reference value (& D (1024) in this example).
  • the quantized value of g2 is rounded by the quantization width 4. Therefore, the quantized value of g2 is & D (153).
  • This value is the compression-coded pixel value data relating to the binary value 8 bits, & B (00111001) force pixel G2.
  • Figure 7 shows an example of rounding up and down when rounding the quantized values.
  • the quantized value is & D (602) force & D (605), the quantized value is & D (151), and the quantized value is & D (598) to & D (601 ), The quantized value is & D (150).
  • the most significant bit force S “l” in the bits to be rounded is rounded up, if it is “0”, it is rounded down.
  • a simple bit shift may be performed during quantization in the quantization processing unit 47.
  • the quantized value of each pixel value obtained as described above is sent to the packing unit 51 as compressed encoded pixel value data having a length of 8 bits to generate packing data (Fig. 5B, step S108h) and Used for packing data output (Fig. 5B, step S108i).
  • the pixel value included in the down stream is sent from the packing unit 51 to the decoding unit 33 and decoded and decoded pixel value data is sent to the pixel value storage unit 39 and stored therein, and the quantization processing unit By sending the same data to 47, it can be used in the quantization process as a neighboring left same color pixel value.
  • the class value code generation unit 49 sends the class value to the knocking unit 51 as m-bit length data based on the sent zone quantization width.
  • m 2. If the zone quantization width is 2, the corresponding 2-bit class value data is sent to the knocking unit 51.
  • the initial pixel value data, compression-coded pixel value data, and class value data that is quantization width information data sent to the node / king unit 51 are immediately sent to the unpacking unit 53, where they are decoded.
  • the data width is adjusted to s bits, which is an integral multiple of the access unit (for example, 32 bits) with SDRAM15, and data is sent to SDRAM15 as packing data of s bits. Can do.
  • One packing data is s bits long. This bit length s is preferably an integer multiple of 8.
  • At least one pixel value for each color pixel is recorded as initial pixel value data in each packing data.
  • the pixel value data that is first recorded for each color pixel in each packing data is recorded as initial pixel value data, which improves the convenience when reading compressed encoded data. It is for aiming at.
  • data is read out from compression-encoded image data for one frame of image recorded in SDRAM 15, and the data to be read out is only a part of pixel value data constituting one frame of image, the above If recording is performed as described above, the necessary pixel value can be decoded by reading out s bits of neighboring data including the pixel data to be read out. Therefore, it is not necessary to read out all the pixel data composing the image 1 frame, and high-speed processing and power saving can be expected.
  • the frequency of the pixel value data to be recorded as the initial pixel value data should be lowered. In this case, it is not always necessary to record the initial pixel value data in one packing data. In order to improve the compression ratio, it may be effective to set a larger number p of pixels included in one zone. By doing so, the appearance frequency of class value data can be reduced. It is also effective to set the bit length n of the compression-coded pixel value data to be smaller.
  • FIG. 8B is a flowchart showing details of the process in step S206 in FIG. 8A.
  • the unpacking unit 53 individually sends various data, that is, initial pixel value data, compression-coded pixel value data, and class values, and packing data that is input from the SDRAM 15, that is, compression data, that are individually sent from the packing unit 51.
  • Encoded image data is input, and for packing data, the packing data is separated into individual data (FIG. 8A, step S201). 0
  • the separated various data are received from the unpacking unit 53 at a predetermined timing. It is sent to the inverse quantization processing unit 55.
  • the data sent to the inverse quantization processing unit 55 is processed in reverse to the processing in the quantization processing unit 47, and the decoded pixel value data is calculated from the compressed encoded pixel value data, and is output to the output unit 57. send.
  • This data is temporarily stored because it is used in later processing.
  • the class value data which is quantization width information data, is temporarily stored for use in the subsequent decoding process of the compression code and pixel value data (FIG. 8A, steps S204 and S205;).
  • step S206 a decoding process is performed, and decoded pixel value data is generated.
  • the quantization width and quantization reference value are obtained from the class value data (Fig. 8B, steps S206a and S206b). Then, an offset candidate value that is the difference between the previously processed initial pixel value data or decoded pixel value data and the quantization reference value is obtained (FIG. 8B, step S206c), and the offset candidate value is less than or equal to zero. In this case, the offset value is set to zero (FIG. 8B, steps S206d, S206e, S206f).
  • the compression-coded pixel value data is bit-shifted (inversely quantized) based on the zone quantization width indicated by the class value to become inversely quantized pixel value data (FIG. 8B, step S206 g), and is processed first.
  • the sum of the offset value and the inverse quantized pixel value data which is the difference between the initial pixel value data or decoded pixel value data and the quantized reference value obtained from the class value, is obtained.
  • Decoded to 12-bit pixel value (FIG. 8B, step S206h) and sent to the output unit 57 as decoded pixel value data (step S206 in FIG. 8).
  • the force inverse amount obtained by rounding up or down during quantization is used.
  • the child processing unit 55 may perform only a simple bit shift!
  • the obtained decoded pixel data is sent to the encoding unit 31 and the YC processing unit 17 at predetermined timings, respectively.
  • this embodiment uses an image sensor having a Bayer array, an image sensor having another array, for example, an image sensor having a primary color vertical stripe array, RGBRGBRGB ', A CODEC according to the present invention can also be used in combination.
  • the CODEC according to the present invention can also be applied to the case where the sensor has a sensor (pixel) arrangement force complementary color pine arrangement, for example, CyYeCyYeCyYe,...
  • the CODEC according to the present invention can be used regardless of the pixel arrangement pattern in the light receiving portion of the image sensor. Needless to say, the pixel arrangement is a square lattice arrangement, and even if the pixel arrangement is a honeycomb arrangement, the CODEC according to the present invention can be used.
  • an error often occurs in quantization of pixel value data in the CODEC (pixel value data and decoded pixel value data obtained by compressing and encoding the pixel value data and further performing decoding processing).
  • This is a digital still camera (DSC) equipped with a CODEC 113 having an error feedback process for reducing the difference.
  • the DSC of the present embodiment is the same as the DSC 1 of the first embodiment except for the processing in the CODEC 113.
  • the CODEC 113 described below is mounted in the DSC according to the present embodiment instead of the CODEC 13. Therefore, the configuration and processing of the CODEC 113 will be described here. Parts that are not particularly described may be considered the same as those in the first embodiment.
  • FIG. 9 shows a block diagram of the CODEC 113 that is helpful in the present embodiment.
  • the difference from the CODEC 13 that works in the first embodiment is that an error detection unit 59, a coefficient multiplication unit 61, an integerizing unit 63, and an error correction unit 65 are added to the sign key unit 31, and The output of the output unit 57 of the decoding unit 33 is input to the error detection unit 59 and the quantization processing unit 47. is there.
  • error feedback processing in the CODEC 113 will be described.
  • error feedback processing in the quantization of pixel value r3 of pixel R3 is treated.
  • the pixel value r 3 is input from the ADC 11 to the processing target pixel value input unit 35. Since the pixel value r3 is pixel value data that has been subjected to compression encoding processing and is recorded as compression encoded pixel value data, the pixel value r3 is sent to the difference generation unit 37.
  • the range is obtained, and the zone quantization width determination unit 43 determines the zone quantization width based on the differential quantization range of the pixels included in the same zone as the pixel R3, and sends it to the quantization processing unit 47.
  • the quantization of the pixel value r3 in the quantization processing unit 47 requires the processing target pixel value r3 and the neighboring left-hand same color pixel value r2 in addition to the zone quantization width.
  • the processing target pixel value r3 is input to the quantization processing unit 47 as the error correction processing target pixel value Cr3 processed by the error correction unit 65.
  • the decoded left and right pixel values used in the quantization of the pixel value r3 are the decoded pixel values.
  • the pixel value r2 is & D (50).
  • the decoded pixel value is & D (52).
  • an error caused by the quantization of the pixel value of the preceding pixel! Affects the quantization of values.
  • the error feedback processing of CODEC 113 described below is performed.
  • the decoded pixel value output from the output unit 57 of the decoding unit 33 is sent to the error detection unit 59 of the encoding unit 31.
  • the error detection unit 59 also receives the pixel value r2 recorded in the storage unit 39 with the timing, and calculates an error.
  • a value obtained by experiments can be used as the coefficient ⁇ .
  • a is set to 0.50 for simplicity. Therefore, in this example, a Er2 is (1 1.00).
  • ⁇ is a real value obtained by experiment, a fractional part appears in the error ⁇ ⁇ r2 multiplied by ⁇ . Therefore, the integer unit 63 calculates the real value a Er2 as an integer and sets the integer value as an error correction value.
  • the integer conversion process in the integer conversion unit 63 may be a general process. For example, the decimal part is rounded down, the first decimal place is rounded off, and the decimal part is rounded up. In this example, the error correction value is (1 1).
  • the error correction unit 65 receives the pixel value r3 to be processed and the error correction value ( ⁇ 1) for the pixel value r3.
  • the error correction target pixel value Cr3 is input to the quantization processing unit 47, quantized based on the decoded pixel value Dr2 and the zone quantization width, and output to the packing unit 51 as compressed code pixel value data.
  • the processing in the quantization processing unit 47 may be the same as in the first embodiment.
  • the zone quantization width is a value determined based on the difference value between the pixel value to be processed and a neighboring left same color pixel value that does not include an error, and is stored in the storage unit 39.
  • the error correction target image pixel value corrected by the error correction unit 65 is used, and the pixel value of the pixel in the vicinity left same color in the quantization processing unit 47 is subjected to a compression encoding process and a composite process. Pixel value data is used.
  • the bit length of compression encoded pixel value data that is a compression encoded value of pixel value data (compression code)
  • compression code a digital still camera
  • the DSC of this embodiment is CODE Except for the processing in C213, this is the same as DSC1 according to the first and second embodiments. Referring to FIG. 1, it can be considered that the CODEC 213 described below is mounted in the DSC according to the present embodiment instead of the CODEC 13.
  • the CODEC 213 of this embodiment is an optimized compression-encoded pixel value based on optical information about a subject that has entered the imaging device until the moment when an imaging instruction is issued (the moment the shutter button is pressed by the operator). An optimization compression-encoded pixel value data number determination process for determining the number of data bits and the quantization width is performed.
  • the configuration and processing of the CODEC 213 will be described below.
  • FIG. 10 shows a block diagram of the CODEC 213 which is useful for this embodiment.
  • Other configurations may be the same as the configurations of CODEC 13 or CODEC 113. That is, FIG. 9 shows that the CODEC 213 has the same configuration as the CODEC 13 except for the above-mentioned differences, but the above-mentioned differences are excluded. Have the same configuration.
  • the difference quantization range extraction unit 67 receives the output from the difference quantization range determination unit 41, that is, the quantization range of each pixel difference value, and temporarily stores it.
  • the plurality of quantization ranges stored in the extraction unit 67 are output to the distribution ratio analysis unit 69 at a predetermined timing.
  • the distribution ratio analysis unit 69 analyzes the quantization range of the thinned pixels corresponding to one frame of the input image, and determines the number of optimized compression-coded pixel value data bits.
  • the determined optimized compression code y pixel value data bit number (t [bit]) is sent to the quantization processing unit 47 and the class value code generation unit 49.
  • the quantization processing unit 47 generates t-bit-length compressed encoded pixel value data.
  • the class value code generation unit 49 generates an m-bit class value code representing the zone quantization width and the number of optimized compression encoded pixel value data bits input from the zone quantization width determination unit 43, and performs packing. Output to part 51.
  • the class value in this embodiment is optimized compression It may be generated based on a predetermined conversion rule so as to include the number of bits of the sign pixel value data.
  • the DSC 1 has an operation mode called “monitor” mode.
  • the monitor mode is a mode in which light information (that is, a subject image) incident on the image sensor 5 is displayed on the display unit 27, for example, in order to determine a subject subject to operator power and wait for a photo opportunity.
  • the DSC 1 draws the accumulated charge of all the pixels of the image sensor 5 and processes only the pixels of a predetermined ratio instead of performing signal processing on all the extracted accumulated charges. Do.
  • This image sensor driving mode is called a draft mode or a thinning mode. That is, the DSC 1 drives the image sensor 5 in the draft mode in the monitor mode. In response to the shutter button operation by the operator, DSC1 switches the image sensor drive mode from the draft mode to the all pixel drive mode and performs imaging.
  • the CODEC 213 is input in the draft mode, that is, the number of pixel values thinned out. Since pixel thinning is performed in a predetermined pattern, the neighboring left and same color pixel values for the pixel value to be processed in the draft mode are different from those at the time of imaging, but can be determined according to a predetermined rule.
  • the difference generation unit 37 calculates a difference value for each processing target pixel value by using the pixel value of the same color on the left side of the processing target pixel value determined in this way, and a difference quantization range determination unit 41 Determines the differential quantization range for each pixel value to be processed. The determined differential quantization range is sent to the differential quantization range extraction unit 67.
  • the difference quantization range extraction unit 67 sends the difference quantization range for one frame of the latest image to the distribution ratio analysis unit 69 from the difference quantization range for each pixel value to be temporarily stored.
  • the distribution ratio analysis unit 69 analyzes the transmitted differential quantization range and determines the number of optimized compression-encoded pixel value data bits.
  • the optimized compression-encoded pixel value data bit number is a compression-encoded pixel generated by the CODEC 213 for recording the captured image as compression encoded data in the SDRAM 15. This is the bit length of the value data.
  • the bit length n is fixed to 8 bits. However, depending on the subject image, sufficient image quality may be obtained with a bit length shorter than 8-bit length. Therefore, in the present embodiment, the optimum bit length is determined based on the subject information captured during the monitor mode.
  • the maximum differential quantization range w is obtained from the differential quantization ranges in which the distribution ratio is equal to or greater than a predetermined threshold. The number obtained by adding 1 to the maximum differential quantization range w is sent to the quantization processing unit 47 and the class value generation unit 49 as the number of optimized compression-coded pixel value data bits.
  • COD EC213 improves the compression rate without causing quality degradation in such a case.
  • the quantization processing unit 47 gives compression-coded pixel value data of 5-bit data to each processing target pixel value.
  • the class value As the class value, a class value having information on the number of bits of optimized compression-coded pixel value data bits is generated. Therefore, in the decoding in the decoding key unit 33, the number of compression-coded pixel value data bits is determined based on the class value, and decoding can be performed as in the previous embodiment.
  • the distribution ratio analysis unit 69 analyzes only a part of the image, for example, an important part, the central region in the image, instead of analyzing the differential quantization range of one recent frame of the image. Then, the optimum number of compression encoded pixel value data bits may be determined.
  • the predetermined ratio is 90%, but other ratios of 1 to 100% may be used as the threshold value. Also, investigate the characteristics of the subject image and based on the survey results The threshold value may be determined flexibly for each imaging process.
  • the differential quantization range included in one frame of an image may be divided into a plurality of blocks, and the optimum number of compression-coded pixel value data bits may be determined within each block.
  • the compression code and pixel value data for one frame of the image contain data having different bit lengths, but the class value represents the change in the number of bits of the compression encoded pixel value data. Therefore, the decryption unit 33 can correctly decrypt the data.
  • the function of storing or temporarily storing data may be realized using not only a storage element but also a known delay circuit.
  • the present invention will be applied to all electronic devices having a CCD sensor and a MOS sensor and video devices in general, and the image quality will be improved in spite of its simple configuration.
  • the amount of information can be compressed by a sign key that almost does not damage the data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)

Abstract

　本発明にかかる符号化装置は、第１画素値と、第１画素の近傍に位置する第１画素と同色の画素の画素値との差分値、第１画素差分値を求める差分生成部と、第１画素差分値の符号なし整数バイナリ値の桁数と、第２画素の第２画素値に対して差分生成部において生成された第２画素差分値の符号なし整数バイナリ値の桁数に基づいて、第１および第２画素値を量子化してデータを生成する処理における量子化幅を決定する量子化幅決定部と、第１および第２画素値の量子化・復号化に用いられる量子化幅を備える量子化幅情報を生成する、量子化幅情報生成部と、第１および第２画素値に基づく値をそれぞれ、量子化幅で量子化し、ｎビット長の第１および第２圧縮符号化画素値を生成する、量子化処理部と、を有する。

Description

明 細 書
デジタル信号符号化および復号化装置ならびにその方法
技術分野
[0001] 本発明は、デジタルデータの圧縮符号化および復号化に関する。具体的には、本 発明は、撮像素子が出力する画素信号の圧縮符号化、および、圧縮符号化した画 素信号の復号ィ匕のための装置および方法に関する。
背景技術
[0002] デジタルカメラや、カメラ付携帯電話等のデジタル撮像装置に実装される撮像素子 には電荷結合型撮像素子 (CCD型撮像素子)、金属酸化膜半導体型撮像素子 (M OS型撮像素子)等がある。さらに、 MOS型撮像素子には、相補型金属酸化膜半導 体型撮像素子 (CMOS型撮像素子)、 Nチャンネル型金属酸化膜半導体型撮像素 子 (NMOS型撮像素子)等がある。近年、これら撮像素子の画素数は増加する傾向 にあり、それぞれ高精細撮像素子として進歩している。 CCD型撮像素子には、ダイ ナミックレンジが広ぐノイズが少ないという特徴があり、 MOS型撮像素子には、 MO Sプロセスが使用できるため構造が簡単でし力も単一電源であり、高解像度化に適し ているという特徴がある。
[0003] 次にデジタル撮像装置を用いた撮像に係る信号処理につ!ヽて概説する。
[0004] デジタル撮像装置での 1フレームの静止画撮像、所謂、単写撮像に係る信号処理 の一例を示す。被写体力 の光は、撮像素子の受光部において結像し、受光部に多 数配置される画素は、それぞれ、光量に応じた量の電荷を蓄積する。これら蓄積電 荷は、撮像素子駆動部によりアナログ信号として撮像素子の出力部から 1画素毎に、 受光部の 1ライン分読み出され、アナログ Zデジタル変換部においてデジタル画素 信号（RAWデータ）に変換され、シンクロナス DRAM (Synchronous DRAM (SDRAM ))等のバッファメモリに一時記憶される。 1ライン分の読み出し、 AZD変換、 SDRA M等への書き込みが終了すれば、 2番目のライン、 3番目のライン、…、最終のライ ンにつ 、て同様に読み出しから書き込みまでの処理が繰り返され、画像 1フレーム分 (1回の撮像分)のデータが SDRAMに一時記憶される。次に、一時記憶されたデー タ即ち RAWデータをデジタル ·シグナル ·プロセッサ（DSP)等のプロセッサを用 、て 拡大'縮小等のズーム処理等の信号処理演算を行い、演算後のデータを再度 SDR AMに一時記憶する。次に、プロセッサを用いてデータを適切に処理することにより、 データを記録に適し^ JPEG等の圧縮データ形式のデータ (圧縮データ）に変換し、 その後に再度 SDRAMに一時記憶する。そして、ダイレクト'メモリ'アクセス（DMA) 制御等により、高速に SDRAM力 データを読み出し、データを外部の半永久保存 メモリに記憶する。ここで半永久保存メモリとは、 SDカード等、一般にデジタルカメラ の画像記憶媒体として用いられる記憶媒体であればょ 、。
[0005] 上記の単写撮像に係る信号処理を連続的に実行することで連続撮像、所謂、連写 撮像が実現される。し力しながら、 RAWデータから圧縮データ形式のデータ (圧縮デ ータ）へ変換する処理は、画素の蓄積電荷を読み出して RAWデータとして一時記憶 する処理に比して時間の力かる処理である。そのため、連写の場合には、 RAWデー タの SDRAMへの記憶と、 RAWデータを圧縮データへ変換する処理は平行して行 われ、読み出された RAWデータは、 SDRAMの記憶容量の許すかぎりにおいて、 追カ卩的に SDRAMに一時記憶される。従い、連写可能なフレーム数を増やすには、 SDRAMの記憶容量を増やす必要がある。
[0006] また、昨今の撮像素子の画素数の増加に伴い、画像 1フレーム分の RAWデータの データサイズも増加する。そのため、 SDRAMの記憶容量を従来品と同程度に留め るならば、撮像素子の画素数の増加に伴って連写可能フレーム数が減少する。その ため、撮像素子の画素数を増やすことにより、撮像装置を高精細化するならば、同時 に、 SDRAMの記憶容量を大容量ィ匕し、連写可能フレーム数を確保することが要求 される。また、 RAWデータのデータサイズが大きくなれば、従来よりも高速にアクセス 可能な SDRAMが望まれる。しかしながら、 SDRAMの記憶容量の大容量化ゃァク セス速度の高速化は、コスト面において不利である。
[0007] 従来、上記問題を解決するための手法が提案されている。
[0008] 図 11は、特許文献 1の開示するフレームメモリの使用量を削減する方法を、デジタ ルスチルカメラを例に説明する構成図である。
[0009] まず、特許文献 1に記載のデジタルスチルカメラの構成を説明する。デジタルスチ ルカメラ 100は、映像処理部（CPU) 110、フラッシュメモリ 120、 JPEG— LSI130、 表示 Zキヤプチヤコントローラ 141、ノ ッファメモリ 142、メモリ転送コントローラ 143、 アドレスバス切り替え部 144、リートデータラッチ 145、出力レベルラッチ 146、差分伸 張 Z加算器 147、差分圧縮 Z伸張変換テーブル 148、減算 Z差分圧縮部 149、ライ トデータラッチ 150、入力レベルラッチ 151、フレームメモリ 160、映像出力部 170、 映像入力部 180、圧縮伸張部 140、を有する。
[0010] 次に、特許文献 1に記載のデジタルスチルカメラ 100の動作を説明する。図 11の映 像入力部 180より入力された圧縮前データは減算 Z差分圧縮部 149に送られる。そ こで減算と差分圧縮が行われるが、その際、差分圧縮 Z伸張変換テーブル 148を参 考にして圧縮が行われる。この結果の圧縮後のデータはデータバスを経由し、フレー ムメモリ 160に一時記憶される。フレームメモリ 160にある圧縮された伸張前データは 差分伸張 Z加算部 147において、差分圧縮 Z伸張変換テーブル 148を参考にしな がら伸張後データに変換され、映像出力部 170から出力される。
[0011] この方法ではデータの差分値の圧縮を行うために、 ROMなどに差分圧縮 Z伸張 変換テーブル 148を持つ必要がある。従来の方法に比べると回路規模は小さくなる とのことである。それでも、 ROMを使用することは免れないので回路構成が大きくなり 、処理負担は依然として大きい。
[0012] 図 12、図 13は、特許文献 2の開示する、デジタル信号の非可逆圧縮符号ィ匕の方 法を概説する図である。図 12は、単板 CCDの構成図であり、図 13は、非可逆圧縮 符号化にかかるフローチャートである。図 12を参照すれば、注目画素 x、画素 Xよりも 先に処理される同色画素 f、 e、 d、および、画素 xに隣接した異色隣接画素 c、 a、 bが 示されている。
[0013] 次に図 13を参照し、特許文献 2の開示する圧縮符号化法の処理を説明する。この 方法は、カラーフィルタ R、 G、 Bが配置された単板 CCDにおいて注目画素 xの最適 予測式による予測値 yとの予測誤差 Δがエントロピー符号化され、画像データの圧縮 が行われる方法であって、近傍画素の画素値、および、注目画素と異なる色成分の カラーフィルタが配置された隣接画素の画素値を用いて予測値を算出するとともに、 近傍画素の画素値、および、注目画素と同色の色成分のカラーフィルタが配置され た同色画素の画素値を用いて予測値を算出し、注目画素 Xがいずれの予測値に近 似して!/、るかを判別し、この判別結果に基づ 、て次の注目画素の予測値を隣接画素 と同色画素のいずれの画素値を用いて予測値を算出するかを決定する。
[0014] この方法では、量子化は非線形テーブルによって行われ、一様に定数を乗算し、 実際の演算に用いるテーブル値を算出している。これにより非可逆変換で圧縮率を 変化させることができる。量子化されたデータは、さらにエントロピー符号化される。
[0015] 特許文献 2の開示する方法においても、画素値によって算出された予測誤差 Δを 所定の量子化テーブルによって量子化する点で、 ROMなどのメモリが必要であり、 回路構成が大きくなり、処理負担が大きい。
[0016] 図 14は、特許文献 3の開示する画像符号ィ匕装置のブロック図である。図 14を参照 すれば、この画像符号ィ匕装置は、画素値入力部 101よりダイナミックレンジが dビット である入力画素値を入力し、量子化部 104において、入力画素値を、符号ィ匕により n ビットの量子化値に変換し、これを、出力部 105より出力する画像符号ィ匕装置である
[0017] この画像符号ィ匕装置はさらに、入力画素の周辺の画素から、入力画素値に対する 予測値を生成する予測値生成手段 106と、 dビット精度において、量子化幅が 2の d — n乗であり、 2の n乗カゝらあらカゝじめ設定された追加上限数を減じて得られる個数の 、線形量子化代表点を有する、線形量子化器を生成する線形量子化器生成手段 10 2と、線形量子化器に対して、予測値の周辺付近に、追加上限数以下の個数の量子 化代表点を追加して、予測値付近の量子化幅を線形量子化器より小さくした非線形 量子化器を生成する非線形量子化器生成手段 103とを有し、量子化部 104におい て、非線形量子化器生成手段 103で生成した非線形量子化器を用いて入力画素値 を量子化し、量子化値を出力する画像符号ィ匕装置である。
[0018] この、特許文献 3に開示する画像符号化装置は、量子化のための ROMテーブル を持たない。この点において、この画像符号ィ匕装置は、特許文献 1および特許文献 2 の開示する発明による装置よりも小規模な装置として実現されることが期待される。 特許文献 1：特開平 11― 341288号公報
特許文献 2：特開 2000— 244935号公報 特許文献 3 :特開平 10— 056638号公報
発明の開示
発明が解決しょうとする課題
[0019] 特許文献 1に記載の方法は、符号ィ匕及び復号ィ匕のためのテーブルをあら力じめ準 備する必要があり、テーブルを記憶するために符号ィ匕及び復号ィ匕テーブルバッファ 、又は、 ROM等のメモリが必要である。また、特許文献 1に記載の方法を実施するた めの装置は、回路構成が大きぐ力かる処理の負担も大きい。
[0020] また、特許文献 2に記載の方法は、同色と異色の両方の予測を行った後、予測誤 差の小さい方を選択する。そのため、符号化のみならず復号化まで実施しなければ どの予測式を使用すべきかを判断することができない。そのため、処理量の増大を避 けることができない。また、テーブルを用いた非線形処理のため、この方法を実施す るための装置は、回路構成が大きくなり、力かる処理の負担も大きい。
[0021] 特許文献 3に記載の方法を実施するための装置においては、予測値を算出するた めの回路を構成し、予測値算出の処理を実行する必要がある。
[0022] 上記問題点を鑑み、本発明は、小規模な回路構成で実装可能であって、符号化の ための処理が単純な演算で構成され、もって、低い演算処理負荷で高圧縮率を実現 するデジタル信号圧縮符号化および復号化装置、ならびに、デジタル信号圧縮符号 化および復号ィ匕のための方法を提供することを目的とする。
課題を解決するための手段
[0023] 本発明は、その一態様においては、少なくとも、第 1色にセンスする画素と第 2色に センスする画素を周期的に配置した受光部からの信号をデジタル形式にて示した画 素値データを受けて処理する、デジタルデータ符号ィヒ装置において、第 1色にセン スする第 1画素の第 1画素値データと、第 1画素の近傍に位置し、第 1色にセンスする 第 2画素の第 2画素値データとの差分値を第 1画素差分値として出力すると共に、第 2色にセンスする第 3画素の第 3画素値データと、第 3画素の近傍に位置し、第 2色に センスする第 4画素の第 4画素値データとの差分値を第 2画素差分値として出力する 、差分生成部と、第 1画素差分値の絶対値と第 2画素差分値の絶対値のうちの最大 値を最大画素値差として求め、求めた最大画素値差以上の値を量子化参照値として 決定する量子化参照値決定部と、第 1画素値データと量子化参照値との差を第 1ォ フセット値として設定すると共に、第 3画素値データと量子化参照値との差を第 2オフ セット値として設定するオフセット値設定部と、第 2画素値データと第 1オフセット値と の差を、第 1被量子化処理値として設定すると共に、第 4画素値データと第 2オフセッ ト値との差を、第 2被量子化処理値として設定する被量子化処理値設定部と、第 1被 量子化処理値および第 2被量子化処理値を、それぞれ量子化して第 1圧縮符号ィ匕 画素値データおよび第 2圧縮符号化画素値データを求める量子化部と、を有するデ ジタルデータ符号ィ匕装置である。
[0024] 本発明の一態様においては、第 1色と、第 2色は相異なる、ことが好ましい。
[0025] 本発明の一態様においては、さらに、オフセット値設定部の定めたオフセット値が、 ゼロ以下である場合、オフセット値をゼロに設定しなおすオフセット値ゼロ設定部を有 する、ことが好ましい。
[0026] 本発明の一態様においては、さらに、量子化における量子化幅を決定する量子化 幅決定部を有する、ことが好ましい。
[0027] 本発明の一態様においては、量子化幅は、最大画素値差が大きくなるに従って増 加する、ことが好ましい。
[0028] 本発明の一態様においては、さらに、決定された量子化幅を mビット長 (mは自然 数)の符号に符号ィ匕する量子化幅情報データ生成部を有する、ことが好ましい。
[0029] 本発明の一態様においては、量子化幅決定部は、予め決められた複数の量子化 幅のいずれ力 1つに決定する、ことが好ましい。
[0030] 本発明の一態様においては、複数の量子化幅の数は、 2の m乗個以下である、こと が好ましい。
[0031] 本発明の一態様においては、 mは、 2である、ことが好ましい。
[0032] 本発明の一態様においては、さらに、圧縮符号化画像データ生成部を有し、圧縮 符号ィ匕画像データ生成部は、少なくとも、量子化幅情報データ、第 1圧縮符号化画 素値データ、および、第 2圧縮符号化画素値データのいずれかを含む、 sビット長（s は自然数)の圧縮符号化画像データを生成し、ここで sは、 8の倍数である、ことが好 ましい。 [0033] 本発明の一態様においては、圧縮符号化画像データ生成部は、第 1画素値データ をそのまま、初期画素値データとして、圧縮符号化画像データに記録する、ことが好 ましい。
[0034] 本発明の一態様においては、量子化幅決定部は、第 1画素差分値および第 2画素 差分値のそれぞれに関する符号なし整数バイナリ値表現に要する桁数のうちの最大 桁数値を求めることにより、複数の量子化幅のいずれか 1つに決定する、ことが好まし い。
[0035] 本発明の一態様においては、さらに、第 2画素値データを補正し誤差補正画素値 データを生成する誤差補正部と、圧縮符号化画素値データを復号化して復号化画 素値データを出力するデジタルデータ復号化部とを有し、オフセット値設定部は、第 1画素値データの代りに復号ィ匕画素値データを用いて第 1オフセット値を設定し、被 量子化処理値設定部は、第 2画素値データの代りに誤差補正画素値データを用い て第 1被量子化処理値を設定することが好ましい。
[0036] 本発明の一態様においては、誤差補正部における第 2画素値データの補正は、第 2画素値から、第 1画素値データと復号ィヒ画素値データとの差に関連する補正値を 引き算することによりなされることが好ましい。
[0037] 本発明は、別の一態様においては、第 1色にセンスする第 1画素の第 1画素値デー タがそのまま第 1初期画素値データとして記録されている初期画素値データ部と、第 1画素の近傍に位置し第 1色にセンスする第 2画素の第 2画素値データを示す第 1圧 縮符号化画素値データが記録されて ヽる圧縮符号化画素値データ部と、を備える s ビット長 (sは自然数)の圧縮符号化画像データを入力する圧縮符号化画像データ入 力部と、第 1初期画素値データと設定された第 1量子化参照値との差を第 1オフセット 値として求めるオフセット値設定部と、設定された第 1量子化幅を用いて第 1圧縮符 号化画素値データを逆量子化して第 1逆量子化画素値データを求める逆量子化部 と、第 1逆量子化画素値データと第 1オフセット値との和を求めることにより第 1復号ィ匕 画素値データを生成する復号化画素値生成部と、を有するデジタルデータ復号化装 置である。
[0038] 本発明の一態様においては、初期画素値データ部にはさらに、第 1画素に近接し 第 2色にセンスする第 3画素の第 3画素値データがそのまま第 2初期値画素値データ として記録され、圧縮符号ィ匕画素値データ部にはさらに、第 3画素の近傍に位置し、 第 2色にセンスする第 4画素の第 4画素値データを示す第 2圧縮符号化画素値デー タが記録され、オフセット値設定部はさらに、第 2初期値データと第 1量子化参照値と の差を第 2オフセット値として求め、逆量子化部はさらに、第 1量子化幅を用いて第 2 圧縮符号ィヒ画素値データを逆量子化して第 2逆量子化画素値データを求め、復号 化画素値生成部はさらに、第 2逆量子化画素値データと第 2オフセット値との和を求 めることにより第 2復号ィ匕画素値データを生成する、ことが好ましい。
[0039] 本発明の一態様においては、第 1色と、第 2色は相異なる、ことが好ましい。
[0040] 本発明の一態様においては、圧縮符号ィ匕画素値データ部にはさらに、第 2画素の 近傍に位置し、第 4画素に近接し、第 1色にセンスする第 5画素の第 5画素値データ を示す第 3圧縮符号化画素値データが記録され、オフセット値設定部はさらに、第 1 復号ィ匕画素値データと設定された第 2量子化参照値との差を第 3オフセット値として 求め、逆量子化部はさらに、設定された第 2量子化幅を用いて第 3圧縮符号化画素 値データを逆量子化して第 3逆量子化画素値データを求め、復号化画素値生成部 はさらに、第 3逆量子化画素値データと第 3オフセット値との和を求めて第 3復号ィ匕画 素値データを生成する、ことが好ましい。
[0041] 本発明の一態様においては、さらに、オフセット値設定部の定めたオフセット値が、 ゼロ以下である場合、オフセット値をゼロに設定しなおすオフセット値ゼロ設定部を有 する、ことが好ましい。
[0042] 本発明の一態様においては、圧縮符号化画像データは、少なくとも、第 1量子化幅 に関する情報を備える第 1量子化幅情報データおよび第 2量子化幅に関する情報を 備える第 2量子化幅情報データの 、ずれか、が記録されて 、る量子化幅情報データ 部を備える、ことが好ましい。
[0043] 本発明の一態様においては、さらに、逆量子化における量子化幅を、予め決めら れた複数の量子化幅のいずれか 1つに設定する量子化幅設定部を有し、量子化幅 設定部は、第 1量子化幅情報データおよび第 2量子化幅情報データから、第 1量子 化幅および第 2量子化幅をそれぞれ、複数の量子化幅の 1つに設定する、ことが好ま しい。
[0044] 本発明の一態様においては、さらに、逆量子化における量子化参照値を、予め決 められた複数の量子化参照値のいずれか 1つに設定する量子化参照値設定部を有 し、量子化参照値設定部は、第 1量子化幅情報データおよび第 2量子化幅情報デー タから、第 1量子化参照値および第 2量子化参照値をそれぞれ、複数の量子化参照 値の 1つに設定する、ことが好ましい。
[0045] 本発明の一態様においては、第 1量子化幅情報データおよび第 2量子化幅情報デ ータは、それぞれ mビット長（mは自然数）のデータである、ことが好ましい。
[0046] 本発明の一態様においては、複数の量子化幅および複数の量子化参照値の個数 は、それぞれ 2の m乗個以下である、ことが好ましい。
[0047] 本発明の一態様においては、 mは、 2である、ことが好ましい。
[0048] 本発明は、別の一態様においては、少なくとも、第 1色にセンスする画素と第 2色に センスする画素を周期的に配置した受光部からの信号をデジタル形式にて示した画 素値データを受けて処理する、デジタルデータ符号ィヒ方法において、第 1色にセン スする第 1画素の第 1画素値データと、第 1画素の近傍に位置し、第 1色にセンスする 第 2画素の第 2画素値データとの差分値を第 1画素差分値として出力すると共に、第 2色にセンスする第 3画素の第 3画素値データと、第 3画素の近傍に位置し、第 2色に センスする第 4画素の第 4画素値データとの差分値を第 2画素差分値として出力する 、差分生成ステップと、第 1画素差分値の絶対値と第 2画素差分値の絶対値のうちの 最大値を最大画素値差として求め、求めた最大画素値差以上の値を量子化参照値 として決定する量子化参照値決定ステップと、第 1画素値データと量子化参照値との 差を第 1オフセット値として設定すると共に、第 3画素値データと量子化参照値との差 を第 2オフセット値として設定するオフセット値設定ステップと、第 2画素値データと第 1オフセット値との差を、第 1被量子化処理値として設定すると共に、第 4画素値デー タと第 2オフセット値との差を、第 2被量子化処理値として設定する被量子化処理値 設定ステップと、第 1被量子化処理値および第 2被量子化処理値を、それぞれ量子 化して第 1圧縮符号ィヒ画素値データおよび第 2圧縮符号ィヒ画素値データを求める量 子化ステップと、を有するデジタルデータ符号化方法である。 [0049] 本発明は、別の一態様においては、第 1色にセンスする第 1画素の第 1画素値デー タがそのまま第 1初期画素値データとして記録されている初期画素値データ部と、第 1画素の近傍に位置し第 1色にセンスする第 2画素の第 2画素値データを示す第 1圧 縮符号化画素値データが記録されて ヽる圧縮符号化画素値データ部と、を備える s ビット長 (sは自然数)の圧縮符号化画像データを入力する圧縮符号化画像データ入 力ステップと、第 1初期画素値データと設定された第 1量子化参照値との差を第 1ォ フセット値として求めるオフセット値設定ステップと、設定された第 1量子化幅を用い て第 1圧縮符号化画素値データを逆量子化して第 1逆量子化画素値データを求める 逆量子化ステップと、第 1逆量子化画素値データと第 1オフセット値との和を求めるこ とにより第 1復号化画素値データを生成する復号化画素値生成ステップと、を有する デジタルデータ復号ィ匕方法である。
発明の効果
[0050] 本発明によるデジタル信号圧縮符号ィ匕および復号ィ匕装置ならびに方法は、符号ィ匕 および復号ィ匕のためのテーブルを備える必要がなぐもって小規模な回路構成から なり、比較的単純な演算処理を用い高いデータ圧縮率を実現する。
図面の簡単な説明
[0051] [図 1]本発明によるデジタルスチルカメラのブロック図。
[図 2]SDRAMの記憶領域使用状況を示す模式図。
[図 3]撮像素子受光部における画素の配置を示す模式図。
[図 4]実施の形態 1に力かる CODEC13のブロック図。
[図 5A]符号化処理のフローチャート。
[図 5B]符号化処理のフローチャート。
[図 6]量子化における諸量の関係を示すグラフ。
[図 7]画素値 g2を例として表す、量子化処理の詳細を説明するためのグラフ。
[図 8A]復号ィ匕処理のフローチャート。
[図 8B]復号化処理のフローチャート。
[図 9]実施の形態 2に力かる CODEC113のブロック図。
[図 10]実施の形態 3に力かる CODEC213のブロック図。 [図 11]特許文献 1の開示するデジタルスチルカメラの構成を示すブロック図。
[図 12]単板 CCDの部分概略図。
[図 13]特許文献 2の開示するデジタル信号圧縮符号ィ匕法のフローチャート。
[図 14]特許文献 3の開示する画像符号化装置のブロック図。
符号の説明
1 · ·· デジタルスチルカメラ（DSC)
3 · ·. レンズ
5 · ·· 撮像素子
7 · ·· 撮像素子駆動部
9 · ·· 前信号処理部
11 · • · アナログ Zデジタル変換部（ADC)
13 · ·· コーデック（CODEC)
15 · ·· SDRAM
17 · ·· YC処理部
19 · ·· JPEG処理部
21 · ·· 制御部
23 · ·· 外咅インターフェース
25 · ·· SDカード
27 · ·· 表示部
29 · ·· 画素
31 · ·· 符号化部
33 · ·· 復号化部
35 · ·· 処理対象画素値入力部
37 · ·· 差分生成部
39 · ·· 画素値記憶部
41 · ·· 差分量子化範囲決定部
43 · ·· ゾーン量子化幅決定部
45 · ·· 初期画素値生成部 47 ··· 量子化処理部
47a- ·· 量子化参照値決定部
47b- ·· オフセット値設定部
47c- ·· 被量子化処理値設定部
47(1··· 量子化部
47Θ··· オフセット値ゼロ設定部
49 ··· クラス値符号生成部
51 ··· パッキング部
51a' ·· 圧縮符号化画像データ生成部
51b' ·· 圧縮符号化画像データ出力部
53 ··· アンパッキング部
55 ··· 逆量子化処理部
55a- ·· オフセット値設定部
55b- ·· 逆量子化部
55c- ·· 復号化画素値生成部
55(1··· オフセット値ゼロ設定部
55Θ··· 量子化幅設定部
55ί··· 量子化参照値設定部
57 ··· 出力部
59 ··· 誤差検出部
61 ··· 係数乗算部
63 ··· 整数化部
65 ··· 誤差補正部
67 ··· 差分量子化範囲抽出部
69 ··· 分布比率解析部
発明を実施するための最良の形態 <実施の形態 1>
<デジタルスチルカメラの構成 > 図 1は、本実施の形態によるデジタル信号圧縮符号化 ·復号化装置 (コーデック (C ODEC) ) 13を実装したデジタルスチルカメラ（DSC) 1のブロック図である。図示しな い被写体よりレンズ 3に入射した光は、レンズ 3によって集光され、撮像素子 5の図示 しない受光部において結像する。撮像素子 5は、 CCD型撮像素子である。撮像素子 5の図示しない画素は、入力される光の量に応じて電荷を蓄積する。蓄積された電荷 は撮像素子駆動部 7により所定のタイミングでアナログ画素信号として出力され、前 信号処理部 9に送られる。前信号処理部 9は、アナログ画素信号に前処理を施し、ァ ナログ Zデジタル変換部 11にアナログ画素信号を送る。アナログ Zデジタル変換部 (ADC) 11は、アナログ画素信号を、デジタル画素信号に変換し、デジタル形式で 画素値データを出力する。
撮像装置であるデジタルスチルカメラ 1にお ヽては、 ADC11より出力された、デジ タル形式の画素値データであるデジタル画素信号は、デジタル信号圧縮符号化 ·復 号化装置（CODEC) 13に入力される。 CODEC 13は、入力されたデジタル画素信 号を解析しデジタル画素信号を圧縮符号化した圧縮符号化画素値データ、圧縮符 号化に係る情報等、をバッファメモリである SDRAM15に送る。これら SDRAM15に 送られるデータ群は、圧縮符号化画像データを構成する。 CODEC13における圧縮 符号ィ匕および復号ィ匕は、以下で詳細に説明する。出力される圧縮符号化画素値デ ータ等は、 SDRAM 15に記憶される。 SDRAM 15に記憶された圧縮符号化画素値 データ等は、 CODEC13に再び送られ、復号化され、復号化画素値データが生成さ れる。復号ィ匕画素値データは、 YC処理部 17に送られ、輝度および色差データに変 換され、再び SDRAM 15に送られ、記憶される。 SDRAM 15に記憶された輝度およ び色差データは、 JPEG処理部 19に送られ、 JPEG圧縮処理され、 JPEGデータ化さ れた画像データ (JPEG画像データ）が SDRAM15に記憶される。 JPEG画像データ は、 DMA制御等によって高速に外部記憶媒体である SDカード 25に送られ、記憶さ れる。制御部 21に含まれる図示しない CPUは、制御部 21に含まれる図示しないメモ リに記憶されたプログラムを実行し、上記の処理を制御する。また、制御部 21は、 SD RAM 15に記憶された情報を、外部インターフェース 23を介して表示部 27および S Dカード 25に送ることもできる。また、 SDカード 25に記憶された情報を読み出すこと も可能である。
[0055] なお、撮像素子 5は、 MOS型撮像素子でもよい。撮像素子 5は、赤色にセンスする 画素、緑色にセンスする画素、および、青色にセンスする画素の 3色にセンスする画 素を備える撮像素子に限定されない。補色系の画素を備えた撮像素子であってもよ い。また、互いに異なる 2色にセンスする 2種類の画素のみを備えた撮像素子であつ てもよい。さらには、 1色にのみセンスする画素を備える撮像素子であってもよいし、 特定の波長帯域の光にのみセンスする画素ではなぐ広く光にセンスする単一の特 性の画素を複数備える撮像素子であってもよい。外部記憶媒体は、 SDカード 25に 限定されず、一般的にデジタルカメラの画像記憶媒体として用いられて ヽるものであ ればよい。
[0056] 図 2は、 SDRAM 15の記憶領域の使用状況を模式的に表した図である。上述のよ うに SDRAM 15〖こは、 3種類のデータ、即ち圧縮符号化画像データ、輝度および色 差データ、 JPEG画像データ、が記憶されることになる。本明細書においては、圧縮 符号化画像データが記憶される領域を記憶領域 15a、輝度および色差データが記 憶される領域を記憶領域 15b、そして、 JPEG画像データが記憶される領域を記憶領 域 15cと称する。本図に示した記憶領域の境界 (破線）は、形式的なものであって実 際の使用比率を表すものではない。
[0057] 本発明にかかる撮像装置 1では、撮像において、先ず、撮像素子 5から出力された 信号値に基づくデジタル画素信号 (RAWデータ）は、 CODEC 13で圧縮符号化さ れて圧縮符号化画素値データ (圧縮符号化画像データを構成するデータ群の一部） として記憶領域 15aに記憶される。次に、 CODEC 13で復号ィ匕処理された後、 YC処 理部 17に送られ、データ処理を受けて輝度および色差データとして記憶領域 15bに 記憶される。そして、輝度および色差データは、 JPEG処理部 19で JPEG圧縮処理さ れ、 JPEG画像データとして記憶領域 15cに記憶される。その後で JPEG画像データ は、 SDカード 25に転送される。 JPEG画像データの生成は、他の処理に比して時間 の力かる処理であるため、連写のような、連続的撮像を実行すると、 JPEG処理を待 つデータが増加し、 SDRAM 15の記憶領域を圧迫する。そのため、少しでも SDRA M15の記憶領域を有効に使用し、連写可能枚数を多くするためには、記憶領域 15a の使用量を小さくすることが有効である。本発明によるデジタル信号圧縮符号化は、 デジタル画素信号 (RAWデータ）を圧縮符号ィ匕して SDRAM15に送ることで領域 1 5aの使用量を小さくするという効果を有する。これにより、領域 15bおよび領域 15cに 使用できる記憶領域を大きくとることができ、ひいては、デジタルスチルカメラ 1の連写 可能枚数を増加させる。また、 CODEC13と SDRAM15間を往来するデータ量は減 少するため、処理時間の短縮、および、消費電力の低減という効果も得られる。
[0058] 次に、本実施形態に力かるデジタルスチルカメラ 1即ち撮像装置のデジタルデータ 符号ィ匕および復号ィ匕装置である、 CODEC13における処理について詳述する。
[0059] CODEC13の構成の説明の前に先ず、図 3を参照し、 CODEC13に入力されるデ ジタル画素信号 (RAWデータ）について説明する。図 3は、撮像素子 5の受光部に おける画素 29の配列を示す図である。受光部には、複数の画素 29が配され、画素 2 9はそれぞれ、赤色 (R)、緑色 (G)、または青色 (B)の 、ずれかのカラーフィルタを有 する。カラーフィルタにより、画素 29のそれぞれがセンスする波長帯域 (可視光領域 においては、色）は、限定される。異なる色 (波長帯域）にセンスする画素は、受光部 において周期的に配置されている。 3色のカラーフィルタの配列の様式は、所謂べィ ャ配列である。画素 29に蓄積された電荷は、撮像素子駆動部 7 (図 1参照。 )によつ て、 1ラインごとに、左側の画素力も順に出力される。例えば、先ず第 1ライン L1の左 端の画素 G1から順に、 Gl、 Rl、 G2、 R2、 . . .の順に蓄積電荷が読み出され、次 に、第 2ライン L2の左端の画素 B1から順に、 Bl、 Gl、 B2、 G2、 . . .の順に蓄積電 荷が読み出される。読み出された電荷は、前信号処理部 9で前処理が施され、 ADC 11においてデジタル画素信号に変換される。 ADC11においては、各画素からの信 号を 12ビットのデジタル画素信号に変換する。よって、 CODEC13には、それぞれ 1 2ビット長を有するデジタル画素信号 (画素値データ）が、第 1ライン L1の左端の画素 、 Gl、力 のデジタル画素信号から順に、画素 Gl、画素 Rl、画素 G2、画素 R2、 . . .の順に入力される。第 1ライン L1に含まれる画素からのデジタル画素信号の入力が 終了すると、次に第 2ライン L2に含まれる画素力 のデジタル画素信号が同様に CO DEC13に入力される。
[0060] <コ一デック 13の構成 > 図 4は、本実施形態における CODEC13のブロック図である。これより CODEC13 の構成について、符号化および復号化される信号の流れに沿って概説する。 CODE C13の詳細な動作説明は、後文にてデジタル画素信号の値、即ち画素値に具体的 な値を例示目的で用いて示す。
[0061] 図 4を参照すれば、 CODEC13は符号ィ匕部 31と復号ィ匕部 33に大別される。デジタ ルデータ符号化装置を構成する、符号化部 31は、 ADC11からの出力を入力し、 S DRAM15および復号ィ匕部 33にデータを出力することができる。デジタルデータ復 号化装置を構成する、復号化部 33は、符号ィ匕部 31および SDRAM15からの出力 を入力し、符号ィ匕部 31および YC処理部 17にデータを出力することができる。
[0062] <符号化部 31における圧縮符号化処理 >
これより、図 4および図 5Aを参照し、 CODEC13の符号化部 31における、画素値 データ（デジタル画素信号値)の圧縮符号化にかかる処理について説明する。図 5A は、圧縮符号ィ匕処理のフローチャートである。
[0063] ADC11の出力である各画素の画素値は、所定のタイミングで処理対象画素値入 力部 35に入力される。本実施形態においては、各デジタル画素信号値 (画素値デ ータ）は 12ビット長のデジタルデータである。即ち、入力画素値データビット長 dは、 本実施形態においては 12である。
[0064] 図 4を参照すれば、入力部 35に入った画素値データは処理対象画素値として、初 期画素値生成部 45と、差分生成部 37と、量子化処理部 47と、画素値記憶部 39とに 送られる。
[0065] 初期画素値生成部 45は、送られてきた処理対象画素値を d( = 12)ビット長の初期 画素値データとしてパッキング部 51に送る。ノ ッキング部 51は、圧縮符号化画像デ ータの生成を行う圧縮符号ィ匕画像データ生成部 51a、および、出力を行う圧縮符号 化画像データ出力部 5 lbを有する。パッキング部 51の生成部 51aは、送られてきた 初期画素値データを圧縮符号ィヒ画像データに記録する必要があると判断すれば、 圧縮符号化画像データに含めるように処理し、その画素値データを初期画素値デー タとして記録する必要がない場合には、送られてきた初期画素値を無視する。初期 画素値は、画素の各色（R、 G、 B)について、 1フレーム分の画像データ内に少なくと も 1つあればよい。だ力 本実施形態においては、後述する sビット長のパッキングデ ータ毎に、各色の画素値について初期画素値データを少なくとも 1つ記録する。ある ノ ッキングデータについて、一切記録されない色の画素値については、初期画素値 データを記録する必要はない。ここでは、初期画素値生成部 45は、実質的には何ら 特別な処理をするものではなぐ入力したデータをそのまま出力する。処理対象画素 値を初期画素値データとしてパッキング部 51に入力する処理を明確化することを目 的として初期画素値生成部 45は、図示されている。（図 5A、ステップ S101および S1 02)。
[0066] 画素値記憶部 39は、複数の画素値データを一時記憶し、適切なタイミングで差分 生成部 37、量子化処理部 47に出力する。これら記憶される画素値は、現在の処理 対象画素値よりも先に画素値データとして CODEC 13に入力された、以前の処理対 象画素値、および、先に圧縮符号化され、復号化部 33に送られ、復号化にかかる処 理を受けて復号化された画素値、即ち復号化画素値データ、のいずれかである。記 憶部 39は、記憶している複数の画素値データのうちから、現在の処理対象画素値と 同色であって撮像素子の受光部にお!/、て現在の処理対象画素値の出所である画素 の近傍に位置する画素 29 (図 3参照。）の画素値データ、または、圧縮符号化処理を 受け、さらに復号化された復号化画素値データを、所定のタイミングで近傍左方同色 画素値として差分生成部 37に送る。この、近傍左方同色画素値は、通例、受光部に おいて、現在の処理対象画素値の示す画素よりも左方にある。同一ラインで左方に 同色の画素が存在しな ヽ場合には、上方のラインで近傍に存在する同色画素の画 素値を近傍左方同色画素値として使用すればよ!ヽ。記憶された画素値が存在しな 、 場合には、所定の値を近傍左方同色画素値として出力するなどしてもよい。なお、本 実施形態においては、処理対象画素に最近接した同色画素を、近傍に位置する同 色画素として用いているが、最近接せずとも、近傍に位置する画素であれば、差分生 成に用いてよい。
[0067] 差分生成部 37は、入力部 35から送られてきた処理対象画素値と、記憶部 39から 送られてきた近傍左方同色画素値との差分（ =処理対象画素値 近傍左方同色画 素値)を生成する。（図 5A、ステップ S103。）ただし、現在の処理対象画素値が、初 期画素値として記録された場合、差分生成部 37における現在の処理対象画素値に 対する処理は不要である。生成された差分の値は、画素差分値として差分量子化範 囲決定部 41に送られる。
[0068] 差分量子化範囲決定部 41は、差分生成部 37から送られる、各処理対象画素値に 関する差分値の絶対値、即ち差分絶対値に基づき、各処理対象画素値の差分絶対 値の「量子化範囲」を求める。この「量子化範囲」とは、差分絶対値を 2進数で表現し た数、差分絶対値 (2進表記)、の桁数を指す。つまり、差分絶対値の符号つきもしく はなし整数バイナリ表現、即ち、差分値の符号なし整数バイナリ表現、に必要な桁数 (ビット数)を意味する。量子化範囲は、ゾーン量子化幅決定部 43に送られる。（図 5 A、ステップ SI 04。）
[0069] ゾーン量子化幅決定部 43においては、後述する同一の「ゾーン」に含まれる別の 画素、即ち第 2画素、第 3画素、第 4画素等、の量子化範囲が、差分量子化範囲決 定部 41より送られてくるのを待って、以下の処理を開始する。（図 5A、ステップ S105 。；)ここで、「ゾーン」とは、近接する複数の所定数の画素で構成された画素の集合、（ および、それら画素の画素値の集合、）を指す。「近接」する画素とは、ある画素に対 し隣接する力または最も近い画素を指す。ゾーンに含まれる全ての画素は、同一の ゾーンに含まれる他の画素の!/、ずれかと隣接して 、る。本発明による CODEC13は 、同一のゾーンに含まれる画素値を、後述する同一の「ゾーン量子化幅」、即ち量子 化幅、に基づいて同一の量子化精度 (量子化代表値間隔)で量子化する。 1つのゾ ーンに含まれる画素の数は、本実施形態においては、 4 (p =4)である。ただし、ゾー ンに含まれる画素の数、 p、は、 4に限定されず、 1以上受光素子総画素数以下の整 数であればよい。また、画像 1フレーム分の画素値に対する圧縮符号化において、ゾ ーンに含まれる画素の数 pが可変であってもよい。初期画素値として使用される画素 値データを出力した画素にっ 、ては、ゾーンに含まなくてよ!、。
[0070] 量子化幅を決定するブロックである、ゾーン量子化幅決定部 43では、処理対象画 素値の量子化の際の量子化係数もしくは量子化幅に関する情報、である、ゾーン量 子化幅を決定する。（図 5A、ステップ SI 06。 )
[0071] 「ゾーン量子化幅」は、同一のゾーンに含まれる画素値を量子化するときの量子化 代表値の幅（間隔）についての情報を量子化処理部 47に伝えるためのデータと言う こともできる。このゾーン量子化幅は、 0以上の整数値である。ゾーン量子化幅は、ゾ ーンに含まれる画素値の近傍左方同色画素値との差分値の最大値である最大画素 値差に対応する量子化範囲に 1を加えた値と、画素値データを圧縮符号化したデー タのビット数 n、即ち「圧縮符号化画素値データビット数 (n)」との差に等し 、。この「圧 縮符号ィ匕画素値データビット数 (n)」は、所定の値であり、本実施の形態においては 、この値、 n=8である。これは、入力された処理対象画素値が 12ビット長のデータで あるのに対し、その画素値に対応する圧縮符号化画素値データは、 8ビット長を有す るデータとして記録されることを意味する。ただし、この圧縮符号化画素値データのビ ット数 nは、 8に限定されない。また、画像 1フレーム分の画素値に対する一連の圧縮 符号ィ匕において、この値が可変であってもよい。また、上記演算の結果、ゾーン量子 化幅が負の数になった場合、ゾーン量子化幅は、 0とする。
[0072] ここで、「量子化代表値間隔」とは、整数値の量子化において同一の量子化値に含 まれる元の整数値の個数と言うこともできる。例えば、ある整数値を表すデジタルデ ータの量子化に際し一切の丸めを行わない場合、量子化代表値間隔は、 2の 0乗 = 1である。この場合、この整数値とその量子化値とは 1対 1の対応を保って量子化され る。また量子化代表値間隔 = 2の 1乗 = 2であるとは、整数値を表しているデジタルデ ータの量子化に際し、最下位 1ビットが丸められることを意味する。この結果、 2種類 の整数値を表して 、た 2種類のデジタルデータ力 同一の量子化値に量子化される 。また、量子化代表値間隔が、 2の 2乗 =4であるとは、整数値を表すデジタルデータ の量子化に際し、整数値を表すデジタルデータの下位 2ビットが丸められることを意 味する。この結果、異なる 4種類の整数値を表していた 4種類のデジタルデータが、 同一の量子化値に量子化される。下位 3ビット以上を丸める場合も、同様である。
[0073] 決定されたゾーン量子化幅は、量子化処理部 47と、クラス値符号生成部 49に送ら れる。
[0074] 量子化幅情報データを生成するクラス値符号生成部 49は、送られてきたゾーン量 子化幅に対応する mビットの「クラス値」、即ち、量子化幅情報データ、をパッキング部 51に送る。本実施形態においては、 m= 2である。この「クラス値」は、各ゾーンに含 まれる画素値データの量子化における量子化係数 (量子化によって丸められるビット 数)を示すデータであって、圧縮された画素値データである圧縮符号化画素値デー タと共にパッキング部 51で処理され、記録される。（図 5A、ステップ S107。 )
[0075] 図 4に戻り、量子化処理部 47は、送られた処理対象画素値、近傍左方同色画素値
、ゾーン量子化幅、に基づいて量子化を行い、結果を処理対象画素値の圧縮値であ る圧縮符号化画素値データとしてパッキング部 51に送る。（図 5A、ステップ S108。 ) [0076] 量子化処理部 47は、
量子化参照値を決定する量子化参照値決定部 47aと、
画素値データと量子化参照値力 オフセット候補値またはオフセット候補値を設定す るオフセット値設定部 47bと、
ゼロ以下のオフセット (候補)値から、ゼロ値を有するオフセット値を設定するオフセッ トゼロ設定部 47eと、
実際に量子化する値である被量子化処理値を設定する被量子化処理値設定部 47c と、
被量子化処理値を量子化する量子化部 47dと、を含んでいる。量子化処理部 47に おける処理は、以下に記す処理例を用いて詳述する。
[0077] パッキング部 51は、入力された各種データ、即ち、圧縮符号化データ群、を複数集 めて適当なサイズにパッキングする機能（生成部 51a)を有し、また、パッキングされた データを SDRAM15と、アンパッキング部 53に出力する機能（出力部 51b)を有する 。また、ノ ッキングせずに、各データをそのまま出力することも可能である。本実施形 態では、圧縮符号ィ匕画像データであるパッキングデータの大きさは、 sビットである。 s (s :自然数）は、例えば 8の整数倍（8、 16、 · · ·、 64、 · · ·、 96等）である。パッキング データの後部において、有意なデータを記録することに使用することができない程度 の小さな未使用ビットが残存する場合、所定のダミーデータを記録すればょ ヽ。
[0078] <復号化部 33における復号化処理 >
圧縮符号ィ匕画像データを入力するブロックであるアンパッキング部 53は、パッキン グ部 51から送られた、ノ ッキングデータもしくはパッキングされていないデータ、およ び、 SDRAM 15から送られたパッキングデータを解析し、パッキングデータは、初期 画素値データを含む初期画素値データ部、クラス値を含む量子化幅情報データ部、 圧縮符号化画素値データを含む圧縮符号化画素値データ部に分離され、さらに各 データ部は、 1つまたは複数のデータに分離され、各データは逆量子化処理部 55へ 送られる。
[0079] 逆量子化処理部 55は、
初期画素値データまたは復号化された画素値データと、量子化参照値とを用いてォ フセット値を設定するオフセット値設定部 55aと、
圧縮符号化画素値データを逆量子化して逆量子化画素値データを求める逆量子化 咅 55bと、
画素値データまたは復号化された画素値データと、逆量子化画素値データとを用い て復号化画素値データを生成する復号化画素値生成部 55cと、
ゼロ以下のオフセット値またはオフセット候補値を、ゼロに設定するオフセット値ゼロ 設定部 55dと、
量子化幅を設定する量子化幅設定部 55eと、
量子化参照値を設定する量子化参照値設定部 55fと、を含んで ヽる。
[0080] 逆量子化処理部 55は、送られてきた各種データを用いて、圧縮符号化画素値デ ータを、量子化処理部 47と逆の処理を行って逆量子化して逆量子化画素値データ を求め、逆量子化画素値データをさらに処理することで復号化された復号化画素値 データを得る。復号ィ匕画素値データ (本実施形態においては 12ビット長データ）は、 出力部 57に送られる。初期画素値データは、 12ビット長の実データとして送られてく るため、そのまま、出力部 57に送られる。
[0081] 出力部 57は、送られてきた初期画素値データ、復号化画素値データ、を YC処理 部 17や、画素値記憶部 39に送る。画素値記憶部 39では、送られてきた復号化画素 値データを、別の処理対象画素値の差分生成処理および量子化に用いることができ る。
[0082] <圧縮符号化処理例 >
これより、処理対象画素値等に具体的数値を与え、図 5B、図 6、および、図 7を参 照し、本実施形態の CODEC13における圧縮符号化処理、および、復号化処理を 詳細に説明する。図 5Bは、図 5Aのステップ S108にかかる処理の詳細を示すフロー チャートである。
[0083] ADC 11より所定のタイミングで、処理対象画素値入力部 35に、 12ビットデータが 入力される。画素 G1の画素値 glが先ず入力され、次に、画素 R1の画素値 rlが入 力され、同様に、 g2、 r2、 g3、 r3、 · · ·と入力される。 1回の撮像において、各色につ いて最初に入力される画素値 (本例においては、 gl、 rl)は、初期画素値生成部 45 に送られ、初期画素値データとして処理され、パッキング部 51に送られることが望ま しい。初期画素値は、実データのまま記録され、差分生成処理、量子化処理は行わ れない。ただし、次の同色画素の画素値データを圧縮符号ィ匕処理する際に必要なた め、量子化処理部 47および画素値記憶部 39に送られ一時的に記憶される。また、 所定の画素数間隔で処理対象画素値のデータを初期画素値データとして処理すれ ば、量子化による誤差の蓄積をリセットする効果が期待され、入力画像に対する再生 画像の SN比の改善が期待される。
[0084] 本実施形態は、 1つのゾーンに、 4つの画素を含むように構成されている（すなわち P=4)。初期画素値データとして取り扱われる画素値 gl、 rlは、そのままパッキング 部 51に送られ、ノ ッキングデータに、それぞれ 12ビット幅のデータとして記録される。 次に、画素 G2、 R2、 G3、 R3が第 1のゾーンに含まれる画素として取り扱われる。第 2、第 3のゾーンについても同様である。
[0085] 次に第 1ゾーンに含まれる画素の画素値 g2、 r2、 g3、 r3に関する処理を説明する。
画素値 gl、 rl、 g2、 r2、 g3、 r3には、下表 (表 1)に記す値を具体値例として用いる。 表 1
[表 1] 画素 G1 R1 G2 画素値 gl rl g2
画素値
2000 250 2100
(1 0進表記）
画素値
01 11 11010000 00001 11 11010 1000001 10100
(2進表記）
画素 R2 G3 R3 画素値 r2 g3 r3
画素値
50 1 700 100
(1 0進表記）
画素値 000000110010 001 110100100 000001100100
(2進表記）
画素値 g2を処理対象画素値とし、 g2を、量子化処理部 47、差分生成部 37、画素 値記憶部 39に送る。このとき、画素値記憶部 39からは画素値 glが近傍左方同色画 素値として差分生成部 37に送られ、両画素値力 差分値が求められる。つまり、この ときの差分値を Δ g2とすれば、
A g2=g2-gl
である。この差分値 A g2は、差分量子化幅決定部 41に送られる。
この差分生成処理を一般化すれば、
A ci=ci— c (i— 1)、 （cは、画素の色を示し、 c :r、 g、または、 bであり、 iは、画素の順 番を示す整数である。）となる。 ciは、処理対象画素値であり、 c (i— 1)は、近傍左方 同色画素値であって、画素値記憶部に記憶された、以前に入力された処理対象画 素値、または、一旦圧縮符号化処理され、復号化された、復号化画素値データであ る。 i= lの場合のように、添え字「i—l」の示す画素値データが存在しない場合、撮 像素子の受光部において、処理対象の画素の上方近傍に位置する画素の画素値 データを用いるなどしてもよい。本例では、以前に入力された処理対象画素値を近 傍左方同色画素値として用いる。第 2ゾーン以降のゾーンに含まれる画素値の差分 生成において、復号ィ匕画素値データを近傍左方同色画素値として用いることも可能 である。 [0087] 同様にして、処理対象画素値 r2に関する差分値 A r2、処理対象画素値 g3に関す る差分値 A g3、処理対象画素値 r3に関する差分値 A r3が求められる。処理対象画 素値 g3については、画素値記憶部 39に記憶された画素値 g2との差分値が A g3と なる。
[0088] 差分量子化幅決定部 41は、送られてきた各差分値の絶対値、即ち差分絶対値、を 求め、差分絶対値を 2進数表記した場合の桁数、即ち量子化範囲 (必要ビット数、 bit 0)、を求める。
[0089] A g2については、差分値が + 100であるため、差分絶対値はそのまま、 100となり 、 10進数 100は、 2進数では、 1100100となる。そのため、必要ビット数 bit ( I A g2 I )は、 7となる。本明細書において、これ以降、 10進数 Xは、 &D (X)と表記し、 2進 数 Yは、 &B (Y)と表記する。同様に得られた 4つの量子化範囲 (bit ( I A g2 I )、bi t ( I Δ Γ2 I )、bit ( I A g3 I )、bit ( I Δ Γ3 I ) )は、ゾーン量子化幅決定部 43に送 られる。
[0090] 差分量子化幅決定部 41における処理を一般化すれば、差分値の絶対値、即ち差 分絶対値、を求め、 2進数で表記された差分絶対値の桁数を量子化範囲としてゾー ン量子化幅決定部 43に出力する、となる。
[0091] ゾーン量子化幅決定部 43は、第 1のゾーンに含まれる画素の画素値に関するそれ ぞれの量子化範囲の入力を待って、ゾーン量子化幅を求める。
[0092] ゾーン量子化幅は、そのゾーンに含まれる画素の量子化範囲の最大値に 1をブラ スした値と、圧縮符号ィ匕画素データビット数との差に等しい。但し、負の数になった場 合は、ゼロとする。すなわち、ゾーン量子化幅は、そのゾーンに含まれる画素と近傍 左方同色画素値との差分絶対値中の最大値である最大画素値差に基づいて決定さ れる。
[0093] 本実施形態においては、画素値データは、 8ビット長の圧縮符号化画素値データ に圧縮符号化されるので、圧縮符号ィ匕画素値データビット数 n= 8である。よって、ゾ ーン量子化幅は、 2 ( = 9 + 1— 8)となる。
[0094] ゾーン量子化幅決定部 43は、ゾーン量子化幅を決定すると、ゾーン量子化幅を量 子化処理部 47、クラス値符号生成部 49に送る。 [0095] 量子化処理部 47においては、送られた処理対象画素値と近傍左方同色画素値と の差分値に基づく値である「被量子化処理値」を、ゾーン量子化幅に基づ!、て量子 化する。
[0096] 第 1のゾーンのゾーン量子化幅は、 2である。ゾーン量子化幅と、量子化処理部に おいて実行される量子化の精度および量子化代表値の間隔との間には相関関係が 存在し、ゾーン量子化幅が増大するにつれ、量子化代表値の間隔も増大する関係に ある。本発明は、同一のゾーンに含まれる画素値から量子化処理すべき値を求めて いる。量子化の精度は高いことが望まれる（量子化代表値の間隔は狭いことが望まれ る）が、量子化すべき値が大きな値の場合、量子化の精度を下げて、量子化すべき 値を所与のビット長を有する符号に変換する必要が生じる。その場合には、量子化の 精度を下げ、すなわち量子化代表値の間隔を拡大する。ゾーン量子化幅は、可能な 量子化精度に関する指標となる。ゾーン量子化幅と量子化の精度 (または、量子化 代表値の間隔)との関係は、所望の符号のビット長との関係を考慮し、決定すればよ い。
[0097] 本例においては、量子化代表値間隔を 4として、つまり、被量子化処理値の下位 2 ビットを丸め、 8ビット長の圧縮符号ィ匕画素値データを求める。
[0098] 本発明の CODEC13においては、差分値をそのまま量子化するのではなぐ処理 対象画素値と、その近傍左方同色画素値を基に、先ず「被量子化処理値」を算出し
、その被量子化処理値を量子化し、その値を圧縮符号化画素値データとして出力す る。
[0099] 本例における処理対象画素値、差分値、圧縮符号化画素値データと、処理過程に おいて使用する値とを共に表 2に示す。
表 2
[表 2] 画素 G1 1 G2 2
画素値 g1 r1 g2 r2
画素値（10進表記） 2000 250 2100 50 画素 G2 R2 G3 R3
画素値 g2 r2 g3 r3
画素値（10進表記） 2100 50 1700 100 差分値 Ag2 ΔΓ2 Ag3 ΔΓ3
差分値（10進表記） 100 -200 -400 50
&D(2)
選択されたクラス
(&B(10))
4
量子化幅
(=2 (10-8》
10ビッ卜精度 （12— (10— 8))
量子化精度
(10ビット長データを 8ビット量子化）
量子化参照値 512
( = 2、量子化精度一 1)) (=2"(10-1))
オフセット候補値
(近傍左方同色画素値 1488 -262 1588 -462
一量子化参照値）
オフセット候補値の符号 + ― + - オフセット値 1488 0 1588 0 被量子化処理値
(10進表記)
612 50 112 100
(=処理対象画素値
—オフセット値）
被量子化処理値（2進表
0011100100 0000110010 0001110000 0001100100 記）
量子化値（2進表記）
00111001 00001101 00011100 00011001
(圧縮符号化画素データ）
先ず、画素 G2の画素値データの圧縮符号ィヒ画素値データの算出を例に量子化 処理を説明する。第 1のゾーンの量子化幅は、 4である。（データの下位 2ビットを丸め ることにより、 10ビット長データから 8ビット長データを得る。よって、 12ビット長の画素 値に関するデータは、 2ビット分丸められて 10ビット精度で量子化される。）この場合 、「量子化参照値」（=2の（量子化精度— 1)乗）は、 512となる（図 5Β、ステップ S10 8a) οすなわち、「量子化参照値」は、最大画素値差に基づいて決定されるゾーン量 子化幅により定まる量子化精度から一意に求まる。つまり、量子化参照値は、最大画 素値差に基づいて決定される。なお、量子化参照値は、最大画素値差以上の値で あればよい。次に、画素値 g2の近傍左方同色画素値である画素値 glから、この量子 化参照値を差し引き、「オフセット候補値」を得る（図 5B、ステップ S108b)。オフセッ ト候補値の符号を調査し、符号が非負である場合、オフセット候補値をそのまま「オフ セット値」とする。オフセット候補値が負であれば、オフセット値は、 0とする（図 5B、ス テツプ S108c、 S108d、 S108e)。次に、処理対象画素値 g2力ら才フセット値を差し 引いて「被量子化処理値」とする（図 5B、ステップ S108f)。この処理は、差分値 A g2 と量子化参照値の和を、「被量子化処理値」とする、と換言することもできる。この値は 、画素 G2では、 &B (0011100100)である。この被量子化処理値の下位 2ビットを 丸め、量子化値 (圧縮符号化画素値データ）、 &B (00111001)を得る（図 5B、ステ ップ S108g)。丸められるビット中の最上位のビットが「1」であれば、丸められないビッ ト中の最下位ビットに「1」を加算した値を圧縮符号ィ匕画素値データとする。「1」の加 算により繰り上がりが生じる場合には、当然、その他のビットも変化する。なお、オフセ ット候補値が負となった場合、オフセット候補値を、オフセット候補値の下位 rビットを 除き、その他のビットをゼロにして得られる値としてもよい。ここで、 rは、量子化で丸め られるビット数に等しい。例えば、ゾーン量子化幅が 4の場合、量子化において 2ビッ トの丸めが行われるので、下位 2ビットを除いてゼロにした値、 &B (0000000010)、 をオフセット値として以降の処理を行ってもよい。その場合、画素 R2の被量子化処理 値は、 &D (48)となる。
[0101] 次に、画素 R2の画素値 r2の量子化を例に説明する。 r2の近傍左方同色画素値は 、 rlである。よって、オフセット候補値は、 262となる。オフセット候補値が負になつ た場合、オフセット値は、 0である。そのため、被量子化処理値は、画素値 r2の上位 2 ビットを取った 10ビット長の画素値 r2そのものとなり、その値は、 &B (0000110010 )である。この被量子化処理値の下位 2ビットを丸め、量子化値 (圧縮符号化画素値 データ） &B (00001101)を得る。同様にして、画素 G3の画素値 g3の圧縮符号化 画素値データ &B (00011100)および画素 R3の画素値 r3の圧縮符号化画素値デ ータ &B (00011001)を得る。
[0102] 図 6および図 7を参照し、量子化処理部 47の処理で使用した各量、処理過程を示 す。図 6は、本例で用いた画素値、 gl、 rl、 g2、 r2、 g3、 r3と諸量の関係をプロットし たグラフである。画素値は、 12ビットデータとして与えられる、 0以上 4095以下の整 数値である。画素値 g2の量子化においては、画素値 glと量子化参照値に基づいて 、 g2のオフセット値を求め、画素値 g2から g2のオフセット値を差し引いた値を、 g2の 被量子化処理値とする。また、 g2の被量子化処理値は、量子化参照値と差分値 A g 2の和に等しい。よって、画素値 glおよび画素値 g2を用いずとも、 g2の被量子化処 理値を求めることは可能である。画素値 r2および r3の量子化においては、オフセット 値は 0となる。そのため、 r2および r3の被量子化処理値は、画素値 r2に等しい。画素 値 g3の量子化においては、画素値 g2と量子化参照値に基づいて、 g3のオフセット 値を求め、画素値 g3から g3のオフセット値を差し引いた値を g3の被量子化とする。こ の g3の被量子化値も、量子化参照値と差分値 A g3の和に等しい。そのため、画素 値 g2および画素値 g3を用いずとも、 g3の被量子化処理値を求めることは可能である
[0103] 図 7は、画素値 g2を例に、量子化処理の詳細について例示するグラフである。全て の画素値の被量子化処理値は、 0以上、量子化参照値の 2倍 (本例においては、 & D (1024) )以下の値である。量子化において、 g2の被量子化処理値は、量子化幅 4 で丸められる。そのため、 g2の量子化値は、 &D (153)となる。この値を、 2進数 8ビ ットで表した値、 &B (00111001)力 画素 G2に関する、圧縮符号化画素値データ となる。参考までに、被量子化処理値の丸めにかかる切り上げと切り捨ての例を図 7 に示している。例えば、被量子化処理値が、 &D (602)力も &D (605)であれば、量 子化値は &D (151)となり、また、被量子化処理値が、 &D (598)から &D (601)で あれば、量子化値は &D (150)となる。このように、丸められるビット中の最上位ビット 力 S「l」であれば、切り上げられ、「0」であれば、切り捨てて丸められる。なお、量子化 処理部 47における量子化に際し、単純なビットシフト（丸められるビットは全て切り捨 て）を行ってもよい。
[0104] 上記のように求めた、各画素値の量子化値は、 8ビット長の圧縮符号化画素値デー タとしてパッキング部 51に送られ、パッキングデータの生成（図 5B、ステップ S108h) およびパッキングデータの出力（図 5B、ステップ S108i)に供される。第 2のゾーン以 降に含まれる画素値は、パッキング部 51から復号化部 33に送られて復号化された復 号ィ匕画素値データを画素値記憶部 39に送って記憶すること、および、量子化処理部 47に同データを送ること、により近傍左方同色画素値として量子化処理に使用する ことができる。
[0105] くクラス値符号生成部 49におけるクラス値符号の生成 >
クラス値符号生成部 49においては、送られたゾーン量子化幅に基づき、クラス値を 、 mビット長のデータとして、ノ ッキング部 51に送る。本実施形態においては、 m= 2 である。ゾーン量子化幅が 2であれば、それに対応する 2ビット長のクラス値データが ノ ッキング部 51に送られる。クラス値データのビット長さ mは、 2に限定されない。本 実施形態においては、 4種類のクラス値を使用するため、 m= 2としているに過ぎない 。より多くの種類のクラス値を必要とする場合には、 mをより大きな整数値とすればよ い。このクラス値は、量子化の精度 (または量子化代表値の間隔）に関するインデック スである。
[0106] くパッキング部 51におけるデータのパッキング >
ノ¾ /キング部 51に送られた初期画素値データ、圧縮符号化画素値データ、および 、量子化幅情報データであるクラス値データは、即座にアンパッキング部 53に送られ 、復号化部 33において復号化され、後続の処理対象画素値の圧縮符号化に用いる ことができる。また、 SDRAM15に対しては、 SDRAM15とのアクセス単位（例えば 3 2ビット）の整数倍である、 sビットにデータ幅を調整し、 sビット長のパッキングデータと して SDRAM 15にデータを送ることができる。
[0107] ここでは、主に SDRAM15とのアクセスを考慮したデータのパッキングに関し、説 明する。
[0108] 1つのパッキングデータは、 sビット長である。このビット長 sは、 8の整数倍であること が好ましい。
[0109] 本実施形態では、各パッキングデータに、各色画素について少なくとも 1つの画素 値を、初期画素値データとして記録する。本例では、画素値 glおよび rlについて、 初期画素値データとして、 d (d= 12)ビット長の CODEC13に入力された画素値デ ータがそのまま記録される。ノ ッキングデータには、ゾーン量子化幅を示す、 m (m= 2)ビット長のクラス値も記録され、さらに、そのゾーンに含まれる画素の圧縮符号化画 素値データが、 n (n= 8)ビット長のデータとして記録される。 1つのゾーンに含まれる 画素数 Pは、 p =4としているので、画素 G2、 R2、 G3、 R3の圧縮符号化画素値デー タカ それぞれ 8ビット長データとして記録される。さらに、次のゾーンのクラス値およ びそのゾーンに含まれる画素の圧縮符号ィ匕画素値データを記録することもできる。
[0110] 上記各種データは、トータルのデータ長力 sビットを超えないように 1つのパッキン グデータにまとめられる。パッキング処理でトータルデータ長が sビットにならな!/、場合 、余ったビットには、所定のダミーデータを追カ卩し、 sビットのパッキングデータを作成 すればよい。パッキングデータは、 SDRAM15に送られ、記憶される。
[0111] 本実施形態において、各パッキングデータで、各色画素について最初に記録され る画素値データを、初期画素値データとして記録するのは、圧縮符号化データを読 み出す際の利便性の向上を図るためである。 SDRAM15に記録された画像 1フレー ム分の圧縮符号化画像データからデータを読み出す場合であって、読み出したいデ ータが、画像 1フレームを構成する画素値のデータの一部分のみである場合、上記 のように記録しておけば、読み出したい画素のデータが含まれる近傍のデータを、 s ビット分読み出すことで、必要とする画素値の復号ィ匕が可能である。よって、画像 1フ レームを構成する画素データを全て読み出す必要がなくなり、処理の高速ィヒおよび 省電力化が期待できる。
[0112] 前段に記載の効果よりも、圧縮符号化画像データの圧縮率を優先する場合には、 初期画素値データとして記録する画素値データの頻度を低くすればよ!ヽ。この場合、 1つのパッキングデータに必ずしも初期画素値データが記録されることを必要としな い。また、圧縮率の向上のためには、 1つのゾーンに含まれる画素の数 pを、より大き く設定することも有効な場合がある。そうすることで、クラス値データの出現頻度を低 下させることができる。また、圧縮符号化画素値データのビット長 nを、より小さく設定 することも有効である。
[0113] なお、量子化幅を一定として処理することも可能である。この場合、量子化幅を示 すクラス値データは、記録されずともよい。
[0114] く復号ィ匕部 33における復号ィ匕 > 図 8Aおよび図 8Bは、復号化にかかる処理のフローチャートである。図 8Bは、図 8 Aにおけるステップ S206にかかる処理の詳細を示すフローチャートである。これより、 図 8Aおよび Bを参照し、復号化部 33における圧縮符号化されたデータの復号化処 理について説明する。アンパッキング部 53は、パッキング部 51から個別に送られる、 各種データ即ち初期画素値データ、圧縮符号化画素値データ、および、クラス値、な らびに、 SDRAM15から、入力されるパッキングデータ、即ち圧縮符号化画像デー タ、を入力し、パッキングデータについては、パッキングデータを個々のデータに分 離する（図 8A、ステップ S201。 ) 0分離した、各種データは、所定のタイミングでアン パッキング部 53から逆量子化処理部 55に送られる。
逆量子化処理部 55に送られたデータは、量子化処理部 47における処理とは逆の 処理を行い、圧縮符号化画素値データから、復号ィ匕画素値データを算出し、出力部 57に送る。具体的には、初期画素値データは、そのまま、 d (= 12)ビットのデータと して出力部 57に送られる（図 8A、ステップ S202および S203。 )。また、このデータ は、後の処理で用いられるため、一時記憶される。量子化幅情報データであるクラス 値のデータは、後続の圧縮符号ィ匕画素値データの復号ィ匕処理で用いるために一時 記憶される（図 8A、ステップ S204および S205。；)。ステップ S206においては、復号 化処理が行われ、復号化画素値データが生成される。クラス値データより量子化幅 および量子化参照値を求め（図 8B、ステップ S206aおよび S206b)る。そして、先に 処理された初期画素値データ、または、復号化画素値データと、量子化参照値との 差であるオフセット候補値を求め（図 8B、ステップ S206c)、オフセット候補値がゼロ 以下の場合には、オフセット値をゼロに設定する（図 8B、ステップ S206d、 S206e、 S206f)。圧縮符号化画素値データは、クラス値の示すゾーン量子化幅に基づいて 、ビットシフト（逆量子ィ匕）されて逆量子化画素値データになり（図 8B、ステップ S206 g)、先に処理された初期画素値データ、または、復号化画素値データと、クラス値よ り求める量子化参照値との差であるオフセット値と逆量子化画素値データとの和を求 めることにより、 d= 12ビットの画素値に復号し（図 8B、ステップ S206h)、復号化画 素値データとして出力部 57に送られる（以上、図 8 テツプ S206)。但し、量子化 処理部 47においては、量子化の際に、切り上げ、または、切り捨てを行った力 逆量 子化処理部 55では、単純なビットシフトのみを行うようにしてもよ!、。
[0116] 得られた復号化画素データは、それぞれ所定のタイミングで、符号化部 31、および 、 YC処理部 17に送られる。
[0117] 量子化幅を一定に保って、量子化処理を行う場合、クラス値データは不要であり、 この場合、復号ィ匕処理も所与の量子化幅で一様に復号ィ匕処理を行えばょ ヽ。
[0118] なお、本実施形態は、べィャ配列を有する撮像素子を用いているが、他の配列を 有する撮像素子、例えば、原色縦ストライプ配列、 RGBRGBRGB' · ·、を有する撮 像素子と組み合わせて本発明による CODECを使用することもできる。また、撮像素 子のセンサ（画素）配列力 補色巿松配列、例えば、 CyYeCyYeCyYe- · ·、を有す る場合にも、本発明による CODECを適用することができる。撮像素子の受光部にお ける画素の配列様式に関わらず、本発明による CODECを使用することができる。画 素配列が正方格子配列である場合は言うに及ばず、画素の配列様式がハニカム状 配列である場合であっても、本発明による CODECを使用することができる。
[0119] <実施の形態 2 >
く量子化による誤差のフィードバック処理を追カ卩した CODEC >
本実施形態は、 CODECにおける画素値データの量子化においてしばしば生じる 誤差 (画素値データと、その画素値データを圧縮符号化処理しさらに復号化処理を 行うことで得られる復号化画素値データとの差)を、低減する誤差フィードバック処理 を有する CODEC 113を備えたデジタルスチルカメラ（DSC)である。
[0120] 本実施形態の DSCは、 CODEC113における処理を除き、第 1の実施形態による DSC1と同一である。図 1を参照すれば、本実施形態による DSCには、 CODEC 13 の代りにこれより説明する CODEC113が実装されていると考えてよい。よって、ここ では、 CODEC113の構成および処理について説明する。特に記載の無い部分に ついては、第 1の実施形態と同一と考えてよい。
[0121] 図 9に、本実施形態に力かる CODEC113のブロック図を示す。第 1の実施形態に 力かる CODEC13との違いは、符号ィ匕部 31において、誤差検出部 59、係数乗算部 61、整数化部 63、および、誤差補正部 65が追加された点、ならびに、復号化部 33 の出力部 57の出力が、誤差検出部 59、および、量子化処理部 47に入力される点で ある。
[0122] これより、 CODEC113における誤差フィードバック処理について説明する。ここで は、具体例として画素 R3の画素値 r3の量子化における誤差フィードバック処理を扱
[0123] 第 1の実施形態と共通する処理だが、 ADC11から処理対象画素値入力部 35へ、 画素値 r3が入力される。画素値 r3は、圧縮符号化処理を受けて圧縮符号化画素値 データとして記録される画素値データであるため、差分生成部 37へ送られる。同時 に記憶部 39からは、処理対象画素値 r3の近傍左方同色画素値である画素値 が 差分生成部 37に送られ、差分値 Ar3=r3— r2が求められ、画素 R3の差分量子化 範囲が求められ、ゾーン量子化幅決定部 43において画素 R3と同一のゾーンに含ま れる画素の差分量子化範囲に基づいてゾーン量子化幅が決定され、量子化処理部 47〖こ送られる。
[0124] 量子化処理部 47における画素値 r3の量子化には、上記ゾーン量子化幅の他に、 処理対象画素値 r3、および、近傍左方同色画素値 r2、が必要である。本実施形態 においては、処理対象画素値 r3は、誤差補正部 65において処理された、誤差補正 処理対象画素値 Cr3として、量子化処理部 47に入力される。また、画素値 r3の量子 化で使用される近傍左方同色画素値には、復号ィ匕画素値が用いられる。
[0125] ここで表 2を参照すれば、画素値 r2は &D (50)である。それに対し復号化画素値 は &D (52)となっている。量子化に際し近傍左方同色画素値として復号ィ匕画素値を 用いる本実施形態の CODEC 113では、先行する画素の画素値の量子化にお!、て 生じた誤差が、後続の同色画素の画素値の量子化に影響を及ぼす。この影響を軽 減することを目的として、以下に記す、 CODEC113の誤差フィードバック処理は、実 施される。
[0126] 復号化部 33の出力部 57から出力された復号化画素値は、符号化部 31の誤差検 出部 59に送られる。誤差検出部 59には、記憶部 39に記録されている画素値 r2もタ イミングを合わせて入力され、誤差が算出される。ここで、画素値 r2 (真値)と、復号ィ匕 画素値の誤差 Er2は、真の画素値と復号化画素値との差分により求められる。つまり 、 Er2= (真の画素値） （復号化画素値） = (一 2)である。 [0127] 画素値 r2に対する誤差 Er2は、係数乗算部 61に送られ、誤差に係数 αを乗じた値 、 a X Er2 ( = α Er2)が求められる。係数 αは、実験により得られた値を用いることが できる。
[0128] 本例では、 aは、簡単のため 0. 50とする。よって、本例では、 a Er2は、（一 1. 00 )である。一般に、 αは実験により求める実数値であるため、 αが乗じられた誤差 α Ε r2には、小数部が現われる。そこで、整数化部 63は、実数値 a Er2を整数ィ匕し、そ の整数値を誤差補正値とする。整数化部 63における整数化処理は、一般的な処理 であってよい。例えば、小数部の切り捨て、小数部第 1位の四捨五入、小数部の切り 上げ、等が用いられる。本例では、誤差補正値は、（一 1)となる。
[0129] 次に誤差補正部 65における処理について説明する。誤差補正部 65には、処理対 象画素値 r3と、画素値 r3のための誤差補正値、（— 1)、が入力される。ここで、誤差 補正値は、処理対象画素値に負帰還として与えられる。つまり、誤差補正処理対象 画素値 Cr3は、処理対象画素値から誤差補正値を差し引いた値に等しい。つまり、 C r3 =r3 - (一 1) =r3 + l、となる。誤差補正処理対象画素値 Cr3は、量子化処理部 47に入力され、復号化画素値 Dr2、ゾーン量子化幅に基づいて、量子化され、圧縮 符号ィ匕画素値データとしてパッキング部 51に出力される。
[0130] 量子化処理部 47における処理は、第 1の実施形態と同様でよい。ゾーン量子化幅 は、処理対象画素値と記憶部 39に記憶された、誤差を含まない近傍左方同色画素 値との差分値に基づいて決定された値を用い、処理対象画素値には、誤差補正部 6 5で補正された誤差補正処理対象画画素値が用いられ、量子化処理部 47における 近傍左方同色画素値には、圧縮符号化処理されさらに複合化処理を受けた復号ィ匕 画素値データが用いられる。
[0131] <実施の形態 3 >
<分布比率に基づき変動する可変圧縮符号化画素値データビット長の利用 > 本実施形態は、 CODECにおいて、画素値データの圧縮符号化値である圧縮符 号化画素値データのビット長 (圧縮符号化画素値データビット数)を実際に撮像され る被写体の特性に応じて変更 '最適化し、それによりさらに圧縮効率を高めた CODE C213を備えたデジタルスチルカメラ（DSC)である。本実施形態の DSCは、 CODE C213における処理を除き、第 1および第 2の実施形態による DSC1と同一である。図 1を参照すれば、本実施形態による DSCには、 CODEC13の代りにこれより説明す る CODEC213が実装されていると考えてよい。よって、ここでは、 CODEC213の構 成および処理について説明する。特に記載の無い部分については、第 1および第 2 の実施形態と同一と考えてよい。本実施形態の CODEC213は、撮像指示が出た瞬 間 (操作者によってシャッターボタンが押された瞬間）までに撮像素子に入射した被 写体に関する光学的情報に基づき、最適化圧縮符号化画素値データビット数、およ び、量子化幅、等を決定する最適化圧縮符号化画素値データ数等決定処理を行う。 以下に、 CODEC213の構成、および、処理について説明する。
[0132] < CODEC213の構成 >
図 10に、本実施形態に力かる CODEC213のブロック図を示す。第 1および第 2の 実施形態に力かる CODEC13および 113との違いは、符号ィ匕部 31においては、差 分量子化範囲抽出部 67、および、分布比率解析部 69が追加された点である。その 他の構成は、 CODEC13または CODEC113の構成と同一であってよい。つまり、図 9にお!/、ては、上記相違点を除 、て CODEC 13と同様の構成を CODEC213は有 するように示されて 、るが、上記相違点を除!、て CODEC 113と同様の構成を有して ちょい。
[0133] 差分量子化範囲抽出部 67は、差分量子化範囲決定部 41からの出力、即ち、各画 素差分値の量子化範囲を入力し、一時記憶する。抽出部 67に記憶された複数の量 子化範囲は、所定のタイミングで、分布比率解析部 69に出力される。
[0134] 分布比率解析部 69は、入力した、画像 1フレーム分に相当する間引かれた画素の 量子化範囲を解析し、最適化圧縮符号化画素値データビット数を決定する。決定さ れた最適化圧縮符号ィ匕画素値データビット数 (t [ビット])は、量子化処理部 47およ びクラス値符号生成部 49に送られる。
[0135] 量子化処理部 47においては、 tビット長の圧縮符号化画素値データを生成する。ク ラス値符号生成部 49においては、ゾーン量子化幅決定部 43より入力するゾーン量 子化幅と最適化圧縮符号化画素値データビット数とを表す mビットのクラス値符号を 生成し、パッキング部 51に出力する。本実施形態におけるクラス値は、最適化圧縮 符号ィ匕画素値データビット数も含むようにして予め定められる変換規則に基づいて 生成されればよい。
[0136] < CODEC213における最適化圧縮符号化画素値データビット数等決定処理 >
DSC1は、「モニタ」モードなる動作モードを有する。この、モニタモードとは、操作 者力 被写体を決定し、シャッターチャンスを待っために、撮像素子 5に入射する光 情報 (即ち被写体像)を、例えば、表示部 27に表示するモードである。 DSC1は、モ ユタモードにおいては、撮像素子 5の全画素の蓄積電荷を引き出し、引き出された全 ての蓄積電荷にっ 、て信号処理を行う代りに、所定比率の画素にっ 、てのみ処理を 行う。この撮像素子駆動モードを、ドラフトモード、または、間引きモードと呼んでいる 。即ち、 DSC1は、モニタモードにおいては、撮像素子 5をドラフトモードで駆動する。 DSC1は、操作者によるシャッターボタン操作に呼応して、撮像素子駆動モードをド ラフトモードから全画素駆動モードに切替えて撮像を行う。
[0137] モニタモードにおいては、 CODEC213には、ドラフトモードで、つまり、間引かれた 数の画素値が入力される。画素の間引きは、所定のパターンで行われるため、ドラフ トモードにおける、処理対象画素値に対する近傍左方同色画素値も、撮像時とは異 なるが、所定の規則に従って定めることができる。差分生成部 37においては、このよ うにして定められる、処理対象画素値に対する近傍左方同色画素値を用 、て各処理 対象画素値に対し差分値を算出し、差分量子化範囲決定部 41は、各処理対象画素 値に対する差分量子化範囲を決定する。決定された差分量子化範囲は、差分量子 化範囲抽出部 67に送られる。
[0138] 差分量子化範囲抽出部 67は、一時記憶する各処理対象画素値に対する差分量 子化範囲から、最近の画像 1フレーム分の差分量子化範囲を分布比率解析部 69に 送る。
[0139] <分布比率解析部 69における処理 >
分布比率解析部 69は、送られてきた差分量子化範囲を解析し、最適化圧縮符号 化画素値データビット数を決定する。
[0140] 最適化圧縮符号化画素値データビット数とは、撮像された画像を圧縮符号化デー タとして SDRAM15に記録するために CODEC213で生成される圧縮符号化画素 値データのビット長である。第 1および第 2の実施形態においては、このビット長 nは、 8ビットに固定されている。し力しながら、被写体像によっては、 8ビット長よりも短いビ ット長で十分な画像品質を得ることができる場合がある。そのため、本実施形態にお いては、モニタモード中に取り込まれる被写体情報に基づいて、最適なビット長を決 定する。
[0141] 先ず、分布比率解析部 69は、最近の被写体の画像 1フレーム分の差分量子化範 囲を解析し、差分量子化範囲の出現分布を求める。そして、例えば、差分量子化範 囲の分布比率力 （n—l ( = 8— l = 7) )未満の自然数v、v—l、v—2、 · · ·以下の値 に含まれる比率を求める。これら分布比率のうち、分布比率が、所定の閾値以上とな る差分量子化範囲のうち、最大の差分量子化範囲 wを求める。最大差分量子化範囲 wに 1を足した数を、最適化圧縮符号化画素値データビット数として、量子化処理部 47およびクラス値生成部 49に送る。
[0142] 例えば、 4以下の値を有する差分量子化範囲の比率が、全量子化範囲に対し、所 定比率 (例えば、 90%)であれば、実際に撮像される被写体画像においても、 90% 程度の画素値データは量子化処理部 47において、 4+ 1 = 5ビット長データで、丸め なしに記録可能であると推測される。このような被写体に対しては、各圧縮符号化画 素値データのビット数に、 8ビット長を与えることは、圧縮率の面で不利である。 COD EC213は、このようなケースにおいて品質劣化の起こさずに圧縮率を向上する。この ようなケースでは、量子化処理部 47は、各処理対象画素値に対し 5ビット長のデータ の圧縮符号化画素値データを与える。クラス値は、最適化圧縮符号化画素値データ ビット数に関する情報を併せ持つクラス値を生成する。よって、復号ィ匕部 33における 復号化では、クラス値に基づいて、各圧縮符号化画素値データビット数を決定し、先 の実施形態と同様に復号ィ匕が可能である。
[0143] なお、分布比率解析部 69においては、最近の画像 1フレーム分の差分量子化範 囲を解析する代りに、画像の一部、例えば重要な部分、画像における中央部領域、 のみを解析して最適圧縮符号化画素値データビット数を決定してもよい。
[0144] また、先の例では、所定比率を、 90%としたが、それ以外の、 1〜100%の比率を 閾値として用いてもよい。また、被写体像の特性を調査し、その調査結果に基づいて 閾値を撮像処理ごとにフレキシブルに決定してもよい。
[0145] また、画像 1フレーム分に含まれる差分量子化範囲を、複数のブロックに区分し、各 ブロック内で、最適圧縮符号化画素値データビット数を決定してもよい。この場合、画 像 1フレーム分の圧縮符号ィ匕画素値データには、ビット長のことなるデータが混在す ることになるが、クラス値は、この圧縮符号化画素値データビット数の変化をも記録す ることができるので、復号ィ匕部 33においても、正しく復号ィ匕することが可能である。
[0146] なお、モニタモードにお 、ても、全画素駆動モードで撮像素子 5を駆動してょ 、。
[0147] なお、本発明の全ての実施形態にお!、て、データを記憶または一時記憶する機能 は、記憶素子のみならず、周知の遅延回路を用いて実現されてもよい。
産業上の利用可能性
[0148] 本発明は今後ますます応用が広まる CCDセンサ及び MOSセンサを有する電子機 器全般、又は映像機器全般に採用されるものであって、簡単な構成であるにもかか わらず、画質をほとんど損なうことなぐ符号ィ匕により情報量を圧縮できる。
[0149] 記録されるデータのビット数を削減することにより、メモリの使用量と、メモリのァクセ ス量とを削減でき、コストと消費電力も削減することができる。
[0150] 今後デジタルスチルカメラ及び動画撮影のカメラにぉ ヽてもますます多くの用途で 使用されることが期待される。

Claims

請求の範囲
[1] 少なくとも、第 1色にセンスする画素と第 2色にセンスする画素を周期的に配置した 受光部からの信号をデジタル形式にて示した画素値データを受けて処理する、デジ タルデータ符号化装置にぉ 、て、
第 1色にセンスする第 1画素の第 1画素値データと、前記第 1画素の近傍に位置し、 第 1色にセンスする第 2画素の第 2画素値データとの差分値を第 1画素差分値として 出力すると共に、第 2色にセンスする第 3画素の第 3画素値データと、前記第 3画素 の近傍に位置し、第 2色にセンスする第 4画素の第 4画素値データとの差分値を第 2 画素差分値として出力する、差分生成部と、
前記第 1画素差分値の絶対値と前記第 2画素差分値の絶対値のうちの最大値を最 大画素値差として求め、求めた最大画素値差以上の値を量子化参照値として決定 する量子化参照値決定部と、
前記第 1画素値データと前記量子化参照値との差を第 1オフセット値として設定す ると共に、前記第 3画素値データと前記量子化参照値との差を第 2オフセット値として 設定するオフセット値設定部と、
前記第 2画素値データと第 1オフセット値との差を、第 1被量子化処理値として設定 すると共に、前記第 4画素値データと第 2オフセット値との差を、第 2被量子化処理値 として設定する被量子化処理値設定部と、
前記第 1被量子化処理値および第 2被量子化処理値を、それぞれ量子化して第 1 圧縮符号化画素値データおよび第 2圧縮符号化画素値データを求める量子化部と、 を有することを特徴とするデジタルデータ符号化装置。
[2] 前記第 1色と、前記第 2色は相異なる、ことを特徴とする請求項 1に記載のデジタル データ符号化装置。
[3] さらに、前記オフセット値設定部の定めたオフセット値が、ゼロ以下である場合、前 記オフセット値をゼロに設定しなおすオフセット値ゼロ設定部を有する、ことを特徴と する請求項 1に記載のデジタルデータ符号化装置。
[4] さらに、前記量子化における量子化幅を決定する量子化幅決定部を有する、ことを 特徴とする請求項 1に記載のデジタルデータ符号化装置。
[5] 前記量子化幅は、前記最大画素値差が大きくなるに従って増加する、ことを特徴と する請求項 4に記載のデジタルデータ符号ィヒ装置。
[6] さらに、前記決定された量子化幅を mビット長 は自然数)の符号に符号化する量 子化幅情報データ生成部を有する、ことを特徴とする請求項 4に記載のデジタルデ ータ符号化装置。
[7] 前記量子化幅決定部は、予め決められた複数の量子化幅のいずれか 1つに決定 する、ことを特徴とする請求項 4に記載のデジタルデータ符号ィ匕装置。
[8] 前記複数の量子化幅の数は、 2の m乗個以下である、ことを特徴とする請求項 7に 記載のデジタルデータ符号化装置。
[9] 前記 mは、 2である、ことを特徴とする請求項 6に記載のデジタルデータ符号ィ匕装置
[10] さらに、圧縮符号化画像データ生成部を有し、
前記圧縮符号化画像データ生成部は、少なくとも、前記量子化幅情報データ、前 記第 1圧縮符号化画素値データ、および、前記第 2圧縮符号化画素値データのいず れかを含む、 sビット長（sは自然数)の圧縮符号化画像データを生成し、ここで前記 s は、 8の倍数である、ことを特徴とする請求項 6に記載のデジタルデータ符号化装置。
[11] 前記圧縮符号化画像データ生成部は、前記第 1画素値データをそのまま、初期画 素値データとして、前記圧縮符号化画像データに記録する、ことを特徴とする請求項 10に記載のデジタルデータ符号ィヒ装置。
[12] 前記量子化幅決定部は、前記第 1画素差分値および第 2画素差分値のそれぞれ に関する符号なし整数バイナリ値表現に要する桁数のうちの最大桁数値を求めるこ とにより、前記複数の量子化幅のいずれか 1つに決定する、ことを特徴とする請求項 7に記載のデジタルデータ符号ィヒ装置。
[13] さらに、前記第 2画素値データを補正し誤差補正画素値データを生成する誤差補 正部と、
圧縮符号化画素値データを復号化して復号化画素値データを出力するデジタル データ復号化部とを有し、
前記オフセット値設定部は、前記第 1画素値データの代りに前記復号化画素値デ ータを用いて前記第 1オフセット値を設定し、
前記被量子化処理値設定部は、前記第 2画素値データの代りに前記誤差補正画 素値データを用いて前記第 1被量子化処理値を設定することを特徴とする請求項 1 に記載のデジタルデータ符号化装置。
[14] 前記誤差補正部における前記第 2画素値データの補正は、前記第 2画素値から、 前記第 1画素値データと前記復号化画素値データとの差に関連する補正値を引き算 することによりなされることを特徴とする請求項 13に記載のデジタルデータ符号ィ匕装 置。
[15] 第 1色にセンスする第 1画素の第 1画素値データがそのまま第 1初期画素値データ として記録されている初期画素値データ部と、前記第 1画素の近傍に位置し第 1色に センスする第 2画素の第 2画素値データを示す第 1圧縮符号化画素値データが記録 されて!/ヽる圧縮符号化画素値データ部と、を備える sビット長（sは自然数)の圧縮符 号化画像データを入力する圧縮符号化画像データ入力部と、
前記第 1初期画素値データと設定された第 1量子化参照値との差を第 1オフセット 値として求めるオフセット値設定部と、
設定された第 1量子化幅を用いて第 1圧縮符号化画素値データを逆量子化して第 1逆量子化画素値データを求める逆量子化部と、
前記第 1逆量子化画素値データと前記第 1オフセット値との和を求めることにより第 1復号化画素値データを生成する復号化画素値生成部と、を有する、ことを特徴とす るデジタルデータ復号ィヒ装置。
[16] 前記初期画素値データ部にはさらに、前記第 1画素に近接し第 2色にセンスする第 3画素の第 3画素値データがそのまま第 2初期値画素値データとして記録され、 前記圧縮符号ィヒ画素値データ部にはさらに、前記第 3画素の近傍に位置し、第 2 色にセンスする第 4画素の第 4画素値データを示す第 2圧縮符号ィヒ画素値データが 記録され、
前記オフセット値設定部はさらに、前記第 2初期値データと前記第 1量子化参照値 との差を第 2オフセット値として求め、
前記逆量子化部はさらに、前記第 1量子化幅を用いて前記第 2圧縮符号化画素値 データを逆量子化して第 2逆量子化画素値データを求め、
前記復号化画素値生成部はさらに、前記第 2逆量子化画素値データと前記第 2ォ フセット値との和を求めることにより第 2復号ィ匕画素値データを生成する、ことを特徴と する請求項 15に記載のデジタルデータ復号化装置。
[17] 前記第 1色と、前記第 2色は相異なる、ことを特徴とする請求項 15に記載のデジタ ルデータ復号化装置。
[18] 前記圧縮符号化画素値データ部にはさらに、前記第 2画素の近傍に位置し、前記 第 4画素に近接し、第 1色にセンスする第 5画素の第 5画素値データを示す第 3圧縮 符号化画素値データが記録され、
前記オフセット値設定部はさらに、前記第 1復号化画素値データと設定された第 2 量子化参照値との差を第 3オフセット値として求め、
前記逆量子化部はさらに、設定された第 2量子化幅を用いて第 3圧縮符号化画素 値データを逆量子化して第 3逆量子化画素値データを求め、
前記復号化画素値生成部はさらに、前記第 3逆量子化画素値データと前記第 3ォ フセット値との和を求めて第 3復号ィ匕画素値データを生成する、ことを特徴とする請 求項 16に記載のデジタルデータ復号ィ匕装置。
[19] さらに、前記オフセット値設定部の定めたオフセット値が、ゼロ以下である場合、前 記オフセット値をゼロに設定しなおすオフセット値ゼロ設定部を有する、ことを特徴と する請求項 15に記載のデジタルデータ復号化装置。
[20] 前記圧縮符号化画像データは、少なくとも、前記第 1量子化幅に関する情報を備え る第 1量子化幅情報データおよび前記第 2量子化幅に関する情報を備える第 2量子 化幅情報データのいずれか、が記録されている量子化幅情報データ部を備える、こ とを特徴とする請求項 18に記載のデジタルデータ復号ィ匕装置。
[21] さらに、前記逆量子化における量子化幅を、予め決められた複数の量子化幅のい ずれか 1つに設定する量子化幅設定部を有し、
前記量子化幅設定部は、前記第 1量子化幅情報データおよび前記第 2量子化幅 情報データから、前記第 1量子化幅および前記第 2量子化幅をそれぞれ、前記複数 の量子化幅の 1つに設定する、ことを特徴とする請求項 20に記載のデジタルデータ 復号化装置。
[22] さらに、前記逆量子化における量子化参照値を、予め決められた複数の量子化参 照値のいずれか 1つに設定する量子化参照値設定部を有し、
前記量子化参照値設定部は、前記第 1量子化幅情報データおよび前記第 2量子 化幅情報データから、前記第 1量子化参照値および前記第 2量子化参照値をそれぞ れ、前記複数の量子化参照値の 1つに設定する、ことを特徴とする請求項 21に記載 のデジタルデータ復号化装置。
[23] 前記第 1量子化幅情報データおよび第 2量子化幅情報データは、それぞれ mビット 長 (mは自然数)のデータである、ことを特徴とする請求項 22に記載のデジタルデー タ復号化装置。
[24] 前記複数の量子化幅および複数の量子化参照値の個数は、それぞれ 2の m乗個 以下である、ことを特徴とする請求項 23に記載のデジタルデータ復号化装置。
[25] 前記 mは、 2である、ことを特徴とする請求項 23に記載のデジタルデータ復号化装 置。
[26] 少なくとも、第 1色にセンスする画素と第 2色にセンスする画素を周期的に配置した 受光部からの信号をデジタル形式にて示した画素値データを受けて処理する、デジ タルデータ符号化方法にぉ ヽて、
第 1色にセンスする第 1画素の第 1画素値データと、前記第 1画素の近傍に位置し、 第 1色にセンスする第 2画素の第 2画素値データとの差分値を第 1画素差分値として 出力すると共に、第 2色にセンスする第 3画素の第 3画素値データと、前記第 3画素 の近傍に位置し、第 2色にセンスする第 4画素の第 4画素値データとの差分値を第 2 画素差分値として出力する、差分生成ステップと、
前記第 1画素差分値の絶対値と前記第 2画素差分値の絶対値のうちの最大値を最 大画素値差として求め、求めた最大画素値差以上の値を量子化参照値として決定 する量子化参照値決定ステップと、
前記第 1画素値データと前記量子化参照値との差を第 1オフセット値として設定す ると共に、前記第 3画素値データと前記量子化参照値との差を第 2オフセット値として 設定するオフセット値設定ステップと、 前記第 2画素値データと第 1オフセット値との差を、第 1被量子化処理値として設定 すると共に、前記第 4画素値データと第 2オフセット値との差を、第 2被量子化処理値 として設定する被量子化処理値設定ステップと、
前記第 1被量子化処理値および第 2被量子化処理値を、それぞれ量子化して第 1 圧縮符号化画素値データおよび第 2圧縮符号化画素値データを求める量子化ステ ップと、を有することを特徴とするデジタルデータ符号化方法。
第 1色にセンスする第 1画素の第 1画素値データがそのまま第 1初期画素値データ として記録されている初期画素値データ部と、前記第 1画素の近傍に位置し第 1色に センスする第 2画素の第 2画素値データを示す第 1圧縮符号化画素値データが記録 されて!/、る圧縮符号化画素値データ部と、を備える sビット長（sは自然数)の圧縮符 号化画像データを入力する圧縮符号化画像データ入力ステップと、
前記第 1初期画素値データと設定された第 1量子化参照値との差を第 1オフセット 値として求めるオフセット値設定ステップと、
設定された第 1量子化幅を用いて第 1圧縮符号化画素値データを逆量子化して第 1逆量子化画素値データを求める逆量子化ステップと、
前記第 1逆量子化画素値データと前記第 1オフセット値との和を求めることにより第 1復号化画素値データを生成する復号化画素値生成ステップと、を有する、ことを特 徴とするデジタルデータ復号化方法。
PCT/JP2006/314265 2005-07-26 2006-07-19 デジタル信号符号化および復号化装置ならびにその方法 WO2007013335A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2006800275563A CN101233765B (zh) 2005-07-26 2006-07-19 数字信号编码和解码装置及方法
US11/996,705 US8275207B2 (en) 2005-07-26 2006-07-19 Digital signal encoding and decoding device and method
EP06768291A EP1912445A4 (en) 2005-07-26 2006-07-19 DEVICE AND METHOD FOR CODING AND DECODING DIGITAL SIGNALS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-215785 2005-07-26
JP2005215785A JP4769039B2 (ja) 2005-07-26 2005-07-26 デジタル信号符号化および復号化装置ならびにその方法

Publications (1)

Publication Number Publication Date
WO2007013335A1 true WO2007013335A1 (ja) 2007-02-01

Family

ID=37683236

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/314265 WO2007013335A1 (ja) 2005-07-26 2006-07-19 デジタル信号符号化および復号化装置ならびにその方法

Country Status (6)

Country Link
US (1) US8275207B2 (ja)
EP (1) EP1912445A4 (ja)
JP (1) JP4769039B2 (ja)
KR (1) KR20080038137A (ja)
CN (1) CN101233765B (ja)
WO (1) WO2007013335A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090129466A1 (en) * 2007-11-19 2009-05-21 Samsung Electronics Co., Ltd. Method, medium, and apparatus efficiently encoding and decoding moving image using image resolution adjustment
CN107635086A (zh) * 2017-10-25 2018-01-26 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法
CN107635087A (zh) * 2017-11-08 2018-01-26 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法
RU2653270C2 (ru) * 2013-12-10 2018-05-07 Кэнон Кабусики Кайся Улучшенный палитровый режим в hevc
US10834412B2 (en) 2013-12-10 2020-11-10 Canon Kabushiki Kaisha Method and apparatus for encoding or decoding blocks of pixel

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124530A (ja) * 2006-11-08 2008-05-29 Tokyo Institute Of Technology Ｒａｗデータ圧縮方法
CN101689357B (zh) 2007-04-11 2015-03-04 Red.Com公司 摄像机
US8237830B2 (en) 2007-04-11 2012-08-07 Red.Com, Inc. Video camera
JP5208218B2 (ja) * 2008-09-25 2013-06-12 パナソニック株式会社 画像符号化装置、デジタルスチルカメラ、デジタルビデオカメラ、撮像素子、および画像符号化方法
AU2008246243B2 (en) * 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
JP2010166520A (ja) * 2009-01-19 2010-07-29 Panasonic Corp 画像符号化・復号化装置
JP5530198B2 (ja) 2009-11-20 2014-06-25 パナソニック株式会社 画像符号化方法、復号化方法、装置
US8526752B2 (en) * 2010-08-23 2013-09-03 Aptina Imaging Corporation Imaging systems with fixed output sizes and frame rates
JP5529685B2 (ja) * 2010-09-03 2014-06-25 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
US8648742B2 (en) 2011-02-25 2014-02-11 California Institute Of Technology Systems and methods for acquiring and decoding signals using compressed sensing
US8780981B2 (en) 2011-06-27 2014-07-15 Panasonic Intellectual Property Corporation Of America Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding-decoding apparatus
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
JP2013126186A (ja) * 2011-12-15 2013-06-24 Samsung Electronics Co Ltd 撮像装置及び画像処理方法
US9129872B2 (en) * 2012-09-20 2015-09-08 Semiconductor Components Industries, Llc Imaging pixels with improved photodiode structures
JP6125215B2 (ja) 2012-09-21 2017-05-10 株式会社東芝 復号装置、及び符号化装置
JP2016508700A (ja) 2013-02-14 2016-03-22 レッド．コム，インコーポレイテッド ビデオカメラ
CN103167289B (zh) * 2013-03-06 2015-10-28 硅谷数模半导体（北京）有限公司 图像的编码、解码方法及编码、解码装置
US9077924B2 (en) * 2013-08-29 2015-07-07 Sony Corporation CMOS image sensor implementing correlated double sampling with compression
US9584701B2 (en) * 2014-01-06 2017-02-28 Panamorph, Inc. Image processing system and method
US11350015B2 (en) 2014-01-06 2022-05-31 Panamorph, Inc. Image processing system and method
CN105100814B (zh) * 2014-05-06 2020-07-14 同济大学 图像编码、解码方法及装置
US10750198B2 (en) 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
CN105874718A (zh) * 2014-09-03 2016-08-17 奥林巴斯株式会社 解码装置、摄像系统、解码方法、编解码方法以及解码程序
CN105306063B (zh) * 2015-10-12 2018-11-02 浙江大学 一种记录型数据存储空间的优化与恢复方法
JP6816137B2 (ja) 2016-06-14 2021-01-20 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR102620350B1 (ko) 2017-07-05 2024-01-02 레드.컴, 엘엘씨 전자 디바이스에서의 비디오 이미지 데이터 처리
KR102410035B1 (ko) * 2017-07-06 2022-06-20 삼성디스플레이 주식회사 영상 신호 처리 장치 및 그것을 포함하는 표시 장치
WO2019021819A1 (ja) * 2017-07-25 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 放射線検出装置
DE102018110383A1 (de) * 2018-04-30 2019-10-31 Basler Ag Verfahren und Vorrichtung zum Kodieren von Bilddaten
US11736648B2 (en) 2018-05-09 2023-08-22 Panamorph, Inc. Progressive image compression and restoration providing a high spatial quality intermediate image
DE102018122297A1 (de) * 2018-09-12 2020-03-12 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zur Kompression und Dekompression von Bilddaten
US10733158B1 (en) * 2019-05-03 2020-08-04 EMC IP Holding Company LLC System and method for hash-based entropy calculation
TW202105987A (zh) * 2019-07-26 2021-02-01 日商半導體能源研究所股份有限公司 攝像裝置及其工作方法及電子裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61205093A (ja) * 1985-03-08 1986-09-11 Mitsubishi Electric Corp カラ−静止画像高能率符号化装置
JPH1056638A (ja) 1996-04-02 1998-02-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および画像符号化・復号化装置
JPH11341288A (ja) 1998-05-26 1999-12-10 Hitachi Ltd ディジタル映像システム
JP2000244935A (ja) 1998-12-21 2000-09-08 Nikon Corp 画像データ圧縮方法
JP2003259393A (ja) * 2002-03-01 2003-09-12 Sony Corp 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3685238D1 (de) * 1985-02-28 1992-06-17 Mitsubishi Electric Corp Adaptive zwischenbild-vektorquantisier-kodiereinrichtung.
JP2940304B2 (ja) * 1992-06-15 1999-08-25 松下電器産業株式会社 高能率符号化装置および高能率符号化方法および高能率符号化装置の復号装置
US6282364B1 (en) * 1996-02-05 2001-08-28 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus and video signal regenerating apparatus
US6744928B1 (en) * 1997-03-12 2004-06-01 Matsushita Electric Industrial Co., Ltd. Variable-length decoding method and apparatus employing code length and a recording medium
US6744929B1 (en) * 1999-11-18 2004-06-01 Nikon Corporation Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program
US6757429B2 (en) * 2001-02-21 2004-06-29 Boly Media Communications Inc. Method of compressing digital images
JP2003143606A (ja) * 2001-10-31 2003-05-16 Sony Corp 画像信号処理方法及び画像信号処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61205093A (ja) * 1985-03-08 1986-09-11 Mitsubishi Electric Corp カラ−静止画像高能率符号化装置
JPH1056638A (ja) 1996-04-02 1998-02-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置および画像符号化・復号化装置
JPH11341288A (ja) 1998-05-26 1999-12-10 Hitachi Ltd ディジタル映像システム
JP2000244935A (ja) 1998-12-21 2000-09-08 Nikon Corp 画像データ圧縮方法
JP2003259393A (ja) * 2002-03-01 2003-09-12 Sony Corp 符号化処理装置、復号処理装置、および方法、並びにコンピュータ・プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1912445A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090129466A1 (en) * 2007-11-19 2009-05-21 Samsung Electronics Co., Ltd. Method, medium, and apparatus efficiently encoding and decoding moving image using image resolution adjustment
RU2653270C2 (ru) * 2013-12-10 2018-05-07 Кэнон Кабусики Кайся Улучшенный палитровый режим в hevc
RU2679566C1 (ru) * 2013-12-10 2019-02-11 Кэнон Кабусики Кайся Улучшенный палитровый режим в hevc
US10419774B2 (en) 2013-12-10 2019-09-17 Canon Kabushiki Kaisha Palette mode in HEVC
US10834412B2 (en) 2013-12-10 2020-11-10 Canon Kabushiki Kaisha Method and apparatus for encoding or decoding blocks of pixel
CN107635086A (zh) * 2017-10-25 2018-01-26 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法
CN107635087A (zh) * 2017-11-08 2018-01-26 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法
CN107635087B (zh) * 2017-11-08 2024-05-07 深圳地平线机器人科技有限公司 固态图像传感器和图像感测方法

Also Published As

Publication number Publication date
US8275207B2 (en) 2012-09-25
KR20080038137A (ko) 2008-05-02
JP4769039B2 (ja) 2011-09-07
CN101233765A (zh) 2008-07-30
EP1912445A1 (en) 2008-04-16
JP2007036566A (ja) 2007-02-08
EP1912445A4 (en) 2010-08-25
US20100142811A1 (en) 2010-06-10
CN101233765B (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
JP4769039B2 (ja) デジタル信号符号化および復号化装置ならびにその方法
US9813652B2 (en) CMOS image sensor and imaging method implementing correlated double sampling and compression
JP5529685B2 (ja) 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
US8090209B2 (en) Image coding device, digital still camera, digital camcorder, imaging device, and image coding method
US20050117029A1 (en) Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices
US9413999B2 (en) CMOS image sensor implementing correlated double sampling with compression
US11336896B2 (en) Image encoding apparatus and image decoding apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
JP5530198B2 (ja) 画像符号化方法、復号化方法、装置
US8823832B2 (en) Imaging apparatus
US20110200263A1 (en) Image encoder and image decoder
KR20120067971A (ko) 화상 부호화 장치 및 화상 부호화 방법
KR20100124855A (ko) 동화상 처리 장치 및 동화상 처리 방법, 동화상 처리 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
JPH1118089A (ja) 画像データ圧縮装置
WO2007043351A1 (ja) 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置
WO2011010431A1 (ja) 画像処理装置、画像処理方法および撮像装置
JP4436733B2 (ja) 撮像装置および再生装置
JP2004040300A (ja) 画像処理装置
JP2021078008A (ja) 画像処理装置、画像処理方法及び撮像装置
JP2018006999A (ja) 画像符号化装置及びその制御方法
WO2019142836A1 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2009038740A (ja) 画像符号化装置
JP4741536B2 (ja) 撮像装置、画像処理方法
JPH06178121A (ja) 圧縮方法
JP2007228514A (ja) 撮像装置および方法
JP2008258662A (ja) 撮像装置、画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680027556.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11996705

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020087002178

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006768291

Country of ref document: EP