WO2007043351A1 - 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置 - Google Patents

画像符号化方法及び装置、画像復号化方法及び装置、撮像装置 Download PDF

Info

Publication number
WO2007043351A1
WO2007043351A1 PCT/JP2006/319326 JP2006319326W WO2007043351A1 WO 2007043351 A1 WO2007043351 A1 WO 2007043351A1 JP 2006319326 W JP2006319326 W JP 2006319326W WO 2007043351 A1 WO2007043351 A1 WO 2007043351A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
pixel
specific
quantized representative
bit
Prior art date
Application number
PCT/JP2006/319326
Other languages
English (en)
French (fr)
Inventor
Yuji Nagaishi
Kazuo Okamoto
Tatsuro Juri
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to EP06810773A priority Critical patent/EP1936957A4/en
Priority to CN2006800372883A priority patent/CN101283580B/zh
Priority to US12/089,532 priority patent/US8224103B2/en
Publication of WO2007043351A1 publication Critical patent/WO2007043351A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to an image encoding method and apparatus, an image decoding method and apparatus, and an imaging apparatus.
  • the present invention relates to an image encoding method and an image encoding apparatus using the same, and in particular, an image encoding method and an image encoding method for compressing an image using an imaging sensor such as a video camera or a digital still camera.
  • the present invention relates to a conversion device.
  • Patent Document 1 Japanese Patent Laid-Open No. 11 341288
  • Patent Document 2 Japanese Patent Laid-Open No. 2000-244935
  • the object of the present invention is to perform subsequent processing by adaptively and reversibly compressing and processing even when the pixel data of the imaging sensor force includes corrected portion missing pixel data. It is an object of the present invention to provide an image encoding method and apparatus capable of encoding so that defective pixel data can be corrected correctly.
  • An image encoding method is a quantized representative value obtained by encoding at least one pixel value from a pixel data sequence including pixel values of each pixel in a pixel sequence in which a plurality of pixels are arranged.
  • An image encoding method for obtaining a pixel data string including:
  • the pixel value of the pixel is a specific pixel value, it is assigned to a specific quantized representative value, and when the pixel value is other than the specific pixel value, the specific quantized representative value is excluded. It is characterized in that it is assigned to a quantized representative value and coded.
  • the pixel has an m-bit pixel value, and the encoded quantized representative value is m bits / J, or ⁇ n bits,
  • a predetermined offset value may be added to the pixel value of each pixel whose pixel value is not a specific pixel value.
  • the offset value may be 2 ( m_n ) -l.
  • the image encoding method encodes a difference value of each pixel value from a pixel data sequence including an m-bit pixel value of each pixel in a pixel sequence in which a plurality of pixels are arranged.
  • the difference value is converted into a specific quantized representative value.
  • the k-bit quantized representative value is compared with the n-bit quantized representative value to change the quantized representative value.
  • a specific quantization representative value having a predetermined quantization width may be assigned as the difference value.
  • the pixel value of the second pixel is not a specific pixel value, and the k-bit value to be assigned
  • the difference value is assigned to one of the quantized representative values of the (k + 1) -bit quantized width instead of the k-bit quantized width. Also good.
  • the pixel value of the second pixel is not a specific pixel value. If the k-bit quantized representative value of the difference value is a specific quantized representative value, it is one of the quantized representative values excluding the n-bit specific quantized representative value. It may be converted.
  • the pixel value of the second pixel is not a specific pixel value. If the n-bit quantized representative value to be converted is a specific quantized representative value, it is converted to one of the quantized representative values excluding the n-bit specific quantized representative value.
  • a pixel value excluding a specific pixel value is assigned to the pixel value of the first pixel.
  • pixels of at least two kinds of colors are arranged.
  • a difference value between the pixel value of the first pixel and the pixel value of the second pixel of the same color in the vicinity of the first pixel may be calculated.
  • pixels of at least two kinds of colors are arranged.
  • a difference value between a pixel value of the first pixel and a pixel value of a second pixel of a different color in the vicinity of the first pixel may be calculated.
  • the image data sequence including the quantized representative representative value may be further packed with a multiple of a memory access bit width.
  • the specific pixel value may be 0. Further, the specific quantization representative value is: It can be 0.
  • An image encoding apparatus is a quantization that encodes at least one pixel value from a pixel data string including pixel values of each pixel in a pixel array in which a plurality of pixels are arranged.
  • a specific pixel value determining unit that determines whether or not the pixel value of the pixel is a specific pixel value; and when the pixel value of the pixel is the specific pixel value, assigning to a specific quantization representative value,
  • a code key unit that assigns and encodes a quantized representative value excluding the specific quantized representative value when the pixel value of the pixel is other than the specific pixel value;
  • the image encoding apparatus encodes a difference value of each pixel value from a pixel data sequence including m-bit pixel values of each pixel in a pixel sequence in which a plurality of pixels are arranged.
  • An image encoding device that obtains a pixel data sequence including n-bit quantized representative values.
  • a difference value calculation unit for calculating a difference value between a pixel value of the first pixel and a pixel value of a second pixel in the vicinity of the first pixel;
  • An intermediate quantization unit representing the difference value as a k-bit quantized representative value based on the magnitude of the difference value
  • the k-bit quantized representative value of the difference value is converted into one of the n-bit quantized representative values, and the second pixel
  • the k-bit quantized representative value of the difference value is changed to one of the quantized representative values excluding the specific quantized representative value of the n bits.
  • the intermediate quantization unit may be a case where the pixel value of the second pixel is not a specific pixel value, and the k-bit quantization representative value is a specific quantization representative value.
  • the difference The fraction value may be assigned to one of the representative quantization values of the (k + 1) bit quantization width instead of the k bit quantization width.
  • the encoding unit is a case where the pixel value of the second pixel is not a specific pixel value, and the k-bit quantization representative value of the difference value is a specific quantization representative value. In this case, it may be converted into one of the quantized representative values excluding the specific quantized representative value of the n bits.
  • the encoding unit may be a case where the pixel value of the second pixel is not a specific pixel value, and the n-bit quantized representative value to be converted is a specific quantized representative value. May be converted into one of the quantized representative values excluding the specific quantized representative value of n bits.
  • the difference value calculation unit may calculate a difference value between a pixel value of the first pixel and a pixel value of a second pixel of the same color in the vicinity of the first pixel.
  • the difference value calculation unit may calculate a difference value between a pixel value of the first pixel and a pixel value of a second pixel of a different color in the vicinity of the first pixel.
  • the k-bit quantized representative value is compared with the n-bit quantized representative value.
  • a quantization width calculation unit that calculates a quantization width indicating the degree of compression of the converted difference value; and the image data including the converted n-bit quantization representative value and the quantization width for the difference value
  • a packing unit for packing the columns into predetermined units;
  • the image decoding method is an image for obtaining a pixel data sequence including a decoded pixel value from a pixel data sequence including an encoded quantized representative value of at least one pixel value.
  • a decryption method comprising:
  • the quantized representative value of the encoded pixel is a specific quantized representative value
  • the quantized representative value of the encoded pixel is the specific quantized representative value.
  • the value is other than the value, it is assigned to a pixel value excluding the specific pixel value for decoding.
  • the image decoding method according to the present invention is a pixel data including an m-bit pixel value decoded from a pixel data sequence including an n-bit quantized representative value in which a difference value between pixels is encoded.
  • a specific pixel value is assigned as the pixel value of the second pixel.
  • the method may further include a step of obtaining a quantization width indicating a degree of compression of the encoded difference value.
  • the second code value can be decoded based on the quantization width to obtain a difference value.
  • the image decoding apparatus is an image that obtains a pixel data sequence including a decoded pixel value from a pixel data sequence including an encoded quantized representative value of at least one pixel value.
  • a decryption device comprising:
  • a specific pixel value determination unit that determines whether or not the quantization representative value is a specific quantization representative value
  • the quantized representative value When the quantized representative value is the specific quantized representative value, it is assigned to a specific pixel value. When the quantized representative value is other than the specific quantized representative value, the specific pixel is assigned.
  • a decoding function that assigns to a pixel value excluding the value and performs decoding
  • An image decoding apparatus is a pixel including a decoded m-bit pixel value from a pixel data string including an n-bit quantized representative value in which a difference value between pixels is encoded.
  • An image decoding device for obtaining a data sequence
  • a first code value is obtained as the pixel value of the first pixel
  • a second code value is obtained as an encoded quantized representative value of the difference value between the pixel value of the first pixel and the pixel value of the second pixel.
  • the second code value is a specific pixel value determining unit that determines whether or not the second code value is a specific quantized representative value
  • the second code value is a specific quantized representative value
  • a specific pixel value is assigned as the pixel value of the second pixel
  • the second code value is not a specific quantized representative value.
  • a quantization width extraction unit that obtains a quantization width indicating the degree of compression of the encoded difference value may be included.
  • the decoding unit may obtain a difference value by decoding the second code value based on the quantization width.
  • An imaging device includes an imaging sensor that performs analog-to-digital conversion and outputs m-bit pixel data;
  • the image encoding device
  • defective pixel data when pixel data is compressed and encoded, defective pixel data can be indicated by one of the quantized representative values representing the code value. There is no need to occupy separate memory for information about defective pixels.
  • decoding when decoding, if the encoded quantized representative value is a specific quantized representative value, it can be seen that the original pixel value is defective pixel data. Reversibly encoding / decoding can be performed.
  • FIG. 1 is a block diagram showing a configuration of a digital still camera according to Embodiment 1 of the present invention.
  • FIG. 2 is a block diagram showing a configuration of the digital signal processing circuit of FIG.
  • FIG. 3 is a schematic diagram showing the arrangement of filters with a bay arrangement structure included in the image sensor of FIG. 1.
  • FIG. 4 is a block diagram showing a configuration of an image encoding device according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart of an image encoding method according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart of an image encoding method according to Embodiment 2 of the present invention.
  • FIG. 7 is a block diagram showing a configuration of an image encoding device according to Embodiment 3 of the present invention.
  • FIG. 8 is a flowchart of an image encoding method according to Embodiment 3 of the present invention.
  • FIG. 9 is a schematic diagram showing a case where difference values between pixels of the same color are taken in the image coding method according to Embodiment 3 of the present invention.
  • FIG. 10 is a schematic diagram showing a case of taking a difference value between adjacent pixels in the image coding method according to Embodiment 3 of the present invention.
  • FIG. 11 is a schematic diagram showing how to take a difference value when specific pixel values are continuously present in the same color pixel in the image coding method according to the third embodiment of the present invention.
  • FIG. 12 is a schematic diagram showing an example of how to take a difference value when a specific pixel value exists in the image encoding method according to Embodiment 3 of the present invention.
  • FIG. 13 is a schematic diagram showing an example of taking a difference value between adjacent pixels when a specific pixel value exists in the image coding method according to Embodiment 3 of the present invention.
  • FIG. 14 is a flowchart of an image encoding method according to Embodiment 4 of the present invention.
  • FIG. 15 is a schematic diagram showing a case where the k-bit representative quantization value representing the difference value is “0”.
  • FIG. 16 is a flowchart of an image encoding method according to Embodiment 5 of the present invention.
  • FIG. 17 is a flowchart of an image encoding method according to Embodiment 6 of the present invention.
  • FIG. 18 is a block diagram showing a configuration of an image encoding device according to Embodiment 7 of the present invention.
  • FIG. 19 is a flowchart of an image encoding method according to Embodiment 7 of the present invention.
  • FIG. 20 is a flowchart showing details of step S67 in FIG.
  • FIG. 21 is a schematic diagram showing an example of determining a quantization width.
  • FIG. 22 (a) is a schematic diagram showing an example of storing data of two colors R (red) and G (green) and packing them in a predetermined unit, and (b) shows R (red). ) And G (green) are schematic diagrams illustrating an example of storing data separately for packing and packing in a predetermined unit.
  • FIG. 23 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 8 of the present invention.
  • FIG. 24 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 10 of the present invention.
  • FIG. 25 is a flowchart of an image decoding method according to Embodiment 8 of the present invention.
  • FIG. 26 is a flowchart of an image decoding method according to the ninth embodiment of the present invention.
  • FIG. 27 is a flowchart of an image decoding method according to Embodiment 10 of the present invention.
  • FIG. 28 is a block diagram showing a configuration of an imaging apparatus according to Embodiment 11 of the present invention. Explanation of symbols
  • FIG. 1 shows an image coding apparatus according to Embodiment 1 of the present invention as a digital still camera (DS).
  • DS digital still camera
  • This digital camera has an imaging lens 1, an imaging sensor 2, an ADC 3, a digital signal processing circuit 4, a memory 5, a recording unit 6, and a lens.
  • a control unit 7 and a sensor control unit 8 are provided.
  • the subject incident from the imaging lens 1 is photoelectrically converted by the imaging sensor 2 and digitized by the ADC (analog / digital converter) 3 and then input to the digital signal processing circuit 4 .
  • the image sensor 2 pixels of three colors each having a color filter having a Bayer array structure shown in FIG. 3 are arranged. In Fig. 3, G is the color filter (green), R is red (red), and B is blue (blue). Pixel data of each color of these pixels is output from the image sensor 2 in the raster scan order, and is converted into luminance and color difference signal data by the digital signal processing circuit 4.
  • FIG. 2 is a block diagram showing a detailed configuration inside the digital signal processing circuit 4.
  • the digital signal processing circuit 4 includes a preprocessing unit 11, a signal processing unit 12, a JPEG processing unit 13, a display processing unit 14, an IF processing unit 15, a compression unit 10, and an expansion unit 20.
  • the compression unit 10 and the decompression unit 20 shown in FIG. 2 correspond to the image coding apparatus and the image decoding apparatus of the present invention, respectively.
  • pixel data from the image sensor 2 side is input to the preprocessing unit 11.
  • the pre-processing unit 11 performs an effective imaging region cutout process, a gamma correction process, a process for rearranging the order of input pixels as necessary, a pixel value replacement process for the defective pixel data of the image sensor 2, and the like. .
  • the position of the defective pixel data on the image sensor 2 can be grasped in advance by obtaining the light shielding data of the image sensor 2 before photographing, and the pixel at that position at the time of photographing can be determined. It is replaced with a pixel value (specific pixel value) determined in advance as information indicating a defective pixel.
  • a predetermined pixel value (specific pixel value) indicating defective pixel data is input, it is determined and correction processing is performed.
  • the signal processing unit 12 reads out pixel data of one pixel, which is called RAW data from the image sensor 2 stored in the memory 5 (hereinafter referred to as RAW data), and the remaining RGB colors. Is interpolated. For example, when an R (red) color pixel value is input, a process of interpolating G (green) and B (blue) at the pixel position from surrounding pixels is performed. When three colors of pixel data are collected per pixel, these are finally converted into luminance and color difference data and stored again in the memory 5.
  • the JPEG processing unit 13 reads the data converted into the luminance and color difference data, and reads the JPEG (J oint Photographic Experts Group) is applied.
  • the pixel data compressed into the JPEG format is stored again in the memory 5 and sent to the display processing unit 14 and the IF (interface) processing unit 15 as necessary.
  • the display processing unit 14 performs pixel data conversion processing and output timing synchronization processing for output to an external display device or a main body display device.
  • the IF processing unit 15 performs pixel data conversion processing and output timing synchronization processing so as to be compatible with an external memory device or transfer device.
  • the compression unit 10 corresponds to the image coding apparatus according to the present invention, and compresses the pixel string data preprocessed by the preprocessing unit 11 and stores it on the memory 5.
  • the image encoding device of the present invention that is the compression unit 10
  • when a pixel value is a specific pixel value it is assigned to a specific quantization representative value as defective pixel data.
  • the decompressing unit 20 corresponds to the image decoding apparatus according to the present invention, and decompresses the RAW data stored in the memory 5 and sends it to the signal processing unit 12.
  • the decompressing unit 20 assigns a specific pixel value as the defective pixel data and decodes it.
  • FIG. 4 is a block diagram showing a configuration of the image coding apparatus 10 according to Embodiment 1 of the present invention.
  • the image encoding device 10 includes a pixel input unit 21, a specific pixel value determination unit 22, an encoding unit 23, and a knocking unit 24.
  • the pixel input unit 21 receives the preprocessed pixel data string from the preprocessing unit 11.
  • the specific pixel value determination unit 22 determines whether or not the pixel value of the pixel data string is a specific pixel value.
  • the encoding unit 23 assigns the pixel value to a specific quantized representative value and performs encoding, and when the pixel value is not the specific pixel value, The value is assigned to one of the quantized representative values excluding a specific quantized representative value and is signed.
  • the knocking unit 24 packs the encoded quantized representative value in a predetermined unit, preferably a multiple of the access bit width of the memory.
  • FIG. 5 is a flowchart of the image encoding method according to Embodiment 1 of the present invention.
  • An input of a pixel value is accepted (S01).
  • a pre-processed pixel data string is received from the pre-processing unit 11 as shown in FIG.
  • the specific pixel value is, for example, “0”, and when it is a specific pixel value, it means defective pixel data.
  • the pixel value is assigned to a specific quantized representative value and encoded (S04).
  • the specific pixel value assigned to defective pixel data in advance is not limited to “0”. For example, it may be the upper limit value of the pixel value to be expressed.
  • the pixel value is not a specific pixel value !, the pixel value is assigned to one of the quantized representative values excluding the specific quantized representative value and encoded (S03).
  • the original pixel value is m bits, it is assigned to an n-bit quantized representative value and encoded. If n bits are smaller than m bits, the memory capacity can be reduced.
  • the pixel data string can be signed.
  • the encoded quantized representative value is a specific quantized representative value, it can be seen that the original pixel value is defective pixel data, so that the defective pixel data is reversibly encoded. You can do it.
  • the pixel input unit 21 adds a predetermined offset value to the pixel value of each pixel.
  • the predetermined offset value is a value that prevents a specific quantized representative value from being rounded by encoding an m-bit pixel value into an n-bit quantized representative value.
  • the offset value is 2 (m_n) — 1.
  • the quantization representative value becomes 0.
  • this offset value is added to the pixel values of all the pixels except for the specific pixel value, it is not rounded to a specific quantized representative value even when it is encoded.
  • a specific quantization representative value is assigned to a specific pixel value at the time of encoding.
  • the values are assigned to quantized representative values excluding a specific quantized representative value without being rounded. Therefore, the defective pixel data can be reversibly encoded and decoded.
  • clipping is performed so that the upper limit of m bits is not exceeded by adding the offset value, and these pixel values are rounded to the upper limit of 2 m — 1 of m bits.
  • the specific pixel value is “0” and the specific quantization representative value is “0”.
  • the present invention is not limited to this, and the specific pixel value may be “2 m — 1”, the specific quantization representative value may be “2 n — 1”, and the offset value may be subtracted.
  • FIG. 6 is a flowchart of the image encoding method according to Embodiment 2 of the present invention.
  • step S14 the offset value the pixel value after the addition, 2 m - 1 the Chikaraina force determines exceeded. If the original pixel value exceeds m bits after adding the offset value, it cannot be expressed in m bits as it is, so the pixel value is set to 2 m – 1 (S15). In this way, when the limit is exceeded, it is considered that it is almost unrecognized because it is close to the upper limit of the power that causes part of the original data information to be lost. On the other hand, if the m-bit range is not exceeded after adding the offset value, the process proceeds to step S16.
  • the pixel value is determined to be a specific pixel value power (S17). If it is a specific pixel value, the pixel value is assigned to a specific quantized representative value and encoded (S19).
  • the pixel value is assigned to one of the quantized representative values excluding the specific quantized representative value and encoded (S18).
  • the data from the image sensor 2 side is input to the analog 'digital conversion unit 3 or the preprocessing unit 11 and the input data is summed up to 0, 2 (m_n) to It may be limited to 2 m -1.
  • FIG. 7 is a block diagram showing the configuration of image coding apparatus 10a according to Embodiment 3 of the present invention.
  • This image encoding device 10a is different from the image encoding device according to Embodiment 1 in that it includes a difference value calculation unit 25 and an intermediate quantization unit 26.
  • the difference value calculation unit 25 calculates a difference value between the pixel value of the first pixel and the pixel values of the second pixels around the first pixel.
  • the intermediate quantization unit 26 determines k bits as the minimum bits that can represent the difference value, and represents the difference value as a k-bit quantized representative value.
  • the sign key unit 23 codes the k-bit quantized representative value to the n-bit quantized representative value. Since this image encoding apparatus encodes the difference value instead of the pixel value itself, if the difference value can be expressed in an n-bit range, no rounding occurs at the time of encoding, so losslessness occurs. Encoding / decoding can be performed.
  • FIG. 8 is a flowchart of the image encoding method according to Embodiment 3 of the present invention.
  • the input of the pixel value of the first pixel is accepted (S21).
  • the pixel value of the first pixel is not a specific pixel value.
  • the input of the pixel value of the second pixel is accepted (S22).
  • the second pixel may be a pixel of the same color in the vicinity of the first pixel.
  • the second pixel may be a pixel adjacent to the first pixel.
  • the pixel value of the second pixel is determined for a specific pixel value power (S23). If it is a specific pixel value, it is encoded into a specific quantized representative value as a difference value (S27). In this case, a specific quantized representative value is stored as the difference value, but this means that the pixel value of the second pixel is the missing pixel data. By detecting that the difference value is a specific quantized representative value, the defective pixel is used as the pixel value of the second pixel. Assign specific pixel values that represent data.
  • a difference value ⁇ between the pixel value of the first pixel and the pixel value of the second pixel is calculated (S24).
  • the pair of the first pixel and the second pixel may be a pair of neighboring pixels of the same color as shown in FIG. 9 and FIG. 10, or adjacent pixels of different colors. Even a pair!
  • the difference value ⁇ is represented by a k-bit quantized representative value (S25).
  • k bits are determined as the minimum bits that can represent the difference value ⁇ .
  • a k-bit quantized representative value is signed to an n-bit quantized representative value (S26).
  • a pixel data string including an n-bit quantized representative value obtained by encoding the difference value of each pixel value can be obtained from the pixel data string including the m-bit pixel value of the pixel.
  • the input of image sensor force with a Bayer arrangement as shown in Fig. 3 is R (red), G (green), R, G ... for each horizontal line, and the next line is G (green). ), B (blue), G, ⁇ ⁇ Pixel values are input in this order. Therefore, the combination of the first pixel and the second pixel is a combination of neighboring pixels of the same color as shown in FIG. 9, and a combination of adjacent pixels of different colors as shown in FIG. May be a pair. Further, as shown in FIG. 11, when the pixel value of the pixel is a specific pixel value, it is not regarded as the first pixel.
  • a pixel whose pixel value is not a specific pixel value is selected as the first pixel.
  • the difference values ⁇ 2 and ⁇ 4 can be calculated as they are for the R (red) pixel.
  • a specific quantized representative value is stored instead of ⁇ 1.
  • the difference value is calculated not by S3 but by the pixel that is not the specific pixel value as in FIG.
  • Figure 13 When calculating the difference value between adjacent pixels, the pixel with a specific pixel value should not be the first pixel.
  • a k-bit quantized representative value representing a difference value becomes a specific quantized representative value.
  • k + 1) -bit quantized representative values are expressed in terms of (k + 1) -bit quantized representative values.
  • FIG. 15 is a schematic diagram showing a case where the k-bit quantized representative value representing the difference value in this image coding method is “0”.
  • a method of expressing the difference value ⁇ there are a method of expressing with a sign and a method of expressing without a sign.
  • the difference value ⁇ is expressed by a notation method with a sign
  • the k-bit range includes a sign, and thus a difference value in the range of 2 k_1 — l to 2 k_1 — 1 can be expressed.
  • the range of the difference value can be expressed as 0 to 2 k ⁇ 1.
  • FIG. 14 is a flowchart of the image encoding method according to Embodiment 4 of the present invention.
  • the pixel value of the second pixel is determined to be a specific pixel value power (S33). If it is a specific pixel value, it is encoded into a specific quantized representative value as a difference value (S40).
  • a difference value ⁇ between the pixel value of the first pixel and the pixel value of the second pixel is calculated (S34).
  • the difference value is expressed by a k-bit quantized representative value (S35).
  • k bits are determined as the minimum bits that can represent the difference value ⁇ .
  • (f) It is determined whether the k-bit quantized representative value is a specific quantized representative value (S36). As shown in Fig. 15, when the difference value ⁇ is represented by unsigned k bits, if the difference value ⁇ matches-2 k_1-1 , the signed quantization representative value is "0". Become. Therefore, the difference value The number of bits to be represented is increased, and the difference value is represented by a (k + 1) -bit quantized representative value (S37). As a result, a specific quantization representative value “0” can be avoided.
  • step S38 Subsequent to step S37, as a difference value, the (k + 1) -bit quantized representative value is encoded into an n-bit quantized representative value (S38).
  • step S36 If it is determined in step S36 that the k-bit quantized representative value is not a specific quantized representative value, the k-bit quantized representative value is converted into an n-bit quantized representative value as a difference value. The sign is entered (S39).
  • a pixel data string including an n-bit quantized representative value obtained by encoding the difference value of each pixel value is obtained from the pixel data string including the m-bit pixel value of the pixel.
  • the k-bit quantized representative value representing the difference value is a specific quantized representative value.
  • encoding is performed to “1” other than “0” corresponding to a specific pixel value.
  • FIG. 16 is a flowchart of the image coding method according to Embodiment 5 of the present invention.
  • the pixel value of the second pixel is determined to be a specific pixel value power (S43).
  • the difference value is encoded into a specific quantized representative value (S49).
  • the difference value is expressed by a k-bit quantized representative value (S45).
  • the k-bit quantized representative value is a specific quantized representative value (S46). If it is a specific quantized representative value, it is encoded into a specific quantized representative value of n bits as a difference value (S48). For example, the sign is “1” other than “0” corresponding to a specific pixel value.
  • a pixel data string including an n-bit quantized representative value obtained by encoding the difference value of each pixel value can be obtained from the pixel data string including the m-bit pixel value of the pixel.
  • the n-bit quantized representative value is a specific quantized representative value
  • the image coding methods according to Embodiments 4 and 5 The difference is that it is signed to a specific quantized representative value of n bits. For example, it is encoded to “1” other than “0” corresponding to a specific pixel value.
  • it is possible to avoid a specific quantized representative value corresponding to a specific pixel value and perform coding, so that when a specific quantized representative value is detected during decoding, a specific pixel value is detected. You can reversibly encode and decode values.
  • FIG. 17 is a flowchart of the image coding method according to Embodiment 6 of the present invention.
  • the pixel value of the second pixel is determined to be a specific pixel value power (S53). If it is a specific pixel value, it is encoded into a specific quantized representative value as a difference value (S59).
  • the difference value is represented by a k-bit quantized representative value (S55).
  • k bits are determined as the minimum bits that can represent the difference value.
  • n-bit quantized representative value is a specific quantized representative value (S57). If it is a specific quantization representative value, it is encoded as a difference value into a specific quantization representative value of n bits (S58). For example, encoding is performed to “1” other than “0” corresponding to a specific pixel value. If it is determined that the value is not a specific quantization representative value, no particular processing is required, and the process ends.
  • the difference between each pixel value from the pixel data string including the m-bit pixel value of the pixel It is possible to obtain a pixel data string including an n-bit quantized representative value in which each value is signed.
  • FIG. 18 is a block diagram showing a configuration of an image encoding device according to Embodiment 7 of the present invention.
  • This image encoding device 10b is different from the image encoding device according to Embodiment 3 in that it includes a quantization width calculation unit 27.
  • the quantization width calculation unit 27 calculates a quantization width representing the degree of compression of the encoded difference value ⁇ . As a result, even when the difference value ⁇ exceeds the width of ⁇ bits, it can be compressed and expressed as a ⁇ -bit quantized representative value, and at the time of decoding, the degree of compression can be reduced with respect to the ⁇ -bit quantized representative value. Based on the quantization width shown,! / Can be expanded to the original difference value ⁇ .
  • FIG. 19 is a flowchart of the image encoding method according to Embodiment 7 of the present invention.
  • the pixel value of the second pixel is determined to be a specific pixel value power (S63). If it is a specific pixel value, it is encoded into a specific quantized representative value as a difference value (S68).
  • the difference value is expressed as a k-bit quantized representative value (S65).
  • k bits are determined as the minimum bits that can represent the difference value.
  • a k-bit quantized representative value is signed to an n-bit quantized representative value (S 66). At this time, if k bits exceed n bits, they are compressed and encoded.
  • the k-bit quantized representative value is compared with the n-bit quantized representative value to calculate a quantization width indicating the degree of compression of the encoded differential value ⁇ (S67). Details of the calculation of the quantization width will be described later.
  • a pixel data string including an n-bit quantized representative value obtained by encoding the difference value of each pixel value can be obtained from the pixel data string including the m-bit pixel value of the pixel.
  • FIG. 20 is a flowchart for explaining details of step S67 for calculating the quantization width in FIG. (a)
  • the pixel value of the second pixel is determined to be a specific pixel value power (S71).
  • S71 a specific pixel value power
  • the quantization width indicating the degree of compression of the encoded difference value ⁇ is 20 (S77).
  • the quantization width indicating the compression degree of the encoded difference value ⁇ is 2 (m ′′ n) (S76). The quantization width is calculated as described above. Then return.
  • FIG. 21 is a schematic diagram illustrating an example of determining the quantization width.
  • the pixel value of the first pixel is IN (1)
  • the pixel value of the second pixel is IN (2)
  • three scales with different vertical increments from the pixel value IN (l) of the first pixel are shown.
  • 3 scales The first scale with the smallest step size is the range of n-bit quantization representative values to be signed
  • the second scale is a scale whose step size is twice that of the first scale, and each of the n-bit quantization representative values similar to the first scale is twice as large. Points to the value, n + 1 bit quantization representative value range,
  • the third scale is a scale that is 4 times larger than the first scale, and each of the n-bit quantized representative values similar to the first scale is 4 times the value.
  • this step size means a quantization width that represents the degree of compression for compressing the difference value ⁇ into the range of ⁇ bits.
  • the second scale is required to represent the difference ⁇ between the pixel value IN (1) of the first pixel and the pixel value IN (2) of the second pixel. Therefore, in this case, the quantization width representing a degree of compression of the quantization representative value of ⁇ -bit difference value is 2 1.
  • the quantization width representing a degree of compression of the quantization representative value of ⁇ -bit difference value is 2 1.
  • the image pixel value of the second pixel by adding the pixel value of the first pixel.
  • the force described for calculating the quantization width for each difference value ⁇ is not limited to this.
  • One quantization width may be determined for the difference values ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 from the immediately adjacent pixels of the four pixels.
  • the quantization widths of the difference values ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 are ⁇ (1), ⁇ (2), ⁇ (3), and ⁇ (4)
  • the quantization width pmax of the set is The maximum quantization width among the four quantization widths as shown in the following equation.
  • ⁇ () is a process that returns the maximum value.
  • the quantization width pmax of the pair is obtained as 4. Therefore, based on this set of quantization widths pmax, the difference values ⁇ 1, ⁇ 2, ⁇ 3, ⁇ 4 are signed as ⁇ -bit quantization representative values.
  • the force that determines the quantization width with a set of four pixels is not limited to this, and any number of pixels may be used as long as it is one pixel or more.
  • determining the quantization width of a set in units of ⁇ pixels it is obtained as follows.
  • the specific pixel value is encoded as a specific quantization representative value “0” as a difference value.
  • the quantization width is set to the minimum quantization width of 20. Therefore, as shown in FIG. 13, even when a specific pixel value is included as a set, the quantization width of the set is not affected.
  • the quantization width of the set is determined, in the intermediate quantization unit 26 and the sign key unit 23, the bit accuracy of the input pixel value, the bit accuracy of encoding, the number of bits to be compressed, and the pixel value of the first pixel
  • the pixel value, quantization width, quantization dynamic range, encoded data, etc. of the second pixel are set, the difference value between the pixel value of the first pixel and the pixel value of the second pixel based on a predetermined pseudo code Is encoded into a quantized representative value based on the quantization width.
  • the difference value ⁇ is - 2 6_1 - 1-2 6-1 - 1 range, i.e., in the range of 32 to 32 is there.
  • the difference value can be represented by the 7-bit range 2 6 to 2 6 , so its quantization
  • the width p is 2 1 .
  • the set of quantization width pmax also consider the case of the same 2 1.
  • the sign result is packed in a predetermined unit, for example, a multiple of the memory access width, as shown in (a) and (b) of FIG. (A) in Fig. 22 shows that R (red) and G (green) data are stored as they are with the initial pixel value bit precision (m bits), respectively, and pmax is coded as quantization width information.
  • It is a schematic diagram showing a case where n-bit data stored is stored.
  • (B) of FIG. 22 is a schematic diagram showing a case where data arrangement is stored separately for each color of R (red) and G (green). Note that either (a) or (b) of FIG. 22 may be used. In this case, only the data extraction procedure changes during decryption, and the compression process is not affected.
  • FIG. 23 is a block diagram showing the configuration of the image decoding apparatus 20 according to Embodiment 8 of the present invention.
  • the image decoding device 20 includes a depacking unit 31, a code value extraction unit 32, a specific pixel value determination unit 33, and a decoding unit 34.
  • the depacking unit 31 depacks the encoded pixel data string.
  • the code value extraction unit 32 extracts the encoded quantization representative value.
  • the specific pixel value determination unit 33 determines whether or not the quantized representative value is a specific quantized representative value.
  • the quantization representative value is a specific value, This means that the original pixel value is defective pixel data, so it is decoded by assigning a specific pixel value.
  • FIG. 24 is a flowchart of the image decoding method according to Embodiment 8 of the present invention.
  • the code value is extracted (S82). For example, a quantized representative value encoded with a pixel value is extracted.
  • the quantized representative value is assigned to a pixel value excluding the specific pixel value for decoding (S84).
  • a pixel data string including a decoded pixel value can be obtained from a pixel data string including a quantized representative value of at least one pixel value.
  • FIG. 26 is a flowchart of the image decoding method according to Embodiment 9 of the present invention.
  • a code value is extracted (S92). For example, the pixel value of the first pixel is extracted, and the encoded quantized representative value of the difference value ⁇ between the pixel value of the first pixel and the pixel value of the second pixel in the vicinity of the first pixel is extracted. To do. In the example of (a) or (b) in FIG. 22, the pixel value (m bits) of the first pixel can be extracted as it is as the initial value. The difference value ⁇ can be extracted as encoded quantized data ( ⁇ bits).
  • the decoded m-bit difference value is added to the m-bit pixel value of the first pixel to decode the m-bit pixel value of the second pixel (S95).
  • a pixel data sequence including a decoded m-bit pixel value can be obtained from a pixel data sequence including an n-bit quantized representative value in which a difference value between pixels is encoded.
  • the pixel value of the first pixel can be extracted as an initial value as shown in FIG. 22
  • the present invention is not limited to this.
  • the pixel value of the pixel calculated by adding the difference value with respect to the initial value can be regarded as the pixel value of the first pixel for the pixel value of the next successive pixel.
  • the pixel value obtained by the previous decoding may be used as the pixel value of the first pixel to obtain the pixel value of the second pixel. ⁇ .
  • FIG. 24 is a block diagram showing the configuration of the image decoding device 20a according to Embodiment 10 of the present invention.
  • This image decoding device 20a is different from the image decoding device according to Embodiment 8 in that it includes a quantization width extraction unit 35 that indicates the degree of compression of the encoded difference value. Since the image decoding device 20a includes the quantization width extraction unit 35, the difference value compressed and encoded can be decoded based on the quantization width.
  • FIG. 27 is a flowchart of the image decoding method according to Embodiment 10 of the present invention.
  • the decoded difference value is added to the pixel value of the first pixel to decode the pixel value of the second pixel (S106).
  • a pixel data sequence including a decoded m-bit pixel value can be obtained from a pixel data sequence including an n-bit quantized representative value in which a difference value between pixels is encoded.
  • FIG. 28 is a block diagram showing the configuration of the imaging apparatus according to Embodiment 11 of the present invention.
  • This imaging apparatus includes an imaging sensor 2, an ADC 3, an image encoding circuit 10c, and a sensor control unit 8.
  • This image encoding circuit 10c can be used in any of the above image encoding devices.
  • the imaging sensor 2 a sensor capable of arranging logic in the periphery, such as a CMOS sensor, is used.
  • an image code key circuit 10c is arranged in the output part of the ADC3 that has been subjected to analog-digital conversion.
  • data traffic to the signal processing side has also been a big problem for the power of an image pickup apparatus equipped with an image sensor.
  • this image pickup apparatus is provided with an image encoding circuit (compression unit) 10c, and a signal processing side connected to this is only used with an expansion (decode) unit. Traffic to and from the signal processing side can be reduced, power consumption can be reduced, and high-speed data transfer to the signal processing side becomes possible.
  • the image encoding circuit 10c is provided, when the pixel value is a specific pixel value as described above, it can be encoded into a specific quantized representative value. As a result, when a specific quantized representative value is detected during decoding, it means that the pixel value is a specific pixel value. Therefore, it is possible to reversibly encode and decode a specific pixel value. I'll do it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

　画像符号化方法は、複数の画素が配列された画素列における各画素の画素値を含む画素データ列から、少なくとも一つの画素値を符号化した量子化代表値を含む画素データ列を得る画像符号化方法であって、前記画素の画素値が特定の画素値である場合には、特定の量子化代表値に割り当て、前記画素値が前記特定の画素値以外の場合には、前記特定の量子化代表値を除く量子化代表値に割り当てて符号化する。

Description

明 細 書
画像符号化方法及び装置、画像復号化方法及び装置、撮像装置 技術分野
[0001] 本発明は、画像符号化方法およびこれを用いた画像符号化装置に関し、特に、ビ デォカメラやデジタルスチルカメラ等の撮像センサを用 ヽた画像を圧縮する画像符 号化方法および画像符号化装置に関する。
背景技術
[0002] 近年、デジタルスチルカメラ、カメラ付き携帯電話、ムービーカメラ等の撮像センサ を含むカメラ機器において高画素化が進んでいる。その一方で、メモリバッファ量、消 費電力の削減が望まれている。そこで、メモリバッファを消費するセンサ力もの RAW データ (撮像センサからの画素データそのもの）を削減する方法が考えられて 、る。こ の場合に、非可逆圧縮する場合、センサの欠損画素情報の扱いが問題となる。
[0003] 欠損画素である情報を含む画素データを、非可逆圧縮すると、欠損画素である情 報を消失してしまう可能性がある。そのため、圧縮前に欠損画素を補正することが望 ましいが、補正処理に力かるメモリや回路コストを考えると、信号処理の後段の回路 にある外部メモリや回路をうまく共用利用したいという要望がある。そうなると、信号処 理の前段では圧縮できなくなりメモリバッファ量や消費電力の削減が困難となる課題 を抱えていた。
[0004] また、隣接する画素間の画素値の差分力 求める符号値をテーブル値で参照する 技術がある（例えば、特許文献 1。 ) oさらに、 DPCM符号ィ匕圧縮において同色の画 素情報について符号ィ匕する技術がある (例えば、特許文献 2参照。 )0
[0005] 特許文献 1 :特開平 11 341288号公報
特許文献 2：特開 2000— 244935号公報
発明の開示
発明が解決しょうとする課題
[0006] 本発明の目的は、撮像センサ力 の画素データに修正箇所欠損画素データが含ま れる場合であっても、適応的に可逆的に圧縮して処理することにより、後段の処理に ぉ ヽて欠損画素データを正しく補正できるように符号化できる画像符号化方法及び 装置を提供することである。
課題を解決するための手段
[0007] 本発明に係る画像符号化方法は、複数の画素が配列された画素列における各画 素の画素値を含む画素データ列から、少なくとも一つの画素値を符号ィ匕した量子化 代表値を含む画素データ列を得る画像符号化方法であって、
前記画素の画素値が特定の画素値である場合には、特定の量子化代表値に割り 当て、前記画素値が前記特定の画素値以外の場合には、前記特定の量子化代表値 を除く量子化代表値に割り当てて符号ィ匕することを特徴とする。
[0008] また、前記画素は、 mビットの画素値を有し、前記符号化した量子化代表値は mビ ットより/ J、さ ヽ nビットであって、
前記符号化に先立って、画素値が特定の画素値でない前記各画素の画素値に、 それぞれ所定のオフセット値を加算してもよ 、。
なお、オフセット値は、 2(m_n)— lであってもよい。
[0009] 本発明に係る画像符号化方法は、複数の画素が配列された画素列における各画 素の mビットの画素値を含む画素データ列から、前記各画素値の差分値をそれぞれ 符号ィ匕した nビットの量子化代表値を含む画素データ列を得る画像符号ィ匕方法であ つて、
第 1画素の画素値と、前記第 1画素の近傍の第 2画素の画素値との差分値を算出 するステップと、
前記差分値の大きさに基づいて前記差分値を kビットの量子化代表値で表すステツ プと、
前記差分値の前記 kビットの量子化代表値を前記 nビットの量子化代表値の一つに 変換して符号ィ匕するステップと
を含み、
前記第 2画素の画素値が特定の画素値である場合には、前記差分値として、特定 の量子化代表値に変換することを特徴とする。
[0010] また、前記 kビットの量子化代表値と前記 nビットの量子化代表値とを比較して、変 換後の差分値の圧縮度を示す量子化幅を算出するステップをさらに含んでもよい。
[0011] さらに、前記第 2画素の画素値が特定の画素値である場合には、前記差分値として 、所定の量子化幅の特定の量子化代表値を割り当ててもょ 、。
[0012] またさらに、前記差分値を kビットの量子化代表値で表すステップにお 、て、前記第 2画素の画素値が特定の画素値でな 、場合であって、割り当てる前記 kビットの量子 化代表値が特定の量子化代表値となる場合には、前記差分値を kビットの量子化幅 に代えて (k+ 1)ビットの量子化幅の量子化代表値の一つに割り当ててもよい。
[0013] また、前記差分値の前記 kビットの量子化代表値を前記 nビットの量子化代表値に 変換するステップにお 、て、前記第 2画素の画素値が特定の画素値でな 、場合であ つて、前記差分値の前記 kビットの量子化代表値が特定の量子化代表値である場合 には、前記 nビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよ い。
[0014] さらに、前記差分値の前記 kビットの量子化代表値を前記 nビットの量子化代表値 に変換するステップにお 、て、前記第 2画素の画素値が特定の画素値でな 、場合で あって、変換する前記 nビットの量子化代表値が特定の量子化代表値となる場合に は、前記 nビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよい
[0015] またさらに、前記第 1画素の画素値は、特定の画素値を除く画素値を割り当てること が好ましい。
[0016] また、前記画素列は、少なくとも 2種類の色の画素が配列されており、
前記差分値を算出するステップでは、第 1画素の画素値と前記第 1画素の近傍の 同色の第 2画素の画素値との差分値を算出することとしてもよい。
[0017] さらに、前記画素列は、少なくとも 2種類の色の画素が配列されており、
前記差分値を算出するステップでは、第 1画素の画素値と前記第 1画素の近傍の 異なる色の第 2画素の画素値との差分値を算出することとしてもよい。
[0018] またさらに、前記符号ィ匕した量子化代表値を含む画像データ列をメモリのアクセス ビット幅の倍数でパッキングするステップをさらに含んでもよい。
[0019] また、前記特定の画素値は、 0としてもよい。さらに、前記特定の量子化代表値は、 0としてちよい。
[0020] 本発明に係る画像符号ィ匕装置は、複数の画素が配列された画素列における各画 素の画素値を含む画素データ列から、少なくとも一つの画素値を符号ィ匕した量子化 代表値を含む画素データ列を得る画像符号化装置であって、
前記画素の画素値が特定の画素値である力否かを判別する特定画素値判別部と 前記画素の画素値が前記特定の画素値である場合には、特定の量子化代表値に 割り当て、前記画素の画素値が前記特定の画素値以外の場合には、前記特定の量 子化代表値を除く量子化代表値に割り当てて符号化する符号ィ匕部と
を備えることを特徴とする。
[0021] 本発明に係る画像符号ィ匕装置は、複数の画素が配列された画素列における各画 素の mビットの画素値を含む画素データ列から、前記各画素値の差分値をそれぞれ 符号ィ匕した nビットの量子化代表値を含む画素データ列を得る画像符号ィ匕装置であ つて、
第 1画素の画素値と、前記第 1画素の近傍の第 2画素の画素値との差分値を算出 する差分値算出部と、
前記差分値の大きさに基づいて前記差分値を kビットの量子化代表値で表す中間 量子化部と、
前記第 2画素の画素値が特定の画素値である力否かを判別する特定画素値判別 部と、
前記第 2画素の画素値が前記特定の画素値である場合には、前記差分値の前記 k ビットの量子化代表値を前記 nビットの量子化代表値の一つに変換し、前記第 2画素 の画素値が前記特定の画素値以外の場合には、前記差分値の前記 kビットの量子 化代表値を前記 nビットの前記特定の量子化代表値を除く量子化代表値の一つに変 換して符号化する符号化部と
を備えることを特徴とする。
[0022] また、前記中間量子化部は、前記第 2画素の画素値が特定の画素値でない場合で あって、前記 kビットの量子化代表値が特定の量子化代表値となる場合には、前記差 分値を kビットの量子化幅に代えて (k+ 1)ビットの量子化幅の量子化代表値の一つ に割り当ててもよい。
[0023] さらに、前記符号化部は、前記第 2画素の画素値が特定の画素値でな 、場合であ つて、前記差分値の前記 kビットの量子化代表値が特定の量子化代表値である場合 には、前記 nビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよ い。
[0024] またさらに、前記符号化部は、前記第 2画素の画素値が特定の画素値でない場合 であって、変換する前記 nビットの量子化代表値が特定の量子化代表値となる場合 には、前記 nビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよ い。
[0025] また、前記差分値算出部は、前記第 1画素の画素値と前記第 1画素の近傍の同色 の第 2画素の画素値との差分値を算出してもよい。
[0026] さらに、前記差分値算出部は、前記第 1画素の画素値と前記第 1画素の近傍の異 なる色の第 2画素の画素値との差分値を算出してもよい。
[0027] またさらに、前記 kビットの量子化代表値と前記 nビットの量子化代表値とを比較して
、変換後の差分値の圧縮度を示す量子化幅を算出する量子化幅算出部と、 前記差分値について、前記変換した nビットの量子化代表値と、前記量子化幅とを 含む画像データ列を所定の単位にパッキングするパッキング部と
をさらに備えてもよい。
[0028] 本発明に係る画像復号ィ匕方法は、少なくとも一つの画素値の符号化された量子化 代表値を含む画素データ列から、復号化された画素値を含む画素データ列を得る画 像復号化方法であって、
符号化された前記画素の量子化代表値が特定の量子化代表値である場合には、 特定の画素値に割り当て、符号化された前記画素の量子化代表値が前記特定の量 子化代表値以外の場合には、前記特定の画素値を除く画素値に割り当てて復号ィ匕 することを特徴とする。
[0029] 本発明に係る画像復号化方法は、画素間の差分値が符号化された nビットの量子 化代表値を含む画素データ列から、復号化された mビットの画素値を含む画素デー タ列を得る画像復号ィ匕方法であって、
符号化された画素データ列をデパッキングするステップと、
第 1画素の画素値として第 1符号値を得るステップと、
前記第 1画素の画素値と第 2画素の画素値との差分値の符号化された量子化代表 値として第 2符号値を得るステップと、
前記第 2符号値は、特定の量子化代表値であるか否かを判断するステップと、 前記第 2符号値を復号化して前記第 1画素の画素値と前記第 2画素の画素値との 差分値を得るステップと、
復号化した前記第 1画素の画素値に復号化した前記差分値を加算して前記第 2画 素の画素値を得るステップと
を含み、
前記第 2符号値が特定の量子化代表値であった場合には、前記第 2画素の画素値 として特定の画素値を割り当てることを特徴とする。
[0030] また、符号化された前記差分値の圧縮度を示す量子化幅を得るステップをさらに含 んでもよぐ
前記第 2符号値を復号化して差分値を得るステップにお 、て、前記第 2符号値を前 記量子化幅に基づいて復号ィ匕して差分値を得ることができる。
[0031] 本発明に係る画像復号ィ匕装置は、少なくとも一つの画素値の符号化された量子化 代表値を含む画素データ列から、復号化された画素値を含む画素データ列を得る画 像復号化装置であって、
前記量子化代表値が特定の量子化代表値であるか否かを判別する特定画素値判 別部と、
前記量子化代表値が前記特定の量子化代表値である場合には、特定の画素値に 割り当て、前記量子化代表値が前記特定の量子化代表値以外の場合には、前記特 定の画素値を除く画素値に割り当てて復号ィヒする復号ィ匕部と
を備えることを特徴とする。
[0032] 本発明に係る画像復号ィ匕装置は、画素間の差分値が符号化された nビットの量子 化代表値を含む画素データ列から、復号化された mビットの画素値を含む画素デー タ列を得る画像復号ィ匕装置であって、
符号化された画素データ列をデパッキングするデパッキング部と、
第 1画素の画素値として第 1符号値を得ると共に、前記第 1画素の画素値と第 2画 素の画素値との差分値の符号化された量子化代表値として第 2符号値を得る符号値 抽出部と、
前記第 2符号値は、特定の量子化代表値であるか否かを判断する特定画素値判 別部と、
前記第 2符号値が特定の量子化代表値である場合には、前記第 2画素の画素値と して特定の画素値を割り当て、前記第 2符号値が特定の量子化代表値でない場合に は、前記第 2符号値を復号化して前記差分値を得て、前記差分値を復号化した前記 第 1画素の画素値に加算して前記第 2画素の画素値を得る復号化部と
を備えることを特徴とする。
[0033] また、符号化された前記差分値の圧縮度を示す量子化幅を得る量子化幅抽出部 をさら〖こ含んでちょく、
前記復号化部は、前記第 2符号値を前記量子化幅に基づ ヽて復号化して差分値 を得ることができる。
[0034] 本発明に係る撮像装置は、アナログ 'デジタル変換して mビットの画素データを出 力する撮像センサと、
前記画像符号化装置と
を備えることを特徴とする。
発明の効果
[0035] 本発明に係る画像符号化方法によれば、画素データを圧縮して符号化する場合に 、符号値を表す量子化代表値の一つによって欠陥画素データを示すことができるの で、欠陥画素に関する情報について別にメモリを占める必要がなくなる。また、復号 化の際には、符号化された量子化代表値が特定の量子化代表値である場合には、 元の画素値が欠陥画素データであることがわ力るので、欠陥画素データについて可 逆的に符号化 ·復号ィ匕を行うことができる。
図面の簡単な説明 [図 1]本発明の実施の形態 1に係るデジタルスチルカメラの構成を示すブロック図で ある。
[図 2]図 1のデジタル信号処理回路の構成を示すブロック図である。
[図 3]図 1の撮像センサに含まれるべィャ配列構造のフィルタの配置を示す概略図で ある。
[図 4]本発明の実施の形態 1に係る画像符号ィ匕装置の構成を示すブロック図である。
[図 5]本発明の実施の形態 1に係る画像符号ィ匕方法のフローチャートである。
[図 6]本発明の実施の形態 2に係る画像符号ィ匕方法のフローチャートである。
[図 7]本発明の実施の形態 3に係る画像符号ィ匕装置の構成を示すブロック図である。
[図 8]本発明の実施の形態 3に係る画像符号ィ匕方法のフローチャートである。
[図 9]本発明の実施の形態 3に係る画像符号ィ匕方法における同色画素間の差分値を とる場合を示す概略図である。
[図 10]本発明の実施の形態 3に係る画像符号ィ匕方法における隣接画素間の差分値 をとる場合を示す概略図である。
[図 11]本発明の実施の形態 3に係る画像符号ィ匕方法における特定の画素値が同色 画素で連続して存在する場合の差分値のとり方を示す概略図である。
[図 12]本発明の実施の形態 3に係る画像符号ィ匕方法における特定の画素値が存在 する場合の差分値のとり方の一例を示す概略図である。
[図 13]本発明の実施の形態 3に係る画像符号ィ匕方法における特定の画素値が存在 する場合の隣接画素間で差分値をとる一例を示す概略図である。
[図 14]本発明の実施の形態 4に係る画像符号ィ匕方法のフローチャートである。
[図 15]差分値を表す kビットの量子化代表値が「0」となる場合を示す概略図である。
[図 16]本発明の実施の形態 5に係る画像符号ィ匕方法のフローチャートである。
[図 17]本発明の実施の形態 6に係る画像符号ィ匕方法のフローチャートである。
[図 18]本発明の実施の形態 7に係る画像符号ィ匕装置の構成を示すブロック図である
[図 19]本発明の実施の形態 7に係る画像符号ィ匕方法のフローチャートである。
[図 20]図 19のステップ S67の詳細を示すフローチャートである。 [図 21]量子化幅を決定する例を示す概略図である。
[図 22] (a)は、 R (赤）と G (緑)の 2色のデータについて格納して所定の単位でパツキ ングする一例を示す概略図であり、（b)は、 R (赤）と G (緑)の色毎にデータ配置を分 けて格納して所定の単位でパッキングする一例を示す概略図である。
[図 23]本発明の実施の形態 8に係る画像復号ィ匕装置の構成を示すブロック図である
[図 24]本発明の実施の形態 10に係る画像復号ィ匕装置の構成を示すブロック図であ る。
[図 25]本発明の実施の形態 8に係る画像復号ィ匕方法のフローチャートである。
[図 26]本発明の実施の形態 9に係る画像復号ィ匕方法のフローチャートである。
[図 27]本発明の実施の形態 10に係る画像復号ィ匕方法のフローチャートである。
[図 28]本発明の実施の形態 11に係る撮像装置の構成を示すブロック図である。 符号の説明
[0037] 1 撮像レンズ、 2 撮像センサ、 3 ADC、 4 デジタル信号処理回路、 5 メモリ、 6 記録部、 7 レンズ制御部、 8 センサ制御部、 10、 10a、 10b 画像符号化装置 (圧 縮部）、 10c 画像符号化回路、 11 前処理部、 12 信号処理部、 13 JPEG処理部 、 14 表示処理部、 15 IF処理部、 20、 20a 画像復号化装置 (伸張部）、 21 画素 入力部、 22 特定画素値判別部、 23 符号化部、 24 ノ ッキング部、 25 差分値算 出部、 26 中間量子化部、 27 量子化幅算出部、 31 デパッキング部、 32 符号値 抽出部、 33 特定画素値判別部、 34 復号化部、 35 量子化幅抽出部
発明を実施するための最良の形態
[0038] 本発明の実施の形態に係る画像符号化方法及び装置、画像復号化方法及び装 置、撮像装置について、添付図面を用いて説明する。なお、図面において実質的に 同一の部材には同一の符号を付している。
[0039] (実施の形態 1)
図 1は、本発明の実施の形態 1に係る画像符号化装置をデジタルスチルカメラ (DS
C)に適用した場合の構成例を示すブロック図である。このデジタルカメラは、撮像レ ンズ 1、撮像センサ 2、 ADC3、デジタル信号処理回路 4、メモリ 5、記録部 6、レンズ 制御部 7、センサ制御部 8を備える。撮像レンズ 1から入射した被写体は、撮像センサ 2にお!/、て光電変換され、 ADC (アナログデジタルコンバータ） 3にお!/、てデジタル化 された後、デジタル信号処理回路 4に入力される。撮像センサ 2には、図 3に示すベ ィャ配列構造の色フィルタを有する 3色の画素が配置されている。図 3で、 Gはダリー ン（緑）、 Rはレッド（赤）、 Bはブルー（青）のそれぞれの色フィルタを示して!/、る。これ らの各画素の各色の画素データは、ラスタスキャンの順序で撮像センサ 2から出力さ れ、デジタル信号処理回路 4で輝度と色差信号データに変換される。
[0040] 図 2は、上記デジタル信号処理回路 4の内部の詳細な構成を示すブロック図である 。デジタル信号処理回路 4は、前処理部 11と、信号処理部 12と、 JPEG処理部 13と 、表示処理部 14と、 IF処理部 15と、圧縮部 10と、伸張部 20とを備える。ここで、図 2 に示す圧縮部 10と伸長部 20は、それぞれ本発明の画像符号ィ匕装置と画像復号ィ匕 装置にあたる。
[0041] 以下に各部材の機能について説明する。まず、撮像センサ 2側からの画素データ は、前処理部 11に入力される。前処理部 11では、有効撮像領域の切り出し処理や、 ガンマ補正処理、必要に応じて入力画素の順序を並び替える処理、及び撮像センサ 2の欠陥画素データに対して画素値の置き換え処理等を行う。
[0042] なお、撮像センサ 2上の欠陥画素データについては、撮影前に撮像センサ 2の遮 光データを得ることにより事前にその位置を把握することが可能で、撮影時にその位 置の画素を欠陥画素である情報として予め決められた画素値 (特定画素値）に置き 換える。後段の補正処理回路では、欠陥画素データを示す予め決められた画素値（ 特定画素値)が入力された場合は、それを判断して補正処理を行うことになる。
[0043] 信号処理部 12では、ー且メモリ 5に蓄えられた撮像センサ 2からの RAWデータと呼 ばれる 1画素 1色の画素データを読み出し (以下、 RAWデータと称す）、 RGBの残り の色を補間する。例えば、 R (赤)色の画素値が入力された場合、その画素位置の G ( 緑)と B (青）を周辺画素から補間する処理が施される。 1画素あたりに 3色の画素デ ータが揃うと、これらは最終的には輝度と色差データに変換されてメモリ 5上に再度 格納される。
[0044] JPEG処理部 13では、輝度と色差データに変換されたデータを読み出し、 JPEG (J oint Photographic Experts Group)と呼ばれる圧縮処理が施される。 JPEG形式に圧 縮された画素データは、再度メモリ 5に格納され必要に応じて、表示処理部 14や IF ( インタフェース）処理部 15に送られる。
[0045] 表示処理部 14では、外部の表示装置や本体の表示装置に出力するための、画素 データ変換処理と出力タイミングの同期処理が行われる。また、 IF処理部 15では外 部のメモリ装置や転送装置に対して適合するように、画素データ変換処理と出力タイ ミングの同期処理が行われる。
[0046] 圧縮部 10は、本発明に係る画像符号ィ匕装置に対応するものであって、前処理部 1 1で前処理された画素列データを圧縮してメモリ 5上に格納する。この圧縮部 10であ る本発明の画像符号化装置では、後述するように、画素値が特定の画素値である場 合には、欠陥画素データであるとして、特定の量子化代表値に割り当てて符号化す る。また、伸長部 20は、本発明に係る画像復号化装置に対応するものであって、メモ リ 5に格納された RAWデータを伸長して信号処理部 12に送る。この伸張部 20では、 符号化された量子化代表値が特定の量子化代表値である場合には、これを欠陥画 素データとして特定の画素値を割り当てて復号ィ匕する。これらについては以下に詳 述する。
[0047] 図 4は、本発明の実施の形態 1に係る画像符号ィ匕装置 10の構成を示すブロック図 である。この画像符号ィ匕装置 10は、画素入力部 21と、特定画素値判別部 22と、符 号化部 23と、ノ ッキング部 24とを備える。画素入力部 21は、前処理部 11から前処理 された画素データ列を受け取る。特定画素値判別部 22は、画素データ列の画素値 が特定画素値である力否かを判断する。符号ィ匕部 23は、画素値が特定の画素値で ある場合には、画素値を特定の量子化代表値に割り当てて符号ィ匕し、画素値が特定 の画素値でない場合には、画素値を特定の量子化代表値を除く量子化代表値の一 つに割り当てて符号ィ匕する。ノ ッキング部 24は、符号化した量子化代表値を所定の 単位、好ましくは、メモリのアクセスビット幅の倍数でパッキングする。
[0048] 図 5は、本発明の実施の形態 1に係る画像符号ィ匕方法のフローチャートである。
(a)画素値の入力を受け付ける（S01)。ここでは、図 2に示すように前処理部 11から 前処理された画素データ列を受け付ける。 (b)画素値は、特定の画素値か否力判断する（S02)。ここで特定の画素値とは、例 えば、「0」であり、特定の画素値である場合には、欠陥画素データであることを意味 する。画素値が特定の画素値である場合には、画素値を特定の量子化代表値に割り 当てて符号ィ匕する（S04)。なお、あらかじめ欠陥画素データに対して割り当てる特定 の画素値としては「0」に限られない。例えば、表現する画素値の上限の値であっても よい。
(c)画素値が特定の画素値でな!、場合には、画素値を特定の量子化代表値を除く 量子化代表値の一つに割り当てて符号ィ匕する（S03)。ここでは、元の画素値が mビ ットであった場合に、 nビットの量子化代表値に割り当てて符号ィ匕する場合である。 n ビットが mビットより小さい場合にはメモリ容量を減らすことができる。
以上によって画素データ列を符号ィ匕することができる。
このように符号値を表す量子化代表値の一つによって欠陥画素データを示すこと で、欠陥画素に関する情報について別にメモリを占める必要がなくなる。また、符号 化された量子化代表値が特定の量子化代表値である場合には、元の画素値が欠陥 画素データであることがわかるので、欠陥画素データについて可逆的に符号化'復 号ィ匕を行うことができる。
(実施の形態 2)
本発明の実施の形態 2に係る画像符号化装置では、実施の形態 1に係る画像符号 化装置と比較すると、画素入力部 21において、各画素の画素値に所定のオフセット 値を加算する点で相違する。ここで所定のオフセット値とは、 mビットの画素値を nビッ トの量子化代表値に符号化することによって丸められて特定の量子化代表値になる ことを防ぐ値である。具体的には、オフセット値は、 2(m_n)— 1である。例えば、 10ビッ ト (m= 10)の画素値を 6ビット (n=6)の量子化代表値に符号ィ匕する場合には、画素 値が 1〜15 ( = 24— 1)の場合には 6ビットに丸めると量子化代表値としては 0となって しまう。この場合、オフセット値（2(1°_6)— 1)は、 15 ( = 24— 1)となる。このオフセット 値を特定の画素値を除く全ての画素の画素値に加算しておくことによって符号ィ匕し た際にも特定の量子化代表値に丸められることがない。これによつて、符号化の際に 特定画素値については特定の量子化代表値が割り当てられる力 それ以外の画素 値については丸められることなく特定の量子化代表値を除く量子化代表値に割り当 てられる。そこで、欠陥画素データについては可逆的に符号化'復号ィ匕を行うことが できる。この場合、オフセット値を加算することによって mビットの上限を超えないよう にクリッピング処理を施して、これらの画素値を mビットの上限の 2m— 1に丸める。
[0050] なお、ここでは、特定の画素値を「0」とし、特定の量子化代表値を「0」としているが
、これに限られず、特定の画素値を「2m— 1」とし、特定の量子化代表値を「2n— 1」と し、オフセット値を減算するようにしてもよい。
[0051] 図 6は、本発明の実施の形態 2に係る画像符号ィ匕方法のフローチャートである。
(a)画素値の入力（S 11)を受け付ける。
(b)画素値は、特定の画素値か否力判断する（S 12)。ここでは、特定の画素値を除く 全ての画素値にオフセット値を加算するため、特定の画素値であるか否かを判断す る。
(c)各画素値にオフセット値 2(m_n) - 1をインクリメントする（S13)。
(d)オフセット値加算後の画素値は、 2m— 1を超えた力否力判断する（S14)。オフセ ット値加算後に元の画素値の mビットを超える場合、そのままでは mビットで表現でき なくなるため、画素値を 2m— 1に設定する（S15)。このように上限を超える場合にタリ ッビングすることで元のデータの情報が一部失われる力 上限に近いためほとんど認 識されないものと考えられる。一方、オフセット値加算後も mビットの範囲を超えてい ない場合には、ステップ S16に移行する。
(e)全ての画素についてオフセット処理を済ませたか否か判断する（S16)。全ての画 素についてオフセット処理が終了した場合には、次のステップ S 17に移行し、終了し ていなければ、ステップ S 11〖こ戻る。
(f)画素値は、特定の画素値力否力判断する（S 17)。特定の画素値である場合には 、画素値を特定の量子化代表値に割り当てて符号化する (S19)。
(g)特定の画素値でな!、場合には、画素値を特定の量子化代表値を除く量子化代 表値の一つに割り当てて符号ィ匕する（S18)。
以上によって、画素の mビットの画素値を含む画素データ列から、上記画素値を符 号ィ匕した nビットの量子化代表値の画素データ列を得る画像符号ィ匕を行うことができ る。このように、オフセット値を加算しておくことによって、元の画素値が l〜2(m_n)— 1 の範囲にある場合にも、符号化の際に丸められて特定の量子化代表値「0」になるこ とを防ぐことができる。
[0052] なお、上記オフセット処理に代えて、撮像センサ 2側からのデータをアナログ 'デジ タル変換部 3、又は、前処理部 11において入力データをあら力じめ、 0、 2(m_n)〜2m —1に制限してもよい。
[0053] (実施の形態 3)
図 7は、本発明の実施の形態 3に係る画像符号化装置 10aの構成を示すブロック 図である。この画像符号ィ匕装置 10aは、実施の形態 1に係る画像符号化装置と比較 すると、差分値算出部 25と、中間量子化部 26とを備える点で相違する。差分値算出 部 25は、第 1画素の画素値と第 1画素の周辺の第 2画素の画素値との差分値を算出 する。中間量子化部 26は、上記差分値を表すことができる最小ビットとして kビットを 決定し、上記差分値を kビットの量子化代表値で表す。また、符号ィ匕部 23では、 kビッ トの量子化代表値を nビットの量子化代表値に符号ィ匕する。この画像符号化装置で は、画素値自体ではなく差分値を符号化するので、差分値が nビットの範囲で表すこ とができる場合には、符号ィ匕の際の丸めが生じないので可逆的に符号化'復号ィ匕を 行うことができる。
[0054] 図 8は、本発明の実施の形態 3に係る画像符号ィ匕方法のフローチャートである。
(a)第 1画素の画素値の入力を受け付ける（S21)。この場合、第 1画素の画素値は 特定の画素値でな 、ものとする。
(b)第 2画素の画素値の入力を受け付ける（S22)。第 2画素は、図 9に示すように、 第 1画素の近傍の同色の画素としてもよい。あるいは、図 10に示すように、第 2画素 は、第 1画素の隣接画素であってもよい。
(c)第 2画素の画素値は、特定の画素値力否力判断する（S23)。特定の画素値であ る場合には、差分値として、特定の量子化代表値に符号化する（S27)。なお、この 場合に、差分値として特定の量子化代表値が格納されるが、第 2画素の画素値が欠 陥画素データであることを意味するものであって、復号化の際には、差分値が特定の 量子化代表値であることを検出することによって、第 2画素の画素値として欠陥画素 データを意味する特定の画素値を割り当てる。
(d)第 2画素の画素値が特定の画素値でない場合には、第 1画素の画素値と第 2画 素の画素値の差分値 δを算出する（S24)。なお、第 1画素と第 2画素の組は、図 9及 び図 10に示すように互 ヽに近傍の同色の画素の組であってもよく、隣接する互!ヽに 異なる色の画素の組であってもよ!/、。
(e)差分値 δを kビットの量子化代表値で表す (S25)。この場合、上記差分値 δを表 すことができる最小ビットとして kビットを決定する。
(f)差分値として、 kビットの量子化代表値を nビットの量子化代表値に符号ィ匕する（S 26)。
以上によって、画素の mビットの画素値を含む画素データ列から、各画素値の差分 値をそれぞれ符号ィ匕した nビットの量子化代表値を含む画素データ列を得ることがで きる。
次に、差分値を得る第 1画素と第 2画素の組の選択について図 9から図 13を用いて 説明する。撮像センサ 2からの入力される画素値をラスタ順に IN ( 1)、 IN (2) · · ·とす る場合、差分値 δは、
差分値 δ =IN (t) -IN (t- 1) t :時刻
として表すことができる。また、図 3に示すようなべィャ配列構成をとる撮像センサ力も の入力は、水平ライン毎に、 R (赤）、 G (緑)、 R、 G · · ·、次のラインは G (緑)、 B (青） 、 G、 Β · · ·という順に画素値が入力される。そこで、第 1画素と第 2画素の組合わせと しては、図 9に示すように、近傍の同色の画素の組とする場合と、図 10に示すように 隣接する互いに異なる色の画素の組とする場合がある。また、図 11に示すように、画 素の画素値が特定の画素値である場合には、これを第 1画素とはしないものとする。 この場合、画素値が特定の画素値ではない画素を第 1画素として選択する。図 12の 場合には、 R (赤）の画素については、差分値 δ 2、 δ 4はそのまま算出できる。また、 G (緑）の画素の差分値 δ 1については、第 2画素の画素値が特定の画素値である場 合なので、 δ 1に代えて特定の量子化代表値が格納される。一方、画素値が特定の 画素値となる画素は第 1画素としないので、 S 3ではなく、図 1 1と同様に特定の画素 値ではない画素を第 1画素として差分値を算出する。さらに、図 13に示すように、隣 接する画素間で差分値を算出する場合には、特定の画素値である画素を第 1画素と しないようにする。
[0056] (実施の形態 4)
本発明の実施の形態 4に係る画像符号ィ匕方法は、実施の形態 3に係る画像符号化 方法と比較すると、差分値を表す kビットの量子化代表値が特定の量子化代表値とな る場合に、（k+ 1)ビットの量子化代表値で表す点で相違する。これによつて差分値 の符号ィ匕にあたって特定の量子化代表値を避けることができ、復号化の際に特定の 量子化代表値を検出した場合には符号ィ匕による割り当てを避けることができるので、 特定の画素値に可逆的に符号化 ·復号化ができる。
[0057] 図 15は、この画像符号化方法における差分値を表す kビットの量子化代表値が「0 」となる場合を示す概略図である。ここで、差分値 δを表す方法として、符号有りで表 記する方法と、符号無しで表記する方法がある。差分値 δを符号有りの表記方法で 表すと、 kビットの範囲では、符号を含むので 2k_1— l〜2k_1— 1の範囲の差分値 を表すことができる。一方、符号無しの表記方法では、上記差分値の範囲を 0〜2k— 1で表記することができる。この場合、差分値が— 2k_1— 1である場合には「0」として 表される。そこで、 kビットではなく（k+ 1)ビットの範囲で表すと、同じ差分値— 2k_1 - 1を「0」ではなく（k+ 1)ビットの 2k_ 1— 1として表すことができる。
[0058] 図 14は、本発明の実施の形態 4に係る画像符号ィ匕方法のフローチャートである。
(a)第 1画素の画素値の入力を受け付ける（S31)。
(b)第 2画素の画素値の入力を受け付ける（S32)。
(c)第 2画素の画素値は、特定の画素値力否力判断する（S33)。特定の画素値であ る場合には、差分値として、特定の量子化代表値に符号化する (S40)。
(d)第 1画素の画素値と第 2画素の画素値の差分値 δを算出する（S34)。
(e)差分値を kビットの量子化代表値で表す (S35)。この場合、上記差分値 δを表す ことができる最小ビットとして kビットを決定する。
(f) kビットの量子化代表値は、特定の量子化代表値か否か判断する（S36)。図 15 に示すように、差分値 δを符号無し kビットで表す場合には、差分値 δが— 2k_1— 1 に一致する場合には、符号ィ匕した量子化代表値として「0」となる。そこで、差分値を 表すビット数を増して、差分値を (k+ 1)ビットの量子化代表値で表す (S37)。これに よって、特定の量子化代表値「0」を避けることができる。
(g)ステップ S37に続いて、差分値として、（k+ 1)ビットの量子化代表値を nビットの 量子化代表値に符号化する (S38)。
(h)ステップ S36で kビットの量子化代表値が特定の量子化代表値でな 、と判断した 場合には、差分値として、 kビットの量子化代表値を nビットの量子化代表値に符号ィ匕 する（S39)。
以上によって、画素の mビットの画素値を含む画素データ列から、各画素値の差分 値をそれぞれ符号ィ匕した nビットの量子化代表値を含む画素データ列を得る。
[0059] (実施の形態 5)
本発明の実施の形態 5に係る画像符号ィ匕方法は、実施の形態 4に係る画像符号化 方法と比較すると、差分値を表す kビットの量子化代表値が特定の量子化代表値で ある場合に、 nビットの特定の量子化代表値に符号ィ匕する点で相違する。例えば、特 定の画素値に対応する「0」以外の、「1」に符号化する。これによつて特定の画素値 に対応する特定の量子化代表値を避けて符号ィ匕することができるので、復号化の際 に特定の量子化代表値を検出した場合には、特定の画素値に可逆的に符号化'復 号化ができる。
[0060] 図 16は、本発明の実施の形態 5に係る画像符号ィ匕方法のフローチャートである。
(a)第 1画素の画素値の入力を受け付ける（S41)。
(b)第 2画素の画素値の入力を受け付ける（S42)。
(c)第 2画素の画素値は、特定の画素値力否力判断する（S43)。特定の画素値の場 合には、差分値として、特定の量子化代表値に符号化する (S49)。
(d)第 1画素の画素値と第 2画素の画素値の差分を算出する（S44)。
(e)差分値を kビットの量子化代表値で表す (S45)。
(f) kビットの量子化代表値は、特定の量子化代表値か否か判断する（S46)。特定の 量子化代表値である場合には、差分値として、 nビットの特定の量子化代表値に符号 化する（S48)。例えば、特定の画素値に対応する「0」以外の、「1」に符号ィ匕する。
(g)差分値として、 kビットの量子化代表値を nビットの量子化代表値に符号ィ匕する (S 47)。
以上によって、画素の mビットの画素値を含む画素データ列から、各画素値の差分 値をそれぞれ符号ィ匕した nビットの量子化代表値を含む画素データ列を得ることがで きる。
[0061] (実施の形態 6)
本発明の実施の形態 6に係る画像符号ィ匕方法は、実施の形態 4及び 5に係る画像 符号化方法と比較すると、 nビットの量子化代表値が特定の量子化代表値である場 合に、 nビットの特定の量子化代表値に符号ィ匕する点で相違する。例えば、特定の画 素値に対応する「0」以外の、「1」に符号化する。これによつて特定の画素値に対応 する特定の量子化代表値を避けて符号ィ匕することができるので、復号化の際に特定 の量子化代表値を検出した場合には、特定の画素値に可逆的に符号化'復号ィ匕が できる。
[0062] 図 17は、本発明の実施の形態 6に係る画像符号ィ匕方法のフローチャートである。
(a)第 1画素の画素値の入力を受け付ける（S51)。
(b)第 2画素の画素値の入力を受け付ける（S52)。
(c)第 2画素の画素値は、特定の画素値力否力判断する（S53)。特定の画素値であ る場合には、差分値として、特定の量子化代表値に符号化する (S59)。
(d)第 1画素の画素値と第 2画素の画素値の差分値を算出する（S54)。
(e)差分値を kビットの量子化代表値で表す (S55)。この場合、差分値を表すことが できる最小ビットとして kビットを決定する。
(f)差分値として、 kビットの量子化代表値を nビットの量子化代表値に符号ィ匕する（S 56)。
(g) nビットの量子化代表値は、特定の量子化代表値か否か判断する（S57)。特定 の量子化代表値である場合には、差分値として、 nビットの特定の量子化代表値に符 号化する（S58)。例えば、特定の画素値に対応する「0」以外の、「1」に符号化する。 特定の量子化代表値でないと判断された場合には、特に処理を要しないので、その まま終了する。
以上によって、画素の mビットの画素値を含む画素データ列から、各画素値の差分 値をそれぞれ符号ィ匕した nビットの量子化代表値を含む画素データ列を得ることがで きる。
[0063] (実施の形態 7)
図 18は、本発明の実施の形態 7に係る画像符号ィ匕装置の構成を示すブロック図で ある。この画像符号ィ匕装置 10bは、実施の形態 3に係る画像符号ィ匕装置と比較する と、量子化幅算出部 27を備える点で相違する。この量子化幅算出部 27は、符号化さ れた差分値 δの圧縮度を表す量子化幅を算出する。これにより、差分値 δが ηビット の幅を超える場合にも圧縮して ηビットの量子化代表値で表記でき、復号化の際には ηビットの量子化代表値につ 、て圧縮度を示す量子化幅に基づ!/、て元の差分値 δ に伸張することができる。
[0064] 図 19は、本発明の実施の形態 7に係る画像符号ィ匕方法のフローチャートである。
(a)第 1画素の画素値の入力を受け付ける（S61)。
(b)第 2画素の画素値の入力を受け付ける（S62)。
(c)第 2画素の画素値は、特定の画素値力否力判断する（S63)。特定の画素値であ る場合には、差分値として、特定の量子化代表値に符号化する (S68)。
(d)第 1画素の画素値と第 2画素の画素値の差分値を算出する（S64)。
(e)差分値を kビットの量子化代表値で表す (S65)。この場合、差分値を表すことが できる最小ビットとして kビットを決定する。
(f)差分値として、 kビットの量子化代表値を nビットの量子化代表値に符号ィ匕する（S 66)。このときに、 kビットが nビットを超える場合には、圧縮して符号化する。
(g) kビットの量子化代表値と nビットの量子化代表値とを比較して、符号化された差 分値 δの圧縮度を示す量子化幅を算出する（S67)。なお、この量子化幅の算出の 詳細については後述する。
以上によって、画素の mビットの画素値を含む画素データ列から、各画素値の差分 値をそれぞれ符号ィ匕した nビットの量子化代表値を含む画素データ列を得ることがで きる。
[0065] 図 20は、図 19の量子化幅を算出するステップ S67の詳細を説明するフローチヤ一 トである。 (a)第 2画素の画素値は、特定の画素値力否力判断する（S71)。特定の画素値であ る場合には、例えば、差分値として特定の量子化代表値として「0」を割り当てるとする 場合、その値は明らかに nビットのダイナミックレンジ (範囲内）で表すことができるの で、圧縮を要しない。したがって、符号化された差分値 δの圧縮度を示す量子化幅 は 20 (S77)である。
(b)差分値 δが、 - ( (2η)/2- 1)≤ (差分 δ )≤ (2η)Ζ2— 1の不等式を満たすか 否か判断する（S72)。差分値 δがこの不等式の範囲内にある場合には、差分値 δ を ηビットのダイナミックレンジで表すことができるので、符号化された差分値 δの圧縮 度を示す量子化幅は、 2° (S77)である。
(c)差分値 δが、 - ( (2η+1) /2- 1)≤ (差分 δ )≤ (2η+1) /2— 1の不等式を満た すか否力判断する（S73)。差分値 δがこの不等式の範囲内にある場合には、差分 値 δを表すために η+ 1ビットのダイナミックレンジが必要となるので、符号化された差 分値 δの圧縮度を示す量子化幅は、 S^SYS)である。
(d)差分値 δが、 - ( (2η+2) /2- 1)≤ (差分 δ )≤ (2η+2) /2— 1の不等式を満た すか否力判断する（S74)。差分値 δがこの不等式の範囲内にある場合には、差分 値 δを表すために (η+ 2)ビットのダイナミックレンジが必要となるので、符号化された 差分値 δの圧縮度を示す量子化幅は、 22 (S79)である。
(e)差分値 δが、 - ( (2m"1) /2- l)≤ (差分 δ )≤ (2m_1) /2— 1の不等式を満た すか否力判断する（S75)。差分値 δがこの不等式の範囲内にある場合には、差分 値 δを表すために (m—l)ビットのダイナミックレンジが必要となるので、符号化され た差分値 δの圧縮度を示す量子化幅は、 2m_n_1 (S78)である。
(f)一方、差分値 δがー ( (2m_1) /2- 1)≤ (差分 δ )≤ (2m_1) Z2— 1の不等式を 満たさない場合には、差分値 δを表すために mビットのダイナミックレンジが必要とな るので、符号化された差分値 δの圧縮度を示す量子化幅は、 2(m"n) (S76)である。 以上によって量子化幅が算出される。その後リターンする。
図 21は、量子化幅を決定する例を示す概略図である。この例では、第 1画素の画 素値を IN (1)とし、第 2画素の画素値を IN (2)としている。また、第 1画素の画素値 I N (l)を基点として上下に刻み幅の異なるスケールを 3つ示している。 3つのスケール のうち、刻み幅の最も狭い第 1のスケールは、符号ィ匕する nビットの量子化代表値の 範囲、
一（(2n)Z2— l)〜(2n)Z2 - 1
を示している。一方、第 2のスケールは、第 1のスケールに比べて刻み幅が 2倍のスケ ールであって、第 1のスケールと同様の nビットの量子化代表値のそれぞれの値が 2 倍の値を指し、 n+ 1ビットの量子化代表値の範囲、
一 ( (2n+1) Z2— 1ト（2n+1) /2- 1
を示している。さらに、第 3のスケールは、第 1のスケールに比べて刻み幅が 4倍のス ケールであって、第 1のスケールと同様の nビットの量子化代表値のそれぞれの値が 4倍の値を指し、 n+ 2ビットの量子化代表値の範囲、
一 ( (2n+2) Z2— 1ト（2n+2) /2- 1
を示している。すなわち、この刻み幅は、差分値 δを ηビットの範囲に圧縮する圧縮 度を表す量子化幅を意味する。
[0067] 図 21の例では、第 1画素の画素値 IN (1)と第 2画素の画素値 IN (2)との差分 δを 表すためには、第 2のスケールが必要となる。したがって、この場合には、差分値の η ビットの量子化代表値の圧縮度を表す量子化幅は 21である。復号化の際には、差分 値の ηビットの量子化代表値を 21倍して、第 1画素の画素値に加算して第 2画素の画 素値を得ることができる。
[0068] なお、上記の例では、個々の差分値 δにつ!/、てそれぞれ量子化幅を算出する場 合について説明した力 これに限られず、例えば、図 10に示すように、連続する 4画 素のそれぞれ隣接する直前の画素との差分値 δ 1、 δ 2、 δ 3、 δ 4について、一つ の量子化幅を決めてもよい。この場合、差分値 δ 1、 δ 2、 δ 3、 δ 4の量子化幅を ρ ( 1)、 ρ (2)、 ρ (3)、 ρ (4)とすると、組の量子化幅 pmaxは、 4つの量子化幅の内の最 大の量子化幅として下記式に示すように決まる。
pmax = MAX (p (1) ,ρ (2) ,ρ (3) ,ρ (4) )
ここで、 ΜΑΧ()は最大値を返す処理である。
[0069] 例えば、 4つの量子化幅が、 p(2)= 21
p(3)= 22
P(4)= 2°
である場合には、
pmax=MAX(22、 21、 22、 2°) =22=4
として組の量子化幅 pmaxは 4として得られる。そこで、この組の量子化幅 pmaxに基 づいて、差分値 δ 1、 δ 2、 δ 3、 δ 4は、 ηビットの量子化代表値として符号ィ匕される。
[0070] ここでは 4画素を一組として量子化幅を決定した力 これに限られず 1画素以上で あれば何画素であってもよい。 η画素単位で組の量子化幅を決定する場合は、下記 のように求められる。
p= MAX(p (t) ,p (t+ 1) , · · · ,p (t+n- 1) )
[0071] また、特定の画素値は、差分値として特定の量子化代表値「0」に符号化されるので
、その量子化幅は、最小の量子化幅 20に設定される。したがって、図 13に示すよう に、組として特定の画素値を含む場合であっても組の量子化幅は影響されることはな い。
[0072] 組の量子化幅が決定すると、中間量子化部 26及び符号ィ匕部 23において、入力画 素値のビット精度、符号化するビット精度、圧縮するビット数、第 1画素の画素値、第 2 画素の画素値、量子化幅、量子化ダイナミックレンジ、符号化データ等を設定すると 、所定の疑似コードに基づいて、第 1画素の画素値と第 2画素の画素値との差分値 が上記量子化幅に基づいて量子化代表値に符号化される。
[0073] 以下に具体的な数値を用いて説明する。 10ビット（m= 10)の入力画素を 6ビット (n
=6)の量子化代表値に圧縮する場合を考える。
第 1画素の画素値： IN (2) = 150
第 2画素の画素値： IN (1) =200
差分値： δ =ΙΝ(2) -ΙΝ(1) =50
ここで、差分値を符号無しで表記する場合を考えると、 6ビットの範囲で表せるのは 、差分値 δが— 26_1— 1〜26_1— 1の範囲、すなわち、 32〜32の範囲である。こ の例では、差分値は、 7ビットの範囲 26〜26で表すことができるので、その量子化 幅 pは 21である。ここでは、組の量子化幅 pmaxも同じ 21の場合を考える。この場合、 ダイナミックレンジ Dは、 pmax X 2n= 21 X 26= 128である。
(a)仮の基底値 Saは、 Sa = IN (l)—D= 150— 128 = 22として Sa = 22力得られる
(b)この仮の基底値 Saは正であるので、基底値 Fとして Saと同じ値 22が与えられる。
(c)次いで、基底値 Fからの第 2画素の画素値 IN (2)の差 Inは、 In=IN (2)— F— 1 = 200— 22— 1 = 177として 177力 S得られる。
(d)得られた差 Inは、 177であり、 6ビットの範囲では表せないので、量子化幅 21で圧 縮して 6ビットの範囲の量子化代表値 ENCとして符号ィ匕する。具体的には、「177」を 1ビット右シフト演算して 6ビットの 88 (= 101100)が得られる。
なお、復号ィ匕の際には、 6ビットの量子化代表値の ENC値 88について、量子化幅 21に基づいて逆に 1ビット左シフト演算して「176」を得る。次いで、基底値 22に 176 を加算して第 2画素の画素値として 199を復号ィ匕できる。
[0074] また、符号ィ匕結果は、図 22の（a)及び (b)に示すように所定の単位、例えば、メモリ アクセス幅の倍数でパッキングされる。図 22の（a)は、 R (赤）と G (緑）の 2色のデータ について、それぞれ初期値の画素値のビット精度 (mビット）でそのまま格納し、量子 化幅情報として pmaxと符号ィ匕した nビットのデータを格納していく場合を示す概略図 である。図 22の (b)は、 R (赤）と G (緑)の色毎にデータ配置を分けて格納して 、く場 合を示す概略図である。なお、図 22の（a)、（b)のどちらを用いてもよい。この場合、 復号ィ匕の際にデータの取りだし手順が変わるだけで圧縮処理には影響を及ぼさない
[0075] (実施の形態 8)
図 23は、本発明の実施の形態 8に係る画像復号ィ匕装置 20の構成を示すブロック 図である。この画像復号ィ匕装置 20は、デパッキング部 31と、符号値抽出部 32と、特 定画素値判別部 33と、復号ィ匕部 34とを備える。デパッキング部 31では、符号化され た画素データ列をデパッキングする。符号値抽出部 32では、符号化された量子化代 表値を抽出する。特定画素値判別部 33では、量子化代表値が特定の量子化代表 値であるか否力判断する。復号ィ匕部 34では、特定の量子化代表値である場合には 元の画素値が欠陥画素データであることを意味するので、特定の画素値を割り当て て復号化し、特定の量子化代表値でない場合には、特定の画素値を除く画素値を 割り当てて復号化する。このように、欠陥画素データについてあら力じめ特定の量子 化代表値を割り当てて符号ィ匕しておくことによって、欠陥画素データについての情報 を別にメモリに確保する必要がない。また、特定の量子化代表値であるか否か判断 することによって、画素値の圧縮は不可逆的な符号化となるが、欠陥画素データに つ!、ては可逆的に符号化 ·復号化できる。
[0076] 図 24は、本発明の実施の形態 8に係る画像復号ィ匕方法のフローチャートである。
(a)符号化された画素データ列をデパッキングする（S81)。
(b)符号値を抽出する (S82)。例えば、画素値の符号化された量子化代表値を抽出 する。
(c)抽出された量子化代表値は、特定の量子化代表値か否か判断する (S83)。特 定の量子化代表値である場合には、元の画素値は欠陥画素データであることを意味 するので、特定の画素値に割り当てて復号ィヒする（S85)。
(d)—方、特定の量子化代表値でない場合には、量子化代表値を特定の画素値を 除く画素値に割り当てて復号化する（S84)。
以上によって、少なくとも一つの画素値の符号化された量子化代表値を含む画素 データ列から、復号化された画素値を含む画素データ列を得ることができる。
[0077] (実施の形態 9)
図 26は、本発明の実施の形態 9に係る画像復号ィ匕方法のフローチャートである。
(a)符号化された画素データ列をデパッキングする（S91)。
(b)符号値を抽出する（S92)。例えば、第 1画素の画素値を抽出すると共に、第 1画 素の画素値と第 1画素の近傍の第 2画素の画素値との差分値 δの符号化された量 子化代表値を抽出する。図 22の（a)又は (b)の例では、初期値として第 1画素の画 素値 (mビット)をそのまま抽出することができる。また、上記差分値 δは、符号化され た量子化データ (ηビット）として抽出できる。
(c)符号化された差分値は、特定の量子化代表値か否か判断する (S93)。差分値 が特定の量子化代表値の場合には、第 2画素の画素値として、特定の画素値を割り 当てて復号化する（S96)。
(d) nビットの差分値 δを mビットに復号ィ匕する（S94)。この場合、差分値 δは ηビット の 0〜2η— 1の範囲内で表せる場合であるので、 ηビットを超えて mビットまでの上位 ビットには 0を並べて nビットから mビットへ変換することができる。
(e)第 1画素の mビットの画素値に、復号化された mビットの差分値を加算して、第 2 画素の mビットの画素値を復号化する（S95)。
以上によって、画素間の差分値が符号化された nビットの量子化代表値を含む画素 データ列から、復号ィ匕された mビットの画素値を含む画素データ列を得ることができ る。
なお、上記の例では、第 1画素の画素値は、図 22に示すように初期値としてそのま ま抽出できる場合について説明したが、これに限られない。例えば、初期値に対する 差分値を加算して算出される画素の画素値は、連続する次の画素の画素値に対し ては第 1画素の画素値とみなすことができる。同様に連続する画素であって、互いに 近傍の 2つの画素について、直前の復号化によって得られた画素値を第 1画素の画 素値として第 2画素の画素値を得るために用いてもょ ヽ。
[0078] (実施の形態 10)
図 24は、本発明の実施の形態 10に係る画像復号化装置 20aの構成を示すブロッ ク図である。この画像復号装置 20aは、実施の形態 8に係る画像復号装置と比較する と、符号化された差分値の圧縮度を示す量子化幅抽出部 35を備える点で相違する 。この画像復号装置 20aでは、量子化幅抽出部 35を備えるので、圧縮されて符号化 された差分値を量子化幅に基づ ヽて復号ィ匕できる。
[0079] 図 27は、本発明の実施の形態 10に係る画像復号ィ匕方法のフローチャートである。
(a)符号化された画素データ列をデパッキングする（S101)。
(b)符号値を抽出する (S102)。
(c)符号化された差分値の圧縮度を示す量子化幅を抽出する (S103)。
(d)符号化された差分値は、特定の量子化代表値か否か判断する (S104)。符号ィ匕 された差分値が特定の量子化代表値の場合には、第 2画素の画素値が欠陥画素デ ータであることを意味するので、第 2画素の画素値として、特定の画素値を割り当てて 復号化する（S107)。
(e)—方、特定の量子化代表値でない場合には、差分値を量子化幅に基づいて復 号化する（S105)。
(f)第 1画素の画素値に復号化された差分値を加算して第 2画素の画素値を復号ィ匕 する（S106)。
以上によって、画素間の差分値が符号化された nビットの量子化代表値を含む画素 データ列から、復号ィ匕された mビットの画素値を含む画素データ列を得ることができ る。
(実施の形態 11)
図 28は、本発明の実施の形態 11に係る撮像装置の構成を示すブロック図である。 この撮像装置は、撮像センサ 2と、 ADC3と、画像符号化回路 10cと、センサ制御部 8 とを備える。この画像符号ィ匕回路 10cは、上記画像符号化装置のいずれかであって も用いることができる。この撮像装置では、撮像センサ 2として、 CMOSセンサ等のよ うに周辺にロジックを配置できるセンサを用いている。また、 ADC3のアナログ ·デジ タル変換された出力部分に画像符号ィ匕回路 10cを配置している。従来、撮像センサ を備えた撮像装置力も信号処理側へのデータトラフィックが大きな課題であった。一 方、この撮像装置では画像符号ィ匕回路 (圧縮部） 10cを備えており、これと接続する 信号処理側には伸張 (デコード)部を備えるものを用いるだけでょ 、ので、撮像装置 と信号処理側との間のトラフィックを抑えることができ、消費電力を抑制できると共に、 信号処理側への高速データ転送が可能となる。また、画像符号ィ匕回路 10cを備える ので、上述のように特定の画素値である場合に特定の量子化代表値に符号化するこ とができる。これにより、復号ィ匕の際に特定の量子化代表値を検出した場合には特定 の画素値であることを意味するので、特定の画素値について可逆的に符号化'復号 ィ匕することがでさる。

Claims

請求の範囲
[1] 複数の画素が配列された画素列における各画素の画素値を含む画素データ列か ら、少なくとも一つの画素値を符号化した量子化代表値を含む画素データ列を得る 画像符号化方法であって、
前記画素の画素値が特定の画素値である場合には、特定の量子化代表値に割り 当て、前記画素値が前記特定の画素値以外の場合には、前記特定の量子化代表値 を除く量子化代表値に割り当てて符号化することを特徴とする画像符号化方法。
[2] 前記画素は、 mビットの画素値を有し、前記符号ィ匕した量子化代表値は mビットより 小さい nビットであって、
前記符号化に先立って、画素値が特定の画素値でない前記各画素の画素値に、 それぞれ所定のオフセット値を加算することを特徴とする請求項 1に記載の画像符号 化方法。
[3] 前記オフセット値は、 2(m"n) - 1であることを特徴とする請求項 2に記載の画像符号 化方法。
[4] 複数の画素が配列された画素列における各画素の mビットの画素値を含む画素デ ータ列から、前記各画素値の差分値をそれぞれ符号化した nビットの量子化代表値 を含む画素データ列を得る画像符号ィヒ方法であって、
第 1画素の画素値と、前記第 1画素の近傍の第 2画素の画素値との差分値を算出 するステップと、
前記差分値の大きさに基づいて前記差分値を kビットの量子化代表値で表すステツ プと、
前記差分値の前記 kビットの量子化代表値を前記 nビットの量子化代表値の一つに 変換して符号ィ匕するステップと
を含み、
前記第 2画素の画素値が特定の画素値である場合には、前記差分値として、特定 の量子化代表値に変換することを特徴とする画像符号化方法。
[5] 前記 kビットの量子化代表値と前記 nビットの量子化代表値とを比較して、変換後の 差分値の圧縮度を示す量子化幅を算出するステップをさらに含むことを特徴とする 請求項 4に記載の画像符号化方法。
[6] 前記第 2画素の画素値が特定の画素値である場合には、前記差分値として、所定 の量子化幅の特定の量子化代表値を割り当てることを特徴とする請求項 5に記載の 画像符号化方法。
[7] 前記差分値を kビットの量子化代表値で表すステップにおいて、前記第 2画素の画 素値が特定の画素値でない場合であって、割り当てる前記 kビットの量子化代表値が 特定の量子化代表値となる場合には、前記差分値を kビットの量子化幅に代えて (k + 1)ビットの量子化幅の量子化代表値の一つに割り当てることを特徴とする請求項 5 に記載の画像符号化方法。
[8] 前記差分値の前記 kビットの量子化代表値を前記 nビットの量子化代表値に変換す るステップにお!/、て、前記第 2画素の画素値が特定の画素値でな 、場合であって、 前記差分値の前記 kビットの量子化代表値が特定の量子化代表値である場合には、 前記 nビットの特定の量子化代表値を除く量子化代表値の一つに変換することを特 徴とする請求項 4に記載の画像符号化方法。
[9] 前記差分値の前記 kビットの量子化代表値を前記 nビットの量子化代表値に変換す るステップにお!/、て、前記第 2画素の画素値が特定の画素値でな 、場合であって、 変換する前記 nビットの量子化代表値が特定の量子化代表値となる場合には、前記 nビットの特定の量子化代表値を除く量子化代表値の一つに変換することを特徴とす る請求項 4に記載の画像符号ィ匕方法。
[10] 前記第 1画素の画素値は、特定の画素値を除く画素値を割り当てられることを特徴 とする請求項 4に記載の画像符号化方法。
[11] 前記画素列は、少なくとも 2種類の色の画素が配列されており、
前記差分値を算出するステップでは、第 1画素の画素値と前記第 1画素の近傍の 同色の第 2画素の画素値との差分値を算出することを特徴とする請求項 4に記載の 画像符号化方法。
[12] 前記画素列は、少なくとも 2種類の色の画素が配列されており、
前記差分値を算出するステップでは、第 1画素の画素値と前記第 1画素の近傍の 異なる色の第 2画素の画素値との差分値を算出することを特徴とする請求項 4に記載 の画像符号化方法。
[13] 前記符号ィ匕した量子化代表値を含む画素データ列をメモリのアクセスビット幅の倍 数でパッキングするステップをさらに含むことを特徴とする請求項 1に記載の画像符 号化方法。
[14] 前記特定の画素値は、 0であることを特徴とする請求項 1に記載の画像符号化方法
[15] 前記特定の量子化代表値は、 0であることを特徴とする請求項 1に記載の画像符号 化方法。
[16] 複数の画素が配列された画素列における各画素の画素値を含む画素データ列か ら、少なくとも一つの画素値を符号化した量子化代表値を含む画素データ列を得る 画像符号化装置であって、
前記画素の画素値が特定の画素値である力否かを判別する特定画素値判別部と 前記画素の画素値が前記特定の画素値である場合には、特定の量子化代表値に 割り当て、前記画素の画素値が前記特定の画素値以外の場合には、前記特定の量 子化代表値を除く量子化代表値に割り当てて符号化する符号ィ匕部と
を備えることを特徴とする画像符号化装置。
[17] 複数の画素が配列された画素列における各画素の mビットの画素値を含む画素デ ータ列から、前記各画素値の差分値をそれぞれ符号化した nビットの量子化代表値 を含む画素データ列を得る画像符号化装置であって、
第 1画素の画素値と、前記第 1画素の近傍の第 2画素の画素値との差分値を算出 する差分値算出部と、
前記差分値の大きさに基づいて前記差分値を kビットの量子化代表値で表す中間 量子化部と、
前記第 2画素の画素値が特定の画素値である力否かを判別する特定画素値判別 部と、
前記第 2画素の画素値が前記特定の画素値である場合には、前記差分値の前記 k ビットの量子化代表値を前記 nビットの量子化代表値の一つに変換し、前記第 2画素 の画素値が前記特定の画素値以外の場合には、前記差分値の前記 kビットの量子 化代表値を前記 nビットの前記特定の量子化代表値を除く量子化代表値の一つに変 換して符号化する符号化部と
を備えることを特徴とする画像符号化装置。
[18] 少なくとも一つの画素値の符号化された量子化代表値を含む画素データ列から、 復号ィヒされた画素値を含む画素データ列を得る画像復号ィヒ方法であって、
符号化された前記画素の量子化代表値が特定の量子化代表値である場合には、 特定の画素値に割り当て、符号化された前記画素の量子化代表値が前記特定の量 子化代表値以外の場合には、前記特定の画素値を除く画素値に割り当てて復号ィ匕 することを特徴とする画像復号化方法。
[19] 画素間の差分値が符号化された nビットの量子化代表値を含む画素データ列から、 復号ィ匕された mビットの画素値を含む画素データ列を得る画像復号ィ匕方法であって 符号化された画素データ列をデパッキングするステップと、
第 1画素の画素値として第 1符号値を得るステップと、
前記第 1画素の画素値と第 2画素の画素値との差分値の符号化された量子化代表 値として第 2符号値を得るステップと、
前記第 2符号値は、特定の量子化代表値であるか否かを判断するステップと、 前記第 2符号値を復号化して前記第 1画素の画素値と前記第 2画素の画素値との 差分値を得るステップと、
復号化した前記第 1画素の画素値に復号化した前記差分値を加算して前記第 2画 素の画素値を得るステップと
を含み、
前記第 2符号値が特定の量子化代表値であった場合には、前記第 2画素の画素値 として特定の画素値を割り当てることを特徴とする画像復号化方法。
[20] 符号化された前記差分値の圧縮度を示す量子化幅を得るステップをさらに含み、 前記第 2符号値を復号化して差分値を得るステップにお 、て、前記第 2符号値を前 記量子化幅に基づいて復号化して差分値を得ることを特徴とする請求項 19に記載 の画像復号化方法。
[21] 少なくとも一つの画素値の符号化された量子化代表値を含む画素データ列から、 復号ィヒされた画素値を含む画素データ列を得る画像復号ィヒ装置であって、
前記量子化代表値が特定の量子化代表値であるか否かを判別する特定画素値判 別部と、
前記量子化代表値が前記特定の量子化代表値である場合には、特定の画素値に 割り当て、前記量子化代表値が前記特定の量子化代表値以外の場合には、前記特 定の画素値を除く画素値に割り当てて復号ィヒする復号ィ匕部と
を備えることを特徴とする画像復号化装置。
[22] 画素間の差分値が符号化された nビットの量子化代表値を含む画素データ列から、 復号ィ匕された mビットの画素値を含む画素データ列を得る画像復号ィ匕装置であって 符号化された画素データ列をデパッキングするデパッキング部と、
第 1画素の画素値として第 1符号値を得ると共に、前記第 1画素の画素値と第 2画 素の画素値との差分値の符号化された量子化代表値として第 2符号値を得る符号値 抽出部と、
前記第 2符号値は、特定の量子化代表値であるか否かを判断する特定画素値判 別部と、
前記第 2符号値が特定の量子化代表値である場合には、前記第 2画素の画素値と して特定の画素値を割り当て、前記第 2符号値が特定の量子化代表値でない場合に は、前記第 2符号値を復号化して前記差分値を得て、前記差分値を復号化した前記 第 1画素の画素値に加算して前記第 2画素の画素値を得る復号化部と
を備えることを特徴とする画像復号化装置。
[23] アナログ 'デジタル変換して mビットの画素データを出力する撮像センサと、
請求項 16又は 17に記載の前記画像符号化装置と
を備えることを特徴とする撮像装置。
PCT/JP2006/319326 2005-10-07 2006-09-28 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置 WO2007043351A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06810773A EP1936957A4 (en) 2005-10-07 2006-09-28 IMAGE ENCODING METHOD AND DEVICE, IMAGE DECODING METHOD AND DEVICE, AND IMAGING DEVICE
CN2006800372883A CN101283580B (zh) 2005-10-07 2006-09-28 图像编码方法和装置、图像解码方法和装置、摄像装置
US12/089,532 US8224103B2 (en) 2005-10-07 2006-09-28 Image encoding method and device, image decoding method and device, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-294470 2005-10-07
JP2005294470A JP4895567B2 (ja) 2005-10-07 2005-10-07 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置

Publications (1)

Publication Number Publication Date
WO2007043351A1 true WO2007043351A1 (ja) 2007-04-19

Family

ID=37942599

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/319326 WO2007043351A1 (ja) 2005-10-07 2006-09-28 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置

Country Status (5)

Country Link
US (1) US8224103B2 (ja)
EP (1) EP1936957A4 (ja)
JP (1) JP4895567B2 (ja)
CN (1) CN101283580B (ja)
WO (1) WO2007043351A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011049901A (ja) * 2009-08-27 2011-03-10 Panasonic Corp 固体撮像装置、撮像装置
JP2011066724A (ja) * 2009-09-17 2011-03-31 Panasonic Corp 固体撮像装置
US8428381B2 (en) * 2010-06-04 2013-04-23 Altek Corporation Image compression method with variable quantization parameter
JP5529685B2 (ja) 2010-09-03 2014-06-25 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
JP5867806B2 (ja) * 2011-09-16 2016-02-24 株式会社リコー 撮像装置及びこれを用いた物体識別装置
JP6556022B2 (ja) * 2015-10-30 2019-08-07 キヤノン株式会社 画像処理装置および画像処理方法
JP7242235B2 (ja) * 2018-10-03 2023-03-20 キヤノン株式会社 画像処理装置および画像処理方法
GB2586516B (en) * 2019-08-23 2022-07-06 Imagination Tech Ltd Random accessible image data compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153087A (ja) * 1992-09-17 1994-05-31 Sony Corp 画素欠陥補正方法
JPH11103413A (ja) * 1997-09-26 1999-04-13 Kawasaki Steel Corp 画像補正装置
JP2002111989A (ja) * 2000-10-02 2002-04-12 Mega Chips Corp 画像処理回路
JP2005236749A (ja) * 2004-02-20 2005-09-02 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US39143A (en) * 1863-07-07 Improved hame-tug
US5416857A (en) * 1992-10-21 1995-05-16 International Business Machines Corporation Apparatus and method for compressing data while retaining image integrity
JPH11341288A (ja) 1998-05-26 1999-12-10 Hitachi Ltd ディジタル映像システム
US6625318B1 (en) * 1998-11-13 2003-09-23 Yap-Peng Tan Robust sequential approach in detecting defective pixels within an image sensor
JP2000244935A (ja) 1998-12-21 2000-09-08 Nikon Corp 画像データ圧縮方法
US6744929B1 (en) * 1999-11-18 2004-06-01 Nikon Corporation Image data compression method image data compression apparatus and recording medium and data signal for providing image data compression program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06153087A (ja) * 1992-09-17 1994-05-31 Sony Corp 画素欠陥補正方法
JPH11103413A (ja) * 1997-09-26 1999-04-13 Kawasaki Steel Corp 画像補正装置
JP2002111989A (ja) * 2000-10-02 2002-04-12 Mega Chips Corp 画像処理回路
JP2005236749A (ja) * 2004-02-20 2005-09-02 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1936957A4 *

Also Published As

Publication number Publication date
EP1936957A4 (en) 2012-05-16
CN101283580B (zh) 2011-08-03
US20090244307A1 (en) 2009-10-01
CN101283580A (zh) 2008-10-08
JP2007104525A (ja) 2007-04-19
US8224103B2 (en) 2012-07-17
EP1936957A1 (en) 2008-06-25
JP4895567B2 (ja) 2012-03-14

Similar Documents

Publication Publication Date Title
WO2007043351A1 (ja) 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置
USRE43256E1 (en) Processing of images using a limited number of bits
JP4769039B2 (ja) デジタル信号符号化および復号化装置ならびにその方法
JPS6226633B2 (ja)
JP5530198B2 (ja) 画像符号化方法、復号化方法、装置
US9413999B2 (en) CMOS image sensor implementing correlated double sampling with compression
US20160119570A1 (en) Cmos image sensor and imaging method implementing correlated double sampling and compression
US8823832B2 (en) Imaging apparatus
WO2010082252A1 (ja) 画像符号化・復号化装置
KR100366738B1 (ko) 촬상장치
JP2000244922A (ja) 画像データ圧縮方法
US20200252652A1 (en) Encoding device, decoding device, encoding method, and decoding method
JP4092830B2 (ja) 画像データ圧縮方法
JP4729913B2 (ja) 画像処理装置及び方法
JP2009038740A (ja) 画像符号化装置
JP2952007B2 (ja) 画像符号化装置
JP4262144B2 (ja) 画像符号化装置及び方法
JP4649764B2 (ja) 画像データ伸長方法および画像データ伸長装置
JP2001111840A (ja) 画像圧縮方法、画像圧縮装置および画像入力装置
JP2005086226A (ja) 撮像装置
JP2020141377A (ja) 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム
JPH04294685A (ja) カラー画像信号の符号化方法および装置
JP2007228514A (ja) 撮像装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680037288.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006810773

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12089532

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE