WO2006134723A1 - 画像データ処理装置、画像データ処理方法およびプログラム - Google Patents

画像データ処理装置、画像データ処理方法およびプログラム Download PDF

Info

Publication number
WO2006134723A1
WO2006134723A1 PCT/JP2006/308494 JP2006308494W WO2006134723A1 WO 2006134723 A1 WO2006134723 A1 WO 2006134723A1 JP 2006308494 W JP2006308494 W JP 2006308494W WO 2006134723 A1 WO2006134723 A1 WO 2006134723A1
Authority
WO
WIPO (PCT)
Prior art keywords
compression
bits
image data
image
decompression
Prior art date
Application number
PCT/JP2006/308494
Other languages
English (en)
French (fr)
Inventor
Kyoko Fukuda
Yutaka Yoneda
Masatsugu Fukunaga
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to KR1020077028007A priority Critical patent/KR101241662B1/ko
Priority to EP20060732252 priority patent/EP1901547B1/en
Priority to US11/922,155 priority patent/US8233060B2/en
Publication of WO2006134723A1 publication Critical patent/WO2006134723A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control

Definitions

  • Image data processing apparatus image data processing method and program Technical Field
  • the present invention relates to an image processing apparatus, and in particular, an image applied to process image data captured by an imaging apparatus such as a digital still camera or a camera / recorder (an apparatus in which a video camera and a recorder are integrated).
  • the present invention relates to a data processing apparatus, an image data processing method, and a program for causing a computer to execute the processing method.
  • Imaging devices such as digital still cameras and camera / recorders capture still images in response to pressing the shutter.
  • the captured original image data is subjected to internal signal processing such as imaging signal processing and encoding processing, and is recorded on, for example, a removable recording medium.
  • the captured original image data is temporarily stored in the image memory before internal signal processing is performed.
  • This image memory is composed of DRAM (Dynamic Random Access Memory), SDRAM (Synchronous DRAM), and the like.
  • DRAM Dynamic Random Access Memory
  • SDRAM Synchronous DRAM
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2 0 02-1 1 1 9 8 9
  • the conventional imaging apparatus compresses the captured original image data, and the compressed data Is stored in the image memory (original image data buffer memory), and the data read from this image memory is stored. After extending the evening again, the subsequent processing was performed.
  • General compression processing of original image data includes DP CM processing for original image signals, Huffman coding, arithmetic coding, JPEG lossless coding appropriately used, universal coding represented by Ziv-Lempel method, etc. It has been known.
  • DPCM processing is effective for the upper 6 to 8 bits of the high-order bits with high correlation, for example, 1-pixel 12-bit image data, but the low-level with low correlation. Even if DP CM processing is applied to bits, a high compression ratio cannot be obtained. In DP CM, there is a problem that distortion increases when images with low correlation, such as image edges, are compressed. Furthermore, DP CM has the problem of error propagation. The compressed data read from the image memory is expanded to obtain the original image data, and gamma correction, white balance correction, linear matrix, etc. are performed on the original image data.
  • the signal processing is performed to generate a luminance signal and two color difference signals.
  • Gamma correction is a process to reversely correct the nonlinearity of the emission characteristics of a CRT on the camera side.
  • image data with high luminance is compressed at a high rate. Therefore, a compression method using non-linear transformation has been proposed in which image data with high luminance is compressed according to the gamma correction characteristics.
  • the compression process using non-linear transformation can be made very simple, but the higher the compression rate, the lower the bit information is lost and the visually unsightly image such as solarization is. Since quality degradation occurs, a high compression rate cannot be obtained.
  • Solarization means that the developable density of a photographic emulsion is reduced due to extreme overexposure. Visually, the image has a rough gradation with a small number of quantization bits, and there is a problem that the image quality is noticeably deteriorated in a flat image portion.
  • the conventional compression processing usually has different compression distortions depending on the type of compression processing.
  • the higher the compression rate the greater the degradation of image quality.
  • an object of the present invention is to provide an image data processing device, an image data processing method, and a program capable of improving encoding efficiency and improving image quality. Disclosure of the invention
  • the present invention provides an image data processing apparatus that compresses original image data captured by an image sensor.
  • a means for extracting signals of the same color component of the color filter and a first compression process for compressing each pixel from L bits to M ( ⁇ L) bits for each image data separated into the same color components are performed.
  • An image memory for holding the compressed data from the second compression means;
  • Second decompression means for decompressing each pixel of the data held in the image memory from N bits to M bits by a second decompression process that is the reverse of the second compression process;
  • the second decompression unit is connected in series with the second decompression unit and decompresses each pixel of the output data of the second decompression unit from the M bit to the L bit by the first decompression process which is the reverse process of the first compression process.
  • An image data processing apparatus An image data processing apparatus.
  • the present invention relates to an image data processing method for compressing original image data captured by an image sensor.
  • the step of extracting the same color component signal of color fill and the first compression processing to compress each pixel from L bit to M ( ⁇ L) bit for each image data separated into the same color component A first compression step of performing
  • the second compression process in which the characteristics of the distortion that occurs are different from the first compression process, and compresses each pixel from M bits to N ( ⁇ M) bits.
  • An image data processing method comprising:
  • the present invention includes a step of extracting a signal of the same color component of a color filter of an image sensor,
  • the second compression process in which the characteristics of the distortion that occurs are different from the first compression process, and compresses each pixel from M bits to N ( ⁇ M) bits.
  • a second decompression step for decompressing each pixel of the data held in the image memory from N bits to M bits by a second decompression process that is the inverse process of the second compression process;
  • the first decompression of each pixel of the data decompressed in the second decompression step by the first decompression process which is the inverse process of the first compression process, from the M bit to the L bit.
  • a program for causing a computer to execute an image data processing method comprising:
  • FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an example of an image processing unit in one embodiment of the present invention.
  • FIG. 3 is a block diagram showing an example of the configuration of the compression / decompression unit in the image processing unit.
  • FIG. 4 is a schematic diagram used for explaining packing to the data bus width of the image memory.
  • FIG. 5 is a block diagram showing a configuration example of a compressor using nonlinear transformation.
  • FIG. 6 is a block diagram showing a configuration example of a decompressor using nonlinear transformation.
  • FIG. 7 is a schematic diagram used for explaining the conversion curve of a compressor with a non-linear conversion.
  • FIG. 8 is a schematic diagram showing an example in which a conversion curve of a compressor using nonlinear conversion is realized by a polygonal force curve.
  • FIG. 9 is a block diagram showing an example of the configuration of the DPCM compressor / decompressor according to one embodiment of the present invention.
  • FIG. 10A, FIG. 10B, and FIG. 10C are schematic diagrams showing examples of histograms of the level distribution of images for selecting the quantization table of the DPCM compressor according to an embodiment of the present invention.
  • FIG. FIG. 11 is a schematic diagram showing an example of a quantization table of the DP CM compressor in one embodiment of the present invention.
  • FIG. 12 is a schematic diagram showing an example in which the quantization table of the DP CM compressor in one embodiment of the present invention is realized by a polygonal curve.
  • FIG. 13 is a diagram of the compression Z decompressor in the image processing unit.
  • FIG. 10 is a block diagram showing another example of the configuration.
  • FIG. 14 is a block diagram showing an example of the AD R C compressor.
  • FIG. 15 is a block diagram showing an example of the AD R C decompressor. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 shows an example of the configuration of an imaging apparatus 1 according to an embodiment of the present invention.
  • the imaging device 1 includes a lens unit 2, an imaging device 3, a sunset generation unit 4, a front end 5, an image processing unit 6, an image memory 7, an image monitor 8, an external storage medium 9, and a camera. And a control micro computer.
  • the lens unit 2 collects light from the subject.
  • Aperture 1 2 controls the amount of light.
  • Shutter 13 controls exposure by blocking the passage of light.
  • the aperture 1 2 may have the function of the shutter 1 3.
  • the image sensor 3 is an image sensor such as a CCD (Charged Coupled Device), a CMO S sensor (Co immediate metal oxide semiconductor sensor), and converts light information of a subject into an electrical signal. SE On the surface of the sensor, a plurality of color filter elements such as a three primary color filter and a complementary color filter are arranged.
  • the timing generation unit 4 drives the image sensor 3.
  • the timing generator 4 also performs exposure control such as a high-speed / low-speed electronic shutter. This timing generator 4 is controlled by a camera control microphone port computer 10.
  • the front end 5 converts the analog signal output from the image sensor 3 into a digital signal. Inside this front end 5, each of the correlated double sampling that removes the noise component in the image sensor 3 and extracts the image signal, the gain control that controls the level of the image signal, and the AZD conversion that converts the analog signal into a digital signal Processing is done.
  • the front end 5 is controlled by a camera control microcomputer 10.
  • the image processing unit 6 performs various digital signal processing based on the imaging data from the imaging device 3 converted into digital signals, and generates a luminance signal and a color signal.
  • the image processing unit 6 has a function of encoding image data into a predetermined file format such as JPEG (Joint Pohtograpihic Experts Group).
  • the image memory 7 is a storage element for temporarily storing image data during signal processing in the image processing unit 6, for example, using a DRAM (Dynamic Random Access Memory), SD RAM (Synchoronous DRAM), etc. Is done.
  • DRAM Dynamic Random Access Memory
  • SD RAM Synchronous DRAM
  • the image monitor 8 allows the user to check an image (through image) captured by the image sensor 3 and to perform a menu necessary for operating the imaging device.
  • This is a monitor for displaying one image and displaying the reproduced image data.
  • an LCD panel Liquid Crystal Display Panel
  • the external storage medium 9 is a recording medium for storing image data, and a flash memory is often used as a rewritable nonvolatile memory.
  • the camera control microcomputer 10 controls the entire imaging device 1. In other words, exposure control by aperture 1 2, opening and closing control of shirt evening 1 3, electronic shirt evening control in timing generation unit 4, gain control in front end 5, various mode control and parameter control in image processing unit 6 Is made by the microcomputer.
  • FIG. 2 shows a configuration example of the image processing unit 6 in one embodiment of the present invention.
  • the image processing unit 6 includes a signal processing unit 2 1, a detection unit 2 2, a compression unit 2 3, a decompression unit 2 4, a memory controller 2 5, a memory in evening interface 2 6, and a monitor in evening interface 2. 7 and a micro computer interface 2 8. These units are connected to each other by a data path 29 and a control bus 30.
  • Fig. 2 the flow of image data is indicated by a solid line, and the flow of control data is indicated by a broken line.
  • the signal processing unit 21 performs correction related to the image sensor 3 on the original image information (RAW data) digitized in the front end 5, for example, defect correction.
  • the corrected original image data is compressed by the compression unit 23 and written to the image memory 7 via the memory controller 25 and the memory interface 26.
  • the compressed data read from the image memory 7 is decompressed by the decompression unit 24, and the original image data is obtained from the decompression unit 24.
  • the original image data read from the image memory 7 and obtained in the decompression process is supplied to the signal processing unit 21.
  • the signal processing unit 21 performs digital signal processing such as digital clamp, white balance, gamma correction, interpolation calculation, filter calculation, matrix calculation, luminance generation calculation, and color generation calculation, and outputs image signals consisting of luminance and color difference signals. Generate.
  • the signal processing unit 21 generates image data encoded in a predetermined file format such as JPEG.
  • the present invention can also be applied to a configuration in which signal processing is performed on original image data and an image signal composed of the obtained luminance signal and color difference signal is compressed and written to an image memory. Further, the compressed image data may be stored in the external storage medium 9 as in the case of the image memory 7.
  • the detection unit 22 performs detection processing of camera-captured images that serve as a reference for various camera controls.
  • the detection signal detected by the detection unit 22 is, for example, a detection signal related to autofocus, a detection signal related to automatic exposure control, or the like.
  • the detection unit 22 detects an edge component of luminance in the autofocus detection area set at a predetermined position on the captured image as a detection signal related to autofocus, detects the edge component, and detects the edge component. Outputs the contrast value obtained by integrating the components.
  • the detection unit 22 detects the luminance of the luminance detection area set at a predetermined position on the imaging screen as a detection signal related to automatic exposure control, and outputs the luminance level.
  • the compression unit 23 compresses the captured image from the front end 5 for each color when capturing a still image.
  • the compressed image data is packed in the memory interface 26 according to the bus width of the image memory 7.
  • the packed data is It is temporarily stored in the image memory 1 through the memory interface 26.
  • the compressed data is read from the image memory 7 to the memory interface 26, and the packing process is released. Thereafter, the decompression unit 24 decompresses the image data that has been depacked for signal processing in the signal processing unit 21.
  • the memory controller 25 controls the data bus 29 that passes image data between each unit in the image processing unit 6 or between each unit and the image memory 7.
  • the memory interface 26 exchanges image data and compressed data with the image memory 7 used for signal processing in the image processing unit 6.
  • the monitor interface 2 7 converts the image data into various display formats for display on the image monitor 8. For example, an NTSC encoder for displaying on an NTSC monitor is known.
  • the microcomputer interface 28 exchanges control data and image data between the camera control microcomputer 10 that controls the image processing unit 6 and the image processing unit 6.
  • FIG. 3 shows the functional configuration of the compression unit 23, the decompression unit 24, the memory controller 25, and the memory interface 26 in the image processing unit 6.
  • This image processing apparatus performs different first and second compression processes, performs non-linear compression as the first compression process, and performs DPCM compression as the second compression process.
  • the first and second compression processes differ from each other in image distortion caused by compression. If the compression method is different, the image distortion is often different. Therefore, two types of compression methods combined in series are possible. For example, combination of nonlinear compression and other compression circuits such as ADRC (Adaptive Dynamic Range Coding) It is also possible to combine three or more compression methods.
  • ADRC Adaptive Dynamic Range Coding
  • the timing generator 40 To the timing generator 40, a horizontal synchronization signal and a vertical synchronization signal for image data, an image data enable signal, and the like are input.
  • the timing generator 40 generates non-linear timing signals and control signals for the compressors 4 1 and 4 2, decompressors 4 6 and 4 7, packing unit 4 3, depacking unit 4 5, image memory 7, etc.
  • the compressor 41 using the conversion receives image data (one pixel is L bit) of each color component of the three primary color signals. For example, luminance information is extracted as image information P I 1 from the original image data from the front end 5, and this information P I 1 is output to the microcomputer 10.
  • the microcomputer 10 identifies the characteristics of the input image from this information, and sets an appropriate compression conversion table TB1 for the information.
  • the set compression conversion table T B 1 is fed back to the compressor 41 using non-linear conversion.
  • As the image information P I 1 information for automatic exposure control obtained in the detection unit 22 may be used.
  • M M bits
  • This compressor 4 1 has characteristics similar to the gamma curve characteristics used in the gamma correction of the signal processing unit 21 (see Fig. 1) at the subsequent stage. By performing compression conversion, the same weighting is applied to the image data as in the subsequent signal processing.
  • the image data compressed and converted to M bits by non-linear conversion by the non-linear compressor 41 is input to the DPCM compressor 42.
  • Information P I 2 for setting the quantization table T B 2 is generated.
  • the compressed image data is input to the packing unit 43, packed into the bus width of the image memory, and stored in the image memory 7.
  • Fig. 4 shows an example of packed image data when the bus width is 16 bits.
  • the compression ratio of the compressor 4 1 using nonlinear transformation is 14 and the compression ratio of the DPCM compressor 4 2 is 1 Z 4. It has been realized.
  • the decompression process is a process performed in the reverse order to the compression process described above. Similarly to the compression process, the expansion process is performed for each color signal of the three primary color components.
  • the image data stored in the image memory 7 is read out and input to the depacking unit 45.
  • the compressed data that has been multiplexed into the bus width is returned to N-bit image data by the depacking unit 45 and input to the D P C M decompressor 46 as the second decompression means.
  • the DPCM expander 46 expands from N bits to M bits using the reverse conversion table TB12.
  • the decompressed image data is input to the decompressor 47 using nonlinear transformation as the first decompression means.
  • the decompressor 4 7 converts the image data to the original bit according to the compression table TB 1 selected by the compressor 4 1 and the inverse compression table TB 1 1 Expands to a number L bit.
  • the original image data of each L-bit color component from the decompressor using nonlinear transformation 47 is supplied to the signal processing unit 21 (see Fig. 2) for digital clamping, white balance, gamma correction, and interpolation.
  • Image signals consisting of luminance and chrominance signals are generated by digital signal processing such as calculation, fill-up calculation, matrix calculation, luminance generation calculation, and color generation calculation.
  • Figure 5 shows the configuration for compression using nonlinear transformation.
  • Image data corresponding to a certain color is supplied to the compressor 41 and the luminance extraction unit 53.
  • the luminance extraction unit 53 extracts the image information P I 1 corresponding to the luminance from the original image data from the front end 5.
  • the extracted image information P I 1 is supplied to the compression conversion rule setting unit 51.
  • the compression conversion rule setting unit 51 sets the compression conversion rule in the compression conversion table 52 based on the extracted luminance information PI1. That is, the characteristics of the compression conversion table are set according to the compression conversion rule.
  • the set compression conversion table T B 1 is supplied to the compressor 41.
  • the compressor 41 performs compression processing using nonlinear conversion according to the compression conversion table T B 1.
  • the compressed M-bit data is supplied to the next-stage D PCM compressor 42.
  • Information identifying the characteristics of the compression conversion table used is transmitted in association with the compressed data, and is used to indicate the expansion conversion table during expansion. This information may be held in the microcomputer 10.
  • Figure 6 shows the configuration for decompression using nonlinear transformation.
  • the data read from the image memory 7 and expanded to M bits by the DPCM expander 46 is supplied to the conversion rule setting unit 54 and the expander 46 using nonlinear conversion.
  • the conversion rule setting unit 5 4 is a decompression conversion table TB 1 that is paired with the compression conversion table used during compression. 1 is output from the expansion conversion table 5 5.
  • the decompressor 4 6 decompresses the data to N bits according to the decompression conversion table TB 1 1.
  • FIG. 7 shows an example of a curve corresponding to the compression conversion table TB1.
  • the compression conversion table TB 1 is composed of a set of pre-compression data and post-compression conversion pairs.
  • the compressor 41 compresses data by referring to the conversion pair in the compression conversion table TB1.
  • the compression conversion table TB I consists of a fixed area and a variable area. In the fixed area, each conversion pair is fixed. In the variable region, the conversion pair can be appropriately changed by the compression conversion rule setting unit 51.
  • three types of conversion curves 61, 62 and 63 are shown in the variable region. These curves are selected by the luminance information PII extracted by the luminance extraction unit 53. For example, when luminance information is extracted in frame units, the conversion curve is switched in frame units.
  • the conversion curve 61 is adopted, if it is medium luminance, the conversion curve 62 is adopted, and if it is high luminance, the conversion curve 63 is adopted.
  • these conversion curves 6 1, 6 2, and 6 3 are preferably the same as the gamma correction curves used in the subsequent signal processing unit 2 1.
  • the compression conversion table TB 1 is approximated by a polygonal curve.
  • a polyline curve is defined by threshold values TH 0, TH 1, TH 2, TH 3 and offsets OFT 0, OFT 1, OFT 2, OFT 3. That is, the straight line 6 4 a is defined by (TH 0, ⁇ FT 0), the straight line 6 4 b is defined by (THI, 0 FT 1), and the straight line 6 4 c is defined by (TH 2, OFT 2).
  • TH 3, OFT 3 Defines a straight line 6 4 d, and a straight line 6 4 e is defined by the value of the 1 square of the maximum value 2 of the data before compression and the value of the 1 square of the maximum value 2 of the data after compression.
  • the slope decreases from the straight line 64 a to the straight line 6 4 e.
  • straight lines 64 a, 6 4 b and 6 4 c are fixed, and straight lines 6 4 d and 6 4 e are variable.
  • the uncompressed data is compared with each threshold value to determine which range of the five lines 64a to 64e is included. Since each straight line is expressed as a linear function, the value of the compressed data on each straight line can be obtained by linear interpolation. Furthermore, by changing the threshold value or the offset, the characteristics of the compression conversion table can be adapted to the extracted luminance information PI1. For example, the straight lines 6 4 d and 6 4 e can be changed to straight lines 6 5 d and 6 5 e, respectively, by changing the offset OF T 3 to the offset OF T 4.
  • the conversion curve need not be divided into a fixed area and a variable area, and the entire curve may be variable.
  • a value other than the offset as a representative point may be obtained by nonlinear interpolation.
  • Figure 9 shows DPCM compressors 4 2 and 4 6 configured to share compression and decompression circuitry.
  • the input image data compressed from L bits, for example, 14 bits to M bits, for example, 12 bits is supplied to the subtractor 70 by the compressor 41 using non-linear conversion.
  • a prediction error with a prediction value predicted from a past pixel defined by the delay element D in the predictor 71, for example, an adjacent pixel on the same line, is obtained.
  • a is a weighting coefficient for generating a predicted value.
  • the prediction error is input to the differential histogram detector 7 2, the quantizer 7 3, and the quantizer / inverse quantizer 7 4.
  • the quantizer / inverse quantizer 74 has a configuration in which a process for performing quantization and a process for performing inverse quantization for converting a quantized value into a representative value are performed simultaneously.
  • the quantization characteristic of the quantized Z inverse quantizer 74 is the same as the quantization characteristic of the quantizer 73 and the inverse quantization characteristic of the inverse quantizer 75.
  • the output data of the quantizer / inverse quantizer 74 is supplied to the adder 77 via the selector 76.
  • Selector 76 is the compression / decompression switching signal S. Therefore, the input terminal a is selected during compression and the input terminal b is selected during expansion. At the time of compression, the data obtained by adding the output of the quantizer / inverse quantizer 74 and the output of the predictor 71 to the adder 77 is supplied to the subtractor 70, and the prediction error is calculated. By accumulating the quantizer in the feedback loop and providing a circuit with the same configuration as the expander, accumulation of quantization noise generated by the quantizer in the expander is avoided.
  • the difference histogram detector 72 creates a histogram indicating the frequency of occurrence of prediction errors for one captured still image, and outputs this value as image information PI2.
  • the histogram obtained by the differential histogram detector 72 shows a significant bias in the distribution depending on the image signal.
  • the quantization table T B 2 used in the quantizer 73 and the quantization inverse quantizer 74 is adaptively changed, and efficient compression is performed. At the time of compression, compressed data compressed to N bits, for example, 10 bits, is obtained from the quantizer 73. The compressed data is written to the image memory 7.
  • Data read from image memory 7 is supplied to inverse quantizer 75 Is done.
  • Inverse quantizer 7 5 expands N bits to M bits by inverse transform table TB 1 2 which is paired with quantization table TB 2 used in quantizer 7 3 .
  • Information indicating which reverse conversion table to select is stored in the image memory 7. However, the reverse conversion table may be set based on information from the microcomputer 10.
  • the prediction error expanded to M bits from the inverse quantizer 75 is supplied to the adder 77 via the selector 76.
  • the predicted value generated by the predictor 7 1 is fed back to the adder 7 7, and a restored value is obtained from the adder 7 7. This restored value is supplied to the expander 47 using nonlinear transformation.
  • FIG. 10A, FIG. 10B, and FIG. 10C show schematic examples of histograms showing the frequency of occurrence of prediction errors, obtained at the output of the subtractor 70.
  • FIG. The horizontal axis shows the prediction error
  • the vertical axis shows the frequency.
  • the value of the prediction error gradually increases along the horizontal axis, the range from the minimum value to the maximum value of the prediction error may be divided into a predetermined number, and the occurrence frequency of each divided range may be detected.
  • the frequency of occurrence of prediction errors is examined for one image, and a histogram is created. Based on the histogram, a quantization table T B 2 used for nonlinear compression of the quantizer 73 and the quantizer / inverse quantizer 74 is set.
  • FIG. 11 shows an example of the quantization table TB2.
  • the horizontal axis shows the prediction error, and the vertical axis shows the representative value.
  • Reference numeral 8 1 indicates a standard quantization table, and a quantization table 8 2 and a quantization 8 3 are set for the quantization table 8 1.
  • These quantization tables are based on the fact that the sensitivity of the human eye is more sensitive in the smaller part than in the part where the difference is large. It is higher than the last part.
  • the quantization table 82 is set for an image in which the distribution of the prediction error is concentrated on a small value, that is, a flat image.
  • the quantization table 8 2 outputs different representative values for prediction errors in the relatively small level range from 0 to threshold A, and for the prediction error of levels exceeding threshold A. Is the one that outputs the maximum representative value in common. In other words, the bit allocation is increased for a small level of prediction error.
  • the number of bits generated in one image such as one frame is set to a predetermined value or less, so how to allocate the usable number of bits to the prediction error reduces the compression distortion. It is necessary to do.
  • a quantization table 81 is set for a normal image in which the distribution of the prediction error is relatively evenly included in the level range up to a certain level.
  • the quantization table 8 1 outputs different representative values for the prediction error in the range indicated by 0 to the threshold BOA), and common for the prediction error of the level exceeding the threshold B. Output the maximum representative value. In other words, the distribution of bits is increased for the low and medium prediction error levels.
  • the quantization table is used for images in which the distribution of the prediction error is distributed over a large level range, that is, for images in which the correlation between adjacent pixels is small due to fine patterns.
  • 8 3 is set.
  • the quantization table 8 3 outputs different representative values for the prediction error in the level range indicated by 0 to the threshold COB), and commonly for the prediction error of the level exceeding C. Biggest A representative value is output. In other words, bits are allocated to the entire prediction error from a small level to a large level.
  • the quantization table can be approximated by a polygonal line characteristic, as shown in Fig. 12.
  • the vertical axis shows the prediction error and the horizontal axis shows the representative value.
  • threshold values t h 0 to t h 6 are defined, and for representative values, offsets o f t 0 to o f t 5 are defined.
  • Each line defined by these thresholds and offsets has a conversion coefficient (1, ⁇ / 2, 1 /, 1/8, 1/16, 1/3 2, 1/6 4).
  • Threshold and offset value pair data is stored in memory.
  • the threshold value and the prediction error are compared to determine which linear range the prediction error falls within, and a representative value corresponding to the prediction error is obtained. In that case, the representative value is obtained by the primary interpolation calculation.
  • the characteristics of the quantization table can be changed by changing at least one of the threshold value and the offset value.
  • DPCM compression uses the correlation between the difference sensitivity and the image signal
  • the sensitivity of the human eye is more sensitive, the quantization error is dispersed, and noise is detected.
  • Difficult Can the nonlinear compression / decompression conversion table is adaptively changed to the bit allocation suitable for the histogram, and the optimal quantization table is adaptively changed by the histogram distribution of the prediction error, so that the prediction error is reduced.
  • representative value distribution suitable for the distribution can be performed.
  • the compression ratio can be increased without changing the visual noise after the signal processing.
  • the number of still images stored in the image memory can be increased.
  • the frequency band for accessing the image memory and realizing low power consumption the battery of digital still cameras and camera / recorders can be maintained for a longer time.
  • FIG. 13 shows another embodiment of the present invention.
  • Another embodiment is an example in which non-linear compression and AD R C (Adaptive Dynamic Coding) compression are combined as compression transformations having two different characteristics.
  • AD R C Adaptive Dynamic Coding
  • Image data horizontal sync signal and vertical sync signal, image data enable signal, etc. are input to the evening immator 90.
  • the timing generator 90 generates a timing signal and a control signal to be distributed to the compressors 9 1 and 9 2, decompressors 9 6 and 9 7, packing unit 9 3, depacking unit 9 5, image memory 7, etc.
  • the compressor 9 1 using nonlinear transformation is the same as the compressor 4 1 in the embodiment shown in FIG. That is, the three primary color signals Image data for each color component (one pixel is L bit) is input, and luminance information is extracted from the image information PI 3 such as the original image data from the front end 5, and the microphone mouth computer 10 is extracted from the image information PI 3. Identify the characteristics of the input image.
  • the compression conversion table TB 3 set by the microcomputer 10 based on the image information PI 3 is supplied to the compressor 91 using non-linear conversion.
  • MML M bits
  • the conversion power for non-linear conversion in the compressor 91 has the same characteristics as the gamma correction curve used in the gamma correction of the signal processing unit 21 (see FIG. 1) at the subsequent stage.
  • the image data compressed and converted from the L bit to the M bit by the nonlinear conversion by the nonlinear compressor 91 is input to the ADRC compressor 92.
  • the compressed image data is input to the packing unit 93, packed into the path width of the image memory, and stored in the image memory 7.
  • the decompression process is a process performed in the reverse order to the compression process described above. Similarly to the compression process, the expansion process is performed for each color signal of the three primary color components.
  • the image data stored in the image memory 7 is read out and input to the depacking unit 95.
  • the compressed data multiplexed in the bus width is returned to N-bit image data by the depacking unit 95 and input to the ADRC decompressor 96.
  • ADRC expander 9 6 is the inverse conversion table paired with quantization table TB 4. Use the TB 1 4 to expand from N bits to M bits.
  • the decompressed image data is input to the decompressor 97 using non-linear transformation.
  • the decompressor 9 7 decompresses the image data to L bits, which is the original number of bits, in accordance with the compression conversion table TB 3 selected by the compressor 91 and the inverse compression table TB 13 corresponding to the compression conversion table TB 3.
  • the original image data of each L-bit color component from the decompressor 97 using non-linear transformation is supplied to the signal processing unit 21 (see Fig. 2).
  • Digital clamp, white balance, gamma correction, interpolation calculation, Image signals consisting of luminance and color difference signals are generated by digital signal processing such as fill calculation, matrix calculation, luminance generation calculation, and color generation calculation.
  • the compressor 91 using the non-linear transformation can use the configuration shown in FIG. 5, and the decompressor 97 using the non-linear transformation can use the configuration shown in FIG.
  • a D C focuses on the fact that multiple spatially or temporally adjacent pixels have a correlation, and performs compression in the level direction.
  • FIG. 14 shows an example of the ADRC compressor 91.
  • Each pixel is M-bit image data (one color component data) is supplied to the block circuit 101 and divided into blocks that are two-dimensional areas composed of a plurality of pixels.
  • the dynamic range (D R) detection circuit 1 0 2 detects the maximum value M A X and the minimum value M I N of each block pixel, and detects the dynamic range D R by M A X —M I N.
  • the minimum value MIN is subtracted from the value of each pixel.
  • the data supplied to the subtractor 103 may be delayed by the time required for detection by the detection circuit 102.
  • the data in the block is normalized by the subtractor 1 0 3.
  • the output data of the subtractor 1 0 3 is supplied to the quantizer 1 0 4.
  • the quantizer 10 4 performs quantization using the quantization table TB 4 and the dynamic range DR, and outputs an N-bit code DT. Assuming that linear quantization is performed, a quantization step ⁇ is generated by 1 to 2 N of the dynamic range DR, and quantization is performed by dividing the data after removal of the minimum value by the quantization step ⁇ . Do.
  • the quantizer 10 04 performs non-linear quantization with a quantization table TB 4 similar to the quantization table of the DPCM compressor 42 in one embodiment, for example, and the quantization characteristic is an image characteristic, for example, It is changed according to the histogram of the level distribution in the embodiment.
  • the quantization step ⁇ is made different in a plurality of ranges obtained by dividing the data level after removal of the minimum value.
  • the quantization step is reduced in the range where the data level after the minimum value is removed is small, and the quantization step is increased in the range where the level is large.
  • Such control of the quantization step is not constant and changes according to the histogram of the level distribution.
  • Information (not shown) indicating the dynamic range DR, minimum value MIN, code DT, and quantization table TB4 is packed by the packing unit 93 and written to the image memory 7.
  • Information indicating the quantization table T B 4 may be held in the microcomputer 10.
  • the data read from the image memory 7 is depacked by the depacking unit 95, and the dynamic range DR and code DT are supplied to the inverse quantizer 1 1 2.
  • Inverse quantizer 1 1 2 is also supplied with inverse conversion table TB 1 4 that is paired with quantization table TB 4 Is done.
  • the inverse conversion table TB 1 4 is specified from the information indicating that the quantization is performed using the quantization table TB 4.
  • the inverse quantizer 1 1 2 converts the code DT into a representative value according to the inverse conversion table T B 14.
  • the quantization step ⁇ is obtained from the dynamic range D R, and the representative value is obtained by multiplying the value of the code D T by the quantization step ⁇ .
  • a representative value is calculated using the quantization step ⁇ defined by the inverse transformation table T B 14.
  • ADRC processing performs quantization independently for each block, so if the correlation in the block is high, that is, if the dynamic range DR is small, a high compression ratio can be obtained, but if the correlation in the block is low, In other words, when the dynamic range DR is large, a difference in quantization between blocks may occur as block distortion.
  • the compression processing using nonlinear transformation can simplify the configuration, but the higher the compression rate, the lower bit information is lost, resulting in visually unsightly image quality degradation such as solarization.
  • a compression process having such different compression characteristics can be performed in series to obtain a higher compression ratio, and a plurality of different compression distortions can be obtained. It will be dispersed in the noise of the characteristic, and it can be as if the deterioration is visually suppressed.
  • the present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention.
  • the number of bits compressed by each compressor connected in series is fixed.
  • the first stage compresses from L bits to M bits
  • the second stage compresses from M bits to N bits.
  • the allocation of each (L-N) -bit compressor to be compressed may be changed in accordance with the characteristics of the image to be processed.
  • a compressor Z expander is provided for each color component of the color signal, it is possible to multiplex all the color components and perform time division processing to reduce the circuit. This can also be applied to cases where the image sensor has a color filter with four or more colors.
  • the same bit allocation is performed for all the color components, but a higher compression rate can be expected by changing the bit allocation, that is, the compression rate according to the bias of the arrangement. .
  • it may be distributed to different numbers of bits for each color according to the weight for each color component of signal processing performed in the subsequent stage and the arrangement condition of the color fill.
  • the present invention can be applied not only when capturing a still image during monitoring but also when capturing a still image during moving image recording.
  • processing means in one embodiment and other embodiments of the present invention may not be regarded as a method having these series of means as steps, and a program for causing a computer to execute these series of means. Or it may be regarded as a recording medium for storing the program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

視覚的に劣化が少ない画像データの圧縮を実現する。非線形圧縮とＤＰＣＭ圧縮とが直列になされる。非線形変換を用いた圧縮器４１には、各色成分の画像データ（１画素がＬビット）がそれぞれ入力され、原画像データから抽出された画像情報に基づいて設定された適切な圧縮変換テーブルＴＢ１に従って画像データがＭビット（Ｍ＜Ｌ）へ圧縮される。圧縮器４１では、後段のガンマ補正で用いられるガンマカーブ特性に似た特性の圧縮変換を行う。非線形圧縮器４１によって、Ｍビットに圧縮変換された画像データがＤＰＣＭ圧縮器４２に入力される。ＤＰＣＭ圧縮器４２において量子化テーブルＴＢ２を使用して最終的にＮビット（例えばＮ＝１０）に圧縮される。圧縮された画像データがパッキング部４３を介して画像メモリ７に格納される。

Description

明 細 書 画像データ処理装置、 画像データ処理方法およびプログラム 技術分野
この発明は、 画像処理装置に関し、 特にデジタルスチルカメラ 、 カメラ · レコーダ （ビデオカメラとレコーダが一体構成とされ た装置） などの撮像装置において撮像された画像データを処理す るのに適用される画像データ処理装置、 画像データ処理方法およ び処理方法をコンピュータに実行させるプログラムに関する。 背景技術
デジタルスチルカメラ、 カメラ · レコーダなどの撮像装置では 、 シャッターの押下に応答して、 静止画の取り込みが行われる。 撮像された原画像データは撮像信号処理やェンコ一ド処理などの 内部信号処理が施されて、 例えば着脱可能な記録媒体に記録され る。 その際、 撮像された原画像データは、 内部信号処理がなされ る前に一旦、 画像メモリに保持される。 この画像メモリは D RA M (Dynamic Random Access Memory) や S D R AM (Synchronou s DRAM) 等で構成される。 近年の高画素数化に伴って、 画像メモ リとしてより大規模な容量が必要とされ、 ハードウェアコスト上 昇や、 や消費電力の増大が問題となっている。
そのため、 特許文献 1 (特開 2 0 0 2— 1 1 1 9 8 9号公報） に記載されているように、 従来の撮像装置では、 撮像された原画 像データを圧縮し、 圧縮後のデータを画像メモリ （原画像データ バッファメモリ） に格納し、 この画像メモリから.読み出されたデ 一夕を再び伸張してからその後の処理を行うようにしていた。 一 般的な原画像データの圧縮処理としては、 原画像信号に対する D P CM処理、 ハフマン符号化、 算術符号化、 これら適宜用いた J P E Gロスレス符号化、 Ziv-Lempel法に代表されるユニバーサル 符号化等が知られている。
例えば、 D P CM処理は、 近接する画素と対象画素との相関性 が高ければ高いほど、 高い圧縮率が得られる。 したがって、 相関 性が高い上位ビッ ト例えば 1画素 1 2ビッ トの画像デ一夕の内の 上位の 6〜 8ビッ トに対しては D P CM処理は有効であるが、 相 関性が低い下位ビッ トに対しては D P CM処理を施しても高い圧 縮率を得ることはできない。 また、 D P CMでは、 画像のエッジ のように、 相関性が低い画像を圧縮すると、 歪みが増える問題が ある。 さらに、 D P CMでは、 エラーの伝播が生じる問題がある 画像メモリから読み出した圧縮データを伸張して原画像データ を得て、 原画像データに対してガンマ補正、 ホワイ トバランス補 正、 リニアマトリクス等の信号処理を行い、 輝度信号と二つの色 差信号を生成するようになされる。 ガンマ補正は、 ブラウン管の 発光特性の非線形性をカメラ側で逆補正するための処理である。 ガンマ補正では、 輝度が高い画像データが圧縮される割合が高い ので、 ガンマ補正の特性に合わせて輝度が高い画像データが圧縮 される割合が高い非線形変換を用いた圧縮方式が提案されている かかる非線形変換を用いた圧縮処理は、 構成自体が非常に簡易 とできるが、 圧縮率をあげればあげるほど、 下位ビッ トの情報が 欠落し、 ソラリゼーション（so rization)等視覚的に見苦しい画 質劣化を発生するので、 高い圧縮率を得ることができない。 ソラ リゼ一ションは、 極端に露光過剰になってしまい写真乳剤の現像 可能な濃度が低下することを意味する。 視覚上では、 量子化ビッ 卜数が少なくなつた粗い階調の画像となり、 平坦な画像部分で画 質の劣化が目立つ問題がある。
このように、 従来の圧縮処理は、 圧縮処理の種類によって、 生 じる圧縮歪みが異なるのが普通である。 また、 何れの圧縮処理に おいても、 圧縮率を高くするほど、 画質の劣化が大きくなる傾向 がある。
したがって、 この発明の目的は、 符号化効率を向上させ、 画質 を向上させることが可能な画像データ処理装置、 画像データ処理 方法およびプログラムを提供することにある。 発明の開示
上述した課題を解決するために、 この発明は、 撮像素子によつ て撮像された原画像データを圧縮する画像データ処理装置におい て、
カラーフィルタの同色成分の信号を取り出す手段と、 同色成分に分離されたそれぞれの画像データに対して、 各画素 を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理を行 う第 1の圧縮手段と、
第 1の圧縮手段と直列に接続され、 第 1の圧縮処理と発生する 歪みの特性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トか ら N ( < M ) ビッ トへ圧縮する第 2の圧縮手段と、
第 2の圧縮手段からの圧縮後のデータを保持する画像メモリと 第 2の圧縮処理の逆の処理である第 2の伸張処理によって、 画 像メモリに保持されたデータの各画素を Nビッ トから Mビッ トへ 伸張する第 2の伸張手段と、
第 2の伸張手段と直列に接続され、 第 1の圧縮処理め逆の処理 である第 1の伸張処理によって第 2の伸張手段の出力データの各 画素を Mビッ トから Lビットへ伸張する第 1の伸張手段と、 第 1の伸張手段からの画像データに対してガンマ補正を含む信 号処理を行う信号処理手段と
を備える画像データ処理装置である。
この発明は、 撮像素子によって撮像された原画像データを圧縮 する画像データ処理方法において、
カラ一フィル夕の同色成分の信号を取り出すステップと、 同色成分に分離されたそれぞれの画像データに対して、 各画素 を Lビッ トから M ( < L ) ピッ トへ圧縮する第 1の圧縮処理を行 う第 1の圧縮ステップと、
第 1の圧縮ステップ後に、 第 1の圧縮処理と発生する歪みの特 性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トから N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、
第 2の圧縮ステップからの圧縮後のデータを画像メモリに保持 するステップと、
第 2の圧縮処理の逆の処理である第 2の伸張処理によって、 画 像メモリに保持されたデ一夕の各画素を Nビッ トから Mビッ トへ 伸張する第 2の伸張ステップと、
第 2の伸張ステップ後に、 第 1の圧縮処理の逆の処理である第 1の伸張処理によって第 2の伸張ステップで伸張されたデータの 各画素を Mビッ トから Lピッ トへ伸張する第 1の伸張ステツプと 第 1の伸張ステツプで伸張された画像データに対してガンマ補 正を含む信号処理を行う信号処理ステツプと
からなる画像データ処理方法である。
この発明は、 撮像素子のカラ一フィル夕の同色成分の信号を取 り出すステツプと、
同色成分に分離されたそれぞれの画像データに対して、 各画素 を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1 の圧縮処理を行 う第 1の圧縮ステツプと、
第 1の圧縮ステップ後に、 第 1の圧縮処理と発生する歪みの特 性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トから N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、
第 2の圧縮ステップからの圧縮後のデータを画像メモリに保持 するステップと、
第 2の圧縮処理の逆の処理である第 2の伸張処理によって、 画 像メモリに保持されたデータの各画素を Nビッ 卜から Mビッ 卜へ 伸張する第 2の伸張ステップと、
第 2の伸張ステップ後に、 第 1の圧縮処理の逆の処理である第 1の伸張処理によって第 2の伸張ステツプで伸張されたデータの 各画素を Mビッ トから Lビッ トへ伸張する第 1の伸張ステツプと 第 1の伸張ステップで伸張された画像データに対してガンマ補 正を含む信号処理を行う信号処理ステツプと
からなる画像データ処理方法をコンピュータに実行させるプロ グラムである。
この発明によれば、 複数の特性が異なる圧縮方法を組み合わせ ることにより、 異なつた特性をもつたノィズに圧縮歪みが分散さ れ、 視覚的に劣化が抑制されるので、 高い圧縮率を実現すること ができる。 図面の簡単な説明
第 1図は、 この発明の一実施形態による撮像装置の構成を示す ブロック図である。
第 2図は、 この発明の一実施形態における画像処理部の一例を 示すブロック図である。
第 3図は、 画像処理部における圧縮 伸張器の構成の一例を示 すブロック図である。
第 4図は、 画像メモリのデータバス幅へのパッキングの説明に 用いる略線図である。
第 5図は、 非線形変換を用いた圧縮器の構成例を示すプロック 図である。
第 6図は、 非線形変換を用いた伸張器の構成例を示すブロック 図である。
第 7図は、 非線形変換を角いた圧縮器の変換カーブの説明に用 いる略線図である。
第 8図は、 非線形変換を用いた圧縮器の変換カーブを折れ線力 ーブで実現した例を示す略線図である。
第 9図は、 この発明の一実施形態における D P C M圧縮/伸張 器の構成の一例を示すブロック図である。
第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cは、 この発明の一実 施形態における D P C M圧縮器の量子化テーブルを選択するため の画像のレベル分布のヒストグラムの例を示す略線図である。 第 1 1図は、 この発明の一実施形態における D P CM圧縮器の 量子化テーブルの一例を示す略線図である。
第 1 2図は、 この発明の一実施形態における D P CM圧縮器の 量子化テーブルを折れ線カーブで実現した例を示す略線図である 第 1 3図は、 画像処理部における圧縮 Z伸張器の構成の他の例 を示すブロック図である。
第 1 4図は、 AD R C圧縮器の一例を示すブロック図である。 第 1 5図は、 AD R C伸張器の一例を示すブロック図である。 発明を実施するための最良の形態
以下、 この発明の一実施形態について図面を参照して説明する
。 第 1図は、 この発明の一実施形態における撮像装置 1の一構成 例を示す。 この撮像装置 1は、 レンズ部 2と、 撮像素子 3と、 夕 イミング生成部 4と、 フロントエンド 5と、 画像処理部 6と、 画 像メモリ 7と、 画像モニタ 8と外部記憶媒体 9とカメラ制御マイ クロコンピュ一夕 1 0とを備えて構成される。
レンズ部 2は、 被写体からの光を集光するものであり、 レンズ
1 1、 絞り 1 2およびシャッター 1 3を含む。 絞り 1 2は、 光量 を制御する。 シャッター 1 3は、 光の通過を遮断することにより 露光を制御する。 絞り 1 2がシャッター 1 3の機能を兼ね備えて もよい。 これら絞り 1 2およびシャッター 1 3がカメラ制御マイ クロコンピュー夕 1 0によって制御される。
撮像素子 3は、 C C D (Charged Coupled Device), CMO Sセ ンサー (Co即 lemetary Metal Oxide Semiconductor sensor)等の 画像センサーであり、 被写体の光情報を電気信号に変換する。 セ ンサ一表面には、 3原色フィルタ、 補色フィル夕等の複数の色フ ィル夕が配置される。 タイミング生成部 4は、 撮像素子 3を駆動 する。 また、 タイミング生成部 4は、 高速 ·低速電子シャッター 等の露光制御も行う。 このタイミング生成部 4は、 カメラ制御マ イク口コンピュータ 1 0によって制御される。
フロントエンド 5は、 撮像素子 3から出力されるアナログ信号 をデジタル信号に変換する。 このフロントェンド 5の内部では、 撮像素子 3におけるノイズ成分を除去して撮像信号を取り出す相 関二重サンプリング、 撮像信号のレベルを制御するゲインコント ロール、 アナログ信号をデジタル信号に変換する AZD変換の各 処理がなされる。 フロントエンド 5は、 カメラ制御マイクロコン ピュー夕 1 0によって制御される。
画像処理部 6は、 デジタル信号に変換された撮像素子 3からの 撮像データに基づいて各種デジタル信号処理を行い、 輝度信号お よび色信号を生成する。 また、 画像処理部 6は、 画像データを J P E G (Joint Pohtograpihic Experts Group)などの所定のファ ィル形式に符号化する機能を有する。
画像メモリ 7は、 画像処理部 6における信号処理の際に一時的 に画像データを格納するための記憶素子であり、 例えば D RAM (Dynamic Random Access Memory) , S D RAM (Synchoronous DR AM)等が使用される。 画像メモリ 7にフロントエンド 5からの原 画像データが格納される場合、 メモリ容量の節減のために、 画像 処理部 6によって圧縮された圧縮データが画像メモリ 7に記憶さ れる。
画像モニタ 8は、 撮像素子 3によって撮像された画像 （スルー 画像） をユーザが確認し、 また、 撮像装置の操作に必要なメニュ 一を表示し、 さらに、 再生画像データを表示するためのモニタで ある。 例えば L C Dパネル （L i qu i d Crys t a l Di sp l ay Pane l ) 等 が使用される。 外部記憶媒体 9は画像データを格納するための記 録媒体であり、 書き換え可能な不揮発性メモリとしてフラッシュ メモリが用いられることが多い。
カメラ制御マイクロコンピュー夕 1 0は、 撮像装置 1全体の制 御を行う。 すなわち、 絞り 1 2による露光制御、 シャツ夕一 1 3 の開閉制御、 タイミング生成部 4における電子シャツ夕一制御、 フロントエンド 5におけるゲインコントロール、 画像処理部 6に おける各種モ一ド制御やパラメータ制御がマイクロコンピュー夕 1 0によってなされる。
第 2図は、 この発明の一実施形態における画像処理部 6の一構 成例を示す。 画像処理部 6は、 信号処理部 2 1 と検波部 2 2 と、 圧縮部 2 3と伸張部 2 4と、 メモリコントローラ 2 5と、 メモリ イン夕一フェース 2 6 と、 モニターイン夕一フェース 2 7 と、 マ ィクロコンピュ一タインターフェース 2 8 とを備える。 また、 こ れら各部はデータパス 2 9および制御バス 3 0によって相互に接 続されている。 第 2図において、 画像デ一夕の流れが実線で示さ れ、 制御データの流れが破線で示されている。
信号処理部 2 1は、 フロントエンド 5においてデジタル化され た原画像情報 （RAWデータ） に対して撮像素子 3に関連する補正 例えば欠陥補正を行う。 補正後の原画像データが圧縮部 2 3で圧 縮され、 メモリコントローラ 2 5およびメモリインタ一フェース 2 6を介して画像メモリ 7に書き込まれる。 画像メモリ 7から読 み出された圧縮データが伸張部 2 4で伸張され、 伸張部 2 4から 原画像データが得られる。 画像メモリ 7から読み出され、 伸張処理に得られた原画像デー 夕が信号処理部 2 1に供給される。 信号処理部 2 1は、 デジタル クランプ、 ホワイ トバランス、 ガンマ補正、 補間演算、 フィルタ 演算、 マトリクス演算、 輝度生成演算、 色生成演算等のデジタル 信号処理を行い、 輝度および色差信号からなる画像信号を生成す る。 また、 信号処理部 2 1は J P E Gなどの所定のファイル形式 に符号化した画像データを生成する。
なお、 この発明は、 原画像データに対して信号処理を行い、 得 られた輝度信号および色差信号からなる画像信号を圧縮して画像 メモリに書き込む構成に対しても適用することが可能である。 さ らに、 外部記憶媒体 9に対しても、 画像メモリ 7と同様に、 圧縮 した画像データを記憶するようにしても良い。
検波部 2 2は、 各種カメラ制御の基準となるカメラ撮像画像の 検波処理を行う。 この検波部 2 2が検出する検波信号は、 例えば オートフォーカスに関する検波信号、 自動露出制御に関する検波 信号等である。 検波部 2 2は、 オートフォーカスに関する検波信 号として、 撮像画像上の所定の位置に設定されたォ一トフオーカ ス検波ェリァ内における輝度のエツジ成分を検出し、 そのエッジ 成分を検出し、 そのエッジ成分を積算して得られるコントラスト 値を出力する。 また、 検波部 2 2は自動露出制御に関する検波信 号として、 撮像画面上の所定の位置に設定された輝度の検波エリ ァの輝度を検出し、 その輝度レベルを出力する。
圧縮部 2 3は、 例えば静止画の取り込みの際にフロントエンド 5からのキヤプチャ画像を色別に圧縮する。 この圧縮された画像 データはメモリインターフェース 2 6において、 画像メモリ 7の バス幅に応じてパッキングを行う。 パッキングされたデータはメ モリインタ一フェース 2 6を介して画像メモリ 1に一旦保持され る。 一方、 画像メモリ 7から圧縮データをメモリーインタ一フエ —ス 2 6に読み出し、 パッキング処理をほどく。 その後、 伸張部 2 4は、 信号処理部 2 1における信号処理のためにデパッキング された画像データを伸張する。
メモリコントローラ 2 5は、 画像処理部 6内の各部間または各 部と画像メモリ 7 との間での画像データの受け渡しゃデ一夕の流 れるデ一夕バス 2 9を制御する。 メモリインターフェース 2 6は 、 画像処理部 6における信号処理の際に用いられる画像メモリ 7 との間で画像データや圧縮されたデータの受け渡しを行う。 モニ 夕一インターフェース 2 7は、 画像データを画像モニタ 8に表示 するために各種表示フォーマッ トに変換する。 例えば、 N T S C モニターに表示するための N T S Cエンコーダ等が知られている 。 マイクロコンピュータインターフェース 2 8は、 画像処理部 6 を制御するカメラ制御マイクロコンピュータ 1 0と画像処理部 6 との間の制御デー夕や画像デー夕の受け渡しを行う。
第 3図は、 画像処理部 6における圧縮部 2 3、 伸張部 2 4、 メ モリコントローラ 2 5、 メモリインタ一フェース 2 6の部分を機 能構成として表したものである。 この画像処理装置は、 異なる第 1およぴ第 2の圧縮処理を行うもので、 第 1の圧縮処理として非 線形圧縮を行い、 第 2の圧縮処理として D P C M圧縮を行う。 第 1および第 2の圧縮処理は、 圧縮により生じる画像歪みが互いに 異なるものである。 圧縮方式が異なる場合、 画像歪みが異なるこ とが多いので、 直列に組み合わされる 2種類の圧縮方式としては 、 種々のものが可能である。 例えば非線形圧縮と A D R C ( Adap t i ve Dynami c Ran g e Cod i ng) 等の他の圧縮回路との組み合わせ であってもよいし、 さらに、 3種類以上の圧縮方式を組み合わせ てもよい。
第 3図を参照して、 静止画像を Lビッ ト例えば L = 1 4から N ( N < L ) ビッ ト例えば N = 1 0に圧縮する処理を説明する。 な お、 圧縮動作と伸張動作が同時になされないので、 第 3図の構成 は、 圧縮および伸張で共用するものである。
タイミング発生器 4 0に対して画像デ一夕の水平同期信号およ び垂直同期信号、 画像データのィネーブル信号等が入力される。 タイミング発生器 4 0では、 圧縮器 4 1および 4 2、 伸張器 4 6 および 4 7、 パッキング部 4 3、 デパッキング部 4 5、 画像メモ リ 7等に配るタイミング信号およびコントロール信号を生成する 非線形変換を用いた圧縮器 4 1は、 3原色信号の各色成分の画 像データ （ 1画素が Lビッ ト） がそれぞれ入力される。 例えばフ ロントエンド 5からの原画像データから輝度情報が画像情報 P I 1として抽出され、 マイクロコンピュータ 1 0にこの情報 P I 1 が出力される。 マイクロコンピュータ 1 0では、 この情報から入 力画像の特性を識別し、 その情報に適切な圧縮変換テーブル T B 1を設定する。 設定された圧縮変換テーブル T B 1を非線形変換 を用いた圧縮器 4 1にフィードバックする。 なお、 画像情報 P I 1は、 検波部 2 2において求められた自動露出制御のための情報 を用いるようにしても良い。
非線形変換を用いた圧縮器 4 1では、 この圧縮変換テーブル T B 1に従って画像デ一夕を Mビッ ト （M < L ) 例えば M = 1 2へ 圧縮する。 この圧縮器 4 1では、 後段の信号処理部 2 1 (第 1図 参照） のガンマ補正で用いられるガンマカーブ特性に似た特性の 圧縮変換を行うことにより、 後段の信号処理と同様な重みづけを 画像データに対して行う。
非線形圧縮器 4 1によって、 非線形変換により Mビッ トに圧縮 変換された画像データが D P C M圧縮器 4 2に入力される。 D P C M圧縮器 4 2において量子化テーブル T B 2を使用して最終的 に Nビット （例えば N = 1 0 ) に圧縮される。 量子化テーブル T B 2を設定するための情報 P I 2が生成される。 圧縮された画像 デ一夕がパッキング部 4 3に入力され、 画像メモリのバス幅に詰 め込みされた上で、 画像メモリ 7に格納される。 第 4図は、 バス 幅が 1 6ビッ トの場合にパッキングされた画像デ一夕の一例を示 す。 この一実施形態では、 非線形変換を用いた圧縮器 4 1の圧縮 比が 1 4であり、 D P C M圧縮器 4 2の圧縮比が 1 Z 4であり 、 総合して 1 Z 1 6の圧縮比が実現されている。
次に、 第 3図を参照して Nビッ トから Lビッ トへの伸張時の処 理を説明する。 伸張処理は、 上述した圧縮処理と逆の順序でなさ れる処理である。 伸張処理も圧縮処理と同様に、 3原色成分の各 色信号ごとになされる。 画像メモリ 7に格納されていた画像デー 夕が読み出され、 デパッキング部 4 5に入力される。 バス幅に多 重化されていた圧縮デ一夕がデパッキング部 4 5によって Nビッ トの画像データに戻され、 第 2の伸張手段としての D P C M伸張 器 4 6に入力される。
D P C M伸張器 4 6は、 逆変換テーブル T B 1 2によって Nビ ッ トから Mビッ トへ伸張を行う。 伸張後の画像デ一タは、 第 1の 伸張手段としての非線形変換を用いた伸張器 4 7に入力される。 伸張器 4 7は、 圧縮器 4 1で選択された圧縮変換テーブル T B 1 と対の逆圧縮テーブル T B 1 1に従って画像データを元のビッ ト 数である Lビッ トに伸張する。 非線形変換を用いた伸張器 4 7か らの Lビッ トの各色成分の原画像データが信号処理部 2 1 (第 2 図参照） に供給され、 デジタルクランプ、 ホワイ トバランス、 ガ ンマ補正、 補間演算、 フィル夕演算、 マトリクス演算、 輝度生成 演算、 色生成演算等のデジタル信号処理によって輝度および色差 信号からなる画像信号が生成される。
第 5図は、 非線形変換を用いた圧縮のための構成を示す。 ある 色に対応する画像データが圧縮器 4 1および輝度抽出部 5 3に供 給される。 輝度抽出部 5 3は、 フロントエンド 5からの原画像デ —夕から輝度に対応する画像情報 P I 1を抽出する。 抽出された 画像情報 P I 1が圧縮変換規則設定部 5 1に供給される。
圧縮変換規則設定部 5 1は、 抽出された輝度情報 P I 1に基づ いて圧縮変換規則を圧縮変換テーブル 5 2に設定する。 すなわち 、 圧縮変換規則によって圧縮変換テーブルの特性が設定される。 設定された圧縮変換テーブル T B 1が圧縮器 4 1に対して供給さ れる。 圧縮器 4 1が圧縮変換テーブル T B 1にしたがって非線形 変換を用いた圧縮処理を行う。 圧縮後の Mビッ トのデータが次段 の D P C M圧縮器 4 2に供給される。 使用された圧縮変換テープ ルの特性を識別する情報が圧縮データと関連付けて伝送され、 伸 張時に伸張変換テーブルを指示するために使用される。 この情報 をマイクロコンピュータ 1 0に保持しても良い。
第 6図は、 非線形変換を用いた伸張のための構成を示す。 画像 メモリ 7から読み出され、 D P C M伸張器 4 6によって Mビッ ト に伸張後のデータが変換規則設定部 5 4および非線形変換を用い た伸張器 4 6に供給される。 変換規則設定部 5 4は、 圧縮時で使 用されたの圧縮変換テーブルと対をなす伸張変換テーブル T B 1 1を伸張変換テーブル 5 5から出力させる。 伸張器 4 6が伸張変 換テーブル T B 1 1にしたがってデータを Nビッ トに伸張する。 第 7図は、 圧縮変換テーブル TB 1に対応するカーブの一例を 示す。 圧縮変換テーブル TB 1は、 圧縮前のデータと圧縮後のデ 一夕の変換対の集合からなる。 圧縮器 4 1は、 圧縮変換テーブル TB 1における変換対を参照してデータを圧縮する。 圧縮変換テ —ブル TB Iは、 固定領域と可変領域とからなる。 固定領域にお いては、 各変換対が固定である。 可変領域においては、 圧縮変換 規則設定部 5 1によって適宜変換対が変更可能とされている。 第 7図の例では、 可変領域に 3種類の変換カーブ 6 1， 6 2お よび 6 3が示されている。 輝度抽出部 5 3により抽出された輝度 情報 P I Iによって、 これらのカーブが選択される。 例えば輝度 情報がフレーム単位で抽出される場合では、 フレーム単位で変換 カーブが切り換えられる。 抽出された輝度が低輝度であれば、 変 換カーブ 6 1が採用され、 中輝度であれば、 変換カーブ 6 2が採 用され、 高輝度であれば、 変換カーブ 6 3が採用される。 なお、 これらの変換カーブ 6 1、 6 2、 6 3は、 後段の信号処理部 2 1 で用いられるガンマ補正カーブと同様のものであることが好まし い。
例えば圧縮変換テーブル TB 1は、 第 8図に示すように、 折れ 線カーブで近似されたものが使用される。 例えばしきい値 TH 0 , TH 1 , TH 2 , TH 3とオフセッ ト O F T 0， O F T 1 , O F T 2， O F T 3 とによって折れ線カーブが規定される。 すなわ ち、 （TH 0， 〇 F T 0 ) によって直線 6 4 aが規定され、 （T H I , 0 F T 1 ) によって直線 6 4 bが規定され、 （TH 2 , O F T 2 ) によって直線 6 4 cが規定され、 （TH 3 , O F T 3 ) によって直線 6 4 dが規定され、 圧縮前のデータの最大値 2の 1 4乗の値と、 圧縮後のデータの最大値 2の 1 2乗の値とによって 直線 6 4 eが規定される。 直線 64 aから直線 6 4 eになるほど 傾きが小とされている。 例えば直線 64 a、 6 4 bおよび 6 4 c が固定とされ、 直線 6 4 dおよび 6 4 eが可変とされる。
圧縮前のデータが各しきい値と比較され、 5つの線 64 a〜 6 4 eの何れの範囲に含まれるかが決定される。 各直線は、 1次関 数として表されるので、 各直線上の圧縮後のデータの値は、 1次 補間によって求めることができる。 さらに、 しきい値またはオフ セットを変更することによって、 圧縮変換テーブルの特性を抽出 された輝度情報 P I 1に適応して変更することができる。 例えば オフセット O F T 3をオフセッ ト O F T 4に変更することによつ て、 直線 6 4 dおよび 6 4 eをそれぞれ直線 6 5 dおよび 6 5 e に変更することができる。
なお、 変換カーブを固定領域と可変領域に分ける必要はなく、 全体のカーブを可変できるようにしても良い。 また、 1次補間に 限らず、 非線形補間によって代表点としてのオフセッ ト以外の値 を求めるようにしても良い。
第 9図は、 圧縮動作と伸張動作の回路を共用するように構成さ れた D P C M圧縮器 4 2および 4 6を示す。 非線形変換を用いた 圧縮器 4 1によって、 Lビッ ト例えば 1 4ビッ トから Mビッ ト例 えば 1 2ビッ トに圧縮された入力画像デ一夕が減算器 7 0に供給 される。 減算器 7 0において、 予測器 7 1 において遅延要素 Dで 規定される過去の画素例えば同じラインの隣接した画素から予測 された予測値との予測誤差を求められる。 aは、 予測値を生成す るための重み付けの係数である。 予測誤差が差分ヒスト検出器 7 2、 量子化器 7 3および量子化 /逆量子化器 7 4に入力される。 量子化/逆量子化器 7 4は、 量 子化を行う処理と、 その逆に量子化値を代表値に変換する逆量子 化を行う処理とを同時に行う構成を有している。 量子化 Z逆量子 化器 7 4の量子化特性は、 量子化器 7 3の量子化特性および逆量 子化器 7 5の逆量子化特性と同一とされる。 量子化/逆量子化器 7 4の出力データがセレクタ 7 6を介して加算器 7 7に供給され る。
セレクタ 7 6は、 圧縮 伸張切り換え信号 S。によって、 圧縮 時には、 入力端子 aを選択し、 伸張時に、 入力端子 bを選択する ように制御される。 圧縮時には、 量子化/逆量子化器 7 4の出力 と予測器 7 1の出力とが加算器 7 7で加算されたデータが減算器 7 0に供給され、 予測誤差が計算される。 量子化器をフィードバ ックループに入れて、 伸張器と同様な構成の回路を設けることで 、 量子化器で発生する量子化雑音の伸張器での累積を回避してい る。
差分ヒスト検出器 7 2は、 捕捉された 1枚の静止画像に関して 予測誤差の発生頻度を示すヒストグラムを作成し、 画像情報 P I 2としてこの値を出力する。 差分ヒスト検出器 7 2で得られるヒ ストグラムは、 画像信号によって分布に著しい偏りが見られる。 検出されたヒストグラムに基づいて、 量子化器 7 3および量子化 ノ逆量子化器 7 4で用いる量子化テーブル T B 2を適応的に変化 させ、 効率的な圧縮がなされる。 圧縮時には、 量子化器 7 3から Nビッ ト例えば 1 0ビッ 卜に圧縮された圧縮データが得られる。 圧縮デ一夕は、 画像メモリ 7に書き込まれる。
画像メモリ 7から読み出されたデータが逆量子化器 7 5に供給 される。 逆量子化器 7 5は、 量子化.器 7 3で使用された量子化テ 一ブル T B 2と対をなす逆変換テ一ブル T B 1 2によって、 Nビ ッ トを Mビッ トに伸張する。 どの逆変換テーブルを選択するかを 指示する情報は、 画像メモリ 7に格納される。 但し、 マイクロコ ンピュー夕 1 0からの情報によって逆変換テーブルを設定しても 良い。
逆量子化器 7 5からの Mビッ 卜に伸張された予測誤差がセレク 夕 7 6を介して加算器 7 7に供給される。 加算器 7 7には、 予測 器 7 1で生成された予測値がフィードバックされ、 復元値が加算 器 7 7から得られる。 この復元値が非線形変換を用いた伸張器 4 7に対して供給される。
第 1 0図 A、 第 1 0図 Bおよび第 1 0図 Cは、 減算器 7 0の出 力に得られる、 予測誤差の発生頻度を示すヒストグラムの模式的 な例を示す。 横軸が予測誤差を示し、 縦軸が頻度を示す。 予測誤 差は、 横軸に沿って値が次第に大きくなるが、 予測誤差の最小値 から最大値の範囲を所定数に分割し、 分割範囲のそれぞれの発生 頻度を検出しても良い。 一例として、 1枚の画像に関して予測誤 差の発生頻度が調べられ、 ヒストグラムが作成される。 ヒストグ ラムに基づいて量子化器 7 3および量子化/逆量子化器 7 4の非 線形圧縮に使用される量子化テーブル T B 2が設定される。
第 1 1図は、 量子化テーブル T B 2の一例を示す。 横軸が予測 誤差を示し、 縦軸が代表値を示す。 参照符号 8 1が標準的な量子 化テ一ブルを示し、 量子化テーブル 8 1に対して量子化テーブル 8 2および量子化 8 3が設定されている。 これらの量子化テープ ルは、 差分が大きな部分より小さな部分の方が人間の目の感度が 敏感であることに基づいて、 予測誤差が大きい部分の圧縮率が小 さい部分に比較して高くされている。
第 1 0図 Aに示すように、 予測誤差の分布が小さな値に集中し ている画像、 すなわち、 平坦な画像に対しては、 量子化テーブル 8 2が設定される。 量子化テーブル 8 2は、 0からしきい値 Aで 示す比較的小さなレベルの範囲の予測誤差に対しては、 それぞれ 異なる代表値を出力し、 しきい値 Aを越えるレベルの予測誤差に 対しては、 共通に最大の代表値を出力するものである。 つまり、 予測誤差の小さなレベルに対してビッ トの配分を多くするもので ある。 ここでは、 1フレーム等の 1枚の画像で発生するビッ ト数 が所定の値以下とされているので、 使用できるビッ ト数をどのよ うに予測誤差に対して振り分けるかが圧縮の歪みを少なくするた めに必要である。
第 1 0図 Bに示すように、 予測誤差の分布がある程度の大きさ までのレベル範囲に比較的均等に含まれている通常の画像に対し ては、 量子化テーブル 8 1が設定される。 量子化テーブル 8 1は 、 0からしきい値 B O A ) で示す範囲の予測誤差に対しては、 それぞれ異なる代表値を出力し、 しきい値 Bを越えるレベルの予 測誤差に対しては、 共通に最大の代表値を出力するものである。 つまり、 予測誤差の小さなレベルおよび中間のレベルに対してビ ッ トの配分を多くするものである。
第 1 0図 Cに示すように、 予測誤差の分布が大きなレベル範囲 にまで分布している画像、 すなわち、 絵柄が細かいために隣接画 素間の相関が小さい画像に対しては、 量子化テーブル 8 3が設定 される。 量子化テーブル 8 3は、 0からしきい値 C O B ) で示 すレベルの範囲の予測誤差に対しては、 それぞれ異なる代表値を 出力し、 Cを越えるレベルの予測誤差に対しては、 共通に最大の 代表値を出力するものである。 つまり、 予測誤差の小さなレベル から大きいレベルまでの全体に対してビッ トを配分するものであ る。
上述したように、 捕捉した 1枚の静止画像の予測誤差のレベル 分布に応じて量子化テーブルを設定することによって、 圧縮によ る歪みが小さい量子化を行うことができる。
量子化テーブルは、 実際には、 第 1 2図に示すように、 折れ線 特性で近似することができる。 第 1 2図において、 縦軸が予測誤 差を示し、 横軸が代表値を示す。 予測誤差に対しては、 しきい値 t h 0〜 t h 6が規定され、 代表値に対しては、 オフセッ ト o f t 0〜 o f t 5が規定されている。 これらのしきい値とオフセッ トで規定される各直線は、 予測誤差に乗算される変換の係数が （ 1， \ / 2 , 1 / , 1 / 8 , 1 / 1 6 , 1 / 3 2 , 1 / 6 4 ) となるような傾きをそれぞれ有している。
しきい値およびオフセッ ト値の対のデータがメモリに記憶され ている。 しきい値と予測誤差とが比較され、 予測誤差がどの直線 の範囲に含まれるかが決定され、 予測誤差に対応する代表値が求 められる。 その場合、 1次補間の演算によって代表値が求められ る。 しきい値およびオフセッ ト値の少なくとも一方を変更するこ とによって量子化テーブルの特性を変更することができる。
このように、 この発明の一実施形態によれば、 低い階調の部分 に対して人間の目の感度が敏感であるという視覚特性を利用した 非線形変換による圧縮と、 差分が大きな部分より小さな部分の方 が人間の目の感度が敏感であるという差感度と画像信号の相関を 利用した D P C M圧縮という、 ふたつの異なる圧縮手段を兼ね備 えることにより、 量子化誤差を分散させ、 ノイズを感知し難くす ることができる。 更に、 非線形圧縮/伸張変換テーブルをヒス卜 グラムに適したビッ ト配分に適応的に変化させ、 また、 予測誤差 のヒストグラム分布により、 最適な量子化テーブルを適応的に変 化させ、 予測誤差の分布に適した代表値配分を行うことができる その結果、 信号処理を経た後での視覚的なノイズ感を変えずに 圧縮率を上げることができる。 圧縮率を高くすることにより、 画 像メモリに格納する静止画枚数を増やすことができる。 また、 画 像メモリにアクセスする周波数帯域を下げ、 低消費電力化を実現 することにより、 デジタルスチルカメラ、 カメラ · レコーダーの バッテリーをより長く持続させることが可能となる。
第 1 3図は、 この発明の他の実施形態を示す。 他の実施形態は 、 2つの異なる特性をもつ圧縮変換として、 非線形圧縮と A D R C ( Adap t i ve Dynami c Ran e Cod i ng) 圧縮を組み合わせた例で ある。 第 1 3図を参照して、 静止画像を Lビッ ト例えば L = 1 4 から N ( N < L ) ビッ ト例えば N = 1 0に圧縮する処理を説明す る。 なお、 圧縮動作と伸張動作が同時になされないので、 第 1 3 図の回路を圧縮および伸張で共用することができる。
夕イミング発生器 9 0に対して画像データの水平同期信号およ び垂直同期信号、 画像データのィネーブル信号等が入力される。 タイミング発生器 9 0では、 圧縮器 9 1および 9 2、 伸張器 9 6 および 9 7、 パッキング部 9 3、 デパッキング部 9 5、 画像メモ リ 7等に配る夕イミング信号およびコントロール信号を生成する 非線形変換を用いた圧縮器 9 1は、 第 3図に示す一実施形態に おける圧縮器 4 1 と同様のものである。 すなわち、 3原色信号の 各色成分の画像データ （ 1画素が Lビッ ト） がそれぞれ入力され 、 画像情報 P I 3例えばフロントエンド 5からの原画像データか ら輝度情報が抽出され、 マイク口コンピュータ 1 0が画像情報 P I 3から入力画像の特性を識別する。 マイクロコンピュータ 1 0 が画像情報 P I 3に基づいて設定した圧縮変換テーブル T B 3が 非線形変換を用いた圧縮器 9 1に供給される。
非線形変換を用いた圧縮器 9 1では、 この圧縮変換テーブル T B 3に従って画像データを Mビッ ト （Mく L ) 例えば M = 1 2へ 圧縮する。 この圧縮器 9 1における非線形変換のための変換力一 ブは、 後段の信号処理部 2 1 (第 1図参照） のガンマ補正で用い られるガンマ補正カーブと同様の特性である。
非線形圧縮器 9 1によって、 非線形変換により Lビッ トから M ビッ トへ圧縮変換された画像データが A D R C圧縮器 9 2に入力 される。 A D R C圧縮器 9 2は、 画像情報 P I 4に基づいて設定 された量子化テーブル T B 4を使用して最終的に Nビッ ト （例え ば N = 1 0 ) に圧縮された画像データを出力する。 圧縮された画 像データがパッキング部 9 3に入力され、 画像メモリのパス幅に 詰め込みされた上で、 画像メモリ 7に格納される。
次に、 第 1 3図を参照して Nビッ トから Lビッ トへの伸張時の 処理を説明する。 伸張処理は、 上述した圧縮処理と逆の順序でな される処理である。 伸張処理も圧縮処理と同様に、 3原色成分の 各色信号ごとになされる。 画像メモリ 7に格納されていた画像デ 一夕が読み出され、 デパッキング部 9 5に入力される。 バス幅に 多重化されていた圧縮データがデパッキング部 9 5によって Nビ ッ トの画像データに戻され、 A D R C伸張器 9 6に入力される。
A D R C伸張器 9 6が量子化テーブル T B 4と対の逆変換テー ブル T B 1 4を使用して Nビッ トから Mビッ トへの伸張を行う。 伸張後の画像データは、 非線形変換を用いた伸張器 9 7に入力さ れる。 伸張器 9 7は、 圧縮器 9 1で選択された圧縮変換テ一ブル T B 3と対の逆圧縮テーブル T B 1 3に従って画像デ一夕を元の ビッ ト数である Lビッ トに伸張する。 非線形変換を用いた伸張器 9 7からの Lビッ トの各色成分の原画像データが信号処理部 2 1 (第 2図参照） に供給され、 デジタルクランプ、 ホワイ トバラン ス、 ガンマ補正、 補間演算、 フィル夕演算、 マトリクス演算、 輝 度生成演算、 色生成演算等のデジタル信号処理によって輝度およ び色差信号からなる画像信号が生成される。
非線形変換を用いた圧縮器 9 1は、 上述した第 5図の構成を使 用でき、 非線形変換を用いた伸張器 9 7は、 上述した第 6図の構 成を使用できる。
A D Cは、 空間的または時間的に近接した複数の画素が相関 を有していることに着目し、 レベル方向に圧縮を行うものである 。 第 1 4図は、 A D R C圧縮器 9 1の一例を示す。 各画素が Mビ ッ 卜の画像データ （一つの色成分のデータ） がブロック化回路 1 0 1に供給され、 複数の画素からなる 2次元領域であるブロック に分割される。 ダイナミックレンジ （D R ) 検出回路 1 0 2が各 ブロックの画素の最大値 M A Xと最小値 M I Nを検出し、 M A X —M I Nによってダイナミックレンジ D Rを検出する。
減算器 1 0 3において、 各画素の値から最小値 M I Nが減算さ れる。 減算器 1 0 3に供給されるデータを検出回路 1 0 2が検出 に要する時間遅延させるようにしても良い。 減算器 1 0 3によつ てブロック内のデータが正規化される。 減算器 1 0 3の出力デー 夕が量子化器 1 0 4に供給される。 量子化器 1 0 4では、 量子化テ一ブル T B 4とダイナミックレ ンジ D Rとを使用して量子化を行い、 Nビッ トのコ一ド D Tを出 力する。 線形量子化を行うと仮定した場合では、 ダイナミックレ ンジ D Rを 1ノ 2 Nした量子化ステツプ Δを生成し、 量子化ステ ップ△で最小値除去後のデータを除算することで量子化を行う。 ここでは、 量子化器 1 0 4が例えば一実施形態における D P C M 圧縮器 4 2の量子化テーブルと同様の量子化テーブル T B 4によ つて非線形量子化を行い、 その量子化特性が画像の特徴例えば一 実施形態におけるレベル分布のヒストグラムに応じて変更される 。
例えば量子化ステツプ Δを一定とせずに、 最小値除去後のデー 夕のレベルを分割した複数の範囲で量子化ステツプ Δを相違させ る。 すなわち、 最小値除去後のデータのレベルが小さい範囲では 、 量子化ステップが小さくされ、 そのレベルが大きい範囲では、 量子化ステップが大きくされる。 このような量子化ステップの制 御が一定ではなく、 レベル分布のヒストグラムに応じて変化され る。
ダイナミックレンジ D R、 最小値 M I N、 コ ド D Tおよび量 子化テーブル T B 4を示す情報 （図示しない） がパッキング部 9 3によってパッキングされ、 画像メモリ 7に対して書き込まれる 。 量子化テーブル T B 4を示す情報は、 マイクロコンピュータ 1 0において保持されるようにしても良い。
画像メモリ 7から読み出されたデータがデパッキング部 9 5で デパッキングされ、 逆量子化器 1 1 2に対してダイナミックレン ジ D Rおよびコード D Tが供給される。 逆量子化器 1 1 2には、 量子化テーブル T B 4と対をなす逆変換テーブル T B 1 4も供給 される。 量子化テーブル T B 4を使用して量子化したことを示す 情報から逆変換テーブル T B 1 4が特定される。
逆量子化器 1 1 2が逆変換テーブル T B 1 4にしたがってコ一 ド D Tを代表値へ変換する。 線形量子化を仮定した場合には、 ダ イナミックレンジ D Rから量子化ステップ Δが求められ、 コード D Tの値に量子化ステツプ Δを乗じることで代表値が得られる。 逆変換テーブル T B 1 4によって規定される量子化ステツプ Δを 使用して代表値が計算される。
A D R C処理は、 ブロック単位で独立して量子化を行うので、 ブロック内の相関が高い場合、 すなわち、 ダイナミックレンジ D Rが小さい場合には高い圧縮率が得られるが、 ブロック内の相関 が低い場合、 すなわち、 ダイナミックレンジ D Rが大きい場合に は、 ブロック間の量子化の相違がブロック歪みとして生じるおそ れがある。 一方、 非線形変換を用いた圧縮処理は、 構成を簡略と できる反面、 圧縮率を高くするほど下位ビッ トの情報が欠落し、 ソラリゼーション等の視覚的に見苦しい画質劣化が生じる。
上述したこの発明の他の実施形態においては、 このような異な る圧縮特性を有する圧縮処理を直列に施すことにより、 さらに高 い圧縮率を得ることができ、 また、 圧縮歪みが複数の違った特性 のノイズに分散されることになり、 視覚的に劣化が抑制されたよ うにすることができる。
この発明は、 上述したこの発明の実施形態に限定されるもので は無く、 この発明の要旨を逸脱しない範囲内で様々な変形や応用 が可能である。 例えばこの発明は、 直列に接続した各圧縮器が圧 縮するビッ ト数を固定としている。 例えば初段で Lビッ トから M ビッ トに圧縮し、 2段目で Mビッ トから Nビッ トに圧縮している 。 しかしながら、 圧縮される （L — N ) ビッ トの各圧縮器に対す る割り振りを処理の対象の画像の特徴に適応して変化させるよう にしても良い。
また、 色信号の各色成分別に圧縮器 Z伸張器を設けているが、 回路削減のために、 全ての色成分を多重化して時分割処理をする ことも可能である。 撮像素子が 4色以上のカラ一フィルタを有す る場合に対しても適用できる。 また、 この発明は、 色成分全てに 対して、 同じビッ ト配分を行っているが、 配列の偏りに応じてビ ッ トの配分、 すなわち圧縮率を変えることにより、 更に高い圧縮 率を期待できる。 更に、 後段で行う信号処理の色成分ごとの重み やカラ一フィル夕の配列条件に応じて、 色別に異なるビッ ト数に 配分するようにしても良い。
また、 この発明はモニタリング時の静止画キヤプチャ時だけで なく、 動画記録中に静止画をキヤプチヤする際にも適用できる。
さらに、 この発明の一実施形態および他の実施形態における処 理手段は、 これら一連の手段をステツプとして有する方法として 捉えなくてもよく、 また、 これら一連の手段をコンピュータに実 行させるためのプログラム乃至そのプログラムを記憶する記録媒 体と捉えても良い。

Claims

請 求 の 範 囲
1 . 撮像素子によって撮像された原画像データを圧縮する画像デ
—夕処理装置において、
カラーフィルタの同色成分の信号を取り出す手段と、 上記同色成分に分離されたそれぞれの画像データに対して、 各 画素を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理 を行う第 1の圧縮手段と、
上記第 1の圧縮手段と直列に接続され、 上記第 1の圧縮処理と 発生する歪みの特性が異なる第 2の圧縮処理を行い、 各画素を M ビッ トから N (< M ) ビッ トへ圧縮する第 2の圧縮手段と、 上記第 2の圧縮手段からの圧縮後のデータを保持する画像メモ Uと、
上記第 2の圧縮処理の逆の処理である第 2の伸張処理によって 、 上記画像メモリに保持されたデータの各画素を Nビッ トから M ピッ トへ伸張する第 2の伸張手段と、
上記第 2の伸張手段と直列に接続され、 上記第 1の圧縮処理の 逆の処理である第 1の伸張処理によって上記第 2の伸張手段の出 力データの各画素を Mビッ 卜から Lビッ トへ伸張する第 1の伸張 手段と、
上記第 1の伸張手段からの画像データに対してガンマ補正を含 む信号処理を行う信号処理手段と
を備える画像データ処理装置。
2 . 請求の範囲第 1項において、
上記第 1および第 2の圧縮手段のそれぞれの圧縮処理を行う際 に、 画像と圧縮方法に適した圧縮変換規則を決定するために必要 な画像情報を抽出する第 1および第 2の画像情報抽出手段と、 抽出された上記画像情報に応じて上記第 1および第 2の圧縮手 段における上記圧縮変換規則を設定する圧縮変換規則設定手段と 上記第 1および第 2の伸張手段においてそれぞれ伸張変換規則 を設定する伸張規則設定手段とを有する画像データ処理装置。
3 . 請求の範囲第 2項において、
上記圧縮変換規則が上記第 1および第 2の圧縮手段のそれぞれ の変換特性であり、
上記伸張変換規則が上記第 1および第 2の伸張手段のそれぞれ の逆変換特性である画像データ処理装置。
4 . 請求の範囲第 2項において、
上記圧縮変換規則が上記第 1および第 2の圧縮手段のそれぞれ に割り振られる圧縮配分であり、
上記伸張変換規則が上記第 1および第 2の伸張手段のそれぞれ に割り振られる伸張配分である画像データ処理装置。
5 . 撮像素子によって撮像された原画像データを圧縮する画像デ 一夕処理方法において、
カラーフィルタの同色成分の信号を取り出すステップと、 上記同色成分に分離されたそれぞれの画像データに対して、 各 画素を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理 を行う第 1の圧縮ステツプと、
上記第 1の圧縮ステツプ後に、 上記第 1の圧縮処理と発生する 歪みの特性が異なる第 2の圧縮処理を行い、 各画素を Mピッ 卜か ら N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、
上記第 2の圧縮ステツプからの圧縮後のデ一夕を画像メモリに 保持するステツプと、 上記第 2の圧縮処理の逆の処理である第 2の伸張処理によって 、 上記画像メモリに保持されたデータの各画素を Nビッ トから M ビッ トへ伸張する第 2の伸張ステツプと、
上記第 2の伸張ステップ後に、 上記第 1の圧縮処理の逆の処理 である第 1の伸張処理によって上記第 2の伸張ステツプで伸張さ れたデ一夕の各画素を Mビッ トから Lビッ トへ伸張する第 1の伸 張ステップと、
上記第 1の伸張ステツプで伸張された画像データに対してガン マ補正を含む信号処理を行う信号処理ステツプと
からなる画像データ処理方法。
6 . 撮像素子のカラーフィル夕の同色成分の信号を取り出すステ ップと、
上記同色成分に分離されたそれぞれの画像データに対して、 各 画素を Lビッ トから M ( < L ) ビッ トへ圧縮する第 1の圧縮処理 を行う第 1の圧縮ステツプと、
上記第 1の圧縮ステツプ.後に、 上記第 1の圧縮処理と発生する 歪みの特性が異なる第 2の圧縮処理を行い、 各画素を Mビッ トか ら N ( < M ) ビッ トへ圧縮する第 2の圧縮ステップと、
上記第 2の圧縮ステツプからの圧縮後のデータを画像メモリに 保持するステップと、
上記第 2の圧縮処理の逆の処理である第 2の伸張処理によって 、 上記画像メモリに保持されたデータの各画素を Nビッ トから M ビッ トへ伸張する第 2の伸張ステップと、
上記第 2の伸張ステップ後に、 上記第 1の圧縮処理の逆の処理 である第 1の伸張処理によって上記第 2の伸張ステツプで伸張さ れたデータの各画素を Mビッ トから Lビッ トへ伸張する第 1の伸 張ステップと、
上記第 1の伸張ステツプで伸張された画像データに対してガン マ補正を含む信号処理を行う信号処理ステツプと
からなる ia像データ処理方法をコンピュー夕に実行させるプロ グラム。
PCT/JP2006/308494 2005-06-16 2006-04-18 画像データ処理装置、画像データ処理方法およびプログラム WO2006134723A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020077028007A KR101241662B1 (ko) 2005-06-16 2006-04-18 화상 데이터 처리 장치, 화상 데이터 처리 방법 및 기록매체
EP20060732252 EP1901547B1 (en) 2005-06-16 2006-04-18 Image data processing device, image data processing method, and program
US11/922,155 US8233060B2 (en) 2005-06-16 2006-04-18 Image data processing apparatus, image data processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005175961A JP4321496B2 (ja) 2005-06-16 2005-06-16 画像データ処理装置、画像データ処理方法およびプログラム
JP2005-175961 2005-06-16

Publications (1)

Publication Number Publication Date
WO2006134723A1 true WO2006134723A1 (ja) 2006-12-21

Family

ID=37532090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308494 WO2006134723A1 (ja) 2005-06-16 2006-04-18 画像データ処理装置、画像データ処理方法およびプログラム

Country Status (6)

Country Link
US (1) US8233060B2 (ja)
EP (1) EP1901547B1 (ja)
JP (1) JP4321496B2 (ja)
KR (1) KR101241662B1 (ja)
CN (1) CN100539636C (ja)
WO (1) WO2006134723A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2186345A4 (en) * 2007-09-14 2015-08-19 Ricoh Co Ltd IMAGING APPARATUS AND ILLUSTRATIVE PROCESS

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8331663B2 (en) * 2007-06-28 2012-12-11 Qualcomm Incorporated Efficient image compression scheme to minimize storage and bus bandwidth requirements
US20090238198A1 (en) * 2008-03-20 2009-09-24 Sheng-Chun Niu Packing Switching System and Method
JP5238365B2 (ja) * 2008-06-05 2013-07-17 富士フイルム株式会社 撮像装置
US8213728B2 (en) * 2008-06-16 2012-07-03 Taiwan Imagingtek Corporation Method and apparatus of image compression with output control
US8942490B2 (en) * 2008-07-08 2015-01-27 Yin-Chun Blue Lan Method of high performance image compression
TW201028018A (en) * 2009-01-07 2010-07-16 Ind Tech Res Inst Encoder, decoder, encoding method and decoding method
JP5237215B2 (ja) * 2009-07-15 2013-07-17 キヤノン株式会社 画像処理装置及び方法
US8203619B2 (en) * 2009-09-30 2012-06-19 Sony Corporation Target bit rate decision method for wavelet-based image compression
JP5460292B2 (ja) * 2009-12-17 2014-04-02 キヤノン株式会社 画像処理装置、その制御方法、及びプログラム
JP5591080B2 (ja) * 2010-11-26 2014-09-17 三菱電機株式会社 データ圧縮装置及びデータ処理システム及びコンピュータプログラム及びデータ圧縮方法
CN102209202B (zh) * 2011-06-01 2012-12-05 展讯通信（上海）有限公司 相机伽马校正曲线提取方法
KR101921079B1 (ko) 2012-02-14 2018-11-23 삼성디스플레이 주식회사 표시 장치
WO2013187132A1 (ja) 2012-06-11 2013-12-19 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ、画像処理方法及びプログラム
JP5888207B2 (ja) * 2012-11-15 2016-03-16 株式会社Ｊｖｃケンウッド 画像信号符号化装置及び方法、並びに、画像信号復号装置及び方法
RU2683628C1 (ru) 2014-02-21 2019-03-29 Сони Корпорейшн Устройство передачи, способ передачи, устройство приема и способ приема
JP6407643B2 (ja) * 2014-09-19 2018-10-17 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理システム及び画像処理方法
JP6628400B2 (ja) * 2015-09-25 2020-01-08 シャープ株式会社 映像処理装置、映像処理方法およびプログラム
JP6624889B2 (ja) * 2015-10-30 2019-12-25 キヤノン株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
JP6665754B2 (ja) * 2016-10-26 2020-03-13 株式会社デンソー 撮像装置
JP2018098730A (ja) * 2016-12-16 2018-06-21 コニカミノルタ株式会社 画像データ転送システム及び画像データの転送方法
KR102456474B1 (ko) * 2018-04-27 2022-10-20 삼성디스플레이 주식회사 영상 처리 회로, 영상 처리 회로를 포함하는 표시 장치 및 그것의 구동 방법
JP6635149B2 (ja) * 2018-06-20 2020-01-22 株式会社ニコン 画像処理装置及び撮像装置
CN108924567B (zh) * 2018-07-10 2020-11-06 广州市盛光微电子有限公司 数据处理方法及装置
CN109640088A (zh) * 2018-12-30 2019-04-16 成都纵横自动化技术股份有限公司 图像数据处理方法、装置及系统
JP7296745B2 (ja) * 2019-03-05 2023-06-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20230034302A (ko) * 2020-07-02 2023-03-09 메타 플랫폼스, 인크. 노이즈 제거 및 저정밀 이미지 처리를 위한 비선형 이미지 강도 변환 시스템 및 방법
WO2024142897A1 (ja) * 2022-12-26 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、及び情報処理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094985A (ja) * 1999-09-20 2001-04-06 Ricoh Co Ltd 画像符号化装置
JP2001257977A (ja) * 2000-03-14 2001-09-21 Olympus Optical Co Ltd 電子カメラ

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS567346B2 (ja) * 1972-10-11 1981-02-17
JPS56128070A (en) * 1980-03-13 1981-10-07 Fuji Photo Film Co Ltd Band compressing equipment of variable density picture
US5065229A (en) * 1989-07-24 1991-11-12 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
KR0148130B1 (ko) * 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
WO1996002895A1 (en) * 1994-07-14 1996-02-01 Johnson Grace Company Method and apparatus for compressing images
DE19524808A1 (de) * 1995-07-07 1997-01-09 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Resynchronisierung auf einen fehlerbehafteten Datenstrom
JP3081538B2 (ja) * 1996-08-28 2000-08-28 三洋電機株式会社 デジタルスチルカメラ
JPH10243402A (ja) * 1997-02-27 1998-09-11 Toshiba Corp 画像処理装置及び画像処理方法
US6363175B1 (en) * 1997-04-02 2002-03-26 Sonyx, Inc. Spectral encoding of information
US6694061B1 (en) * 1997-06-30 2004-02-17 Intel Corporation Memory based VLSI architecture for image compression
JP3356663B2 (ja) * 1997-10-22 2002-12-16 松下電器産業株式会社 画像符号化装置、画像符号化方法および画像符号化プログラムを記録した記録媒体
US6873368B1 (en) * 1997-12-23 2005-03-29 Thomson Licensing Sa. Low noise encoding and decoding method
JP2000270299A (ja) * 1999-03-16 2000-09-29 Ricoh Co Ltd 画像記録再生装置
JP4288398B2 (ja) * 2000-01-18 2009-07-01 株式会社ニコン 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体
JP2004112603A (ja) * 2002-09-20 2004-04-08 Ricoh Co Ltd 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP2005150985A (ja) * 2003-11-12 2005-06-09 Sharp Corp 画像情報処理システムおよび画像情報処理方法
JP4470485B2 (ja) * 2003-12-25 2010-06-02 株式会社ニコン 固定ビット長の予測差分圧縮データを生成する画像圧縮装置および画像圧縮プログラム、画像伸張装置および画像伸張プログラム、並びに電子カメラ
JP4385841B2 (ja) 2004-04-22 2009-12-16 ソニー株式会社 画像処理装置
US7656561B2 (en) * 2004-05-31 2010-02-02 Phase One A/S Image compression for rapid high-quality imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094985A (ja) * 1999-09-20 2001-04-06 Ricoh Co Ltd 画像符号化装置
JP2001257977A (ja) * 2000-03-14 2001-09-21 Olympus Optical Co Ltd 電子カメラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1901547A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2186345A4 (en) * 2007-09-14 2015-08-19 Ricoh Co Ltd IMAGING APPARATUS AND ILLUSTRATIVE PROCESS

Also Published As

Publication number Publication date
CN100539636C (zh) 2009-09-09
US8233060B2 (en) 2012-07-31
KR101241662B1 (ko) 2013-03-11
KR20080025048A (ko) 2008-03-19
JP4321496B2 (ja) 2009-08-26
EP1901547A4 (en) 2011-03-16
CN101199198A (zh) 2008-06-11
EP1901547A1 (en) 2008-03-19
EP1901547B1 (en) 2012-09-05
US20090290045A1 (en) 2009-11-26
JP2006352509A (ja) 2006-12-28

Similar Documents

Publication Publication Date Title
JP4321496B2 (ja) 画像データ処理装置、画像データ処理方法およびプログラム
JP4337911B2 (ja) 撮像装置、撮像回路、および撮像方法
JP4508132B2 (ja) 撮像装置、撮像回路、および撮像方法
US8538174B2 (en) Image processing device
RU2341036C2 (ru) Устройство обработки сжатия изображения, способ обработки сжатия изображения и программа обработки сжатия изображения
US8009924B2 (en) Method and apparatus for recording image data
US8823832B2 (en) Imaging apparatus
US11336896B2 (en) Image encoding apparatus and image decoding apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
US20090027517A1 (en) Method, apparatus, and system for pre-compression assessment of compressed data length
JP2008113070A (ja) 撮像装置および撮像方法
US10497093B2 (en) Image processing apparatus for minimizing deterioration of image quality of a raw image
JP2002218387A (ja) 電子カメラ
JP4092830B2 (ja) 画像データ圧縮方法
JP2010074597A (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2003333370A (ja) 信号処理装置
JP2009290556A (ja) 画像情報処理装置及び画像情報処理方法
JP2006197181A (ja) 固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置
JP5131954B2 (ja) ビデオレコーダ並びにカメラシステム
JP2007228514A (ja) 撮像装置および方法
JPH11298762A (ja) 暗電流ノイズ除去装置
JP2011004285A (ja) 画像データ符号化装置、画像データ符号化方法、画像データ符号量制御方法、および電子情報機器
KR20080041857A (ko) 해상도가 다른 영상을 저장하는 촬영장치
JP2007135010A (ja) 画像処理方法
JP2012195849A (ja) 動画像処理装置およびカメラシステム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680021324.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 1020077027995

Country of ref document: KR

Ref document number: 1020077028007

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2006732252

Country of ref document: EP

Ref document number: 11922155

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE