WO2000078053A1 - Compression encoding method, recorded medium on which compression encoding program is recorded, and imaging device - Google Patents

Compression encoding method, recorded medium on which compression encoding program is recorded, and imaging device Download PDF

Info

Publication number
WO2000078053A1
WO2000078053A1 PCT/JP2000/000848 JP0000848W WO0078053A1 WO 2000078053 A1 WO2000078053 A1 WO 2000078053A1 JP 0000848 W JP0000848 W JP 0000848W WO 0078053 A1 WO0078053 A1 WO 0078053A1
Authority
WO
WIPO (PCT)
Prior art keywords
compression
image data
trial
parameter
imaging
Prior art date
Application number
PCT/JP2000/000848
Other languages
English (en)
French (fr)
Inventor
Hideyasu Kuniba
Original Assignee
Nikon Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corporation filed Critical Nikon Corporation
Priority to KR1020017001829A priority Critical patent/KR20010072430A/ko
Priority to EP00903963A priority patent/EP1107610A1/en
Publication of WO2000078053A1 publication Critical patent/WO2000078053A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • the present invention relates to a compression encoding method, a recording medium on which a compression encoding program is recorded, and an image pickup apparatus.
  • the present invention relates to an image pickup condition for image data (settings when an image Technology for effectively compressing and encoding image data by effectively utilizing conditions or conditions of the shooting environment.
  • the compression encoding method of the present invention it is possible to appropriately and accurately estimate a compression parameter, and it is possible to strictly correct a compression parameter estimation error caused by an imaging condition. And noise in image data can be made inconspicuous, and image quality degradation can be suppressed. Background art
  • image data is subjected to compression coding (for example, JPEG compression) in order to efficiently record the image data on a recording medium.
  • compression coding for example, JPEG compression
  • compression parameters In the documents relating to the present patent application, adjustable elements that affect the amount of compression code in the compression encoding process, such as the scale factor, are collectively referred to as “compression parameters”. ].
  • the characteristics such as the spatial frequency component and the amount of noise change depending on the camera setting and the shooting environment at the time of image capture.
  • the same compression encoding process is uniformly applied to image data having different imaging conditions. Therefore, for image data captured under special imaging conditions, general compression coding is not easily applied, and trial compression is repeated many times until the target compression code amount can be achieved. Is easy to occur.
  • image data is taken at the time of compression encoding of image data.
  • the purpose is to effectively compress and encode image data by effectively utilizing the conditions at the time of imaging.
  • the image data can be quickly compressed to a desired compression code amount.
  • the purpose is to make.
  • An object of the invention described in claim 5 is to flexibly change the compression distribution in the spatial frequency domain by effectively utilizing the conditions at the time of capturing the image data.
  • An object of the invention described in claims 6 to 9 is to specifically show variations of imaging conditions effective in optimizing a compression encoding method.
  • a compression encoding program for realizing the compression encoding method according to any one of the first to ninth aspects on a computer.
  • the purpose is to provide a recorded recording medium.
  • the invention described in claim 1 is based on a trial step of compressing and encoding image data using a trial compression parameter and a result of compression of image data in the trial step.
  • the image data Using the parameter estimation step for estimating the compression parameter for compressing the image data to the target compression code amount and the compression parameter estimated in the parameter estimation step, the image data And a compression step of compressing and encoding the image data.
  • the trial step acquires an image capturing condition of the image data, and changes a compression parameter for trial in accordance with the image capturing condition or the classification of the image capturing condition. Compression encoding method.
  • the standard compression parameters for example, the white circles shown in FIGS. 4, 5, and 11
  • the standard compression parameters depend on the imaging conditions of the image data. To change. Therefore, if the imaging conditions of the image data are known, the standard compression parameters can be narrowed down to a certain extent accurately.
  • the compression parameter for trial is changed according to the imaging conditions. At this time, it is possible to select a standard compression parameter set obtained from the imaging conditions as a trial compression parameter set. In this case, there is a high possibility that trial compression will be started from a compression parameter that is closer to the correct answer. Therefore, the number of trials to reach the target compression code amount is reduced, and the processing time required for compression coding is efficiently reduced.
  • the result of the trial compression obtained from the compression parameters near the correct answer accurately reflects the relationship between the compression parameters and the compression code amount near the correct answer. Therefore, in the parameter estimation step, it is possible to accurately estimate the compression parameter based on the accurate trial result.
  • the compression encoding method described in claim 1 it is possible to select a compression parameter that is considered appropriate from the imaging conditions and set it as a trial compression parameter. In this case, there is a high possibility that the trial compression can be started from the compression parameter near the correct answer, and the compression parameter can be estimated appropriately and accurately.
  • the invention described in claim 2 includes a trial step of compressing and encoding image data using trial compression parameters and a plurality of image data compression results in the trial step. Applied to ⁇ Statistical relationship between compression parameters and compression code amount '' obtained by experimentally compressing image data Then, the image data is estimated using the parameter estimation step for estimating the compression parameter for compressing the image data to the target compression code amount and the compression parameter estimated in the parameter estimation step.
  • the parameter estimating step prepares a statistical relationship for each variation of the imaging condition, and corresponds to the imaging condition of the image data or the classification of the imaging condition. This is a compression coding method that selectively uses statistical relationships.
  • the “statistical relationship between the compression parameter and the compression code amount” is prepared for each imaging condition. Therefore, an accurate statistical relationship reflecting the characteristics of the imaging conditions is obtained, and it is possible to accurately estimate the compression parameters.
  • the invention described in claim 3 includes a trial step of compressing and encoding the image data using a trial compression parameter, and an image compression method based on the compression result of the image data in the trial step.
  • the parameter estimation step for estimating the compression parameters to compress the data to the target compression code amount and the compression parameters estimated in the parameter estimation step the image data is compressed and encoded.
  • a compression step This is a compression encoding method that acquires an imaging condition of image data and corrects the compression parameter estimated in the parameter estimation step in accordance with the imaging condition or the classification of the imaging condition.
  • the compression parameter obtained in the parameter estimation step is corrected.
  • Such correction processing is performed, for example, by statistically analyzing the relationship between the “compressed parameter value obtained in the parameter value estimation step” and the “correct value of the compressed parameter value obtained experimentally”. You can ask.
  • the content of such correction processing also changes depending on the imaging conditions of the image data. Therefore, in the above-mentioned compression step, the variance of the imaging conditions
  • the compression parameters can be accurately corrected by flexibly responding to the characteristics of the image data for each imaging condition. That is, in the compression encoding method according to claim 3, the compression parameter estimated from the result of the trial compression is corrected according to the imaging condition. Therefore, it is possible to strictly correct the estimation error of the compression parameter caused by the imaging condition.
  • the invention described in claim 4 uses the compression distribution ratio in the frequency domain obtained by multiplying the standard compression distribution ratio in the frequency domain by the trial scale factor, and converts the image data after the orthogonal transformation.
  • a trial step for quantizing and encoding the image data to determine the compression code amount of the image data, and a scale for compressing the image data to a target compression code amount based on the image data compression code amount obtained in the trial step Using the parameter distribution estimation step for estimating the facsimile and the compression distribution rate in the frequency domain obtained by multiplying the standard compression distribution rate in the frequency domain by the scale factor estimated in the parameter estimation step, conversion
  • a compression step of quantizing and encoding the subsequent image data wherein the trial step and the compression step prepare a standard compression distribution ratio in the frequency domain for each of the imaging conditions or the imaging conditions, This is a compression encoding method that selects and uses a standard compression distribution ratio in the frequency domain according to the imaging conditions of image data.
  • compression distribution ratio in the frequency domain refers to the degree of compression of information defined for frequency components in the frequency domain or for each category thereof. “Ratio” is its standard value. Typically, this is the compression rate for each frequency division determined by the numerical value in the quantization table in the case of JPEG. In the case of wavelet transform as well, a table of quantization steps for each subband can be provided, and the compression distribution ratio in the frequency domain can be controlled.
  • encoding can be performed from the upper bits of the transform coefficient, and the weight can be changed for each frequency component. For example, if the low-frequency component is a, the middle-frequency component is b, and the high-frequency component is c, and each bit is (the least significant bit is 0 and the most significant bit is 7), the weight is changed by 2 bits.
  • the coding order is a7 ⁇ a6 ⁇ a5 ⁇ b7 ⁇ a4- ⁇ b6 ⁇ a3-b5 ⁇ c7 ⁇ a2 ⁇ b4-c6 ⁇ al ⁇ b3 ⁇ c5.At this point, if coding is discontinued, 7 bits are used for low-frequency component a, 5 bits for medium-frequency component b, and 3 bits for high-frequency component c. Thus, the compression ratio of information can be made different for each frequency component.
  • the compression distribution of the low-frequency spatial frequency component and the high-frequency spatial frequency component is performed in accordance with the characteristic change of the image data for each imaging condition. Can be flexibly changed.
  • a typical method for selectively using the standard compression distribution ratio in the frequency domain according to the imaging conditions of the compression target is to use different quantization tables corresponding to the imaging conditions of the compression target.
  • a standard compression distribution ratio in the frequency domain is selectively used from the stage of the trial step. Therefore, it is possible to perform trial compression under the same conditions as in the compression step, and it is possible to more accurately estimate the compression parameters.
  • the standard compression distribution ratio in the frequency domain (for example, the quantization table before multiplication of the scale factor) is changed according to the imaging conditions of the image data. Therefore, it is possible to flexibly change the compression distribution of each spatial frequency component according to the characteristics of the image data for each imaging condition, to make noise in the image data inconspicuous, and to suppress deterioration in image quality.
  • the invention described in claim 5 is characterized in that an orthogonal transformation step for orthogonally transforming the image data to obtain a transformation coefficient, and a transform coefficient obtained in the orthogonal transformation step are quantized according to a compression distribution ratio in the frequency domain. And a coding step for coding the transform coefficients quantized in the quantization step.
  • the quantization step corresponds to the imaging condition or the classification of the imaging condition in the image processing.
  • This is a compression encoding method that changes the compression distribution in the spatial frequency domain by changing the compression distribution ratio in the frequency domain.
  • the compression distribution ratio in the frequency domain (for example, the quantization coefficient of the quantization table) is changed depending on the imaging condition to be compressed.
  • the low spatial frequency component and the high spatial frequency component correspond to the changes in the image data for each imaging condition. This makes it possible to flexibly change the compression distribution of the data. Therefore, it is possible to make the image noise less noticeable and to suppress the image quality deterioration.
  • the invention described in claim 6 is the compression encoding method according to any one of claims 1 to 5, wherein the imaging conditions are such that: Image sensitivity setting, signal gain, gamma correction curve, presence or absence of electronic zoom, electronic zoom magnification, shutter speed, white balance adjustment value, special shooting effect, less gradation Both are one.
  • the compression encoding method described in claim 6 uses at least one of the following imaging conditions.
  • the invention described in claim 7 is the compression encoding method according to any one of claims 1 to 5, wherein the imaging condition is the image data. Whether the flash is used, whether the flash is used, the use of daylight sync, the use of daylight sync, the photometric value, the multi-pattern photometric value, the light distribution of the subject, and the vertical position , Camera shake, and temperature.
  • the compression encoding method described in claim 7 uses at least one of the following imaging conditions.
  • Occurrence frequency of black crushing is lower than that of use Therefore, compression encoding suitable for such a change becomes possible.
  • Photometric value ⁇ ⁇ ⁇ From these imaging conditions, it is possible to infer the characteristics of the image data that differ for each photometric value. Therefore, it is possible to perform compression encoding adapted to changes in image data due to photometric values.
  • the light distribution state of the subject can be mainly estimated. Therefore, it is possible to perform compression encoding adapted to changes in image data due to the light distribution state.
  • Light distribution state of the subject ⁇ ⁇ ⁇ The imaging conditions show the light distribution state of the subject. Therefore, it is possible to perform compression encoding adapted to changes in image data due to the light distribution state.
  • the invention described in claim 8 is the compression encoding method according to any one of claims 1 to 4, wherein the imaging condition is the image data.
  • Macro shooting conditions, image magnification, depth of field, aperture value, focal length, shooting angle of view, subject distance, in-focus condition, multi-point in-focus condition, shooting lens At least one of Things.
  • Presence / absence of macro photography From these imaging conditions, it is possible to infer changes in image data due to the presence / absence of macro photography. Therefore, it is possible to perform compression encoding adapted to this change.
  • Focusing condition ⁇ ⁇ ⁇ The imaging conditions mainly indicate the amount of blur in the screen. Therefore, it is possible to perform the compression coding adapted to the change in the blur amount.
  • the invention according to claim 9 is the compression-encoding method according to claim 5, wherein the imaging condition is a condition of an imaging lens that has captured the image data. At least one of magnification, focusing condition, and multi-point focusing condition.
  • a recording medium according to claim 10 includes a compression encoding program for causing a computer to execute the compression encoding method according to any one of claims 1 to 9. Is recorded.
  • a recording medium according to claim 10 stores a compression encoding program.
  • the compression encoding program according to any one of claims 1 to 9 is executed by executing the compression encoding program on a computer.
  • the method can be implemented on a computer. It should be noted that “mechanical readable” in claim 10 means that readable by a combination or an electric circuit or the like.
  • the invention according to claim 11 is an imaging apparatus including the recording medium according to claim 10.
  • the number of pixels of imaging devices such as electronic cameras and digital video cameras has increased dramatically, and electronic cameras having a pixel number exceeding 200 megapixels are also commercially available.
  • imaging devices it is essential to compress and store the image information in the image memory.
  • the recording medium according to claim 10 it is possible to incorporate the recording medium according to claim 10 and use the program in the recording medium to compress the captured image information and store it in the storage medium. Therefore, a large amount of information can be stored in the attached recording medium.
  • FIG. 1 is a block diagram illustrating a configuration of an electronic camera.
  • FIG. 2 is a flowchart showing a procedure of preparation for compression encoding in the first embodiment.
  • Figure 3 is a data table of the initial scale factor ISF.
  • FIG. 4 is a graph showing the relationship between the scale factor and the amount of compression code for test images captured under the imaging conditions (IS 0 200) and (without using a strobe).
  • FIG. 5 is a graph showing the relationship between the scale factor and the amount of compression code for a test image captured under the imaging condition of ISO 160.
  • FIG. 7 is a flowchart illustrating a compression encoding method according to the first embodiment.
  • FIG. 8 is a graph showing a correlation between a target scale factor estimated from one trial compression and an accurate scale factor (actually measured value) for obtaining a compression ratio of 1/4.
  • FIG. 9 is a flowchart showing a procedure of preparation for compression encoding in the second embodiment.
  • FIG. 10 is a flowchart illustrating a compression encoding method according to the second embodiment.
  • FIG. 11 is a graph showing the relationship between the scale factor and the amount of compression code for a test image captured using a strobe.
  • Figure 12 is a table showing the initial scale factor ISF.
  • Figure 13 is a graph showing the correlation between the target scale factor estimated from one trial compression and the accurate scale factor (actual measurement value) for obtaining a compression ratio of 1/4.
  • FIG. 14 is a flowchart showing a procedure of preparation for compression encoding according to the third embodiment.
  • FIG. 15 is a diagram illustrating an example of a standard quantization table corresponding to the imaging sensitivity setting.
  • FIG. 16 is a flowchart illustrating a compression encoding method according to the third embodiment.
  • FIG. 1 is a block diagram showing a configuration of the electronic camera 10.
  • a photographing lens 11 and a strobe light emitting unit 12 are mounted on an electronic camera 10.
  • An image sensor 13 is arranged in the image space of the photographing lens 11.
  • the image data generated by the image sensor 13 is sequentially processed through a signal processing unit 15, an A / D conversion unit 16 and an image processing unit 17, and then compressed as digital image data. Part 18 given.
  • the compression processing section 18 compression-encodes the image data and outputs the result to the recording section 19.
  • the recording unit 19 records the compressed image data on a recording medium (not shown) such as a memory card.
  • the electronic camera 10 also includes a control unit 21 composed of a microprocessor, a multi-metering unit 22 that performs multi-pattern photometry, a focus detection unit (or a ranging unit that performs distance measurement) 23 that performs focus detection, and a camera.
  • a control unit 21 composed of a microprocessor, a multi-metering unit 22 that performs multi-pattern photometry, a focus detection unit (or a ranging unit that performs distance measurement) 23 that performs focus detection, and a camera.
  • An operation button group 24 and the like for performing operations and mode settings are provided.
  • the control section 21 acquires detection information from the multi-photometry section 22, the focus detection section (or the distance measurement section) 23, the operation button group 24, and the like.
  • the control unit 21 determines an imaging condition (for example, an imaging sensitivity setting, etc.) for the image data based on the detection information.
  • the control unit 21 controls the photographing lens 11, the flash unit 12, the image sensor 13, the signal processing unit 15, the A / D conversion unit 16, and the image processing unit 17, respectively. Then, an imaging operation suitable for the imaging condition is executed.
  • the compression processing unit 18 acquires this imaging condition from the control unit 21.
  • the compression processing unit 18 uses this imaging condition as effective information for performing appropriate compression encoding.
  • the operation of the compression processing section 18 which is a feature of the present invention will be described in detail.
  • FIG. 2 is a flowchart showing a procedure of preparation for compression encoding. Such preparation is usually performed by the developer of the compression processing unit 18. The user of the electronic camera 10 may, of course, specifically select image data with a high frequency of photographing and execute preparation.
  • test image the uncompressed image data collected in this manner
  • the developer repeatedly performs quantization and encoding while gradually changing the value of the scale factor SF for each test image after the DCT transformation, and obtains the (scale factor SF, compression code amount ACV A large number of data of data) is obtained (Fig. 2, S12).
  • Figure 4 is a graph plotting these data obtained for test images with an imaging sensitivity of ISO200.
  • FIG. 5 is a graph in which data obtained for a test image with an imaging sensitivity of ISO 1600 is plotted.
  • the developer selects scale factors SF that are considered to be standard for achieving the target compression ratios of 1/4, 1/8, and 1/16 (Fig. 4 And the white circle shown in Fig. 5), and the initial scale factor is ISF.
  • the method of selecting the scale factor SF that is considered to be standard is, for example, that the graphs in Figs. A method of taking the average value of the cut points can be considered.
  • Figure 3 shows the initial scale factor ISF selected in this manner arranged in a data table.
  • the developer stores such a data table in a rewritable memory area in the compression processing unit 18 (Fig. 2 S13).
  • Fig. 6 is a plot of the undetermined coefficients a b obtained in this way, with the horizontal axis as a and the vertical axis as b. As can be seen from Fig. 6, the distribution of the undetermined coefficients a and b is divided into two depending on the setting of the imaging sensitivity.
  • the developer performs regression analysis of undetermined coefficients a and b for each imaging sensitivity setting
  • VV Yoyo Yarn ⁇ 3 ⁇ 4 ⁇ _ ⁇ is O 2 0 0 ⁇ ISO 20 0 C li S 0 1 6 0 0 C ⁇ i S
  • the developer stores these coefficients in the rewritable memory area in the compression processing unit 18 in a state where the coefficients are associated with the imaging sensitivity setting (S15 in FIG. 2).
  • FIG. 7 is a flowchart illustrating a compression encoding method performed by the compression processing unit 18.
  • the compression processing unit 18 sends the image data from the control unit 21 (In this case, the imaging sensitivity setting).
  • the compression processing unit 18 searches the data table (FIG. 3) created in the preparation based on the imaging sensitivity setting and the target compression ratio, and obtains an initial scale factor ISF (compression parameter for trial). Response) (Fig. 7, S16).
  • the compression processing section 18 multiplies the standard quantization table by the initial scale factor I S F determined in this way to create an initial quantization table used for trial compression.
  • the compression processing unit 18 executes a well-known JPEG compression procedure using the initial quantization table, and executes a trial compression of the image data (FIG. 7, S 17).
  • the compression processing section 18 calculates the coefficient C 1 IS 0 2 o os C 2! S02 . 0 , C li so i 6. o, C 2 i S 0 16 . . Among them, the one that matches the imaging sensitivity setting of the image data is selected and set as coefficients C 1 and C 2 (FIG. 7, S 18, S 19, S 20).
  • Equation 4 is an expression derived from [Equation 1] to [3], and is an expression representing a statistical relationship between the scale factor and the compression code amount.
  • NSF 2 (ACV data / TCV) ( -1 / a) 'Calculate ISF-- ⁇ [5] and find the target scale factor NSF that is appropriate for obtaining the target compression code amount T CV (Fig. 7 , S22).
  • Equation 5 is replaced by [Equation 1] to [Equation 4] (target scale factor NSF, Substituting the target amount of compression code T CV) and rearranging it, eliminating the undetermined coefficient b.
  • the compression processing unit 18 creates a quantization table by multiplying the target scale factor NSF by a standard quantization table (FIG. 7, S23).
  • the compression processing unit 18 executes a known JPEG compression procedure (S24 to S26) using the quantization table to compress the image data.
  • the compression processing unit 18 determines whether or not the code amount after the image compression (this is newly referred to as AC Vdata) falls within the allowable range of the target compression code amount T CV (see FIG. 7, S27).
  • the compression processing unit 18 sets the NSF previously determined in step S22 as a new ISF, and returns to step S27. Using the code amount ACV data after image compression obtained in the above as ACV data, the operation returns to step S22, updates the target scale factor NSF, and repeats image compression again. On the other hand, if it falls within the allowable range (YES in S27 in FIG. 7), the compression processing unit 18 determines that the desired image compression has been achieved, and ends the operation.
  • the initial scale factor as close as possible to the correct answer is selected based on the information on the imaging sensitivity setting. Therefore, it is possible to efficiently reduce the number of trial compressions until the target compression code amount is reached.
  • the result of the trial compression accurately reflects the relationship between the scale factor and the compression code amount near the correct answer. Therefore, the estimation of the target scale factor can be performed more accurately.
  • the statistical relations (the coefficients C l, C 2) Prepare for each imaging sensitivity setting. Therefore, the reliability of each statistical relationship is sufficiently high. Therefore, from this point, the estimation of the target scale factor can be performed more accurately.
  • Fig. 8 shows the relationship between the target scale factor obtained in one trial compression and the accurate scale factor (actually measured value) for obtaining a compression ratio of 1/4. It is the graph which did.
  • the mark in Fig. 8 shows the case where the target scale factor was calculated without dividing the imaging sensitivity setting, and the black triangle mark shows the case where the target scale factor was calculated while dividing the imaging sensitivity setting. is there.
  • FIG. 9 is a flowchart showing a procedure of preparation for compression encoding in the second embodiment.
  • the preparation procedure will be described with reference to FIG.
  • the pre-executor is the developer.
  • the developer shoots as many types of subjects and scenes as possible with the electronic camera 10 while switching between using and not using the strobe.
  • the developer performs DCT transform on the uncompressed image data collected in this way (hereinafter referred to as “test image”) (Fig. 9, S31).
  • test image the uncompressed image data collected in this way
  • the developer repeatedly performs quantization and encoding while gradually changing the value of the scale factor SF on each test image after the DCT transformation, and obtains (scale factor SF, compression code amount AC Vdata ) Is obtained (Fig. 9, S32).
  • FIG. 11 is a graph obtained by plotting data of (scale factor SF, compression code amount ACVdata) for a test image using a strobe.
  • Fig. 4 is a graph of a test image that does not use a strobe, plotting the data of (scale factor SF, compression code amount ACVdata).
  • the developer selects scale factor SFs, which are considered to be standard in achieving the target compression ratios of 1/4, 1/8, and 1/16, respectively ( The position of the white circle shown in Fig. 4 and Fig. 11), the initial scale factor is ISF.
  • Figure 12 shows the initial scale factor I SF selected in this way arranged in a data table.
  • the developer stores such a data table in a rewritable memory area in the compression processing unit 18 (FIG. 9, S33).
  • the developer uses these coefficients C1 and C2 to estimate the target scale factor for the test image when the strobe is used.
  • the triangles in Fig. 13 are plots of the target scale factor (before correction) estimated in this way.
  • the target scale factor before correction ( ⁇ ) is distributed at a position slightly deviated from the correct answer line (dotted line in Fig. 13).
  • the developer performs a regression analysis on the target scale factor before correction (marked with ⁇ ), and finds a correction formula for correcting the regression line formula of “target scale factor before correction” to the formula of the correct answer line. .
  • the developer stores this correction formula in a rewritable memory area in the compression processing unit 18 (FIG. 9, S36).
  • FIG. 10 is a flowchart illustrating a compression encoding method performed by the compression processing unit 18.
  • the compression processing unit 18 acquires the imaging conditions of image data (in this case, whether or not a strobe is used) from the control unit 21.
  • the compression processing unit 18 searches the data table (Fig. 12) created in preparation based on whether the flash is used and the target compression ratio, and determines the initial scale factor ISF. (Fig. 10, S37).
  • the compression processing section 18 multiplies the standard quantization table by the initial scale factor ISF determined in this way, and generates an initial quantization table used for trial compression.
  • Create The compression processing unit 18 executes a well-known JPEG compression procedure using the initial quantization table, and executes a trial compression of the entire image. (Fig. 10 S 3 8) o
  • the compression processing unit 18 substitutes the coefficients C 1 and C 2 prepared in the preparation, the compression code amount A C Vdata after the trial compression, and the initial scale factor I S F into the following equation,
  • NSF (AC Vdata / TCV) ( " 1 / a) ⁇ ISF-- ⁇ [5] is calculated, and an appropriate target scale factor NSF is obtained to obtain the target compression code amount T CV (Fig. 10 , S 40).
  • the compression processing section 18 determines whether or not the image data is captured in a state where the flash is used (FIG. 10, S41).
  • the compression processing unit 18 determines that correction processing is not necessary, and shifts the operation to step S43.
  • the compression processing unit 18 corrects the target scale factor NSF using the correction formula obtained in the preparation (FIG. 10, S42). Then, the operation shifts to step S43.
  • the compression processing section 18 recompresses the image data using the target scale factor NSF (FIGS. 10 and 43).
  • the compression processing unit 18 determines whether or not the code amount after the image compression (this is newly referred to as AC Vdata) falls within the allowable range of the target compression code amount TCV (FIG. 10). , 44). In the event that the value falls outside the allowable range (NO side in FIGS. 10 and 44), the compression processing unit 18 sets the NSF previously determined in step S40 as a new ISF and returns to step S44. With the obtained code amount ACV data after image compression set as ACV data, the operation returns to step S40, the target scale factor NSF is updated, and image compression is repeated again. On the other hand, if it falls within the allowable range (YES side in FIGS. 10 and 44), the compression processing unit 18 determines that the desired image compression has been achieved, and ends the operation.
  • an initial scale factor close to the correct answer is selected according to whether or not a strobe is used. Therefore, it is possible to efficiently reduce the number of trial compressions until the target compression code amount is reached.
  • the result of the trial compression accurately reflects the relationship between the scale factor and the compression code amount near the correct answer. Therefore, it is possible to more accurately estimate the target scale factor.
  • the target scale factor is corrected for the image data using the flash, so that the target scale factor can be more accurately obtained.
  • the black triangle mark in Fig. 13 is a plot of the corrected target scale factor.
  • the corrected target scale factor black triangle
  • the corrected target scale factor black triangle
  • the target scale factor before correction
  • FIG. 14 is a flowchart showing a procedure of preparation for compression encoding according to the third embodiment.
  • the feature of the preparation in the third embodiment is that the standard quantization table is selectively used according to the imaging sensitivity setting of the test image (FIG. 14, S12a).
  • Figure 15 (a) shows the standard quantization table dedicated to ISO200 used at this time.
  • Fig. 15 (b) shows the standard quantization table dedicated to ISO1600.
  • FIG. 16 is a flowchart illustrating a compression encoding method according to the third embodiment. Operational features in the third embodiment are the following (1) and (2).
  • the compression processing unit 18 selects a standard quantization table according to the imaging sensitivity setting of the image data (Fig. 16, S16a).
  • the compression processing section 18 performs a test using the selected standard quantization table.
  • FIG. 16 The other operations shown in FIG. 16 are the same as those in the first embodiment (FIG. 7), and thus description thereof will be omitted.
  • the quantization coefficient of the high-frequency spatial frequency component is set to be relatively large. Therefore, it is possible to effectively suppress a high-frequency noise component which is likely to be generated in a high imaging sensitivity setting, and to prevent a compression code amount from being meaninglessly increased by noise.
  • the quantization coefficient of the high spatial frequency component is set relatively small. Therefore, it is possible to suppress the disappearance of the high-frequency small signal and the mosquito noise, and to prevent the image quality deterioration as much as possible.
  • the present invention may be applied to a scanner device or the like.
  • the scanning image data for example, scan speed, scan method, scan size, type of scan object, type of illumination, etc.
  • the scanning image data is effectively used to properly compress the scanned image data. It becomes possible.
  • FIG. 7, FIG. 10 or FIG. 16 may be recorded on a recording medium as a compression encoding program (corresponding to claim 10). In this case, it is possible to execute the compression encoding method of the present invention on a computer. It works.
  • the present invention is not limited to this.
  • the MPEG method may be adopted as the image compression method.
  • the present invention may be applied to compression of a moving image.
  • the present invention is not limited to this.
  • any adjustable element that affects the amount of compression code in the compression encoding process can be used as a compression parameter.
  • the compression distribution in the spatial frequency domain (for example, individual quantization coefficients on the quantization table) may be used as the compression parameter.
  • the procedure for estimating the scale factor by at least one trial compression has been described.
  • the estimation accuracy of the target scale factor can be increased to a very high level by at least one trial compression by effectively utilizing the information of the imaging conditions.
  • the present invention is not limited to this, and it is also possible to apply the present invention to a known compression parameter estimation procedure that repeats trial compression a plurality of times.
  • imaging sensitivity setting or “use of strobe” is used as the imaging condition
  • imaging conditions of the present invention are not limited to this.
  • imaging conditions are those that cause significant (for example, statistical) differences in the image data over time, and that the differences affect the compression results (such as the amount of compressed code and the quality of the decoded image). I just need. Under such imaging conditions, the effects of the present invention can be obtained.
  • the compression encoding is controlled according to one type of imaging condition, but the present invention is not limited to this.
  • compression encoding may be controlled in accordance with a plurality of types of imaging conditions. In this case, by logically combining a plurality of types of imaging conditions, drastically finer classification can be performed, and the compression encoding process can be finely controlled.
  • the imaging condition is determined based on various settings of the imaging mode, but the method of acquiring the imaging condition is not limited to this.
  • the user may determine imaging conditions and input information via operation buttons or the like.
  • it is possible to acquire imaging conditions such as the light distribution state of the object in more detail, and to perform more appropriate compression encoding.
  • the imaging sensitivity is set to high sensitivity manually or automatically (as the signal gain of the imaging unit is increased), the image of night and shade can be brightly lit, but the noise level also increases.
  • the gamma correction curve has a larger key, the minute amplitude gain of the imaging unit increases, and the noise level in the dark area of the screen increases.
  • the compression parameter for trial is set to a high degree of compression.
  • the compressed parameters are estimated using the statistical relationship obtained for the image data with a large noise level.
  • the compression parameters are corrected using the correction processing obtained for the image data with a high noise level.
  • the standard compression distribution rate for example, the standard quantization table or quantization coefficient
  • the electronic zoom As the electronic zoom is used or the magnification of the electronic zoom is increased, the actual resolution of the image data is reduced. In this case, the high-frequency spatial frequency components of the image data are lost, and the amount of compression code is inevitably reduced. Therefore, in the case of the imaging condition using the electronic zoom, the following compression encoding is preferable.
  • the compression parameter for trial is set to a low degree of compression.
  • the compressed parameters are estimated using the statistical relationship obtained for the substantially low-resolution image data as described above.
  • the compression parameters are corrected using the correction processing obtained for the substantially low-resolution image data as described above.
  • Image blur due to camera shake and subject shake Is more likely to occur.
  • the high frequency spatial frequency component is missing, and the amount of compression code is relatively small. Therefore, under the imaging conditions of low-speed shirts where the loss of the high-frequency spatial frequency component is remarkable, the following compression encoding is preferable.
  • the compression parameter for trial is set to a low degree of compression.
  • the compression parameter estimation is performed using the statistical relationship obtained for the image data in the low-speed shutdown mode.
  • the compression parameter is corrected using the correction processing obtained for the image data of the low-speed shirt.
  • the standard compression allocation ratio (for example, the allocation of the standard quantization table or the quantization coefficient) in the frequency domain suitable for the low-speed shutdown image data is determined.
  • the standard compression distribution rate (for example, the distribution of the standardized quantization table or the quantization coefficient) in this frequency range is used according to the imaging conditions of the low-speed shirt.
  • the noise component increases as the accumulation time of CCD increases as the shirt speed decreases (especially the noise of the high-frequency spatial frequency component increases).
  • Compression encoding may be performed in accordance with the characteristics of the image data at each of the shutdown speeds. At this time, based on the use of a tripod It is preferable to perform compression encoding.
  • trial step standard compression parameters obtained in advance for image data in the same group are used as trial compression parameters.
  • a compressed parameter overnight is estimated using a statistical relationship obtained in advance for image data in the same group.
  • the compression parameters are corrected using the correction processing obtained for the image data in the same group.
  • the standard compression allocation ratio (for example, the allocation of the standard quantization table or quantization coefficient) in the appropriate frequency domain is determined for each group.
  • the standard compression allocation ratio (standard quantization table or allocation of quantization coefficients) in these frequency domains is used properly according to the grouping of image data.
  • Image data features are roughly grouped based on the type of special shooting effects (monochrome processing, embossing effect, light / dark blurring effect, high-key processing, low-key processing, chroma processing, noise addition effect, mosaic effect, etc.) can do.
  • special shooting effects monoochrome processing, embossing effect, light / dark blurring effect, high-key processing, low-key processing, chroma processing, noise addition effect, mosaic effect, etc.
  • the compression parameters are corrected using the correction processing obtained for the images in the same group.
  • the standard compression allocation ratio for example, the standard quantization table or the allocation of the quantization coefficient
  • the standard compression allocation rate for example, the allocation of the standard quantization table or the quantization coefficient
  • the contrast, noise amount, detail, hue, saturation, etc. of the image are changed depending on the degree of gradation correction. Therefore, it is possible to roughly classify the characteristics of the image data from the gradation imaging conditions.
  • the following compression coding can be performed by grouping the image data based on the gradation imaging conditions.
  • a compressed parameter overnight is estimated using a statistical relationship obtained in advance with respect to image data in the same group.
  • the compression parameters are corrected using the correction processing obtained for the image data in the same group.
  • the standard compression allocation ratio (for example, the allocation of the standard quantization table or the quantization coefficient) in the appropriate frequency domain is determined for each group.
  • a standard compression allocation ratio (for example, allocation of a standard quantization table or a quantization coefficient) in these frequency domains is properly used according to the grouping of image data.
  • the background that does not reach the strobe light will be blackened out, and the luminance level will be easily lost in some areas within the screen.
  • the information amount of the image data decreases, and the compression code amount of the image data decreases. Therefore, in the case of an imaging condition using a strobe, the following compression coding is generally preferable.
  • the compression parameter for trial is set to a low degree of compression.
  • the compressed parameters are estimated using the statistical relationship obtained for the image data using the stop mouth.
  • the compression parameters are corrected by using the correction processing obtained for the image data using the storage port.
  • the standard compression allocation ratio for example, the standard quantization table or quantization coefficient allocation
  • the standard compression distribution rate in this frequency domain for example, the standard quantization table or the distribution of quantization coefficients
  • the background is captured brightly. Therefore, the collapse of the brightness level is less than the mere use of a strobe. Therefore, in the case of the slow synchro imaging condition, it is preferable to perform the compression encoding in distinction from the simple flash imaging condition.
  • image data can be roughly grouped based on photometric values. By grouping image data according to photometric values in this way, the following compression encoding is possible.
  • the standard compression parameters obtained in advance for the image data in the same group are used as the trial compression parameters.
  • a compressed parameter overnight is estimated using a statistical relationship obtained in advance for image data in the same group.
  • the compression parameters are corrected using the correction processing obtained for the image data in the same group.
  • the standard compression allocation ratio (for example, the allocation of the standard quantization table or quantization coefficient) in the appropriate frequency domain is determined for each group.
  • a standard compression distribution ratio (for example, a standard quantization table or a distribution of quantization coefficients) in these frequency domains is properly used according to the grouping of image data.
  • the light distribution status of the subject (backlight, normal light, etc.) can be grouped.
  • the following compression coding can be performed by grouping the image data according to the multi-pattern photometry value.
  • trial step standard compression parameters obtained in advance for image data in the same group are used as trial compression parameters.
  • a compressed parameter overnight is estimated using a statistical relationship obtained in advance for image data in the same group.
  • a standard compression allocation ratio for example, a standard quantization table or quantization coefficient allocation
  • a standard compression distribution ratio for example, a standard quantization table or a distribution of quantization coefficients
  • the image data can be roughly grouped. As described above, by grouping the image data according to the light distribution state, the following compression encoding becomes possible.
  • a compressed parameter overnight is estimated using a statistical relationship obtained in advance with respect to image data in the same group.
  • the compression parameters are corrected using the correction processing obtained for the image data in the same group.
  • the standard compression allocation ratio for example, the allocation of the standard quantization table or quantization coefficient
  • the standard compression allocation rate for example, the allocation of the standard quantization table or the quantization coefficient
  • the screen configuration of image data can be roughly divided into groups depending on whether or not vertical shooting is performed. In this way, the following compression coding is possible by grouping the image data according to whether the image is taken in the vertical position or not.
  • a compressed parameter overnight is estimated using a statistical relationship obtained in advance for image data in the same group.
  • the compression parameters are corrected using the correction processing obtained for the image data in the same group.
  • a standard compression allocation ratio for example, a standard quantization table or quantization coefficient allocation
  • a standard compression distribution ratio for example, a standard quantization table or a distribution of quantization coefficients
  • the image flows more easily.
  • the high frequency spatial frequency component of the image data is lost, and the amount of compression code is inevitably reduced. Therefore, under such imaging conditions with a large camera shake amount, the following compression encoding is preferable.
  • the compression parameter for trial is set to a low degree of compression.
  • the compressed parameters are estimated using the statistical relationship obtained for the image data with a large camera shake.
  • the compression parameters are corrected using the correction processing obtained for images with large camera shake.
  • the standard compression allocation rate for example, the allocation of a standard quantization table or quantization coefficients
  • the standard compression distribution rate in this frequency domain for example, the distribution of standardized quantization tables or quantization coefficients
  • the compression parameter for trial is set to a low degree of compression.
  • the compression parameter estimation is performed using the statistical relationship obtained for the low-resolution image data as described above.
  • the compression parameters are corrected using the correction processing obtained for the low-resolution image data as described above.
  • the depth of field becomes smaller, the amount of blur increases before and after the subject. In this case, the high-frequency spatial frequency component of the image is lost, and the amount of compression code is relatively reduced. Therefore, under imaging conditions with a shallow depth of field, the following compression coding is preferable.
  • the compression parameter for trial is set to a low degree of compression.
  • the compressed parameter estimation is performed using the statistical relationship obtained for the image data with a shallow depth of field.
  • the compression parameters are corrected by using the correction processing obtained for the image with a shallow depth of field.
  • the standard compression allocation ratio for example, the allocation of a standard quantization table or a quantization coefficient
  • a standard compression distribution ratio for example, a standardized quantization table or a distribution of quantization coefficients
  • the focal length of the shooting lens is long (the shooting angle of view is narrow).
  • the compression parameter for trial is set to a low degree of compression.
  • an appropriate compressed parameter overnight is estimated using the statistical relationship obtained for large blurred image data.
  • the compression parameters are corrected over time using the correction processing obtained for image data with large blur.
  • a standard compression allocation ratio for example, allocation of a standard quantization table or a quantization coefficient
  • a standard compression distribution rate in this frequency domain (for example, a standardized quantization table or quantization Coefficient distribution).
  • the degree of blurring of image data can be grouped based on the focusing state obtained from a focus detection unit or the like. By grouping the image data according to the in-focus state in this way, the following compression encoding becomes possible.
  • the trial step standard compression parameters obtained in advance for image data in the same group are used as trial compression parameters.
  • the compression parameter estimation is performed using the statistical relationship obtained in advance for the image data in the same group.
  • the compression parameters are corrected using the correction processing obtained for the image data in the same group.
  • trial step standard compression parameters obtained in advance for image data in the same group are used as trial compression parameters.
  • a compressed parameter is estimated using a statistical relationship obtained in advance for image data in the same group.
  • the compression parameters are corrected using the correction processing obtained for the image data in the same group.
  • the standard compression allocation ratio for example, the allocation of the standard quantization table or quantization coefficient
  • the standard compression allocation rate for example, the allocation of the standard quantization table or the quantization coefficient
  • Aberration performance, spatial frequency characteristics (MTF characteristics), blurring, etc. of image data can be roughly grouped based on the type of shooting lens.
  • MTF characteristics spatial frequency characteristics
  • blurring etc.
  • trial step standard compression parameters obtained in advance for image data in the same group are used as trial compression parameters.
  • reference parameter overnight estimation step a compressed parameter overnight is estimated using a statistical relationship obtained in advance for image data in the same group.
  • Hata compression step the compression parameters are corrected using the correction processing obtained for the images in the same group.
  • the appropriate standard compression allocation ratio for example, the allocation of standard quantization tables or quantization coefficients
  • the standard compression allocation rate for example, the allocation of the standard quantization table or the quantization coefficient
  • the compression parameter for trial is set to a high degree of compression.
  • the compression parameter estimation is performed using the statistical relationship obtained for the image data having a large noise level.
  • the compression parameters are corrected using the correction processing obtained for the image data having a large noise level.
  • the compression encoding method of the present invention it is possible to appropriately and accurately estimate the compression parameter, and it is possible to strictly correct the compression parameter error caused by the imaging conditions. Noise in the image data can be made inconspicuous, and image quality degradation can be suppressed.
  • the present invention can be widely applied to devices that store and transmit images, such as electronic cameras, digital video cameras, copiers, and fax machines.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Algebra (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Studio Devices (AREA)

Description

明 細 圧縮符号化方法、 圧縮符号化プ口グラムを記録した記録媒体及び撮像装
技術分野
本発明は、 圧縮符号化方法、 圧縮符号化プログラムを記録した記録媒 体、 及び撮像装置に関するものであり、 特に、 本発明は、 画像データの 撮像条件 (画像デ一夕を撮像した際の設定条件または撮影環境の条件) を有効利用して、 画像データを適正に圧縮符号化する技術に関するもの である。 本発明による圧縮符号化方法によれば、 圧縮パラメ一夕の推定 を適切かつ正確に行うことが可能となったり、 撮像条件に起因する圧縮 パラメ一夕の推定誤差を厳密に補正することができたり、 画像データの ノイズを目立たなく したり、 画質劣化を抑えることが可能となる。 背景技術
一般に、 電子カメラやコンビユ ー夕などでは、 記録媒体に画像デ一夕 を効率よく記録するため、 画像データに対して圧縮符号化 (例えば J P E G圧縮など) の処理を施す。
以下、 代表的な J P E G圧縮の手順を下記 ( 1 ) 〜 ( 4 ) に示す。
( 1 ) 画像データを、 8 8画素程度の画素プロックに分割する。 これ らの画素ブロックに D C T変換 (離散コサイ ン変換) などの直交変換を 施し、 画像デ一夕を空間周波数成分に変換する。
( 2 ) 周波数領域での圧縮配分率を決定する標準として、 8 x 8程度の 空間周波数成分に対する量子化の刻みをそれそれ定義した標準量子化テ 一ブルを用意する。 この標準量子化テーブルにスケールファク夕 S Fを 乗じて、 実際に使用する周波数領域での圧縮配分率を決定する量子化テ —ブルを作成する。
( 3 ) 上記で作成した量子化テーブルを用いて、 D C T変換後の変換係 数を量子化する。
( 4 ) 量子化後のデ一夕に対し、 可変長符号化やランレングス符号化な どの符号化を施す。
ところで、 上記のような手順を経た場合、 画像データの個体差によつ て圧縮後の符号量は大きくばらつく。 そこで、 一般的な J P E G圧縮で は、 複数回の試し圧縮を行いながらスケールファクタの値を調整して、 最終的な符号量を所望の範囲内に納める。
なお、 本特許出願に関する書類の中では、 上記スケールファクタのよ うに、 圧縮符号化の処理過程において圧縮符号量の大きさに影響を与え る調整可能な要素を総称して、 『圧縮パラメ一夕』 と呼ぶ。
一般に、 画像デ一夕は、 撮像時のカメラ設定や撮影環境などの違いに よって、 空間周波数成分やノイズ量などの特徴が変化する。 しかしなが ら、 従来の圧縮符号化方法では、 撮像条件の異なる画像データに対して も、 一律に同じ圧縮符号化の処理が施されていた。 そのため、 特殊な撮 像条件の下で撮像した画像データについては、 一般的な圧縮符号化がな かなか通用せず、 目標の圧縮符号量に圧縮できるまで試し圧縮を何度も 繰り返すなどの不具合が生じやすかつた。
また、 特殊な撮像条件の元で撮像された画像デ一夕は、 ノイズの空間 周波数分布などが特異なため、復号化後にノイズが目立ちやすかつたり、 画質劣化が著しいなどの不具合が生じやすかつた。 発明の開示
本発明では、 画像データの圧縮符号化処理に際して、 画像データを撮 像した際の条件を有効利用することにより、 画像データを適正に圧縮符 号化することを目的とする。
特に、 請求の範囲第 1項〜第 4項に記載の発明では、 画像データを撮 像した際の条件を有効利用することにより、 画像デ一夕を所望の圧縮符 号量まで迅速に圧縮符号化することを目的とする。
請求の範囲第 5項に記載の発明では、 画像デ一夕を撮像した際の条件 を有効利用することにより、 空間周波数領域上での圧縮配分を柔軟に変 更することを目的とする。
請求の範囲第 6項〜第 9項に記載の発明では、 圧縮符号化方法を適正 化する上で有効な撮像条件のバリエーションを具体的に示すことを目的 とする。
請求の範囲第 1 0項に記載の発明では、 請求の範囲第 1項〜第 9項の いずれか一項に記載の圧縮符号化方法をコンビユ ー夕上で実現するため の圧縮符号化プログラムを記録した記録媒体を提供することを目的とす る。
以下、 本発明の内容を説明する。
(請求の範囲第 1項に記載の発明)
請求の範囲第 1項に記載の発明は、 試行用の圧縮パラメ一夕を使用し て、 画像デ一夕を圧縮符号化する試行ステップと、 試行ステップにおけ る画像データの圧縮結果に基づいて、 画像デ一夕を目標の圧縮符号量に 圧縮するための圧縮パラメ一夕を推定するパラメ一夕推定ステツプと、 パラメ一夕推定ステップで推定した圧縮パラメ一夕を使用して、 画像デ 一夕を圧縮符号化する圧縮ステップとを有してなり、 試行ステツプは、 画像データの撮像条件を取得し、 当該撮像条件または撮像条件の区分に 対応して試行用の圧縮パラメ一夕を変更するものである圧縮符号化方法 である。 本願の発明者は、 目標の圧縮符号量を達成する上で標準的な圧縮パラ メータ (例えば、 図 4 , 図 5, 図 1 1に示す白丸箇所) が、 画像デ一夕 の撮像条件に応じて変化することを発見した。 したがって、 画像データ の撮像条件が分かれば、 標準的な圧縮パラメ一夕をある程度まで正確に 絞り込むことができる。
請求の範囲第 1項の発明における試行ステツプでは、 撮像条件に応じ て、 試行用の圧縮パラメ一夕を変更する。 このとき、 撮像条件から得ら れる標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕として選ぶこ とが可能となる。 この場合、 より正解に近い圧縮パラメ一夕から試し圧 縮を開始する可能性が高くなる。 したがって、 目標の圧縮符号量に到達 するまでの試行回数は短縮され、 圧縮符号化に要する処理時間は効率的 に削減される。
また、 正解近くの圧縮パラメ一夕から得られる試し圧縮の結果は、 正 解近傍における圧縮パラメ一夕 と圧縮符号量との関係を正確に反映す る。 したがって、 パラメ一夕推定ステップでは、 この正確な試行結果に 基づいて、 正確な圧縮パラメ一夕を推定することが可能となる。
すなわち、 請求の範囲第 1項に記載の圧縮符号化方法では、 撮像条件 から適切と思われる圧縮パラメ一夕を選択して、 試行用の圧縮パラメ一 夕とすることができる。 この場合、 正解近くの圧縮パラメ一夕から試し 圧縮を開始できる可能性が高く、 圧縮パラメ一夕の推定を適切かつ正確 に行うことが可能となる。
(請求の範囲第 2項に記載の発明)
請求の範囲第 2項に記載の発明は、 試行用の圧縮パラメ一夕を使用し て、 画像データを圧縮符号化する試行ステップと、 試行ステップにおけ る画像データの圧縮結果を、 予め複数の画像データを試験的に圧縮符号 化して得た 「圧縮パラメ一夕と圧縮符号量との統計的関係」 に当てはめ て、 画像データを目標の圧縮符号量に圧縮するための圧縮パラメ一夕を 推定するパラメ一夕推定ステツプと、 パラメ一夕推定ステツプで推定し た圧縮パラメ一夕を使用して、 画像データを圧縮符号化する圧縮ステツ プとを有してなり、 パラメ一夕推定ステップは、 撮像条件のバリエーシ ヨンごとに統計的関係を準備しておき、 画像データの撮像条件または撮 像条件の区分に対応して統計的関係を選択使用するものである圧縮符号 化方法である。
請求の範囲第 2項に記載の発明におけるパラメ一夕推定ステツプで は、 撮像条件のバリエーションごとに、 統計的関係を準備する。 このよ うな統計的関係は、 撮像条件によって母集団が予め限定されるため、 統 計的なデータのばらつきは少なく、 信頼性が非常に高くなる。
さらに、 上記のパラメ一夕推定ステップでは、 これらの信頼性の高い 統計的関係を、 圧縮対象の撮像条件に応じて使い分ける。 したがって、 正確かつ適切な統計的関係に基づいて圧縮パラメ一夕を推定することと なり、 パラメ一夕推定の精度は一段と高くなる。
すなわち、 請求の範囲第 2項に記載の圧縮符号化方法では、 撮像条件 ごとに分けて 「圧縮パラメ一夕と圧縮符号量との統計的関係」 を準備す る。 したがって、 撮像条件の特徴を反映した正確な統計的関係となり、 圧縮パラメ一夕の推定を正確に行うことが可能となる。
(請求の範囲第 3項に記載の発明)
請求の範囲第 3項に記載の発明は、 試行用の圧縮パラメ一夕を使用し て、 画像データを圧縮符号化する試行ステップと、 試行ステップにおけ る画像データの圧縮結果に基づいて、 画像データを目標の圧縮符号量に 圧縮するための圧縮パラメ一夕を推定するパラメ一夕推定ステツプと、 パラメ一夕推定ステップで推定した圧縮パラメ一夕を使用して、 画像デ 一夕を圧縮符号化する圧縮ステップとを有してなり、 圧縮ステツプは、 画像データの撮像条件を取得し、 当該撮像条件または撮像条件の区分に 対応して、 パラメ一夕推定ステツプで推定した圧縮パラメ一夕を補正す るものである圧縮符号化方法である。
請求の範囲第 3項に記載の発明における圧縮ステツプでは、 パラメ一 夕推定ステップで求めた圧縮パラメ一夕を補正する。 このような補正処 理は、例えば、 「パラメ一夕推定ステツプで求めた圧縮パラメ一夕」と「実 験的に求めた圧縮パラメ一夕の正解値」 との関係を統計分析するなどし て求めることができる。
通常、 このような補正処理も、 画像データの撮像条件に依存して処理 内容が変化する。 そこで、 上記の圧縮ステップでは、 撮像条件のバリエ
—ションごとに補正処理を用意しておき、 画像データの撮像条件に応じ て補正処理を使い分ける。 その結果、 撮像条件ごとの画像デ一夕の特徴 に柔軟に対応して、圧縮パラメ一夕を的確に補正することが可能となる。 すなわち、 請求の範囲第 3項に記載の圧縮符号化方法では、 試し圧縮 の結果から推定した圧縮パラメ一夕を撮像条件に応じて補正する。 した がって、 撮像条件に起因する圧縮パラメ一夕の推定誤差を厳密に補正す ることができる。
(請求の範囲第 4項に記載の発明)
請求の範囲第 4項に記載の発明は、 周波数領域での標準圧縮配分率に 試行用のスケールファク夕を乗じて得た周波数領域での圧縮配分率を用 いて、 直交変換後の画像データを量子化および符号化し、 画像データの 圧縮符号量を求める試行ステツプと、 試行ステツプで求めた画像デ一夕 の圧縮符号量に基づいて、 画像データを目標の圧縮符号量に圧縮するた めのスケールファク夕を推定するパラメ一夕推定ステップと、 周波数領 域での標準圧縮配分率に前記パラメ一夕推定ステツプで推定したスケー ルファクタを乗じて得た周波数領域での圧縮配分率を用いて、 直交変換 後の画像データを量子化および符号化する圧縮ステツプとを有してな り、 試行ステップおよび圧縮ステップは、 撮像条件または撮像条件の区 分ごとに周波数領域での標準圧縮配分率を準備し、 画像データの撮像条 件に対応して、 周波数領域での標準圧縮配分率を選択使用するものであ る圧縮符号化方法である。
本明細書において 「周波数領域での圧縮配分率」 とは、 周波数領域で 周波数成分に対して、 又はその区分毎に定められた情報の圧縮度のこと であり、 「周波数領域での標準圧縮配分率」 とはその標準値のことであ る。 典型的には、 JPEGの場合における量子化テーブル中の数値によつ て決められる周波数区分ごとの圧縮率がこれにあたる。 wavelet 変換の 場合にもサブバン ド毎の量子化ステップのテーブルを与えることができ て、 それで周波数領域での圧縮配分率を制御できる。
また、 変換係数の上位ビッ トから符号化することも可能で、 その際に 周波数成分毎に重みを変えることもできる。 例えば、 低周波成分を a、 中周波成分を b、 高周波成分を c として、 各ビッ トを (最下位ビッ トを 0、 最上位ビッ トを 7 )とした時に 2 ビッ ト分づつ重みを変えて符号化 し、 所定の容量に達した所で打ち切るような方式をとると、 符号化の順 番は、 a7→a6→a5→b 7→a4-^b6→a3- b5→c7→a2→b4- c6→a l→b3→ c5 というようになり、 この時点で符号化を打ち切ると、 低周波成分 aで は 7 ビッ 卜が、 中周波成分 bでは 5 ビッ トが、 高周波成分 cでは 3 ビッ トが符号化されることになり、 周波数成分毎に情報の圧縮率を異ならせ ることができる。
請求の範囲.第 4項に記載の発明における圧縮符号化方法では、 圧縮対 象の撮像条件によって周波数領域での標準圧縮配分率を使い分ける。
したがって、 本発明においては、 撮像条件ごとの画像データの特徴変 化に対応して、 低域空間周波数成分と高域空間周波数成分との圧縮配分 を柔軟に変更することなどが可能となる。 圧縮対象の撮像条件によって 周波数領域での標準圧縮配分率を使い分ける典型的な方法としては、 圧 縮対象の撮像条件に対応して、 それそれ異なる量子化テーブルを使用す る方法がある。
特に、 請求の範囲第 4項に記載の発明における圧縮符号化方法では、 試行ステツプの段階から周波数領域での標準圧縮配分率を使い分ける。 したがって、 圧縮ステツプと同様の条件で試し圧縮を行うことが可能と なり、 圧縮パラメ一夕の推定をより正確に行うことが可能となる。
すなわち、 請求の範囲第 4項に記載の圧縮符号化方法では、 周波数領 域での標準圧縮配分率 (たとえばスケールファクタ乗算前の量子化テー ブル) を画像データの撮像条件に応じて変更する。 したがって、 撮像条 件ごとの画像データの特徴に対応して、 各空間周波数成分の圧縮配分を 柔軟に変更し、 画像データのノイズを目立たなく したり、 画質劣化を抑 えることが可能となる。
(請求の範囲第 5項に記載の発明)
請求の範囲第 5項に記載の発明は、 画像デ一夕を直交変換して変換係 数を求める直交変換ステツプと、直交変換ステツプで求めた変換係数を、 周波数領域での圧縮配分率に従って量子化する量子化ステツプと、 量子 化ステツプで量子化された変換係数を符号化する符号化ステツプとを有 してなり、 量子化ステップは、 画像デ一夕の撮像条件または撮像条件の 区分に対応して周波数領域での圧縮配分率を変更することにより、 空間 周波数領域上の圧縮配分を変更するもの.である圧縮符号化方法である。 請求の範囲第 5項に記載の発明における圧縮符号化方法では、 圧縮対 象の撮像条件によって、 周波数領域での圧縮配分率 (たとえば量子化テ —ブルの量子化係数) を変更する。 したがって、 撮像条件ごとの画像デ 一夕の特徴変化に対応して、 低域空間周波数成分と高域空間周波数成分 との圧縮配分を柔軟に変更することなどが可能となる。 よって、 画像デ —夕のノイズを目立たなく したり、画質劣化を抑えることが可能となる。
(請求の範囲第 6項に記載の発明)
請求の範囲第 6項に記載の発明は、 請求の範囲第 1項ないし請求の範 囲第 5項のいずれか 1項に記載の圧縮符号化方法であって、撮像条件が、 前記画像データを撮像した撮像部の条件である、 撮像感度設定、 信号ゲ イン、 ガンマ補正カーブ、 電子ズームの有無、 電子ズームの倍率、 シャ ッ夕速度、 ホワイ トバランス調整値、 特殊撮影効果、 階調の少なく とも 一つであるものである。
請求の範囲第 6項に記載の圧縮符号化方法は、 下記撮像条件の少なく とも一つを使用する。
〇撮像感度設定 · · この撮像条件では、 主として画像データのノイズ量 が変化する。 したがって、 ノイズ量の変化に適応した圧縮符号化が可能 となる。
〇信号ゲイン ' · ' この撮像条件では、 主として画像データのノイズ量 が変化する。 したがって、 ノイズ量の変化に適応した圧縮符号化が可能 となる。
〇ガンマ補正カーブ ' ' この撮像条件では、 主として画像データのノィ ズ量と輝度階調が変化する。 したがって、 これらの変化に適応した圧縮 符号化が可能となる。
〇電子ズームの有無 · · この撮像条件では、 主として画像データの実質 的な解像度が変化する。 したがって、 実質的な解像度の変化に適応した 圧縮符号化が可能となる。
〇電子ズームの倍率 · · この撮像条件では、 主として画像データの実質 的な解像度が変化する。 したがって、 実質的な解像度の変化に適応した 圧縮符号化が可能となる。 〇シャツ夕速度 · · この撮像条件では、 主として画像のブレ量が変化す る。 また、 撮像部での蓄積時間が長くなることにより、 画像データのノ ィズ量も增大する。 したがって、 ブレ量およびノイズ量の変化に適応し た圧縮符号化が可能となる。
〇ホワイ トバランス調整値 · · この撮像条件からは、 主として画像デ一 夕の撮影場所や撮影時刻を推定できる。 したがって、 撮像場所や撮影時 刻の変化に適応した圧縮符号化が可能となる。
〇特殊撮影効果 · · この撮像条件からは、 特殊撮影効果ごとに生じる画 像データの特徴を推測できる。 したがって、 個々の特殊撮影効果に適応 した圧縮符号化が可能となる。
〇階調 · · この撮像条件では、 主として画像データのコン トラス トゃデ ィテールが変化する。 したがって、 これらの変化に適応した圧縮符号化 が可能となる。
(請求の範囲第 7項に記載の発明)
請求の範囲第 7項に記載の発明は、 請求の範囲第 1項ないし請求の範 囲第 5項のいずれか 1項に記載の圧縮符号化方法であって、 前記撮像条 件が、 前記画像データを撮像した撮影環境の条件である、 ス トロボ使用 の有無、 スロ一シンクロ使用の有無、 日中シンクロ使用の有無、 測光値、 マルチパターン測光値、 被写体の配光状態、 縦位置撮影の有無、 カメラ ブレ量、 温度の少なく とも一つであるものである。
請求の範囲第 7項に記載の圧縮符号化方法は、 下記撮像条件の少なく とも一つを使用する。
〇ス トロボ使用の有無 · · この撮像条件では、 背景における黒潰れの発 生度合いや画像ブレなどが主として変化する。 したがって、 これらの変 化に適応した圧縮符号化が可能となる。
〇スローシンクロ使用の有無 · · この撮像条件では、 単なるス トロボ使 用に比べて黒潰れの発生頻度が低い。 したがって、 このような変化に適 応した圧縮符号化が可能となる。
〇日中シンクロ使用の有無 · , この撮像条件では、 単なるス トロボ使用 に比べて黒潰れの発生頻度が極めて低い。 したがって、 このような変化 に適応した圧縮符号化が可能となる。
〇測光値 · · · この撮像条件からは、 測光値ごとに異なる画像デ一夕の 特徴を推測できる。 したがって、 測光値による画像データの変化に適応 した圧縮符号化が可能となる。
〇マルチパターン測光値 · · この撮像条件からは、 主として被写体の配 光状態を推測できる。 したがって、 配光状態による画像データの変化に 適応した圧縮符号化が可能となる。
〇被写体の配光状態 · · この撮像条件からは、 被写体の配光状態が分か る。 したがって、 配光状態による画像データの変化に適応した圧縮符号 化が可能となる。
〇縦位置撮影か否か · · この撮像条件では、 主として画面構成が変化す る。 したがって、 画面構成の変化に適応した圧縮符号化が可能となる。 〇カメラブレ量 · ' この撮像条件では、 主として画像のブレ量が変化す る。 したがって、 ブレ量の変化に適応した圧縮符号化が可能となる。 〇温度 , · この撮像条件では、 主として画像データのノイズ量が変化す る。 したがって、 ノイズ量の変化に適応した圧縮符号化が可能となる。 (請求の範囲第 8項に記載の発明)
請求の範囲第 8項に記載の発明は、 請求の範囲第 1項ないし請求の範 囲第 4項のいずれか 1項に記載の圧縮符号化方法であって、 前記撮像条 件が、 前記画像データを撮像した撮影レンズの条件である、 マクロ撮影 の有無、 像倍率、 被写界深度、 絞り値、 焦点距離、 撮影画角、 被写体距 離、 合焦状況、 多点合焦状況、 撮影レンズの種別の少なく とも一つであ るものである。
請求の範囲第 8項に記載の圧縮符号化方法は、 下記撮像条件の少なく とも一つを使用するので、 それそれ、 下記に記載する作用効果が得られ る。
〇マクロ撮影の有無 ' ' この撮像条件からは、 マクロ撮影の有無による 画像デ一夕の変化を推測できる。 したがって、 この変化に適応した圧縮 符号化が可能となる。
〇像倍率 · · この撮像条件からは、 像倍率による画像データの変化を推 測できる。 したがって、 この変化に適応した圧縮符号化が可能となる。 〇被写界深度 · , この撮像条件では、 主として画面内のボケ量が変化す る。 したがって、 ボケ量の変化に適応した圧縮符号化が可能となる。 〇絞り値 · · この撮像条件では、 主として画面内のボケ量が変化する。 したがって、 ボケ量の変化に適応した圧縮符号化が可能となる。
〇焦点距離 · · この撮像条件では、 主として被写界深度や像倍率や構図 (遠近感) などが変化する。 したがって、 これらの変化に適応した圧縮 符号化が可能となる。
〇撮影画角 , · この撮像条件では、 主として被写界深度や像倍率や構図 (遠近感) などが変化する。 したがって、 これらの変化に適応した圧縮 符号化が可能となる。
〇被写体距離 · · この撮像条件では、 主として被写界深度や像倍率や構 図 (遠近感) などが変化する。 したがって、 これらの変化に適応した圧 縮符号化が可能となる。
〇合焦状況 · · この撮像条件からは、 主として画面内のボケ量が分かる。 したがって、 ボケ量の変化に適応した圧縮符号化が可能となる。
〇多点の合焦状況 · · この撮像条件からは、 画面内を占めるボケ面積や ボケ位置が推測できる。 したがって、 これらの変化に適応した圧縮符号 化が可能となる。
〇撮影レンズの種別 · · この撮像条件からは、 撮影レンズの種別による 画像デ一夕の変化が分かる。 したがって、 この変化に適応した圧縮符号 化が可能となる。
(請求の範囲第 9項に記載の発明)
請求の範囲第 9項に記載の発明は、 請求の範囲第 5項に記載の圧縮符 号化方法であって、 前記撮像条件が、 前記画像データを撮像した撮影レ ンズの条件である、 像倍率、 合焦状況、 多点合焦状況の少なく とも一つ であるものである。
請求の範囲第 9項に記載の圧縮符号化方法は、 下記撮像条件の少なく とも一つを使用するので、 それそれ、 下記に記載する作用効果が得られ る。
〇像倍率 ' · この撮像条件からは、 像倍率による画像データの変化を推 測できる。 したがって、 この変化に適応した圧縮符号化が可能となる。 〇合焦状況 · · この撮像条件からは、 主として画面内のボケ量が分かる。 したがって、 ボケ量の変化に適応した圧縮符号化が可能となる。
〇多点の合焦状況 · · この撮像条件からは、 画面内を占めるボケ面積や ボケ位置が推測できる。 したがって、 これらの変化に適応した圧縮符号 化が可能となる。
(請求の範囲第 1 0項に記載の発明)
請求の範囲第 1 0項に記載の記録媒体には、 請求の範囲第 1項ないし 第 9項のいずれか 1項に記載の圧縮符号化方法をコンピュー夕に実行さ せるための圧縮符号化プログラムが記録される。
請求の範囲第 1 0項に記載の記録媒体には、 圧縮符号化プログラムが 記録される。 この圧縮符号化プログラムをコンピュータで実行すること により、 請求の範囲第 1項〜第 9項のいずれか 1項に記載の圧縮符号化 方法をコンピュータ上で実現することができる。 なお、 請求の範囲第 1 0項において 「機械読み取り可能」 とは、 コンビユー夕や電気回路等で 読み取りが可能であることを意味する。
(請求の範囲第 1 1項に記載の発明)
請求の範囲第 1 1項に記載の発明は、 請求の範囲第 1 0項に記載の記 録媒体を有してなる撮像装置である。
電子カメラ、 ディ ジ夕ル式ビデオカメラ等の撮像装置の画素数は飛躍 的に増加しており、 2 0 0メガビクセルを超えるような画素数を有する 電子カメラも市販されている。 これらの撮像装置においては、 その画像 メモリに画像情報を圧縮して記憶することが必須である。 本発明におい ては、 請求の範囲第 1 0項に記載の記録媒体を内蔵し、 その中のプログ ラムを使用して、 撮像された画像情報を圧縮して記憶媒体に記憶するこ とができるので、 多量の情報を付属する記録媒体に記憶させることがで きる。 図面の簡単な説明
図 1は、 電子カメラの構成を示すブロック図である。
図 2は、 第 1の実施形態における圧縮符号化の前準備の手順を示す流 れ図である。
図 3は、 初期スケールファクタ I S Fのデ一夕テーブルである。
図 4は、 ( I S 0 2 0 0 ) および (ス トロボ使用せず) の撮像条件で撮 像したテス ト画像について、 スケールファクタと圧縮符号量との関係を 示すグラフである。
図 5は、 I S O 1 6 0 0の撮像条件で撮像したテス ト画像について、 スケールファクタと圧縮符号量との関係を示すグラフである。
図 6は、 未定係数 a, bをプロッ ト したグラフである。 訂正され^紙 胆 1) 図 7は、 第 1の実施形態における圧縮符号化方法を説明する流れ図で ある。
図 8は、 1回の試し圧縮から推定した目標スケールファクタと、 圧縮 率 1 / 4を得るための正確なスケールファクタ (実測値) との相関関係 を示すグラフである。
図 9は、 第 2の実施形態における圧縮符号化の前準備の手順を示した 流れ図である。
図 1 0は、 第 2の実施形態における圧縮符号化方法を説明する流れ図 である。
図 1 1は、 ス トロボを使用して撮像されたテス ト画像について、 スケ —ルファクタと圧縮符号量との関係を示すグラフである。
図 1 2は、 初期スケールファクタ I S Fのデ一夕テ一ブルである。 図 1 3は、 1回の試し圧縮から推定した目標スケールファク夕と、 圧 縮率 1 / 4を得るための正確なスケールファクタ (実測値) との相関関 係を示すグラフである。
図 1 4は、 第 3の実施形態における圧縮符号化の前準備の手順を示し た流れ図である。
図 1 5は、 撮像感度設定に対応する標準量子化テーブルの一例を示す 図である。
図 1 6は、 第 3の実施形態における圧縮符号化方法を示した流れ図で ある。 発明を実施するための最良の形態
以下、 本発明をより詳細に説述するために、 添付の図面に従って本発 明の実施形態について最良と思われるものを説明するが、 その内容は本 発明の範囲を限定するものでないことは言うまでもない。 <第 1の実施形態 >
図 1は、 電子カメラ 1 0の構成を示すブロック図である。
図 1 において、 電子カメラ 1 0には、 撮影レンズ 1 1およびス トロボ 発光部 1 2が装着される。 この撮影レンズ 1 1の像空間には、 撮像素子 1 3が配置される。この撮像素子 1 3において生成される画像デ一夕は、 信号処理部 1 5、 A / D変換部 1 6、 画像処理部 1 7を順に介して処理 された後、 デジタルの画像データとして圧縮処理部 1 8に与えられる。 圧縮処理部 1 8は、 この画像デ一夕を圧縮符号化して、 記録部 1 9に 出力する。 記録部 1 9は、 圧縮された画像デ一夕を、 メモリーカードな どの記録媒体 (図示せず) に記録する。
また、 電子カメラ 1 0には、 マイクロプロセッサからなる制御部 2 1、 マルチパターン測光を行うマルチ測光部 2 2、 焦点検出を行う焦点検出 部 (または測距を行う測距部) 2 3、 カメラ操作やモード設定を行うた めの操作釦群 2 4などが設けられる。
制御部 2 1は、 マルチ測光部 2 2、 焦点検出部 (または測距部) 2 3、 および操作釦群 2 4などから、 検出情報を取得する。 制御部 2 1は、 こ れらの検出情報に基づいて、 画像デ一夕の撮像条件 (例えば、 撮像感度 設定など) を判断する。 制御部 2 1は、 上述した撮影レンズ 1 1、 ス ト ロボ発光部 1 2、 撮像素子 1 3、 信号処理部 1 5、 A / D変換部 1 6、 画像処理部 1 7をそれぞれ制御して、 撮像条件に合った撮像動作を実行 させる。
一方、 圧縮処理部 1 8は、 この撮像条件を制御部 2 1から取得する。 圧縮処理部 1 8では、 この撮像条件を適正な圧縮符号化を行うための有 効情報として利用する。 以下、 本発明の特徴である、 この圧縮処理部 1 8の動作について詳しく説明する。
(圧縮符号化の前準備) 図 2は、 圧縮符号化の前準備の手順を示した流れ図である。 このよう な前準備は、 通常、 圧縮処理部 1 8の開発者によって実施される。 なお、 電子カメラ 1 0のユーザが、 撮影頻度の高い画像データを具体的に選ん で前準備を実行しても勿論かまわない。
この図 2を用いて、 前準備の手順を説明する。 なお、 ここでは、 説明 の都合上、 前準備の実行者を開発者と仮定している。
まず、 開発者は、 電子カメラ 1 0の撮像感度設定を変更しながら、 な るべく多種類の被写体やシーンを撮影する。 開発者は、 このように収集 した非圧縮の画像デ一夕 (以下 「テス ト画像」 という) に対して、 D C T変換を実行する (図 2、 S 1 1 )。
次に、 開発者は、 D C T変換を終えた各テス ト画像に対して、 スケ一 ルファクタ S Fの値を徐々に変えながら量子化および符号化を反復実行 し、 (スケールファクタ S F, 圧縮符号量 A C V data) のデ一夕を多数 求める (図 2、 S 1 2 )。
図 4は、 撮像感度 ISO200のテス ト画像について求めた、 これらのデ —夕をプロッ ト したグラフである。 また、 図 5は、 撮像感度 ISO 1600 のテス ト画像について求めたデータをプロッ 卜 したグラフである。
これらの図 4および図 5に示されるように、撮像感度の違いによって、 グラフ上のデ一夕分布には、 明確な違いが現れる。 このようなデ一夕分 布の違いは、 撮像感度設定に依存するノイズ量の違いに起因すると考え られる。
ここで、 開発者は、 図 4および図 5のグラフから、 目標圧縮率 1 / 4, 1 / 8 , 1 / 1 6を達成する上で標準的と思われるスケールファクタ S Fをそれぞれ選び出し (図 4および図 5に示す白丸箇所)、 初期スケール ファクタ I S Fとする。 標準的と思われるスケールファク夕 S Fの選定 方法は、 たとえば、 図 4、 図 5 における各グラフが、 各目標圧縮率を横 切る点の平均値をとる方法が考えられる。
図 3は、 このように選ばれた初期スケールファク夕 I S Fをデータテ —ブルに並べたものである。 開発者は、 このようなデータテーブルを、 圧縮処理部 1 8内の書き換え可能なメモリ領域に格納する (図 2 S 1 3 ) o
次に、 開発者は、 図 4および図 5に示すデ一夕を回帰分析し、 l o g ( A C V data) = a - l o g ( S F) + b - - · [ 1 ] に当てはまる未定係数 a bをテス ト画像ごとに求める(図 2 S 1 4 )。 なお、 ここでの回帰分析は、 回帰式とデ一夕との一致度をより高めるた め、 スケールファクタの範囲を 0. 1 1. 0に限定して行っている。 図 6は、 このようにして求めた未定係数 a bを、 横軸を aとし、 縦 軸を bとしてプロッ トしたものである。 図 6から分かるように、 未定係 数 a , bの分布は、 撮像感度設定の違いによって 2つに分かれる。
ここで、 開発者は、 撮像感度設定ごとに分けて、 未定係数 a, bの回 帰分析を行い、
ISO200の場合 : b = C l I S 02。。 ' a + C 2 I S 02。。 - · · [ 2 ] IS1600の場合 : b = C l I S1 6。。 ' a + C 2 I S1 6。。 ' . ' [ 3 ]
V Vよよ ί糸 ί¾ν_ 丄 i s O 2 0 0 ^ I S O 2 0 0 C l i S 0 1 6 0 0 C ^ i S
1 6。。をそれぞれ求める。 開発者は、 これらの係数を、 撮像感度設定に 対応付けた状態で、 圧縮処理部 1 8内の書き換え可能なメモリ領域に格 納する (図 2 S 1 5 )。
以上の手順により、 圧縮符号化の前準備を完了する。
(圧縮符号化方法の説明)
次に、 具体的な圧縮符号化の手順について説明する。
図 7は、 圧縮処理部 1 8が実行する圧縮符号化方法を説明する流れ図 である。 まず、 圧縮処理部 1 8は、 制御部 2 1から画像デ一夕の撮像条 件 (ここでは撮像感度設定) を取得する。 圧縮処理部 1 8は、 この撮像 感度設定と目標圧縮率とに基づいて、 前準備で作成したデ一夕テーブル (図 3 ) を検索し、 初期スケールファクタ I S F (試行用の圧縮パラメ 一夕に対応) を決定する (図 7、 S 1 6 )。
圧縮処理部 1 8は、 このように決定した初期スケールファクタ I S F を標準量子化テーブルに乗じ、 試し圧縮に使用する初期量子化テーブル を作成する。 圧縮処理部 1 8は、 この初期量子化テーブルを用いて公知 の J P E G圧縮手順を実行し、 画像デ一夕の試し圧縮を実行する (図 7、 S 1 7 )o
次に、 圧縮処理部 1 8は、 前準備で用意した係数 C 1 I S 0 2 o os C 2! S 0 20、 C l i so i 6。 o、 C 2 i S 0 1 6。。の中から、 画像データの撮像感 度設定に合致するものを選び出し、 係数 C 1 , C 2とする (図 7、 S 1 8 , S 1 9 , S 2 0 )。
次に、 圧縮処理部 1 8は、 この係数 C 1 , C 2と、 試し圧縮後の符号 量 A CVdataと、 初期スケールファクタ I S Fとを下式に代入して、 a = { l o g ( A C V data) - C 2 } / { 1 o g ( I S F) + C 1 } · · [4]
を算出し、 未定係数 aを確定する (図 7、 S 2 1 )。
なお、 この [式 4 ] は、 [式 1 ] 〜式 [3 ] から導出される式であり、 スケールファクタと圧縮符号量との統計的関係を表す式である。
次に、 圧縮処理部 1 8は、 目標の圧縮符号量 T C V (==画像データの 符号量 X目標圧縮率) を用いて、
N S F二 ( A C V data/ T CV) (- 1 /a) ' I S F - - · [ 5 ] を算出し、 目標の圧縮符号量 T CVを得る上で適当な目標スケールファ クタ N S Fを求める (図 7、 S 2 2 )。
なお、 [式 5 ] は、 [式 1 ]〜[式 4 ] に (目標スケールファクタ N S F , 目標の圧縮符号量 T CV) を代入して整理し、 未定係数 bを消去した式 である。
続いて、 圧縮処理部 1 8は、 この目標スケールファクタ N S Fを標準 量子化テ一ブルに乗じて量子化テーブルを作成する (図 7、 S 2 3 )。 圧縮処理部 1 8は、 この量子化テーブルを用いて、 公知の J P E G圧 縮手順 ( S 2 4 ~S 2 6 ) を実行し、 画像データを画像圧縮する。
次いで、 圧縮処理部 1 8は、 画像圧縮後の符号量 (これを新たに A C Vdataとする) が、 目標の圧縮符号量 T CVの許容範囲内に入るか否か を判定する (図 7、 S 2 7 )。
万一、 許容範囲内から外れた場合 (図 7、 S 2 7の N 0側)、 圧縮処理 部 1 8は、 先にステップ S 2 2で決定した N S Fを新たに I S Fとし、 ステップ S 2 7で得られた画像圧縮後の符号量 A C V data を A C V dataとして、 ステップ S 2 2に動作を戻し、 目標スケールファクタ N S Fを更新して画像圧縮を再度繰り返す。 一方、 許容範囲内に入った場合 (図 7、 S 2 7の Y E S側)、 圧縮処理部 1 8は、 所望の画像圧縮が達成 されたと判断して、 動作を終了する。
(第 1の実施形態の効果)
以上説明したように、 第 1の実施形態では、 撮像感度設定の情報に基 づいて、 なるべく正解に近い初期スケールファクタを選択する。 したが つて、 目標の圧縮符号量に到達するまでの試し圧縮の回数を効率的に削 減することが可能となる。
また、 初期スケールファクタが正解に近いので、 試し圧縮の結果は、 正解近傍におけるスケールファクタと圧縮符号量との関係を正確に反映 する。 したがって、 目標スケールファクタの推定をより正確に行うこと ができる。
その上、 第 1の実施形態では、 統計的関係 (を規定する係数 C l, C 2 ) を撮像感度設定ごとに準備する。 したがって、 一つ一つの統計的関 係の信頼性が十分に高い。 したがって、 この点からも、 目標スケールフ ァク夕の推定を一段と正確に行うことが可能となる。
ちなみに、 図 8は、 1回の試し圧縮で求めた目標スケールファクタと、 圧縮率 1 / 4を得るための正確なスケールファクタ (実測値) との関係 を、 多数の画像デ一夕についてプロッ トしたグラフである。 なお、 図 8 中の◊印は、 撮像感度設定を区分せずに目標スケールファクタを算出し た場合であり、 黒三角印は、 撮像感度設定を区分して目標スケールファ クタを算出した場合である。
この図 8に明示されるように、 撮像感度設定を区分した場合 (黒三角 印) の方が、 正解ライン (図 8中の点線) に一段と近く、 すなわち、 よ り正確な目標スケールファク夕であることが分かる。
ぐ第 2の実施形態 >
以下、 本発明の第 2の実施形態について説明する。 なお、 第 2の実施 形態における電子カメラの構成については、 第 1の実施形態 (図 1 ) と 同じであるため、 ここでの説明を省略する。
以下、 第 2の実施形態の特徴である、 圧縮処理部 1 8の動作について 説明する。
(圧縮符号化の前準備)
図 9は、 第 2の実施形態における圧縮符号化の前準備の手順を示した 流れ図である。 この図 9 を用いて、 前準備の手順を説明する。 なお、 こ こでは、 説明の都合上、 前準備の実行者を開発者と仮定している。
まず、 開発者は、 ス トロボ使用の有無を切り替えながら、 なるべく多 種類の被写体やシーンを電子カメラ 1 0で撮影する。 開発者は、 このよ うに収集した非圧縮の画像デ一夕 (以下 「テス ト画像」 という) に対し て、 D C T変換を実行する (図 9、 S 3 1 )。 次に、 開発者は、 D C T変換を終えた各テス ト画像に対して、 スケー ルファクタ S Fの値を徐々に変えながら量子化および符号化を反復実行 し、 (スケールファクタ S F, 圧縮符号量 A C Vdata) のデータを多数 求める (図 9、 S 32 )。
図 1 1は、 ス トロボを使用したテス ト画像について、 (スケールファク 夕 S F,圧縮符号量 A C Vdata)のデータをプロヅ 卜したグラフである。 一方、 図 4は、 ス トロボを使用しなかったテス ト画像について、 (スケ一 ルファクタ S F, 圧縮符号量 A C Vdata) のデ一夕をプロッ 卜 したグラ フである。
これら図 4および図 1 1に示されるように、 ス トロボ使用の有無によ つて、 グラフ上のデータ分布に違いが生じる。 これは、 ス トロボ使用時 において、 背景部分などが黒くつぶれ、 画像情報量が減少するためと考 えられる。
ここで、 開発者は、 図 4および図 1 1のグラフから、 目標圧縮率 1/ 4, 1/8 , 1ノ 1 6を達成する上で標準的と思われるスケールファク 夕 S Fをそれぞれ選び出し (図 4および図 1 1に示す白丸の位置)、 初期 スケールファクタ I S Fとする。
図 1 2は、 このように選んだ初期スケールファクタ I S Fをデータテ —ブルに並べたものである。 開発者は、 このようなデータテーブルを、 圧縮処理部 1 8内の書き換え可能なメモリ領域に格納する (図 9、 S 3 3)。
次に、 開発者は、 図 4に示すデ一夕を回帰分析し、
1 o g ( A C Vdata) = a ' l o g (S F) +b ' · · [ 1 ] に当てはまる未定係数 a, bを求める (図 9、 S 34)。
開発者は、 このように求めた未定係数 a , bについて回帰分析を行い、 b = C 1 - a + C 2 - - · [ 6 ] に当てはまる係数 C l、 C 2をそれそれ求める。 開発者は、 これらの係 数を、 圧縮処理部 1 8内の書き換え可能なメモリ領域に格納する (図 9、 S 3 5 ) o
次に、 開発者は、 この係数 C l, C 2を使って、 ス トロボ使用時のテ ス ト画像について、 目標スケールファクタを推定する。
図 1 3中の◊印は、 このように推定した (補正前の) 目標スケールフ ァク夕をプロッ 卜したものである。 この場合、 補正前の目標スケールフ ァク夕 (◊印) は、 正解ライ ン (図 1 3中の点線) から若干ずれた位置 に分布する。
そこで、 開発者は、 補正前の目標スケールファクタ (◊印) について 回帰分析を行い、 「補正前の目標スケールファクタ」 の回帰直線の式を、 正解ラインの式へ補正するための補正式を求める。 開発者は、 この補正 式を、 圧縮処理部 1 8内の書き換え可能なメモリ領域に格納する (図 9、 S 3 6 )。
以上の手順により、 圧縮符号化の前準備を完了する。
(圧縮符号化方法の説明)
次に、 具体的な圧縮符号化方法について説明する。
図 1 0は、 圧縮処理部 1 8が実行する圧縮符号化方法を説明する流れ 図である。
まず、 圧縮処理部 1 8は、 制御部 2 1から画像データの撮像条件 (こ こではス トロボ使用の有無) を取得する。 圧縮処理部 1 8は、 このス ト ロボ使用の有無と目標圧縮率とに基づいて、 前準備で作成したデ一夕テ 一ブル(図 1 2 ) を検索し、 初期スケールファク夕 I S Fを決定する (図 1 0、 S 3 7 )。
圧縮処理部 1 8は、 このように決定した初期スケールファクタ I S F を標準量子化テーブルに乗じ、 試し圧縮に使用する初期量子化テーブル を作成する。 圧縮処理部 1 8は、 この初期量子化テーブルを用いて公知 の J P E G圧縮手順を実行し、 画像デ一夕の試し圧縮を実行する。(図 1 0 S 3 8 )o
次に、 圧縮処理部 1 8は、 前準備で用意した係数 C 1 , C 2と、 この 試し圧縮後の圧縮符号量 A C Vdataと、初期スケールファクタ I S Fと を下式に代入して、
a二 { l o g ( A C V data) - C 2 } / { 1 o g ( I S F ) + C 1 } · · [7]
を算出し、 未定係数 aを確定する (図 1 0、 S 3 9)。
次に、 圧縮処理部 1 8は、 目標の圧縮符号量 T CV (=画像データの 符号量 X目標圧縮率) を用いて、
N S F = ( A C Vdata/T C V) (" 1/a) · I S F - - · [ 5 ] を算出し、 目標の圧縮符号量 T CVを得る上で適当な目標スケールファ クタ N S Fを求める (図 1 0、 S 40)。
ここで、 圧縮処理部 1 8は、 画像データがス トロボ使用の状態で撮像 されたものか否かを判定する (図 1 0、 S 4 1 )。
ス トロボを使用せずに撮像された画像データの場合、 圧縮処理部 1 8 は補正処理の必要なしと判断して、 ステップ S 43に動作を移行する。 一方、 ス トロボ使用の状態で撮像された画像データの場合、 圧縮処理 部 1 8は、 前準備で求めた補正式を用いて目標スケールファクタ NS F を補正した後 (図 1 0、 S 42 )、 ステップ S 43に動作を移行する。 次に、 圧縮処理部 1 8は、 目標スケールファクタ N S Fを用いて、 画 像データを改めて画像圧縮する (図 1 0、 43)。
ここで、 圧縮処理部 1 8は、 画像圧縮後の符号量 (これを新たに AC Vdataとする) が、 目標の圧縮符号量 T C Vの許容範囲内に入るか否か を判定する (図 1 0、 44)。 万一、 許容範囲内から外れた場合 (図 1 0、 4 4の N O側)、 圧縮処理 部 1 8は、 先にステップ S 4 0で決定した N S Fを新たに I S Fとし、 ステップ S 4 4で得られた画像圧縮後の符号量 A C V data を A C V dataとして、 ステップ S 4 0に動作を戻し、 目標スケールファク夕 N S Fを更新して画像圧縮を再度繰り返す。 一方、 許容範囲内に入った場合 (図 1 0、 4 4の Y E S側)、 圧縮処理部 1 8は、 所望の画像圧縮が達成 されたと判断して、 動作を終了する。
(第 2の実施形態の効果)
以上説明したように、 第 2の実施形態では、 ス トロボ使用の有無に応 じて、 正解に近い初期スケールファクタを選択する。 したがって、 目標 の圧縮符号量に到達するまでの試し圧縮の回数を効率的に削減すること ができる。
また、 初期スケールファクタが正解に近いので、 試し圧縮の結果は、 正解近傍におけるスケールファク夕と圧縮符号量との関係を正確に反映 する。 したがって、 目標スケールファクタの推定をより正確に行うこと も可能となる。
さらに、 第 2の実施形態では、 ス トロボ使用の画像デ一夕について、 目標スケールファクタを補正するので、 目標スケールファク夕をより正 確に求めることが可能となる。
ちなみに、 図 1 3中の黒三角印は、 補正後の目標スケールファクタを プロッ 卜 したものである。 この図 1 3に示されるように、 補正後の目標 スケールファクタ (黒三角印) の方が、 補正前の目標スケールファクタ (◊印) よ りも正解ライ ン (図 8中の点線) に近く、 すなわち、 目標ス ケールファクタは正確に補正されていることが分かる。
次に、 別の実施形態について説明する。
【 0 0 5 7】 <第 3の実施形態 >
以下、 本発明の第 3の実施形態について説明する。 なお、 第 3の実施 形態における電子カメラの構成については、 第 1の実施形態 (図 1 ) と 同じため、 ここでの説明を省略する。
以下、 第 3の実施形態の特徴である、 圧縮処理部 1 8の動作について 説明する。
(圧縮符号化の前準備)
図 1 4は、 第 3の実施形態における圧縮符号化の前準備の手順を示し た流れ図である。
第 3の実施形態における前準備の特徴点は、 テス ト画像の撮像感度設 定に応じて、 標準量子化テーブルを使い分けている点である (図 1 4、 S 1 2 a)。 このとき使用される ISO200 専用の標準量子化テーブルを、 図 1 5 ( a)に示す。また、 ISO1600専用の標準量子化テーブルを、図 1 5 (b) に示す。 これらの標準量子化テーブルは、 復号化画像の画質評価などに より、 撮像条件ごとに決定されたものである。
なお、 図 1 4に示すその他の動作 ( S l l、 S 1 3〜 S 1 5 ) につい ては、 第 1の実施形態 (図 2 ) と同じため、 ここでの説明を省略する。 (圧縮符号化方法の説明)
図 1 6は、 第 3の実施形態における圧縮符号化方法を示した流れ図で ある。 第 3の実施形態における動作上の特徴点は、 次の ( 1 ), ( 2 ) で ある。
( 1 ) 圧縮処理部 1 8は、 画像デ一夕の撮像感度設定に応じて、 標準量 子化テーブルを選択する (図 1 6、 S 1 6 a)。
( 2 ) 圧縮処理部 1 8は、 選択した標準量子化テーブルを使用して、 試 Q
WO 00/78053 PCT/JP00/00848
し圧縮 (図 1 6、 S 1 7 ) および本圧縮 (図 1 6、 S 2 3 ~ 2 6 ) を実 行する。
なお、 図 1 6に示すその他の動作については、 第 1の実施形態 (図 7 ) と同じため、 ここでの説明を省略する。
(第 3の実施形態の効果)
上述した ISO 1600専用の標準量子化テーブルは、高域空間周波数成分 の量子化係数が大きめに設定される。 したがって、 高い撮像感度設定に おいて発生しやすい高域ノィズ成分を効果的に抑圧すると共に、 圧縮符 号量がノイズによって無意味に増加するのを防ぐことができる。
一方、 ISO200 専用の標準量子化テーブルは、 高域空間周波数成分の 量子化係数が比較的小さめに設定される。 したがって、 高域微小信号の 消失やモスキートノイズを抑制し、 画質劣化を極力防止することが可能 となる。
<実施形態の補足事項 >
なお、 上述した実施形態では、 電子カメラに本発明を適用する場合に ついて説明した。 この場合には、 画像データの撮像条件を電子カメラか ら直に取得できるという構成上の利点がある。 しかしながら、 本発明の 実施形態は電子カメラに限定されるものではない。
例えば、 スキャナ装置などに本発明を適用してもよい。 この場合、 ス キヤナ装置における撮像条件 (例えば、 スキャン速度、 スキャン方式、 スキャンサイズ、 スキャン対象物の種類、 照明の種類など) を有効に利 用して、 スキヤンされた画像データを適正に圧縮符号化することが可能 となる。
さらに、 図 7、 図 1 0または図 1 6の動作手順を、 圧縮符号化プログ ラムとして記録媒体に記録してもよい (請求項 1 0に対応)。 この場合、 コンピュータ上において、 本発明の圧縮符号化方法を実行することが可 能となる。
また、 上述した実施形態では、 画像圧縮方式として J P E G方式を採 用する場合について説明したが、 本発明はこれに限定されるものではな い。 例えば、 画像圧縮方式として、 M P E G方式などを採用してもよい。 勿論、 動画像の圧縮に本発明を適用してもよい。
さらに、 上述した実施形態では、 圧縮パラメ一夕としてスケールファ ク夕を使用する場合について説明したが、 これに限定されるものではな い。 一般に、 圧縮符号化処理のプロセスにおいて圧縮符号量に影響を及 ぼす調節可能な要素であれば、 圧縮パラメ一夕として使用することがで きる。
例えば、 量子化テーブルにおける個々の量子化係数を変更するなどに より、 空間周波数領域上の圧縮配分を変更しても圧縮符号量を変更する ことが可能である。 したがって、 空間周波数領域上の圧縮配分 (例えば、 量子化テーブル上の個々の量子化係数)を圧縮パラメ一夕としてもよい。
また、 上述した実施形態では、 最低 1回の試し圧縮でスケールファク 夕を推定する手順について説明した。 この場合、 撮像条件の情報を有効 利用することにより、 最低 1回の試し圧縮で目標スケールファクタの推 定精度を非常に高いレベルまで高められるという利点がある。 しかしな がら、 本発明はこれに限定されるものではなく、 試し圧縮を複数回繰り 返すような公知の圧縮パラメ一夕推定手順に本発明を適用することも可 能である。
なお、 上述した実施形態では、 撮像条件として、 『撮像感度設定』 また は 『ス トロボ使用の有無』 を使用した場合について説明した。 特に、 こ のような撮像感度設定を撮像条件として使用した場合、 ノィズ量の変化 に敏感に対応して、 適正な圧縮符号化を実行できるという利点がある。 しかしながら、 本発明の撮像条件は、 これに限定されるものではない。 一般に、 撮像条件としては、 画像デ一夕に有意な (例えば統計的な) 差 異を生じせしめ、 かつその差異が圧縮結果 (圧縮符号量や復号化画像の 画質など) に影響を及ぼすものであればよい。 このような撮像条件であ れば、 本発明の効果を得ることが可能である。
また、 上述した実施形態では、 一種類の撮像条件に対応して圧縮符号 化を制御しているが、 これに限定されるものではない。 例えば、 複数種 類の撮像条件に対応して、 圧縮符号化を制御してもよい。 この場合、 複 数種類の撮像条件を論理的に組み合わせることによって飛躍的に細かな 場合分けが可能となり、 圧縮符号化処理を細かく制御することが可能と なる。
なお、 上述した実施形態では、 撮影モードの各種設定などに基づいて 撮像条件を判断しているが、 撮像条件を取得する方法はこれに限定され るものではない。 例えば、 ユーザーが撮像条件を判断して操作釦などを 介して情報入力するようにしてもよい。 この場合、 本発明方法では、 被 写体の配光状態などの撮像条件をよ り詳しく取得し、 より適正な圧縮符 号化を実施することが可能となる。
以下、 請求項 6〜 9に記載の発明に列挙した、 具体的な撮像条件につ いて説明する。
[ A ] 撮像感度設定、 信号ゲイン、 ガンマ補正カーブ
撮像感度を手動も しくは自動で高感度に設定するに従って (撮像部の 信号ゲインを上げるに従って)、 夜間や日陰などを明る く撮像できる反 面、 ノイズレベルも増大する。
また、 ガンマ補正カーブのァを大きくするに従って、 撮像部の微少振 幅ゲイ ンが大きくなり、 画面暗部のノイズレベルが増大する。
このようにノイズレベルが増大するような撮像条件では、 圧縮符号量 がノィズ増加分だけ増えるため、 次のような圧縮符号化が好ましい。 •試行ステッブにおいて、 試行用の圧縮パラメ一夕を圧縮度の高いもの にする。
♦パラメ一夕推定ステップにおいて、 ノィズレベルの大きい画像デ一夕 に関して求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
秦圧縮ステップにおいて、 ノイズレベルの大きい画像デ一夕に関して求 めた補正処理を用いて、 圧縮パラメ一夕を補正する。
秦周波数領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは 量子化係数) を変更して、 ノイズの空間周波数成分を強く抑圧する。
[ B ] 電子ズームの有無、 電子ズームの倍率
電子ズームを使用したり、 あるいは電子ズームの倍率が大きくなるに 従って、 画像データの実質的な解像度が低くなる。 この場合、 画像デ一 夕の高域空間周波数成分が欠落して、圧縮符号量が必然的に少なくなる。 そこで、 電子ズームを使用する撮像条件の場合には、 次のような圧縮符 号化が好ましい。
参試行ステップにおいて、 試行用の圧縮パラメ一夕を圧縮度の低いもの にする。
パラメ一夕推定ステツプにおいて、 上記のような実質的に低解像度の 画像デ一夕に関して求めた統計的関係を用いて、 圧縮パラメ一夕を推定 する。
翁圧縮ステップにおいて、 上記のような実質的に低解像度の画像データ に関して求めた補正処理を用いて、 圧縮パラメ一夕を補正する。
•周波数領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは 量子化係数) を変更して、 欠落している高域空間周波数成分に対する量 子化係数を大きくする。
[ C ] シャッ夕速度
シャツ夕速度が遅くなるに従って、 手ブレゃ被写体ブレによる像流れ が生じやすくなる。 この場合、 信号成分については、 高域空間周波数成 分が欠落して、 圧縮符号量が比較的少なくなる。 そこで、 高域空間周波 数成分の欠落が顕著な低速シャツ夕の撮像条件では、 次のような圧縮符 号化が好ましい。
試行ステップにおいて、 試行用の圧縮パラメ一夕を圧縮度の低いもの にする。
參パラメ一夕推定ステップにおいて、 低速シャッ夕の画像デ一夕に関し て求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
參圧縮ステップにおいて、 低速シャツ夕の画像デ一夕に関して求めた補 正処理を用いて、 圧縮パラメ一夕を補正する。
参画質の主観評価に基づいて、 低速シャッ夕の画像データに適した周波 数領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化 係数の配分) を決定する。 低速シャツ夕の撮像条件に対応して、 この周 波数領域での標準圧縮配分率 (たとえば標準化量子化テーブルまたは量 子化係数の配分) を使用する。
一方、 ノイズ成分については、 シャツ夕速度が遅くなつて C C Dの蓄 積時間が長くなる分だけ増える (特に高域空間周波数成分のノィズが増 える)。
このようなノィズ量の変化が無視できない場合、シャツ夕速度ごとに、 これらの作用が重なった、 特徴が統計的に現れる。 (例えば、 1 / 1 0 0 秒以下の高速シャッ夕では、 像流れによる信号成分の変化はさほど生じ ず、 専らノイズ成分の変化が大きく現れる。 一方、 1 / 1 0秒以上の低 速シャツ夕では、 像流れによる信号成分の変化が顕著に現れるようにな り、 ノイズ成分の変化は無視できる。)
このようなシャッ夕速度ごとにおける画像データの特徴に対応して、 圧縮符号化を行ってもよい。 なお、 このとき、 三脚使用の有無を踏まえ て、 圧縮符号化を行うことが好ましい。
[ D ] ホワイ トバランス調整値
撮像部のホワイ トパランス調整値により、 屋外撮影 Z室内撮影、 晴天 撮影/曇天撮影、 夕焼け撮影 Z日中撮影などのように、 撮影場所や撮影 時刻や色相や彩度などを大まかにグループ分けすることが可能となる。 このように、 ホワイ トバランス調整値から画像デ一夕をグループ分けす ることにより、 次のような圧縮符号化が可能となる。
•試行ステップにおいて、 同一グループ内の画像データに関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。
參パラメ一夕推定ステップにおいて、 同一グループ内の画像データに関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
參圧縮ステップにおいて、 同一グループ内の画像デ一夕に関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
翁画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像デ一夕のグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (標準量子化テーブルま たは量子化係数の配分) を使い分ける。
[ E ] 特殊撮影効果
特殊撮影効果 (モノクロ処理、 エンボス効果、 明暗にじみ効果、 ハイ キ一処理、 ローキー処理、 クロマキ一処理、 ノイズ付加効果、 モザイク 効果など) の種類に基づいて、 画像データの特徴を大まかにグループ分 けすることができる。 このように、 特殊撮影効果の種類ごとに画像デ一 夕をグループ分けすることによ り、次のような圧縮符号化が可能となる。 秦試行ステップにおいて、 同一グループ内の画像デ一夕に関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。 きパラメ一夕推定ステップにおいて、 同一グループ内の画像デ一夕に関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
秦圧縮ステツプにおいて、 同一グループ内の画像デ一夕に関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
參画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像デ一夕のグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ 一ブルまたは量子化係数の配分) を使い分ける。
[ F ] 階調
階調補正の程度などにより、 画像デ一夕のコン トラス ト、 ノイズ量、 ディテール、 色相、 彩度などが変化する。 そこで、 階調の撮像条件から、 画像デ一夕の特徴を大まかにグループ分けすることが可能となる。 この ように、階調の撮像条件から画像データをグループ分けすることにより、 次のような圧縮符号化が可能となる。
参試行ステップにおいて、 同一グループ内の画像デ一夕に関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。
參パラメ一夕推定ステップにおいて、 同一グループ内の画像デ一夕に関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
·圧縮ステップにおいて、 同一グループ内の画像データに関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
像画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像データのグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ —ブルまたは量子化係数の配分) を使い分ける。 ¾4
WO 00/78053 PCT/JPOO/00848
[ G ] ス トロボ使用の有無
ス トロボを使用とすると、 ス トロボ光の届かない背景が黒くつぶれる ため、 画面内の一部領域において輝度レベルが欠落しやすい。 このよう な輝度レベルの一部欠落が生じると、画像データの情報量が少なくなり、 画像データの圧縮符号量は小さくなる。 そこで、 ス トロボ使用の撮像条 件の場合には、 次のような圧縮符号化が一般的に好ましい。
参試行ステップにおいて、 試行用の圧縮パラメ一夕を圧縮度の低いもの にする。
秦パラメ一夕推定ステツプにおいて、 ス ト口ボ使用の画像データに関し て求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
き圧縮ステップにおいて、 ス ト口ボ使用の画像デ一夕に関して求めた補 正処理を用いて、 圧縮パラメータを補正する。
き画質の主観評価などに基づいて、 ス トロボ使用の画像データに適した 周波数領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは量 子化係数の配分) を決定する。 ス トロボ使用の画像デ一夕については、 この周波数領域での標準圧縮配分率 (たとえば標準量子化テーブルまた は量子化係数の配分) を使用する。
[ H ] スローシンクロ使用の有無
スローシンクロを使用すると、 背景が明る く撮影される。 そのため、 単なるス トロボ使用に比べて、 輝度レベルの潰れは少ない。 したがって、 スローシンクロの撮影条件の場合、 単なるス トロボ撮影の撮像条件とは 区別して、 圧縮符号化を行うことが好ましい。
[ I ] 日中シンク口使用の有無
日中シンクロを使用すると、 背景も被写体も明る く撮影される。 その ため、 単なるス トロボ使用とは異なり、 輝度レベルの潰れは極めて少な い。 したがって、 日中シンクロの撮影条件の場合、 単なるス トロボ撮影 の撮像条件とは区別して、 圧縮符号化を行うことが好ましい。
[ J ] 測光値
測光値に基づいて、 画像データの特徴を大まかにグループ分けするこ とができる。 このように、 測光値に応じて画像データをグループ分けす ることにより、 次のような圧縮符号化が可能となる。
き試行ステップにおいて、 同一グループ内の画像デ一夕に関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。 參パラメ一夕推定ステップにおいて、 同一グループ内の画像データに関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
き圧縮ステップにおいて、 同一グループ内の画像データに関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
翁画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像データのグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ 一ブルまたは量子化係数の配分) を使い分ける。
[ K ] マルチパターン測光値
マルチパターン測光値に基づいて、 被写体の配光状態 (逆光、 順光な ど) をグループ分けすることができる。 このように、 マルチパターン測 光値に応じて画像デ一夕をグループ分けすることにより、 次のような圧 縮符号化が可能となる。
•試行ステップにおいて、 同一グループ内の画像データに関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。
秦パラメ一夕推定ステップにおいて、 同一グループ内の画像データに関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
參圧縮ステップにおいて、 同一グループ内の画像データに関して求めた 補正処理を用いて、 庄縮パラメ一夕を補正する。
き画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像データのグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ 一ブルまたは量子化係数の配分) を使い分ける。
[ L ] 被写体の配光状態
被写体の配光状態 (例えば、 逆光、 順光、 側光、 斜光、 半逆光) に基 づいて、 画像デ一夕を大まかにグループ分けすることができる。 このよ うに、 配光状態に応じて画像デ一夕をグループ分けすることにより、 次 のような圧縮符号化が可能となる。
秦試行ステップにおいて、 同一グループ内の画像データに関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。
參パラメ一夕推定ステップにおいて、 同一グループ内の画像デ一夕に関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
参圧縮ステツプにおいて、 同一グループ内の画像データに関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
秦画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像デ一夕のグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ 一ブルまたは量子化係数の配分) を使い分ける。
[ M ] 縦位置撮影か否か
縦位置撮影か否かにより、 画像データの画面構成を大まかにグループ 分けすることができる。 このように、 縦位置撮影か否かに応じて画像デ 一夕をグループ分けすることにより、 次のような圧縮符号化が可能とな る o
き試行ステップにおいて、 同一グループ内の画像データに関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。
參パラメ一夕推定ステップにおいて、 同一グループ内の画像データに関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
•圧縮ステップにおいて、 同一グループ内の画像データに関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
き画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像データのグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ 一ブルまたは量子化係数の配分) を使い分ける。
[ N ] カメラブレ量
カメラブレ量が大きくなるに従って、 像が流れやすくなる。 この場合、 画像データの高域空間周波数成分が欠落し、 圧縮符号量が必然的に少な くなる。 そこで、 このようなカメラブレ量が大きい撮像条件では、 次の ような圧縮符号化が好ましい。
•試行ステツプにおいて、 試行用の圧縮パラメ一夕を圧縮度の低いもの にする。
·パラメ一夕推定ステップにおいて、 カメラブレ量の大きな画像データ に関して求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。
き圧縮ステツプにおいて、 カメラブレ量の大きな画像デ一夕に関して求 めた補正処理を用いて、 圧縮パラメ一夕を補正する。
秦画質の主観評価に基づいて、 カメラブレ量の大きな画像データに適し た周波数領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは 量子化係数の配分) を決定する。 カメラブレ量の大きい撮像条件に対応 して、 この周波数領域での標準圧縮配分率 (たとえば標準化量子化テー ブルまたは量子化係数の配分) を使用する。
[ 0 ] マクロ撮影の有無、 像倍率
フラクタル図形の特徴を有さない被写体 (人工物など) に対して、 マ クロ撮影などの高倍率撮影を行った場合、 画像データの実質的な解像度 は低くなる。 この場合、 画像デ一夕の高域空間周波数成分が欠落し、 圧 縮符号量が比較的少なくなる。 そこで、 マクロ撮影のような高倍率撮影 では、 次のような圧縮符号化が好ましい。
•試行ステップにおいて、 試行用の圧縮パラメ一夕を圧縮度の低いもの にする。
參パラメ一夕推定ステップにおいて、 上記のような低解像度の画像デ一 夕に関して求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。 秦圧縮ステツプにおいて、 上記のような低解像度の画像データに関して 求めた補正処理を用いて、 圧縮パラメ一夕を補正する。
秦周波数領域での標準圧縮配分率 (たとえば準量子化テーブルまたは量 子化係数の配分) を変更して、 欠落している高域空間周波数成分に対す る量子化係数を大きくする。
[ P ] 被写界深度
被写界深度が浅くなるに従って、被写体の前後でボケ量が大きくなる。 この場合、 画像デ一夕の高域空間周波数成分が欠落し、 圧縮符号量が比 較的少なくなる。 そこで、 被写界深度の浅い撮像条件では、 次のような 圧縮符号化が好ましい。
秦試行ステップにおいて、 試行用の圧縮パラメータを圧縮度の低いもの にする。
·パラメ一夕推定ステップにおいて、 被写界深度の浅い画像データに関 して求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。 •圧縮ステップにおいて、 被写界深度の浅い画像デ一夕に関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
鲁画質の主観評価に基づいて、 被写界深度の浅い画像データに適した周 波数領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子 化係数の配分) を決定する。 被写界深度の浅い撮像条件に対応して、 こ の周波数領域での標準圧縮配分率 (たとえば標準化量子化テーブルまた は量子化係数の配分) を使用する。
[ Q ] 絞り値、 焦点距離、 撮影画角、 被写体距離
次のような撮像条件では、 画面内の背景部分などがいずれもぼけやす くなる。
•絞り値が解放側。
•撮影レンズの焦点距離が長い (撮影画角が狭い)。
•被写体距離が近い。
このように像がぼけると、画像データの高域空間周波数成分が欠落し、 画像デ一夕の圧縮符号量は比較的小さくなる。 そこで、 このようにボケ が大きくなる撮像条件の場合には、 次のような圧縮符号化が好ましい。 眷試行ステップにおいて、 試行用の圧縮パラメ一夕を圧縮度の低いもの にする。
秦パラメ一夕推定ステツプにおいて、 ボケの大きな画像デ一夕に関して 求めた統計的関係を用いて、 適正な圧縮パラメ一夕を推定する。
圧縮ステツプにおいて、 ボケの大きな画像データに関して求めた補正 処理を用いて、 圧縮パラメ一夕の補正を行う。
き画質の主観評価に基づいて、 ボケの大きな画像データに適した周波数 領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係 数の配分) を決定する。 ボケの大きな撮像条件に対応して、 この周波数 領域での標準圧縮配分率 (たとえば標準化量子化テーブルまたは量子化 係数の配分) を使用する。
[ R ] 合焦状況
焦点検出ュニッ トなどから得られる合焦状況に基づいて、 画像データ のボケ具合をグループ分けすることができる。 このように合焦状況に応 じて画像データをグループ分けすることによ り、 次のような圧縮符号化 が可能となる。
•試行ステップにおいて、 同一グループ内の画像デ一夕に関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。 參パラメ一夕推定ステツプにおいて、 同一グループ内の画像データに関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。 參圧縮ステップにおいて、 同一グループ内の画像データに関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
•画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像データのグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ —ブルまたは量子化係数) の配分を使い分ける。
[ S ] 多点の合焦状況
多点焦点検出ュニッ 卜などから得られる多点合焦状況に基づいて、 画 面内のボケ面積やボケ位置を大まかにグループ分けすることができる。 このように多点合焦状況に応じて画像デ一夕をグループ分けすることに より、 次のような圧縮符号化が可能となる。
•試行ステップにおいて、 同一グループ内の画像データに関して予め求 めた標準的な圧縮パラメータを、 試行用の圧縮パラメ一夕とする。
きパラメ一夕推定ステップにおいて、 同一グループ内の画像データに関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。 鲁圧縮ステップにおいて、 同一グループ内の画像データに関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
秦画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像デ一夕のグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ 一ブルまたは量子化係数の配分) を使い分ける。
[ T ] 撮影レンズの種別
撮影レンズの種別デ一夕に基づいて、 画像データの収差性能、 空間周 波数特性(M T F特性)、 ボケ味などを大まかにグループ分けすることが できる。 このように撮影レンズの種別に応じて画像データをグループ分 けすることにより、 次のような圧縮符号化が可能となる。
•試行ステツプにおいて、 同一グループ内の画像データに関して予め求 めた標準的な圧縮パラメ一夕を、 試行用の圧縮パラメ一夕とする。 參パラメ一夕推定ステップにおいて、 同一グループ内の画像データに関 して予め求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。 秦圧縮ステツプにおいて、 同一グループ内の画像デ一夕に関して求めた 補正処理を用いて、 圧縮パラメ一夕を補正する。
譬画質の主観評価などに基づいて、 各グループごとに適正な周波数領域 での標準圧縮配分率 (たとえば標準量子化テーブルまたは量子化係数の 配分) を決定する。 圧縮符号化時には、 画像デ一夕のグループ分けに応 じて、 これらの周波数領域での標準圧縮配分率 (たとえば標準量子化テ 一ブルまたは量子化係数の配分) を使い分ける。
[ U ] 温度
C C Dなどの撮像素子温度が上昇するに従って、 画像データのノイズ レベルが大きくなる。 したがって、 温度の高い撮像条件では、 圧縮符号 量がノィズ増加分だけ増えるため、 次のような圧縮符号化が好ましい。 試行ステップにおいて、 試行用の圧縮パラメ一夕を圧縮度の高いもの にする。
參パラメ一夕推定ステップにおいて、 ノィズレベルの大きい画像データ に関して求めた統計的関係を用いて、 圧縮パラメ一夕を推定する。 き圧縮ステップにおいて、 ノィズレベルの大きい画像デ一夕に関して求 めた補正処理を用いて、 圧縮パラメ一夕を補正する。
會周波数領域での標準圧縮配分率 (たとえば標準量子化テーブルまたは 量子化係数) を変更して、 ノイズの空間周波数成分を強く抑圧する。 産業上の利用可能性
本発明による圧縮符号化方法によれば、 圧縮パラメ一夕の推定を適切 かつ正確に行うことが可能となったり、 撮像条件に起因する圧縮パラメ —夕の推定誤差を厳密に補正することができたり、 画像データのノィズ を目立たなく したり、 画質劣化を抑えることが可能となる。
本発明は、 電子カメラ、 ディ ジタル式ビデオカメラ、 複写機、 ファク シミ リ等、 画像を記憶したり伝送したりする装置に広く応用することが できる。

Claims

WO 00/78053 ^ PCT/JPOO/00848 請 求 の 範 囲
1 . 試行用の圧縮パラメ一夕を使用して、 画像デ一夕を圧縮符号化する 試行ステツプと、 前記試行ステツプにおける前記画像データの圧縮結果 に基づいて、 前記画像データを目標とする符号量に圧縮するための圧縮 パラメ一夕を推定するパラメ一夕推定ステップと、 前記パラメ一夕推定 ステツプで推定した圧縮パラメ一夕を使用して、 前記画像データを圧縮 符号化する圧縮ステップとを有してなり、 前記試行ステップは、 前記画 像データの撮像条件を取得し、 当該撮像条件または撮像条件の区分に対 応して、 前記試行用の圧縮パラメ一夕を変更するものである圧縮符号化 方法。
2 . 試行用の圧縮パラメ一夕を使用して、 画像データを圧縮符号化する 試行ステップと、 前記試行ステツプにおける前記画像データの圧縮結果 を、 予め複数の画像デ一夕を試験的に圧縮符号化して得た 「圧縮パラメ —夕と圧縮符号量との統計的関係」 に当てはめて、 前記画像データを目 標とする符号量に圧縮するための圧縮パラメ一夕を推定するパラメ一夕 推定ステツプと、 前記パラメ一夕推定ステツプで推定した圧縮パラメ一 夕を使用して、 前記画像データを圧縮符号化する圧縮ステップとを有し てなり、 前記パラメ一夕推定ステップは、 撮像条件又は撮像条件の区分 ごとに前記統計的関係を準備しておき、 前記画像デ一夕の撮像条件に対 応して、 前記統計的関係を選択使用するものである圧縮符号化方法。
3 . 試行用の圧縮パラメ一夕を使用して、 画像デ一夕を圧縮符号化する 試行ステップと、 前記試行ステップにおける前記画像データの圧縮結果 に基づいて、 前記画像データを目標とする符号量に圧縮するための圧縮 パラメ一夕を推定するパラメ一夕推定ステツプと、 前記パラメ一夕推定 ステツプで推定した圧縮パラメ一夕を使用して、 前記画像データを圧縮 符号化する圧縮ステップとを有してなり、 前記圧縮ステップは、 前記画 像データの撮像条件を取得し、 当該撮像条件または撮像条件の区分に対 応して、 前記パラメ一夕推定ステップで推定した圧縮パラメ一夕を補正 するものである圧縮符号化方法。
4 . 周波数領域での標準圧縮配分率に試行用のスケールファクタを乗じ て得た周波数領域での圧縮配分率を用いて、 直交変換後の画像データを 量子化および符号化し、 前記画像データの圧縮符号量を求める試行ステ ップと、 前記試行ステツプで求めた前記画像デ一夕の圧縮符号量に基づ いて、 前記画像デ一夕を目標とする符号量に圧縮するためのスケールフ ァク夕を推定するパラメ一夕推定ステップと、 前記周波数領域での標準 圧縮配分率に前記パラメ一夕推定ステツプで推定したスケールファク夕 を乗じて得た周波数領域での圧縮配分率を用いて、 直交変換後の前記画 像デ一夕を量子化および符号化する圧縮ステツプとを有してなり、 前記 試行ステツプおよび前記圧縮ステツプは、 撮像条件または撮像条件の区 分ごとに前記周波数領域での標準圧縮配分率を準備し、 前記画像データ の撮像条件に対応して、 前記周波数領域での標準圧縮配分率を選択使用 するものである圧縮符号化方法。
5 . 画像データを直交変換して変換係数を求める直交変換ステツプと、 前記直交変換ステツプで求めた変換係数を、 周波数領域での圧縮配分 率に従って量子化する量子化ステツプと、 前記量子化ステツプで量子化 された変換係数を符号化する符号化ステップとを有してなり、 前記量子 化ステツプは、 前記画像データの撮像条件または撮像条件の区分に対応 して前記周波数領域での圧縮配分率を変更することにより、 空間周波数 領域上の圧縮配分を変更するものである圧縮符号化方法。
6 . 請求の範囲第 1項ないし第 5項のいずれか 1項に記載の圧縮符号化 方法であって、 前記撮像条件は、 前記画像デ一夕を撮像した撮像部の条 件である、 撮像感度設定、 信号ゲイン、 ガンマ補正カーブ、 電子ズーム の有無、 電子ズームの倍率、 シャツ夕速度、 ホワイ トバランス調整値、 特殊撮影効果、 階調の少なく とも一つである圧縮符号化方法。
7 . 請求の範囲第 1項ないし第 5項のいずれか 1項に記載の圧縮符号化 方法であって、 前記撮像条件は、 前記画像データを撮像した撮影環境の 条件である、 ス トロボ使用の有無、 スローシンクロ使用の有無、 日中シ ンクロ使用の有無、 測光値、 マルチパターン測光値、 被写体の配光状態、 縦位置撮影の有無、 カメラブレ量、 温度の少なく とも一つである圧縮符 号化方法。
8 . 請求の範囲第 1項ないし第 4項のいずれか 1項に記載の圧縮符号化 方法であって、 前記撮像条件は、 前記画像データを撮像した撮影レンズ の条件である、 マクロ撮影の有無、 像倍率、 被写界深度、 絞り値、 焦点 距離、 撮影画角、 被写体距離、 合焦状況、 多点合焦状況、 撮影レンズの 種別の少なく とも一つである圧縮符号化方法。
9 . 請求の範囲第 5項に記載の圧縮符号化方法であって、 前記撮像条件 は、 前記画像デ一夕を撮像した撮影レンズの条件である、 像倍率、 合焦 状況、 多点合焦状況の少なく とも一つである圧縮符号化方法。
1 0 . 請求の範囲第 1項ないし第 9項のいずれか 1項に記載の圧縮符号 化方法をコンピュー夕に実行させるための圧縮符号化プログラムを記録 した機械読み取り可能な記録媒体。
1 1 . 請求の範囲第 1 0項に記載の記録媒体を有してなる撮像装置。
訂正された用紙 (鄉輒)
PCT/JP2000/000848 1999-06-14 2000-02-16 Compression encoding method, recorded medium on which compression encoding program is recorded, and imaging device WO2000078053A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020017001829A KR20010072430A (ko) 1999-06-14 2000-02-16 압축부호화 방법, 압축부호화 프로그램을 기록한기록매체, 및 촬상장치
EP00903963A EP1107610A1 (en) 1999-06-14 2000-02-16 Compression encoding method, recorded medium on which compression encoding program is recorded, and imaging device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP11/167156 1999-06-14
JP16715699 1999-06-14

Publications (1)

Publication Number Publication Date
WO2000078053A1 true WO2000078053A1 (en) 2000-12-21

Family

ID=15844471

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2000/000848 WO2000078053A1 (en) 1999-06-14 2000-02-16 Compression encoding method, recorded medium on which compression encoding program is recorded, and imaging device

Country Status (5)

Country Link
EP (1) EP1107610A1 (ja)
KR (1) KR20010072430A (ja)
CN (1) CN1314053A (ja)
TW (1) TW469731B (ja)
WO (1) WO2000078053A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1322116A2 (en) * 2001-04-12 2003-06-25 Nikon Corporation Image compression device, method for image compression, and electronic camera
CN100418376C (zh) * 2002-08-09 2008-09-10 佳能株式会社 摄影设备及图像处理方法
CN115037937A (zh) * 2022-06-02 2022-09-09 北京新唐思创教育科技有限公司 图像压缩方法、装置、设备及介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4408779B2 (ja) * 2004-09-15 2010-02-03 キヤノン株式会社 画像処理装置
JP4274234B2 (ja) * 2006-12-04 2009-06-03 ソニー株式会社 圧縮データ量制御方法及び画像データ圧縮装置
US8295615B2 (en) 2007-05-10 2012-10-23 International Business Machines Corporation Selective compression of synchronized content based on a calculated compression ratio
CN101742291B (zh) * 2008-11-14 2012-11-07 北大方正集团有限公司 压缩图像目标的定位与识别方法及装置
CN101835044B (zh) * 2010-04-23 2012-04-11 南京邮电大学 一种频率域分布式视频编码中的分类组合方法
GB2494031B (en) * 2011-08-03 2017-09-20 Qualcomm Inc Zero pass JPEG bit rate controller
US8634639B2 (en) 2011-08-03 2014-01-21 Csr Technology Inc. Zero pass JPEG bit rate controller
JP6262198B2 (ja) 2012-03-26 2018-01-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像符号化及び復号のための輝度領域ベース装置及び方法
CN103369313B (zh) * 2012-03-31 2017-10-10 百度在线网络技术(北京)有限公司 一种进行图像压缩的方法、装置和设备
US20150181208A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Thermal and power management with video coding
KR102282455B1 (ko) * 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
EP3503548B1 (en) * 2017-12-19 2019-10-23 Axis AB Video encoding method and system
KR102499187B1 (ko) * 2018-02-12 2023-02-13 삼성전자주식회사 카메라를 이용하여 획득한 이미지를 압축 처리하는 전자 장치 및 그 동작 방법
KR102668233B1 (ko) 2018-09-04 2024-05-23 삼성전자주식회사 관심 영역을 통해 움직이는 외부 객체에 대해 프레임 레이트를 제어하여 이미지들을 획득하는 전자 장치 및 그의 동작 방법
CN113038139B (zh) * 2021-03-25 2023-05-12 贵州电网有限责任公司 一种应用于机巡图片上传的图像压缩方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04333987A (ja) * 1991-05-10 1992-11-20 Canon Inc 画像入力装置
US5502485A (en) * 1993-06-23 1996-03-26 Nikon Corporation Camera which compresses digital image data in correspondence with the focus control or the stop value of the camera
JPH09116802A (ja) * 1995-10-16 1997-05-02 Matsushita Electric Ind Co Ltd 画像伝送装置及び画像伝送方法
JPH10150633A (ja) * 1996-11-18 1998-06-02 Konica Corp デジタルスチルカメラ
US5845011A (en) * 1992-09-01 1998-12-01 Canon Kabushiki Kaisha Image processing apparatus for compressing image data according to an enlargement ratio of an enlarged image data
JPH1188825A (ja) * 1997-09-08 1999-03-30 Canon Inc 電子カメラ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04333987A (ja) * 1991-05-10 1992-11-20 Canon Inc 画像入力装置
US5845011A (en) * 1992-09-01 1998-12-01 Canon Kabushiki Kaisha Image processing apparatus for compressing image data according to an enlargement ratio of an enlarged image data
US5502485A (en) * 1993-06-23 1996-03-26 Nikon Corporation Camera which compresses digital image data in correspondence with the focus control or the stop value of the camera
JPH09116802A (ja) * 1995-10-16 1997-05-02 Matsushita Electric Ind Co Ltd 画像伝送装置及び画像伝送方法
JPH10150633A (ja) * 1996-11-18 1998-06-02 Konica Corp デジタルスチルカメラ
JPH1188825A (ja) * 1997-09-08 1999-03-30 Canon Inc 電子カメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1322116A2 (en) * 2001-04-12 2003-06-25 Nikon Corporation Image compression device, method for image compression, and electronic camera
EP1322116A3 (en) * 2001-04-12 2010-04-21 Nikon Corporation Image compression device, method for image compression, and electronic camera
CN100418376C (zh) * 2002-08-09 2008-09-10 佳能株式会社 摄影设备及图像处理方法
CN115037937A (zh) * 2022-06-02 2022-09-09 北京新唐思创教育科技有限公司 图像压缩方法、装置、设备及介质

Also Published As

Publication number Publication date
EP1107610A1 (en) 2001-06-13
TW469731B (en) 2001-12-21
KR20010072430A (ko) 2001-07-31
CN1314053A (zh) 2001-09-19

Similar Documents

Publication Publication Date Title
WO2000078053A1 (en) Compression encoding method, recorded medium on which compression encoding program is recorded, and imaging device
US8872937B2 (en) Image capture apparatus and image capturing method
JP4896852B2 (ja) オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置
US7725022B2 (en) Dynamic automatic exposure compensation for image capture devices
US8294812B2 (en) Image-shooting apparatus capable of performing super-resolution processing
US7551797B2 (en) White balance adjustment
US20110193984A1 (en) Imaging apparatus
US20070196023A1 (en) Image processing device
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
WO2004062275A1 (ja) 画像処理装置および画像処理プログラム
WO2009060970A1 (ja) 信号処理装置及び信号処理プログラム
JP3427820B2 (ja) 圧縮符号化方法,圧縮符号化プログラムを記録した記録媒体,および圧縮符号化方法を実施する電子カメラ
US7433531B2 (en) Image pickup apparatus and method
JP2003060980A (ja) 画像処理システム
KR20060116713A (ko) 화이트 밸런스 제어장치 및 방법, 프로그램과 촬상장치
KR101110725B1 (ko) 썸네일 이미지를 이용한 후보 이미지 제시 방법 및 이를 수행하는 이미지 신호 처리 장치와 촬상 장치
JP6700798B2 (ja) 撮像装置及びその制御方法
JP4765240B2 (ja) 圧縮符号化方法,圧縮符号化プログラムを記録した記録媒体,および圧縮符号化方法を実施する電子カメラ
JP2006115483A (ja) 電子カメラおよび画像処理プログラム
JP4027545B2 (ja) デジタルカメラおよびその文字撮影方法
JP2006166259A (ja) デジタルカメラ並びにデジタルカメラシステム、画像圧縮方法、画像処理方法及びプログラム並びにそれらを記録したコンピュータ読み取り可能な記録媒体
JP5659574B2 (ja) 画像処理装置、撮像装置、及び画像処理プログラム
US20110032382A1 (en) Imaging apparatus and information processing apparatus
JP2001209782A (ja) 撮像装置およびその文字撮影方法
JP2021182675A (ja) 画像符号化装置及びその制御方法及びプログラム、並びに、撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 00801109.5

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 2000903963

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020017001829

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 09762851

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2000903963

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1020017001829

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1020017001829

Country of ref document: KR

WWW Wipo information: withdrawn in national office

Ref document number: 2000903963

Country of ref document: EP