WO2008004521A1 - Image processing method and device, image processing program, and recording medium containing the program - Google Patents

Image processing method and device, image processing program, and recording medium containing the program Download PDF

Info

Publication number
WO2008004521A1
WO2008004521A1 PCT/JP2007/063240 JP2007063240W WO2008004521A1 WO 2008004521 A1 WO2008004521 A1 WO 2008004521A1 JP 2007063240 W JP2007063240 W JP 2007063240W WO 2008004521 A1 WO2008004521 A1 WO 2008004521A1
Authority
WO
WIPO (PCT)
Prior art keywords
bandwidth
image data
optimum
image
filter
Prior art date
Application number
PCT/JP2007/063240
Other languages
English (en)
French (fr)
Inventor
Tokinobu Mitasaki
Kazuto Kamikura
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38894491&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2008004521(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to CA 2656207 priority Critical patent/CA2656207C/en
Priority to CN2007800237481A priority patent/CN101479764B/zh
Priority to ES07768015.5T priority patent/ES2567444T3/es
Priority to BRPI0714172A priority patent/BRPI0714172B1/pt
Priority to EP07768015.5A priority patent/EP2037406B1/en
Priority to US12/306,589 priority patent/US8611434B2/en
Priority to JP2008523674A priority patent/JP4839375B2/ja
Publication of WO2008004521A1 publication Critical patent/WO2008004521A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • Image processing method and apparatus image processing program, and recording medium recording the program
  • the present invention relates to an image processing method and apparatus capable of realizing filter processing for converting an original image into an image having a predetermined objective image quality evaluation value by simplified processing, and the image processing method.
  • the present invention relates to an image processing program used for realizing the above and a computer-readable recording medium storing the program.
  • a pre-filter often used as a pre-processing of video code is effective in reducing block distortion and mosquito noise associated with encoding and improving subjective image quality.
  • bandwidth By limiting the passband width (hereinafter referred to as bandwidth) of the prefilter to be applied, noise contained in the original image is removed and code efficiency is improved.
  • the bandwidth is narrowly limited. If it is too high, the image quality will be significantly reduced.
  • FIG. 7 shows an image processing method for band limitation.
  • step S In the image processing method for band limitation, as shown in this figure, first, original image data B (l) is input and converted to frequency component 1 (1) (step S). 100). Subsequently, the frequency component 1 (1) is band-limited with the bandwidth rl (0 ⁇ rl ⁇ 1) to obtain the frequency component I (r 1) (step S101). Subsequently, the frequency component I (rl) is image-converted to generate filtered image data B (rl) (step S102).
  • PSNR Peak Signal to Noise Ratio
  • N the noise level
  • PSNR 20 X log (S / N)
  • FIG. 8 shows a device configuration of an optimum filter image generation device 100 that generates optimum filter image data by performing brute force band limitation.
  • the optimum filtered image generation apparatus 100 includes an original image data input unit 101, a frequency component analysis unit 102, a bandwidth manual selection unit 103, a band limiting unit 104, an image data generation Unit 105, PSNR calculation unit 106, image quality determination unit 107, and optimum band limited image data output unit 108.
  • FIG. 9 shows an image processing method for generating optimum filter image data by performing brute force band limitation executed by the optimum filter image generation device 100 configured as described above.
  • the original image data B (l) is input by the original image data input unit 101, and then the frequency component analysis unit 102 This is converted to frequency component 1 (1) (step S200).
  • the bandwidth manual selection unit 103 manually selects the provisional bandwidth rl (step S201).
  • the band limiting unit 104 performs band limitation on the converted frequency component 1 (1) with the selected bandwidth rl to obtain a frequency component I (rl) (step S202).
  • the image data generating unit 105 generates image data B (rl) by converting the frequency component I (rl) into an image (step S203).
  • the PSNR calculation unit 106 compares the original image data B (l) and the image data B (rl) to calculate PSNR (rl) (hereinafter referred to as P (r 1)) ( Step S204).
  • the image quality determination unit 107 determines whether or not the calculated P (rl) has a desired image quality (step S205). If the image quality is desired, the optimum band limited image data output unit 10 In step 8, image data B (rl) is output as optimum band limited image data (optimum filter image data) (step S206).
  • this process is repeated N times until a desired image quality is obtained, and the bandwidth rN obtained by the optimum bandwidth limited image data output unit 108 is determined with the finally obtained bandwidth rN as the optimum bandwidth.
  • the image data B (rN) created using is output as optimum band limited image data (optimum filtered image data) (step S206).
  • the filtering process is performed on various images and all the frames constituting them, and the subjective or objective image quality of the obtained image signal is evaluated each time.
  • This method of repeatedly performing this process brute force until the equivalent image quality is obtained has the problem that it is not realistic in terms of time and cost in situations where a large number of images are processed, and is not practical.
  • FIG. 10 illustrates a device configuration of an optimum filter image generation device 200 that generates optimum filter image data by using the sign key information.
  • the optimum filtered image generation apparatus 200 includes an original image data input unit 201, a frequency component analysis unit 202, an image data encoding unit 203, and an optimum band limit width determination unit.
  • FIG. 11 shows an image processing method for generating optimum filter image data by using encoding information, which is executed by the optimum filter image generation device 200 configured as described above.
  • the original image data B (l) is input from the original image data input unit 201, and then the frequency component analysis unit 202. This is converted to frequency component 1 (1) (step S300). Subsequently, the input original image data B (l) is encoded by the image data encoding unit 203 (step S301). Subsequently, the optimal bandwidth limit determination unit 204 determines the optimal bandwidth rl based on the code amount information obtained by encoding (step S302).
  • the band limiting unit 205 performs band limitation on the converted frequency component 1 (1) with the determined optimum bandwidth rl to obtain a frequency component I (rl) (step S303).
  • the image data generation unit 206 converts the frequency component I (rl) into an image to generate image data B (rl) (step S304).
  • the optimum band limited image data output unit 207 outputs the image data B (rl) as optimum band limited image data (optimum filtered image data) (step S305).
  • Patent Document 1 Japanese Patent Laid-Open No. 6-225276
  • the band limiting process and the code key process are inseparable, and even if only pre-filter processing using the optimum bandwidth is desired, the code is not necessary.
  • the sign process is performed after the pre-filter process, the sign process is required twice, and the image size is large! There is a problem.
  • the optimization of the bandwidth used as a pre-filter can simplify the process and use PSNR, which is an objective image quality evaluation standard, as compared with a method using code amount information such as a code amount. An arbitrarily controllable technique is desirable.
  • the present invention has been made in view of powerful circumstances, and makes it possible to automatically perform adaptive filter processing on an image without encoding processing.
  • the purpose is to provide a new image processing technology that enables adaptive filter processing that results in frames with subjectively high quality images and equivalent objective image quality evaluation values with simplified processing. To do.
  • the image processing apparatus of the present invention includes (1) first bandwidth determining means for determining a first bandwidth from the image size of the input original image data, and (2) A first filter coefficient array calculating means for calculating a first filter coefficient array for realizing a frequency characteristic when band limiting is performed with the first bandwidth determined by the first bandwidth determining means; and (3) calculating a first filter coefficient array.
  • First filter image data generating means for filtering the original image data using the first filter coefficient array calculated by the means to generate first filter image data; and (4) first filter image data generating means
  • a distribution coefficient calculation means for deriving an objective image quality evaluation value of the first filter image data generated in step (b) and calculating a distribution coefficient to be used for determining the optimal bandwidth based on the evaluation value; (5) the distribution coefficient and the optimal bandwidth; Correspondence of An optimum bandwidth determination means for determining an optimum bandwidth corresponding to the distribution coefficient calculated by the distribution coefficient calculation means by referring to the optimum bandwidth determination table for setting the relationship; (6) optimal bandwidth determination means
  • the optimum filter coefficient array calculating means for calculating the optimum filter coefficient array for realizing the frequency characteristics when band limiting is performed with the optimum bandwidth determined in (7), and (7) the optimum filter coefficient array calculated by the optimum filter coefficient array calculating means
  • an optimum filter image generation unit configured to filter the original image data and generate optimum filter image data.
  • first bandwidth determination means Refers to the image size of the original image data by referring to this first bandwidth determination table. Processing to determine the first bandwidth.
  • an optimal bandwidth determination table may be prepared in association with the image size and the objective objective image quality evaluation value.
  • the optimal bandwidth determination means may select the image size of the original image data. Select the optimal bandwidth determination table corresponding to the objective image quality evaluation value of the specified target and refer to the selected optimal bandwidth determination table to support the distribution coefficient calculated by the distribution coefficient calculation means. Process to determine the optimal bandwidth.
  • the image processing method of the present invention realized by the operation of each of the above processing means can also be realized by a computer program.
  • This computer program is recorded on a suitable computer-readable recording medium.
  • the present invention is realized by being provided or provided via a network, installed when implementing the present invention, and operating on a control means such as a CPU.
  • the first bandwidth corresponding to the image size of the original image data is obtained by referring to, for example, the first bandwidth determination table. Determine the width.
  • the PSNR between the original image data and the generated first filter image data is derived, and based on this, the PSNR is derived.
  • the allocation coefficient used for determining the optimum bandwidth is calculated by dividing the PSNR obtained when the original image data is not band-limited by the derived PSNR.
  • the optimum bandwidth determination table corresponding to the image size of the original image data and the designated target PSNR is selected, and the calculation is performed by referring to the selected optimum bandwidth determination table.
  • the optimum bandwidth corresponding to the distribution coefficient is determined.
  • adaptive filter processing in which all frames of a video are subjectively high quality and have an equivalent objective image quality evaluation value is automatically performed without encoding processing. Therefore, it is possible to simplify the band limiting process and improve the functionality.
  • FIG. 1 shows an embodiment of an optimum filtered image generating apparatus according to the present invention.
  • FIG. 2 is an explanatory diagram of a first bandwidth determination table.
  • FIG. 3 is an explanatory diagram of an optimum bandwidth determination table.
  • FIG. 4 an explanatory diagram of an optimum bandwidth determination table.
  • FIG. 5 is a processing flow executed by the optimum filtered image generating apparatus of the present embodiment.
  • FIG. 6 is an explanatory diagram of experimental results showing the correspondence between bandwidth and PSNR.
  • FIG. 7 is an explanatory diagram of an image processing method for band limitation.
  • FIG. 8 is a device configuration diagram of an optimum filter image generation device that generates optimum filter image data by performing brute force band limitation.
  • FIG. 9 is a processing flow executed by the optimum filter image generation device that generates optimum filter image data by performing brute force band limitation.
  • FIG. 10 is a device configuration diagram of a conventional optimum filtered image generation device.
  • FIG. 11 is a processing flow executed by a conventional optimum filtered image generating apparatus.
  • FIG. 1 illustrates an embodiment of the optimum filtered image generating apparatus 1 according to the present invention.
  • the optimum filtered image generating apparatus 1 makes it possible to automatically perform adaptive filter processing on an image without encoding processing, so that all frames of the video are main.
  • the adaptive filter processing that results in an image with high quality and equivalent PSNR is realized by simplified processing.
  • the first bandwidth decision table 10 (Actually, the storage unit storing the first bandwidth determination table), the optimal bandwidth determination table 11 (actually, the storage unit storing the optimal bandwidth determination table), the original image data input unit 12, Bandwidth determination unit 13, first filter coefficient array calculation unit 14, first filter image data generation unit 15, distribution coefficient calculation unit 16, optimal bandwidth determination table selection unit 17, and optimal bandwidth determination unit 18 And an optimum filter coefficient array calculation unit 19 and an optimum filter image data generation unit 20 , And an optimum filtered image data output unit 21.
  • the value of the first bandwidth rl used when processing image data of the image size is associated with the image size. Information about whether or not is managed. For example, for an image with an image size of 4096 X 2048 pixels, the value of the first bandwidth rl is C1, and for an image with an image size of 1920 X 1080 pixels, the value of the first bandwidth rl is C2. Thus, the correspondence between the image size and the first bandwidth r 1 is managed.
  • the value of the first bandwidth rl is set to become smaller as the image size increases, so the value Ci of the first bandwidth rl shown in FIG. 0 ⁇ CK C2 ⁇ C3 ⁇ C4 ⁇ C5 ⁇ C6 ⁇ C7 ⁇ 1
  • the power indicating the table structure in which the value of the first bandwidth rl becomes such a value is within the range of this image size.
  • the first bandwidth rl may have such a table structure that it is such a value.
  • optimum bandwidth determination table 11 As shown in FIG. 3, a plurality of target PSNRs are set for each image size, and a plurality of tables are prepared for each combination thereof.
  • a target PSNR with a certain image size As shown in Fig. 4, it is defined in association with the range of the distribution coefficient X described later, and in association with the value of the distribution coefficient X in that range.
  • Information on what value is the optimum bandwidth r2 (bandwidth for achieving the target PSNR) is managed.
  • the value of 2 is B, which is optimal for the distribution factor X in the range of “A ⁇ X ⁇ A”
  • the original image data input unit 12 inputs the original image data B (l) for which the optimum filtered image data is to be generated, and specifies the image size V of the input original image data B (l). .
  • the first bandwidth determination unit 13 is defined according to the image size V by referring to the first bandwidth determination table 10 using the image size V specified by the original image data input unit 12 as a key.
  • the first bandwidth rl to be determined is determined.
  • the first filter coefficient array calculation unit 14 calculates a first filter coefficient array that realizes frequency characteristics when band limiting is performed with the first bandwidth rl determined by the first bandwidth determination unit 13.
  • the first filter image data generation unit 15 performs a filtering process on the original image data B (l) using the first filter coefficient array calculated by the first filter coefficient array calculation unit 14, and the first filter Generate image data B (rl).
  • the distribution coefficient calculation unit 16 includes the original image data B (1) and the first filter image data generation unit 1
  • the optimum bandwidth determination table selection unit 17 selects the image size V specified by the original image data input unit 12 from the plurality of optimum bandwidth determination tables 11 prepared in association with the image size and the target PSNR. User power Selects the optimum bandwidth determination table 11 corresponding to the given target PSNR, and outputs the ID number assigned to the selected table.
  • the optimal bandwidth determination unit 18 uses the allocation coefficient X calculated by the allocation coefficient calculation unit 16 as a key, and the optimal bandwidth (indicated by the above ID number) selected by the optimal bandwidth determination table selection unit 17 By referring to the decision table 11, the optimum bandwidth r2 is determined.
  • the optimum filter coefficient array calculation unit 19 calculates an optimum filter coefficient array that realizes frequency characteristics when band limiting is performed with the optimum bandwidth r2 determined by the optimum bandwidth determination unit 18.
  • the optimum filter image data generation unit 20 performs the filtering process on the original image data B (l) using the optimum filter coefficient array calculated by the optimum filter coefficient array calculation unit 19, and the optimum filter image data B Generate (r2).
  • the optimum filter image data output unit 21 outputs the optimum filter image data generated by the optimum filter image data generation unit 20.
  • FIG. 5 shows an example of a processing flow executed by the optimum filtered image generating apparatus 1 of the present embodiment configured as described above.
  • the optimum filtered image generating apparatus 1 of the present embodiment requires generation of optimum filtered image data. If there is a request, as shown in the processing flow of FIG. 5, first, in step S10, the original image data B (l) for which the optimum filter image data is to be generated is input and the input original image Specify the image size V of data B (1).
  • step SI1 by determining the first bandwidth using the specified image size V as a key, the first bandwidth rl defined according to the image size XV is referred to Table 10. Decide.
  • the first bandwidth r 1 defined in advance is determined according to the fixed size.
  • step S12 a first filter coefficient array that realizes frequency characteristics when band limiting is performed with the determined first bandwidth rl is calculated.
  • step S13 the original image data B (l) is filtered using the calculated first filter coefficient array to generate first filter image data B (rl). .
  • step S14 the original image data B (1) is compared with the generated first filter image data B (rl), and the PSNR of the first filter image data B (rl) is obtained. Measure P (rl) and calculate the distribution factor X based on it.
  • the distribution coefficient X is calculated according to the following calculation formula.
  • the value "51.2" shown in the above equation (1) indicates the PSNR value obtained when the original image data is not band-limited.
  • step S15 the image size specified by the original image data input unit 12 is selected from a plurality of optimum bandwidth determination tables 11 prepared in association with the image size XV and the target PSNR. V and user power Select the optimal bandwidth determination table 11 corresponding to the given target PSNR.
  • the optimum bandwidth is determined. It is not necessary to prepare Table 11 in association with the image size and the target PSNR. It is necessary to prepare a plurality of optimum bandwidth determination tables 11 associated with the target PS NR.
  • the image size V of the original image data B (1) handled by the optimum filtered image generating apparatus 1 of the present embodiment is limited to a predetermined fixed size, and the optimum filtered image of the present embodiment
  • the target PSNR handled by the generator 1 is limited to a predetermined fixed value, it is not necessary to prepare the optimum bandwidth determination table 11 corresponding to the image size and the target PSNR. Table 11 shows the determination of the optimal bandwidth that is associated with.
  • step S16 the optimum bandwidth r2 is determined by referring to the optimum bandwidth determination table 11 selected using the calculated distribution coefficient X as a key.
  • step S 17 an optimum filter coefficient array that realizes frequency characteristics when band limiting is performed with the determined optimum bandwidth r 2 is calculated.
  • step S18 using the calculated optimum filter coefficient array, the original image data B (l) is filtered to obtain the optimum filtered image data B (r2 ) Is generated.
  • step S19 the generated optimum filter image data B (r2) is output, and the process is terminated.
  • the optimum filtered image generating apparatus 1 of the present embodiment performs optimum filtering image data that achieves the target PSNR only by performing the filtering process twice on the original image data B (l). It is processed so as to generate B (r2).
  • the image size V of the original image data B (l) is 19
  • C2 can be determined as the value of the first bandwidth rl.
  • First filter image data B (0.5) for images 1 to 5 having the characteristics shown in FIG. 6 is generated, and P (0.5) which is the PSNR of the first filter image data B (0.5) is generated. Will be measured.
  • the optimum bandwidth determination table 11 is, as described above,
  • the original image data B (l) with a larger distribution coefficient X is determined to have a larger optimum bandwidth r2, and the original image data B (l) with a smaller distribution coefficient X is determined.
  • the value of the optimum bandwidth r2 is determined as a small value.
  • the optimal bandwidth determination table 11 determines that the value of the optimal bandwidth r2 is determined to be larger for the original image data B (l) having a larger allocation coefficient X, and the allocation coefficient X is smaller. It is necessary to realize that the optimal bandwidth r2 value is determined to be as small as the original image data B (1).
  • t has a data structure.
  • the optimum bandwidth r2 determined in this way is the bandwidth that will generate the optimum filter image data B (r2) that achieves the target PSNR.
  • ⁇ calculate the optimal filter coefficient array that realizes the frequency characteristics when band limiting is performed with the optimal bandwidth r2, and use it to filter the original image data B (1) In this way, the optimum filtered image data B (r2) that achieves the target PSNR is generated.
  • a temporary bandwidth is determined according to the image size of the original image data, and based on this, the temporary filtered image data is obtained.
  • Generate and measure the PSNR and then calculate a dimensionless parameter called the allocation factor from the measured PSNR.
  • the optimal bandwidth determination table 11 is set so as to have a data conversion structure in which the original image data having a larger distribution coefficient is determined to have a larger optimal bandwidth value.
  • the optimal bandwidth that will achieve the target PSNR is determined, and based on this, the optimal filter image data of the original image data is generated. Is realized.
  • the filter image data that achieves the target PSNR can be generated simply by performing the filter process twice on the data.
  • adaptive filter processing is performed in which all frames of a video are subjectively high quality and have an equivalent objective image quality evaluation value. It can be automatically performed without encoding processing.
  • an objective image quality evaluation value other than the power PSNR indicating a configuration using PSNR as the objective image quality evaluation value of image data may be used.
  • various image sizes (so-called 4k ⁇ 2k, HD, SD,
  • the method of the present invention can be applied to images of any size. It can be applied.
  • An optimal bandwidth determination table 11 corresponding to various target PSNRs is prepared and prepared in advance, so that the present invention is provided.
  • Image processing capable of arbitrary image quality control can be performed using the technique.
  • the first bandwidth rl and the optimum bandwidth r2 have the same bandwidth in the horizontal direction and the vertical direction, but the bandwidth differs in the horizontal direction and the vertical direction. In this case, the same effect can be obtained.
  • the difference in bandwidth between the horizontal and vertical directions is that there is an attractive force in the vertical direction, so the brightness change is larger in the vertical direction than in the horizontal direction in natural distant view images and track images. This is to actively use the.
  • the same effect is obtained by applying to a digital filter having various tap numbers, which is not particularly mentioned in terms of the number of taps of the digital filter.
  • the desired frequency characteristic shape is inverse z transformed to obtain the coefficient array of the digital filter having this frequency characteristic Can be used.
  • the value 51.2 is used in equation (1), but this depends on the characteristics of the digital filter to be used, and when a different digital filter is used. It will be changed as appropriate.
  • the description has been made by performing the band processing only on the luminance component, but it is also possible to perform the band processing on the color difference component, and in this case, the code at the time of encoding It is possible to further increase the conversion efficiency.
  • the present invention makes it possible to realize a filter process for converting an original image into an image having a predetermined objective image quality evaluation value by a simplified process, and according to this configuration, all frames of a video image can be realized.
  • adaptive filter processing for converting to an image having subjectively high quality and an equivalent objective image quality evaluation value with simplified processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Description

明 細 書
画像処理方法及び装置、画像処理用プログラム及びそのプログラムを記 録した記録媒体
技術分野
[0001] 本発明は、原画像を所定の客観的画質評価値を持つ画像に変換するフィルタ処 理を簡素化された処理で実現できるようにする画像処理方法及びその装置と、その 画像処理方法の実現に用いられる画像処理用プログラム及びそのプログラムを記録 したコンピュータ読み取り可能な記録媒体とに関する。
本願は、 2006年 7月 3日に出願された特願 2006— 182931号に基づき優先権を 主張し、その内容をここに援用する。
背景技術
[0002] 映像符号ィ匕の前処理としてしばしば使用されるプレフィルタは、符号化に伴うブロッ ク歪みやモスキートノイズなどを緩和し主観的な画像品質を高める効果のあることが 知られている。適用するプレフィルタの通過帯域幅 (以下、帯域幅と称する）を制限す ることにより、原画像に含まれるノイズを除去し符号ィ匕効率を向上させるものであるが 、帯域幅を狭く制限しすぎると画質を著しく低下させてしまう。
[0003] 図 7に、帯域制限をする画像処理方法を示す。
[0004] 帯域制限をする画像処理方法では、この図に示すように、まず最初に、原画像デ ータ B (l)を入力し、これを周波数成分 1 (1)に変換する (ステップ S 100)。続いて、こ の周波数成分 1 (1)に対し、帯域幅 rl (0<rl < 1)で帯域制限を行い周波数成分 I (r 1)を得る (ステップ S101)。続いて、この周波数成分 I (rl)を画像変換することにより 、フィルタ処理した画像データ B (rl)を生成する（ステップ S 102)。
[0005] このような画像処理を、ある映像の全フレームに対して同じ帯域幅で適用した場合 、フレーム毎に画像の周波数特性は異なるため、フィルタ適用後のフレーム毎の画 像品質は異なり、低周波成分を多く含む画像では原画像との差分が小さぐ主観的 及び客観的画質低下も小さ 、が、高周波成分を多く含む画像ではエッジなどが平滑 ィ匕されぼけてしまい、主観的及び客観的画質が著しく低下してしまうといった問題が ある。
[0006] なお、客観的画質評価値としては PSNR (Peak Signal to Noise Ratio)などがよく用 いられる。ここで、 PSNRは、 Sを信号レベル、 Nを雑音レベルで表すならば、
PSNR= 20 X log (S/N)
10
という式で表される。
[0007] この問題に対して、主観的、客観的画質制御を、全ての画像に対する総当り的な 帯域制限により行う方法が考えられる。
[0008] 図 8に、総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する最 適フィルタ画像生成装置 100の装置構成を図示する。
[0009] この図に示すように、最適フィルタ画像生成装置 100は、原画像データ入力部 101 と、周波数成分解析部 102と、帯域幅手動選択部 103と、帯域制限部 104と、画像 データ生成部 105と、 PSNR算出部 106と、画質判定部 107と、最適帯域制限画像 データ出力部 108とから構成される。
[0010] 図 9に、このように構成される最適フィルタ画像生成装置 100で実行される総当り的 な帯域制限を行うことにより最適フィルタ画像データを生成する画像処理方法を示す
[0011] このように構成される最適フィルタ画像生成装置 100では、まず最初に、原画像デ ータ入力部 101にて、原画像データ B (l)を入力し、周波数成分解析部 102にて、こ れを周波数成分 1 (1)に変換する (ステップ S200)。
[0012] 続いて、帯域幅手動選択部 103にて、暫定的な帯域幅 rlを手動選択する (ステツ プ S201)。続いて、帯域制限部 104にて、変換した周波数成分 1 (1)に対し、選択し た帯域幅 rlで帯域制限を行 ヽ周波数成分 I (rl)を得る (ステップ S 202)。
[0013] 続いて、画像データ生成部 105にて、この周波数成分 I (rl)を画像変換すること〖こ より画像データ B (rl)を生成する（ステップ S203)。続いて、 PSNR算出部 106にて 、原画像データ B (l)とこの画像データ B (rl)とを比較して、 PSNR(rl) (以下、 P (r 1)とする）を算出する (ステップ S204)。
[0014] 続いて、画質判定部 107にて、算出した P (rl)が所望の画質かどうかを判定する（ ステップ S205)。そして、所望の画質であれば、最適帯域制限画像データ出力部 10 8にて、画像データ B (rl)を最適帯域制限画像データ (最適フィルタ画像データ）とし て出力する (ステップ S206)。
[0015] しかし、 1度目の処理で得られた P (rl)が所望の画質となることは稀であり、所望の 画質でない場合には帯域幅手動選択部 103の処理 (ステップ S201の処理）に戻り、 帯域制限処理後の画像が所望の画質に近づくよう再度帯域幅 r2を選択し、同様に 帯域制限、画像生成及び PSNR算出処理を繰り返す。
[0016] そして、本処理を所望の画質が得られるまで N回繰り返し、最終的に得られた帯域 幅 rNを最適帯域幅として、最適帯域制限画像データ出力部 108にて、この帯域幅 r Nを用いて作成された画像データ B (rN)を最適帯域制限画像データ（最適フィルタ 画像データ）として出力する (ステップ S206)。
[0017] し力しながら、様々な映像及びそれらを構成する全フレームに対しフィルタ処理を 行い、その都度得られた画像信号の主観的又は客観的画質を評価し、映像の全フ レームに対し同等の画質を得るまで本処理を総当り的に繰り返し行うというこの手法 は、多数の画像を処理するような状況には時間的、コスト的に不適であり、現実的で ないという問題がある。
[0018] この問題に対し、画像及び映像の符号ィ匕情報より最適帯域幅を求めて画像処理を 行う技術が知られている（例えば、特許文献 1参照)。
[0019] 図 10に、符号ィ匕情報を用いることにより最適フィルタ画像データを生成する最適フ ィルタ画像生成装置 200の装置構成を図示する。
[0020] この図に示すように、最適フィルタ画像生成装置 200は、原画像データ入力部 201 と、周波数成分解析部 202と、画像データ符号化部 203と、最適帯域制限幅決定部
204と、帯域制限部 205と、画像データ生成部 206と、最適帯域制限画像データ出 力部 207とから構成される。
[0021] 図 11に、このように構成される最適フィルタ画像生成装置 200で実行される、符号 化情報を用いることにより最適フィルタ画像データを生成する画像処理方法を示す。
[0022] このように構成される最適フィルタ画像生成装置 200では、まず最初に、原画像デ ータ入力部 201にて、原画像データ B (l)を入力し、周波数成分解析部 202にて、こ れを周波数成分 1 (1)へ変換する (ステップ S300)。 [0023] 続いて、画像データ符号化部 203にて、入力した原画像データ B (l)を符号化する (ステップ S301)。続いて、最適帯域制限幅決定部 204にて、符号化により得られた 符号量情報に基づいて、最適帯域幅 rlを決定する (ステップ S302)。
[0024] 続いて、帯域制限部 205にて、変換した周波数成分 1 (1)に対し、決定した最適帯 域幅 rlで帯域制限を行い周波数成分 I (rl)を得る (ステップ S303)。続いて、画像デ ータ生成部 206にて、この周波数成分 I (rl)を画像変換することにより画像データ B ( rl)を生成する（ステップ S 304)。
[0025] 最後に、最適帯域制限画像データ出力部 207にて、画像データ B (rl)を最適帯域 制限画像データ（最適フィルタ画像データ）として出力する (ステップ S305)。
[0026] このようにして、図 10のように構成される従来の最適フィルタ画像生成装置 200で は、一度符号化を行って、その符号ィ匕により得られる符号ィ匕情報に基づいて最適帯 域幅を決定することで、図 8のように構成される最適フィルタ画像生成装置 100で必 要とされるような繰り返し処理を行うことなぐ最適フィルタ画像データを生成するよう にしている。
特許文献 1：特開平 6 - 225276号公報
発明の開示
発明が解決しょうとする課題
[0027] 確かに、図 10のように構成される従来の最適フィルタ画像生成装置 200によれば、 図 8のように構成される最適フィルタ画像生成装置 100で必要とされるような繰り返し 処理を行うことなぐ最適フィルタ画像データを生成できるようになる。
[0028] し力しながら、図 10のように構成される従来の最適フィルタ画像生成装置 200では 、一度符号化を行って、その符号ィ匕により得られる符号ィ匕情報に基づいて最適帯域 幅を決定するようにして 、る。
[0029] こうした符号ィ匕情報を利用した手法では、帯域制限処理と符号ィ匕処理とが不可分と なっており、最適帯域幅を用いたプレフィルタ処理のみをしたい場合であっても、符 号ィ匕処理が必要となり、プレフィルタ処理後に符号ィ匕処理を行う場合には、 2回の符 号ィ匕処理が必要となり、画像サイズが大き!/、場合などは特に処理時間を要すると 、う 問題がある。 [0030] これらの点からプレフィルタとして用いる帯域幅の最適化は、符号量などの符号ィ匕 情報を用いる手法よりも、処理を簡素化でき、かつ客観的画質評価基準である PSN Rなどによる任意制御可能な手法が望ましい。
[0031] 本発明は力かる事情に鑑みてなされたものであり、画像に対しての適応的なフィル タ処理を符号化処理なしで自動的に行うことを可能にすることで、映像の全フレーム が主観的に高品質でありかつ同等の客観的画質評価値を持つ画像となる適応的な フィルタ処理を簡素化された処理で実現できるようにする新たな画像処理技術の提 供を目的とする。
課題を解決するための手段
[0032] この目的を達成するために、本発明の画像処理装置は、（1)入力した原画像デー タの画像サイズから第一帯域幅を決定する第一帯域幅決定手段と、 (2)第一帯域幅 決定手段の決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第 一フィルタ係数配列を算出する第一フィルタ係数配列算出手段と、 (3)第一フィルタ 係数配列算出手段の算出した第一フィルタ係数配列を用いて原画像データをフィル タ処理をして、第一フィルタ画像データを生成する第一フィルタ画像データ生成手段 と、（4)第一フィルタ画像データ生成手段の生成した第一フィルタ画像データの客観 的画質評価値を導出し、これに基づいて最適帯域幅の決定に用いる振り分け係数を 算出する振り分け係数算出手段と、（5)振り分け係数と最適帯域幅との対応関係を 設定する最適帯域幅決定表を参照することで、振り分け係数算出手段の算出した振 り分け係数に対応した最適帯域幅を決定する最適帯域幅決定手段と、 (6)最適帯域 幅決定手段の決定した最適帯域幅で帯域制限する場合の周波数特性を実現する 最適フィルタ係数配列を算出する最適フィルタ係数配列算出手段と、 (7)最適フィル タ係数配列算出手段の算出した最適フィルタ係数配列を用いて原画像データをフィ ルタ処理をして、最適フィルタ画像データを生成する最適フィルタ画像生成手段とを 備えるように構成する。
[0033] この構成を採るときにあって、画像サイズと第一帯域幅との対応関係について記述 する第一帯域幅決定表を用意することがあり、この場合には、第一帯域幅決定手段 は、この第一帯域幅決定表を参照することで、原画像データの画像サイズに対応し た第一帯域幅を決定するように処理する。
[0034] また、最適帯域幅決定表が画像サイズ及び目標の客観的画質評価値に対応付け て用意される場合があり、この場合には、最適帯域幅決定手段は、原画像データの 画像サイズと指定される目標の客観的画質評価値とに対応した最適帯域幅決定表 を選択して、その選択した最適帯域幅決定表を参照することで、振り分け係数算出 手段の算出した振り分け係数に対応した最適帯域幅を決定するように処理する。
[0035] 以上の各処理手段が動作することで実現される本発明の画像処理方法はコンビュ ータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコン ピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供 され、本発明を実施する際にインストールされて CPUなどの制御手段上で動作する ことにより本発明を実現することになる。
[0036] このようにして実現される本発明の画像処理装置では、原画像データを入力すると 、例えば第一帯域幅決定表を参照することで、原画像データの画像サイズに応じた 第一帯域幅を決定する。
[0037] 続いて、決定した第一帯域幅で帯域制限する場合の周波数特性を実現する第一 フィルタ係数配列を算出して、その算出した第一フィルタ係数配列を用いて原画像 データをフィルタ処理をして、第一フィルタ画像データを生成する。
[0038] 続 、て、客観的画質評価値として PSNRを用いる場合の例で説明するならば、原 画像データと生成した第一フィルタ画像データとの PSNRを導出し、これに基づ 、て 、例えば、原画像データを帯域制限しない場合に得られる PSNRをその導出した PS NRで割り算することなどにより、最適帯域幅の決定に用いる振り分け係数を算出す る。
[0039] 続 ヽて、原画像データの画像サイズと指定される目標 PSNRとに対応した最適帯 域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、算出し た振り分け係数に対応した最適帯域幅を決定する。
[0040] 続いて、決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適 フィルタ係数配列を算出して、その最適フィルタ係数配列を用いて原画像データをフ ィルタ処理をして、最適フィルタ画像データを生成する。 発明の効果
[0041] このようにして、本発明によれば、原画像を所定の客観的画質評価値を持つ画像 に変換するフィルタ処理を、符号ィ匕処理なしで自動的に行うことができるようになる。
[0042] これから、本発明によれば、映像の全フレームが主観的に高品質でありかつ同等の 客観的画質評価値を持つ画像となる適応的なフィルタ処理を、符号化処理なしで自 動的に行うことができるようになるので、帯域制限処理の簡素化及び高機能化を図る ことがでさるよう〖こなる。
図面の簡単な説明
[0043] [図 1]本発明の最適フィルタ画像生成装置の一実施形態例である。
[図 2]第一帯域幅決定表の説明図である。
[図 3]最適帯域幅決定表の説明図である。
[図 4]同様に、最適帯域幅決定表の説明図である。
[図 5]本実施形態の最適フィルタ画像生成装置の実行する処理フローである。
[図 6]帯域幅と PSNRとの対応関係を示す実験結果の説明図である。
[図 7]帯域制限をする画像処理方法の説明図である。
[図 8]総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フ ィルタ画像生成装置の装置構成図である。
[図 9]総当り的な帯域制限を行うことにより最適フィルタ画像データを生成する最適フ ィルタ画像生成装置の実行する処理フローである。
[図 10]従来の最適フィルタ画像生成装置の装置構成図である。
[図 11]従来の最適フィルタ画像生成装置の実行する処理フローである。
符号の説明
[0044] 1 最適フィルタ画像生成装置
10 第一帯域幅決定表
11 最適帯域幅決定表
12 原画像データ入力部
13 第一帯域幅決定部
14 第一フィルタ係数配列算出部 15 第一フィルタ画像データ生成部
16 振り分け係数算出部
17 最適帯域幅決定表選択部
18 最適帯域幅決定部
19 最適フィルタ係数配列算出部
20 最適フィルタ画像データ生成部
21 最適フィルタ画像データ出力部
発明を実施するための最良の形態
[0045] 以下、実施の形態に従って本発明を詳細に説明する。
[0046] 図 1に、本発明による最適フィルタ画像生成装置 1の一実施形態例を図示する。
[0047] 本実施形態の最適フィルタ画像生成装置 1は、画像に対しての適応的なフィルタ処 理を符号化処理なしで自動的に行うことを可能にすることで、映像の全フレームが主 観的に高品質でありかつ同等の PSNRを持つ画像となる適応的なフィルタ処理を簡 素化された処理で実現するものであり、これを実現するために、第一帯域幅決定表 1 0 (実際は、第一帯域幅決定表を記憶する記憶部)と、最適帯域幅決定表 11 (実際 は、最適帯域幅決定表を記憶する記憶部）と、原画像データ入力部 12と、第一帯域 幅決定部 13と、第一フィルタ係数配列算出部 14と、第一フィルタ画像データ生成部 15と、振り分け係数算出部 16と、最適帯域幅決定表選択部 17と、最適帯域幅決定 部 18と、最適フィルタ係数配列算出部 19と、最適フィルタ画像データ生成部 20と、 最適フィルタ画像データ出力部 21とを備える。
[0048] 第一帯域幅決定表 10は、図 2に示すように、画像サイズに対応付けて、その画像 サイズの画像データを処理するときに用いる第一帯域幅 rlの値がどういう値であるの かという情報について管理する。例えば、 4096 X 2048画素の画像サイズを持つ画像 については第一帯域幅 rlの値が C1になり、 1920 X 1080画素の画像サイズを持つ画 像については第一帯域幅 rlの値が C2になるというように、画像サイズと第一帯域幅 r 1との対応関係を管理するのである。
[0049] ここで、画像サイズが大きくなるにしたがって、第一帯域幅 rlの値は小さくなるように 設定されているので、図 2に示す第一帯域幅 rlの値 Ciには、 0< CK C2< C3< C4< C5< C6< C7< < 1
という関係がある。また、図 2に示す第一帯域幅決定表 10では、こういう画像サイズの 場合には第一帯域幅 rlの値はこういう値になるという表構造のものを示した力 この 画像サイズの範囲にある場合には第一帯域幅 rlの値はこういう値になるという表構造 を持つようにしても良い。
[0050] 最適帯域幅決定表 11は、図 3に示すように、画像サイズ毎に複数の目標 PSNRが 設定され、それらの各組合わせ分、複数の表が用意されている。各表、即ち、ある画 像サイズのある目標 PSNRにおいて、図 4に示すように、後述する振り分け係数 Xの 値の範囲に対応付けて、その範囲にある振り分け係数 Xの値に対応付けて定義され る最適帯域幅 r2 (目標 PSNRを実現するための帯域幅）の値がどういう値であるのか という情報について管理する。
[0051] 例えば、「Xく A」という範囲にある振り分け係数 Xについては最適帯域幅 r2の値
1
が B になり、 ΓΑ ≤X<A」という範囲にある振り分け係数 Xについては最適帯域幅 r
1 1 2
2の値が B になり、「A ≤X<A」という範囲にある振り分け係数 Xについては最適
2 2 3
帯域幅 r2の値が B になると ヽうように、振り分け係数 Xの範囲と目標 PSNRを実現す
3
るための帯域幅である最適帯域幅 r2との対応関係を管理するのである。
[0052] ここで、 A (i= l〜n— 1)には、
0<A <A <A < <A <A
1 2 3 n-2 n-1
という関係がある。
[0053] また、振り分け係数 Xが大きくなるにしたがって、最適帯域幅 r2の値は大きくなるよう に設定されているので、
0< B < B < B < < B < B < B < 1
1 2 3 n-2 n-1 n
という関係がある。
[0054] 原画像データ入力部 12は、最適フィルタ画像データの生成対象となる原画像デー タ B (l)を入力するとともに、その入力した原画像データ B (l)の画像サイズ Vを特定 する。
[0055] 第一帯域幅決定部 13は、原画像データ入力部 12の特定した画像サイズ Vをキー にして第一帯域幅決定表 10を参照することで、その画像サイズ Vに応じて定義され る第一帯域幅 rlを決定する。
[0056] 第一フィルタ係数配列算出部 14は、第一帯域幅決定部 13の決定した第一帯域幅 rlで帯域制限する場合の周波数特性を実現する第一フィルタ係数配列を算出する。
[0057] 第一フィルタ画像データ生成部 15は、第一フィルタ係数配列算出部 14の算出した 第一フィルタ係数配列を用いて原画像データ B (l)に対してフィルタ処理を行い、第 一フィルタ画像データ B (rl)を生成する。
[0058] 振り分け係数算出部 16は、原画像データ B (1)と第一フィルタ画像データ生成部 1
5の生成した第一フィルタ画像データ B (rl)とを比較し、第一フィルタ画像データ B (r
1)の PSNRである P (rl)を測定して、それに基づいて振り分け係数 Xを算出する。
[0059] 最適帯域幅決定表選択部 17は、画像サイズ及び目標 PSNRに対応付けて用意さ れる複数の最適帯域幅決定表 11の中から、原画像データ入力部 12の特定した画像 サイ Vとユーザ力 与えられた目標 PSNRとに対応する最適帯域幅決定表 11を選 択し、選択された表に割り当てられた ID番号を出力する。
[0060] 最適帯域幅決定部 18は、振り分け係数算出部 16の算出した振り分け係数 Xをキ 一にして最適帯域幅決定表選択部 17の選択した (上記 ID番号で示される）最適帯 域幅決定表 11を参照することで、最適帯域幅 r2を決定する。
[0061] 最適フィルタ係数配列算出部 19は、最適帯域幅決定部 18の決定した最適帯域幅 r2で帯域制限する場合の周波数特性を実現する最適フィルタ係数配列を算出する。
[0062] 最適フィルタ画像データ生成部 20は、最適フィルタ係数配列算出部 19の算出した 最適フィルタ係数配列を用いて原画像データ B (l)に対してフィルタ処理を行い、最 適フィルタ画像データ B (r2)を生成する。
[0063] 最適フィルタ画像データ出力部 21は、最適フィルタ画像データ生成部 20の生成し た最適フィルタ画像データを出力する。
[0064] 図 5に、このように構成される本実施形態の最適フィルタ画像生成装置 1の実行す る処理フローの一例を図示する。
[0065] 次に、この処理フローに従って、このように構成される本実施形態の最適フィルタ画 像生成装置 1の実行する処理について詳細に説明する。
[0066] 本実施形態の最適フィルタ画像生成装置 1は、最適フィルタ画像データの生成要 求があると、図 5の処理フローに示すように、まず最初に、ステップ S10で、最適フィ ルタ画像データの生成対象となる原画像データ B (l)を入力するとともに、その入力 した原画像データ B (1)の画像サイズ Vを特定する。
[0067] 続 、て、ステップ SI 1で、その特定した画像サイズ Vをキーにして第一帯域幅決定 表 10を参照することで、その画像サイ XVに応じて定義される第一帯域幅 rlを決定 する。
[0068] ここで、本実施形態の最適フィルタ画像生成装置 1の取り扱う原画像データ B (1)の 画像サイ Vが予め定められた固定のサイズに限られている場合には、第一帯域幅 決定表 10を用意する必要はなぐその固定のサイズに応じて予め定義された第一帯 域幅 r 1を決定することになる。
[0069] 続いて、ステップ S12で、その決定した第一帯域幅 rlで帯域制限する場合の周波 数特性を実現する第一フィルタ係数配列を算出する。
[0070] 続 、て、ステップ S13で、その算出した第一フィルタ係数配列を用いて原画像デー タ B (l)に対してフィルタ処理を行い、第一フィルタ画像データ B (rl)を生成する。
[0071] 続 、て、ステップ S14で、原画像データ B (1)とその生成した第一フィルタ画像デー タ B (rl)とを比較し、第一フィルタ画像データ B (rl)の PSNRである P (rl)を測定し て、それに基づいて振り分け係数 Xを算出する。
[0072] 例えば、 P (rl)を使い、
X= 51. 2/P (rl) 式（1)
という算出式に従って、振り分け係数 Xを算出するのである。
[0073] 図 6に、 1920 X 1080画素の画像サイズを持つ 5種類の画像 1〜5を実験画像データ として使用して、それらの画像 1〜5の輝度成分に対して、水平、垂直両方向に等しく 帯域幅 r (0. 3<r< 1)の周波数特性を実現するフィルタ係数配列でフィルタ処理を 行ったときの、帯域幅 rと PSNRの値 P (r)との対応関係の実験結果を図示する。
[0074] この実験結果力 分力るように、上記の式（1)に表れる" 51. 2"という値は、原画像 データを帯域制限しな 、場合に得られる PSNRの値を示して 、る。
[0075] 続 、て、ステップ S 15で、画像サイ XV及び目標 PSNRに対応付けて用意される複 数の最適帯域幅決定表 11の中から、原画像データ入力部 12の特定した画像サイズ Vとユーザ力 与えられた目標 PSNRとに対応する最適帯域幅決定表 11を選択する
[0076] ここで、本実施形態の最適フィルタ画像生成装置 1の取り扱う原画像データ B (1)の 画像サイ Vが予め定められた固定のサイズに限られている場合には、最適帯域幅 決定表 11を画像サイズ及び目標 PSNRに対応付けて用意する必要はなぐ目標 PS NRに対応付けられる複数の最適帯域幅決定表 11を用意すること〖こなる。
[0077] また、本実施形態の最適フィルタ画像生成装置 1の取り扱う原画像データ B (1)の 画像サイ Vが予め定められた固定のサイズに限られているとともに、本実施形態の 最適フィルタ画像生成装置 1の取り扱う目標 PSNRが予め定められた固定の値に限 られて ヽる場合には、最適帯域幅決定表 11を画像サイズ及び目標 PSNRに対応付 けて用意する必要はなぐその目標 PSNRに対応付けられる 1つの最適帯域幅決定 表 11を用意することになる。
[0078] 続いて、ステップ S16で、算出した振り分け係数 Xをキーにして選択した最適帯域 幅決定表 11を参照することで、最適帯域幅 r2を決定する。
[0079] 続 、て、ステップ S 17で、その決定した最適帯域幅 r2で帯域制限する場合の周波 数特性を実現する最適フィルタ係数配列を算出する。
[0080] 続 、て、ステップ S18で、その算出した最適フィルタ係数配列を用いて原画像デー タ B (l)に対してフィルタ処理を行い、目標 PSNRを実現する最適フィルタ画像デー タ B (r2)を生成する。
[0081] 続いて、ステップ S19で、その生成した最適フィルタ画像データ B (r2)を出力して、 処理を終了する。
[0082] このようにして、本実施形態の最適フィルタ画像生成装置 1は、原画像データ B (l) に対してフィルタ処理を 2回行うだけで、目標 PSNRを実現する最適フィルタ画像デ ータ B (r2)を生成するように処理するのである。
[0083] 次に、図 6に示す特性を持つ画像 1〜5を具体例にして、以上に説明した処理につ いて具体的に説明する。
[0084] 前述したステップ S10の処理に従って、原画像データ B (l)の画像サイズ Vとして 19
20 X 1080画素を特定すると、前述したステップ S11の処理に従って、図 2に示すよう なデータ構造を持つ第一帯域幅決定表 10を参照することで、第一帯域幅 rlの値とし て C2を決定すること〖こなる。
[0085] ここで、 C2の値を 0.5とするならば、前述したステップ S12〜ステップ S14の処理に 従って、 rl = 0.5で帯域制限する場合の周波数特性を実現する第一フィルタ係数 配列を用いて、図 6に示す特性を持つ画像 1〜5についての第一フィルタ画像データ B(0.5)を生成して、それらの第一フィルタ画像データ B(0.5)の PSNRである P(0 .5)を測定することになる。
[0086] この測定に従って、図 6から分かるように、画像 1につ!/、ては P (0.5) = 34.5が測 定され、画像 2については P(0.5) =42.3が測定され、画像 3については P(0.5) =40.6が測定され、画像 4については P(0.5) =42.7が測定され、画像 5につい ては P(0.5) =45.3が測定されること〖こなる。
[0087] これから、前述したステップ S14の処理に従って、「X=51.2ZP(rl)」という算出 式を用いて、画像 1については振り分け係数 X=l.48を算出し、画像 2については 振り分け係数 X=l.21を算出し、画像 3については振り分け係数 X=l.26を算出し 、画像 4については振り分け係数 X=l.20を算出し、画像 5については振り分け係 数 X=l.13を算出することになる。
[0088] 続いて、前述したステップ S16の処理に従って、このようにして算出した振り分け係 数 Xをキーにして、図 4に示すようなデータ構造を持つ最適帯域幅決定表 11を参照 することで、最適帯域幅 r2の値として、振り分け係数 Xの大きさに応じた値 Bを決定 すること〖こなる。
[0089] このとき、最適帯域幅決定表 11は、前述したように、
0<A <A <A < <A <A
1 2 3 n-2 n-1
0<B <B <B < <B <B <B <1
1 2 3 n-2 n-1 n
というデータ構造を有しており、これから、振り分け係数 Xが大きい原画像データ B(l )ほど最適帯域幅 r2の値が大きなものとして決定され、振り分け係数 Xが小さい原画 像データ B(l)ほど最適帯域幅 r2の値が小さなものとして決定されることになる。
[0090] すなわち、振り分け係数 Xが大きい原画像データ B(l)は、
X=51.2/P(rl) という算出式力も分力るように、 P (rl)の値が小さい (即ち、信号レベルが低い)ことを 意味し、これから、目標 PSNRを実現するには最適帯域幅 r2の値を大きくする（即ち 、帯域制限をゆるめる）必要があり、一方、振り分け係数 Xが小さい原画像データ B (l )は、 P (rl)の値が大きいことを意味し、これ力 、目標 PSNRを実現するには最適帯 域幅 r2の値を小さくする必要がある。
[0091] このことを考慮して、最適帯域幅決定表 11は、振り分け係数 Xが大きい原画像デー タ B (l)ほど最適帯域幅 r2の値が大きなものとして決定され、振り分け係数 Xが小さ い原画像データ B (1)ほど最適帯域幅 r2の値が小さなものとして決定されることを実 現すベぐ
0<A <A <A < <A <A
1 2 3 n-2 n-1
0< B < B < B < < B < B < B < 1
1 2 3 n-2 n-1 n
t 、うデータ構造を持つのである。
[0092] このようにして決定される最適帯域幅 r2は、目標 PSNRを実現する最適フィルタ画 像データ B (r2)を生成することになる帯域幅となっており、これから、前述したステツ プ S16〜ステップ S17の処理に従って、最適帯域幅 r2で帯域制限する場合の周波 数特性を実現する最適フィルタ係数配列を算出して、それを用いて原画像データ B ( 1)に対してフィルタ処理を行うことで、目標 PSNRを実現する最適フィルタ画像デー タ B (r2)を生成するのである。
[0093] このように、本実施形態の最適フィルタ画像生成装置 1では、まず最初に、原画像 データの画像サイズに従って仮の帯域幅を決定し、それに基づ 、て仮のフィルタ画 像データを生成して PSNRを測定し、続いて、その測定した PSNRから振り分け係数 という無次元のパラメータを算出する。そして、規定の PSNRの値を使って、振り分け 係数が大きい原画像データほど最適帯域幅の値が大きなものとして決定されるデー タ変換構造を持つように設定された最適帯域幅決定表 11を、算出した振り分け係数 をキーにして参照することで、目標 PSNRを実現することになる最適な帯域幅を決定 して、それに基づ!/、て原画像データの最適なフィルタ画像データを生成することを実 現するのである。
[0094] この構成に従って、本実施形態の最適フィルタ画像生成装置 1によれば、原画像 データに対してフィルタ処理を 2回行うだけで、目標 PSNRを実現する最適なフィル タ画像データを生成することができるようになる。
[0095] これから、本実施形態の最適フィルタ画像生成装置 1によれば、映像の全フレーム が主観的に高品質でありかつ同等の客観的画質評価値を持つ画像となる適応的な フィルタ処理を、符号化処理なしで自動的に行うことができるようになる。
[0096] 図示実施形態例に従って本発明を説明したが、本発明はこれに限定されるもので はない。
[0097] 例えば、本実施形態例では、画像データの客観的画質評価値として PSNRを用い る構成を示した力 PSNR以外の客観的画質評価値を用いるようにしてもょ 、。
[0098] また、本実施形態例では、一例として 1920 X 1080画素の画像サイズにつ!、て示し た力 図 2に示すように、様々な画像サイズ（いわゆる、 4k X 2k, HD, SD, VGA, C IF, QCIFなど任意）に対応した第一帯域幅 rlを管理する第一帯域幅決定表 10を 前もって作成して備えるようにしておくことで、本発明の手法を任意サイズの画像に適 用することができる。
[0099] また、本実施形態例では特に詳細には説明しな力つた力 様々な目標 PSNRに対 応した最適帯域幅決定表 11を前もって作成して備えるようにしておくことで、本発明 の手法を用いて任意の画質制御が可能な画像処理を行うことができる。
[0100] また、本実施形態例では、第一帯域幅 rl及び最適帯域幅 r2について水平方向と 垂直方向とで帯域幅を同じ幅としているが、水平方向と垂直方向とで帯域幅が異な る場合にも同様の効果を奏することになる。水平方向と垂直方向とで帯域幅が異なる ようにするのは、鉛直方向に対して引力があるため、自然遠景映像やトラック映像な どにおいて、輝度変化が水平方向より垂直方向に対して大きいことを積極的に利用 するためである。
[0101] また、本実施形態例では、デジタルフィルタのタップ数にっ 、て特に言及しなかつ た力 様々なタップ数のデジタルフィルタに適用して、同様の効果を奏する。また、指 定した帯域制限を実現するデジタルフィルタの設計方法には特に制約はなぐ例え ば希望する周波数特性の形を逆 z変換することで、この周波数特性をもつデジタルフ ィルタの係数配列を求めて設計するものを利用することが可能である。 [0102] また、本実施形態例では、式（1)で 51. 2という値を用いたが、これは使用するデジ タルフィルタの特性に依存するものであり、異なるデジタルフィルタを用いる場合には 適宜変更することなる。
[0103] また、本実施形態例では、輝度成分のみに帯域処理を行うことで説明を行ったが、 色差成分に帯域処理を施すことも可能であり、この場合には、符号化時の符号化効 率を一層高めることが可能となる。
産業上の利用可能性
[0104] 本発明は、原画像を所定の客観的画質評価値を持つ画像に変換するフィルタ処 理を簡素化された処理で実現できるようにするものであり、この構成に従って、映像 の全フレームが主観的に高品質でありかつ同等の客観的画質評価値を持つ画像に 変換するための適応的なフィルタ処理を簡素化された処理で実現できるようになる。

Claims

請求の範囲
[1] 入力した原画像データの画像サイズから第一帯域幅を決定する段階と、
前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数 配列を算出する段階と、
前記第一フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、第一 フィルタ画像データを生成する段階と、
前記第一フィルタ画像データの客観的画質評価値を導出し、これに基づ!/、て最適 帯域幅の決定に用いる振り分け係数を算出する段階と、
前記振り分け係数と前記最適帯域幅との対応関係を設定する最適帯域幅決定表 を参照することで、前記算出した振り分け係数に対応した最適帯域幅を決定する段 階と、
前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィ ルタ係数配列を算出する段階と、
前記最適フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、最適 フィルタ画像データを生成する段階と
を備える画像処理方法。
[2] 請求項 1に記載の画像処理方法において、
前記第一帯域幅を決定する段階では、画像サイズと前記第一帯域幅との対応関係 につ!/、て記述する第一帯域幅決定表を参照することで、前記原画像データの画像 サイズに対応した前記第一帯域幅を決定する画像処理方法。
[3] 請求項 1に記載の画像処理方法において、
前記最適帯域幅を決定する段階では、前記最適帯域幅決定表が画像サイズ及び 目標の客観的画質評価値に対応付けて用意される場合には、それらの中から、前記 原画像データの画像サイズと指定される目標の客観的画質評価値とに対応した最適 帯域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、前記 算出した振り分け係数に対応した最適帯域幅を決定する画像処理方法。
[4] 請求項 1に記載の画像処理方法において、
前記振り分け係数を算出する段階では、前記原画像データを帯域制限しない場合 に得られる客観的画質評価値を前記導出した客観的画質評価値で割り算することで 、前記振り分け係数を算出する画像処理方法。
[5] 入力した原画像データの画像サイズから第一帯域幅を決定する手段と、
前記第一帯域幅で帯域制限する場合の周波数特性を実現する第一フィルタ係数 配列を算出する手段と、
前記第一フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、第一 フィルタ画像データを生成する手段と、
前記第一フィルタ画像データの客観的画質評価値を導出し、これに基づ!、て最適 帯域幅の決定に用いる振り分け係数を算出する手段と、
前記振り分け係数と前記最適帯域幅との対応関係を設定する最適帯域幅決定表 を参照することで、前記算出した振り分け係数に対応した最適帯域幅を決定する手 段と、
前記決定した最適帯域幅で帯域制限する場合の周波数特性を実現する最適フィ ルタ係数配列を算出する手段と、
前記最適フィルタ係数配列を用いて前記原画像データをフィルタ処理をして、最適 フィルタ画像データを生成する手段と
を備える画像処理装置。
[6] 請求項 5に記載の画像処理装置において、
前記第一帯域幅を決定する手段は、画像サイズと前記第一帯域幅との対応関係に っ 、て記述する第一帯域幅決定表を参照することで、前記原画像データの画像サイ ズに対応した前記第一帯域幅を決定する画像処理装置。
[7] 請求項 5に記載の画像処理装置において、
前記最適帯域幅を決定する手段は、前記最適帯域幅決定表が画像サイズ及び目 標の客観的画質評価値に対応付けて用意される場合には、それらの中から、前記原 画像データの画像サイズと指定される目標の客観的画質評価値とに対応した最適帯 域幅決定表を選択して、その選択した最適帯域幅決定表を参照することで、前記算 出した振り分け係数に対応した最適帯域幅を決定する画像処理装置。
[8] 請求項 5に記載の画像処理装置において、 前記振り分け係数を算出する手段は 、前記原画像データを帯域制限しない場合に得られる客観的画質評価値を前記導 出した客観的画質評価値で割り算することで、前記振り分け係数を算出する画像処 理装置。
[9] 請求項 1に記載の画像処理方法の実現に用いられる処理をコンピュータに実行さ せるための画像処理用プログラム。
[10] 請求項 1に記載の画像処理方法の実現に用いられる処理をコンピュータに実行さ せるための画像処理用プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2007/063240 2006-07-03 2007-07-02 Image processing method and device, image processing program, and recording medium containing the program WO2008004521A1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CA 2656207 CA2656207C (en) 2006-07-03 2007-07-02 Image processing method and apparatus, image processing program, and storage medium which stores the program
CN2007800237481A CN101479764B (zh) 2006-07-03 2007-07-02 图像处理方法及装置
ES07768015.5T ES2567444T3 (es) 2006-07-03 2007-07-02 Método y dispositivo de procesamiento de imagen, programa de procesamiento de imagen, y medio de grabación que contiene el programa
BRPI0714172A BRPI0714172B1 (pt) 2006-07-03 2007-07-02 método e aparelho de processamento de imagem e meio de armazenamento legível por computador
EP07768015.5A EP2037406B1 (en) 2006-07-03 2007-07-02 Image processing method and device, image processing program, and recording medium containing the program
US12/306,589 US8611434B2 (en) 2006-07-03 2007-07-02 Image processing method and apparatus, image processing program, and storage medium which stores the program
JP2008523674A JP4839375B2 (ja) 2006-07-03 2007-07-02 画像処理方法及び装置、画像処理用プログラム及びそのプログラムを記録した記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006182931 2006-07-03
JP2006-182931 2006-07-03

Publications (1)

Publication Number Publication Date
WO2008004521A1 true WO2008004521A1 (en) 2008-01-10

Family

ID=38894491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/063240 WO2008004521A1 (en) 2006-07-03 2007-07-02 Image processing method and device, image processing program, and recording medium containing the program

Country Status (11)

Country Link
US (1) US8611434B2 (ja)
EP (1) EP2037406B1 (ja)
JP (1) JP4839375B2 (ja)
KR (1) KR101017915B1 (ja)
CN (1) CN101479764B (ja)
BR (1) BRPI0714172B1 (ja)
CA (1) CA2656207C (ja)
ES (1) ES2567444T3 (ja)
RU (1) RU2407056C2 (ja)
TW (1) TWI367457B (ja)
WO (1) WO2008004521A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765026B (zh) * 2008-12-24 2011-07-27 中国移动通信集团公司 一种图像质量评价值的修正方法和修正系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8359545B2 (en) * 2007-10-16 2013-01-22 Hillcrest Laboratories, Inc. Fast and smooth scrolling of user interfaces operating on thin clients
CN102984545B (zh) * 2012-12-12 2016-01-20 北京视博云科技有限公司 一种视频类资源的编码方法及装置
KR101832418B1 (ko) * 2015-12-31 2018-02-26 네이버 주식회사 이미지 압축 품질을 최적화 하기 위한 방법 및 시스템
KR102218616B1 (ko) * 2019-11-11 2021-02-19 부산대학교 산학협력단 선박 선저검사용 수중 카메라 영상보정 시스템 및 방법
CN112862726B (zh) * 2021-03-12 2023-11-10 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999013646A2 (en) 1997-09-08 1999-03-18 Limt Technology Ab Image signal processing method and apparatus
JP2002170114A (ja) * 2000-12-04 2002-06-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
US20040008772A1 (en) 2001-06-07 2004-01-15 Masaaki Kojima Camera-integrated video recording and reproducing apparatus, and record control method thereof
US20050123028A1 (en) 2003-12-07 2005-06-09 Adaptive Spectrum And Signal Alignment, Inc. Adaptive margin and band control
JP2006053821A (ja) * 2004-08-13 2006-02-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP2006053859A (ja) * 2004-08-16 2006-02-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
EP1643774A2 (en) 2004-09-29 2006-04-05 Kabushiki Kaisha Toshiba Adaptive deblocking of video data

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181105A (en) * 1986-05-30 1993-01-19 Canon Kabushiki Kaisha Color image correction based on characteristics of a highlights or other predetermined image portion
CA2106440C (en) * 1992-11-30 1997-11-18 Jelena Kovacevic Method and apparatus for reducing correlated errors in subband coding systems with quantizers
JP2894137B2 (ja) 1993-01-26 1999-05-24 ケイディディ株式会社 動画像符号化におけるプリフィルタ制御方法および装置
US5546431A (en) * 1994-04-11 1996-08-13 Intel Corporation Programmable digital filter with substantially equal bandwidth increments
EP0907255A1 (en) * 1997-03-28 1999-04-07 Sony Corporation Data coding method and device, data decoding method and device, and recording medium
ES2191212T3 (es) * 1997-12-23 2003-09-01 Thomson Licensing Sa Metodo de codificacion y descodificacion con ruido bajo.
US6563517B1 (en) * 1998-10-02 2003-05-13 International Business Machines Corp. Automatic data quality adjustment to reduce response time in browsing
US6611872B1 (en) * 1999-01-11 2003-08-26 Fastforward Networks, Inc. Performing multicast communication in computer networks by using overlay routing
US6738074B2 (en) * 1999-12-29 2004-05-18 Texas Instruments Incorporated Image compression system and method
CN1290057C (zh) * 2001-11-01 2006-12-13 皇家飞利浦电子股份有限公司 改善的视频图像的空间分辨率
WO2003058945A2 (en) 2002-01-14 2003-07-17 Nokia Corporation Coding dynamic filters
JP4102973B2 (ja) * 2002-04-24 2008-06-18 日本電気株式会社 動画像の符号化方法および復号化方法、これを用いた装置とプログラム
AU2003250407A1 (en) 2002-09-11 2004-04-30 Koninklijke Philips Electronics N.V. Method for image scaling
US20040221319A1 (en) * 2002-12-06 2004-11-04 Ian Zenoni Application streamer
JP4143394B2 (ja) * 2002-12-13 2008-09-03 キヤノン株式会社 オートフォーカス装置
JP2004242285A (ja) * 2003-01-14 2004-08-26 Fuji Photo Film Co Ltd ノイズ抑制処理方法および装置並びにプログラム
KR100519776B1 (ko) 2003-11-24 2005-10-07 삼성전자주식회사 영상 신호의 해상도 변환 방법 및 장치
US20050123038A1 (en) * 2003-12-08 2005-06-09 Canon Kabushiki Kaisha Moving image encoding apparatus and moving image encoding method, program, and storage medium
WO2006010373A1 (en) * 2004-07-27 2006-02-02 Telecom Italia S.P.A. Video-communication in mobile networks
JP4140575B2 (ja) * 2004-07-30 2008-08-27 ソニー株式会社 画像変形装置，画像変形回路及び画像変形方法
JP4462132B2 (ja) * 2005-07-04 2010-05-12 ソニー株式会社 画像特殊効果装置，グラフィックスプロセッサ，プログラム
US20070073878A1 (en) * 2005-09-23 2007-03-29 Qurio Holdings, Inc. System and method for lowering proxy bandwidth utilization
US8284209B2 (en) * 2005-12-15 2012-10-09 Broadcom Corporation System and method for optimizing display bandwidth
US8275031B2 (en) * 2005-12-15 2012-09-25 Broadcom Corporation System and method for analyzing multiple display data rates in a video system
FR2897741B1 (fr) * 2006-02-17 2008-11-07 Canon Kk Procede et dispositif de generation de donnees representatives d'un degre d'importance de blocs de donnees et procede et dispositif de transmission d'une sequence video encodee
US7667719B2 (en) * 2006-09-29 2010-02-23 Amazon Technologies, Inc. Image-based document display
US8040537B2 (en) * 2007-03-15 2011-10-18 Xerox Corporation Adaptive forced binary compression in printing systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999013646A2 (en) 1997-09-08 1999-03-18 Limt Technology Ab Image signal processing method and apparatus
JP2002170114A (ja) * 2000-12-04 2002-06-14 Fuji Photo Film Co Ltd 画像処理方法および装置並びに記録媒体
US20040008772A1 (en) 2001-06-07 2004-01-15 Masaaki Kojima Camera-integrated video recording and reproducing apparatus, and record control method thereof
US20050123028A1 (en) 2003-12-07 2005-06-09 Adaptive Spectrum And Signal Alignment, Inc. Adaptive margin and band control
JP2006053821A (ja) * 2004-08-13 2006-02-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
JP2006053859A (ja) * 2004-08-16 2006-02-23 Fuji Photo Film Co Ltd 画像処理装置および方法並びにプログラム
EP1643774A2 (en) 2004-09-29 2006-04-05 Kabushiki Kaisha Toshiba Adaptive deblocking of video data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2037406A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101765026B (zh) * 2008-12-24 2011-07-27 中国移动通信集团公司 一种图像质量评价值的修正方法和修正系统

Also Published As

Publication number Publication date
TW200816088A (en) 2008-04-01
CA2656207C (en) 2014-06-10
TWI367457B (en) 2012-07-01
CA2656207A1 (en) 2008-01-10
CN101479764A (zh) 2009-07-08
ES2567444T3 (es) 2016-04-22
EP2037406B1 (en) 2016-01-13
US8611434B2 (en) 2013-12-17
CN101479764B (zh) 2011-11-16
US20090202001A1 (en) 2009-08-13
RU2008151422A (ru) 2010-08-20
BRPI0714172A2 (pt) 2012-12-25
JPWO2008004521A1 (ja) 2009-12-03
RU2407056C2 (ru) 2010-12-20
KR101017915B1 (ko) 2011-03-04
BRPI0714172B1 (pt) 2019-10-22
JP4839375B2 (ja) 2011-12-21
KR20090016490A (ko) 2009-02-13
EP2037406A1 (en) 2009-03-18
EP2037406A4 (en) 2009-12-02

Similar Documents

Publication Publication Date Title
JP2673778B2 (ja) 動画像の復号化における雑音低減装置
US8737464B1 (en) Adaptive quantization for perceptual video coding
CN112913237A (zh) 使用深度神经网络的人工智能编码和人工智能解码方法和设备
JP5633584B2 (ja) Ｈｅｖｃ規格のための量子化マトリクス設計
CN104378636B (zh) 一种视频图像编码方法及装置
JP2008507161A (ja) ビデオ処理用雑音フィルタ
JP2007166522A (ja) 復号化装置及び復号化方法及びプログラム
JPWO2002093935A1 (ja) 画像処理装置
WO2008004521A1 (en) Image processing method and device, image processing program, and recording medium containing the program
JP2001512651A (ja) 量子化マトリクスのフレーム毎の計算方法
JP4533933B2 (ja) 所望のゲイン及び係数による画素調整方法
US20100067584A1 (en) Video processing method and apparatus, video processing program, and storage medium which stores the program
JPH11205797A (ja) 動画像符号化装置
JP2018137542A (ja) 符号化装置、符号化方法、及び、プログラム
CN112715029A (zh) Ai编码设备及其操作方法和ai解码设备及其操作方法
US7630564B2 (en) Decoding apparatus, dequantizing method, and program thereof
CN115022636A (zh) 率失真优化量化方法及装置
US10951891B2 (en) Coding apparatus capable of recording raw image, control method therefor, and storage medium storing control program therefor
JP6966936B2 (ja) 画像符号化装置及びその制御方法及びプログラム
JP2017028622A (ja) 画質制御装置、画質制御方法、画質制御システム及び画質制御用プログラム
JP2000152229A (ja) 画像処理システムの圧縮画像の復元方法及びその装置
JP2005295371A (ja) ブロックノイズ除去装置
JPWO2009130942A1 (ja) 画像符号化装置および画像復号装置
JP2005260989A (ja) 画像処理装置及び画像処理方法
JP2021103818A (ja) 画像符号化装置、撮像装置、画像符号化装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780023748.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07768015

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008523674

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2656207

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 12306589

Country of ref document: US

Ref document number: 2008151422

Country of ref document: RU

Ref document number: 10662/DELNP/2008

Country of ref document: IN

Ref document number: 1020087031450

Country of ref document: KR

Ref document number: 2007768015

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI0714172

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20081224