WO2009133879A1 - 画像評価方法、画像評価システム及びプログラム - Google Patents

画像評価方法、画像評価システム及びプログラム Download PDF

Info

Publication number
WO2009133879A1
WO2009133879A1 PCT/JP2009/058337 JP2009058337W WO2009133879A1 WO 2009133879 A1 WO2009133879 A1 WO 2009133879A1 JP 2009058337 W JP2009058337 W JP 2009058337W WO 2009133879 A1 WO2009133879 A1 WO 2009133879A1
Authority
WO
WIPO (PCT)
Prior art keywords
image quality
pixel
image
value
predetermined
Prior art date
Application number
PCT/JP2009/058337
Other languages
English (en)
French (fr)
Inventor
徹 山田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US12/922,730 priority Critical patent/US8699818B2/en
Priority to JP2010510131A priority patent/JP5708916B2/ja
Publication of WO2009133879A1 publication Critical patent/WO2009133879A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Definitions

  • the present invention relates to an image evaluation method, an image evaluation system, and a program.
  • a method for objectively evaluating the image quality of a video there is a method using an absolute difference value, a square difference, an SN ratio, etc. of pixel values (luminance, color difference, RGB value, etc.) of an original image and an evaluation target image.
  • pixel values luminance, color difference, RGB value, etc.
  • Patent Document 1 a human visual characteristic due to a difference in spatial frequency is considered with respect to the SN ratio, and the difference between the pixel value of the evaluation target image data and the pixel value of the original image data
  • An S / N ratio based on the value is calculated, and the S / N ratio is weighted based on the AC component power of the image data of the entire frame to obtain an objective image quality value.
  • Patent Document 1 since the image quality evaluation method of Patent Document 1 does not consider the visual characteristics with respect to changes in the time direction of the video signal, the correlation with the actual subjective evaluation result may not be high.
  • Patent Document 2 Another image quality evaluation method is described in Patent Document 2.
  • a pixel value difference is obtained for each pixel between successive frames, and a weighting process is performed on the SN ratio based on the magnitude of the difference.
  • Japanese Patent No. 3458600 JP 2007-110189 A Japanese Patent No. 3458600 JP 2007-110189 A
  • the present invention has been invented in view of the above problems, and its object is to correctly evaluate a change in video between frames and to reflect the magnitude of the change in an objective image quality evaluation result. It is to provide an evaluation system and a program.
  • the present invention that solves the above problem calculates a pixel change amount of a pixel set of a predetermined size between predetermined frames of the first image, and is calculated based on at least predetermined data of the first image between the predetermined frames.
  • a weighting process is performed on the first image quality value based on the pixel change amount to calculate a second image quality value of the first image.
  • the present invention that solves the above-described problems includes a pixel change amount calculation unit that calculates a pixel change amount of a pixel set of a predetermined size between predetermined frames of a first image, and predetermined data of at least the first image between the predetermined frames.
  • An image quality value calculation unit that performs weighting processing on the first image quality value calculated based on the pixel change amount based on the pixel change amount and calculates a second image quality value of the first image. Is an image quality evaluation system.
  • the present invention for solving the above-described problems includes a pixel change amount calculation process for calculating a pixel change amount of a pixel set having a predetermined size between predetermined frames of a first image, and predetermined data of the first image at least between the predetermined frames.
  • An image quality value calculation process for calculating a second image quality value of the first image by applying a weighting process to the first image quality value calculated based on the pixel change amount to the information processing apparatus.
  • the effect of the present invention provides an objective image quality evaluation that is highly correlated with the subjective evaluation.
  • FIG. 1 is a block diagram of an image evaluation system according to the first embodiment.
  • FIG. 2 is a block diagram of an image evaluation system according to the second embodiment.
  • FIG. 3 is an operation flowchart of the image evaluation system according to the second embodiment.
  • FIG. 4 is a diagram for explaining a specific example of the second embodiment.
  • FIG. 5 is a block diagram of an image evaluation system according to the third embodiment.
  • FIG. 6 is a block diagram of an image evaluation system according to the fourth embodiment.
  • FIG. 7 is a block diagram of an image evaluation system according to the fifth embodiment.
  • a pixel change amount in a pixel set having a predetermined size between predetermined frames of the first image is calculated.
  • a weighting process is performed on the first image quality value calculated based on the predetermined data of the first image at least between predetermined frames based on the calculated pixel change amount, and the second image quality value after the weighting process is performed. Based on the above, the image quality of the first image is evaluated.
  • the evaluation system of the first embodiment includes a first image quality value calculation unit 10, an inter-frame pixel change amount calculation unit 11, a first image quality value weighting unit 12, 2 image quality value calculation unit 13.
  • the first image quality value calculation unit 10 calculates the first image quality value based on at least predetermined data of the first image.
  • the data used is not only the data of the first image to be evaluated, but also the entire image data of the second image to be compared (for example, the original image) or the feature amount of the second image. Also good.
  • As the first image quality value to be calculated for example, a block distortion amount, a blur amount, a magnitude of deterioration due to a drop due to transmission error, and the like are calculated as numerical values. Further, a difference value or the like may be used for each predetermined pixel set (block: for example, 16 pixels ⁇ 16 pixels) between the first image and the second image.
  • This difference value may be calculated as a pixel-by-pixel difference of pixel values such as luminance, color difference, and RGB at the same pixel position, or an average value of pixel values obtained for each set of predetermined pixels or an image set (For example, the average value of the pixel values of the pixels in the pixel set is obtained and the average value of the absolute difference between the average value and each pixel value in the pixel set, or the pixels in the pixel set You may calculate the difference of value dispersion. Alternatively, it may be obtained as a difference between transform coefficients after orthogonal transformation of the pixel set.
  • the inter-frame pixel change amount calculation unit 11 calculates the pixel change amount of the pixel set between a plurality of predetermined frames.
  • the pixel change amount of the pixel set is expressed as the sum of absolute differences of pixel values of luminance, color difference, and RGB values at the same pixel position in a predetermined plurality of frames within the pixel set (absolute difference between frames Value sum). Moreover, you may express as an average value per pixel of a difference absolute value.
  • a value calculated by the inter-frame pixel change calculation unit 11 is referred to as an inter-frame pixel change amount.
  • the size of the pixel set for obtaining the inter-frame pixel change amount and the unit size of the first image quality value may be different.
  • a pixel set is defined by, for example, 16 ⁇ 16 pixels, which is an encoding unit, and for the inter-frame pixel change amount, for example, the shape of the object in the frame
  • the inter-frame pixel change amount can be calculated more accurately, and encoding-specific degradation such as block distortion can be calculated.
  • the first image quality value is a frame unit value
  • an average value per unit frame of the inter-frame pixel change amount of each image set may be calculated.
  • the predetermined plural frames for example, a frame for which image quality evaluation is to be performed (current frame) and a frame immediately before the frame are used, but other frames may be used, and the current frame and a predetermined interval from the current frame may be used. A separate frame may be used. 2, 3, 4, 5 frames, etc. are used as the predetermined interval.
  • the frame rate the number of frames included in one second
  • the predetermined plural frames may use three or more frames. For example, using the three frames of the current frame (time t), the immediately preceding frame (time t-1), and the two previous frames (time t-2), pixels between the frames at time t and time t-1 are used. The change amount and the pixel change amount between the frames at time t-1 and time t-2 may be calculated, and a statistic such as an average value of the two pixel change amounts may be used as the pixel change amount at time t.
  • the first image quality value weighting unit 12 applies the first image quality value calculated by the first image quality value calculation unit 10 based on the interframe pixel change amount calculated by the interframe pixel change amount calculation unit 11. To perform weighting. The weighting process compares a predetermined threshold value with an inter-frame pixel change amount, and if the inter-frame pixel change amount is smaller than the threshold value, the pixel change between frames is small, and it is easy to detect slight image quality degradation. The first image quality value calculated between the predetermined frames for which the inter-frame pixel change amount is calculated is weighted by, for example, multiplying it by a predetermined constant of 1 or more.
  • the inter-frame pixel change amount is larger than the threshold value, the pixel change between frames is large and image quality deterioration is difficult to detect.
  • the first image quality value is multiplied by a predetermined constant of 1 or less. Perform weighting with. There may be a plurality of types of thresholds. In this case, it is possible to control a multi-stage weighting process.
  • the weight value may be obtained by a predetermined function having the inter-frame pixel change amount as a variable.
  • it is a unit of the weighting process, it is performed for each image set if the first image quality value is for each image set, and for each frame if it is for each frame.
  • the above weighting process may be performed for a predetermined number of frames after the current frame. This is because the phenomenon that image quality degradation is difficult to detect when the pixel change between frames is large occurs not only in one frame at the time when it is determined that the pixel change between frames is large, but also in the following several frames. It is. For example, the above weighting process is performed in the subsequent five frames.
  • the second image quality value calculator 13 calculates the second image quality based on the weighted first image quality value.
  • the second image quality is output, for example, as an average value of the first image quality value for the entire video or every predetermined frame.
  • the second image quality may be other than the average value. For example, it may be output as an SN ratio.
  • the second embodiment is an embodiment when the present invention is applied to an FR (Full Reference) method or an RR (Reduce Reference) method.
  • FR Full Reference
  • RR Reduce Reference
  • the image quality evaluation system includes a difference calculation unit 101 that obtains a difference between an original image and an evaluation target image for each predetermined pixel set, and pixels between adjacent frames of the evaluation target image.
  • An inter-frame pixel change amount calculation unit 102 that obtains a value change for each predetermined pixel set; a difference weighting unit 103 that applies a weighting process to the difference calculated by the difference calculation unit 101 based on the calculated pixel change amount between frames;
  • the objective image quality value calculation unit 104 obtains an objective image quality value based on the weighted difference.
  • the difference calculation unit 101 calculates a difference value based on the information of one frame of the input original image and the information of one frame of the evaluation target image.
  • the difference value is calculated for each predetermined pixel set (for example, 16 pixels ⁇ 16 pixels).
  • This difference value may be calculated as a pixel-by-pixel difference in pixel values such as luminance, color difference, and RGB at the same pixel position between the original image and the evaluation target image, or a pixel value obtained for each predetermined pixel set Or the statistic of the AC component of the image set (for example, the average value of the pixel values of the pixels in the pixel set is obtained, and the average value of the absolute differences between the average value and each pixel value in the pixel set, Alternatively, the difference in the distribution of pixel values in the pixel set may be calculated.
  • the difference value here is calculated in the form of a difference absolute value, a difference square value, or the like.
  • all pixels may not be referenced in either or both of the original image and the image to be evaluated.
  • the difference value is calculated at the referable pixel position.
  • the inter-frame pixel change amount calculation unit 102 calculates, for each predetermined pixel set, a pixel change between the currently processed frame of the evaluation target image and the previous frame.
  • the pixel change is expressed as the sum of absolute differences of each pixel of luminance, color difference, and RGB value in the pixel set (inter-frame difference absolute value sum) or the difference absolute value per pixel. Expressed as an average value.
  • the sum of absolute differences between frames is used as the inter-frame pixel change amount, but other values may be used as long as the inter-frame pixel change amount is obtained for each predetermined pixel set. For example, a value such as a sum of squared differences may be used.
  • the size of the pixel set for obtaining the inter-frame pixel change amount may be different from the size of the pixel set for calculating the average value of the pixel values and the statistical amount of the AC component.
  • a pixel set is defined by 16 ⁇ 16 pixels which are the encoding unit, and for the inter-frame pixel change, for example, the pixel set is matched to the shape of the object in the frame.
  • the difference weighting unit 103 performs a weighting process on the difference value calculated by the difference calculating unit 101.
  • the weighting process is performed based on the inter-frame pixel change amount calculated by the inter-frame pixel change amount calculation unit 102.
  • a predetermined threshold value is compared with an inter-frame pixel change amount, and the inter-frame pixel change amount is smaller than the threshold value, the pixel change between frames is small, and it is easy to detect slight image quality degradation.
  • the set difference value is weighted by, for example, multiplying it by a predetermined constant of 1 or more.
  • the inter-frame pixel change amount is larger than the threshold value, the pixel change between frames is large and it is difficult to detect image quality degradation. By doing so, weight processing is performed.
  • the weight value may be obtained by a predetermined function using the inter-frame pixel change amount as a variable.
  • the objective image quality value calculation unit 104 calculates an objective image quality value based on the difference value subjected to the weighting process.
  • the objective image quality value is output as an average value of difference values for each predetermined number of frames including at least one frame. For example, an average value for each frame, an average value for each predetermined frame interval (an average value per unit frame in a predetermined number of frames), and an average value for the entire video are output.
  • the objective image quality value based on the AC component difference value may be other than the average value.
  • the difference square value (AC component difference value) may be used as the denominator, and the logarithm may be output as the SN ratio.
  • FIG. 3 is a flowchart showing the operation of the image quality evaluation system according to the second embodiment.
  • parameters necessary for the image quality evaluation process are initialized (S201).
  • initialization of a pointer indicating a frame position and zero reset of a parameter for storing the sum of calculated difference values are performed.
  • Image data for one frame of the original image is input to the image quality evaluation system (S202).
  • pixel data of one frame for the evaluation target image is input to the image quality evaluation system (S203).
  • initialization of parameters necessary for performing image quality evaluation processing for one frame is performed (S204). For example, a parameter indicating the position of the pixel set being processed is initialized here.
  • a difference value is calculated by a predetermined method for each predetermined pixel set of both the original image and the evaluation target image (S205).
  • the difference value Diff is calculated as the difference between the average values of the pixel values obtained for each pixel set.
  • the sum of absolute differences between frames is calculated between the currently processed frame of the evaluation target image and the pixel set at the same position in the frame one frame before in time. Calculate (S206). Then, it is determined whether or not the inter-frame difference absolute value sum (inter-frame pixel change amount) is smaller than a predetermined threshold a (S207). If it is determined that the difference is smaller than the threshold value a, the difference value Diff is multiplied by a constant A of 1 or more (S208).
  • the difference value Diff is multiplied by a constant B equal to or less than 1 (S210).
  • the sum of the difference values Diff up to the current pixel set processing time is calculated (S211). Then, it is checked whether or not the difference calculation has been completed for all pixel sets in one frame (S212). If not completed, the pixel set pointer is advanced to the next pixel set, and the process returns to S205 to continue the processing.
  • step S213 it is checked in step S213 whether processing has been completed for all frames of the video. If not completed, the frame pointer is advanced to the next frame, the process returns to S202, and the same processing is performed for the subsequent frames.
  • the objective image quality value calculation device 104 calculates the average value per pixel set of the AC component difference values of the image set (whole image), and this value is used as the objective image quality value. Output (S213), the process is terminated.
  • a moving picture 1 of SDTV size (horizontal 720 pixels, vertical 480 pixels, 29.97 frames per second) and moving picture 1 encoded by MPEG-2 system 4 Mbps, and a moving picture obtained by decoding the encoded picture 2 is input to the image quality evaluation system shown in FIG.
  • the difference calculation unit 101 divides one frame into a set of pixels of horizontal 16 pixels ⁇ vertical 16 pixels (45 ⁇ 30 blocks) in the same time frame of each image, and calculates an AC component statistic in each pixel set. .
  • the difference calculation unit 101 uses the difference absolute value D n (hereinafter referred to as AC component difference absolute) as the AC component difference value of the AC component statistic of the pixel set in the same frame and the same position of the original image and the evaluation target image. Calculated as a value). For example, when the AC component of the original image is 10 and the AC component of the evaluation target image is 8, the AC component difference absolute value D n is 2. This process is repeated for all pixel sets present in the frame, and the AC component difference absolute value D n is calculated.
  • D n hereinafter referred to as AC component difference absolute
  • the inter-frame pixel change calculation unit 102 divides the evaluation target frame into a pixel set of 16 horizontal pixels ⁇ vertical 16 pixels per frame (45 ⁇ 30 blocks), and sets the current frame pixel set and the current frame.
  • the sum of absolute values of inter-frame differences of luminance values is calculated with the pixel set at the same position in the previous frame. For example, it is assumed that an object having a movement of two pixels in the horizontal direction between frames exists in the pixel set, and a boundary of the object exists in the pixel set. As shown in FIG. 4, due to the movement of two pixels, the absolute value of inter-frame difference in luminance for each pixel increases in the boundary region.
  • the differential weighting section 103 performs weighting processing on the AC component absolute difference D n of each pixel group. First, the sum of absolute differences between frames (inter-frame pixel change amount) is compared with a threshold value. Threshold value 1 is 2560, threshold value 2 is 5120, weighted value W1 is 5.0 when the sum of absolute differences between frames (pixel change amount between frames) is smaller than threshold value 1, and sum of absolute differences between frames (pixel change amount between frames) ) Is larger than the threshold value 2, the weight value W2 is set to 0.25. Weights are determined by comparison with the threshold value, the weight value is multiplied to the AC component absolute difference D n.
  • the objective image quality value calculation unit 104 receives the AC component difference absolute value D n subjected to the weighting process, and calculates the AC per pixel set from the sum of the AC component difference absolute value D n and the number of processed pixel sets. An average value of the component difference absolute values is calculated, and this value is output as an objective image quality value.
  • the inter-frame pixel change amount is calculated between the frame in which image quality is to be evaluated (current frame) and the pixel set at the same position in the frame one frame before in time. Will be explained.
  • the image quality evaluation system of the present invention provides a difference calculation unit 301 that obtains a difference value between an original image and an evaluation target image for each predetermined pixel set and a pixel value change between adjacent frames of the evaluation target image.
  • the frame of the evaluation target image is calculated based on the inter-frame pixel change calculation unit 302 obtained for each pixel set, the difference value calculated by the difference calculation unit 301, and the inter-frame pixel change amount calculated by the inter-frame pixel change amount calculation unit 302.
  • a frame repeat detection unit 303 that determines whether the previous frame is repeated, a difference weighting unit 304 that performs weighting on the difference value based on the presence or absence of the detected frame repeat, and a result of the weighted difference value
  • An objective image quality value calculation unit 305 that obtains an objective image quality value based on the image quality value.
  • the difference calculation unit 301 calculates a difference value based on the input information of one frame of the original image and the information of one frame of the evaluation target image.
  • the difference value is calculated for each predetermined pixel set (for example, 16 pixels ⁇ 16 pixels).
  • This difference value may be calculated as a pixel-by-pixel difference in pixel values such as luminance, color difference, and RGB at the same pixel position between the original image and the evaluation target image, or a pixel value obtained for each predetermined pixel set Or the statistic of the AC component of the image set (for example, the average value of the pixel values of the pixels in the pixel set is obtained, and the average value of the absolute differences between the average value and each pixel value in the pixel set, Alternatively, the difference in the distribution of pixel values in the pixel set may be calculated. Alternatively, it may be obtained as a difference between transform coefficients after orthogonal transformation of the pixel set.
  • the difference value here is calculated in the form of a difference absolute value, a difference square value, or the like. In some cases, such as when video transmission is involved, all pixels may not be referred to in either or both of the original image and the evaluation target image. In this case, the difference value is calculated at the referable pixel position.
  • the inter-frame pixel change amount calculation unit 302 calculates, for each predetermined pixel set, a pixel change between the currently processed frame of the evaluation target image and the previous frame.
  • the pixel change is expressed as the sum of the absolute difference values for each pixel of luminance, color difference, and RGB value within the pixel set (sum of absolute differences between frames), or the average of the absolute difference values per pixel Expressed as a value.
  • the sum of absolute differences between frames is used as the inter-frame pixel change amount, but other values may be used as long as the inter-frame pixel change amount is obtained for each predetermined pixel set. For example, a value such as a sum of squared differences may be used.
  • the size of the pixel set for obtaining the inter-frame pixel change amount may be different from the size of the pixel set for calculating the average value of the pixel values and the statistics of the AC component.
  • a pixel set is defined by 16 ⁇ 16 pixels which are the encoding unit, and for the inter-frame pixel change, for example, the pixel set is matched to the shape of the object in the frame.
  • the frame repeat detection unit 303 determines whether or not the evaluation target image is a repetition of the data of the previous frame due to a missing frame. Specifically, it is checked whether or not the sum of absolute differences between frames is zero. If it is not zero, it is determined that there is no frame repeat due to missing frames. In the case of zero, the difference value calculated by the difference calculation unit 301 is compared with a predetermined threshold value. When the difference value is larger than a predetermined threshold, there is a possibility that temporal alignment (coincidence of frame display time) cannot be obtained between the currently processed frame of the original image and the currently processed frame of the evaluation target image. Therefore, it is determined that the image to be evaluated has a frame repeat due to a missing frame.
  • the difference weighting unit 304 performs a weighting process on the difference value calculated by the difference calculation unit 101.
  • the weighting process is controlled by the presence / absence of a frame repeat caused by a missing frame.
  • the original image frame used when the difference is calculated by the difference calculation unit 301 and the evaluation target image frame are not temporally aligned, and thus a correct difference value cannot be calculated. And multiplying by zero and ignoring the difference calculated in this pixel set.
  • the objective image quality value calculation unit 305 calculates an objective image quality value based on the difference value subjected to the weighting process.
  • the objective image quality value is output as an average value of difference values for each predetermined number of frames including at least one frame. For example, an average value for each frame, an average value for each predetermined frame interval (an average value per unit frame in a predetermined number of frames), and an average value for the entire video are output.
  • the objective image quality value may be other than the average value.
  • the difference square value AC component difference value
  • the logarithm may be output as the SN ratio.
  • the accuracy of image quality evaluation can be improved by excluding the difference value calculated when temporal alignment is not achieved. If temporal alignment is not achieved, the frame of the original image and the frame of the image to be evaluated are frames that should be displayed at different times (timing), so the image quality is evaluated based on the difference between these frames. This is because it is not appropriate to do.
  • the image quality evaluation system shown in the first embodiment is executed by a computer system.
  • the system is equipped with a program control processor 401.
  • the program control processor 401 is connected to a program memory 404 that stores necessary programs.
  • the program module stored in the program memory 404 includes a difference calculation process 405, an inter-frame pixel change amount calculation process 406, a difference weighting process 407, and an objective image quality value calculation process 408. .
  • the main program is a main program that executes image quality evaluation processing.
  • the program modules of the difference calculation process 405, the inter-frame pixel change amount calculation process 406, the difference weighting process 407, and the objective image quality value calculation process 408 are the difference calculation unit 101, the inter-frame pixel change amount calculation unit 102, and the difference weighting unit 103. And the function with the objective image quality calculation part 104 is implement
  • the second embodiment described above can be realized on a computer system by mounting program modules that functionally realize each unit in the computer system.
  • the fifth embodiment is an embodiment when the present invention is applied to a No (No Reference) system.
  • the inter-frame pixel change amount is calculated between the frame in which image quality is to be evaluated (current frame) and the pixel set at the same position in the frame one frame before in time. Will be explained.
  • the image quality evaluation system of the fifth exemplary embodiment analyzes a first image quality value calculation unit 601 that analyzes an evaluation target image and calculates a first image quality value, and between adjacent frames of the evaluation target image.
  • the inter-frame pixel change amount calculation unit 602 that calculates the change in the pixel value for each predetermined pixel set, and the first image quality value weighting unit 603 that performs weighting processing on the first image quality value based on the calculated inter-frame pixel change amount.
  • a second image quality value calculation unit 604 that obtains an objective image quality value (second image quality value) based on the weighted processing result of the first image quality value.
  • the first image quality value calculation unit 601 receives information for one frame of the evaluation target image and calculates the first image quality value by a predetermined method. For example, the amount of block distortion, the amount of blur, the degree of deterioration due to loss due to transmission errors, and the like are calculated as numerical values.
  • the first image quality value may be other than those listed here.
  • the inter-frame pixel change amount calculation unit 602 calculates, for each predetermined pixel set, a pixel change between the currently processed frame of the evaluation target image and the previous frame.
  • the pixel change is expressed as the sum of absolute differences of each pixel of luminance, color difference, and RGB value in the pixel set (inter-frame difference absolute value sum) or the difference absolute value per pixel. Expressed as an average value.
  • the sum of absolute differences between frames is used as the inter-frame pixel change amount, but other values may be used as long as the inter-frame pixel change amount is obtained for each predetermined pixel set. For example, a value such as a sum of squared differences may be used.
  • the size of the pixel set for obtaining the inter-frame pixel change amount may be different from the size of the pixel set for calculating the average value of the pixel values and the statistical amount of the AC component.
  • a pixel set is defined by 16 ⁇ 16 pixels which are the encoding unit, and for the inter-frame pixel change, for example, the pixel set is matched to the shape of the object in the frame.
  • the first image quality value weighting unit 603 performs a weighting process on the first image quality value calculated by the first image quality value calculation unit 601.
  • the weighting process is performed based on the inter-frame pixel change amount calculated by the inter-frame pixel change amount calculation unit 602.
  • the weighting process compares a predetermined threshold value with an inter-frame pixel change amount, and if the inter-frame pixel change amount is smaller than the threshold value, the pixel change between frames is small, and slight image quality deterioration is easily detected. Therefore, a weighting process is performed on the first image quality value so that the image quality is evaluated to be bad.
  • the first image quality value is weighted so that the image quality is evaluated as good. Apply. Note that there may be a plurality of types of threshold values, and in this case, control of multistage weighting processing is possible. Further, the weight value may be obtained by a predetermined function using the inter-frame pixel change amount as a variable.
  • the second image quality value calculation unit 604 calculates a second image quality value (objective image quality value) based on the first image quality value subjected to the weighting process.
  • the second image quality value (objective image quality value) is output as an average value of the difference values or the like for every predetermined number of frames including at least one frame. For example, an average value for each frame, an average value for each predetermined frame interval (an average value per unit frame in a predetermined number of frames), and an average value for the entire video are output.
  • the second image quality value (objective image quality value) may be other than the average value.
  • the difference square value AC component difference value
  • the logarithm may be output as the SN ratio.
  • the pixel change amount of a pixel set having a predetermined size between predetermined frames of the first image is calculated, and at least based on predetermined data of the first image between the predetermined frames.
  • the image quality evaluation method is characterized in that a weighting process is performed on the first image quality value calculated in accordance with the pixel change amount to calculate a second image quality value of the first image.
  • a second aspect of the present invention is characterized in that, in the above aspect, the predetermined frames are an image quality evaluation target frame for image quality evaluation and a frame immediately before the image quality evaluation target frame.
  • a third aspect of the present invention is characterized in that, in the above aspect, the predetermined frames are an image quality evaluation target frame for image quality evaluation and a frame separated from the image quality evaluation target frame by a predetermined interval.
  • the predetermined frame is an image quality evaluation target frame for image quality evaluation and at least two or more frames separated from the image quality evaluation target frame by a predetermined interval.
  • the pixel change amount of the pixel set is a sum in the pixel set of a difference absolute value of any of luminance, color difference, and RGB value at the same pixel position between predetermined frames. It is a sum of absolute differences.
  • the pixel change amount of the pixel set is the difference per unit pixel in the pixel set of the absolute value of any one of luminance, color difference, and RGB value at the same pixel position between the predetermined frames. It is an average value.
  • the pixel change amount is compared with a predetermined one or more threshold values, and when the pixel change amount is smaller than the predetermined threshold value, The first image quality value is multiplied by a predetermined constant greater than 1, and the first image quality value is multiplied by a predetermined constant smaller than 1 when greater than a predetermined threshold.
  • the weighting process is also performed on a first image quality value calculated based on predetermined data of the first image in several frames after the predetermined frame. It is characterized by.
  • the first image quality value is obtained by dividing the first image and a second image different from the first image into a set of pixels of a predetermined size, It is a difference between predetermined data representing the first image and predetermined data representing the second image in each pixel set.
  • the difference is a pixel value of at least one of the same frame, luminance at the same pixel position, color difference, and RGB in the first image and the second image.
  • a difference per pixel a difference in average value of the pixel values in the pixel set, a difference in statistics of alternating current components in the pixel set, or a difference in transform coefficient after orthogonal transformation of pixel values in the pixel set It is characterized by being.
  • the first image quality value is multiplied by zero. , Ignoring the first image quality value.
  • the twelfth aspect of the present invention is characterized in that, in the above aspect, the multiplication constant used for the weighting process is derived from a predetermined function having the pixel change amount as an argument.
  • a pixel change amount calculation unit that calculates a pixel change amount of a pixel set having a predetermined size between predetermined frames of the first image, and predetermined data of the first image at least between the predetermined frames.
  • An image quality value calculation unit that performs weighting processing on the first image quality value calculated based on the pixel change amount based on the pixel change amount and calculates a second image quality value of the first image. Is an image quality evaluation system.
  • the predetermined frames are an image quality evaluation target frame for image quality evaluation and a frame immediately before the image quality evaluation target frame.
  • the predetermined frames are an image quality evaluation target frame for image quality evaluation and a frame separated from the image quality evaluation target frame by a predetermined interval.
  • the predetermined frames are an image quality evaluation target frame for image quality evaluation and at least two or more frames separated from the image quality evaluation target frame by a predetermined interval.
  • the pixel change amount calculation unit is a sum in a pixel set of any difference absolute value of luminance, color difference, or RGB value at the same pixel position between predetermined frames.
  • the sum of absolute differences is calculated as a pixel change amount of the pixel set.
  • the pixel change amount calculation unit is configured such that the pixel change amount calculation unit per unit pixel in the pixel set of any difference absolute value of luminance, color difference, or RGB value at the same pixel position between predetermined frames.
  • An average value is calculated as a pixel change amount of the pixel set.
  • the image quality value calculation unit compares the pixel change amount with a predetermined one or more threshold values, and the pixel change amount is smaller than the predetermined threshold value. And multiplying the first image quality value by a predetermined constant larger than 1, and multiplying the first image quality value by a predetermined constant smaller than 1 if the first image quality value is larger than a predetermined threshold value.
  • the image quality value calculating unit also applies the first image quality value calculated based on predetermined data of the first image in several frames after the predetermined frame. A weighting process is performed.
  • the first image and a second image different from the first image are divided into pixel sets of a predetermined size, and the first image in each pixel set is divided.
  • a first image quality value calculating unit that calculates a first image quality value that is a difference between predetermined data representing one image and predetermined data representing the second image is provided.
  • the difference is a pixel value of at least one of the same frame, luminance at the same pixel position, color difference, and RGB between the first image and the second image.
  • a difference per pixel a difference in average value of the pixel values in the pixel set, a difference in statistics of alternating current components in the pixel set, or a difference in transform coefficient after orthogonal transformation of pixel values in the pixel set It is characterized by being.
  • the image quality value calculation unit is configured such that when the pixel change amount is zero and the first image quality value is greater than a predetermined threshold, The image quality value is multiplied by zero, and the first image quality value is ignored.
  • the image quality value calculating unit derives a multiplication constant used for weighting processing from a predetermined function having the pixel change amount as an argument.
  • a pixel change amount calculation process for calculating a pixel change amount of a pixel set having a predetermined size between predetermined frames of the first image, and predetermined data of the first image at least between the predetermined frames.
  • An image quality value calculation process for calculating a second image quality value of the first image by applying a weighting process to the first image quality value calculated based on the pixel change amount to the information processing apparatus.
  • the pixel change amount calculation process is a sum in a pixel set of any difference absolute value of luminance, color difference, or RGB value at the same pixel position in an adjacent frame.
  • the sum of absolute differences is calculated as a pixel change amount of the pixel set.
  • the pixel change amount calculation processing is performed per unit pixel in a pixel set of a difference absolute value of any of luminance, color difference, and RGB value at the same pixel position in an adjacent frame.
  • An average value is calculated as a pixel change amount of the pixel set.
  • the image quality value calculation process compares the pixel change amount with a predetermined one or more threshold values, and the pixel change amount is smaller than the predetermined threshold value. And multiplying the first image quality value by a predetermined constant larger than 1, and multiplying the first image quality value by a predetermined constant smaller than 1 if the first image quality value is larger than a predetermined threshold value.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出し、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、画素変化量に基づいて加重処理を施して、第１の画像の第２の画質値を算出することを特徴とする画質評価方法である。

Description

画像評価方法、画像評価システム及びプログラム
　本発明は画像評価方法、画像評価システム及びプログラムに関する。
　映像の画質を客観的に評価する方法として、原画像と評価対象画像の画素値（輝度、色差、ＲＧＢ値など）の差分絶対値、差分二乗、ＳＮ比などを用いる方法がある。例えば、特許文献１に記載の画質評価方法では、ＳＮ比に対して、空間周波数の違いによる人間の視覚特性を考慮し、評価対象画像データの画素値とその原画像データの画素値との差分値に基づくＳＮ比を算出し、このＳＮ比に対してフレーム全体の画像データの交流成分電力に基づいた重み付けをおこない、客観画質値を求めている。
　しかし、特許文献１の画質評価方法は、映像信号の時間方向の変化に対する視覚特性を考慮しないため、実際の主観評価結果との相関が高くならない場合があった。
　また、他の画質評価方法が、特許文献２に記載されている。特許文献２に記載されている画質評価方法では、例えば、連続するフレーム間において画素ごとに画素値差分を求め、この差分の大きさに基づき、ＳＮ比に加重処理を施している。
特許第３４５８６００号公報 特開２００７－１１０１８９号公報
　評価対象の画像のフレーム間に微小な動きがある場合、人間の視覚はその動きに追従できるため、動きが無い場合と同様に画質劣化を検知しやすくなる。つまり、微小な動きがある場合においても、動きが無い場合と同じ加重処理を施す必要がある。
　しかし、特許文献２に記載の画質評価方法では、画素ごとに画素変化量を求めているので、評価対象画像のフレーム間に微小な動きが存在した場合には、画像内に存在するオブジェクトの境界近傍で、変化が大きいと判定されてしまう。この判定により加重処理が施されるため、境界近傍では適切な加重処理がおこなわれず主観画質と客観画質の相関が低くなってしまうという課題があった。
　そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、フレーム間の映像の変化を正しく評価し、変化の大きさを客観画質評価結果に反映させる画質評価方法、画質評価システム及びプログラムを提供することにある。
　上記課題を解決する本発明は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出し、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出することを特徴とする画質評価方法である。
　上記課題を解決する本発明は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出部と、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出部とを有することを特徴とする画質評価システムである。
　上記課題を解決する本発明は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出処理と、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出処理とを情報処理装置に実行させることを特徴とするプログラムである。
　本発明の効果は、主観評価との相関が高い客観画質評価が得られる。
図１は第１の実施の形態の画像評価システムのブロック図である。 図２は第２の実施の形態の画像評価システムのブロック図である。 図３は第２の実施の形態の画像評価システムの動作フローチャートである。 図４は第２の実施の形態の具体例を説明する為の図である。 図５は第３の実施の形態の画像評価システムのブロック図である。 図６は第４の実施の形態の画像評価システムのブロック図である。 図７は第５の実施の形態の画像評価システムのブロック図である。
１０　　　第１の画質値算出部
１１　　　フレーム間画素変化量算出部
１２　　　第１の画質値重み付け部
１３　　　第２の画質値算出部
　本発明の実施の形態を説明する。
＜第１の実施の形態＞
　本実施の形態は、第１の画像の所定フレーム間における所定のサイズの画素集合における画素変化量を算出する。そして、少なくとも所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、算出された画素変化量に基づいて加重処理を施し、加重処理後の第２の画質値に基づいて、第１の画像の画質を評価することを特徴とする。
　図１に示されるように、第１の実施の形態の評価システムは、第１の画質値算出部１０と、フレーム間画素変化量算出部１１と、第１の画質値重み付け部１２と、第２の画質値算出部１３とを備える。
　第１の画質値算出部１０は、少なくとも第１の画像の所定データに基づいて第１の画質値を算出する。使用されるデータは、評価対象の第１の画像のデータのみならず、比較対象となる第２の画像（例えば、原画像）の全体の画像データ、又は第２の画像の特徴量も用いても良い。算出される第１の画質値は、例えば、ブロック歪量、ボケ量、伝送エラーによる欠落による劣化の大きさなどが数値として算出される。また、第１の画像と第２の画像との所定の画素集合（ブロック：例えば１６画素×１６画素など）ごとに差分値等でも良い。この差分値は、同画素位置の輝度、色差、ＲＧＢなどの画素値の１画素ずつの差分を計算してもよいし、所定の画素の集合ごとに得られる画素値の平均値や、画像集合の交流成分の統計値（例えば、画素集合内の画素の画素値の平均値を求め、この平均値と画素集合内の各画素値との差分絶対値の平均値、または、画素集合内の画素値の分散）の差分を計算してもよい。また、画素集合を直交変換した後の変換係数の差分として求めても良い。
　フレーム間画素変化量算出部１１は、所定の複数フレーム間における画素集合の画素変化量を計算する。画素集合の画素変化量は、所定の複数フレームの同一画素位置の輝度、色差、ＲＧＢ値のいずれかの画素値の差分絶対値を画素集合内で加算したものとして表現される（フレーム間差分絶対値和）。また、差分絶対値の画素あたりの平均値として表現しても良い。尚、以下の説明において、フレーム間画素変化算出部１１で算出される値をフレーム間画素変化量と記載する。尚、フレーム間画素変化量を求める画素集合のサイズと、第１の画質値の単位サイズとは異なるものであっても良い。サイズを異なるものとすることで、第１の画質値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化量については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化量を算出でき、かつブロック歪など符号化固有の劣化も算出できる。
　また、第１の画質値がフレーム単位の値である場合、各画像集合のフレーム間画素変化量の単位フレーム当たりの平均値を算出するようにしても良い。前記の所定の複数フレームは、例えば画質評価を行おうとしているフレーム(現フレーム)と、その直前のフレームが用いられるが、これ以外のフレームでも良く、現フレームと、現フレームから所定の間隔だけ離れたフレームとを用いても良い。所定の間隔として、２、３、４、５フレームなどを用いる。フレームレート（1秒間に含まれるフレーム数）が高い場合などでは、数フレーム分間隔があいた際の画素変化が大きい時においても、発生した画質劣化が検知しづらくなるので、このような場合にも加重処理を導入することが望ましい。
　また、前記の所定の複数フレームは、３フレーム以上のフレームを用いてもよい。例えば、現フレーム（時刻ｔ）、直前のフレーム（時刻ｔ－１）、2フレーム前のフレーム（時刻ｔ－２）の３フレームを用いて、時刻ｔと時刻ｔ－１のフレーム間での画素変化量と、時刻ｔ－１と時刻ｔ－２のフレーム間での画素変化量とを算出し、この二つの画素変化量の平均値などの統計量を時刻ｔにおける画素変化量としてもよい。
　第１の画質値重み付け部１２は、フレーム間画素変化量算出部１１で算出されたフレーム間画素変化量に基づいて、第１の画質値算出部１０で算出された第１の画質値に対して加重処理を行う。加重処理は、所定の閾値とフレーム間画素変化量とを比較し、フレーム間画素変化量が閾値よりも小さい場合は、フレーム間での画素変化が小さく、わずかな画質劣化も検知しやすくなるため、フレーム間画素変化量を算出した所定のフレーム間で算出された第１の画質値に、例えば１以上の所定の定数を乗算することで重みをつける。
　一方、フレーム間画素変化量が閾値よりも大きい場合は、フレーム間での画素変化が大きく、画質劣化が検知しにくくなるため、例えば１以下の所定の定数を第１の画質値に乗算することで加重処理をおこなう。閾値の種類は複数あってもよく、この場合多段階の加重処理の制御が可能となる。
　また、フレーム間画素変化量を変数とする所定の関数により加重値を求めるようにしても良い。尚、加重処理の単位であるが、第１の画質値が画像集合毎であるならば、画像集合毎に、また、フレーム単位であるならばフレーム単位で行う。さらに、フレーム間の画素変化が大きいと判定された場合に、現在のフレーム以降の所定のフレーム数において上記の加重処理をおこなっても良い。これは、フレーム間の画素変化が大きい場合に画質劣化が検知しにくくなる現象が、フレーム間の画素変化が大きいと判定された時刻の１フレームだけでなく、以降の数フレームに渡って生じるためである。例えば、以降の５フレームにおいて上記の加重処理をおこなうようにする。
　第２画質値算出部１３は、加重処理がされた第１の画質値に基づいて、第２の画質を算出する。第２の画質は、例えば、映像全体又は所定フレーム毎の第１の画質値の平均値などとして出力される。尚、第２の画質は、平均値以外のものでも良い。例えば、ＳＮ比として出力しても良い。
　第１の実施の形態によれば、主観評価との相関が高い客観画質評価が得られる。その理由は、フレーム間の画素値の変化を画素ごとではなく、所定の画素集合ごとに算出することで、フレーム間の微小な動きが存在した場合にも、画像内に存在するオブジェクトの境界近傍で、正しくフレーム間の画素値の変化を算出でき、この画素変化量を客観画質値の算出に用いるからである。
＜第２の実施の形態＞
　第２の実施の形態は、ＦＲ（Ｆｕｌｌ　Ｒｅｆｅｒｅｎｃｅ）方式、またはＲＲ（Ｒｅｄｕｃｅｄ　Ｒｅｆｅｒｅｎｃｅ）方式に本発明を適用した場合の実施の形態である。また、以下の説明においては、画質評価を行おうとしているフレーム(現フレーム)と、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間画素変化量を求める場合を説明する。
　図２を参照すると、第２の実施の形態の画質評価システムは、原画像と評価対象画像との差分を所定の画素集合ごとに求める差分算出部１０１と、評価対象画像の隣接フレーム間の画素値変化を所定の画素集合ごとに求めるフレーム間画素変化量算出部１０２と、算出されたフレーム間の画素変化量に基づき差分算出部１０１で算出された差分に加重処理を施す差分重み付け部１０３と、加重処理された差分に基づき客観画質値を求める客観画質値算出部１０４とから構成される。
　差分算出部１０１は、入力される原画像の１フレームの情報と評価対象画像の１フレームの情報とに基づいて、差分値を算出する。差分値は、所定の画素集合（例えば１６画素×１６画素など）ごとに算出される。この差分値は、原画像と評価対象画像との同画素位置の輝度、色差、ＲＧＢなどの画素値の１画素ずつの差分を計算してもよいし、所定の画素集合ごとに得られる画素値の平均値や、画像集合の交流成分の統計量（例えば、画素集合内の画素の画素値の平均値を求め、この平均値と画素集合内の各画素値との差分絶対値の平均値、または、画素集合内の画素値の分散）の差分を計算してもよい。
　また、画素集合を直交変換した後の変換係数の差分として求めても良い。ここでの差分値は、差分絶対値、差分二乗値などの形で算出される。
　尚、映像伝送を伴う場合などでは、原画像または評価対象画像のいずれか、または双方においてすべての画素を参照できない場合もあるが、この場合は、参照できる画素位置で差分値が計算される。
　フレーム間画素変化量算出部１０２は、評価対象画像の現在処理中のフレームと１フレーム前のフレームとの間での画素変化を所定の画素集合ごとに算出する。画素変化は、輝度、色差、ＲＧＢ値のいずれかの画素ごとの差分絶対値を前記画素集合内で加算したものとして表現される（フレーム間差分絶対値和）か、差分絶対値の画素あたりの平均値として表現される。ここでは、フレーム間差分絶対値和をフレーム間画素変化量として用いているが、所定の画素集合ごとにフレーム間画素変化量を求めていれば他の値を用いても良い。例えば差分二乗和などの値を用いても良い。
　尚、フレーム間画素変化量を求める画素集合のサイズと、画素値の平均値や、交流成分の統計量を算出する画素集合のサイズとは異なるものであっても良い。サイズを異なるものとすることで、差分値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化を算出でき、かつブロック歪など符号化固有の劣化も算出できる。
　差分重み付け部１０３は、差分算出部１０１で算出された差分値に対して加重処理を施す。加重処理は、フレーム間画素変化量算出部１０２にて算出されたフレーム間画素変化量に基づいておこなわれる。所定の閾値とフレーム間画素変化量とを比較し、フレーム間画素変化量が閾値よりも小さい場合は、フレーム間での画素変化が小さく、わずかな画質劣化も検知しやすくなるため、対応する画素集合の差分値に、例えば１以上の所定の定数を乗算することで重みをつける。一方、フレーム間画素変化量が閾値よりも大きい場合は、フレーム間での画素変化が大きく、画質劣化が検知しにくくなるため、例えば１以下の所定の定数を対応する画素集合の差分値に乗算することで加重処理をおこなう。尚、閾値の種類は複数あってもよく、この場合多段階の加重処理の制御が可能となる。また、フレーム間画素変化量を変数とする所定の関数により加重値を求めるようにしても良い。
　客観画質値算出部１０４は、加重処理を施した差分値に基づき、客観画質値を算出する。客観画質値は、少なくとも１フレーム以上からなる所定のフレーム数ごとに、差分値の平均値などとして出力される。例えば、１フレームごとの平均値、所定のフレーム間隔ごとの平均値（所定フレーム数における単位フレーム当たりの平均値）、映像全体での平均値として出力される。尚、交流成分差分値に基づく客観画質値は、平均値以外のものでも良い。例えば、差分二乗値（交流成分差分値）を分母にし、対数をとりＳＮ比として出力しても良い。
　図３は第２の実施の形態の画質評価システムの動作をフローチャートで表したものである。
　まず、画質評価処理に必要となるパラメータ類の初期化がおこなわれる（Ｓ２０１）。ここでは、例えばフレーム位置を示すポインタの初期化や、算出される差分値の和を保存するためのパラメータのゼロリセットなどがおこなわれる。
　原画像１フレーム分の画像データが画質評価システムに入力される（Ｓ２０２）。同様に、評価対象画像１フレームの画素データが画質評価システムに入力される（Ｓ２０３）。
　次に、１フレーム分の画質評価処理をおこなうにあたり必要となるパラメータ類の初期化がおこなわれる（Ｓ２０４）。例えば、処理をおこなっている画素集合の位置を示すパラメータの初期化などがここでおこなわれる。
　そして、原画像、評価対象画像の双方の所定の画素集合ごとに、所定の方法により差分値が算出される（Ｓ２０５）。ここでは、画素集合ごとに得られる画素値の平均値の差分として差分値Ｄｉｆｆを計算するものとする。
　当該画素集合において、評価対象画像の現在処理中のフレームと、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間差分絶対値和（フレーム間画素変化量）を算出する（Ｓ２０６）。そして、このフレーム間差分絶対値和（フレーム間画素変化量）が所定の閾値ａよりも小さいか否かを判定する（Ｓ２０７）。閾値ａよりも小さいと判定された場合、差分値Ｄｉｆｆには１以上の定数Ａが乗算される（Ｓ２０８）。
　一方、閾値１より小さいと判定されなかった場合は、Ｓ２０９にて前記フレーム間差分絶対値和（フレーム間画素変化量）が閾値ｂより大きいか否かを判定する。閾値ｂより大きいと判定された場合、差分値Ｄｉｆｆには１以下の定数Ｂが乗算される（Ｓ２１０）。
　次に、現在の画素集合処理時点までの差分値Ｄｉｆｆの和を算出する（Ｓ２１１）。そして、１フレームすべての画素集合での差分計算が完了しているか否かを調べる（Ｓ２１２）。完了していない場合は、画素集合のポインタを次の画素集合に進め、Ｓ２０５に戻り処理を継続する。
　一方、完了している場合は、Ｓ２１３にて映像の全フレームにおいて処理が完了しているか否かを調べる。完了していない場合は、フレームのポインタを次のフレームに進め、Ｓ２０２に戻り、以降のフレームについて同様の処理をおこなう。
　全フレームの処理が完了している場合は、客観画質値算出装置１０４にて画像集合（映像全体）の交流成分差分値の画素集合あたりの平均値などを算出し、この値を客観画質値として出力し（Ｓ２１３）、処理を終了する。
　続いて、第２の実施の形態の具体例を説明する。
　ＳＤＴＶサイズ（水平７２０画素、垂直４８０画素、１秒あたり２９．９７フレーム）の動画像１と、動画像１をＭＰＥＧ－２方式４Ｍｂｐｓで符号化し、この符号化画像を復号して得られる動画像２とを、図２に記載の画質評価システムに入力する。
　差分算出部１０１は、各画像の同時刻のフレームにおいて、１フレームを水平１６画素×垂直１６画素の画素集合に分割し（４５×３０ブロック）、各画素集合において交流成分の統計量を算出する。ｎブロックの交流成分の統計量Ｘｎは、１６×１６＝２５６画素の輝度値の平均値Ｙを求め、この輝度値の平均値Ｙと２５６画素の各輝度値との差分絶対値の平均値として算出する。
　次に、差分算出部１０１は、原画像と評価対象画像との同フレーム、同位置の画素集合の交流成分の統計量の交流成分差分値として、差分絶対値Ｄｎ（以下、交流成分差分絶対値と記載する）を算出する。例えば、原画像の交流成分が１０で評価対象画像の交流成分が８の場合、交流成分差分絶対値Ｄｎは２となる。この処理を、フレーム内に存在するすべての画素集合にて繰り返し、交流成分差分絶対値Ｄｎを算出する。
　次に、フレーム間画素変化算出部１０２は、評価対象フレームを１フレームあたり、水平１６画素×垂直１６画素の画素集合に分割し（４５×３０ブロック）、現フレームの画素集合と、その現フレームの１フレーム前のフレームの同位置の画素集合との間で、輝度値のフレーム間差分絶対値和（フレーム間画素変化量）を算出する。例えば、この画素集合内に、フレーム間で水平方向に２画素の動きを持つ物体が存在し、かつこの画素集合内にこの物体の境界が存在しているとする。図４に示すように、２画素分の動きにより、境界領域では、画素ごとの輝度のフレーム間差分絶対値が大きくなる。
　特許文献２に基づく画質評価方法では、この差分絶対値が大きい画素では、フレーム間の画素変化が大きく、この画素変化により画質劣化が検知しにくいと判定されてしまう。一方、本例では、水平１６画素×垂直１６画素分の差分絶対値和に基づきフレーム間の画素変化を判定するので、他の境界領域以外での差分絶対値の影響を受け、境界領域でも変化が小さいと判定される。
　次に、差分重み付け部１０３は、各画素集合の交流成分差分絶対値Ｄｎに対する加重処理をおこなう。まず、フレーム間差分絶対値和（フレーム間画素変化量）を閾値と比較する。閾値１を２５６０、閾値２を５１２０、フレーム間差分絶対値和（フレーム間画素変化量）が閾値１より小さい場合の加重値Ｗ１を５．０、フレーム間差分絶対値和（フレーム間画素変化量）が閾値２より大きい場合の加重値Ｗ２を０．２５とする。閾値との比較により加重値が決定され、交流成分差分絶対値Ｄｎにこの加重値が乗算される。
　客観画質値算出部１０４は、加重処理が施された交流成分差分絶対値Ｄｎが入力され、交流成分差分絶対値Ｄｎの合計と、処理をおこなった画素集合数から、画素集合あたりの交流成分差分絶対値の平均値を算出し、この値が客観画質値として出力される。
　＜第３の実施の形態＞
　次に、本発明の第３の実施の形態について詳細に説明する。尚、以下の説明においては、画質評価を行おうとしているフレーム(現フレーム)と、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間画素変化量を求める場合を説明する。
　図５を参照すると、本発明の画質評価システムは、原画像と評価対象画像の差分値を所定の画素集合ごとに求める差分算出部３０１と、評価対象画像の隣接フレーム間の画素値変化を所定の画素集合ごとに求めるフレーム間画素変化算出部３０２と、差分算出部３０１で算出した差分値とフレーム間画素変化量算出部３０２で算出したフレーム間画素変化量とに基づき評価対象画像のフレームが前フレームの繰り返しであるか否かを判別するフレームリピート検出部３０３と、検出されたフレームリピートの有無に基づき差分値に加重処理を施す差分重み付け部３０４と、加重処理された差分値の結果に基づき客観画質値を求める客観画質値算出部３０５とから構成される。
　差分算出部３０１は、入力される原画像の１フレームの情報と評価対象画像の１フレームの情報とに基づいて、差分値を算出する。差分値は、所定の画素集合（例えば１６画素×１６画素など）ごとに算出される。
　この差分値は、原画像と評価対象画像との同画素位置の輝度、色差、ＲＧＢなどの画素値の１画素ずつの差分を計算してもよいし、所定の画素集合ごとに得られる画素値の平均値や、画像集合の交流成分の統計量（例えば、画素集合内の画素の画素値の平均値を求め、この平均値と画素集合内の各画素値との差分絶対値の平均値、または、画素集合内の画素値の分散）の差分を計算してもよい。また、画素集合を直交変換した後の変換係数の差分として求めても良い。ここでの差分値は、差分絶対値、差分二乗値などの形で算出される。尚、映像伝送を伴う場合などでは、原画像または評価対象画像のいずれか、または双方においてすべての画素を参照できない場合もあるが、この場合は、参照できる画素位置で差分値が計算される。
　フレーム間画素変化量算出部３０２は、評価対象画像の現在処理中のフレームと１フレーム前のフレームとの間での画素変化を所定の画素集合ごとに算出する。画素変化は、輝度、色差、ＲＧＢ値のいずれかの画素ごとの差分絶対値を画素集合内で加算したものとして表現される（フレーム間差分絶対値和）か、差分絶対値の画素あたりの平均値として表現される。ここでは、フレーム間差分絶対値和をフレーム間画素変化量として用いているが、所定の画素集合ごとにフレーム間画素変化量を求めていれば他の値を用いても良い。例えば差分二乗和などの値を用いても良い。尚、フレーム間画素変化量を求める画素集合のサイズと、画素値の平均値や、交流成分の統計量を算出する画素集合のサイズとは異なるものであっても良い。サイズを異なるものとすることで、差分値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化を算出でき、かつブロック歪など符号化固有の劣化も算出できる。
　フレームリピート検出部３０３は、評価対象画像がフレームの欠落により前フレームのデータの繰り返しになっているか否かを判定する。具体的には、フレーム間差分絶対値和がゼロであるか否かを調べる。ゼロでない場合は、フレーム欠落に起因するフレームリピートはないと判断する。ゼロである場合には、差分算出部３０１で算出した差分値を所定の閾値と比較する。差分値が所定の閾値よりも大きい場合は、原画像の現在処理中のフレームと、評価対象画像の現在処理中のフレームとの間でテンポラルアラインメント（フレームの表示時間の一致）がとれてない可能性が高いため、評価対象画像はフレーム欠落に起因するフレームリピートがあったと判定される。
　差分重み付け部３０４は、差分算出部１０１で算出された差分値に対して加重処理を施す。加重処理は、フレーム欠落に起因するフレームリピートの有無により制御される。フレームリピートが有ると判定された場合、差分算出部３０１にて差分を算出した際に用いた原画像フレームと評価対象画像フレームとはテンポラルアラインメントが取れていないため、正しい差分値が算出できていないと判断し、ゼロを乗算し、この画素集合で算出した差分を無視する。
　客観画質値算出部３０５は、加重処理を施した差分値に基づき、客観画質値を算出する。客観画質値は、少なくとも１フレーム以上からなる所定のフレーム数ごとに、差分値の平均値などとして出力される。例えば、１フレームごとの平均値、所定のフレーム間隔ごとの平均値（所定フレーム数における単位フレーム当たりの平均値）、映像全体での平均値として出力される。尚、客観画質値は、平均値以外のものでも良い。例えば、差分二乗値（交流成分差分値）を分母にし、対数をとりＳＮ比として出力しても良い。
　本実施の形態は、テンポラルアラインメントが取れていない場合に算出された差分値を除外することで、画質評価の精度を向上させることができる。テンポラルアラインアラインメントが取れていない場合、原画像のフレームと、評価対象画像のフレームとは、本来異なる時刻（タイミング）で表示されるべきフレームであるので、これらのフレーム間の差分に基づき画質を評価することは適切ではないためである。
　＜第４の実施の形態＞
　次に、本発明の第４の発明を実施するための最良の形態について図６を参照して詳細に説明する。
　第４の実施の形態では、上述した第１の実施の形態に示される画質評価システムをコンピュータシステムにより実行する。
　図６を参照すると、本システムはプログラム制御プロセッサ４０１が装備されている。プログラム制御プロセッサ４０１には、原画像データバッファ４０２および評価対象画像データバッファ４０３の他に、必要なプログラムを格納したプログラムメモリ４０４が接続されている。
　プログラムメモリ４０４に格納されるプログラムモジュールは、メインプログラムの他に、差分算出処理４０５と、フレーム間画素変化量算出処理４０６と、差分重み付け処理４０７と、客観画質値算出処理４０８とから構成される。
　メインプログラムは、画質評価処理を実行する主プログラムである。
　差分算出処理４０５、フレーム間画素変化量算出処理４０６、差分重み付け処理４０７、客観画質値算出処理４０８のプログラムモジュールは、差分算出部１０１と、フレーム間画素変化量算出部１０２と、差分重み付け部１０３と、客観画質算出部１０４との機能を実現する。
　上述した第２の実施形態についても同様に各部を機能的に実現するプログラムモジュールを上記コンピュータシステムに実装することにより、コンピュータシステム上で実現可能となる。
　＜第５の実施の形態＞
　本発明の第５の実施の形態について図７を参照して詳細に説明する。
　第５の実施の形態は、Ｎｏ（Ｎｏ　Ｒｅｆｅｒｅｎｃｅ）方式に本発明を適用した場合の実施の形態である。尚、以下の説明においては、画質評価を行おうとしているフレーム(現フレーム)と、時間的に１フレーム前のフレーム中の同位置の画素集合との間で、フレーム間画素変化量を求める場合を説明する。
　図７を参照すると、第５の実施の形態の画質評価システムは、評価対象画像を解析し、第１の画質値を算出する第１の画質値算出部６０１と、評価対象画像の隣接フレーム間の画素値変化を所定の画素集合ごとに求めるフレーム間画素変化量算出部６０２と、算出されたフレーム間画素変化量に基づき第１の画質値に加重処理を施す第１の画質値重み付け部６０３と、第１の画質値の加重処理結果に基づき客観画質値（第２の画質値）を求める第２の画質値算出部６０４とから構成される。
　第１の画質値算出部６０１は、評価対象画像の１フレーム分の情報が入力され、所定の方法にて第１の画質値を算出する。例えば、ブロック歪量、ボケ量、伝送エラーによる欠落による劣化の大きさなどが数値として算出される。第１の画質値はここに挙げたもの意外ものでもよい。
　フレーム間画素変化量算出部６０２は、評価対象画像の現在処理中のフレームと１フレーム前のフレームとの間での画素変化を所定の画素集合ごとに算出する。画素変化は、輝度、色差、ＲＧＢ値のいずれかの画素ごとの差分絶対値を前記画素集合内で加算したものとして表現される（フレーム間差分絶対値和）か、差分絶対値の画素あたりの平均値として表現される。ここでは、フレーム間差分絶対値和をフレーム間画素変化量として用いているが、所定の画素集合ごとにフレーム間画素変化量を求めていれば他の値を用いても良い。例えば差分二乗和などの値を用いても良い。
　尚、フレーム間画素変化量を求める画素集合のサイズと、画素値の平均値や、交流成分の統計量を算出する画素集合のサイズとは異なるものであっても良い。サイズを異なるものとすることで、差分値については、例えば符号化単位である１６×１６画素で画素集合を定義し、フレーム間画素変化については、例えばフレーム内のオブジェクトの形状に合わせて画素集合を定義することで、より正確にフレーム間画素変化を算出でき、かつブロック歪など符号化固有の劣化も算出できる。
　第１の画質値重み付け部６０３は、第１の画質値算出部６０１にて算出された第１の画質値に対して加重処理を施す。加重処理は、フレーム間画素変化量算出部６０２にて算出されたフレーム間画素変化量に基づいておこなわれる。その加重処理は、所定の閾値とフレーム間画素変化量とを比較し、フレーム間画素変化量が閾値よりも小さい場合は、フレーム間での画素変化が小さく、わずかな画質劣化も検知しやすくなるため、画質が悪いと評価されるように第１の画質値に加重処理を施す。一方、フレーム間画素変化量が閾値よりも大きい場合は、フレーム間での画素変化が大きく、画質劣化が検知しにくくなるため、画質が良いと評価されるように第１の画質値に加重処理を施す。尚、閾値の種類は複数あってもよく、この場合多段階の加重処理の制御が可能となる。また、フレーム間画素変化量を変数とする所定の関数により加重値を求めるようにしても良い。
　第２の画質値算出部６０４は、加重処理を施した第１の画質値に基づき、第２の画質値（客観画質値）を算出する。第２の画質値（客観画質値）は、少なくとも１フレーム以上からなる所定のフレーム数ごとに、差分値の平均値などとして出力される。例えば、１フレームごとの平均値、所定のフレーム間隔ごとの平均値（所定フレーム数における単位フレーム当たりの平均値）、映像全体での平均値として出力される。尚、第２の画質値（客観画質値）は、平均値以外のものでも良い。例えば、差分二乗値（交流成分差分値）を分母にし、対数をとりＳＮ比として出力しても良い。
　以上の如く、本発明の第１の態様は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出し、少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出することを特徴とする画質評価方法である。
　本発明の第２の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする。
　本発明の第３の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする。
　本発明の第４の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする。
　本発明の第５の態様は、上記態様において、画素集合の画素変化量は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和であることを特徴とする。
　本発明の第６の態様は、上記態様において、画素集合の画素変化量は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値であることを特徴とする。
　本発明の第７の態様は、上記態様において、前記加重処理は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする。
　本発明の第８の態様は、上記態様において、前記加重処理は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても行うことを特徴とする。
　本発明の第９の態様は、上記態様において、第１の画質値は、前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分であることを特徴とする。
　本発明の第１０の態様は、上記態様において、前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする。
　本発明の第１１の態様は、上記態様において、前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする。
　本発明の第１２の態様は、上記態様において、加重処理に用いる乗算定数は、前記画素変化量を引数とする所定の関数から導出されることを特徴とする。
　本発明の第１３の態様は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出部と、少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出部とを有することを特徴とする画質評価システムである。
　本発明の第１４の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする。
　本発明の第１５の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする。
　本発明の第１６の態様は、上記態様において、前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする。
　本発明の第１７の態様は、上記態様において、前記画素変化量算出部は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和を、前記画素集合の画素変化量として算出することを特徴とする。
　本発明の第１８の態様は、上記態様において、前記画素変化量算出部は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出することを特徴とする。
　本発明の第１９の態様は、上記態様において、前記画質値算出部は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする。
　本発明の第２０の態様は、上記態様において、前記画質値算出部は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても加重処理を行うことを特徴とする。
　本発明の第２１の態様は、上記態様において、前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分である第１の画質値を算出する第１の画質値算出部を有することを特徴とする。
　本発明の第２２の態様は、上記態様において、前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする。
　本発明の第２３の態様は、上記態様において、前記画質値算出部は、前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする。
　本発明の第２４の態様は、上記態様において、前記画質値算出部は、加重処理に用いる乗算定数を、前記画素変化量を引数とする所定の関数から導出することを特徴とする。
　本発明の第２５の態様は、第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出処理と、少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出処理とを情報処理装置に実行させることを特徴とするプログラムである。
　本発明の第２６の態様は、上記態様において、前記画素変化量算出処理は、隣接するフレームの同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和を、前記画素集合の画素変化量として算出することを特徴とする。
　本発明の第２７の態様は、上記態様において、前記画素変化量算出処理は、隣接するフレームの同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出することを特徴とする。
　本発明の第２８の態様は、上記態様において、前記画質値算出処理は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする。
　以上好ましい実施の形態及び態様をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び態様に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
　本出願は、２００８年４月３０日に出願された日本出願特願２００８－１１８３４７号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 

Claims (28)

  1. 　第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出し、
    　少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する
    ことを特徴とする画質評価方法。
  2. 　前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする請求項１に記載の画像評価方法。
  3. 　前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする請求項１に記載の画像評価方法。
  4. 　前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする請求項１に記載の画像評価方法。
  5. 　画素集合の画素変化量は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和であることを特徴とする請求項１に記載の画質評価方法。
  6. 　画素集合の画素変化量は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値であることを特徴とする請求項１に記載の画質評価方法。
  7. 　前記加重処理は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする請求項５又は請求項６に記載の画質評価方法。
  8. 　前記加重処理は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても行うことを特徴とする請求項１に記載の画質評価方法。
  9. 　第１の画質値は、前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分であることを特徴とする請求項８に記載の画質評価方法。
  10. 　前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする請求項７に記載の画質評価方法。
  11. 　前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする請求項７に記載の画質評価方法。
  12. 　加重処理に用いる乗算定数は、前記画素変化量を引数とする所定の関数から導出されることを特徴とする請求項７に記載の画質評価方法。
  13. 　第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出部と、
    　少なくとも前記所定フレーム間における第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出部と
    を有することを特徴とする画質評価システム。
  14. 　前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームの直前のフレームとであることを特徴とする請求項１３に記載の画像評価システム。
  15. 　前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れたフレームとであることを特徴とする請求項１３に記載の画像評価システム。
  16. 　前記所定フレームは、画質評価の画質評価対象フレームと、前記画質評価対象フレームから所定の間隔だけ離れた少なくとも２以上のフレームとであることを特徴とする請求項１３に記載の画像評価システム。
  17. 　前記画素変化量算出部は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和を、前記画素集合の画素変化量として算出することを特徴とする請求項１３に記載の画質評価システム。
  18. 　前記画素変化量算出部は、所定フレーム間の同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出することを特徴とする請求項１３に記載の画質評価システム。
  19. 　前記画質値算出部は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする請求項１７又は請求項１８に記載の画質評価システム。
  20. 　前記画質値算出部は、前記所定フレーム以降の数フレームにおける第１の画像の所定データに基づいて算出された第１の画質値に対しても加重処理を行うことを特徴とする請求項１３に記載の画像評価システム。
  21. 　前記第１の画像と前記第１の画像とは異なる第２の画像とを所定サイズの画素集合に分割し、前記各画素集合内における前記第１の画像を表現する所定のデータと前記第２の画像を表現する所定のデータとの差分である第１の画質値を算出する第１の画質値算出部を有することを特徴とする請求項１９に記載の画質評価システム。
  22. 　前記差分は、前記第１の画像と前記第２の画像とにおける同フレーム、同画素位置の輝度、色差、ＲＧＢの少なくともいずれかの画素値の画素あたり差分、前記画素集合の前記画素値の平均値の差分、前記画素集合の交流成分の統計量の差分、又は、前記画素集合の画素値を直交変換した後の変換係数の差分のいずれかであることを特徴とする請求項１９に記載の画質評価システム。
  23. 　前記画質値算出部は、前記画素変化量が零であり、かつ前記第１の画質値が所定の閾値よりも大きい場合に、前記第１の画質値に零を乗算し、前記第１の画質値を無視することを特徴とする請求項１９に記載の画質評価システム。
  24. 　前記画質値算出部は、加重処理に用いる乗算定数を、前記画素変化量を引数とする所定の関数から導出することを特徴とする請求項１９に記載の画質評価システム。
  25. 　第１の画像の所定フレーム間における所定サイズの画素集合の画素変化量を算出する画素変化量算出処理と、
    　少なくとも前記所定フレーム間の第１の画像の所定データに基づいて算出された第１の画質値に、前記画素変化量に基づいて加重処理を施して、前記第１の画像の第２の画質値を算出する画質値算出処理と
    を情報処理装置に実行させることを特徴とするプログラム。
  26. 　前記画素変化量算出処理は、隣接するフレームの同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合内の和である差分絶対値和を、前記画素集合の画素変化量として算出することを特徴とする請求項２５に記載のプログラム。
  27. 　前記画素変化量算出処理は、隣接するフレームの同一画素位置における輝度、色差、ＲＧＢ値のいずれかの差分絶対値の画素集合における単位画素あたりの平均値を、前記画素集合の画素変化量として算出することを特徴とする請求項２５に記載のプログラム。
  28. 　前記画質値算出処理は、前記画素変化量と所定の１つ以上の閾値との比較をおこない、前記画素変化量が所定の閾値よりも小さい場合に、１より大きい所定の定数を前記第１の画質値に乗算し、所定の閾値よりも大きい場合に１より小さい所定の定数を前記第１の画質値に乗算することを特徴とする請求項２６又は請求項２７に記載のプログラム。
     
PCT/JP2009/058337 2008-04-30 2009-04-28 画像評価方法、画像評価システム及びプログラム WO2009133879A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/922,730 US8699818B2 (en) 2008-04-30 2009-04-28 Method, system, and program for determining image quality based on pixel changes between image frames
JP2010510131A JP5708916B2 (ja) 2008-04-30 2009-04-28 画像評価方法、画像評価システム及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-118347 2008-04-30
JP2008118347 2008-04-30

Publications (1)

Publication Number Publication Date
WO2009133879A1 true WO2009133879A1 (ja) 2009-11-05

Family

ID=41255095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058337 WO2009133879A1 (ja) 2008-04-30 2009-04-28 画像評価方法、画像評価システム及びプログラム

Country Status (3)

Country Link
US (1) US8699818B2 (ja)
JP (1) JP5708916B2 (ja)
WO (1) WO2009133879A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004840A (ja) * 2010-06-16 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価装置及び方法及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2114080A1 (en) * 2008-04-30 2009-11-04 Thomson Licensing Method for assessing the quality of a distorted version of a frame sequence
KR100954835B1 (ko) * 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
EP2360669A1 (en) * 2010-01-22 2011-08-24 Advanced Digital Broadcast S.A. A digital video signal, a method for encoding of a digital video signal and a digital video signal encoder
US8285069B2 (en) * 2010-03-30 2012-10-09 Chunghwa Picture Tubes, Ltd. Image processing device and method thereof
US9491464B2 (en) 2011-08-29 2016-11-08 Beamr Imaging Ltd Controlling a video content system by computing a frame quality score
US9781449B2 (en) 2011-10-06 2017-10-03 Synopsys, Inc. Rate distortion optimization in image and video encoding
US9338463B2 (en) * 2011-10-06 2016-05-10 Synopsys, Inc. Visual quality measure for real-time video processing
US8570379B1 (en) 2012-10-04 2013-10-29 Dish Network L.L.C. Frame block comparison
US9223781B2 (en) * 2012-12-05 2015-12-29 Vyclone, Inc. Method and apparatus for automatic editing
JP2017108309A (ja) * 2015-12-10 2017-06-15 オリンパス株式会社 撮像装置および撮像方法
JP6693251B2 (ja) * 2016-04-25 2020-05-13 セイコーエプソン株式会社 画像供給装置、画像供給装置の制御方法、及び、プログラム
US11259040B1 (en) * 2019-04-25 2022-02-22 Amazon Technologies, Inc. Adaptive multi-pass risk-based video encoding
JP7537095B2 (ja) * 2020-02-18 2024-08-21 株式会社リコー 情報処理装置、プログラム、情報生成方法、情報処理システム
US11557025B2 (en) * 2020-08-17 2023-01-17 Netflix, Inc. Techniques for training a perceptual quality model to account for brightness and color distortions in reconstructed videos
US11532077B2 (en) 2020-08-17 2022-12-20 Netflix, Inc. Techniques for computing perceptual video quality based on brightness and color components
US11568527B2 (en) * 2020-09-24 2023-01-31 Ati Technologies Ulc Video quality assessment using aggregated quality values

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09307930A (ja) * 1996-05-10 1997-11-28 Kokusai Denshin Denwa Co Ltd <Kdd> ディジタル画像品質評価装置
JP2001197527A (ja) * 1999-11-11 2001-07-19 Tektronix Inc 実時間人間視覚システム行動モデル化方法
JP2004260602A (ja) * 2003-02-26 2004-09-16 Kddi Corp 画像劣化自動検出装置
JP2007110189A (ja) * 2005-10-11 2007-04-26 Shinano Kenshi Co Ltd 画質評価装置および画質評価方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3704740B2 (ja) * 1994-10-17 2005-10-12 ソニー株式会社 量子化装置および量子化方法
JP3025415B2 (ja) 1995-01-20 2000-03-27 ケイディディ株式会社 ディジタル圧縮・再生画像の画質評価装置
JPH0937242A (ja) 1995-07-21 1997-02-07 Nippon Telegr & Teleph Corp <Ntt> 可変ビットレート画像信号符号化装置
US6239834B1 (en) 1996-01-11 2001-05-29 Kokusai Denshin Denwa Co., Ltd. Apparatus for evaluating digital picture quality
JP2933132B2 (ja) 1997-01-09 1999-08-09 日本電気株式会社 多地点テレビ会議制御装置及び画面合成符号化方法
JP3623679B2 (ja) * 1999-01-06 2005-02-23 日本電気株式会社 動画像符号化装置
JP2001216583A (ja) * 2000-02-01 2001-08-10 Oki Electric Ind Co Ltd カメラシステム
US6873657B2 (en) * 2001-12-27 2005-03-29 Koninklijke Philips Electronics, N.V. Method of and system for improving temporal consistency in sharpness enhancement for a video signal
JP3918759B2 (ja) * 2003-03-28 2007-05-23 ソニー株式会社 画像データの生成装置および生成方法
JP4394558B2 (ja) * 2004-10-14 2010-01-06 富士通マイクロエレクトロニクス株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP1804519A4 (en) * 2004-10-18 2010-01-06 Nippon Telegraph & Telephone OBJECTIVE VIDEO QUALITY EVALUATION DEVICE, EVALUATION METHOD AND PROGRAM
JP2006201983A (ja) 2005-01-19 2006-08-03 Sharp Corp 画質評価装置および画質評価方法
JP2006235771A (ja) * 2005-02-23 2006-09-07 Victor Co Of Japan Ltd 遠隔操作装置
US8514933B2 (en) * 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
US7711211B2 (en) * 2005-06-08 2010-05-04 Xerox Corporation Method for assembling a collection of digital images
US7983458B2 (en) * 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
JP5174329B2 (ja) * 2006-05-23 2013-04-03 株式会社日立製作所 画像処理装置及び画像表示装置
US8825138B2 (en) * 2007-09-17 2014-09-02 Wisconsin Alumni Research Foundation Method for reducing motion artifacts in highly constrained medical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09307930A (ja) * 1996-05-10 1997-11-28 Kokusai Denshin Denwa Co Ltd <Kdd> ディジタル画像品質評価装置
JP2001197527A (ja) * 1999-11-11 2001-07-19 Tektronix Inc 実時間人間視覚システム行動モデル化方法
JP2004260602A (ja) * 2003-02-26 2004-09-16 Kddi Corp 画像劣化自動検出装置
JP2007110189A (ja) * 2005-10-11 2007-04-26 Shinano Kenshi Co Ltd 画質評価装置および画質評価方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004840A (ja) * 2010-06-16 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価装置及び方法及びプログラム

Also Published As

Publication number Publication date
US8699818B2 (en) 2014-04-15
US20110007968A1 (en) 2011-01-13
JPWO2009133879A1 (ja) 2011-09-01
JP5708916B2 (ja) 2015-04-30

Similar Documents

Publication Publication Date Title
JP5708916B2 (ja) 画像評価方法、画像評価システム及びプログラム
JP5605570B2 (ja) 画質評価方法、画質評価システムおよびプログラム
US12125173B2 (en) Video denoising method and device, and computer readable storage medium
KR100670003B1 (ko) 적응형 문턱치를 이용한 영상의 평탄 영역 검출장치 및 그방법
KR20050012751A (ko) 로컬 에지 통계적 분포를 기초로 선명도 메트릭스들을추정하는 방법 및 시스템
US20070263897A1 (en) Image and Video Quality Measurement
JP2010134700A (ja) 画像評価装置および画像評価方法
US20150187051A1 (en) Method and apparatus for estimating image noise
JP4194029B2 (ja) 画像劣化自動検出装置
US9584807B2 (en) Method and apparatus for motion estimation in a video system
JP5569808B2 (ja) 画質評価システム、方法およびプログラム
US8345163B2 (en) Image processing device and method and image display device
US8811766B2 (en) Perceptual block masking estimation system
US8396323B2 (en) Method and apparatus for measuring blockiness in video images
US9124869B2 (en) Systems and methods for video denoising
EP3329672B1 (en) Determining a quality measure for a processed video signal
KR101574418B1 (ko) 은닉 마코프 모델과 주성분 분석을 이용한 블록형 재깅 결함 제거 장치 및 방법
CN101340600B (zh) 一种影像噪声评估系统及方法
JP5757565B2 (ja) ノイズレベル推定装置、ノイズレベル推定方法及びプログラム
Cheraaqee et al. Incorporating gradient direction for assessing multiple distortions
JP4729127B2 (ja) 画像評価装置
Lukic et al. Real-time wavelet based blur estimation on cell BE platform
JP2011217294A (ja) ノイズ低減処理装置
KR20050019867A (ko) 비디오 데이터의 품질을 측정하기 위한 방법 및 장치
JP2011186265A (ja) 動きベクトル補正装置、補正方法、プログラムおよび集積回路

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09738816

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12922730

Country of ref document: US

Ref document number: 2010510131

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09738816

Country of ref document: EP

Kind code of ref document: A1