WO2016080354A1 - 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム - Google Patents

映像品質推定装置、映像品質推定方法、および映像品質推定プログラム Download PDF

Info

Publication number
WO2016080354A1
WO2016080354A1 PCT/JP2015/082136 JP2015082136W WO2016080354A1 WO 2016080354 A1 WO2016080354 A1 WO 2016080354A1 JP 2015082136 W JP2015082136 W JP 2015082136W WO 2016080354 A1 WO2016080354 A1 WO 2016080354A1
Authority
WO
WIPO (PCT)
Prior art keywords
video quality
video
value
maximum value
resolution
Prior art date
Application number
PCT/JP2015/082136
Other languages
English (en)
French (fr)
Inventor
太一 河野
山本　浩司
恵 竹下
一道 佐藤
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2016560213A priority Critical patent/JP6466963B2/ja
Priority to US15/525,846 priority patent/US10154266B2/en
Publication of WO2016080354A1 publication Critical patent/WO2016080354A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Definitions

  • the present invention relates to an apparatus, method, and program for estimating video quality (hereinafter referred to as “video quality”) experienced by a user when viewing a video in a service for viewing an encoded video. .
  • video is encoded in order to compress the amount of data.
  • bit rate is lowered
  • block-like distortion and blurring occur, and the video quality is lowered.
  • Video quality also depends on video resolution and frame rate.
  • the present invention has been made paying attention to the above circumstances, and an object of the present invention is to provide a technique capable of accurately estimating the video quality from the encoding bit rate, resolution, and frame rate. is there.
  • a video quality value that is a value obtained by quantifying the video quality, which is the quality of the video experienced when a user views the video.
  • a video quality estimation device Maximum value calculating means for calculating the maximum value of the video quality value from the resolution of the video and the frame rate of the video;
  • Video quality calculation means for calculating an estimated video quality value corresponding to the input encoding bit rate based on a predetermined relationship between the video encoding bit rate and the video quality value, The predetermined relationship is a relationship in which the video quality value increases as the encoding bit rate increases, and the video quality value converges to the maximum value calculated by the maximum value calculating means.
  • the video quality value that is a value obtained by quantifying the video quality, which is the quality of the video experienced when the user views the video, is obtained.
  • An inflection point that is a point at which the bending direction on the curve drawn by the sigmoid function having the property of an S-curve that converges to a certain value when the input value increases or decreases is calculated based on the resolution and the frame rate.
  • Music point calculation means An encoding bit rate that is an average amount of data per unit time of the video, a maximum value of the video quality value calculated by the maximum value calculation unit, and the inflection point calculated by the inflection point calculation unit
  • Video quality calculating means for calculating an estimated video quality value by inputting Is provided.
  • the video quality value that is a value obtained by quantifying the video quality, which is the quality of the video experienced when the user views the video, is obtained.
  • a video quality estimation method executed by a video quality estimation apparatus to estimate, A maximum value calculating step for calculating the maximum value of the video quality value from the resolution of the video and the frame rate of the video;
  • the predetermined relationship is a relationship in which the video quality value increases as the encoding bit rate increases, and the video quality value converges to the maximum value calculated by the maximum value calculating step.
  • a video quality estimation method is provided.
  • the video quality value that is a value obtained by quantifying the video quality, which is the quality of the video experienced when the user views the video.
  • a video quality estimation method executed by a video quality estimation apparatus to estimate, Based on a resolution that is the number of pixels of one frame of the video and a frame rate that is the number of frames per unit time of the video, the maximum value of the video quality value is calculated, An inflection point, which is a point where the bending direction on the curve drawn by the sigmoid function having the property of an S-shaped curve that converges to a certain value when the input value increases or decreases, is calculated based on the resolution and the frame rate, An estimated video quality value is calculated by inputting an encoding bit rate that is an average data amount per unit time of the video, the maximum value, and the inflection point to the sigmoid function.
  • a video quality estimation method is provided.
  • a technique capable of accurately estimating a video quality value from an encoding bit rate, resolution, and frame rate.
  • FIG. 1 shows the relationship between the encoding bit rate and the video quality value (example when the resolution is changed) showing an example of the result of the subjective evaluation experiment.
  • FIG. 2 is a relationship between the encoding bit rate and the video quality value showing an example of the result of the subjective evaluation experiment (when the frame rate is changed).
  • FIG. 3 is a functional block diagram illustrating a configuration example of a video quality estimation apparatus to which the video quality estimation method according to the present embodiment is applied.
  • FIG. 4 is a diagram showing the relationship between the encoding bit rate based on the formula for video quality estimation according to this embodiment and the video quality value.
  • FIG. 5 is a diagram showing a relationship between an encoding bit rate based on an equation for video quality estimation according to the present embodiment and a video quality value.
  • FIG. 6 is a flowchart showing an operation example of the video quality estimation apparatus to which the video quality estimation method according to this embodiment is applied.
  • 1 and 2 show the results of an experiment (hereinafter referred to as “subjective evaluation experiment”) in which a plurality of evaluators view and evaluate a video.
  • the vertical axis indicates the average value of scores evaluated by a plurality of evaluators for the viewed video (hereinafter referred to as “video quality value”), and the horizontal axis indicates the encoding bit rate. ing.
  • FIG. 1 and FIG. 2 shows the difference in plot points between FIG. 1 and the difference in video resolution
  • FIG. 2 shows the difference in frame rate. That is, FIG. 1 shows curves a (resolution 480 ⁇ 270), b (resolution 640 ⁇ 360), c (resolution 960 ⁇ 540), d (resolution 1280) with the resolution changed with the frame rate fixed at 15. ⁇ 720).
  • FIG. 2 shows curves e (frame rate 10), f (frame rate 15), and g (frame rate 30) in which the frame rate is changed in a state where the resolution is fixed to 640 ⁇ 360.
  • the encoding bit rate and the video quality value have a S-curve relationship (property 1), and the minimum quality value (FIG. 1 and FIG. 2, the video quality value converges to 1) (property 2), and when the encoding bit rate increases, the video quality value converges to a certain video quality value.
  • the higher the resolution or the higher the frame rate the larger the video quality value. (Property 3) was obtained.
  • the inflection point of the S-shaped curve in each plot of FIGS. 1 and 2 is located at a higher encoding bit rate as the resolution is higher in FIG. 1 and as the frame rate is higher in FIG. ) was obtained. Examples of the quality of the video quality include such properties 1 to 4.
  • FIG. 3 is a functional block diagram illustrating a configuration example of the video quality estimation apparatus 10 to which the video quality estimation method according to the present embodiment is applied.
  • the relationship between the coding bit rate BR, the resolution RS, the frame rate FR, and the video quality value is modeled based on the video quality value that is the average value of the scores obtained by the subjective evaluation experiment.
  • An estimated video quality value VQ is calculated from the encoding bit rate BR, the resolution RS, and the frame rate FR using the equation.
  • the video quality estimation apparatus 10 includes a maximum value calculation unit 12, an inflection point calculation unit 14, and a video quality calculation unit 16.
  • a video quality estimation apparatus 10 is realized by a computer which reads a program recorded on a recording medium such as a magnetic disk or a program downloaded via a communication network such as the Internet and whose operation is controlled by this program. May be. That is, the maximum value calculation unit 12, the inflection point calculation unit 14, and the video quality calculation unit 16 are realized by a processor of a computer that executes the program.
  • the maximum value calculation unit 12, the inflection point calculation unit 14, and the video quality calculation unit 16 may each be realized as a hardware circuit.
  • the maximum value calculation unit 12 receives a resolution RS that is the number of pixels of one frame of a video and a frame rate FR that is the number of frames per unit time of the video, and a video quality value determined for each resolution RS and the frame rate FR.
  • the maximum value MAX is calculated.
  • the maximum value MAX of the video quality value is calculated by the following formula (Formula 1).
  • Expression 1 is expressed by a two-variable increase function that increases as the resolution RS and the frame rate FR increase. As described above, the video quality value converges to a certain convergence value when the encoding bit rate increases.
  • the maximum value MAX here corresponds to the convergence value at a given resolution RS and frame rate FR.
  • VQ max is the maximum value that the estimated video quality value VQ can take
  • VQ min is the minimum value that the estimated video quality value VQ can take.
  • ITU-T recommendation P.I. In the ACR method of the subjective evaluation method defined in 910, VQ max is 5 and VQ min is 1.
  • the maximum value calculation unit 12 may calculate the maximum value MAX by including processing logic corresponding to Equation 1, or read function data representing Equation 1 from a storage device included in the video quality estimation apparatus 10.
  • the calculation of Expression 1 may be performed by Further, a table in which the resolution RS, the frame rate FR, and the maximum value MAX are associated with each other in accordance with the relationship shown in Expression 1 is stored in the storage device, and calculation is performed by reading the maximum value MAX corresponding to the input value. It is good as well.
  • Equation 1 is merely an example of an equation for calculating the maximum video quality value MAX.
  • Another expression that appropriately represents the maximum value MAX of the video quality values obtained by experiments or the like for each resolution RS and frame rate FR may be used.
  • the inflection point calculation unit 14 calculates the inflection point IP using the resolution RS and the frame rate FR.
  • the inflection point IP is a point where the bending direction on the curve drawn by the sigmoid function used in the video quality calculation unit 16 changes.
  • the sigmoid function has the property of an S curve that converges to a certain value when the input value increases or decreases.
  • the inflection point IP is calculated by the following formula (Formula 2). Expression 2 is expressed by a two-variable increase function that increases as the resolution RS and the frame rate FR increase.
  • c 3 , c 4 , c 5 and c 6 are coefficients.
  • the unit of the inflection point IP is the same as the unit of the encoding bit rate.
  • the inflection point calculation unit 14 may calculate the inflection point IP by including processing logic corresponding to Expression 2, or from the storage device in which the video quality estimation apparatus 10 has function data representing Expression 2. It is good also as performing calculation of Formula 2 by reading. Further, a table in which the resolution RS, the frame rate FR, and the inflection point IP are associated with each other according to the relationship shown in Expression 2 is stored in the storage device, and the inflection point IP corresponding to the input value is read out. It is good also as performing.
  • Expression 2 is merely an example of an expression for calculating the inflection point IP.
  • Another equation that appropriately represents the value of the inflection point IP obtained by experiments or the like may be used for each resolution RS and frame rate FR.
  • the video quality calculation unit 16 uses the encoding bit rate BR as an input value, and calculates an estimated video quality value VQ expressed by a sigmoid function to which the maximum video quality value MAX and the inflection point IP are applied. .
  • a sigmoid function is shown as Equation 3 below.
  • c 7 shown as an index of (BR / IP) is a coefficient.
  • the estimated video quality value VQ is expressed by a sigmoid function with the encoding bit rate BR as an input.
  • the coefficient c 7 is such that the higher convergence value of the encoding bit rate BR becomes the maximum value MAX of the video quality value, and the lower convergence value of the encoding bit rate BR becomes the minimum value VQ min of the estimated video quality value.
  • the inflection point IP corresponds to the X-axis coordinate of the inflection point of the sigmoid function.
  • the difference between the video quality value obtained in the subjective evaluation experiment and the estimated video quality value VQ is minimized by the least square method or the like. It may be determined by optimization as described above.
  • the video quality calculation unit 16 may calculate the estimated video quality value VQ by including processing logic corresponding to Expression 3, or from the storage device provided in the video quality estimation apparatus 10 with function data representing Expression 3. It is good also as performing calculation of Formula 3 by reading. Further, a table in which the maximum value MAX, the inflection point IP, the encoding bit rate BR, and the estimated video quality value VQ are associated with each other according to the relationship shown in Expression 3 is stored in the storage device, and the input value (maximum value The calculation may be performed by reading the estimated video quality value VQ corresponding to MAX, the inflection point IP, and the encoding bit rate BR).
  • the formula for calculating the estimated video quality value VQ from the maximum video quality value MAX, the inflection point IP, and the encoding bit rate BR is not limited to Formula 3, and the inflection point IP is used as the inflection point.
  • Other expressions (not limited to sigmoid functions) for drawing an S-shaped curve may be used.
  • Expression 3 is an example of an expression for calculating the estimated video quality value VQ from the resolution RS, the frame rate FR, and the encoding bit rate BR. It is.
  • FIG. 4 is a graph schematically showing video quality values obtained for each encoding bit rate BR according to Equation 3 when a certain resolution RS and frame rate FR are given.
  • the value of the inflection point IP at the resolution RS and the frame rate FR is shown as “IP”.
  • the maximum value MAX at the resolution RS and the frame rate FR is 5.
  • the equation for calculating the estimated video quality value VQ from the resolution RS, the frame rate FR, and the encoding bit rate BR is not limited to the one having an inflection point as shown in Equation 3 and FIG.
  • the following formula 4 may be used.
  • VQ MAX ⁇ MAX ⁇ exp ( ⁇ BR / a) Equation 4
  • a is a fixed coefficient, and an appropriate value is determined by, for example, experiments.
  • MAX is the maximum value MAX already described, and is calculated by Equation 1 in this embodiment.
  • BR is an encoding bit rate.
  • FIG. 5 is a graph schematically showing video quality values obtained for each encoding bit rate BR according to Equation 4 when a certain resolution RS and frame rate FR are given. As shown in FIG. 5, there is no inflection point, and the video quality value decreases from the maximum value MAX (5 in the case of FIG. 5) as the encoding bit rate decreases.
  • the video quality calculation unit 16 may calculate the estimated video quality value VQ by including processing logic corresponding to Equation 4, or the storage device in which the video quality estimation device 10 includes function data representing Equation 4. It is good also as performing calculation of Formula 4 by reading from.
  • a table in which the maximum value MAX, the encoding bit rate BR, and the estimated video quality value VQ are associated with each other according to the relationship shown in Expression 4 is stored in the storage device, and the input value (maximum value MAX, encoding bit The calculation may be performed by reading the estimated video quality value VQ corresponding to the rate BR).
  • the quality of video quality has an inflection point, but this is an example of the quality of video quality.
  • the video quality value increases as the encoding bit rate increases, and may converge to the maximum value MAX without having an inflection point.
  • Expression 4 an expression that does not have an inflection point, such as Expression 4, for such an image, the image quality can be estimated with high accuracy.
  • the video quality estimation apparatus 10 may not include the inflection point calculation unit 14.
  • the method for obtaining or determining the resolution, the frame rate, and the encoding bit rate used as input values to the video quality estimation apparatus 10 of the present embodiment is not limited to a specific method. is there.
  • the resolution, frame rate, and encoding bit rate used by the provider for the video distribution service are used as input values. be able to.
  • a network operator or a user of a video distribution service who does not know the resolution, frame rate, and encoding bit rate used in the video distribution service uses the video quality estimation device 10 to display the video of the video distribution service.
  • the video quality estimation device 10 uses the video quality estimation device 10 to display the video of the video distribution service.
  • meta information eg, MPD (Media Presentation Description) in MPEG-DASH
  • MPD Media Presentation Description
  • MPEG-DASH Media Presentation Description
  • the encoding bit rate described in the meta information is a target bit rate (a target setting value at the time of encoding).
  • the actual encoding bit rate varies greatly with respect to the target bit rate, it is desirable to measure the actual encoding bit rate and use it as an input value. This is because the measured encoding bit rate better corresponds to the video quality than the target bit rate. Therefore, regarding the encoding bit rate, it is desirable to measure the payload of the IP packet of the video transmitted by the video distribution service and use the bit rate obtained by the measurement as the input value.
  • the audio bit rate is obtained from the meta information and the total measured from the IP packet is obtained.
  • the audio bit rate can be subtracted from the bit rate and used as the video encoding bit rate. Since the acoustic bit rate hardly varies from the target bit rate, the value acquired from the meta information as described above can be used.
  • the input value to the video quality estimation apparatus 10 is measured by measuring the bit rate of the data. Can be used as
  • the function of acquiring the resolution, the frame rate, and the encoding bit rate may be included in the video quality estimation apparatus 10, or another apparatus may include the function, and the value obtained by the apparatus may be used. It may be input to the video quality estimation apparatus 10.
  • the maximum quality value MAX is calculated (S1). As described above, the maximum value MAX of the video quality value is expressed by a two-variable increase function that increases as the resolution RS and the frame rate FR increase. In S1, the maximum value calculation unit 12 calculates a maximum value MAX by inputting a certain resolution RS and frame rate FR to the two-variable increase function.
  • the inflection point IP is calculated by the inflection point calculation unit 14 by using the resolution RS and the frame rate FR to change the bending direction on the curve drawn by the sigmoid function used in the video quality calculation unit 16. (S2).
  • the sigmoid function has the property of an S curve that converges to a certain value when the input value increases or decreases.
  • the inflection point IP is expressed by a two-variable increase function that increases as the resolution RS and the frame rate FR increase. That is, in S2, the inflection point calculation unit 14 calculates the inflection point IP by inputting the resolution RS and the frame rate FR used for input in S1 to the two-variable increase function.
  • the video quality calculation unit 16 takes the encoding bit rate BR as an input value, and applies the maximum value MAX of the video quality value calculated in step S1 and the inflection point IP calculated in step S2.
  • An estimated video quality value VQ expressed by a sigmoid function is calculated (S3).
  • the video quality calculation unit 16 uses the coding bit rate BR, S1 as the sigmoid function (eg, Expression 3) having the coding bit rate BR, the maximum value MAX, and the inflection point IP as variables.
  • the estimated video quality value VQ is calculated by inputting the calculated maximum value MAX and the inflection point IP calculated in S2.
  • the convergence value of the higher coding bit rate BR is the maximum value MAX of the image quality
  • minimum VQmin convergence value having the lower coding bit rate BR is estimated video quality value It is decided to become.
  • the inflection point IP corresponds to the X-axis coordinate of the inflection point of the sigmoid function.
  • the difference between the video quality value obtained in the subjective evaluation experiment and the estimated video quality value VQ is minimized by the least square method or the like. It may be determined by optimization as described above.
  • step S1 and step S2 may be serial processing or parallel processing. In the case of serial processing, the order of step S1 and step S2 may be either.
  • the video quality estimation apparatus 10 is a value obtained by quantifying the video quality, which is the quality of the video experienced when the user views the video when viewing the encoded video. Estimate a certain video quality value.
  • the video quality estimation apparatus 10 calculates the maximum value of the video quality value determined for each resolution, which is the number of pixels of one frame of the video, and for each frame rate, which is the number of frames per unit time of the video.
  • the video quality estimation apparatus 10 determines an inflection point, which is a point at which a bending direction on a curve drawn by a sigmoid function having a property of an S-curve that converges to a certain value when an input value increases or decreases, as a resolution and the above-described point. Calculate based on the frame rate.
  • the video quality estimation apparatus 10 uses the encoding bit rate that is the average data amount per unit time of the video as an input value, and the calculated maximum value of the video quality value and the calculated inflection point are applied. An estimated video quality value expressed by a sigmoid function is calculated.
  • the coefficient of the sigmoid function is determined so that the higher convergence value of the sigmoid function becomes the maximum value of the video quality value and the lower convergence value becomes the minimum value of the estimated video quality value.
  • the maximum value of the video quality value is expressed by a two-variable increasing function that increases as the resolution and the frame rate increase, and the inflection point is a two-variable increasing function that increases as the resolution and the frame rate increase. Expressed.
  • the video quality estimation device 10 includes a maximum value calculating means for calculating the maximum value of the video quality value from the resolution of the video and the frame rate of the video, and the encoding bit rate and the video quality value of the video.
  • Video quality calculating means for calculating an estimated video quality value corresponding to the input encoding bit rate based on a predetermined relationship between the encoding bit rate and the predetermined relationship As the video quality value increases, the video quality value converges to the maximum value calculated by the maximum value calculating means. Also good.
  • a model for estimating a video quality value is constructed using a sigmoid function.
  • the above-described property 1 can be taken into consideration. Also, since the sigmoid function can determine the convergence value by a coefficient, the higher convergence value becomes the maximum value of the video quality value, and the lower convergence value becomes the minimum value of the estimated video quality value. By determining the coefficient, the above-described property 2 and property 3 can also be taken into consideration.
  • the sigmoid function can determine the X-axis coordinate of the inflection point of the S-curve by a coefficient
  • the coefficient for determining the X-axis coordinate of the inflection point IP is increased by increasing the resolution RS and the frame rate FR.
  • a model for estimating a video quality value is constructed using a sigmoid function, thereby encoding bit rate BR.
  • the estimated video quality value VQ can be calculated in consideration of the resolution RS and the frame rate FR.
  • a model considering the above-described properties 1, 2, 3, and 4 is constructed using a sigmoid function. Since the sigmoid function is represented by an S-shaped curve that converges to a certain value when the input value increases or decreases, the property 1 can be modeled. Also, since the sigmoid function can determine the convergence value by a coefficient, the higher convergence value becomes the maximum value of the video quality value, and the lower convergence value becomes the minimum value of the estimated video quality value. Property 2 and property 3 can be taken into account by determining the coefficients.
  • the sigmoid function can determine the X-axis coordinate of the inflection point of the S-curve by a coefficient
  • an apparatus, method, and program capable of accurately estimating a video quality value in consideration of resolution and frame rate in addition to an encoding bit rate are realized. be able to.
  • the function representing the S-curve that converges to a certain value when the input value increases or decreases is not limited to the sigmoid function.
  • a function other than the sigmoid function may be used as a function representing such an S-shaped curve.
  • a function having no inflection point may be used as in Expression 4.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, you may combine suitably the component covering different embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Optimization (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置であって、前記映像の解像度、及び、前記映像のフレームレートから、前記映像品質値の最大値を算出する最大値算出手段と、前記映像の符号化ビットレートと映像品質値との間の予め定めた関係に基づいて、入力された符号化ビットレートに対応する推定映像品質値を算出する映像品質算出手段と、を備え、前記予め定めた関係は、符号化ビットレートの増加に伴い、映像品質値が増加して、当該映像品質値が、前記最大値算出手段によって算出された前記最大値に収束するという関係である。

Description

映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
　この発明は、符号化された映像を視聴するサービスにおいて、ユーザが映像を視聴した際に体感する映像の品質（以下、「映像品質」と称する）を推定するための装置、方法、およびプログラムに関する。
　近年、ネットワークを介した映像配信サービスが普及している。映像配信サービス事業者は、収益を向上させるために、ユーザが満足する映像品質でサービスを提供することが重要である。そのため、映像品質に基づいて、サービスを設計・管理することが重要であり、映像品質を定量化する技術が求められる。
　一般に、映像は、データ量を圧縮するために符号化処理が行われる。符号化ビットレートを下げると、ブロック状の歪みやぼけなどが発生し、映像品質が低下する。また、映像品質は、映像の解像度やフレームレートにも依存する。
　映像配信サービスの設計・管理を行うためには、上記のような映像品質の性質を考慮して、符号化ビットレート、解像度、およびフレームレートから映像品質を精度良く推定することが必要である。
浦田勇一朗、山岸和久、"映像解像度に対し拡張したITU-T勧告P.1 201.1モデルの有効性検証"、信学技報、CQ2012-94, pp.59-63、Mar. 2013.
　この発明は上記事情に着目してなされたもので、その目的とするところは、符号化ビットレート、解像度、およびフレームレートから映像品質を精度良く推定することを可能とする技術を提供することにある。
　本発明の実施形態によれば、符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置であって、
　前記映像の解像度、及び、前記映像のフレームレートから、前記映像品質値の最大値を算出する最大値算出手段と、
　前記映像の符号化ビットレートと映像品質値との間の予め定めた関係に基づいて、入力された符号化ビットレートに対応する推定映像品質値を算出する映像品質算出手段と、を備え、
　前記予め定めた関係は、符号化ビットレートの増加に伴い、映像品質値が増加して、当該映像品質値が、前記最大値算出手段によって算出された前記最大値に収束するという関係である
　ことを特徴とする映像品質推定装置が提供される。
　また、本発明の実施形態によれば、符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置であって、
　前記映像の１フレームの画素数である解像度、及び、前記映像の単位時間あたりのフレーム数であるフレームレートに基づいて、前記映像品質値の最大値を算出する最大値算出手段と、
　入力値が増加もしくは減少するとある値に収束するＳ字曲線の性質を有するシグモイド関数が描く曲線上における曲がる方向が変わる点である変曲点を、前記解像度及び前記フレームレートに基づいて算出する変曲点算出手段と、
　前記映像の単位時間あたりの平均データ量である符号化ビットレートと、前記最大値算出手段によって算出された前記映像品質値の最大値と、前記変曲点算出手段によって算出された前記変曲点とを前記シグモイド関数に入力することにより、推定映像品質値を算出する映像品質算出手段と、
を備える映像品質推定装置が提供される。
　また、本発明の実施形態によれば、符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置が実行する映像品質推定方法であって、
　前記映像の解像度、及び、前記映像のフレームレートから、前記映像品質値の最大値を算出する最大値算出ステップと、
　前記映像の符号化ビットレートと映像品質値との間の予め定めた関係に基づいて、入力された符号化ビットレートに対応する推定映像品質値を算出する映像品質算出ステップと、を備え、
　前記予め定めた関係は、符号化ビットレートの増加に伴い、映像品質値が増加して、当該映像品質値が、前記最大値算出ステップによって算出された前記最大値に収束するという関係である
　ことを特徴とする映像品質推定方法が提供される。
　また、本発明の実施形態によれば、符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置が実行する映像品質推定方法であって、
　前記映像の１フレームの画素数である解像度、及び、前記映像の単位時間あたりのフレーム数であるフレームレートに基づいて、前記映像品質値の最大値を算出し、
　入力値が増加もしくは減少するとある値に収束するＳ字曲線の性質を有するシグモイド関数が描く曲線上における曲がる方向が変わる点である変曲点を、前記解像度及び前記フレームレートに基づいて算出し、
　前記映像の単位時間あたりの平均データ量である符号化ビットレートと、前記最大値と、前記変曲点とを前記シグモイド関数に入力することにより、推定映像品質値を算出する、
映像品質推定方法が提供される。
　本発明の実施形態によれば、符号化ビットレート、解像度、およびフレームレートから映像品質値を精度良く推定することを可能とする技術が提供される。
図１は、主観評価実験の結果例を示す符号化ビットレートと映像品質値との関係（解像度を変えた場合）である。 図２は、主観評価実験の結果例を示す符号化ビットレートと映像品質値との関係（フレームレートを変えた場合）である。 図３は、本実施形態に係る映像品質推定方法が適用された映像品質推定装置の構成例を示す機能ブロック図である。 図４は、本実施形態に係る映像品質推定のための式に基づく符号化ビットレートと映像品質値との関係を示す図である。 図５は、本実施形態に係る映像品質推定のための式に基づく符号化ビットレートと映像品質値との関係を示す図である。 図６は、本実施形態に係る映像品質推定方法が適用された映像品質推定装置の動作例を示すフローチャートである。
　以下に、本発明の実施形態を、図面を参照して説明する。なお、以下で説明する実施形態は一例に過ぎず、本発明が適用される実施形態は、以下の実施の形態に限られるわけではない。
　（映像品質の性質について）
　本実施形態に係る映像品質推定方法を説明する前に、本実施形態において前提としている映像品質の性質の例について説明する。
　図１及び図２は、複数の評価者に映像を観視及び評価をさせる実験（以下、「主観評価実験」と称する）の結果を示している。図１及び図２において、縦軸は、視聴した映像に対して複数の評価者が評価した評点の平均値（以下、「映像品質値」と称する）、横軸は、符号化ビットレートを示している。
　図１及び図２のプロット点の違いは、図１においては映像の解像度の違い、図２においてはフレームレートの違いを示している。すなわち、図１は、フレームレートを１５に一定にした状態で、解像度を変えた曲線ａ（解像度４８０×２７０），ｂ（解像度６４０×３６０），ｃ（解像度９６０×５４０），ｄ（解像度１２８０×７２０）を示している。また、図２は、解像度を６４０×３６０に一定にした状態で、フレームレートを変えた曲線ｅ（フレームレート１０），ｆ（フレームレート１５），ｇ（フレームレート３０）を示している。
　これら主観評価実験では、同じ解像度又は同じフレームレートにおいて、符号化ビットレートと映像品質値はＳ字曲線の関係があり（性質１）、符号化ビットレートが小さくなると最小品質値（図１及び図２では映像品質値が１）に収束し（性質２）、符号化ビットレートが大きくなるとある映像品質値に収束するが、解像度が高いほど、または、フレームレートが高いほど、映像品質値が大きくなる（性質３）という結果が得られた。また、図１及び図２の各プロットにおけるＳ字曲線の変曲点は、図１では解像度が大きいほど、また、図２ではフレームレートが高いほど、高い符号化ビットレートに位置する（性質４）という結果が得られた。映像品質の性質の例として、このような性質１～性質４がある。
　（装置構成）
　図３は、本実施形態に係る映像品質推定方法が適用された映像品質推定装置１０の構成例を示す機能ブロック図である。
　本実施形態では、主観評価実験によって得られた評点の平均値である映像品質値を基に、符号化ビットレートＢＲ、解像度ＲＳ、フレームレートＦＲと映像品質値の関係をモデル化し、構築したモデル式を用いて、符号化ビットレートＢＲ、解像度ＲＳ、フレームレートＦＲから推定映像品質値ＶＱを算出する。
　これを実現するために、映像品質推定装置１０は、最大値算出部１２と、変曲点算出部１４と、映像品質算出部１６とを備えている。このような映像品質推定装置１０は、例えば磁気ディスク等の記録媒体に記録されたプログラムや、インターネット等の通信ネットワークを介してダウンロードしたプログラムを読み込み、このプログラムによって動作が制御されるコンピュータによって実現されてもよい。つまり、上記プログラムが実行されるコンピュータのプロセッサにより、最大値算出部１２と、変曲点算出部１４と、映像品質算出部１６とが実現される。
　また、最大値算出部１２と、変曲点算出部１４と、映像品質算出部１６はそれぞれ、ハードウェアの回路として実現してもよい。
　最大値算出部１２は、映像の１フレームの画素数である解像度ＲＳ、及び、映像の単位時間あたりのフレーム数であるフレームレートＦＲを入力とし、解像度ＲＳ及びフレームレートＦＲ毎に定まる映像品質値の最大値ＭＡＸを算出する。映像品質値の最大値ＭＡＸは次式（式１）によって算出される。式１は、解像度ＲＳ及びフレームレートＦＲの増加に伴い、増加する２変数増加関数で表現される。前述したとおり、映像品質値は、符号化ビットレートが大きくなると、ある収束値に収束する。ここでの最大値ＭＡＸは、与えられた解像度ＲＳ及びフレームレートＦＲでの当該収束値に相当する。
Figure JPOXMLDOC01-appb-M000001
 　ここで、ｃ１，ｃ２は係数であり、ＶＱｍａｘは推定映像品質値ＶＱが取りうる最大値、ＶＱｍｉｎは推定映像品質値ＶＱが取りうる最小値である。例えば、ＩＴＵ－Ｔ勧告Ｐ．９１０で定義されている主観評価法のＡＣＲ法では、ＶＱｍａｘは５、ＶＱｍｉｎは１になる。
　なお、最大値算出部１２は式１に相当する処理ロジックを備えることで最大値ＭＡＸの算出を行ってもよいし、式１を示す関数データを映像品質推定装置１０が備える記憶装置から読み出すことにより式１の計算を行うこととしてもよい。また、式１に示す関係に従って、解像度ＲＳ、フレームレートＦＲ、及び最大値ＭＡＸを対応付けたテーブルを上記記憶装置に格納しておき、入力値に対応する最大値ＭＡＸを読み出すことで算出を行うこととしてもよい。
　なお、式１は、映像品質値の最大値ＭＡＸを算出する式の一例に過ぎない。解像度ＲＳ及びフレームレートＦＲ毎に実験等により得られた映像品質値の最大値ＭＡＸを適切に表す他の式を用いることとしてもよい。
　変曲点算出部１４は、解像度ＲＳ及びフレームレートＦＲを用いて、変曲点ＩＰを算出する。変曲点ＩＰは、映像品質算出部１６において用いられるシグモイド関数が描く曲線上の曲がる方向が変わる点である。シグモイド関数は、入力値が増加もしくは減少するとある値に収束するＳ字曲線の性質を有する。変曲点ＩＰは次式（式２）によって算出される。式２は、解像度ＲＳ及びフレームレートＦＲの増加に伴い、増加する２変数増加関数で表現される。
Figure JPOXMLDOC01-appb-M000002
 　ここで、ｃ３，ｃ４，ｃ５，ｃ６は係数である。なお、変曲点ＩＰの単位は符号化ビットレートの単位と同じである。
　なお、変曲点算出部１４は式２に相当する処理ロジックを備えることで変曲点ＩＰの算出を行ってもよいし、式２を示す関数データを映像品質推定装置１０が備える記憶装置から読み出すことにより式２の計算を行うこととしてもよい。また、式２に示す関係に従って、解像度ＲＳ、フレームレートＦＲ、及び変曲点ＩＰを対応付けたテーブルを上記記憶装置に格納しておき、入力値に対応する変曲点ＩＰを読み出すことで算出を行うこととしてもよい。
　なお、式２は、変曲点ＩＰを算出する式の一例に過ぎない。解像度ＲＳ及びフレームレートＦＲ毎に実験等により得られた変曲点ＩＰの値を適切に表す他の式を用いることとしてもよい。
　映像品質算出部１６は、符号化ビットレートＢＲを入力値とし、映像品質値の最大値ＭＡＸと、変曲点ＩＰとが適用されているシグモイド関数で表現される推定映像品質値ＶＱを算出する。以下の式３として、このようなシグモイド関数の例を示す。
Figure JPOXMLDOC01-appb-M000003
 　ここで、（ＢＲ／ＩＰ）の指数として示されているｃ７は係数である。このように、推定映像品質値ＶＱは、符号化ビットレートＢＲを入力としたシグモイド関数で表現される。係数ｃ７は、符号化ビットレートＢＲの高い方の収束値が映像品質値の最大値ＭＡＸになり、符号化ビットレートＢＲの低い方の収束値が推定映像品質値の最小値ＶＱｍｉｎになるように決定される。また、変曲点ＩＰは、シグモイド関数の変曲点のＸ軸座標に相当する。
　なお、ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，ｃ６，ｃ７は最小二乗法などにより、主観評価実験で得られる映像品質値と推定映像品質値ＶＱの差が最小になるように最適化することにより決定するようにしても良い。
　なお、映像品質算出部１６は式３に相当する処理ロジックを備えることで推定映像品質値ＶＱの算出を行ってもよいし、式３を示す関数データを映像品質推定装置１０が備える記憶装置から読み出すことにより式３の計算を行うこととしてもよい。また、式３に示す関係に従って、最大値ＭＡＸ、変曲点ＩＰ、符号化ビットレートＢＲ、及び推定映像品質値ＶＱを対応付けたテーブルを上記記憶装置に格納しておき、入力値（最大値ＭＡＸ、変曲点ＩＰ、符号化ビットレートＢＲ）に対応する推定映像品質値ＶＱを読み出すことで算出を行うこととしてもよい。
　また、映像品質値の最大値ＭＡＸと、変曲点ＩＰと、符号化ビットレートＢＲとから推定映像品質値ＶＱを算出する式は式３に限られず、変曲点ＩＰを変曲点とするＳ字カーブを描く他の式（シグモイド関数に限られない）を用いてもよい。
　最大値ＭＡＸと変曲点ＩＰはそれぞれ解像度ＲＳ及びフレームレートＦＲから得られるから、式３は、解像度ＲＳ、フレームレートＦＲ、および符号化ビットレートＢＲから推定映像品質値ＶＱを算出する式の例である。
　図４は、ある解像度ＲＳ及びフレームレートＦＲを与えたときに、式３により符号化ビットレートＢＲ毎に得られる映像品質値を模式的に表したグラフである。図４において、「ＩＰ」として、当該解像度ＲＳ及びフレームレートＦＲにおける変曲点ＩＰの値が示されている。また、図４の場合、当該解像度ＲＳ及びフレームレートＦＲにおける最大値ＭＡＸは５である。
　本実施形態において、解像度ＲＳ、フレームレートＦＲ、および符号化ビットレートＢＲから推定映像品質値ＶＱを算出する式は、式３及び図４に示したように変曲点を有するものに限られず、例えば、以下の式４を用いてもよい。
　ＶＱ＝ＭＡＸ‐ＭＡＸ・ｅｘｐ（‐ＢＲ／ａ）　・・・　式４
　式４において、ａは固定の係数であり、例えば実験等により適切な値が決定される。ＭＡＸは既に説明した最大値ＭＡＸであり、本実施形態では式１により算出される。ＢＲは符号化ビットレートである。
　図５は、ある解像度ＲＳ及びフレームレートＦＲを与えたときに、式４により符号化ビットレートＢＲ毎に得られる映像品質値を模式的に表したグラフである。図５に示すように、変曲点を持たず、最大値ＭＡＸ（図５の場合には５）から、符号化ビットレートの低下とともに映像品質値が低下する。
　この場合、映像品質算出部１６は式４に相当する処理ロジックを備えることで推定映像品質値ＶＱの算出を行ってもよいし、式４を示す関数データを映像品質推定装置１０が備える記憶装置から読み出すことにより式４の計算を行うこととしてもよい。また、式４に示す関係に従って、最大値ＭＡＸ、符号化ビットレートＢＲ、及び推定映像品質値ＶＱを対応付けたテーブルを上記記憶装置に格納しておき、入力値（最大値ＭＡＸ、符号化ビットレートＢＲ）に対応する推定映像品質値ＶＱを読み出すことで算出を行うこととしてもよい。
　なお、図１、図２において、映像品質の性質として変曲点を持つことを説明したが、これは映像品質の性質の例である。映像によっては、図５に示すように、符号化ビットレートの増加につれて映像品質値が増加し、変曲点を持たずに、最大値ＭＡＸに収束する場合がある。このような映像に対して、式４のように変曲点を有しない式を用いることで、精度良く映像品質を推定できる。また、式４を用いる場合には、映像品質推定装置１０において、変曲点算出部１４を備えないこととしてもよい。
　本実施形態の映像品質推定装置１０への入力値として用いる解像度、フレームレート、および符号化ビットレートを取得あるいは決定する方法については、特定の方法に限定されないが、例として以下のような方法がある。
　例えば、映像配信サービスの提供者が映像品質推定装置１０を用いて映像品質を推定する場合、提供者が映像配信サービスに使用している解像度、フレームレート、および符号化ビットレートを入力値として用いることができる。
　また、例えば、映像配信サービスで使用されている解像度、フレームレート、および符号化ビットレートを知らないネットワーク事業者もしくは映像配信サービスのユーザが、映像品質推定装置１０を用いて当該映像配信サービスの映像品質を推定する場合においては、サーバから配信されるメタ情報（例：ＭＰＥＧ－ＤＡＳＨでのＭＰＤ（Media Presentation Description））を取得することで、メタ情報に記述されている解像度、フレームレート、および符号化ビットレートを取得し、映像品質推定装置１０への入力値として使用することができる。
　なお、メタ情報に記述されている符号化ビットレートは、ターゲットビットレート（符号化時の目標とする設定値）である。実際の符号化ビットレートがターゲットビットレートに対して大きく変動するケースでは、実際の符号化ビットレートを測定して入力値とすることが望ましい。測定した符号化ビットレートの方がターゲットビットレートよりも映像品質と良く対応するためである。従って、符号化ビットレートに関しては、映像配信サービスにより送信される映像のＩＰパケットのペイロードを測定し、測定で得られたビットレートを入力値として使用することが望ましい。
　ここで、映像及び音響のメディアが暗号化されているために、メディアを識別できず、トータルのビットレートしか測定できない場合には、メタ情報から音響ビットレートを取得し、ＩＰパケットから測定したトータルビットレートから音響ビットレートを減算し、それを映像の符号化ビットレートとすることができる。なお、音響ビットレートについてはターゲットビットレートから変動することがほぼないため、上記のようにメタ情報から取得した値を使用できる。
　また、ＩＰパケットのビットストリーム（Ｈ．２６４やＨ．２６５で符号化されたデータそのもの）にアクセスできる場合には、当該データのビットレートを測定することで、映像品質推定装置１０への入力値として使用することができる。
　上述したようにして解像度、フレームレート、および符号化ビットレートを取得する機能は、映像品質推定装置１０が備えてもよいし、別の装置が当該機能を備え、当該装置で得られた値を映像品質推定装置１０に入力することとしてもよい。
　（動作手順）
　次に、以上のように構成された本実施形態に係る映像品質推定方法が適用された映像品質推定装置１０の動作について、図６のフローチャートを用いて説明する。以下では、一例として、映像品質推定のために変曲点ＩＰを有する式（例：式３）を用いる場合について説明する。なお、式４のように、変曲点ＩＰを有しない式を用いる場合には、下記のＳ２における変曲点ＩＰの算出を行わなくてよい。
　まず、最大値算出部１２によって、映像の１フレームの画素数である解像度ＲＳ、及び、映像の単位時間あたりのフレーム数であるフレームレートＦＲに基づいて、解像度ＲＳ及びフレームレートＦＲ毎に定まる映像品質値の最大値ＭＡＸが算出される（Ｓ１）。映像品質値の最大値ＭＡＸは前述したように、解像度ＲＳ及びフレームレートＦＲの増加に伴い、増加する２変数増加関数で表現される。Ｓ１では、最大値算出部１２が、当該２変数増加関数に、ある解像度ＲＳとフレームレートＦＲを入力することで最大値ＭＡＸを算出する。
　また、変曲点算出部１４によって、解像度ＲＳ及びフレームレートＦＲが用いられることにより、映像品質算出部１６において用いられるシグモイド関数が描く曲線上の曲がる方向が変わる点である変曲点ＩＰが算出される（Ｓ２）。シグモイド関数は、入力値が増加もしくは減少するとある値に収束するＳ字曲線の性質を有する。変曲点ＩＰは前述したように、解像度ＲＳ及びフレームレートＦＲの増加に伴い、増加する２変数増加関数で表現される。つまり、Ｓ２では、変曲点算出部１４が、当該２変数増加関数に、Ｓ１で入力に用いた解像度ＲＳとフレームレートＦＲを入力することで変曲点ＩＰを算出する。
　次に、映像品質算出部１６によって、符号化ビットレートＢＲが入力値とされ、ステップＳ１で算出された映像品質値の最大値ＭＡＸと、ステップＳ２で算出された変曲点ＩＰとが適用されてなるシグモイド関数で表現される推定映像品質値ＶＱが算出される（Ｓ３）。つまり、映像品質算出部１６は、符号化ビットレートＢＲと、最大値ＭＡＸと、変曲点ＩＰとを変数として有するシグモイド関数（例：式３）に、ある符号化ビットレートＢＲと、Ｓ１で算出した最大値ＭＡＸと、Ｓ２で算出した変曲点ＩＰとを入力することで、推定映像品質値ＶＱを算出する。
　シグモイド関数の係数ｃ７は、符号化ビットレートＢＲの高い方の収束値が映像品質値の最大値ＭＡＸになり、符号化ビットレートＢＲの低い方の収束値が推定映像品質値の最小値ＶＱｍｉｎになるように決定される。また、変曲点ＩＰは、シグモイド関数の変曲点のＸ軸座標に相当する。
　なお、ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，ｃ６，ｃ７は最小二乗法などにより、主観評価実験で得られる映像品質値と推定映像品質値ＶＱの差が最小になるように最適化することにより決定するようにしても良い。
　なお、ステップＳ１及びステップＳ２は直列処理でも並列処理でも構わない。また、直列処理の場合、ステップＳ１とステップＳ２の順番はどちらでもよい。
　（実施形態のまとめ）
　以上、説明したように、本実施形態の映像品質推定装置１０は、符号化された映像の視聴において、映像をユーザが視聴した際に体感する映像の品質である映像品質を定量化した値である映像品質値を推定する。
　このために、映像品質推定装置１０は、映像の１フレームの画素数である解像度、及び、映像の単位時間あたりのフレーム数であるフレームレート毎に定まる映像品質値の最大値を算出する。また、映像品質推定装置１０は、入力値が増加もしくは減少するとある値に収束するＳ字曲線の性質を有するシグモイド関数が描く曲線上における曲がる方向が変わる点である変曲点を、解像度及び前記フレームレートに基づいて算出する。そして、映像品質推定装置１０は、映像の単位時間あたりの平均データ量である符号化ビットレートを入力値とし、算出された映像品質値の最大値と、算出された変曲点とが適用されてなるシグモイド関数で表現される推定映像品質値を算出する。
　なお、シグモイド関数の高い方の収束値が、映像品質値の最大値になり、低い方の収束値が、推定映像品質値の最小値になるように、シグモイド関数の係数が決定される。また、映像品質値の最大値は、解像度及びフレームレートの増加に伴い、増加する２変数増加関数で表現され、変曲点は、解像度及びフレームレートの増加に伴い、増加する２変数増加関数で表現される。
　また、映像品質推定装置１０を、前記映像の解像度、及び、前記映像のフレームレートから、前記映像品質値の最大値を算出する最大値算出手段と、前記映像の符号化ビットレートと映像品質値との間の予め定めた関係に基づいて、入力された符号化ビットレートに対応する推定映像品質値を算出する映像品質算出手段と、を備え、前記予め定めた関係は、符号化ビットレートの増加に伴い、映像品質値が増加して、当該映像品質値が、前記最大値算出手段によって算出された前記最大値に収束するという関係であることを特徴とする映像品質推定装置として構成してもよい。
　上述したように、本実施形態に係る映像品質推定方法が適用された映像品質推定装置１０においては、映像品質値を推定するためのモデルを、シグモイド関数を用いて構築している。
　シグモイド関数は、入力値が増加もしくは減少するとある値に収束していくＳ字曲線で表わされるため、前述した性質１を考慮することができる。また、シグモイド関数は、収束値を係数で決定することができるため、高い方の収束値が映像品質値の最大値になり、低い方の収束値が推定映像品質値の最小値になるように係数を決定することによって、前述した性質２と性質３をも考慮することができる。
　さらに、シグモイド関数ではＳ字曲線の変曲点のＸ軸座標を係数で決定することができるため、変曲点ＩＰのＸ軸座標を決定する係数を、解像度ＲＳとフレームレートＦＲの増加によって増加するようにモデル化することで、前述した性質４をも考慮することができる。
　したがって、本実施形態に係る映像品質推定方法が適用された映像品質推定装置１０のように、映像品質値を推定するためのモデルを、シグモイド関数を用いて構築することによって、符号化ビットレートＢＲに加えて、解像度ＲＳとフレームレートＦＲとも考慮して推定映像品質値ＶＱを算出することが可能となる。
　さらに、このような装置、方法、およびプログラムを用いて推定映像品質値ＶＱを推定することによって、自社及び他社の映像配信サービスの品質を定量的に把握できるようになるのみならず、さらに、この結果を、マーケティングやサービス改善にも活用できるようになる。
　また、推定映像品質値ＶＱの結果を活用して、映像品質値を最大化するように配信パラメータを設計、制御することにより、映像品質を向上させることも可能となる。さらにその結果として、映像配信サービスの顧客満足度の向上や、収益の向上に寄与することも期待される。
　以上、説明したように、本実施形態では、前述した性質１，２，３，４を考慮したモデルを、シグモイド関数を用いて構築している。シグモイド関数は、入力値が増加もしくは減少するとある値に収束していくＳ字曲線で表わされるため、性質１をモデル化することできる。また、シグモイド関数は、収束値を係数で決定することができるため、高い方の収束値が映像品質値の最大値になり、低い方の収束値が推定映像品質値の最小値になるように係数を決定することによって、性質２と性質３を考慮することができる。
　さらに、シグモイド関数ではＳ字曲線の変曲点のＸ軸座標を係数で決定することができるため、変曲点のＸ軸座標を決定する係数を解像度とフレームレートの増加によって増加するようにモデル化することで性質４を考慮することができる。
　したがって、シグモイド関数を用いたモデルを用いることにより、符号化ビットレートに加えて、解像度とフレームレートとも考慮して映像品質値を精度良く推定することが可能な装置、方法、およびプログラムを実現することができる。
　なお、入力値が増加もしくは減少すると出力値がある値に収束していくＳ字曲線を表す関数はシグモイド関数に限られない。このようなＳ字曲線を表す関数として、シグモイド関数以外の関数を用いてもよい。また、式４のように、変曲点を持たない関数を用いてもよい。このように、変曲点を持たない関数を用いることによっても、符号化ビットレートに加えて、解像度とフレームレートとも考慮して映像品質値を精度良く推定することが可能な装置、方法、およびプログラムを実現することができる。
　この発明は上記実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。
　要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開
示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
　本特許出願は２０１４年１１月１７日に出願した日本国特許出願第２０１４－２３２６９１号に基づきその優先権を主張するものであり、日本国特許出願第２０１４－２３２６９１号の全内容を本願に援用する。
１０　映像品質推定装置
１２　最大値算出部
１４　変曲点算出部
１６　映像品質算出部

Claims (9)

  1. 　符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置であって、
    　前記映像の解像度、及び、前記映像のフレームレートから、前記映像品質値の最大値を算出する最大値算出手段と、
    　前記映像の符号化ビットレートと映像品質値との間の予め定めた関係に基づいて、入力された符号化ビットレートに対応する推定映像品質値を算出する映像品質算出手段と、を備え、
    　前記予め定めた関係は、符号化ビットレートの増加に伴い、映像品質値が増加して、当該映像品質値が、前記最大値算出手段によって算出された前記最大値に収束するという関係である
    　ことを特徴とする映像品質推定装置。
  2. 　符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置であって、
    　前記映像の１フレームの画素数である解像度、及び、前記映像の単位時間あたりのフレーム数であるフレームレートに基づいて、前記映像品質値の最大値を算出する最大値算出手段と、
    　入力値が増加もしくは減少するとある値に収束するＳ字曲線の性質を有するシグモイド関数が描く曲線上における曲がる方向が変わる点である変曲点を、前記解像度及び前記フレームレートに基づいて算出する変曲点算出手段と、
    　前記映像の単位時間あたりの平均データ量である符号化ビットレートと、前記最大値算出手段によって算出された前記映像品質値の最大値と、前記変曲点算出手段によって算出された前記変曲点とを前記シグモイド関数に入力することにより、推定映像品質値を算出する映像品質算出手段と、
    を備える映像品質推定装置。
  3. 　前記シグモイド関数の高い方の収束値が、前記映像品質値の最大値になり、低い方の収束値が、前記推定映像品質値の最小値になるように、前記シグモイド関数の係数が決定される、請求項２に記載の映像品質推定装置。
  4. 　前記映像品質値の最大値は、前記解像度及び前記フレームレートの増加に伴い、増加する２変数増加関数で表現され、前記変曲点は、前記解像度及び前記フレームレートの増加に伴い、増加する２変数増加関数で表現される、請求項２または３に記載の映像品質推定装置。
  5. 　符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置が実行する映像品質推定方法であって、
    　前記映像の解像度、及び、前記映像のフレームレートから、前記映像品質値の最大値を算出する最大値算出ステップと、
    　前記映像の符号化ビットレートと映像品質値との間の予め定めた関係に基づいて、入力された符号化ビットレートに対応する推定映像品質値を算出する映像品質算出ステップと、を備え、
    　前記予め定めた関係は、符号化ビットレートの増加に伴い、映像品質値が増加して、当該映像品質値が、前記最大値算出ステップによって算出された前記最大値に収束するという関係である
    　ことを特徴とする映像品質推定方法。
  6. 　符号化された映像の視聴において、前記映像をユーザが視聴した際に体感する前記映像の品質である映像品質を定量化した値である映像品質値を推定する映像品質推定装置が実行する映像品質推定方法であって、
    　前記映像の１フレームの画素数である解像度、及び、前記映像の単位時間あたりのフレーム数であるフレームレートに基づいて、前記映像品質値の最大値を算出し、
    　入力値が増加もしくは減少するとある値に収束するＳ字曲線の性質を有するシグモイド関数が描く曲線上における曲がる方向が変わる点である変曲点を、前記解像度及び前記フレームレートに基づいて算出し、
    　前記映像の単位時間あたりの平均データ量である符号化ビットレートと、前記最大値と、前記変曲点とを前記シグモイド関数に入力することにより、推定映像品質値を算出する、
    映像品質推定方法。
  7. 　前記シグモイド関数の高い方の収束値が、前記映像品質値の最大値になり、低い方の収束値が、前記推定映像品質値の最小値になるように、前記シグモイド関数の係数が決定される、請求項６に記載の映像品質推定方法。
  8. 　前記映像品質値の最大値は、前記解像度及び前記フレームレートの増加に伴い、増加する２変数増加関数で表現され、前記変曲点は、前記解像度及び前記フレームレートの増加に伴い、増加する２変数増加関数で表現される、請求項６または７に記載の映像品質推定方法。
  9. 　請求項１乃至４の何れかに記載の映像品質推定装置が備える各手段による処理を、前記映像品質推定装置として用いられるコンピュータに実行させる映像品質推定プログラム。
PCT/JP2015/082136 2014-11-17 2015-11-16 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム WO2016080354A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016560213A JP6466963B2 (ja) 2014-11-17 2015-11-16 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
US15/525,846 US10154266B2 (en) 2014-11-17 2015-11-16 Video quality estimation device, video quality estimation method, and video quality estimation program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-232691 2014-11-17
JP2014232691 2014-11-17

Publications (1)

Publication Number Publication Date
WO2016080354A1 true WO2016080354A1 (ja) 2016-05-26

Family

ID=56013891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/082136 WO2016080354A1 (ja) 2014-11-17 2015-11-16 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム

Country Status (3)

Country Link
US (1) US10154266B2 (ja)
JP (1) JP6466963B2 (ja)
WO (1) WO2016080354A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018111655A1 (en) * 2016-12-12 2018-06-21 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
JP2020155795A (ja) * 2019-03-18 2020-09-24 Kddi株式会社 ネットワーク監視システムおよび方法
JPWO2021181724A1 (ja) * 2020-03-13 2021-09-16

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7040232B2 (ja) * 2018-04-03 2022-03-23 日本電信電話株式会社 視聴行動推定装置、視聴行動推定方法及びプログラム
CN110166781B (zh) * 2018-06-22 2022-09-13 腾讯科技（深圳）有限公司 一种视频编码方法、装置、可读介质和电子设备
US11128869B1 (en) * 2018-10-22 2021-09-21 Bitmovin, Inc. Video encoding based on customized bitrate table
JP7168848B2 (ja) * 2018-11-21 2022-11-10 日本電信電話株式会社 評価装置、評価方法、及びプログラム。

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067626A (ja) * 2005-08-30 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法およびプログラム
WO2007129422A1 (ja) * 2006-05-09 2007-11-15 Nippon Telegraph And Telephone Corporation 映像品質推定装置、方法、およびプログラム
JP2008035357A (ja) * 2006-07-31 2008-02-14 Kddi Corp 映像品質の客観評価装置
JP2014107645A (ja) * 2012-11-26 2014-06-09 Nippon Telegr & Teleph Corp <Ntt> 主観画質推定装置、主観画質推定方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245303A (ja) * 2000-02-29 2001-09-07 Toshiba Corp 動画像符号化装置および動画像符号化方法
US7359004B2 (en) * 2003-05-23 2008-04-15 Microsoft Corporation Bi-level and full-color video combination for video communication
CA2604139C (en) * 2006-05-09 2014-02-18 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, method, and program
US7965203B2 (en) * 2006-05-09 2011-06-21 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, method, and program
US20120020415A1 (en) * 2008-01-18 2012-01-26 Hua Yang Method for assessing perceptual quality
US8885050B2 (en) * 2011-02-11 2014-11-11 Dialogic (Us) Inc. Video quality monitoring
US20150181208A1 (en) * 2013-12-20 2015-06-25 Qualcomm Incorporated Thermal and power management with video coding
US9774867B2 (en) * 2014-02-12 2017-09-26 Facebook, Inc. Systems and methods for enhanced video encoding
CN106464601B (zh) * 2014-03-28 2020-05-19 维格尔传播公司 信道捆绑
CA2944445C (en) * 2014-03-31 2019-11-26 Samsung Electronics Co., Ltd. Interlayer video decoding method for performing sub-block-based prediction and apparatus therefor, and interlayer video encoding method for performing sub-block-based prediction and apparatus therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007067626A (ja) * 2005-08-30 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法およびプログラム
WO2007129422A1 (ja) * 2006-05-09 2007-11-15 Nippon Telegraph And Telephone Corporation 映像品質推定装置、方法、およびプログラム
JP2008035357A (ja) * 2006-07-31 2008-02-14 Kddi Corp 映像品質の客観評価装置
JP2014107645A (ja) * 2012-11-26 2014-06-09 Nippon Telegr & Teleph Corp <Ntt> 主観画質推定装置、主観画質推定方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MOTOHIRO TAKAGI ET AL.: "Efect of spatio- temporal resolution on subjective quality", 2012 NEN THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS NENJI TAIKAI YOKOSHU, 2012, pages 3 - 8-1 to 3-8-2 *
MOTOHIRO TAKAGI ET AL.: "Optimization of Spatial and Temporal Resolution Based on Subjective Video Quality Estimation", THE TRANSACTIONS OF THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS D, vol. J97-D, no. 9, 2 September 2014 (2014-09-02), pages 1374 - 1384 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018111655A1 (en) * 2016-12-12 2018-06-21 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
US10798387B2 (en) 2016-12-12 2020-10-06 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
US10834406B2 (en) 2016-12-12 2020-11-10 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
US11503304B2 (en) 2016-12-12 2022-11-15 Netflix, Inc. Source-consistent techniques for predicting absolute perceptual video quality
US11758148B2 (en) 2016-12-12 2023-09-12 Netflix, Inc. Device-consistent techniques for predicting absolute perceptual video quality
JP2020155795A (ja) * 2019-03-18 2020-09-24 Kddi株式会社 ネットワーク監視システムおよび方法
JP7033097B2 (ja) 2019-03-18 2022-03-09 Kddi株式会社 ネットワーク監視システムおよび方法
JPWO2021181724A1 (ja) * 2020-03-13 2021-09-16
WO2021181681A1 (ja) * 2020-03-13 2021-09-16 日本電信電話株式会社 数理モデル導出装置、数理モデル導出方法及びプログラム
WO2021181724A1 (ja) * 2020-03-13 2021-09-16 日本電信電話株式会社 数理モデル導出装置、数理モデル導出方法及びプログラム
JP7380832B2 (ja) 2020-03-13 2023-11-15 日本電信電話株式会社 数理モデル導出装置、数理モデル導出方法及びプログラム

Also Published As

Publication number Publication date
JP6466963B2 (ja) 2019-02-06
US10154266B2 (en) 2018-12-11
US20170359582A1 (en) 2017-12-14
JPWO2016080354A1 (ja) 2017-08-31

Similar Documents

Publication Publication Date Title
JP6466963B2 (ja) 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
US7965203B2 (en) Video quality estimation apparatus, method, and program
Zaidan et al. A new digital watermarking evaluation and benchmarking methodology using an external group of evaluators and multi‐criteria analysis based on ‘large‐scale data’
JP4913893B2 (ja) 映像品質推定装置、方法、およびプログラム
CA2604139C (en) Video quality estimation apparatus, method, and program
JP4490374B2 (ja) 映像品質評価装置および方法
JP2015520548A (ja) マルチメディア品質を評価する方法及び装置
JP6402088B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
CN106412567A (zh) 用于确定视频清晰度的方法及系统
US11823359B2 (en) Systems and methods for leveling images
JP4451857B2 (ja) 映像品質パラメータ推定装置、方法、およびプログラム
JP2019197996A (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
WO2019194034A1 (ja) 視聴行動推定装置、視聴行動推定方法及びプログラム
JP6228906B2 (ja) 映像品質推定装置、方法およびプログラム
JP6114702B2 (ja) ユーザ体感品質推定装置、ユーザ体感品質推定方法及びプログラム
KR20160106651A (ko) 특허 자산들을 이용한 기술 분야 사이즈들에 대한 보고
JP7400936B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
JP7255704B2 (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
WO2023209802A1 (ja) ユーザ体感品質推定装置、ユーザ体感品質推定方法及びプログラム
JP4408120B2 (ja) 映像品質推定装置、方法、およびプログラム
JP6660357B2 (ja) 品質推定装置、品質推定方法及びプログラム
JP5937990B2 (ja) トラヒック分布推定装置、トラヒック分布推定システム、及びトラヒック分布推定方法
JP2018019220A (ja) 心理要因スコア推定値算出装置、心理要因スコア推定値算出方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15860766

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016560213

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15525846

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15860766

Country of ref document: EP

Kind code of ref document: A1