WO2007129422A1 - 映像品質推定装置、方法、およびプログラム - Google Patents

映像品質推定装置、方法、およびプログラム Download PDF

Info

Publication number
WO2007129422A1
WO2007129422A1 PCT/JP2006/323731 JP2006323731W WO2007129422A1 WO 2007129422 A1 WO2007129422 A1 WO 2007129422A1 JP 2006323731 W JP2006323731 W JP 2006323731W WO 2007129422 A1 WO2007129422 A1 WO 2007129422A1
Authority
WO
WIPO (PCT)
Prior art keywords
video quality
video
frame rate
parameter
estimation
Prior art date
Application number
PCT/JP2006/323731
Other languages
English (en)
French (fr)
Inventor
Kazuhisa Yamagishi
Takanori Hayashi
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to US11/886,408 priority Critical patent/US7965203B2/en
Priority to EP06833535.5A priority patent/EP2018068B1/en
Priority to KR20077022050A priority patent/KR100933509B1/ko
Priority to CA 2604053 priority patent/CA2604053C/en
Priority to JP2007516127A priority patent/JP4594389B2/ja
Priority to CN2006800098982A priority patent/CN101151904B/zh
Publication of WO2007129422A1 publication Critical patent/WO2007129422A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894Packet rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems

Definitions

  • Video quality estimation apparatus method, and program
  • the present invention relates to a video communication technique, and more particularly to a video quality estimation technique for estimating a subjective video quality perceived by a viewer when video media encoded in a plurality of frames is received and reproduced by a terminal.
  • video media in order to improve the transfer efficiency of video media, video media can be encoded into multiple frames by using the autocorrelation between pixels or images and the human visual characteristics of video media.
  • the U-key communication method is used.
  • ITU-T Recommendation P. 8D2 International Telecommunication Union-Telecommunication Standardization sector
  • PESQ Perceptual Evaluation of Speech Quality
  • ITU-T Recommendation G. 107 describes a voice quality estimation method that uses voice quality parameters as input, and is used for quality design in VoIP (Voice over IP).
  • Factors that have a large effect on video quality include a code bit rate and a frame rate that indicate the content of encoding processing for video media.
  • the sign bit rate is the video media
  • the frame rate is a value indicating the number of frames per unit time relating to the video medium.
  • Reference 2 formulates the video quality based on the relationship between the video quality and each video quality parameter, but the optimum frame rate for each code bit rate can be calculated appropriately. Therefore, there is a problem that the video quality cannot be estimated properly.
  • Reference 3 is a video quality estimation method in which the relationship between the code bit rate and the packet loss is also formulated. The video rate is considered in consideration of the frame rate that is a factor of temporal degradation. There are two problems. Furthermore, the video quality has a characteristic that it converges to an arbitrary maximum value as the code bit rate increases, whereas in Reference 3, the video quality is estimated by a quadratic function. If the code rate exceeds a certain bit rate, it becomes an estimation model that causes a decrease in video quality, and shows results that are contrary to the above characteristics.
  • the present invention is for solving such a problem, and is a concrete and useful quality design management guideline that takes into account the trade-off with respect to video quality of the code amount per unit frame and the frame rate.
  • the purpose is to provide a video quality estimation apparatus, method, and program that can obtain the above information.
  • the video quality estimation apparatus is a coded bit indicating the number of code bits per unit time for video media encoded in a plurality of frames.
  • a parameter acquisition unit that acquires video media parameters consisting of a rate and a frame rate indicating the number of frames per unit time as main parameters consisting of an input code key bit rate and an input frame rate, respectively, Based on the main parameter corresponding to one of the parameters, an estimation model specifying unit for specifying an estimation model indicating the relationship between the other parameter of the video media parameter and the subjective video quality, and the specified estimation model
  • To estimate the subjective video quality corresponding to the main parameter corresponding to one parameter Via the signal network and a video Quality estimation unit for outputting as an estimate of subjective video quality feel received reproduced video media mosquitoes ⁇ et viewer at any terminal.
  • the video quality estimation method includes a coded bit rate indicating the number of code bits per unit time for video media encoded in a plurality of frames by a parameter acquisition unit.
  • a parameter acquisition step for acquiring video media parameters composed of a frame rate indicating the number of frames per unit time as main parameters of an input code bit rate and an input frame rate, respectively, and an estimated model specifying unit
  • the main parameter corresponding to either one of the media parameters
  • An estimation model specifying step for specifying an estimation model indicating the relationship between the other parameter of the video media parameter and subjective video quality based on the video quality estimation unit, and the video quality estimation unit corresponding to the one parameter using the specified estimation model
  • a video quality estimation step for estimating subjective video quality corresponding to the main parameter, and outputting it as an estimate of subjective video quality perceived by the viewer from video media received and played back by an arbitrary terminal via a communication network.
  • the program according to the present invention relates to a video media card reproduced by a terminal for video communication in which video media encoded in a plurality of frames is transmitted to an arbitrary terminal via a communication network.
  • the number of code bits per unit time related to video media is obtained by a parameter acquisition unit on a computer of a video quality estimation device that calculates an estimated value of subjective video quality perceived by the viewer using a predetermined estimation model.
  • a parameter acquisition step for acquiring a video media parameter comprising a code bit rate indicating the number of frames per frame and a frame rate indicating the number of frames per unit time as main parameters comprising the input code bit rate and the input frame rate, respectively.
  • the estimation model specifying step for specifying the estimation model indicating the relationship between the other parameter of the video media parameter and the subjective video quality and the estimation model specified by the video quality estimation unit are used.
  • a video quality estimation step of estimating subjective video quality corresponding to the main parameter corresponding to one of the parameters and outputting it as an estimated value is executed.
  • the input encoding bit rate indicating the number of code bits per unit time for video media and the input frame rate indicating the number of frames per unit time are input, and these main parameters are input.
  • the estimation model specifying unit determines the relationship between the video media frame rate (code bit rate) and the subjective video quality based on the input code bit rate (input frame rate). The estimated model shown is identified, and the subjective video quality corresponding to the input frame rate (input code bit rate) is estimated using this estimated model.
  • FIG. 1 is a block diagram showing a configuration of a video quality estimation apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of an estimation model specifying unit of the video quality estimation apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a graph showing the frame rate subjective video quality characteristics of video media in video communication services.
  • FIG. 4 is a graph showing an optimal frame rate characteristic of a code bit rate.
  • FIG. 5 is a graph showing a sign bit rate—best video quality characteristic.
  • FIG. 6 is an explanatory diagram showing a Gaussian function.
  • FIG. 7 is an explanatory diagram showing a frame rate-subjective video quality characteristic modeled with a Gaussian function.
  • FIG. 8 is a graph showing a sign bit rate—video quality degradation index characteristic.
  • FIG. 9 is a flowchart showing a video quality estimation process of the video quality estimation apparatus according to the first embodiment of the present invention.
  • FIG. 10 is a configuration example of estimated model specifying parameter information.
  • FIG. 11 is a block diagram showing a configuration of a video quality estimation apparatus according to the second embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration of an estimation model specifying unit of the video quality estimation apparatus according to the second embodiment of the present invention.
  • FIG. 13 is an explanatory diagram showing a configuration example of a coefficient DB.
  • FIG. 14 is an explanatory diagram showing a logistic function.
  • FIG. 15 is an explanatory diagram showing the best video quality characteristics of the code bit rate modeled by the logistic function.
  • FIG. 16 is a flowchart showing a video quality estimation process of the video quality estimation apparatus according to the second embodiment of the present invention.
  • FIG. 17 is a graph showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • FIG. 18 is a graph showing the estimation accuracy of a conventional video quality estimation apparatus.
  • FIG. 19 is a block diagram showing a configuration of a video quality estimation apparatus according to the third embodiment of the present invention.
  • FIG. 20 is a block diagram showing a configuration of an estimation model specifying unit of the video quality estimation apparatus according to the third embodiment of the present invention.
  • FIG. 21 is a graph showing code media bit rate subjective video quality characteristics of video media in a video communication service.
  • FIG. 22 is an explanatory diagram showing a logistic function.
  • FIG. 23 is an explanatory diagram showing a sign-bit-rate-subjective-video quality characteristic modeled by a logistic function.
  • FIG. 24 is a graph showing frame rate—best video quality characteristics.
  • FIG. 25 is a graph showing the frame rate-video quality first change index characteristic.
  • FIG. 26 is a graph showing the frame rate-video quality second change index characteristic.
  • FIG. 27 is a flowchart showing video quality estimation processing of the video quality estimation apparatus according to the third embodiment of the present invention.
  • FIG. 28 is a configuration example of estimated model specifying parameter information.
  • FIG. 29 is a block diagram showing a configuration of a video quality estimation apparatus according to a fourth embodiment of the present invention.
  • FIG. 30 is a block diagram showing a configuration of an estimation model specifying unit of the video quality estimation apparatus according to the fourth embodiment of the present invention.
  • FIG. 31 is an explanatory diagram showing a configuration example of the coefficient DB.
  • FIG. 32 is a flowchart showing video quality estimation processing of the video quality estimation apparatus according to the fourth embodiment of the present invention.
  • FIG. 33 is a graph showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • FIG. 1 is a block diagram showing a configuration of a video quality estimation apparatus that works on the first embodiment of the present invention.
  • This video quality estimation device 100 is an information processing device such as a computer that performs arithmetic processing on input information, and is used for video communication in which video media encoded in a plurality of frames is transmitted to an arbitrary terminal via a communication network. Therefore, using the estimation condition relating to the video media as an input, the estimated value of the subjective video quality perceived by the viewers of the video media player played on the terminal is calculated using a predetermined estimation model.
  • an input encoding bit rate indicating the number of code bits per unit time for video media and an input frame rate indicating the number of frames per unit time are input, and these main parameters are input.
  • an estimation model indicating the relationship between the frame rate of the video media and the subjective video quality is identified based on the input coding bit rate, and the input frame rate is determined using the identified estimation model.
  • the corresponding subjective video quality is estimated and output as an estimated value.
  • FIG. 2 is a block diagram showing the configuration of the estimation model specifying unit of the video quality estimation apparatus according to the first embodiment of the present invention.
  • the video quality estimation apparatus 100 is provided with a parameter acquisition unit 111, an estimation model specifying unit 112, and a video quality estimation unit 113 as main functional units.
  • These functional units may be realized by a dedicated arithmetic processing circuit unit, but a microprocessor such as a CPU and its peripherals
  • the functional unit may be realized by providing a circuit, reading a program prepared in advance, and executing the program by a microprocessor so that the hardware and the program cooperate with each other.
  • processing information used in these functional units is stored in each storage unit described later including a storage device such as a memory node disk, and processing information exchanged between these functional units is also a storage unit (see FIG. (Not shown). Also
  • the program may be stored in the storage unit.
  • the video quality estimation device 100 is provided with various basic configurations such as a storage device, an operation input device, a screen display device, and the like, like a general information processing device! /
  • the parameter acquisition unit 111 extracts various estimation conditions 110 related to the video communication service to be evaluated, and extracts a frame rate and a code bit rate related to video media code key processing from the estimation conditions 110. And a function of outputting these as main parameters 121 including input frame rate fr (121 A) and input code rate bit rate br (12 IB).
  • the estimation condition 110 is acquired from an external device, a recording medium, or a communication network using a data input / output device that performs data input / output that can be input by an operator operation using an operation input device such as a keyboard. It may also be measured from actual video communication services.
  • the estimation model specifying unit 112 is based on the input encoding bit rate 121B of the main parameter 121 output from the parameter acquisition unit 111, and shows an estimation model 122 indicating the relationship between the frame rate of the video media and the subjective video quality. It has a function of calculating an estimated model specifying parameter 132 for specifying
  • the video quality estimation unit 113 estimates the subjective video quality corresponding to the input frame rate 121A of the main parameter 121 with reference to the estimation model 122 specified by the estimation model specification unit 112, and obtains a desired subjective video quality estimated value 123. As an output function.
  • the estimated model specifying unit 112 is also configured with several functional unit forces.
  • the main functional units include an optimal frame rate calculating unit 112A, a best video quality calculating unit 112B, a video quality deterioration index calculating unit 112C, and an estimated model generating unit 112D as units for calculating the estimated model specifying parameter 132.
  • the estimation model specifying parameter 132 specifies the shape of the function used as the estimation model 122. Value power to be determined. In this embodiment, at least the following optimal frame rate and best video quality can be used as the estimation model specifying parameter 132, and other parameters represented by the video quality degradation index may be added to the estimation model specifying parameter 132. .
  • the optimum frame rate calculation unit 112A refers to the code-bit-rate-optimal frame-rate characteristic 131A of the storage unit (first storage unit) 131M, and transmits it at the input code-bit rate br (121B). It has a function of calculating the optimum frame rate ofr (br) (132A) indicating the frame rate at which the subjective video quality of the recorded video media is the best as one of the estimated model specifying parameters 132.
  • the best video quality calculation unit 112B refers to the code bit rate-best video quality characteristic 131B of the storage unit 131M, and determines the best subjective video quality value of the video media transmitted at the input code bit rate 121B. It has the function to calculate the best video quality shown a (br) (132B) as one of the estimated model specific parameters 132! /
  • the video quality degradation index calculation unit 112C refers to the code bit rate-video quality degradation index characteristic 131C of the storage unit 131M, and relates to video media transmitted at the input code bit rate 121B. It has a function to calculate the video quality degradation index ⁇ (br) (132C) indicating the degree of deterioration from the best video quality 132B indicating the best subjective video quality as one of the estimated model specifying parameters 1 32 .
  • the code key rate-optimal frame rate characteristic 131 A, the code key rate-best video quality characteristic 131 B, and the code key rate-video quality degradation index characteristic 131 C are estimated model specific parameter derivation characteristics 131 Are prepared in advance and stored in the storage unit 131M (first storage unit).
  • the estimation model generation unit 112D is configured to receive the optimal frame rate ofr (br) calculated by the optimal frame rate calculation unit 112A, the best video quality a (br) calculated by the best video quality calculation unit 112B, and the video quality.
  • Degradation index calculation unit By substituting the value of each estimated model specifying parameter 132, which is also a video quality degradation index ⁇ (br) force, calculated by the 112C into a predetermined function formula, It has a function to generate an estimation model 122 for estimating video quality.
  • FIG. Fig. 3 is a graph showing the frame rate-subjective video quality characteristics of video media in video communication services.
  • the horizontal axis represents the frame rate fr (fps)
  • the vertical axis represents the subjective video quality value MOS (fr, br) (MOS value)
  • the characteristics for each coding bit rate br are shown.
  • the code amount per unit frame and the frame rate have a trade-off relationship with the subjective video quality of the video media.
  • encoding the video at a high frame rate can smooth the video and improve temporal video quality.
  • the amount of code per hit is reduced and spatial image degradation becomes noticeable, and as a result, image quality may deteriorate.
  • the code amount per unit frame is increased and encoding is performed, spatial image degradation is improved and the image quality is improved, but the number of frames per unit time is reduced, and time jerky frame skipping occurs. The video quality may deteriorate as a result.
  • the estimation model specifying unit 112 determines the frame rate and subjective video quality of the video media based on the input code key bit rate 121B. And the video quality estimation unit 113 estimates the subjective video quality estimation value 123 corresponding to the input frame rate 121A using the estimation model 122 specified by the estimation model specifying unit 112. ing.
  • the estimation model specifying unit 112 determines the frame rate and subjective video quality of the video media based on the input code key bit rate 121B.
  • the video quality estimation unit 113 estimates the subjective video quality estimation value 123 corresponding to the input frame rate 121A using the estimation model 122 specified by the estimation model specifying unit 112. ing.
  • estimation model specifying unit 112 specifies the estimation model 122 indicating the relationship between the frame rate of the video media and the subjective video quality based on the input code key bit rate 121 B, the input code key bit rate 121 B It is necessary to derive the optimum frame rate 132A and the best video quality 132B as the estimation model specifying parameters corresponding to.
  • the following code key bit rate optimal frame rate characteristic 131A and code key bit rate-best video quality characteristic 131B are prepared in advance as estimated model specifying parameter derivation characteristics 131, and these characteristics are With reference to this, the estimation model specifying parameter 132 corresponding to the input code key rate 121B is derived.
  • the relationship between the encoding bit rate when the video media is played back with the best video quality and the frame rate at that time, that is, the optimum frame rate is as follows: As the frame rate increases, the optimal frame rate increases monotonically and then converges to a certain maximum frame rate.
  • FIG. 4 is a graph showing such a code key bit rate optimum frame rate characteristic.
  • the horizontal axis indicates the sign bit rate br (kbps), and the vertical axis indicates the optimum frame rate ofr (br) (fps).
  • the relationship between the code bit rate and the video quality that is, the best video quality when the video media is transmitted at the optimum frame rate is an increase in the coding bit rate.
  • the video quality increases and converges to a certain maximum value (maximum subjective video quality value), and the video quality also decreases as the code bit rate decreases and converges to a certain minimum value.
  • FIG. 5 is a graph showing the best video quality characteristics of such a code rate.
  • the horizontal axis indicates the sign bit rate br (kbps), and the vertical axis indicates the best video quality a (br).
  • the video quality is expressed as a MOS value with a maximum value of “5” with “1” as the reference value, whereas it is “0” when used as the best video quality a (br) of the estimation model 122.
  • estimation model used in the estimation model specifying unit 112 and its specifying method will be described in detail.
  • FIG. 6 is an explanatory diagram showing a Gaussian function.
  • the Gaussian function is a function that shows a convex shape that decays to the left and right with the vertex P as the maximum value, and a functional expression can be expressed using the X coordinate and the maximum amplitude of the vertex P.
  • the X coordinate of vertex P is X
  • the maximum amplitude is A
  • the y-axis reference value is y
  • the coefficient indicating the open width of the convex characteristic is ⁇
  • the variable X is the logarithmic value of the frame rate of the video media
  • the function value y is the subjective video quality
  • the variable X at the vertex P is the logarithm of the optimal frame rate corresponding to the sign bit rate
  • the subjective video quality for an arbitrary frame rate can be obtained by the following equation (2).
  • An estimation model corresponding to the code bit rate 121B, that is, a frame rate-subjective video quality characteristic can be specified.
  • Figure 7 shows the Gaussian function model It is explanatory drawing which shows the made frame rate one subjective video quality characteristic.
  • Equation (2) a (br) and G (fr, br) used in Equation (2) take values up to "4" with "0" as the reference value, so this G (fr, br ) By adding “1” to the actual video quality value expressed in MOS values (1 to 5).
  • the opening width of the convex characteristic is specified using the coefficient ⁇ , but it is necessary to use a different opening width for each frame rate subjective video quality characteristic corresponding to the encoding bit rate.
  • the video quality deterioration index ⁇ (br) (132C) corresponding to the sign key rate may be used.
  • the video quality degradation index ⁇ (br) is an index that indicates the degree of degradation from the best video quality 132B that indicates the best subjective video quality for video media transmitted at the input code bit rate 121B. This corresponds to the coefficient ⁇ of the Gaussian function.
  • the relationship between the code bit rate and the deterioration degree of subjective video quality is such that the higher the code bit rate, the smoother the deterioration level, and the coding bit rate becomes higher.
  • the lower the level the greater the degree of deterioration. Therefore, the relationship between the code key bit rate and the video quality degradation index indicates that the higher the code bit rate, the larger the convex opening width of the frame rate subjective video quality characteristic, and the larger the video quality degradation index. ⁇
  • the lower the bit rate the smaller the convex opening of the subjective video quality characteristics of the frame rate, and the lower the video quality degradation index.
  • FIG. 8 is a graph showing such a code key bit rate-one video quality degradation index characteristic.
  • the horizontal axis indicates the sign bit rate br (kbps), and the vertical axis indicates the video quality degradation index ⁇ (br).
  • Fig. 8 shows the sign-bit rate-video quality degradation index characteristic in the estimation model expressed by a Gaussian function. When other estimation models are used, the video quality indicating the coefficient corresponding to the estimation model is shown. Degradation index sign / bit rate vs. video quality degradation index characteristics.
  • FIG. 9 is a flowchart showing the video quality estimation process of the video quality estimation apparatus according to the first embodiment of the present invention.
  • the video quality estimation apparatus 100 starts the video quality estimation process of FIG. 9 in response to an instruction operation from the operator and an input of the estimation condition 110.
  • the video quality degradation index 132C is used as an example in addition to the optimal frame rate 132A and the best video quality 132B will be described as estimation model specifying parameters.
  • the video quality estimation apparatus 100 includes the above-described code bit rate optimum frame rate characteristic 131A (see FIG. 4), coding bit rate—best video quality characteristic 131B (see FIG. 5), and code bit rate. — Assume that the video quality degradation index characteristic 131C (see FIG. 8) is prepared in advance and stored in the storage unit 131M as a function expression.
  • the parameter acquisition unit 111 acquires various estimation conditions 110 related to the video communication service to be evaluated, and extracts the frame rate and the encoding bit rate related to the video media coding process from the estimation condition 110.
  • the input frame rate fr (121A) and the input code key bit rate br (121B) are output as the main parameter 121 (step S100).
  • the estimation model specifying unit 112 generates an estimation model 122 that indicates the relationship between the frame rate of the video media and the subjective video quality based on the input code bit rate 121B of the main parameter 121 output from the parameter acquisition unit 111. Identify.
  • the optimal frame rate calculation unit 112A refers to the encoding bit rate—optimal frame rate characteristic 131 A of the storage unit 131M, and the optimum corresponding to the input code bit rate br (12 IB).
  • Frame rate ofr (br) (132A) is calculated (step S 101 ) o
  • the estimated model specifying unit 112 refers to the code bit rate-best video quality characteristic 131B of the storage unit 131M by the best video quality calculation unit 112B and refers to the input code bit rate br.
  • the best video quality a (br) (132B) corresponding to (121B) is calculated (step S102
  • the estimated model specifying unit 112 refers to the code quality / bit rate-video quality degradation index characteristic 131C of the storage unit 131M by the video quality degradation index calculation unit 112C and inputs the input code / bit rate br (The video quality degradation index ⁇ (br) (132C) corresponding to 121B) is calculated (step S103).
  • the estimated model specifying unit 112 After calculating each estimated model specifying parameter 132 in this way, the estimated model specifying unit 112 performs the optimum frame rate ofr (br) of the estimated model specifying parameter 132 and the best video by the estimated model generating unit 112D.
  • the video quality estimation apparatus 100 refers to the estimation model 122 identified by the estimation model identification unit 112 by the video quality estimation unit 113 and inputs the main parameter 121 output from the parameter acquisition unit 111.
  • the video quality corresponding to the frame rate 121A is calculated, and is output as the subjective video quality estimate 123 that the viewer feels, such as the video media player played on the terminal using the video communication service to be evaluated (step S105). ), A series of video quality estimation processing ends.
  • the input code bit rate 121B indicating the number of code bits per unit time relating to video media and the input frame rate 121A indicating the number of frames per unit time are input.
  • the estimation model specifying unit 112 When estimating the subjective video quality for these main parameters 121, the estimation model specifying unit 112 generates an estimation model 122 indicating the relationship between the frame rate of the video media and the subjective video quality based on the input code bit rate 121B.
  • the subjective video quality corresponding to the input frame rate 121A is estimated and output as an estimated value 123.
  • the estimation model 122 By referring to the estimation model 122, the subjective video quality estimation value 123 corresponding to the input frame rate 121A that is also input as the estimation condition 110 can be obtained.
  • the video quality estimation apparatus 100 when video media is distributed with a desired video quality, if the video quality estimation apparatus 100 according to the present embodiment is used, what is the code-bit rate of the video shot by the camera? By coding at the frame rate, the ability to satisfy the desired video quality can be grasped specifically. In particular, the code key bit rate is often limited due to network constraints. In such a case, a video that can be used in this embodiment by fixing the code key bit rate is fixed. If the quality estimation apparatus 100 is applied, the relationship between the frame rate and the video quality can be easily and specifically grasped.
  • the coding bit rate—optimal frame rate characteristic 131 A, the code key rate—best video quality characteristic 131 B, and the code key used when calculating the estimation model specifying parameter 132 are used.
  • the rate-video quality degradation index characteristic 131C has been prepared in advance in the form of a functional expression and stored in the storage unit 131M.
  • the estimated model specific parameter derivation characteristic 13 used to derive the estimated model specific parameter 13 1 may be stored in the storage unit 131M as a value corresponding to the input code bit rate that is not limited to a function expression.
  • FIG. 10 is a configuration example of estimated model specifying parameter information indicating a correspondence relationship between an input code key rate and each estimated model specifying parameter.
  • This estimated model specific parameter information includes the input code key rate br (121B), the corresponding optimum frame rate of r (br) (132A), the best video quality a (br) (132B), and video quality. It consists of a pair with the degradation index ⁇ (br) (1 32C), and is calculated in advance based on the estimated model specific parameter derivation characteristic 131 and stored in the storage unit 131M.
  • the input code key bit rate 121 The estimated model specifying parameter 132 corresponding to B may be derived.
  • FIG. 11 is a block diagram showing a configuration of a video quality estimation apparatus that is useful for the second embodiment of the present invention.
  • the same or equivalent parts as those in FIG. 1 described above are denoted by the same reference numerals.
  • FIG. 12 is a block diagram showing the configuration of the estimation model specifying unit of the video quality estimation apparatus according to the second embodiment of the present invention, and the same or equivalent parts as those in FIG. It is.
  • the estimated model specifying parameter 132 corresponding to the input code key rate is derived with reference to an estimated model specifying parameter derivation characteristic 1131 prepared in advance.
  • the communication type of the video communication service the communication type of the video communication service
  • the playback performance of the terminal that plays back the video media or the playback of the terminal that plays back the video media.
  • the video quality estimation apparatus 100 that works in this embodiment includes a coefficient acquisition unit 114 and a coefficient database (hereinafter referred to as coefficient DB) 125. Has been added.
  • the coefficient acquisition unit 114 refers to the coefficient DB 125 of the storage unit 125M (second storage unit), and acquires the characteristic coefficient 126 corresponding to the sub parameter 124 acquired from the estimation condition 110 by the parameter acquisition unit 111. It has a function.
  • FIG. 13 is an explanatory diagram showing a configuration example of the coefficient DB.
  • the coefficient DB 125 is a database showing a set of various sub-parameters 124 and corresponding characteristic coefficients a, b, c,..., G (126).
  • the secondary parameter 124 indicates a communication type parameter 124A indicating the communication type of the video communication service, a playback performance parameter 124B indicating the playback performance of the terminal that plays back the video media, or a playback environment of the terminal that plays back the video media.
  • a specific example of the communication type parameter 124A is a video communication service to be evaluated. There is a “task” indicating the type of communication to be performed.
  • Specific examples of the playback performance parameter 124B include “encoding method”, “video format”, “key frame” related to video media encoding, “monitor size”, “monitor” related to media playback function on the terminal. Resolution ".
  • a specific example of the playback environment parameter 124C is “room illuminance” at the time of media playback on the terminal.
  • the sub-parameter 124 is not limited to these parameter examples, and can be arbitrarily selected according to the content of the video communication service or video media to be evaluated. It is sufficient that at least one of the reproduction performance parameter 124B and the reproduction environment parameter 124C is configured.
  • the coefficient acquisition unit 114 refers to the coefficient DB 125 of the storage unit 125M prepared in advance, and acquires the characteristic coefficient 126 corresponding to the sub-parameter 124.
  • the characteristic coefficient 126 is a coefficient for specifying the estimated model specific parameter derivation characteristic used for deriving the estimated model specific parameter 132.
  • the estimation model specifying unit 112 has the estimation model specifying parameter derivation characteristic 131 specified by the characteristic coefficient 126 acquired by the coefficient acquisition unit 114, that is, the sign key bit rate—optimal frame rate characteristic 131 A, the sign key bit rate— The best video quality characteristic 131B and the sign-bit rate—video quality degradation index characteristic 131C are identified.
  • the estimated model specific parameter derivation characteristic 131 can be modeled using the characteristic coefficient 126 acquired from the coefficient DB 125 by the coefficient acquisition unit 114 as follows.
  • the optimum frame rate monotonically increases as the code bit rate increases, as shown in Fig. 4 described above. After that, it tends to converge to a certain maximum frame rate. For example, it can be modeled by a general linear function. Therefore, the coding bit rate is br, the corresponding optimal frame rate is ofr (br), and the coefficients are a and b.
  • the code key bit rate-optimal frame rate characteristic 131 A can be expressed by the following equation (3).
  • the code quality bit rate-best video quality characteristic 131B of the estimation model specific parameter derivation characteristic 131 increases the video quality as the code bit rate increases. Convergence to a certain maximum value, video quality also decreases with a decrease in the sign bit rate, and tends to converge to a certain minimum value. For example, it can be modeled with a general Logistic function. .
  • FIG. 14 is an explanatory diagram showing a logistic function.
  • the logistic function is a function in which the value of the function y increases monotonically as the variable X increases when the coefficient ⁇ > 1, and the function value y converges to the minimum value and decreases as the variable X decreases. Depending on, the function value y converges to the maximum value.
  • the value of y consists of a term of maximum value A and a fractional term indicating the decrease from maximum value A.
  • variable X is the sign bit rate
  • the corresponding function value y is the best video quality a (br)
  • the maximum value A is the characteristic coefficient c
  • the minimum value A is “0 zero”
  • the coefficient x is the characteristic coefficient d
  • FIG. 15 is an explanatory diagram showing an encoding bit rate-best video quality characteristic modeled by a logistic function.
  • the code model bit rate of the estimated model specific parameter derivation characteristic 131—video quality inferior As shown in FIG. 8 described above, the video index characteristic 131C has a tendency that the higher the code bit rate, the larger the video quality degradation index, and the lower the code bit rate, the smaller the video quality degradation index. For example, it can be modeled by a general linear function. Therefore, if the sign bit rate is br, the corresponding video quality degradation index is ⁇ (br), and the coefficient is g, then the sign key rate—video quality degradation index characteristic 131C is It can be expressed by the following equation (6).
  • model ⁇ of the estimated model specific parameter derivation characteristic 131 other functions than the linear function described above or the logistic function may be used.
  • the video quality estimation process may be performed at an input code bit rate or an input frame rate within a limited range. Therefore, if such a local view is possible, the estimated model specific parameter derivation characteristic 131 can be modeled by a simple function such as a linear function as described above.
  • the change of the estimation model specific parameter is large with respect to the input code bit rate or the input frame rate, for example, the sign bit is changed using another function such as an exponential function.
  • the rate-one-optimal frame rate characteristic 131A may be represented.
  • the optimal frame rate ofr (br) and the video quality degradation index ⁇ (br) should be expressed by equation (7) with coefficients h, i, j, k, 1, m. Can do.
  • FIG. 16 shows video quality estimation that is useful for the second embodiment of the present invention.
  • 10 is a flowchart showing a video quality estimation process of the fixed device, and the same or equivalent parts as those in FIG. 9 are given the same reference numerals.
  • the video quality estimation apparatus 100 starts the video quality estimation process of FIG. 16 in response to an instruction operation from the operator or an input of the estimation condition 110.
  • an estimated model specifying parameter a case where the video quality degradation index 132C is used as an example will be described in consideration of the optimum frame rate 132A and the best video quality 132B.
  • the communication type parameter 124A, the playback performance parameter 124B, and the playback environment parameter 124C are used as the secondary parameter 124.
  • the coefficient DB125 of the storage unit 125M stores a set of the secondary parameter 124 and the characteristic coefficient 126 in advance. It is assumed that
  • the parameter acquisition unit 111 acquires various estimation conditions 110 related to the video communication service to be evaluated, and extracts the frame rate and the encoding bit rate related to the video media coding process from the estimation condition 110.
  • the input frame rate fr (121A) and the input code key bit rate br (121B) are output as main parameters 121 (step S100).
  • the parameter acquisition unit 111 extracts the communication type parameter 124A, the reproduction performance parameter 124B, and the reproduction environment parameter 124C from the estimation condition 110, and outputs them as the sub parameter 124 (step S110).
  • the coefficient acquisition unit 114 refers to the coefficient DB 125 of the storage unit 125M, and acquires characteristic coefficients a, b, c,..., G (126) corresponding to the value of the sub parameter 124. (Step SI 11).
  • the estimated model specifying unit 112 inputs an input by referring to the code frame bit rate optimum frame rate characteristic 131A identified by the coefficients a and b of the characteristic coefficient 126 by the optimum frame rate calculating unit 112A.
  • the optimum frame rate ofr (br) (132A) corresponding to the code bit rate br (121B) is calculated (step S101).
  • the estimated model specifying unit 112 refers to the best video quality characteristic 131B of the code bit rate specified by the coefficients c, d, e among the characteristic coefficients 126 by the best video quality calculating unit 112B. Then, the best video quality a (br) (132 B) corresponding to the input code key bit rate br (121B) is calculated (step S102).
  • the estimated model specifying unit 112 uses the video quality deterioration index calculating unit 112C to The video quality degradation index ⁇ corresponding to the input code key bit rate br (121B) with reference to the code quality bit rate—video quality degradation index characteristic 131C specified by the coefficients f and g of the characteristic coefficient 126 (br) Calculate (132C) (step S103).
  • the estimated model specifying unit 112 uses the estimated model generating unit 112D to determine the optimum frame rate ofr (br) and the best video of the estimated model specifying parameter 132.
  • the video quality estimation apparatus 100 refers to the estimation model 122 identified by the estimation model identification unit 112 by the video quality estimation unit 113 and inputs the main parameter 121 output from the parameter acquisition unit 111.
  • the video quality corresponding to the frame rate 121A is calculated and output as the subjective video quality estimate 123 of the subjective video quality that viewers feel, such as the video media played on the terminal using the video communication service to be evaluated.
  • step S105 a series of video quality estimation processing ends.
  • the sub-parameter 124 including one or more of the communication type parameter 124A, the reproduction performance parameter 124B, and the reproduction environment parameter 124C acquired by the parameter acquisition unit 111.
  • Is obtained from the coefficient DB 125 of the storage unit 125M by the coefficient obtaining unit 114, and the estimated model specifying unit 112 is based on the estimated model specifying parameter derivation characteristic 131 specified by these characteristic coefficients 126. Since the estimation model specifying parameter 132 corresponding to the input code key rate 121B is calculated, it is possible to derive the estimation model specifying parameter 132 based on the specific characteristics of the video communication service or terminal to be evaluated. It is possible to improve the accuracy of video quality estimation.
  • a video quality estimation model has to be prepared for each coding method and terminal used in the video communication service to be evaluated.
  • the video quality estimation model does not depend on the encoding method or the terminal, and the coefficient used for the video quality estimation model is simply referred to according to the encoding method or the terminal.
  • the same video quality estimation model can be used. Therefore, different environments It is possible to flexibly cope with the video communication service.
  • FIG. 17 is a graph showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • FIG. 18 is a graph showing the estimation accuracy of the conventional video quality estimation apparatus based on Document 2. 17 and 18, the horizontal axis indicates the estimated subjective video quality (MOS value) estimated using the video quality estimation device, and the vertical axis indicates the subjective video quality evaluation that the viewer actually evaluated. Indicates the value (MOS value). Compared to FIG. 18, it can be seen that FIG. 17 has improved estimation accuracy with fewer errors between the evaluation value and the estimated value. These are comparison results under specific estimation conditions, but similar comparison results have been confirmed even when different coding methods and terminals are used.
  • FIG. 19 is a block diagram showing a configuration of a video quality estimation apparatus that works on the third embodiment of the present invention.
  • the video quality estimation device 200 is an information processing device such as a computer that performs arithmetic processing on input information, and is used for video communication in which video media encoded in a plurality of frames is transmitted to an arbitrary terminal via a communication network. Therefore, using the estimation condition relating to the video media as an input, the estimated value of the subjective video quality perceived by the viewers of the video media player played on the terminal is calculated using a predetermined estimation model.
  • an input encoding bit rate indicating the number of code bits per unit time relating to video media and an input frame rate indicating the number of frames per unit time are input, and these main parameters are input.
  • an estimation model that indicates the relationship between the video media code rate and subjective video quality is identified based on the input frame rate, and input using the identified estimation model The subjective video quality corresponding to the code bit rate is estimated and output as an estimated value.
  • FIG. 20 is a block diagram showing the configuration of the estimation model specifying unit of the video quality estimation apparatus according to the third embodiment of the present invention.
  • the video quality estimation apparatus 200 includes a parameter acquisition unit 211, an estimation model specifying unit 212, and a video quality estimation unit 213 as main functional units. These functional units may be realized by a dedicated arithmetic processing circuit unit. However, by providing a microprocessor such as a CPU and its peripheral circuits, reading a program prepared in advance and executing the program by the microprocessor, The above functional unit may be realized by cooperating hardware and a program.
  • processing information used in these functional units is stored in each storage unit described later including a storage device such as a memory node disk, and processing information exchanged between these functional units is also a storage unit (see FIG. (Not shown). Further, the program may be stored in a storage unit.
  • the video quality estimation device 200 is provided with various basic configurations such as a storage device, an operation input device, a screen display device, and the like, like a general information processing device! /
  • the meter acquisition unit 211 obtains various estimation conditions 210 related to the video communication service to be evaluated, and the code key bit rate and frame rate related to the code key processing of the video media from the estimation conditions 210. And a function of outputting these as main parameters 221 including input coding bit rate br (221A) and input frame rate fr (221B).
  • the estimation condition 210 is obtained from an external device, a recording medium, or a communication network using a data input / output device that performs data input / output that can be input by an operator operation using an operation input device such as a keyboard. It may also be measured from actual video communication services.
  • the estimation model specifying unit 212 is based on the input frame rate 221 B of the main parameter 221 output from the parameter acquisition unit 211, and is an estimation model 222 indicating the relationship between the video media coding bit rate and subjective video quality. It has a function of calculating the estimated model specifying parameter 232 for specifying
  • the video quality estimation unit 213 refers to the estimation model 222 identified by the estimation model identification unit 212 and estimates the subjective video quality corresponding to the input code / bit rate 221A of the main parameter 221 to obtain a desired subjective video. It has a function to output as a quality estimate 223.
  • the estimated model specifying unit 212 is also configured with several functional unit forces.
  • As the main functional part as the part that calculates the estimated model specific parameter 232, There is a best video quality calculation unit 212A, a video quality first change index calculation unit 212B, a video quality second change index calculation unit 212C, and an estimated model generation unit 212D.
  • the estimation model specifying parameter 232 is a value force that specifies the shape of the function used as the estimation model 222.
  • at least the following best video quality, video quality first change index, and video quality second change index are used as the estimated model specifying parameter 232, but other parameters are estimated model specifying parameters.
  • the best video quality calculation unit 212A refers to the frame rate of the storage unit 231M (third storage unit) —the best video quality characteristic 231A, and the subjective video quality of the video media transmitted at the input frame rate 221B. It has a function to calculate the best video quality j8 (fr) (232A), which shows the best value, as one of the estimated model specifying parameters 232.
  • the video quality first change index calculation unit 212B refers to the frame rate of the storage unit 231M—video quality first change index characteristic 231B, and the best subjective video quality for the video media transmitted at the input frame rate 221B.
  • the video quality first change index s (fr) (232B) indicating the degree of change (deterioration) of the best video quality 232A power value is calculated as one of the estimated model specification parameters 232. ing.
  • the video quality second change index calculation unit 212C refers to the frame rate-video quality second change index characteristic 231C of the storage unit 231M, and the subjective video regarding the video media transmitted at the input frame rate 221B.
  • the best video quality that shows the best value of quality
  • the function that calculates the second change index t (fr) (232C) of the video quality that shows the degree of change (deterioration) of 232A power as one of the estimated model specific parameters 232 have.
  • frame rate—best video quality characteristic 231A, frame rate—video quality first change index characteristic 231B, and frame rate—video quality second change index characteristic 231C are prepared and stored in advance as estimated model specific parameter derivation characteristics 231. It is stored in part 231M (third storage part).
  • the estimation model generation unit 212D has the best video quality i8 (br) calculated by the best video quality calculation unit 212A, and the first video quality change index s (fr) calculated by the video quality first change index calculation unit 212B. ), And the video quality second change index calculation unit 212C calculates the value of each estimated model specifying parameter 232 that also has the power of the video quality second change index t (fr) as a predetermined function formula. By inputting, the estimation model 222 for estimating the subjective video quality corresponding to the input frame rate 221B of the main parameter 221 is generated.
  • FIG. 21 is a graph showing the sign rate, subjective video quality characteristics of video media in the video communication service.
  • the horizontal axis represents the coding bit rate br (kbps)
  • the vertical axis represents the subjective video quality value MOS (fr, br) (MOS value)
  • the characteristics for each frame rate fr are shown! / .
  • encoding the video at a high frame rate can smooth the video and improve temporal video quality.
  • the amount of code per hit is reduced and spatial image degradation becomes noticeable, and as a result, image quality may deteriorate.
  • the code amount per unit frame is increased and encoding is performed, spatial image degradation is improved and the image quality is improved, but the number of frames per unit time is reduced, and time jerky frame skipping occurs. The video quality may deteriorate as a result.
  • the present embodiment focuses on the characteristics of the subjective video quality characteristics and focuses on the estimation model characteristics.
  • the estimation unit 212 identifies the estimation model 222 indicating the relationship between the video media code rate and subjective video quality based on the input frame rate 221B.
  • the video quality estimation unit 213 identifies the estimation model 222 Using the identified estimation model 222, a subjective video quality estimation value 223 corresponding to the input code bit rate 221A is estimated.
  • estimation model used in the estimation model specifying unit 212 and the derivation of the estimation model specifying parameter will be described in detail.
  • the sign-bit rate-subjective video quality characteristics shown in Fig. 21 show a characteristic that monotonously increases as the sign-bit rate increases and converges to the best video quality of the video media transmitted at the frame rate. For example, it can be modeled with a general Logistic function.
  • FIG. 22 is an explanatory diagram showing a logistic function.
  • the logistic function is a function in which the value of the function y monotonically increases as the variable X increases when the coefficient!:> 1 and the function value y converges to the minimum value as the variable X decreases. As the value increases, the function value y converges to the maximum value.
  • the value of y consists of a term of maximum value A and a fractional term indicating the decrease from maximum value A.
  • variable x is the sign bit rate
  • the corresponding function value y is the subjective video quality MOS (fr, br)
  • the maximum value A is the best video quality at the input frame rate fr.
  • FIG. 23 is an explanatory diagram showing a sign key bit rate-subjective video quality characteristic modeled by a logistic function. [0108] [Equation 9] Small).
  • the estimation model specifying unit 212 specifies the estimation model 222 indicating the relationship between the video media bit rate and subjective video quality based on the input frame rate 221B, the input frame rate 221B It is necessary to derive the best video quality 232A, the video quality first change index 232B, and the video quality second change index 232C as the estimation model specific parameters corresponding to.
  • the video quality first change index s (fr) and the video quality second change index t (fr) are reduced from the maximum value A in the fractional term of the logistic function.
  • the best video quality ⁇ (fr) is used to calculate the amount of change (degradation), and the estimation model 222 is specified as a change index indicating the degree of change in subjective video quality at the frame rate fr. Is required.
  • the following frame rate—best video quality characteristic 231 A, frame rate—video quality first change index characteristic 231B, and frame rate—video quality second change index characteristic 231C are estimated models.
  • the specific parameter derivation characteristic 231 is prepared in advance, and the estimated model specific parameter 232 corresponding to the input frame rate 221B is derived with reference to these characteristics.
  • FIG. 24 is a graph showing such a frame rate best video quality characteristic.
  • the horizontal axis represents the frame rate fr (fps), and the vertical axis represents the best video quality
  • FIG. 25 is a graph showing such a frame rate vs. video quality first change index characteristic.
  • FIG. 26 is a graph showing such a frame rate / video quality second change index characteristic.
  • the horizontal axis represents the frame rate fr (fps), and the vertical axis represents the video quality second change index t (fr).
  • FIG. 27 is a flowchart showing video quality estimation processing of the video quality estimation apparatus according to the third embodiment of the present invention.
  • the video quality estimation apparatus 200 starts the video quality estimation process of FIG. 27 in response to an instruction operation from the operator or an input of the estimation condition 210.
  • the video quality estimation apparatus 200 includes the above-described best frame rate video quality characteristic 231A (see FIG. 24), frame rate—video quality first change index characteristic 231B (see FIG. 25), and frame rate— It is assumed that the video quality second change index characteristic 231C (see FIG. 26) is prepared in advance and stored in the storage unit 231M as a function expression.
  • the parameter acquisition unit 211 acquires various estimation conditions 210 related to the video communication service to be evaluated, and extracts the encoding bit rate and frame rate related to the video media encoding process from the estimation condition 210.
  • the input encoding bit rate br (221A) and the input frame rate fr (221B) are output as the main parameter 221 (step S200).
  • the estimation model specifying unit 212 calculates an estimation model 222 indicating the relationship between the video media code bit rate and subjective video quality based on the input frame rate 221B of the main parameter 221 output from the parameter acquisition unit 211. Identify.
  • the best video quality calculation unit 212A refers to the frame rate-best video quality characteristic 231A of the storage unit 231M and corresponds to the input frame rate fr (221B).
  • the best video quality j8 (fr) (232A) is calculated (step S201).
  • the estimated model specifying unit 212 uses the video quality first change index calculating unit 212B to refer to the frame rate of the storage unit 231M—video quality first change index characteristic 231B, and to input frame rate fr ( The video quality first change index s (fr) (232B) corresponding to 221B) is calculated (step S202).
  • the estimated model specifying unit 212 uses the video quality second change index calculating unit 212C to refer to the frame rate-video quality second change index characteristic 231C of the storage unit 231M and input frame rate fr (221B
  • the video quality second change index t (fr) (232C) corresponding to) is calculated (step S203).
  • the estimated model specifying unit 212 After calculating each estimated model specifying parameter 232 in this way, the estimated model specifying unit 212 performs the best video quality i8 (fr), video quality of the estimated model specifying parameter 232 by the estimated model generating unit 212D.
  • the estimated model 222 that is, the encoded bit rate—subjective video quality characteristics Identify (step S204).
  • the video quality estimation apparatus 200 refers to the estimation model 222 identified by the estimation model identification unit 212 by the video quality estimation unit 213 and inputs the main parameter 221 output from the parameter acquisition unit 211.
  • the video quality corresponding to the code bit rate 221A is calculated and output as a subjective video quality estimate 223 that the viewer feels, such as the video media power played on the terminal using the video communication service to be evaluated. (Step S205), a series of video quality estimation processing ends.
  • the present embodiment inputs the input code bit rate 221A indicating the number of code bits per unit time relating to the video media, and the input frame rate 221B indicating the number of frames per unit time.
  • the estimation model specifying unit 212 uses the estimation model specifying unit 212 to indicate the relationship between the video media code bit rate and the subjective video quality based on the input frame rate 221B.
  • the subjective video quality corresponding to the input code bit rate 221A is estimated and output as a subjective video quality estimation value 223.
  • the estimation corresponding to the input frame rate 221B input as the estimation condition 210 is performed.
  • the constant model 222 it is possible to obtain the subjective video quality estimation value 223 corresponding to the input code bit rate 221A that is also input as the estimation condition 210.
  • the video quality estimation apparatus 200 when video media is distributed with a desired video quality, if the video quality estimation apparatus 200 according to the present embodiment is used, what is the code-bit rate of the video shot by the camera? By coding at the frame rate, the ability to satisfy the desired video quality can be grasped specifically. In particular, the code key bit rate is often limited due to network constraints. In such a case, a video that can be used in this embodiment by fixing the code key bit rate is fixed. If the quality estimation apparatus 200 is applied, the relationship between the frame rate and the video quality can be easily and specifically grasped.
  • the frame rate—best video quality characteristic 231A, frame rate—video quality first change index characteristic 231B, and frame rate—video quality used in calculating the estimation model specifying parameter 232 are used.
  • the change index characteristic 231C has been described as an example in advance in the form of a functional expression.
  • these estimated model specific parameter derivation characteristics 231 are used to derive the estimated model specific parameters.
  • the value may be stored in the storage unit 231M as a value corresponding to the input frame rate.
  • FIG. 28 is a configuration example of estimated model specifying parameter information indicating the correspondence between the input frame rate and each estimated model specifying parameter.
  • This estimated model specific parameter information includes the input frame rate fr (221B), the corresponding best video quality j8 (fr) (232A), the video quality first change index s (fr) (232B), and the video quality index. It consists of a set of two change indices t (fr) (232C), and is calculated in advance based on the estimated model specific parameter derivation characteristic 231 and stored in the storage unit 231M.
  • the input frame rate 221B A corresponding estimated model specific parameter 232 may be derived.
  • FIG. 29 is a block diagram showing a configuration of a video quality estimation apparatus useful for the fourth embodiment of the present invention, and the same reference numerals are given to the same or equivalent parts as in FIG.
  • FIG. 30 is a block diagram showing the configuration of the estimation model specifying unit of the video quality estimation apparatus according to the fourth embodiment of the present invention, and the same or equivalent parts as in FIG. 20 described above are the same.
  • symbol is attached
  • the case where the estimated model specifying parameter 232 corresponding to the input frame rate is derived with reference to the estimated model specifying parameter derivation characteristic 231 prepared in advance has been described as an example.
  • the communication type of the video communication service the communication type of the video communication service, the playback performance of the terminal that plays the video media, or the playback environment of the terminal that plays the video media Based on this, the case where the estimated model specifying parameter derivation characteristic 231 corresponding to the estimation condition 210 is sequentially specified will be described.
  • the video quality estimation apparatus 200 that works in this embodiment includes a coefficient acquisition unit 214 and a coefficient database (hereinafter referred to as coefficient DB) 225. It has been added.
  • coefficient DB coefficient database
  • the coefficient acquisition unit 214 refers to the coefficient DB 225 of the storage unit 225M (fourth storage unit) and acquires the characteristic coefficient 226 corresponding to the subparameter 224 acquired from the estimation condition 210 by the parameter acquisition unit 211. It has a function.
  • FIG. 31 is an explanatory diagram showing a configuration example of the coefficient DB.
  • the coefficient DB 225 is a database indicating a set of various sub-parameters 224 and corresponding characteristic coefficients a ′, b ′, c ′,..., H ′ (226).
  • the secondary parameter 224 includes a communication type parameter 224A indicating the communication type of the video communication service, a playback performance parameter 224B indicating the playback performance of the terminal that plays back the video media, and a certain ⁇ is the playback environment of the terminal that plays back the video media. There is a playback environment parameter 224C shown.
  • a specific example of the communication type parameter 224A is a video communication service to be evaluated. There is a “task” indicating the type of communication to be performed.
  • playback performance parameter 224B include “encoding method”, “video format”, “key frame” related to video media encoding, “monitor size”, “monitor” related to media playback function on the terminal. Resolution ".
  • a specific example of the playback environment parameter 224C is “room illuminance” at the time of media playback on the terminal.
  • the sub-parameter 224 is not limited to these parameter examples, and can be arbitrarily selected according to the content of the video communication service or video media to be evaluated. At least these communication type parameters 224A, One or more of the playback performance parameter 224B and playback environment parameter 224C are also configured!
  • the coefficient acquisition unit 214 refers to the coefficient DB 225 of the storage unit 225M prepared in advance and acquires the characteristic coefficient 226 corresponding to the sub-norm 224.
  • the characteristic coefficient 226 is a coefficient for specifying the estimated model specific parameter derivation characteristic used to derive the estimated model specific parameter 232.
  • the estimated model specifying unit 212 is the estimated model specifying parameter derivation characteristic 231 specified by the characteristic coefficient 226 acquired by the coefficient acquiring unit 214, that is, the frame rate-best video quality characteristic 231A, and the frame rate-video quality first change index characteristic. 231B and frame rate—video quality second change index characteristic 231C are identified.
  • the estimated model specific parameter derivation characteristic 231 can be modeled using the characteristic coefficient 226 acquired from the coefficient DB 225 by the coefficient acquisition unit 214 as follows.
  • the estimated model specific parameter derivation characteristics 231 frame rate best video quality characteristics 231A as shown in Fig. 24, the best video quality monotonously increases with the increase in frame rate, and then the maximum subjective video quality For example, it can be modeled by a general exponential function. Therefore, if the frame rate is fr, the best video quality corresponding to this is j8 (fr), and the coefficients are a ', b', c ', the frame rate
  • the best video quality characteristic 231 A can be expressed by the following equation (10).
  • the frame rate-video quality first change index characteristic 231B of the estimated model specifying parameter derivation characteristic 231 has a video quality first change index as the frame rate increases. There is a tendency to increase monotonously. For example, it can be modeled with a general exponential function. Therefore, when the frame rate is fr, the corresponding video quality first change index is s (fr), and the coefficients are d ', e', f, the frame rate-video quality first change index characteristic 231B is Can be expressed by the following equation (11).
  • the frame rate-video quality second change index characteristic 231C of the estimated model specific parameter derivation characteristic 231 is monotonic with the video quality second change index as the frame rate increases. For example, it can be modeled with a general linear function. Therefore, if the frame rate is fr, the corresponding video quality second change index is t (, and the coefficients are g ′ and h ′, the frame rate—video quality second change index characteristic 231C is It can be represented by formula (12).
  • model ⁇ of the estimated model specific parameter derivation characteristic 231 may be other functions than the exponential function and the linear function described above.
  • the video quality estimation processing at the input code bit rate or input frame rate in a limited range may be used. Therefore, if this local view is possible, the frame rate best video quality characteristic 231 A and the frame rate-video quality first change index characteristic 231B can be changed to simple functions such as a linear function as described above. Function You can do it.
  • Rate—video quality second change index characteristic 231C, frame rate best video quality characteristic 231A and frame rate-one video quality first change index characteristic 231B can be modeled!
  • FIG. 32 is a flowchart showing the video quality estimation process of the video quality estimation apparatus according to the fourth embodiment of the present invention. The same or equivalent parts as those in FIG. is there.
  • the video quality estimation apparatus 200 starts the video quality estimation process of FIG. 32 in response to an instruction operation from the operator or an input of the estimation condition 210.
  • the communication type parameter 224A, the reproduction performance parameter 224B, and the reproduction environment parameter 224C are used as the secondary parameter 224.
  • the coefficient DB225 of the storage unit 225M includes the secondary parameter 224 and the characteristic coefficient 226. It is assumed that the set is stored in advance.
  • the parameter acquisition unit 211 acquires various estimation conditions 210 related to the video communication service to be evaluated, and extracts the encoding bit rate and frame rate related to the video media encoding process from the estimation condition 210.
  • the input encoding bit rate br (221A) and the input frame rate fr (221B) are output as the main parameter 221 (step S200).
  • the parameter acquisition unit 211 extracts the communication type parameter 224A, the reproduction performance parameter 224B, and the reproduction environment parameter 224C from the estimation condition 210, and outputs these as the sub parameter 224 (step S210).
  • the coefficient acquisition unit 214 refers to the coefficient DB 225 of the storage unit 225M, and the characteristic coefficients a ′, b ′, c ′,..., H ′ (226) corresponding to the value of the subparameter 224 ) Is acquired and output (step S211).
  • the estimated model specifying unit 212 uses the best video quality calculation unit 212A to specify the frame rate—the best video quality characteristic 2 specified by the coefficients a ′, b ′, and c ′ of the characteristic coefficient 226.
  • the best video quality j8 (fr) (232A) corresponding to the input frame rate fr (221B) is calculated (step S201).
  • the estimated model specifying unit 212 uses the video rate first change index calculating unit 212B to specify the frame rate—video quality first change indicator specified by the coefficients d ', e', and f 'of the characteristic coefficient 226. Referring to the target characteristic 231B, the video quality first change index s (fr) (232B) corresponding to the input frame rate fr (221B) is calculated (step S202).
  • the estimated model specifying unit 212 uses the frame rate-one video quality second change index characteristic specified by the coefficients g ′ and h ′ of the characteristic coefficient 226 by the video quality second change index calculating unit 212C.
  • the video quality second change index t (fr) (232C) corresponding to the input frame rate fr (221B) is calculated (step S203).
  • the estimated model specifying unit 212 After calculating each estimated model specifying parameter 232 in this way, the estimated model specifying unit 212 performs the best video quality i8 (fr), video quality of the estimated model specifying parameter 232 by the estimated model generating unit 212D.
  • the estimated model 222 By substituting the actual values of the first change index s (fr) and video quality second change index t (fr) into Equation (9), the estimated model 222, that is, the encoded bit rate—subjective video quality characteristics Is identified (step S204).
  • the video quality estimation apparatus 200 refers to the estimation model 222 identified by the estimation model identification unit 212 by the video quality estimation unit 213, and inputs the main parameter 221 output from the parameter acquisition unit 211.
  • the video quality corresponding to the code bit rate 221A is calculated, and the subjective video quality estimate of the subjective video quality perceived by the viewer, such as the video media power played on the terminal using the video communication service to be evaluated 223 (step S2 05), and the series of video quality estimation processing ends.
  • the sub-parameter 224 that also has one or more of the communication type parameter 224A, the reproduction performance parameter 224B, and the reproduction environment parameter 224C acquired by the parameter acquisition unit 211. Is obtained from the coefficient DB 225 of the storage unit 225M by the coefficient obtaining unit 214, and the estimated model specifying unit 212 is based on the estimated model specifying parameter derivation characteristic 231 specified by these characteristic coefficients 226. Since the estimation model specific parameter 232 corresponding to the input frame rate 221B is calculated, the estimation is based on the specific characteristics of the video communication service or terminal to be evaluated. The model specific parameter 232 can be derived, and the accuracy of video quality estimation can be improved.
  • a video quality estimation model has to be prepared for each coding method and terminal used in the video communication service to be evaluated.
  • the video quality estimation model does not depend on the encoding method or the terminal, and the coefficient used for the video quality estimation model is simply referred to according to the encoding method or the terminal.
  • the same video quality estimation model can be used. Therefore, it is possible to flexibly cope with video communication services in different environments.
  • FIG. 33 is a graph showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • the horizontal axis represents the estimated subjective video quality (MOS value) estimated using the video quality estimation device
  • the vertical axis represents the subjective video quality estimated value (MOS value) actually evaluated by the viewer. Is shown.
  • Fig. 33 shows that the estimation accuracy with fewer errors between the evaluation value and the estimation value is improved. .
  • the estimation model 122 is modeled using a Gaussian function has been described as an example.
  • the present invention is not limited to this.
  • Other functions may be used.
  • each estimated model specific parameter derivation characteristic 131 is measured for each combination of various subparameters.
  • the video quality estimation apparatus 100 can be configured to calculate each characteristic coefficient 126 by performing a convergence operation using least squares on the obtained measurement data. May be implemented.
  • the case where the estimation model 222 is modeled using a logistic function has been described as an example. However, the present invention is not limited to this. Other functions such as a function may be used.
  • each estimated model specific parameter derivation characteristic 231 was measured for each combination of various secondary parameters. Then, by performing a convergence operation using least squares on the obtained measurement data, each characteristic coefficient 226 may be calculated. May be implemented.
  • the storage units such as the storage units 131M, 125M, 231M, and 225M are configured with separate storage device powers has been described as an example, but the present invention is not limited thereto. However, a plurality of or all of the storage units may be configured by a single storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 映像メディアに関する単位時間当たりの符号化ビット数を示す入力符号化ビットレート(121B/221B)と、単位時間当たりのフレーム数を示す入力フレームレート(121A/221A)を入力として、これら主パラメータ(121/221)に対する主観映像品質を推定する際、推定モデル特定部(112/212)により、入力符号化ビットレート(121B/入力フレームレート(221A))に基づいて映像メディアのフレームレート(/符号化ビットレート)と主観映像品質との関係を示す推定モデル(122/222)を特定し、特定された推定モデル(122/222)を用いて入力フレームレート(121A/入力符号化ビットレート221B)に対応する主観映像品質を推定し推定値(123/223)として出力する。

Description

明 細 書
映像品質推定装置、方法、およびプログラム
技術分野
[0001] 本発明は、映像通信技術に関し、特に複数のフレームに符号ィ匕した映像メディアを 端末で受信再生した際に視聴者が実感する主観映像品質を推定する映像品質推 定技術に関する。
背景技術
[0002] インターネットアクセス回線の高速'広帯域ィ匕に伴い、インターネットを介して映像さ らには音声を含む映像メディアを端末間あるいはサーバー端末間で転送する映像通 信サービスの普及が期待されて!、る。
この種の映像通信サービスでは、映像メディアの転送効率を改善するため、映像メ ディアが持つ画素間あるいは画像間の自己相関性や人間の視覚特性を利用して、 映像メディアを複数のフレームに符号ィ匕して転送すると 、う符号ィ匕通信方式が用いら れる。
[0003] 一方、映像通信サービスに利用されるインターネットなどのベスト'エフオート型ネッ トワークでは、必ずしも通信品質が保証されているわけではない。このため、インター ネットを介して映像メディアなどの時間的連続性を有するストリーミング系コンテンツを 転送する際、通信回線の帯域が狭い場合や通信回線が輻輳した場合には、通信回 線を介して受信再生した映像メディアに対して視聴者が実感する品質、すなわち主 観映像品質の劣化として知覚されやすい。また、アプリケーションによる符号ィ匕により 、映像に符号ィ匕歪みが加わり、主観映像品質の劣化として知覚されやすい。具体的 には、映像メディアに品質劣化が加わると、映像のぼけ、にじみ、モザイク状の歪み、 ぎくしゃく感として知覚される。
[0004] このように、映像メディアを転送する映像通信サービスでは、品質劣化が知覚され やすぐ映像通信サービスを良好な品質で提供するためには、サービス提供に先立 つたアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理が 重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便 かつ効率的な映像品質評価技術が必要とされる。
[0005] 従来、このようなストリーミング系コンテンツの 1つである音声メディアの品質を推定 する技 feとして、 ITU— T勧告 P. 8D2 (International Telecommunication Union-Tele communication Standardization sector)にお!/、て、音尸 f¾号を入力とする音 f口質 客観評価法 PESQ (Perceptual Evaluation of Speech Quality)が規定されている。ま た、 ITU— T勧告 G. 107において、音声品質パラメータを入力とする音声品質推定 法が記載されており、 VoIP (Voice over IP)での品質設計に利用されている。
[0006] 一方、映像メディアの品質を推定する技術としては、映像信号を入力とする映像品 質客観評価法が勧告として提案されている (例えば、 ITU-T勧告 J. 144 :以下、文 献 1という)。また、映像品質パラメータを入力とする映像品質推定を行うものも提案さ れている(例えば、山岸,林、「映像コミュニケーションサービスに対する表示サイズ' 解像度を考慮した映像品質推定モデル」、社団法人電子情報通信学会、信学技法 CQ2005-60, 2005/09、 pp.61-64 :以下、文献 2という)。これによれば、映像品質と各 映像品質パラメータの関係カゝら映像品質を定式ィ匕し、これら積の線形和により映像 品質を定式ィ匕している。また、符号化パラメータとパケット損失を考慮した品質推定モ デルも提案されている (例えば、荒山,北脇,山田、「符号化パラメータとパケット損失を 考慮した AV通信品質の推定モデル」、社団法人電子情報通信学会、信学技法 CQ2 005-77、 2005/11、 pp.57- 60 :以下、文献 3という)。
発明の開示
発明が解決しょうとする課題
[0007] アプリケーションおよびネットワークの品質設計や品質管理では、映像通信サービ スに関する各種条件に対応する、具体的で有用な品質設計'管理指針が必要となる 。特に、映像通信サービスの映像品質を左右する多くの要因すなわち映像品質パラ メータが存在するため、これら映像品質パラメータが、映像品質にどのような影響を与 える力、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるかという 品質設計 ·管理指針を得ることが重要となる。
[0008] 映像品質に大きな影響を与える要因として、映像メディアに対する符号化処理の内 容を示す符号ィ匕ビットレートとフレームレートがある。符号ィ匕ビットレートは、映像メデ ィァに関する単位時間当たりの符号ィ匕ビット数を示す値であり、フレームレートは、映 像メディアに関する単位時間当たりのフレーム数を示す値である。
[0009] ある符号ィ匕ビットレートで映像を符号ィ匕して提供する際、高いフレームレートで映像 を符号ィ匕すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレ ーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品 質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号ィ匕する と空間的な映像劣化が改善されて映像品質は向上する力 単位時間当たりのフレー ム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣 化する場合がある。
[0010] したがって、これら単位フレーム当たりの符号量とフレームレートの、映像品質に対 するトレードオフを考慮して、これら符号ィ匕ビットレートとフレームレートをそれぞれど の程度に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品 質設計'管理指針が、サービス提供に先立ったネットワークの品質設計やサービス開 始後の品質管理において重要となる。
[0011] し力しながら、前述の文献 1に記載されている、映像信号を入力とする客観品質評 価法では、映像の特徴量すなわち空間的および時間的歪み力 算出される特徴量 を考慮して映像品質を推定している。このため、映像通信サービスの映像品質を左 右する多くの要因すなわち各映像品質パラメータが、映像品質に対してどのような影 響を与えているか不明確であるため、どの映像品質パラメータを改善すれば映像品 質がどの程度よくなるか、 t 、う品質設計 ·管理指針を得ることができな!/、。
[0012] また、前述の文献 2および文献 3には、映像品質パラメータを入力とする映像品質 推定法が記載されている力 単位フレーム当たりの符号量とフレームレートの映像品 質に対するトレードオフが考慮されておらず、アプリケーションおよびネットワークの品 質設計や品質管理において具体的で有用な品質設計'管理指針を得ることができな い、という問題点がある。
[0013] また、文献 2は、映像品質と各映像品質パラメータの関係カゝら映像品質を定式ィ匕し ているが、各符号ィ匕ビットレートに対する最適フレームレートを適切に算出することが できず、映像品質を適切に推定できないという問題点がある。 また、文献 3は、符号ィ匕ビットレートとパケット損失の関係力も映像品質を定式ィ匕し た映像品質推定法であり、時間的劣化の一要因であるフレームレートが考慮されて V、な 、と 、つた問題点がある。さらに、映像品質は符号ィ匕ビットレートの増加に伴 、、 任意の最大値に収束する特性を有しているのに対して、文献 3では、映像品質を二 次関数で推定しているため、ある符号ィ匕ビットレート以上になると映像品質の低下を 招く推定モデルとなり、上記特性と反する結果を示して ヽる。
[0014] 本発明はこのような課題を解決するためのものであり、単位フレーム当たりの符号量 とフレームレートの、映像品質に対するトレードオフが考慮された、具体的で有用な 品質設計'管理指針を得ることができる映像品質推定装置、方法、およびプログラム を提供することを目的として!ヽる。
課題を解決するための手段
[0015] このような課題を解決するために、本発明にかかる映像品質推定装置は、複数のフ レームに符号ィ匕した映像メディアに関する、単位時間当たりの符号ィ匕ビット数を示す 符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる 映像メディアパラメータを、それぞれ入力符号ィ匕ビットレートおよび入力フレームレー トからなる主パラメータとして取得するパラメータ取得部と、映像メディアパラメータの V、ずれか一方のパラメータに対応する主パラメータに基づ 、て映像メディアパラメ一 タの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する推定モ デル特定部と、特定された推定モデルを用いて一方のパラメータに対応する主パラメ ータに対応する主観映像品質を推定し、通信網を介して任意の端末で受信し再生し た映像メディアカゝら視聴者が実感する主観映像品質の推定値として出力する映像品 質推定部とを備えている。
[0016] また、本発明にかかる映像品質推定方法は、パラメータ取得部により、複数のフレ ームに符号ィ匕した映像メディアに関する、単位時間当たりの符号ィ匕ビット数を示す符 号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレートからなる映 像メディアパラメータを、それぞれ入力符号ィ匕ビットレートおよび入力フレームレート 力 なる主パラメータとして取得するパラメータ取得ステップと、推定モデル特定部に より、映像メディアパラメータの 、ずれか一方のパラメータに対応する主パラメータに 基づいて映像メディアパラメータの他方のパラメータと主観映像品質との関係を示す 推定モデルを特定する推定モデル特定ステップと、映像品質推定部により、特定さ れた推定モデルを用いて一方のパラメータに対応する主パラメータに対応する主観 映像品質を推定し、通信網を介して任意の端末で受信し再生した映像メディアから 視聴者が実感する主観映像品質の推定値として出力する映像品質推定ステップとを 備えている。
[0017] また、本発明に力かるプログラムは、複数のフレームに符号ィ匕した映像メディアを任 意の端末へ通信網を介して送信する映像通信について、端末で再生された当該映 像メディアカゝら視聴者が実感する主観映像品質の推定値を所定の推定モデルを用 いて算出する映像品質推定装置のコンピュータに、パラメータ取得部により、映像メ ディアに関する、単位時間当たりの符号ィ匕ビット数を示す符号ィ匕ビットレートおよび単 位時間当たりのフレーム数を示すフレームレートからなる映像メディアパラメータを、 それぞれ入力符号ィ匕ビットレートおよび入力フレームレートからなる主パラメータとし て取得するパラメータ取得ステップと、推定モデル特定部により、映像メディアパラメ 一タの 、ずれか一方のパラメータに対応する主パラメータに基づ 、て映像メディアパ ラメータの他方のパラメータと主観映像品質との関係を示す推定モデルを特定する 推定モデル特定ステップと、映像品質推定部により、特定された推定モデルを用い て一方のパラメータに対応する主パラメータに対応する主観映像品質を推定し推定 値として出力する映像品質推定ステップとを実行させる。
発明の効果
[0018] 本発明によれば、映像メディアに関する単位時間当たりの符号ィ匕ビット数を示す入 力符号化ビットレートと、単位時間当たりのフレーム数を示す入力フレームレートを入 力として、これら主パラメータに対する主観映像品質を推定する際、推定モデル特定 部により、入力符号ィ匕ビットレート (入力フレームレート)に基づいて映像メディアのフ レームレート (符号ィ匕ビットレート)と主観映像品質との関係を示す推定モデルが特定 され、この推定モデルを用いて入力フレームレート (入力符号ィ匕ビットレート)に対応 する主観映像品質が推定される。
[0019] これにより、推定条件として入力された入力符号ィ匕ビットレート (入力フレームレート )に対応する推定モデルを参照して、同じく推定条件として入力された入力フレーム レート (入力符号ィ匕ビットレート)に対応する映像品質推定値を得ることができる。 したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するト レードォフを考慮して、これら符号ィ匕ビットレートとフレームレートをそれぞれどの程度 に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計' 管理指針を得ることができ、サービス提供に先立ったアプリケーションおよびネットヮ ークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
図面の簡単な説明
[図 1]図 1は、本発明の第 1の実施の形態にかかる映像品質推定装置の構成を示す ブロック図である。
[図 2]図 2は、本発明の第 1の実施の形態にカゝかる映像品質推定装置の推定モデル 特定部の構成を示すブロック図である。
[図 3]図 3は、映像通信サービスにおける映像メディアのフレームレート 主観映像品 質特性を示すグラフである。
[図 4]図 4は、符号ィ匕ビットレート 最適フレームレート特性を示すグラフである。
[図 5]図 5は、符号ィ匕ビットレート—最良映像品質特性を示すグラフである。
[図 6]図 6は、ガウス関数を示す説明図である。
[図 7]図 7は、ガウス関数でモデルィ匕されたフレームレート一主観映像品質特性を示 す説明図である。
[図 8]図 8は、符号ィ匕ビットレート—映像品質劣化指標特性を示すグラフである。
[図 9]図 9は、本発明の第 1の実施の形態にかかる映像品質推定装置の映像品質推 定処理を示すフローチャートである。
[図 10]図 10は、推定モデル特定パラメータ情報の構成例である。
[図 11]図 11は、本発明の第 2の実施の形態にかかる映像品質推定装置の構成を示 すブロック図である。
[図 12]図 12は、本発明の第 2の実施の形態にカゝかる映像品質推定装置の推定モデ ル特定部の構成を示すブロック図である。
[図 13]図 13は、係数 DBの構成例を示す説明図である。 [図 14]図 14は、ロジスティック関数を示す説明図である。
[図 15]図 15は、ロジスティック関数でモデルィ匕された符号ィ匕ビットレート 最良映像 品質特性を示す説明図である。
[図 16]図 16は、本発明の第 2の実施の形態にかかる映像品質推定装置の映像品質 推定処理を示すフローチャートである。
[図 17]図 17は、本実施の形態を適用した映像品質推定装置の推定精度を示すダラ フである。
[図 18]図 18は、従来の映像品質推定装置の推定精度を示すグラフである。
[図 19]図 19は、本発明の第 3の実施の形態にかかる映像品質推定装置の構成を示 すブロック図である。
[図 20]図 20は、本発明の第 3の実施の形態にカゝかる映像品質推定装置の推定モデ ル特定部の構成を示すブロック図である。
[図 21]図 21は、映像通信サービスにおける映像メディアの符号ィ匕ビットレート 主観 映像品質特性を示すグラフである。
[図 22]図 22は、ロジスティック関数を示す説明図である。
[図 23]図 23は、ロジスティック関数でモデルィ匕された符号ィ匕ビットレート一主観映像 品質特性を示す説明図である。
[図 24]図 24は、フレームレート—最良映像品質特性を示すグラフである。
圆 25]図 25は、フレームレート—映像品質第 1変化指標特性を示すグラフである。 圆 26]図 26は、フレームレート—映像品質第 2変化指標特性を示すグラフである。
[図 27]図 27は、本発明の第 3の実施の形態にかかる映像品質推定装置の映像品質 推定処理を示すフローチャートである。
[図 28]図 28は、推定モデル特定パラメータ情報の構成例である。
[図 29]図 29は、本発明の第 4の実施の形態にカゝかる映像品質推定装置の構成を示 すブロック図である。
[図 30]図 30は、本発明の第 4の実施の形態にカゝかる映像品質推定装置の推定モデ ル特定部の構成を示すブロック図である。
圆 31]図 31は、係数 DBの構成例を示す説明図である。 [図 32]図 32は、本発明の第 4の実施の形態にかかる映像品質推定装置の映像品質 推定処理を示すフローチャートである。
[図 33]図 33は、本実施の形態を適用した映像品質推定装置の推定精度を示すダラ フである。
発明を実施するための最良の形態
[0021] 次に、本発明の実施の形態について図面を参照して説明する。
[第 1の実施の形態]
まず、図 1を参照して、本発明の第 1の実施の形態にかかる映像品質推定装置に ついて説明する。図 1は、本発明の第 1の実施の形態に力かる映像品質推定装置の 構成を示すブロック図である。
この映像品質推定装置 100は、入力された情報を演算処理するコンピュータなどの 情報処理装置力 なり、複数のフレームに符号ィ匕した映像メディアを任意の端末へ 通信網を介して送信する映像通信にっ ヽて、その映像メディアに関する推定条件を 入力として、端末で再生された当該映像メディアカゝら視聴者が実感する主観映像品 質の推定値を所定の推定モデルを用いて算出する。
[0022] 本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット数を示す入 力符号化ビットレートと、単位時間当たりのフレーム数を示す入力フレームレートを入 力として、これら主パラメータに対する主観映像品質を推定する際、入力符号化ビッ トレートに基づいて映像メディアのフレームレートと主観映像品質との関係を示す推 定モデルを特定し、特定された推定モデルを用いて入力フレームレートに対応する 主観映像品質を推定し推定値として出力するようにしたものである。
[0023] [映像品質推定装置]
次に、図 1および図 2を参照して、本発明の第 1の実施の形態にカゝかる映像品質推 定装置の構成について詳細に説明する。図 2は、本発明の第 1の実施の形態にかか る映像品質推定装置の推定モデル特定部の構成を示すブロック図である。
[0024] 映像品質推定装置 100には、主な機能部として、パラメータ取得部 111、推定モデ ル特定部 112、および映像品質推定部 113が設けられている。これら機能部は、専 用の演算処理回路部で実現してもよいが、 CPUなどのマイクロプロセッサとその周辺 回路を設け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行 することにより、上記ハードウェアとプログラムを協働させることにより上記機能部を実 現してもよい。また、これら機能部で用いられる処理情報はメモリゃノヽードディスクな どの記憶装置からなる後述の各記憶部で記憶され、これら機能部間でやり取りされる 処理情報は同じく記憶装置からなる記憶部(図示せず)を介してやり取りされる。また
、上記プログラムを記憶部に格納しておいてもよい。この他、映像品質推定装置 100 には、一般的な情報処理装置と同様に、記憶装置、操作入力装置、画面表示装置 などの各種基本的構成が設けられて!/、る。
[0025] パラメータ取得部 111は、評価対象となる映像通信サービスに関する各種の推定 条件 110を取得する機能と、推定条件 110から映像メディアの符号ィ匕処理に関する フレームレートと符号ィ匕ビットレートを抽出する機能と、これらを入力フレームレート fr( 121 A)および入力符号ィ匕ビットレート br ( 12 IB)力もなる主パラメータ 121として出 力する機能とを有している。推定条件 110については、キーボードなどの操作入力装 置を用いてオペレータ操作により入力してもよぐデータ入出力を行うデータ入出力 装置を用いて外部装置、記録媒体、あるいは通信網から取得してもよぐさらには実 際の映像通信サービスから計測してもよ ヽ。
[0026] 推定モデル特定部 112は、パラメータ取得部 111から出力された主パラメータ 121 の入力符号化ビットレート 121Bに基づいて、映像メディアのフレームレートと主観映 像品質との関係を示す推定モデル 122を特定するための推定モデル特定パラメータ 132を算出する機能を有して 、る。
映像品質推定部 113は、推定モデル特定部 112で特定された推定モデル 122を 参照して、主パラメータ 121の入力フレームレート 121Aに対応する主観映像品質を 推定し、所望の主観映像品質推定値 123として出力する機能を有している。
[0027] 推定モデル特定部 112は、図 2に示すように、さらにいくつかの機能部力も構成さ れている。主な機能部としては、推定モデル特定パラメータ 132を算出する部として、 最適フレームレート算出部 112A、最良映像品質算出部 112B、映像品質劣化指標 算出部 112C、および推定モデル生成部 112Dがある。
推定モデル特定パラメータ 132は、推定モデル 122として用いる関数の形状を特 定する値力 なる。本実施の形態では、少なくとも以下の最適フレームレートと最良 映像品質を推定モデル特定パラメータ 132として用いて ヽる力 映像品質劣化指標 に代表される他のパラメータを推定モデル特定パラメータ 132に加えてもよい。
[0028] 最適フレームレート算出部 112Aは、記憶部(第 1の記憶部) 131Mの符号ィ匕ビット レート一最適フレームレート特性 131Aを参照して、入力符号ィ匕ビットレート br(121B )で送信された映像メディアの主観映像品質が最良となるフレームレートを示す最適 フレームレート ofr(br) (132A)を、推定モデル特定パラメータ 132の 1つとして算出 する機能を有している。
最良映像品質算出部 112Bは、記憶部 131Mの符号ィ匕ビットレート—最良映像品 質特性 131Bを参照して、入力符号ィ匕ビットレート 121Bで送信された映像メディアの 主観映像品質の最良値を示す最良映像品質 a (br) (132B)を、推定モデル特定パ ラメータ 132の 1つとして算出する機能を有して!/、る。
[0029] 映像品質劣化指標算出部 112Cは、記憶部 131Mの符号ィ匕ビットレート—映像品 質劣化指標特性 131Cを参照して、入力符号ィ匕ビットレート 121Bで送信された映像 メディアに関する、その主観映像品質の最良値を示す最良映像品質 132Bからの劣 化度合いを示す映像品質劣化指標 ω (br) (132C)を、推定モデル特定パラメータ 1 32の 1つとして算出する機能を有している。
これら、符号ィ匕ビットレート一最適フレームレート特性 131 A、符号ィ匕ビットレート一 最良映像品質特性 131B、および符号ィ匕ビットレート—映像品質劣化指標特性 131 Cは、推定モデル特定パラメータ導出特性 131として予め用意され、記憶部 131M ( 第 1の記憶部)に記憶されている。
[0030] 推定モデル生成部 112Dは、最適フレームレート算出部 112Aで算出された最適フ レームレート ofr (br)、最良映像品質算出部 112Bで算出された最良映像品質 a (br )、および映像品質劣化指標算出部 112Cで算出された映像品質劣化指標 ω (br) 力もなる各推定モデル特定パラメータ 132の値を所定の関数式に代入することにより 、主パラメータ 121の入力フレームレート 121Aに対応する主観映像品質を推定する ための推定モデル 122を生成する機能を有している。
[0031] [主観映像品質特性] 次に、図 3を参照して、映像通信サービスにおける映像メディアの主観映像品質特 性について説明する。図 3は、映像通信サービスにおける映像メディアのフレームレ ート一主観映像品質特性を示すグラフである。図 3において、横軸はフレームレート f r (fps)、縦軸は主観映像品質値 MOS (fr, br) (MOS値)を示し、符号化ビットレート brごとの特性が示されて 、る。
[0032] 映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレ ートはトレードオフの関係にある。
具体的には、ある符号ィ匕ビットレートで映像を符号ィ匕して提供する際、高いフレーム レートで映像を符号ィ匕すると映像が滑らかになって時間的な映像品質を向上できる 力 単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果と して映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして 符号ィ匕すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当 たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映 像品質が劣化する場合がある。
[0033] したがって、図 3に示すように、各符号ィ匕ビットレートに対して、映像品質が最大す なわち最良映像品質となる最適なフレームレートすなわち最適フレームレートが存在 し、最適フレームレートを超えてフレームレートを増加させても映像品質が改善されな い特性を持つことがわかる。例えば、符号ィ匕ビットレート br= 256 [kbbs]の場合、主 観映像品質特性は、フレームレート fr = 10 [fps]のときの最良映像品質 = 3 [MOS] を頂点として凸型をなす特'性となる。
[0034] また、このような主観映像品質特性は、異なる符号ィ匕ビットレートであっても同様の 形状となり、各主観映像品質特性の座標位置は、その頂点すなわち最適フレームレ ートと最良映像品質力もなる推定モデル特定パラメータで特定することができる。 本実施の形態は、このような主観映像品質特性の性質に着目して、推定モデル特 定部 112により、入力符号ィ匕ビットレート 121Bに基づいて映像メディアのフレームレ ートと主観映像品質との関係を示す推定モデル 122を特定し、映像品質推定部 113 により、推定モデル特定部 112で特定された推定モデル 122を用 、て入力フレーム レート 121Aに対応する主観映像品質推定値 123を推定している。 [0035] [推定モデル特定パラメータの導出]
次に、推定モデル特定部 112における推定モデル特定パラメータの導出について 詳細に説明する。
推定モデル特定部 112により、入力符号ィ匕ビットレート 121 Bに基づ 、て映像メディ ァのフレームレートと主観映像品質との関係を示す推定モデル 122を特定する場合 、入力符号ィ匕ビットレート 121Bに対応する推定モデル特定パラメータとして、最適フ レームレート 132Aと最良映像品質 132Bを導出する必要がある。
本実施の形態では、次のような符号ィ匕ビットレート 最適フレームレート特性 131A や符号ィ匕ビットレート—最良映像品質特性 131Bを推定モデル特定パラメータ導出 特性 131として予め用意しておき、これら特性を参照して、入力符号ィ匕ビットレート 12 1Bに対応する推定モデル特定パラメータ 132を導出している。
[0036] 図 3に示された各特性のうち、映像メディアが最良映像品質で再生されている場合 の符号化ビットレートとそのときのフレームレートすなわち最適フレームレートの関係 は、符号ィ匕ビットレートの増加とともに最適フレームレートが単調増加し、その後ある 最大フレームレートに収束する。
図 4は、このような符号ィ匕ビットレート 最適フレームレート特性を示すグラフである 。図 4において、横軸は符号ィ匕ビットレート br (kbps)、縦軸は最適フレームレート ofr ( br) (fps)を示している。
[0037] 一方、図 3に示された各特性のうち、映像メディアが最適フレームレートで送信され た場合の符号ィ匕ビットレートと映像品質すなわち最良映像品質の関係は、符号化ビ ットレートの増加とともに映像品質が増加し、ある最大値 (最大主観映像品質値)に収 束するとともに、符号ィ匕ビットレートの低下とともに映像品質も低下し、ある最小値に 収束する、という傾向が見られる。
図 5は、このような符号ィ匕ビットレート 最良映像品質特性を示すグラフである。図 5 において、横軸は符号ィ匕ビットレート br (kbps)、縦軸は最良映像品質 a (br)を示し ている。なお、映像品質は、「1」を基準値として最大「5」までの値をとる MOS値で表 されるのに対し、推定モデル 122の最良映像品質 a (br)として用いる場合には「0」 を基準値として最大「4」までの値をとるが、両者は基準値が違うだけでその尺度は実 質的に同じものであり、以下では特に区別しない。
[0038] この符号ィ匕ビットレート—最良映像品質特性によれば、高い符号ィ匕ビットレートを設 定しても、ある符号ィ匕ビットレートにおいて映像品質が飽和しており、符号化ビットレ ートを必要以上に高くしても視聴者が視覚的に映像品質の向上を検知することがで きない、という人間の視覚特性と一致する。また、符号ィ匕ビットレートを下げすぎると映 像品質の劣化が顕著となり、結果として最低映像品質に収束している。これは、例え ば人物の顔が画面内で移動しているような映像では、目や鼻の輪郭がぼけて平坦に なり、顔自体を認識できなくなる、という実際の現象と一致している。
[0039] [推定モデル]
次に、推定モデル特定部 112で用いる推定モデルとその特定方法にっ 、て詳細 に説明する。
推定モデル特定パラメータ 132である最適フレームレート 132Aと最良映像品質 13 2Bを頂点とする凸型の特性を関数で表す場合、図 6に示すようなガウス関数を利用 できる。図 6は、ガウス関数を示す説明図である。
ガウス関数は、頂点 Pを最大値として左右に減衰する凸型を示す関数であり、その 頂点 Pの X座標と最大振幅を用いて関数式を表現できる。頂点 Pの X座標を Xとし、最 大振幅を Aとし、 y軸の基準値 (最低値)を yとし、凸型特性の開き幅を示す係数を ω
0
とした場合、任意の変数 Xに対する関数 yの値は、次のような式(1)で求められる。
[0040] [数 1]
Figure imgf000015_0001
[0041] したがって、変数 Xを映像メディアのフレームレートの対数値とし、関数値 yを主観映 像品質とし、頂点 Pの変数 Xを符号ィ匕ビットレートに対応する最適フレームレートの対 数値とし、最大振幅 Aを符号ィ匕ビットレートに対応する最良映像品質 a (br)とした場 合、任意のフレームレートに対する主観映像品質は、次の式(2)で求めることができ 、結果として、入力符号ィ匕ビットレート 121Bに対応する推定モデルすなわちフレーム レート一主観映像品質特性を特定することができる。図 7は、ガウス関数でモデルィ匕 されたフレームレート一主観映像品質特性を示す説明図である。
[0042] [数 2]
Figure imgf000016_0001
[0043] この際、式(2)で用いる a (br)および G (fr, br)は、「0」を基準値として最大「4」ま での値をとるため、この G (fr, br)に「1」をカ卩えることにより、 MOS値(1〜5)で表現し た実際の映像品質値となる。
[0044] また、ガウス関数では、係数 ωを用いて凸型特性の開き幅を特定して 、るが、符号 化ビットレートに対応するフレームレート 主観映像品質特性ごとに異なる開き幅を 用いる必要がある場合には、符号ィ匕ビットレートに応じた映像品質劣化指標 ω (br) ( 132C)を用いればよい。
映像品質劣化指標 ω (br)は、入力符号ィ匕ビットレート 121Bで送信された映像メデ ィァに関する、その主観映像品質の最良値を示す最良映像品質 132Bからの劣化度 合いを示す指標であり、ガウス関数の係数 ωに相当する。
[0045] 図 3に示された各特性のうち、符号ィ匕ビットレートと主観映像品質の劣化度合いの 関係は、符号ィ匕ビットレートが高くなるほど劣化度合いが滑らかになり、符号化ビット レートが低くなるほど劣化度合いが大きくなる。したがって、符号ィ匕ビットレートと映像 品質劣化指標の関係は、符号ィ匕ビットレートが高くなるほどフレームレート 主観映 像品質特性の凸型の開き幅が大きくなつて映像品質劣化指標も大きくなり、符号ィ匕 ビットレートが低くなるほどフレームレート 主観映像品質特性の凸型の開き幅が小 さくなつて映像品質劣化指標も小さくなる傾向がある。
[0046] 図 8は、このような符号ィ匕ビットレート一映像品質劣化指標特性を示すグラフである 。図 8において、横軸は符号ィ匕ビットレート br (kbps)、縦軸は映像品質劣化指標 ω ( br)を示している。なお、図 8は、ガウス関数で表現した推定モデルにおける符号ィ匕ビ ットレート—映像品質劣化指標特性であり、他の推定モデルを用いた場合には、その 推定モデルに対応する係数を示す映像品質劣化指標の符号ィ匕ビットレート一映像 品質劣化指標特性を用いればょ 、。 [0047] なお、推定対象となる映像通信サービスによっては、個々の符号ィ匕ビットレートに対 応するフレームレート 主観映像品質特性ごとに個別の開き幅を用いる必要がない 場合もあり、各符号ィ匕ビットレートに対応するフレームレート一主観映像品質特性で 共通化できる場合もある。したがって、このような場合には、映像品質劣化指標 ω (br )として定数を用いることができる。
[0048] [第 1の実施の形態の動作]
次に、図 9を参照して、本発明の第 1の実施の形態にカゝかる映像品質推定装置の 動作について説明する。図 9は、本発明の第 1の実施の形態に力かる映像品質推定 装置の映像品質推定処理を示すフローチャートである。
[0049] 映像品質推定装置 100は、オペレータからの指示操作や推定条件 110の入力に 応じて、図 9の映像品質推定処理を開始する。なお、ここでは、推定モデル特定パラ メータとして、最適フレームレート 132Aおよび最良映像品質 132Bに加え、映像品 質劣化指標 132Cを用いる場合を例として説明する。また、映像品質推定装置 100 には、前述した符号ィ匕ビットレート 最適フレームレート特性 131A (図 4参照)、符号 化ビットレート—最良映像品質特性 131B (図 5参照)、および符号ィ匕ビットレート—映 像品質劣化指標特性 131C (図 8参照)が予め用意され、関数式として記憶部 131M に記憶されて 、るものとする。
[0050] まず、パラメータ取得部 111は、評価対象となる映像通信サービスに関する各種の 推定条件 110を取得し、推定条件 110から映像メディアの符号ィ匕処理に関するフレ ームレートと符号化ビットレートを抽出し、これら入力フレームレート fr (121A)および 入力符号ィ匕ビットレート br (121B)を主パラメータ 121として出力する(ステップ S100
) o
[0051] 推定モデル特定部 112は、パラメータ取得部 111から出力された主パラメータ 121 の入力符号ィ匕ビットレート 121Bに基づいて映像メディアのフレームレートと主観映像 品質との関係を示す推定モデル 122を特定する。
具体的には、まず、最適フレームレート算出部 112Aにより、記憶部 131Mの符号 化ビットレート—最適フレームレート特性 131 Aを参照して、入力符号ィ匕ビットレート b r ( 12 IB)に対応する最適フレームレート ofr (br) (132A)を算出する(ステップ S 101 ) o
[0052] 続いて、推定モデル特定部 112は、最良映像品質算出部 112Bにより、記憶部 13 1Mの符号ィ匕ビットレート—最良映像品質特性 131Bを参照して、入力符号ィ匕ビットレ ート br(121B)に対応する最良映像品質 a (br) (132B)を算出する (ステップ S102
) o
同様にして、推定モデル特定部 112は、映像品質劣化指標算出部 112Cにより、 記憶部 131Mの符号ィ匕ビットレート—映像品質劣化指標特性 131Cを参照して、入 力符号ィ匕ビットレート br (121B)に対応する映像品質劣化指標 ω (br) (132C)を算 出する (ステップ S 103)。
[0053] このようにして各推定モデル特定パラメータ 132を算出した後、推定モデル特定部 112は、推定モデル生成部 112Dにより、これら推定モデル特定パラメータ 132の最 適フレームレート ofr(br)、最良映像品質 a (br)、および映像品質劣化指標 ω (br) の実際の値を前述した式(2)へ代入することにより、推定モデル MOS (fr, br)すな わちフレームレート—主観映像品質特性を特定する (ステップ S 104)。
[0054] この後、映像品質推定装置 100は、映像品質推定部 113により、推定モデル特定 部 112で特定された推定モデル 122を参照して、パラメータ取得部 111から出力され た主パラメータ 121の入力フレームレート 121Aに対応する映像品質を算出し、評価 対象となる映像通信サービスを利用して端末で再生された映像メディアカゝら視聴者 が実感する主観映像品質推定値 123として出力し (ステップ S105)、一連の映像品 質推定処理を終了する。
[0055] このように、本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット 数を示す入力符号ィ匕ビットレート 121Bと、単位時間当たりのフレーム数を示す入力 フレームレート 121Aを入力として、これら主パラメータ 121に対する主観映像品質を 推定する際、推定モデル特定部 112により、入力符号ィ匕ビットレート 121Bに基づい て映像メディアのフレームレートと主観映像品質との関係を示す推定モデル 122を特 定し、特定された推定モデル 122を用いて入力フレームレート 121Aに対応する主観 映像品質を推定し推定値 123として出力している。
[0056] これにより、推定条件 110として入力された入力符号ィ匕ビットレート 121Bに対応す る推定モデル 122を参照して、同じく推定条件 110として入力された入力フレームレ ート 121Aに対応する主観映像品質推定値 123を得ることができる。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するト レードォフを考慮して、これら符号ィ匕ビットレートとフレームレートをそれぞれどの程度 に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計' 管理指針を得ることができ、サービス提供に先立ったアプリケーションおよびネットヮ ークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
[0057] 例えば、所望の映像品質で映像メディアを配信した 、場合、本実施の形態にかか る映像品質推定装置 100を用いれば、カメラで撮影した映像をどの程度の符号ィ匕ビ ットレートとフレームレートで符号ィ匕すれば所望の映像品質を満足する力を具体的に 把握することができる。特に、ネットワークの制約条件により、符号ィ匕ビットレートが制 限される場合が多ぐこのような場合には、当該符号ィ匕ビットレートを固定ィ匕して本実 施の形態に力かる映像品質推定装置 100を適用すれば、フレームレートと映像品質 との関係を容易かつ具体的に把握できる。
[0058] 本実施の形態では、推定モデル特定パラメータ 132を算出する際に用いる、符号 化ビットレート—最適フレームレート特性 131 A、符号ィ匕ビットレート—最良映像品質 特性 131B、および符号ィ匕ビットレート—映像品質劣化指標特性 131Cが予め関数 式の形で用意され記憶部 131Mで記憶されて 、る場合を例として説明したが、推定 モデル特定パラメータの導出に用いるこれら推定モデル特定パラメータ導出特性 13 1については関数式に限定されるものではなぐ入力符号ィ匕ビットレートに対応する 値として記憶部 131Mで記憶してぉ 、てもよ 、。
[0059] 図 10は、入力符号ィ匕ビットレートと各推定モデル特定パラメータとの対応関係を示 す推定モデル特定パラメータ情報の構成例である。この推定モデル特定パラメータ 情報は、入力符号ィ匕ビットレート br(121B)と、これに対応する最適フレームレート of r (br) (132A)、最良映像品質 a (br) (132B)、および映像品質劣化指標 ω (br) (1 32C)との組からなり、予め上記推定モデル特定パラメータ導出特性 131に基づき算 出して記憶部 131Mに記憶されている。
このような推定モデル特定パラメータ情報を参照して、入力符号ィ匕ビットレート 121 Bに対応する推定モデル特定パラメータ 132を導出してもよい。
[0060] [第 2の実施の形態]
次に、図 11および図 12を参照して、本発明の第 2の実施の形態に力かる映像品質 推定装置について説明する。図 11は、本発明の第 2の実施の形態に力かる映像品 質推定装置の構成を示すブロック図であり、前述した図 1と同じまたは同等部分には 同一符号を付してある。図 12は、本発明の第 2の実施の形態にカゝかる映像品質推定 装置の推定モデル特定部の構成を示すブロック図であり、前述した図 2と同じまたは 同等部分には同一符号を付してある。
[0061] 第 1の実施の形態では、予め用意されている推定モデル特定パラメータ導出特性 1 31を参照して入力符号ィ匕ビットレートに対応する推定モデル特定パラメータ 132を導 出する場合を例として説明した。本実施の形態では、評価対象となる映像通信サー ビスに関する各種の推定条件 110のうち、映像通信サービスの通信種別、映像メディ ァを再生する端末の再生性能、あるいは映像メディアを再生する端末の再生環境に 基づいて、推定条件 110に応じた推定モデル特定パラメータ導出特性 131を逐次特 定する場合について説明する。
[0062] 第 1の実施の形態(図 1参照)と比較して、本実施の形態に力かる映像品質推定装 置 100には、係数取得部 114と係数データベース(以下、係数 DBという) 125が追カロ されている。
係数取得部 114は、記憶部 125M (第 2の記憶部)の係数 DB125を参照して、パラ メータ取得部 111により推定条件 110から取得された副パラメータ 124に対応する特 性係数 126を取得する機能を有して 、る。
[0063] 図 13は、係数 DBの構成例を示す説明図である。係数 DB125は、各種副パラメ一 タ 124とこれに対応する各特性係数 a, b, c, · ··, g (126)との組を示すデータベース である。副パラメータ 124には、映像通信サービスの通信種別を示す通信種別パラメ ータ 124A、映像メディアを再生する端末の再生性能を示す再生性能パラメータ 124 B、あるいは映像メディアを再生する端末の再生環境を示す再生環境パラメータ 124 Cがある。
[0064] 通信種別パラメータ 124Aの具体例としては、評価対象となる映像通信サービスで 行われる通信種別を示す「タスク」がある。
再生性能パラメータ 124Bの具体例としては、映像メディアの符号ィ匕に関する「符号 化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に 関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ 124Cの具体例としては、端末でのメディア再生の際の「室内 照度」などがある。
[0065] 副パラメータ 124は、これらパラメータ例に限定されるものではなぐ評価対象となる 映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよぐ少な くともこれら通信種別パラメータ 124A、再生性能パラメータ 124B、および再生環境 パラメータ 124Cのうちの 1つ以上力も構成されていればよい。
[0066] 係数取得部 114は、予め用意された記憶部 125Mの係数 DB125を参照して、副 ノ ラメータ 124に対応する特性係数 126を取得する。特性係数 126は、推定モデル 特定パラメータ 132の導出に用いる推定モデル特定パラメータ導出特性を特定する ための係数である。
推定モデル特定部 112は、係数取得部 114で取得された特性係数 126により特定 された推定モデル特定パラメータ導出特性 131、すなわち符号ィ匕ビットレート—最適 フレームレート特性 131 A、符号ィ匕ビットレート—最良映像品質特性 131B、および符 号ィ匕ビットレート—映像品質劣化指標特性 131Cを特定する。
[0067] [推定モデル特定パラメータ導出特性]
次に、推定モデル特定部 112で用いる推定モデル特定パラメータ導出特性 131に ついて詳細に説明する。
推定モデル特定パラメータ導出特性 131は、係数取得部 114により係数 DB 125か ら取得される特性係数 126を用いてそれぞれ次のようにモデルィ匕することができる。
[0068] まず、推定モデル特定パラメータ導出特性 131の符号ィ匕ビットレート 最適フレー ムレート特性 131Aは、前述した図 4に示すように、符号ィ匕ビットレートの増加とともに 最適フレームレートが単調増加し、その後ある最大フレームレートに収束する傾向が あり、例えば一般的な線形関数でモデルィ匕することができる。したがって、符号化ビッ トレートを brとし、これに対応する最適フレームレートを ofr (br)とし、係数を a, bとした 場合、符号ィ匕ビットレート—最適フレームレート特性 131 Aは、次の式(3)で表すこと ができる。
[0069] [数 3] ofr(br) = + b -br - . (3)
[0070] 次に、推定モデル特定パラメータ導出特性 131の符号ィ匕ビットレート—最良映像品 質特性 131Bは、前述した図 5に示すように、符号ィ匕ビットレートの増加とともに映像 品質が増加し、ある最大値に収束するとともに、符号ィ匕ビットレートの低下とともに映 像品質も低下し、ある最小値に収束する傾向があり、例えば一般的なロジスティック( Logistic)関数でモデルィ匕することができる。
[0071] 図 14は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数 ρ> 1 のとき変数 Xの増加に応じて関数 yの値が単調増加する関数であり、変数 Xの減少に 応じて関数値 yが最小値へ収束し、変数 Xの増大に応じて関数値 yが最大値へ収束 する。最小値を A、最大値を A、係数を p, Xとした場合、任意の変数 Xに対する関数
1 2 0
yの値は、最大値 Aの項と最大値 Aからの減少分を示す分数項からなる、次の式 (4
2 2
)で求められる。
[0072] 画 y = + ~Α (4)
1 + \χι
[0073] したがって、変数 Xを符号ィ匕ビットレート とし、これに対応する関数値 yを最良映像 品質 a (br)とし、最大値 Aを特性係数 c、最小値 Aを「0ゼロ」、係数 xを特性係数 d
2 1 0
、係数 pを特性係数 eとした場合、符号ィ匕ビットレート—最良映像品質特性 131Bは、 次の式(5)で表すことができる。図 15は、ロジスティック関数でモデルィ匕された符号 化ビットレート—最良映像品質特性を示す説明図である。
[0074] [数 5] a\br) = c ; ― ■■· (5)
l + {br /d )e
[0075] 次に、推定モデル特定パラメータ導出特性 131の符号ィ匕ビットレート—映像品質劣 化指標特性 131Cは、前述した図 8に示すように、符号ィ匕ビットレートが高くなるほど 映像品質劣化指標も大きくなり、符号ィ匕ビットレートが低くなるほど映像品質劣化指 標も小さくなる傾向があり、例えば一般的な線形関数でモデルィ匕することができる。し たがって、符号ィ匕ビットレートを brとし、これに対応する映像品質劣化指標を ω (br)と し、係数 , gとした場合、符号ィ匕ビットレート—映像品質劣化指標特性 131Cは、次 の式(6)で表すことができる。
[0076] 園
) = f + g -br · · · (6)
[0077] なお、推定モデル特定パラメータ導出特性 131のモデルィ匕については、前述した 線形関数ゃロジスティック関数に限定されるものではなぐ他の関数を用いてもよい。 例えば、評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、 あるいは推定条件 110の内容によっては、ある程度限定された範囲の入力符号ィ匕ビ ットレートや入力フレームレートでの映像品質推定処理で十分なため、このような局 所的な見方が可能な場合には、前述したように、推定モデル特定パラメータ導出特 性 131を線形関数等の単純な関数でモデルィ匕することができる。
[0078] これに対して、入力符号ィ匕ビットレートや入力フレームレートに対して推定モデル特 定パラメータの変化が大きい場合には、例えば指数関数などの他の関数を用いて符 号ィ匕ビットレート一最適フレームレート特性 131Aを表してもよい。指数関数を用いて モデル化した場合、最適フレームレート ofr (br)および映像品質劣化指標 ω (br)は 、係数を h, i, j, k, 1, mとして、式(7)で表すことができる。
[0079] [数 7] ofr(br ) = h + i - exp(br i )
-•(7)
ω{ότ ι = k + 1 · expibr / m)
[0080] [第 2の実施の形態の動作]
次に、図 16を参照して、本発明の第 2の実施の形態に力かる映像品質推定装置の 動作について説明する。図 16は、本発明の第 2の実施の形態に力かる映像品質推 定装置の映像品質推定処理を示すフローチャートであり、前述した図 9と同じまたは 同等部分には同一符号を付してある。
[0081] 映像品質推定装置 100は、オペレータからの指示操作や推定条件 110の入力に 応じて、図 16の映像品質推定処理を開始する。なお、ここでは、推定モデル特定パ ラメータとして、最適フレームレート 132Aおよび最良映像品質 132Bにカ卩え、映像品 質劣化指標 132Cを用いる場合を例として説明する。また、副パラメータ 124として通 信種別パラメータ 124A、再生性能パラメータ 124B、および再生環境パラメータ 124 Cを用いるものとし、記憶部 125Mの係数 DB125には、副パラメータ 124と特性係数 126との組が予め格納されているものとする。
[0082] まず、パラメータ取得部 111は、評価対象となる映像通信サービスに関する各種の 推定条件 110を取得し、推定条件 110から映像メディアの符号ィ匕処理に関するフレ ームレートと符号化ビットレートを抽出し、これら入力フレームレート fr (121A)および 入力符号ィ匕ビットレート br (121B)を主パラメータ 121として出力する(ステップ S100 )。また、パラメータ取得部 111は、推定条件 110から通信種別パラメータ 124A、再 生性能パラメータ 124B、および再生環境パラメータ 124Cを抽出し、これらを副パラ メータ 124として出力する(ステップ S110)。
[0083] 次に、係数取得部 114は、記憶部 125Mの係数 DB125を参照して、副パラメータ 124の値に対応する特性係数 a, b, c, · ··, g (126)を取得して出力する (ステップ SI 11)。
これに応じて推定モデル特定部 112は、最適フレームレート算出部 112Aにより、 特性係数 126のうち係数 a, bにより特定される符号ィ匕ビットレート 最適フレームレ ート特性 131Aを参照して、入力符号ィ匕ビットレート br (121B)に対応する最適フレ ームレート ofr(br) (132A)を算出する(ステップ S101)。
[0084] また、推定モデル特定部 112は、最良映像品質算出部 112Bにより、特性係数 126 のうち係数 c, d, eにより特定される符号ィ匕ビットレート一最良映像品質特性 131Bを 参照して、入力符号ィ匕ビットレート br (121B)に対応する最良映像品質 a (br) (132 B)を算出する (ステップ S 102)。
同様にして、推定モデル特定部 112は、映像品質劣化指標算出部 112Cにより、 特性係数 126のうち係数 f, gにより特定される符号ィ匕ビットレート—映像品質劣化指 標特性 131Cを参照して、入力符号ィ匕ビットレート br (121B)に対応する映像品質劣 化指標 ω (br) (132C)を算出する (ステップ S 103)。
[0085] このようにして各推定モデル特定パラメータ 132を算出した後、推定モデル特定部 112は、推定モデル生成部 112Dにより、これら推定モデル特定パラメータ 132の最 適フレームレート ofr(br)、最良映像品質 a (br)、および映像品質劣化指標 ω (br) の実際の値を前述した式(2)へ代入することにより、推定モデル MOS (fr, br)すな わちフレームレート—主観映像品質特性を特定する (ステップ S 104)。
[0086] この後、映像品質推定装置 100は、映像品質推定部 113により、推定モデル特定 部 112で特定された推定モデル 122を参照して、パラメータ取得部 111から出力され た主パラメータ 121の入力フレームレート 121Aに対応する映像品質を算出し、評価 対象となる映像通信サービスを利用して端末で再生された映像メディアカゝら視聴者 が実感する主観映像品質の主観映像品質推定値 123として出力し (ステップ S105) 、一連の映像品質推定処理を終了する。
[0087] このように、本実施の形態は、パラメータ取得部 111で取得された、通信種別パラメ ータ 124A、再生性能パラメータ 124B、および再生環境パラメータ 124Cのうちの 1 つ以上からなる副パラメータ 124に対応する特性係数 126を、記憶部 125Mの係数 DB125から係数取得部 114により取得し、推定モデル特定部 112により、これら特 性係数 126により特定される推定モデル特定パラメータ導出特性 131に基づいて、 入力符号ィ匕ビットレート 121Bに対応する推定モデル特定パラメータ 132を算出する ようにしたので、評価対象となる映像通信サービスや端末の具体的な性質に基づく 推定モデル特定パラメータ 132を導出することができ、映像品質推定の精度を向上 させることがでさる。
[0088] 特に、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービ スで用いる符号ィ匕方式や端末ごとに、映像品質推定モデルを用意しなければならな かった。しカゝしながら、本実施の形態によれば、映像品質推定モデルが符号ィ匕方式 や端末に依存せず、映像品質推定モデルに用いる係数を符号化方式や端末に応じ て参照するだけで、同じ映像品質推定モデルを利用できる。したがって、異なる環境 の映像通信サービスに対して柔軟に対応することができる。
[0089] 図 17は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフで ある。図 18は、文献 2に基づく従来の映像品質推定装置の推定精度を示すグラフで ある。これら図 17および図 18において、横軸は映像品質推定装置を用いて推定した 主観映像品質の推定値 (MOS値)を示し、縦軸は視聴者が実際にオピニオン評価し た主観映像品質の評価値 (MOS値)を示している。図 18に比較して、図 17のほうが 、評価値と推定値の誤差が少なぐ推定精度が向上していることがわかる。なお、これ らは特定の推定条件下での比較結果であるが、異なる符号化方式や端末を用いた 場合でも、同様の比較結果が確認されている。
[0090] [第 3の実施の形態]
まず、図 19を参照して、本発明の第 3の実施の形態にかかる映像品質推定装置に ついて説明する。図 19は、本発明の第 3の実施の形態に力かる映像品質推定装置 の構成を示すブロック図である。
この映像品質推定装置 200は、入力された情報を演算処理するコンピュータなどの 情報処理装置力 なり、複数のフレームに符号ィ匕した映像メディアを任意の端末へ 通信網を介して送信する映像通信にっ ヽて、その映像メディアに関する推定条件を 入力として、端末で再生された当該映像メディアカゝら視聴者が実感する主観映像品 質の推定値を所定の推定モデルを用いて算出する。
[0091] 本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット数を示す入 力符号化ビットレートと、単位時間当たりのフレーム数を示す入力フレームレートを入 力として、これら主パラメータに対する主観映像品質を推定する際、入力フレームレ ートに基づいて映像メディアの符号ィ匕ビットレートと主観映像品質との関係を示す推 定モデルを特定し、特定された推定モデルを用いて入力符号ィ匕ビットレートに対応 する主観映像品質を推定し推定値として出力するようにしたものである。
[0092] [映像品質推定装置]
次に、図 19および図 20を参照して、本発明の第 3の実施の形態に力かる映像品質 推定装置の構成について詳細に説明する。図 20は、本発明の第 3の実施の形態に 力かる映像品質推定装置の推定モデル特定部の構成を示すブロック図である。 [0093] 映像品質推定装置 200には、主な機能部として、パラメータ取得部 211、推定モデ ル特定部 212、および映像品質推定部 213が設けられている。これら機能部は、専 用の演算処理回路部で実現してもよいが、 CPUなどのマイクロプロセッサとその周辺 回路を設け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行 することにより、上記ハードウェアとプログラムを協働させることにより上記機能部を実 現してもよい。また、これら機能部で用いられる処理情報はメモリゃノヽードディスクな どの記憶装置からなる後述の各記憶部で記憶され、これら機能部間でやり取りされる 処理情報は同じく記憶装置からなる記憶部(図示せず)を介してやり取りされる。また 、上記プログラムを記憶部に格納しておいてもよい。この他、映像品質推定装置 200 には、一般的な情報処理装置と同様に、記憶装置、操作入力装置、画面表示装置 などの各種基本的構成が設けられて!/、る。
[0094] ノ メータ取得部 211は、評価対象となる映像通信サービスに関する各種の推定 条件 210を取得する機能と、推定条件 210から映像メディアの符号ィ匕処理に関する 符号ィ匕ビットレートとフレームレートを抽出する機能と、これらを入力符号化ビットレー ト br(221A)および入力フレームレート fr (221B)力もなる主パラメータ 221として出 力する機能とを有している。推定条件 210については、キーボードなどの操作入力装 置を用いてオペレータ操作により入力してもよぐデータ入出力を行うデータ入出力 装置を用いて外部装置、記録媒体、あるいは通信網から取得してもよぐさらには実 際の映像通信サービスから計測してもよ ヽ。
[0095] 推定モデル特定部 212は、パラメータ取得部 211から出力された主パラメータ 221 の入力フレームレート 221Bに基づいて、映像メディアの符号化ビットレートと主観映 像品質との関係を示す推定モデル 222を特定するための推定モデル特定パラメータ 232を算出する機能を有している。
映像品質推定部 213は、推定モデル特定部 212で特定された推定モデル 222を 参照して、主パラメータ 221の入力符号ィ匕ビットレート 221Aに対応する主観映像品 質を推定し、所望の主観映像品質推定値 223として出力する機能を有している。
[0096] 推定モデル特定部 212は、図 20に示すように、さらにいくつかの機能部力も構成さ れている。主な機能部としては、推定モデル特定パラメータ 232を算出する部として、 最良映像品質算出部 212A、映像品質第 1変化指標算出部 212B、映像品質第 2変 化指標算出部 212C、および推定モデル生成部 212Dがある。
推定モデル特定パラメータ 232は、推定モデル 222として用いる関数の形状を特 定する値力 なる。本実施の形態では、少なくとも以下の最良映像品質、映像品質 第 1変化指標、および映像品質第 2変化指標を推定モデル特定パラメータ 232として 用いて!/、るが、他のパラメータを推定モデル特定パラメータ 232にカ卩えてもょ 、。
[0097] 最良映像品質算出部 212Aは、記憶部 231M (第 3の記憶部)のフレームレート— 最良映像品質特性 231Aを参照して、入力フレームレート 221Bで送信された映像メ ディアの主観映像品質の最良値を示す最良映像品質 j8 (fr) (232A)を、推定モデ ル特定パラメータ 232の 1つとして算出する機能を有している。
映像品質第 1変化指標算出部 212Bは、記憶部 231Mのフレームレート—映像品 質第 1変化指標特性 231Bを参照して、入力フレームレート 221Bで送信された映像 メディアに関する、その主観映像品質の最良値を示す最良映像品質 232A力ゝらの変 化 (劣化)度合いを示す映像品質第 1変化指標 s (fr) (232B)を、推定モデル特定パ ラメータ 232の 1つとして算出する機能を有している。
[0098] 映像品質第 2変化指標算出部 212Cは、記憶部 231Mのフレームレート—映像品 質第 2変化指標特性 231Cを参照して、入力フレームレート 221Bで送信された映像 メディアに関する、その主観映像品質の最良値を示す最良映像品質 232A力ゝらの変 化 (劣化)度合いを示す映像品質第 2変化指標 t (fr) (232C)を、推定モデル特定パ ラメータ 232の 1つとして算出する機能を有している。
これら、フレームレート—最良映像品質特性 231A、フレームレート—映像品質第 1 変化指標特性 231B、およびフレームレート—映像品質第 2変化指標特性 231Cは、 推定モデル特定パラメータ導出特性 231として予め用意され、記憶部 231M (第 3の 記憶部)に記憶されている。
[0099] 推定モデル生成部 212Dは、最良映像品質算出部 212Aで算出された最良映像 品質 i8 (br)、映像品質第 1変化指標算出部 212Bで算出された映像品質第 1変化 指標 s (fr)、および映像品質第 2変化指標算出部 212Cで算出された映像品質第 2 変化指標 t (fr)力もなる各推定モデル特定パラメータ 232の値を所定の関数式に代 入することにより、主パラメータ 221の入力フレームレート 221Bに対応する主観映像 品質を推定するための推定モデル 222を生成する機能を有している。
[0100] [主観映像品質特性]
次に、図 21を参照して、映像通信サービスにおける映像メディアの主観映像品質 特性について説明する。図 21は、映像通信サービスにおける映像メディアの符号ィ匕 ビットレート—主観映像品質特性を示すグラフである。図 21において、横軸は符号化 ビットレート br (kbps)、縦軸は主観映像品質値 MOS (fr, br) (MOS値)を示し、フレ ームレート frごとの特性が示されて!/、る。
[0101] 映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレ ートはトレードオフの関係にある。
具体的には、ある符号ィ匕ビットレートで映像を符号ィ匕して提供する際、高いフレーム レートで映像を符号ィ匕すると映像が滑らかになって時間的な映像品質を向上できる 力 単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果と して映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして 符号ィ匕すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当 たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映 像品質が劣化する場合がある。
[0102] ここで、フレームレートをそれぞれ一定とした場合、そのときの映像品質は、図 21に 示すように、符号ィ匕ビットレートの増加に応じて単調増加し、当該フレームレートで送 信された映像メディアの最良映像品質へ収束する特性を持つ。例えば、フレームレ ート fr= 10[fbs]の場合、主観映像品質特性は、符号ィ匕ビットレート brの増加に応じ て単調増加し、符号ィ匕ビットレート br= 1000[kbps]付近で最良映像品質 = 3. 8 [M OS]に収束する特性となる。
[0103] また、このような主観映像品質特性は、異なるフレームレートであっても同様の形状 となり、各主観映像品質特性の座標位置は、その最良映像品質と最良映像品質に 対する変化度合いを示す映像品質変化指標力 なる推定モデル特定パラメータで 特定することができる。
本実施の形態は、このような主観映像品質特性の性質に着目して、推定モデル特 定部 212により、入力フレームレート 221Bに基づいて映像メディアの符号ィ匕ビットレ ートと主観映像品質との関係を示す推定モデル 222を特定し、映像品質推定部 213 により、推定モデル特定部 212で特定された推定モデル 222を用いて入力符号ィ匕ビ ットレート 221Aに対応する主観映像品質推定値 223を推定している。
[0104] [推定モデル]
次に、推定モデル特定部 212で用いる推定モデルと推定モデル特定パラメータの 導出について詳細に説明する。
図 21に示した、符号ィ匕ビットレート一主観映像品質特性は、符号ィ匕ビットレートの 増加に応じて単調増加し、当該フレームレートで送信された映像メディアの最良映像 品質へ収束する特性を持つ傾向があり、例えば一般的なロジスティック (Logistic)関 数でモデルィ匕することができる。
[0105] 図 22は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数!:〉 1 のとき変数 Xの増加に応じて関数 yの値が単調増加する関数であり、変数 Xの減少に 応じて関数値 yが最小値へ収束し、変数 Xの増大に応じて関数値 yが最大値へ収束 する。最小値を A、最大値を A、係数を q, rとした場合、任意の変数 xに対する関数
3 4
yの値は、最大値 Aの項と最大値 Aからの減少分を示す分数項からなる、次の式 (8
4 4
)で求められる。
[0106] [数 8]
A -AA
y =A+^ f -(8)
[0107] したがって、変数 xを符号ィ匕ビットレート とし、これに対応する関数値 yを主観映像 品質 MOS (fr, br)とし、最大値 Aを入力フレームレート frにおける最良映像品質
4
(fr)、最小値 Αを「1」、係数 qを映像品質第 1変化指標 s (fr)、係数!:を映像品質第 2
3
変化指標 t (fr)とした場合、任意の符号ィ匕ビットレート brに対する主観映像品質 MO Sは、次の(9)式で求めることができ、結果として、入力フレームレート 221Bに対応す る推定モデル 222すなわち符号ィ匕ビットレート一主観映像品質特性を特定すること 力 Sできる。図 23は、ロジスティック関数でモデルィ匕された符号ィ匕ビットレート一主観映 像品質特性を示す説明図である。 [0108] [数 9] 小 … )
[0109] したがって、推定モデル特定部 212により、入力フレームレート 221Bに基づいて映 像メディアの符号ィ匕ビットレートと主観映像品質との関係を示す推定モデル 222を特 定する場合、入力フレームレート 221Bに対応する推定モデル特定パラメータとして、 最良映像品質 232A、映像品質第 1変化指標 232B、および映像品質第 2変化指標 232Cを導出する必要がある。特に、映像品質第 1変化指標 s (fr)および映像品質第 2変化指標 t (fr)は、ロジスティック関数の分数項において最大値 Aからの減少分す
4
なわち最良映像品質 β (fr)力もの変化 (劣化)分を算出するために用いられており、 それぞれ当該フレームレート frにおける主観映像品質に関する変化度合いを示す変 化指標として、推定モデル 222の特定に必要となる。
[0110] 本実施の形態では、次のようなフレームレート—最良映像品質特性 231 A、フレー ムレート—映像品質第 1変化指標特性 231B、およびフレームレート—映像品質第 2 変化指標特性 231Cを推定モデル特定パラメータ導出特性 231として予め用意して おき、これら特性を参照して、入力フレームレート 221Bに対応する推定モデル特定 パラメータ 232をそれぞれ導出して 、る。
[0111] 図 21に示された各特性において、送信された映像メディアのフレームレートとその ときの最良映像品質との関係は、フレームレート frの増加とともにそれぞれ最良映像 品質 i8 (fr)が増加し、ある最大値 (最大主観映像品質値)に収束する、という傾向が 見られる。
図 24は、このようなフレームレート 最良映像品質特性を示すグラフである。図 24 において、横軸はフレームレート fr(fps)、縦軸は最良映像品質 |8 (fr) (MOS値)を 示している。
[0112] 一方、送信された映像メディアのフレームレートとそのときの映像品質第 1変化指標 との関係は、フレームレートの増加とともにそれぞれ映像品質第 1変化指標が単調増 加する、という傾向が見られる。
図 25は、このようなフレームレート一映像品質第 1変化指標特性を示すグラフであ る。図 25において、横軸はフレームレート fr(fps)、縦軸は映像品質第 1変化指標 s (f r)を示している。
[0113] また、送信された映像メディアのフレームレートとそのときの映像品質第 2変化指標 との関係は、フレームレートの増加とともにそれぞれ映像品質第 2変化指標が単調減 少する、という傾向が見られる。
図 26は、このようなフレームレート一映像品質第 2変化指標特性を示すグラフであ る。図 26において、横軸はフレームレート fr(fps)、縦軸は映像品質第 2変化指標 t (f r)を示している。
[0114] [第 3の実施の形態の動作]
次に、図 27を参照して、本発明の第 3の実施の形態に力かる映像品質推定装置の 動作について説明する。図 27は、本発明の第 3の実施の形態に力かる映像品質推 定装置の映像品質推定処理を示すフローチャートである。
[0115] 映像品質推定装置 200は、オペレータからの指示操作や推定条件 210の入力に 応じて、図 27の映像品質推定処理を開始する。なお、ここでは、映像品質推定装置 200には、前述したフレームレート一最良映像品質特性 231A (図 24参照)、フレー ムレート—映像品質第 1変化指標特性 231B (図 25参照)、およびフレームレート— 映像品質第 2変化指標特性 231C (図 26参照)が予め用意され、関数式として記憶 部 231Mに記憶されているものとする。
[0116] まず、パラメータ取得部 211は、評価対象となる映像通信サービスに関する各種の 推定条件 210を取得し、推定条件 210から映像メディアの符号ィ匕処理に関する符号 化ビットレートとフレームレートを抽出し、これら入力符号化ビットレート br (221A)お よび入力フレームレート fr (221B)を主パラメータ 221として出力する(ステップ S200
) o
[0117] 推定モデル特定部 212は、パラメータ取得部 211から出力された主パラメータ 221 の入力フレームレート 221Bに基づいて映像メディアの符号ィ匕ビットレートと主観映像 品質との関係を示す推定モデル 222を特定する。
具体的には、まず、最良映像品質算出部 212Aにより、記憶部 231Mのフレームレ ート—最良映像品質特性 231Aを参照して、入力フレームレート fr(221B)に対応す る最良映像品質 j8 (fr) (232A)を算出する (ステップ S201)。
[0118] 続いて、推定モデル特定部 212は、映像品質第 1変化指標算出部 212Bにより、記 憶部 231Mのフレームレート—映像品質第 1変化指標特性 231Bを参照して、入力 フレームレート fr (221B)に対応する映像品質第 1変化指標 s (fr) (232B)を算出す る(ステップ S 202)。
同様にして、推定モデル特定部 212は、映像品質第 2変化指標算出部 212Cによ り、記憶部 231Mのフレームレート—映像品質第 2変化指標特性 231Cを参照して、 入力フレームレート fr (221B)に対応する映像品質第 2変化指標 t (fr) (232C)を算 出する (ステップ S 203)。
[0119] このようにして各推定モデル特定パラメータ 232を算出した後、推定モデル特定部 212は、推定モデル生成部 212Dにより、これら推定モデル特定パラメータ 232の最 良映像品質 i8 (fr) ,映像品質第 1変化指標 s (fr)および映像品質第 2変化指標 t (fr )の実際の値を前述した式 (9)へ代入することにより、推定モデル 222すなわち符号 化ビットレート—主観映像品質特性を特定する (ステップ S204)。
[0120] この後、映像品質推定装置 200は、映像品質推定部 213により、推定モデル特定 部 212で特定された推定モデル 222を参照して、パラメータ取得部 211から出力され た主パラメータ 221の入力符号ィ匕ビットレート 221Aに対応する映像品質を算出し、 評価対象となる映像通信サービスを利用して端末で再生された映像メディア力ゝら視 聴者が実感する主観映像品質推定値 223として出力し (ステップ S205)、一連の映 像品質推定処理を終了する。
[0121] このように、本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット 数を示す入力符号ィ匕ビットレート 221Aと、単位時間当たりのフレーム数を示す入力 フレームレート 221Bを入力として、これら主パラメータ 221に対する主観映像品質を 推定する際、推定モデル特定部 212により、入力フレームレート 221Bに基づいて映 像メディアの符号ィ匕ビットレートと主観映像品質との関係を示す推定モデル 222を特 定し、特定された推定モデル 222を用いて入力符号ィ匕ビットレート 221Aに対応する 主観映像品質を推定し主観映像品質推定値 223として出力している。
[0122] これにより、推定条件 210として入力された入力フレームレート 221Bに対応する推 定モデル 222を参照して、同じく推定条件 210として入力された入力符号ィ匕ビットレ ート 221Aに対応する主観映像品質推定値 223を得ることができる。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するト レードォフを考慮して、これら符号ィ匕ビットレートとフレームレートをそれぞれどの程度 に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計- 管理指針を得ることができ、サービス提供に先立ったアプリケーションおよびネットヮ ークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
[0123] 例えば、所望の映像品質で映像メディアを配信した 、場合、本実施の形態にかか る映像品質推定装置 200を用いれば、カメラで撮影した映像をどの程度の符号ィ匕ビ ットレートとフレームレートで符号ィ匕すれば所望の映像品質を満足する力を具体的に 把握することができる。特に、ネットワークの制約条件により、符号ィ匕ビットレートが制 限される場合が多ぐこのような場合には、当該符号ィ匕ビットレートを固定ィ匕して本実 施の形態に力かる映像品質推定装置 200を適用すれば、フレームレートと映像品質 との関係を容易かつ具体的に把握できる。
[0124] 本実施の形態では、推定モデル特定パラメータ 232を算出する際に用いる、フレー ムレート—最良映像品質特性 231A、フレームレート—映像品質第 1変化指標特性 2 31B、およびフレームレート—映像品質第 2変化指標特性 231Cが予め関数式の形 で用意されている場合を例として説明したが、推定モデル特定パラメータの導出に用 V、るこれら推定モデル特定パラメータ導出特性 231につ 、ては関数式に限定される ものではなぐ入力フレームレートに対応する値として記憶部 231Mで記憶しておい てもよい。
[0125] 図 28は、入力フレームレートと各推定モデル特定パラメータとの対応関係を示す推 定モデル特定パラメータ情報の構成例である。この推定モデル特定パラメータ情報 は、入力フレームレート fr (221B)と、これに対応する最良映像品質 j8 (fr) (232A)、 映像品質第 1変化指標 s (fr) (232B)、および映像品質第 2変化指標 t (fr) (232C) との組からなり、予め上記推定モデル特定パラメータ導出特性 231に基づき算出して 記憶部 231Mに記憶されている。
このような推定モデル特定パラメータ情報を参照して、入力フレームレート 221Bに 対応する推定モデル特定パラメータ 232を導出してもよい。
[0126] [第 4の実施の形態]
次に、図 29および図 30を参照して、本発明の第 4の実施の形態に力かる映像品質 推定装置について説明する。図 29は、本発明の第 4の実施の形態に力かる映像品 質推定装置の構成を示すブロック図であり、前述した図 19と同じまたは同等部分に は同一符号を付してある。図 30は、本発明の第 4の実施の形態にカゝかる映像品質推 定装置の推定モデル特定部の構成を示すブロック図であり、前述した図 20と同じま たは同等部分には同一符号を付してある。
[0127] 第 3の実施の形態では、予め用意されている推定モデル特定パラメータ導出特性 2 31を参照して入力フレームレートに対応する推定モデル特定パラメータ 232を導出 する場合を例として説明した。本実施の形態では、評価対象となる映像通信サービス に関する各種の推定条件 210のうち、映像通信サービスの通信種別、映像メディア を再生する端末の再生性能、あるいは映像メディアを再生する端末の再生環境に基 づいて、推定条件 210に応じた推定モデル特定パラメータ導出特性 231を逐次特定 する場合について説明する。
[0128] 第 3の実施の形態(図 19参照)と比較して、本実施の形態に力かる映像品質推定 装置 200には、係数取得部 214と係数データベース(以下、係数 DBという) 225が追 加されている。
係数取得部 214は、記憶部 225M (第 4の記憶部)の係数 DB225を参照して、パラ メータ取得部 211により推定条件 210から取得された副パラメータ 224に対応する特 性係数 226を取得する機能を有して 、る。
[0129] 図 31は、係数 DBの構成例を示す説明図である。係数 DB225は、各種副パラメ一 タ 224とこれに対応する各特性係数 a', b', c', · ··, h' (226)との組を示すデータべ ースである。副パラメータ 224には、映像通信サービスの通信種別を示す通信種別 パラメータ 224A、映像メディアを再生する端末の再生性能を示す再生性能パラメ一 タ 224B、ある ヽは映像メディアを再生する端末の再生環境を示す再生環境パラメ一 タ 224Cがある。
[0130] 通信種別パラメータ 224Aの具体例としては、評価対象となる映像通信サービスで 行われる通信種別を示す「タスク」がある。
再生性能パラメータ 224Bの具体例としては、映像メディアの符号ィ匕に関する「符号 化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に 関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ 224Cの具体例としては、端末でのメディア再生の際の「室内 照度」などがある。
[0131] 副パラメータ 224は、これらパラメータ例に限定されるものではなぐ評価対象となる 映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよぐ少な くともこれら通信種別パラメータ 224A、再生性能パラメータ 224B、および再生環境 パラメータ 224Cのうちの 1つ以上力も構成されて!、ればよ!/、。
[0132] 係数取得部 214は、予め用意された記憶部 225Mの係数 DB225を参照して、副 ノラメータ 224に対応する特性係数 226を取得する。特性係数 226は、推定モデル 特定パラメータ 232の導出に用いる推定モデル特定パラメータ導出特性を特定する ための係数である。
推定モデル特定部 212は、係数取得部 214で取得された特性係数 226により特定 された推定モデル特定パラメータ導出特性 231、すなわちフレームレート 最良映 像品質特性 231A、フレームレート—映像品質第 1変化指標特性 231B、およびフレ ームレート—映像品質第 2変化指標特性 231Cを特定する。
[0133] [推定モデル特定パラメータ導出特性]
次に、推定モデル特定部 212で用いる推定モデル特定パラメータ導出特性 231に ついて詳細に説明する。
推定モデル特定パラメータ導出特性 231は、係数取得部 214により係数 DB225か ら取得される特性係数 226を用いてそれぞれ次のようにモデルィ匕することができる。
[0134] まず、推定モデル特定パラメータ導出特性 231のフレームレート 最良映像品質 特性 231Aは、前述した図 24に示すように、フレームレートの増加とともに最良映像 品質が単調増加し、その後ある最大主観映像品質に収束する傾向があり、例えば一 般的な指数関数でモデルィ匕することができる。したがって、フレームレートを frとし、こ れに対応する最良映像品質を j8 (fr)とし、係数を a', b', c'とした場合、フレームレー ト—最良映像品質特性 231 Aは、次の式(10)で表すことができる。
[0135] [数 10] β(fr) = a'+b,■exγ(- fr /c,) … 。)
[0136] 次に、推定モデル特定パラメータ導出特性 231のフレームレート—映像品質第 1変 化指標特性 231Bは、前述した図 25に示すように、フレームレートの増加とともに映 像品質第 1変化指標が単調増加する傾向があり、例えば一般的な指数関数でモデ ルイ匕することができる。したがって、フレームレートを frとし、これに対応する映像品質 第 1変化指標を s (fr)とし、係数を d', e', fとした場合、フレームレート—映像品質第 1変化指標特性 231Bは、次の式(11)で表すことができる。
[0137] [数 11] s(fr) = d'+e'-ex^fr / f ') - (n )
[0138] また、推定モデル特定パラメータ導出特性 231のフレームレート—映像品質第 2変 化指標特性 231Cは、前述した図 26に示すように、フレームレートの増加とともに映 像品質第 2変化指標が単調減少する傾向があり、例えば一般的な線形関数でモデ ルイ匕することができる。したがって、フレームレートを frとし、これに対応する映像品質 第 2変化指標を t ( とし、係数を g', h'とした場合、フレームレート—映像品質第 2変 化指標特性 231Cは、次の式(12)で表すことができる。
[0139] [数 12] t(fr、 = g'+h''fr (12)
[0140] なお、推定モデル特定パラメータ導出特性 231のモデルィ匕については、前述した 指数関数や線形関数に限定されるものではなぐ他の関数を用いてもよい。例えば、 評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あるいは 推定条件 210の内容によっては、ある程度限定された範囲の入力符号ィ匕ビットレート や入力フレームレートでの映像品質推定処理で十分なため、このような局所的な見 方が可能な場合には、前述したように、フレームレート 最良映像品質特性 231 Aや フレームレート—映像品質第 1変化指標特性 231Bを線形関数等の単純な関数でモ デルィ匕することができる。
[0141] これに対して、入力符号ィ匕ビットレートや入力フレームレートに対して推定モデル特 定パラメータの変化が大きい場合には、例えば指数関数ゃロジスティック関数などの 他の関数を用いて、フレームレート—映像品質第 2変化指標特性 231C、さらにはフ レームレート 最良映像品質特性 231Aやフレームレート一映像品質第 1変化指標 特性 231Bをモデル化してもよ!、。
[0142] [第 4の実施の形態の動作]
次に、図 32を参照して、本発明の第 4の実施の形態に力かる映像品質推定装置の 動作について説明する。図 32は、本発明の第 4の実施の形態に力かる映像品質推 定装置の映像品質推定処理を示すフローチャートであり、前述した図 27と同じまた は同等部分には同一符号を付してある。
[0143] 映像品質推定装置 200は、オペレータからの指示操作や推定条件 210の入力に 応じて、図 32の映像品質推定処理を開始する。なお、ここでは、副パラメータ 224と して通信種別パラメータ 224A、再生性能パラメータ 224B、および再生環境パラメ一 タ 224Cを用いるものとし、記憶部 225Mの係数 DB225には、副パラメータ 224と特 性係数 226との組が予め格納されているものとする。
[0144] まず、パラメータ取得部 211は、評価対象となる映像通信サービスに関する各種の 推定条件 210を取得し、推定条件 210から映像メディアの符号ィ匕処理に関する符号 化ビットレートとフレームレートを抽出し、これら入力符号化ビットレート br (221A)お よび入力フレームレート fr (221B)を主パラメータ 221として出力する(ステップ S200 )。また、パラメータ取得部 211は、推定条件 210から通信種別パラメータ 224A、再 生性能パラメータ 224B、および再生環境パラメータ 224Cを抽出し、これらを副パラ メータ 224として出力する(ステップ S210)。
[0145] 次に、係数取得部 214は、記憶部 225Mの係数 DB225を参照して、副パラメータ 224の値に対応する特性係数 a', b', c', · ··, h' (226)を取得して出力する (ステップ S211)。
これに応じて推定モデル特定部 212は、最良映像品質算出部 212Aにより、特性 係数 226のうち係数 a', b', c'により特定されるフレームレート—最良映像品質特性 2 31Aを参照して、入力フレームレート fr (221B)に対応する最良映像品質 j8 (fr) (23 2A)を算出する (ステップ S 201)。
[0146] また、推定モデル特定部 212は、映像品質第 1変化指標算出部 212Bにより、特性 係数 226のうち係数 d', e', f'により特定されるフレームレート—映像品質第 1変化指 標特性 231Bを参照して、入力フレームレート fr(221B)に対応する映像品質第 1変 化指標 s (fr) (232B)を算出する (ステップ S202)。
同様にして、推定モデル特定部 212は、映像品質第 2変化指標算出部 212Cによ り、特性係数 226のうち係数 g', h'により特定されるフレームレート一映像品質第 2変 化指標特性 231Cを参照して、入力フレームレート fr (221B)に対応する映像品質第 2変化指標 t (fr) (232C)を算出する (ステップ S203)。
[0147] このようにして各推定モデル特定パラメータ 232を算出した後、推定モデル特定部 212は、推定モデル生成部 212Dにより、これら推定モデル特定パラメータ 232の最 良映像品質 i8 (fr) ,映像品質第 1変化指標 s (fr)、および映像品質第 2変化指標 t (f r)の実際の値を前述した式 (9)へ代入することにより、推定モデル 222すなわち符号 化ビットレート—主観映像品質特性を特定する (ステップ S204)。
[0148] この後、映像品質推定装置 200は、映像品質推定部 213により、推定モデル特定 部 212で特定された推定モデル 222を参照して、パラメータ取得部 211から出力され た主パラメータ 221の入力符号ィ匕ビットレート 221Aに対応する映像品質を算出し、 評価対象となる映像通信サービスを利用して端末で再生された映像メディア力ゝら視 聴者が実感する主観映像品質の主観映像品質推定値 223として出力し (ステップ S2 05)、一連の映像品質推定処理を終了する。
[0149] このように、本実施の形態は、パラメータ取得部 211で取得された、通信種別パラメ ータ 224A、再生性能パラメータ 224B、および再生環境パラメータ 224Cのうちの 1 つ以上力もなる副パラメータ 224に対応する特性係数 226を、記憶部 225Mの係数 DB225から係数取得部 214により取得し、推定モデル特定部 212により、これら特 性係数 226により特定される推定モデル特定パラメータ導出特性 231に基づいて、 入力フレームレート 221Bに対応する推定モデル特定パラメータ 232を算出するよう にしたので、評価対象となる映像通信サービスや端末の具体的な性質に基づく推定 モデル特定パラメータ 232を導出することができ、映像品質推定の精度を向上させる ことができる。
[0150] 特に、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービ スで用いる符号ィ匕方式や端末ごとに、映像品質推定モデルを用意しなければならな かった。しカゝしながら、本実施の形態によれば、映像品質推定モデルが符号ィ匕方式 や端末に依存せず、映像品質推定モデルに用いる係数を符号化方式や端末に応じ て参照するだけで、同じ映像品質推定モデルを利用できる。したがって、異なる環境 の映像通信サービスに対して柔軟に対応することができる。
[0151] 図 33は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフで ある。図 33において、横軸は映像品質推定装置を用いて推定した主観映像品質の 推定値 (MOS値)を示し、縦軸は視聴者が実際にオピニオン評価した主観映像品質 の評価値 (MOS値)を示している。前述した文献 2に基づく従来の映像品質推定装 置の推定精度を示す図 18に比較して、図 33のほうが、評価値と推定値の誤差が少 なぐ推定精度が向上していることがわかる。なお、これらは特定の推定条件下での 比較結果であるが、異なる符号化方式や端末を用いた場合でも、同様の比較結果が 確認されている。
[0152] [各実施の形態の拡張]
以上の第 1および第 2の実施の形態では、ガウス関数を用いて推定モデル 122をモ デルイ匕した場合を例として説明したが、これに限定されるものではなぐ二次関数や 高次関数などの他の関数を用いてもよい。また、推定モデル 122が関数でモデルィ匕 されている場合を例として説明した力 関数以外の他のモデル、例えば-ユーラルネ ットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボックスモ デルであってもよい。
[0153] また、第 2の実施の形態で用いた係数 DB125の副パラメータと特性係数 126の対 応関係にっ ヽては、各種副パラメータの組合せごとに各推定モデル特定パラメータ 導出特性 131を実測し、得られた計測データに対して最小二乗による収束演算を行 うことにより、各特性係数 126を算出してもよぐこのような特性係数算出のための構 成を映像品質推定装置 100に実装してもよい。 [0154] また、第 3および第 4実施の形態では、ロジスティック関数を用いて推定モデル 222 をモデルィ匕した場合を例として説明したが、これに限定されるものではなぐ二次関 数や高次関数などの他の関数を用いてもよい。また、推定モデル 222が関数でモデ ルイ匕されている場合を例として説明した力 関数以外の他のモデル、例えば-ユーラ ルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラックボック スモデルであってもよ!/、。
[0155] また、第 4の実施の形態で用いた係数 DB225の副パラメータと特性係数 226の対 応関係にっ ヽては、各種副パラメータの組合せごとに各推定モデル特定パラメータ 導出特性 231を実測し、得られた計測データに対して最小二乗による収束演算を行 うことにより、各特性係数 226を算出してもよぐこのような特性係数算出のための構 成を映像品質推定装置 200に実装してもよい。
[0156] また、各実施の形態では、記憶部 131M, 125M, 231M, 225Mなどの記憶部が それぞれ別個の記憶装置力 構成されている場合を例として説明したが、これに限 定されるものではなぐ各記憶部のうち複数あるいは全部を 1つの記憶装置で構成し てもよい。

Claims

請求の範囲
[1] 複数のフレームに符号ィ匕した映像メディアに関する、単位時間当たりの符号ィ匕ビッ ト数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレ ートからなる映像メディアパラメータを、それぞれ入力符号ィ匕ビットレートおよび入力 フレームレートからなる主パラメータとして取得するパラメータ取得部と、
前記映像メディアパラメータのいずれか一方のパラメータに対応する主パラメータ に基づいて前記映像メディアパラメータの他方のパラメータと主観映像品質との関係 を示す推定モデルを特定する推定モデル特定部と、
特定された前記推定モデルを用いて前記一方のパラメータに対応する主パラメ一 タに対応する主観映像品質を推定し、通信網を介して任意の端末で受信し再生した 前記映像メディアカゝら視聴者が実感する主観映像品質の推定値として出力する映像 品質推定部と
を備えることを特徴とする映像品質推定装置。
[2] 請求項 1に記載の映像品質推定装置にお!、て、
前記一方のパラメータに対応する主パラメータが入力符号ィ匕ビットレートからなり、 前記他方のパラメータがフレームレートからなることを特徴とする映像品質推定装置。
[3] 請求項 2に記載の映像品質推定装置にお 、て、
前記推定モデル特定部は、前記入力符号化ビットレートで送信された前記映像メ ディアの主観映像品質が最良となるフレームレートを示す最適フレームレートを算出 する最適フレームレート算出部と、前記入力符号化ビットレートで送信された前記映 像メディアの主観映像品質の最良値を示す最良映像品質を算出する最良映像品質 算出部と、前記最適フレームレートと前記最良映像品質とを含む推定モデル特定パ ラメータに基づいて前記推定モデルを生成する推定モデル生成部とを備えることを 特徴とする映像品質推定装置。
[4] 請求項 3に記載の映像品質推定装置にお 、て、
前記推定モデル特定部は、前記入力符号化ビットレートで送信された前記映像メ ディアに関する、その最良映像品質力 の劣化度合いを示す映像品質劣化指標を 算出する映像品質劣化指標算出部をさらに備え、 前記推定モデル生成部は、前記最適フレームレート、前記最良映像品質、および 前記映像品質劣化指標を含む推定モデル特定パラメータに基づいて前記推定モデ ルを生成する
ことを特徴とする映像品質推定装置。
[5] 請求項 3に記載の映像品質推定装置において、
前記推定モデルは、前記映像メディアの符号ィヒビットレートが前記入力符号ィ匕ビッ トレートで一定の場合に、前記最適フレームレートにおける前記最良映像品質を頂 点として凸型をなすフレームレート一映像品質特性カゝらなることを特徴とする映像品 質推定装置。
[6] 請求項 5に記載の映像品質推定装置にお 、て、
前記推定モデルは、前記最適フレームレートにおける前記最良映像品質を頂点と して凸型をなすガウス関数力 なることを特徴とする映像品質推定装置。
[7] 請求項 3に記載の映像品質推定装置において、
前記最適フレームレート算出部は、前記符号化ビットレートの増加に応じて前記最 適フレームレートが単調増加した後に所定の最大フレームレートに収束する符号ィ匕 ビットレート 最適フレームレート特性に基づいて、前記入力符号ィ匕ビットレートに対 応する最適フレームレートを算出することを特徴とする映像品質推定装置。
[8] 請求項 3に記載の映像品質推定装置にお 、て、
前記最良映像品質算出部は、前記符号化ビットレートの増加に応じて前記最良映 像品質が単調増カロした後に所定の最大主観映像品質値に収束する符号ィ匕ビットレ 一トー最良映像品質特性に基づいて、前記入力符号ィ匕ビットレートに対応する最良 映像品質を算出することを特徴とする映像品質推定装置。
[9] 請求項 4に記載の映像品質推定装置にお ヽて、
前記映像品質劣化指標算出部は、前記符号化ビットレートの増加に応じて前記映 像品質劣化指標が単調増加する符号ィ匕ビットレート一映像品質劣化指標特性に基 づいて、前記入力符号ィ匕ビットレートに対応する映像品質劣化指標を算出することを 特徴とする映像品質推定装置。
[10] 請求項 3に記載の映像品質推定装置において、 前記映像メディアの符号ィ匕ビットレートと当該符号ィ匕ビットレートで送信された前記 映像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレート との関係を示す符号化ビットレート 最適フレームレート特性と、前記映像メディアの 符号ィ匕ビットレートと当該符号ィ匕ビットレートで送信された前記映像メディアの主観映 像品質の最良値を示す最良映像品質との関係を示す符号ィ匕ビットレート 最良映像 品質特性とを記憶する第 1の記憶部をさらに備え、
前記最適フレームレート算出部は、前記符号ィ匕ビットレート 最適フレームレート特 性を参照して前記入力符号ィ匕ビットレートに対応する最適フレームレートを算出し、 前記最良映像品質算出部は、前記符号ィ匕ビットレート 最良映像品質特性を参照し て前記入力符号ィ匕ビットレートに対応する最良映像品質を算出する
ことを特徴とする映像品質推定装置。
[11] 請求項 10に記載の映像品質推定装置において、
前記第 1の記憶部は、前記映像メディアの符号ィ匕ビットレートと当該符号化ビットレ ートで送信された前記映像メディアに関する、その最良映像品質力もの劣化度合 、 を示す映像品質劣化指標との関係を示す符号ィ匕ビットレート一映像品質劣化指標特 性をさらに記憶し、
前記映像品質劣化指標算出部は、前記符号化ビットレート一映像品質劣化指標特 性を参照して前記入力符号ィ匕ビットレートに対応する映像品質劣化指標を算出する ことを特徴とする映像品質推定装置。
[12] 請求項 2に記載の映像品質推定装置において、
前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メデ ィァの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再 生する際の周囲環境を示す再生環境パラメータのうちの 1つ以上力 なる副パラメ一 タについて、前記推定モデル特定パラメータの導出に用いる特性係数との対応関係 を記憶する第 2の記憶部と、前記第 2の記憶部を参照して前記パラメータ取得部で取 得された副パラメータに対応する特性係数を取得する係数取得部とをさらに備え、 前記推定モデル特定部は、前記特性係数により特定される、符号ィヒビットレートと 任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ導出特 性に基づいて、前記入力符号ィ匕ビットレートに対応する当該推定モデル特定パラメ ータを算出する
ことを特徴とする映像品質推定装置。
[13] 請求項 1に記載の映像品質推定装置にぉ 、て、
前記一方のパラメータに対応する主パラメータが入力フレームレートからなり、前記 他方のパラメータが符号ィ匕ビットレートからなることを特徴とする映像品質推定装置。
[14] 請求項 13に記載の映像品質推定装置において、
前記推定モデル特定部は、前記入力フレームレートで送信された前記映像メディ ァの主観映像品質の最良値を示す最良映像品質を算出する最良映像品質算出部 と、前記入力フレームレートで送信された前記映像メディアの主観映像品質に関する 変化度合いを示す映像品質第 1変化指標を算出する映像品質第 1変化指標算出部 と、前記入力フレームレートで送信された前記映像メディアの主観映像品質に関する 変化度合いを示す映像品質第 2変化指標を算出する映像品質第 2変化指標算出部 と、前記最良映像品質、前記映像品質第 1変化指標、および前記映像品質第 2変化 指標を含む推定モデル特定パラメータに基づいて前記推定モデルを生成する推定 モデル生成部とを備えることを特徴とする映像品質推定装置。
[15] 請求項 14に記載の映像品質推定装置において、
前記推定モデルは、前記映像メディアのフレームレートが前記入力フレームレート で一定の場合に、前記映像メディアの符号ィ匕ビットレートの増加に応じて前記主観映 像品質が前記映像品質第 1変化指標および前記映像品質第 2変化指標に基づく変 化度合!ヽで単調増加し前記最良映像品質へ収束する符号化ビットレート 映像品 質特性からなることを特徴とする映像品質推定装置。
[16] 請求項 15に記載の映像品質推定装置において、
前記推定モデルは、前記映像メディアの符号ィ匕ビットレートの増加に応じて単調増 カロし前記最良映像品質へ収束するロジスティック関数力 なることを特徴とする映像 品質推定装置。
[17] 請求項 14に記載の映像品質推定装置において、
前記最良映像品質算出部は、前記フレームレートの増加に応じて前記最良映像品 質が単調増加した後に所定の最大値に収束するフレームレート 最良映像品質特 性に基づいて、前記入力フレームレートに対応する最良映像品質を算出することを 特徴とする映像品質推定装置。
[18] 請求項 14に記載の映像品質推定装置において、
前記映像品質第 1変化指標算出部は、前記フレームレートの増加に応じて前記映 像品質第 1変化指標が単調増加するフレームレート一映像品質第 1変化指標特性に 基づいて、前記入力フレームレートに対応する映像品質第 1変化指標を算出すること を特徴とする映像品質推定装置。
[19] 請求項 14に記載の映像品質推定装置において、
前記映像品質第 2変化指標算出部は、前記フレームレートの増加に応じて前記映 像品質第 2変化指標が単調減少するフレームレート一映像品質第 2変化指標特性に 基づいて、前記入力フレームレートに対応する映像品質第 2変化指標を算出すること を特徴とする映像品質推定装置。
[20] 請求項 14に記載の映像品質推定装置において、
前記映像メディアのフレームレートと当該フレームレートで送信された前記映像メデ ィァの主観映像品質の最良値を示す最良映像品質との関係を示すフレームレート 最良映像品質特性と、前記映像メディアのフレームレートと当該フレームレートで送 信された前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第 1変化指標との関係を示すフレームレート一映像品質第 1変化指標特性と、前記映 像メディアのフレームレートと当該フレームレートで送信された前記映像メディアの主 観映像品質に関する変化度合いを示す映像品質第 2変化指標との関係を示すフレ 一ムレートー映像品質第 2変化指標特性とを記憶する第 3の記憶部をさらに備え、 前記最良映像品質算出部は、前記フレームレート 最良映像品質特性を参照して 前記入力フレームレートに対応する最良映像品質を算出し、前記映像品質第 1変化 指標算出部は、前記フレームレート一映像品質第 1変化指標特性を参照して前記入 カフレームレートに対応する映像品質第 1変化指標を算出し、前記映像品質第 2変 化指標算出部は、前記フレームレート一映像品質第 2変化指標特性を参照して前記 入力フレームレートに対応する映像品質第 2変化指標を算出する ことを特徴とする映像品質推定装置。
[21] 請求項 13に記載の映像品質推定装置において、
前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メデ ィァの再生性能を示す再生性能パラメータ、または前記端末で前記映像メディアを再 生する際の周囲環境を示す再生環境パラメータのうちの 1つ以上力 なる副パラメ一 タについて、前記推定モデル特定パラメータの導出に用いる特性係数との対応関係 を記憶する第 4の記憶部と、前記第 4の記憶部を参照して前記パラメータ取得部で取 得された副パラメータに対応する特性係数を取得する係数取得部とをさらに備え、 前記推定モデル特定部は、前記特性係数により特定される、符号ィヒビットレートと 任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ導出特 性に基づいて、前記入力符号ィ匕ビットレートに対応する当該推定モデル特定パラメ ータを算出する
ことを特徴とする映像品質推定装置。
[22] ノ ラメータ取得部により、複数のフレームに符号ィ匕した映像メディアに関する、単位 時間当たりの符号ィ匕ビット数を示す符号ィ匕ビットレートおよび単位時間当たりのフレ 一ム数を示すフレームレートからなる映像メディアパラメータを、それぞれ入力符号化 ビットレートおよび入力フレームレートからなる主パラメータとして取得するパラメータ 取得ステップと、
推定モデル特定部により、前記映像メディアパラメータの 、ずれか一方のパラメ一 タに対応する主パラメータに基づいて前記映像メディアパラメータの他方のパラメ一 タと主観映像品質との関係を示す推定モデルを特定する推定モデル特定ステップと 映像品質推定部により、特定された前記推定モデルを用いて前記一方のパラメ一 タに対応する主パラメータに対応する主観映像品質を推定し、通信網を介して任意 の端末で受信し再生した前記映像メディアカゝら視聴者が実感する主観映像品質の 推定値として出力する映像品質推定ステップと
を備えることを特徴とする映像品質推定方法。
[23] 請求項 22に記載の映像品質推定方法にぉ 、て、 前記一方のパラメータに対応する主パラメータが入力符号ィ匕ビットレートからなり、 前記他方のパラメータがフレームレートからなることを特徴とする映像品質推定方法。
[24] 請求項 23に記載の映像品質推定方法にぉ 、て、
前記推定モデル特定ステップは、前記入力符号化ビットレートで送信された前記映 像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレートを 算出する最適フレームレート算出ステップと、前記入力符号ィ匕ビットレートで送信され た前記映像メディアの主観映像品質の最良値を示す最良映像品質を算出する最良 映像品質算出ステップと、前記最適フレームレートと前記最良映像品質とを含む推 定モデル特定パラメータに基づ ヽて前記推定モデルを生成する推定モデル生成ス テツプとを備えることを特徴とする映像品質推定方法。
[25] 請求項 24に記載の映像品質推定方法にぉ 、て、
前記推定モデル特定ステップは、前記入力符号化ビットレートで送信された前記映 像メディアに関する、その最良映像品質力もの劣化度合いを示す映像品質劣化指 標を算出する映像品質劣化指標算出ステップをさらに備え、
前記推定モデル生成ステップは、前記最適フレームレート、前記最良映像品質、お よび前記映像品質劣化指標を含む推定モデル特定パラメータに基づいて前記推定 モデルを生成する
ことを特徴とする映像品質推定方法。
[26] 請求項 24に記載の映像品質推定方法にぉ 、て、
前記推定モデルは、前記映像メディアの符号ィヒビットレートが前記入力符号ィ匕ビッ トレートで一定の場合に、前記最適フレームレートにおける前記最良映像品質を頂 点として凸型をなすフレームレート一映像品質特性カゝらなることを特徴とする映像品 質推定方法。
[27] 請求項 26に記載の映像品質推定方法にぉ 、て、
前記推定モデルは、前記最適フレームレートにおける前記最良映像品質を頂点と して凸型をなすガウス関数カゝらなることを特徴とする映像品質推定方法。
[28] 請求項 24に記載の映像品質推定方法にぉ 、て、
前記最適フレームレート算出ステップは、前記符号ィ匕ビットレートの増加に応じて前 記最適フレームレートが単調増加した後に所定の最大フレームレートに収束する符 号ィ匕ビットレート 最適フレームレート特性に基づいて、前記入力符号ィ匕ビットレート に対応する最適フレームレートを算出することを特徴とする映像品質推定方法。
[29] 請求項 24に記載の映像品質推定方法にぉ 、て、
前記最良映像品質算出ステップは、前記符号ィ匕ビットレートの増加に応じて前記最 良映像品質が単調増カロした後に所定の最大主観映像品質値に収束する符号ィ匕ビッ トレートー最良映像品質特性に基づいて、前記入力符号ィ匕ビットレートに対応する最 良映像品質を算出することを特徴とする映像品質推定方法。
[30] 請求項 25に記載の映像品質推定方法にお 、て、
前記映像品質劣化指標算出ステップは、前記符号化ビットレートの増加に応じて前 記映像品質劣化指標が単調増加する符号化ビットレート一映像品質劣化指標特性 に基づいて、前記入力符号ィ匕ビットレートに対応する映像品質劣化指標を算出する ことを特徴とする映像品質推定方法。
[31] 請求項 24に記載の映像品質推定方法において、
第 1の記憶部により、前記映像メディアの符号ィ匕ビットレートと当該符号ィ匕ビットレー トで送信された前記映像メディアの主観映像品質が最良となるフレームレートを示す 最適フレームレートとの関係を示す符号ィ匕ビットレート 最適フレームレート特性と、 前記映像メディアの符号ィ匕ビットレートと当該符号ィ匕ビットレートで送信された前記映 像メディアの主観映像品質の最良値を示す最良映像品質との関係を示す符号ィ匕ビ ットレート—最良映像品質特性とを記憶する第 1の記憶ステップをさらに備え、 前記最適フレームレート算出ステップは、前記符号ィ匕ビットレート 最適フレームレ ート特性を参照して前記入力符号ィ匕ビットレートに対応する最適フレームレートを算 出し、前記最良映像品質算出ステップは、前記符号化ビットレート—最良映像品質 特性を参照して前記入力符号ィ匕ビットレートに対応する最良映像品質を算出する ことを特徴とする映像品質推定方法。
[32] 請求項 31に記載の映像品質推定方法にお 、て、
前記第 1の記憶ステップは、前記第 1の記憶部により、前記映像メディアの符号化ビ ットレートと当該符号ィ匕ビットレートで送信された前記映像メディアに関する、その最 良映像品質力 の劣化度合いを示す映像品質劣化指標との関係を示す符号ィ匕ビッ トレートー映像品質劣化指標特性をさらに記憶し、
前記映像品質劣化指標算出ステップは、前記符号化ビットレート一映像品質劣化 指標特性を参照して前記入力符号ィ匕ビットレートに対応する映像品質劣化指標を算 出する
ことを特徴とする映像品質推定方法。
[33] 請求項 23に記載の映像品質推定方法にぉ 、て、
第 2の記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末に おける前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で 前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの 1っ以 上力もなる副パラメータについて、前記推定モデル特定パラメータの導出に用いる特 性係数との対応関係を記憶する第 2の記憶ステップと、係数取得部により、前記第 2 の記憶部を参照して前記パラメータ取得ステップで取得された副パラメータに対応す る特性係数を取得する係数取得ステップとをさらに備え、
前記推定モデル特定ステップは、前記特性係数により特定される、符号化ビットレ ートと任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ 導出特性に基づいて、前記入力符号化ビットレートに対応する当該推定モデル特定 ノ ラメータを算出する
ことを特徴とする映像品質推定方法。
[34] 請求項 22に記載の映像品質推定方法にお 、て、
前記一方のパラメータに対応する主パラメータが入力フレームレートからなり、前記 他方のパラメータが符号ィ匕ビットレートからなることを特徴とする映像品質推定方法。
[35] 請求項 34に記載の映像品質推定方法にぉ 、て、
前記推定モデル特定ステップは、前記入力フレームレートで送信された前記映像メ ディアの主観映像品質の最良値を示す最良映像品質を算出する最良映像品質算出 ステップと、前記入力フレームレートで送信された前記映像メディアの主観映像品質 に関する変化度合いを示す映像品質第 1変化指標を算出する映像品質第 1変化指 標算出ステップと、前記入力フレームレートで送信された前記映像メディアの主観映 像品質に関する変化度合いを示す映像品質第 2変化指標を算出する映像品質第 2 変化指標算出ステップと、前記最良映像品質、前記映像品質第 1変化指標、および 前記映像品質第 2変化指標を含む推定モデル特定パラメータに基づいて前記推定 モデルを生成する推定モデル生成ステップとを備えることを特徴とする映像品質推定 方法。
[36] 請求項 35に記載の映像品質推定方法にお 、て、
前記推定モデルは、前記映像メディアのフレームレートが前記入力フレームレート で一定の場合に、前記映像メディアの符号ィ匕ビットレートの増加に応じて前記主観映 像品質が前記映像品質第 1変化指標および前記映像品質第 2変化指標に基づく変 化度合!ヽで単調増加し前記最良映像品質へ収束する符号化ビットレート 映像品 質特性からなることを特徴とする映像品質推定方法。
[37] 請求項 36に記載の映像品質推定方法にぉ 、て、
前記推定モデルは、前記映像メディアの符号ィ匕ビットレートの増加に応じて単調増 カロし前記最良映像品質へ収束するロジスティック関数を用いることを特徴とする映像 品質推定方法。
[38] 請求項 35に記載の映像品質推定方法にお 、て、
前記最良映像品質算出ステップは、前記フレームレートの増加に応じて前記最良 映像品質が単調増加した後に所定の最大値に収束するフレームレート 最良映像 品質特性に基づいて、前記入力フレームレートに対応する最良映像品質を算出する ことを特徴とする映像品質推定方法。
[39] 請求項 35に記載の映像品質推定方法にお 、て、
前記映像品質第 1変化指標算出ステップは、前記フレームレートの増加に応じて前 記映像品質第 1変化指標が単調増加するフレームレート一映像品質第 1変化指標特 性に基づいて、前記入力フレームレートに対応する映像品質第 1変化指標を算出す ることを特徴とする映像品質推定方法。
[40] 請求項 35に記載の映像品質推定方法にお 、て、
前記映像品質第 2変化指標算出ステップは、前記フレームレートの増加に応じて前 記映像品質第 2変化指標が単調減少するフレームレート一映像品質第 2変化指標特 性に基づいて、前記入力フレームレートに対応する映像品質第 2変化指標を算出す ることを特徴とする映像品質推定方法。
[41] 請求項 35に記載の映像品質推定方法において、
第 3の記憶部により、前記映像メディアのフレームレートと当該フレームレートで送 信された前記映像メディアの主観映像品質の最良値を示す最良映像品質との関係 を示すフレームレート 最良映像品質特性と、前記映像メディアのフレームレートと 当該フレームレートで送信された前記映像メディアの主観映像品質に関する変化度 合いを示す映像品質第 1変化指標との関係を示すフレームレート一映像品質第 1変 化指標特性と、前記映像メディアのフレームレートと当該フレームレートで送信された 前記映像メディアの主観映像品質に関する変化度合いを示す映像品質第 2変化指 標との関係を示すフレームレート一映像品質第 2変化指標特性とを記憶する第 3の 記 '慮ステップをさらに備え、
前記最良映像品質算出ステップは、前記フレームレート 最良映像品質特性を参 照して前記入力フレームレートに対応する最良映像品質を算出し、前記映像品質第 1変化指標算出ステップは、前記フレームレート一映像品質第 1変化指標特性を参 照して前記入力フレームレートに対応する映像品質第 1変化指標を算出し、前記映 像品質第 2変化指標算出ステップは、前記フレームレート一映像品質第 2変化指標 特性を参照して前記入力フレームレートに対応する映像品質第 2変化指標を算出す る
ことを特徴とする映像品質推定方法。
[42] 請求項 34に記載の映像品質推定方法にお 、て、
第 4の記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末に おける前記映像メディアの再生性能を示す再生性能パラメータ、または前記端末で 前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの 1っ以 上力もなる副パラメータについて、前記推定モデル特定パラメータの導出に用いる特 性係数との対応関係を記憶する第 4の記憶ステップと、係数取得部により、前記第 4 の記憶部を参照して前記パラメータ取得ステップで取得された副パラメータに対応す る特性係数を取得する係数取得ステップとをさらに備え、 前記推定モデル特定ステップは、前記特性係数により特定される、符号化ビットレ ートと任意の推定モデル特定パラメータとの関係を示す推定モデル特定パラメータ 導出特性に基づいて、前記入力符号化ビットレートに対応する当該推定モデル特定 パラメータを算出する
ことを特徴とする映像品質推定方法。
複数のフレームに符号ィヒした映像メディアを任意の端末へ通信網を介して送信す る映像通信にっ ヽて、前記端末で再生された当該映像メディアカゝら視聴者が実感す る主観映像品質の推定値を所定の推定モデルを用いて算出する映像品質推定装 置のコンピュータに、
ノ メータ取得部により、前記映像メディアに関する、単位時間当たりの符号ィ匕ビッ ト数を示す符号化ビットレートおよび単位時間当たりのフレーム数を示すフレームレ ートからなる映像メディアパラメータを、それぞれ入力符号ィ匕ビットレートおよび入力 フレームレートからなる主パラメータとして取得するパラメータ取得ステップと、 推定モデル特定部により、前記映像メディアパラメータの 、ずれか一方のパラメ一 タに対応する主パラメータに基づいて前記映像メディアパラメータの他方のパラメ一 タと主観映像品質との関係を示す推定モデルを特定する推定モデル特定ステップと 映像品質推定部により、特定された前記推定モデルを用いて前記一方のパラメ一 タに対応する主パラメータに対応する主観映像品質を推定し前記推定値として出力 する映像品質推定ステップと
を実行させるプログラム。
PCT/JP2006/323731 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム WO2007129422A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US11/886,408 US7965203B2 (en) 2006-05-09 2006-11-28 Video quality estimation apparatus, method, and program
EP06833535.5A EP2018068B1 (en) 2006-05-09 2006-11-28 Video quality estimating device, method, and program
KR20077022050A KR100933509B1 (ko) 2006-05-09 2006-11-28 비디오 품질 추정 장치, 방법 및 프로그램을 기록한 컴퓨터 판독가능한 기록매체
CA 2604053 CA2604053C (en) 2006-05-09 2006-11-28 Video quality estimation appartus, method, and program
JP2007516127A JP4594389B2 (ja) 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム
CN2006800098982A CN101151904B (zh) 2006-05-09 2006-11-28 视频品质评估设备、方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006-130080 2006-05-09
JP2006-130090 2006-05-09
JP2006130080 2006-05-09
JP2006130090 2006-05-09

Publications (1)

Publication Number Publication Date
WO2007129422A1 true WO2007129422A1 (ja) 2007-11-15

Family

ID=38667536

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323731 WO2007129422A1 (ja) 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム

Country Status (6)

Country Link
EP (1) EP2018068B1 (ja)
JP (2) JP4594389B2 (ja)
KR (1) KR100933509B1 (ja)
CN (1) CN101151904B (ja)
CA (1) CA2604053C (ja)
WO (1) WO2007129422A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009273010A (ja) * 2008-05-09 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置およびプログラム
JP2011015165A (ja) * 2009-07-01 2011-01-20 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、システム、方法およびプログラム
JP2012004840A (ja) * 2010-06-16 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価装置及び方法及びプログラム
WO2016080354A1 (ja) * 2014-11-17 2016-05-26 日本電信電話株式会社 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
WO2017145399A1 (ja) * 2016-02-24 2017-08-31 三菱電機株式会社 画像処理装置、設計支援システム及びプログラム
CN113382237A (zh) * 2021-06-08 2021-09-10 北京杰瑞创通科技有限公司 实时视频传输的自适应动态抗网络丢包智能信源解码方法
CN115550598A (zh) * 2022-09-14 2022-12-30 北京融讯科创技术有限公司 视频会议配置方法、装置、终端设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2604053C (en) * 2006-05-09 2012-07-10 Nippon Telegraph And Telephone Corporation Video quality estimation appartus, method, and program
BR112012008605B1 (pt) * 2009-10-22 2021-09-08 Nippon Telegraph And Telephone Corporation Aparelho e método de estimação de qualidade de vídeo
CN102075965A (zh) * 2009-11-24 2011-05-25 中国移动通信集团天津有限公司 一种移动终端性能评估方法和装置
US10728538B2 (en) 2010-01-11 2020-07-28 Telefonaktiebolaget L M Ericsson(Publ) Technique for video quality estimation
CN101895787B (zh) * 2010-07-21 2012-09-12 深圳市融创天下科技股份有限公司 一种视频编码性能主观评价方法及系统
PT2413612E (pt) * 2010-07-30 2015-04-15 Deutsche Telekom Ag Métodos e aparelhos para sincronização temporal entre o fluxo de bits de vídeo e a sequência de vídeo de saída
CN103686176B (zh) * 2013-12-30 2016-09-21 清华大学 一种用于视频编码的码率估计方法
CN110798469A (zh) * 2016-09-19 2020-02-14 贵州白山云科技股份有限公司 一种dns服务器的安全防护方法以及装置
EP3579568A1 (en) * 2017-01-31 2019-12-11 Sony Corporation Information processing device and method
KR102452313B1 (ko) * 2017-11-29 2022-10-07 한국전자통신연구원 인지 민감도를 고려하는 영상 화질 측정 방법 및 장치
JP7073894B2 (ja) * 2018-05-09 2022-05-24 日本電信電話株式会社 エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
CN108769179A (zh) * 2018-05-23 2018-11-06 北京顺丰同城科技有限公司 一种服务健康状态评估方法及装置
CN109286812B (zh) * 2018-10-24 2020-06-05 华中科技大学 一种hevc视频质量估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2006074333A (ja) * 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 双方向通信サービスシステムにおける品質推定方法および品質推定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1157059C (zh) * 2002-01-29 2004-07-07 北京工业大学 一种结合运动特征的视频质量评价方法
JP2004343415A (ja) * 2003-05-15 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> 符号化条件決定方法及び符号化方法及び符号化条件決定装置及び符号化システム
CA2604053C (en) * 2006-05-09 2012-07-10 Nippon Telegraph And Telephone Corporation Video quality estimation appartus, method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2006074333A (ja) * 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 双方向通信サービスシステムにおける品質推定方法および品質推定装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ARAYAMA Y. ET AL.: "Fugoka Parameter to Packet Sonshitsu o Koryo shita AV Tsushin Hinshitsu no Suitei Model (Opinion model for audio-visual communication quality from quality parameters by coding and packet loss)", IEICE TECHNICAL REPORT, vol. 105, no. 406, November 2005 (2005-11-01), pages 57 - 60 + ABSTR. NO. CQ2005-77, XP003016988 *
MIYATA T. ET AL.: "Dogazo no Hinshitsu Shudogata Scalable Fugoka Fukin'itsu Frame Kankaku ni yoru Approach (Scalable Video Coding based on Subjective quality - An Approach of Nonuniform Frame Period -)", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU, vol. 2003, no. 99, October 2003 (2003-10-01), pages 29 - 34 + ABSTR. NO. 2003-AVM-42, XP003016986 *
See also references of EP2018068A4 *
YAMAGISHI K. ET AL.: "Eizo Communication Service ni Taisuru Hyoji Size.Kaizodo o Koryo shita Eizo Hinshitsu Suitei Model (Video Quality Estimation Model based on Displaysize and Resolution for Audiovisual Communication Services)", IEICE TECHNICAL REPORT, vol. 105, no. 282, September 2005 (2005-09-01), pages 61 - 64 + ABSTR. NO. CQ2005-60, XP003016987 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009273010A (ja) * 2008-05-09 2009-11-19 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定方法、装置およびプログラム
JP2011015165A (ja) * 2009-07-01 2011-01-20 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、システム、方法およびプログラム
JP2012004840A (ja) * 2010-06-16 2012-01-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価装置及び方法及びプログラム
WO2016080354A1 (ja) * 2014-11-17 2016-05-26 日本電信電話株式会社 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
JPWO2016080354A1 (ja) * 2014-11-17 2017-08-31 日本電信電話株式会社 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
US10154266B2 (en) 2014-11-17 2018-12-11 Nippon Telegraph And Telephone Corporation Video quality estimation device, video quality estimation method, and video quality estimation program
WO2017145399A1 (ja) * 2016-02-24 2017-08-31 三菱電機株式会社 画像処理装置、設計支援システム及びプログラム
JP2017152897A (ja) * 2016-02-24 2017-08-31 三菱電機ビルテクノサービス株式会社 画像処理装置、設計支援システム及びプログラム
AU2016393988B2 (en) * 2016-02-24 2019-05-30 Mitsubishi Electric Corporation Image processing apparatus, design support system, and program
CN113382237A (zh) * 2021-06-08 2021-09-10 北京杰瑞创通科技有限公司 实时视频传输的自适应动态抗网络丢包智能信源解码方法
CN115550598A (zh) * 2022-09-14 2022-12-30 北京融讯科创技术有限公司 视频会议配置方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
EP2018068B1 (en) 2016-06-22
CN101151904B (zh) 2010-06-16
JP4913893B2 (ja) 2012-04-11
CA2604053A1 (en) 2007-11-09
KR20080007550A (ko) 2008-01-22
KR100933509B1 (ko) 2009-12-23
EP2018068A1 (en) 2009-01-21
CN101151904A (zh) 2008-03-26
JP4594389B2 (ja) 2010-12-08
JPWO2007129422A1 (ja) 2009-09-17
CA2604053C (en) 2012-07-10
JP2010252400A (ja) 2010-11-04
EP2018068A4 (en) 2011-10-05

Similar Documents

Publication Publication Date Title
WO2007129422A1 (ja) 映像品質推定装置、方法、およびプログラム
JP4490483B2 (ja) 映像品質推定装置、方法、およびプログラム
US7965203B2 (en) Video quality estimation apparatus, method, and program
CA2617893C (en) Video communication quality estimation device, method, and program
JP4490374B2 (ja) 映像品質評価装置および方法
JP2009044393A (ja) 映像品質推定装置、方法、およびプログラム
JP5221459B2 (ja) 映像品質推定装置、システム、方法およびプログラム
JP4451856B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4451857B2 (ja) 映像品質パラメータ推定装置、方法、およびプログラム
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
Garcia et al. Towards a content-based parametric video quality model for IPTV
JP5292343B2 (ja) 映像品質客観評価装置及び方法及びプログラム
JP4408120B2 (ja) 映像品質推定装置、方法、およびプログラム
JP5237226B2 (ja) 映像品質推定装置、方法、およびプログラム
CN104995914A (zh) 用于基于上下文的视频质量评估的方法和装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680009898.2

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2007516127

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2604053

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2006833535

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11886408

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020077022050

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06833535

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE