WO2007129423A1 - 映像品質推定装置、方法、およびプログラム - Google Patents

映像品質推定装置、方法、およびプログラム Download PDF

Info

Publication number
WO2007129423A1
WO2007129423A1 PCT/JP2006/323733 JP2006323733W WO2007129423A1 WO 2007129423 A1 WO2007129423 A1 WO 2007129423A1 JP 2006323733 W JP2006323733 W JP 2006323733W WO 2007129423 A1 WO2007129423 A1 WO 2007129423A1
Authority
WO
WIPO (PCT)
Prior art keywords
video quality
video
rate
input
frame rate
Prior art date
Application number
PCT/JP2006/323733
Other languages
English (en)
French (fr)
Inventor
Kazuhisa Yamagishi
Takanori Hayashi
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to EP06833537.1A priority Critical patent/EP2018069B1/en
Priority to CA2604139A priority patent/CA2604139C/en
Priority to US11/886,406 priority patent/US8154602B2/en
Priority to JP2007516128A priority patent/JP4490483B2/ja
Publication of WO2007129423A1 publication Critical patent/WO2007129423A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H04L43/045—Processing captured monitoring data, e.g. for logfile generation for graphical visualisation of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H04L43/0829—Packet loss
    • H04L43/0835—One way packet loss

Definitions

  • Video quality estimation apparatus method, and program
  • the present invention relates to a video communication technique, and more particularly to a video quality estimation technique for estimating a subjective video quality perceived by a viewer when video media encoded in a plurality of frames is received and reproduced by a terminal.
  • video media in order to improve the transfer efficiency of video media, video media can be encoded into multiple frames by using the autocorrelation between pixels or images and the human visual characteristics of video media.
  • the U-key communication method is used.
  • ITU-T Recommendation P. 8D2 International Telecommunication Union-Telecommunication Standardization sector
  • PESQ Perceptual Evaluation of Speech Quality
  • ITU-T Recommendation G. 107 describes a voice quality estimation method that uses voice quality parameters as input, and is used for quality design in VoIP (Voice over IP).
  • Factors that have a large effect on video quality include a code bit rate and a frame rate that indicate the content of encoding processing for video media.
  • the sign bit rate is the video media
  • the frame rate is a value indicating the number of frames per unit time relating to the video medium.
  • the packet loss rate is a value indicating the probability of occurrence of a packet loss occurring in a communication network or terminal among packets used for transferring video media.
  • the encoded video media cannot be decoded normally, leading to degradation of video quality.
  • the code bit rate is low, the effect on the video quality due to the packet loss rate is small, but when the code bit rate is high, the video quality is improved even if the packet loss rate is the same. The impact will be greater.
  • the frame rate has the same characteristics as described above.
  • the feature amount of the image that is, the feature amount calculated for the spatial and temporal distortion force is taken into consideration.
  • Many factors that affect video quality of video communication services to estimate video quality i.e. it is unclear how each video quality parameter affects video quality. How much better the video quality will be, I can't get quality design / management guidelines!
  • Reference 2 and Reference 3 mentioned above are video quality estimation using video quality parameters as input.
  • the power of the law is not considering the effect on the video quality when packet loss occurs between the code bit rate and the frame rate, and the quality design and quality control of the application and network
  • the present invention is intended to solve such problems, and is specific and useful in consideration of the influence on the video quality due to the packet loss rate, which varies depending on the code bit rate and the frame rate.
  • the purpose is to provide a video quality estimation device, method, and program capable of obtaining quality design management guidelines.
  • the video quality estimation apparatus relates to an input code indicating the number of code bits per unit time for video media encoded in a plurality of frames.
  • ⁇ ⁇ ⁇ ⁇ ⁇ A parameter acquisition unit that acquires, as main parameters, an input frame rate indicating the bit rate, the number of frames per unit time, and an input packet loss rate indicating the occurrence probability of packet loss, and an input code key rate and an input frame
  • a first storage unit for storing a reference subjective video quality indicating subjective video quality when there is no packet loss with respect to video media encoded at a rate, a deterioration of the reference subjective video quality, and an input packet loss rate.
  • a deterioration model specifying unit that specifies a deterioration model indicating a relationship based on an input encoding bit rate and an input frame rate; By correcting the reference subjective video quality based on the video quality degradation rate corresponding to the input packet loss rate calculated using the degradation model, the video media camera received and played back by any terminal via the communication network And a video quality correction unit that calculates an estimated value of subjective video quality perceived by the viewer.
  • the video quality estimation method includes an input code bit indicating the number of code bits per unit time related to video media encoded in a plurality of frames by a parameter acquisition unit.
  • the parameter acquisition step for acquiring the rate, the input frame rate indicating the number of frames per unit time, and the input packet loss rate indicating the occurrence probability of packet loss as main parameters, and the input code by the first storage unit
  • Video media received and played back by any terminal via the communication network by correcting the reference subjective video quality based on the video quality degradation rate corresponding to the input packet loss rate calculated using the degraded model A video quality correction step for calculating an estimated value of subjective video quality perceived by the viewer.
  • the program of the present invention relates to video communication for transmitting video media encoded in a plurality of frames to an arbitrary terminal via a communication network, and the video media reproduced on the terminal.
  • the parameter acquisition unit indicates the number of code bits per unit time related to the video media to the computer of the video quality estimation device that calculates the estimated value of subjective video quality perceived by the viewer using a predetermined estimation model.
  • the input code bit rate, the input frame rate indicating the number of frames per unit time, and the input packet loss rate indicating the probability of occurrence of packet loss as the main parameters are input by the parameter acquisition step and the storage unit. Mainly when there is no packet loss for video media encoded at the encoding bit rate and input frame rate.
  • a deterioration model indicating the relationship between the deterioration of the reference subjective video quality and the input packet loss rate is input to the input code and bit rate by the storage step for storing the reference subjective video quality indicating the view video quality and the deterioration model specifying unit.
  • a degradation model identification step that identifies based on the frame rate, and a video quality correction unit that corrects the reference subjective video quality based on the video quality degradation rate corresponding to the input packet loss rate calculated using the identified degradation model.
  • a video quality correction step of calculating an estimated value of subjective video quality perceived by a viewer from a video media card received and played back by an arbitrary terminal via a communication network is executed.
  • the input frame rate indicating the number of frames per unit time for video media
  • the input code bit rate indicating the number of code bits per unit time
  • the degradation model specifying unit determines the reference subjective video quality based on the input frame rate and the input code bit rate. Degradation and packet loss A degradation model indicating the relationship with the loss rate is identified, and the reference subjective video quality is corrected based on the video quality degradation rate corresponding to the input packet loss rate calculated using the degradation model.
  • FIG. 1 is a block diagram showing a configuration of a video quality estimation apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a configuration of a degradation model specifying unit of the video quality estimation apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a graph showing packet loss rate—subjective video quality characteristics (vs. frame rate).
  • FIG. 4 is a graph showing packet loss rate-subjective video quality characteristics (vs. sign-bit rate).
  • FIG. 5 is a graph showing frame rate-degradation index characteristics.
  • FIG. 6 is a graph showing the sign-bit rate-deterioration index characteristic.
  • FIG. 7 is a three-dimensional graph showing the degradation index.
  • FIG. 8 is a graph showing the packet loss rate vs. video quality deterioration rate characteristics (vs. frame rate).
  • Fig. 9 is a diagram illustrating video quality estimation performed by the video quality estimation apparatus according to the first embodiment of the present invention. It is a flowchart which shows a fixed process.
  • FIG. 10 is a configuration example of deterioration index information.
  • FIG. 11 is a block diagram showing a configuration of a video quality estimation apparatus according to the second embodiment of the present invention.
  • FIG. 12 is a block diagram showing a configuration of a deterioration model specifying unit of the video quality estimation apparatus according to the second embodiment of the present invention.
  • FIG. 13 is an explanatory diagram showing a configuration example of the deterioration index coefficient DB.
  • FIG. 14 is a flowchart showing a video quality estimation process of the video quality estimation apparatus according to the second embodiment of the present invention.
  • FIG. 15 is a block diagram showing a configuration of a video quality estimation apparatus according to the third embodiment of the present invention.
  • FIG. 16 is a block diagram showing a configuration of a video quality estimation unit of the video quality estimation apparatus according to the third embodiment of the present invention.
  • FIG. 17 is a graph showing frame rate-subjective video quality characteristics.
  • FIG. 18 is a graph showing an optimal frame rate characteristic of a sign bit rate.
  • FIG. 19 is a graph showing a sign bit rate—best video quality characteristic.
  • FIG. 20 is an explanatory diagram showing a Gaussian function.
  • FIG. 21 is an explanatory diagram showing a frame rate-subjective video quality characteristic modeled by a Gaussian function.
  • FIG. 22 is a graph showing a sign bit rate—video quality degradation index characteristic.
  • FIG. 23 is a flowchart showing a reference subjective video quality estimation process of the video quality estimation apparatus according to the third embodiment of the present invention.
  • FIG. 24 is a configuration example of estimated model specifying parameter information.
  • FIG. 25 is a block diagram showing a configuration of a video quality estimation apparatus according to the fourth embodiment of the present invention.
  • FIG. 26 is a block diagram showing a configuration of a video quality estimation unit of the video quality estimation apparatus according to the fourth embodiment of the present invention.
  • FIG. 27 is an explanatory diagram showing a configuration example of the characteristic coefficient DB.
  • FIG. 28 is an explanatory diagram showing a logistic function.
  • FIG. 29 is an explanatory diagram showing the best video quality characteristics of the code bit rate modeled by the logistic function.
  • FIG. 30 is a flowchart showing a reference subjective video quality estimation process of the video quality estimation apparatus according to the fourth embodiment of the present invention.
  • FIG. 31 is a graph showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • FIG. 32 is a graph showing the estimation accuracy of a conventional video quality estimation apparatus.
  • FIG. 33 is a block diagram showing a configuration of an estimation model specifying unit of the video quality estimation apparatus according to the fifth embodiment of the present invention.
  • FIG. 34 is a graph showing the sign-bit rate subjective video quality characteristics of video media in the video communication service.
  • FIG. 35 is an explanatory diagram showing a sign-bit-rate-subjective-video quality characteristic modeled by a logistic function.
  • FIG. 36 is a graph showing a frame rate—best video quality characteristic.
  • FIG. 37 is a graph showing the frame rate-video quality first change index characteristic.
  • FIG. 38 is a graph showing the frame rate-video quality second change index characteristic.
  • FIG. 39 is a flowchart showing video quality estimation processing of the video quality estimation apparatus according to the fifth embodiment of the present invention.
  • FIG. 40 is a configuration example of estimated model specifying parameter information.
  • FIG. 41 is a block diagram showing a configuration of an estimation model specifying unit of the video quality estimation apparatus according to the sixth embodiment of the present invention.
  • FIG. 42 is an explanatory diagram showing a configuration example of the coefficient DB.
  • FIG. 43 is a flowchart showing video quality estimation processing of the video quality estimation apparatus according to the sixth embodiment of the present invention.
  • FIG. 44 is a drawing showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • FIG. 1 is a block diagram showing a configuration of a video quality estimation apparatus that works on the first embodiment of the present invention.
  • This video quality estimation device 1 is an information processing device such as a computer that performs arithmetic processing on inputted information, and transmits video media encoded in a plurality of frames to an arbitrary terminal via a communication network. For communication, an estimation condition relating to the video media and the communication network is input, and an estimated value of the subjective video quality that is perceived by the viewers of the video media player reproduced on the terminal is calculated using a predetermined estimation model.
  • an input code bit rate indicating the number of code bits per unit time relating to video media, an input frame rate indicating the number of frames per unit time, and occurrence of packet loss The input packet loss rate indicating the probability is input, and the reference subjective video quality indicating the subjective video quality of the video media encoded at the input code bit rate and the input frame rate is included in the reference subjective video quality.
  • a degradation model indicating the relationship between degradation and the packet loss rate is identified based on the input code bit rate and the input frame rate, and based on the video quality degradation rate corresponding to the packet loss calculated using the identified degradation model.
  • the estimated value is calculated by correcting the reference subjective video quality.
  • FIG. 2 is a block diagram showing the configuration of the degradation model specifying unit of the video quality estimation apparatus according to the first embodiment of the present invention.
  • the video quality estimation apparatus 1 is provided with a parameter acquisition unit 11, a degradation model specification unit 12, and a video quality correction unit 13 as main functional units. These functional units may be realized by a dedicated arithmetic processing circuit unit, but by installing a microprocessor such as a CPU and its peripheral circuits, reading a program prepared in advance and executing it by the microprocessor, The functional unit may be realized by cooperating the hardware and program. Yes.
  • processing information used in these functional units is stored in each storage unit (to be described later) composed of a memory device such as a memory disk, and processing information exchanged between these functional units is also a storage unit (also having a storage device capability). (Not shown). Further, the above program may be stored in a storage unit.
  • the video quality estimation device 1 is provided with various basic configurations such as a storage device, an operation input device, a screen display device, and the like, as in a general information processing device.
  • the parameter acquisition unit 11 obtains various estimation conditions 10 related to the video communication service to be evaluated, and the frame rate and code bit rate related to video media code encoding processing from the estimation conditions 10.
  • the function to extract the function to extract the packet loss rate related to the performance of the communication network and terminal that transfers video media from the estimation condition 10, and the input frame rate fr (21A), the input coding bit rate br (21B) And a function of outputting as a main parameter 21 composed of an input packet loss rate pi (21C).
  • an external device, a recording medium, or a communication network power is used using a data input / output device that performs data input / output that may be input by an operator operation using an operation input device such as a keyboard. It may be acquired or measured from an actual video communication service.
  • the input packet loss rate pi (21C) can be either packet loss at the communication network, packet loss at the terminal, or both, depending on the characteristics of the video media service and the desired subjective video quality. Good.
  • the degradation model specifying unit 12 determines the degradation of the reference subjective video quality 23 and the packet loss rate based on the input frame rate 21A and the input encoding bit rate 21B of the main parameter 21 output from the parameter acquisition unit 11. It has a function to identify the degradation model 22 that shows the relationship between The reference subjective video quality 23 is the subjective video quality when there is no packet loss with respect to the video media encoded at the input frame rate 21A and the input code bit rate 21B.
  • the parameter acquisition unit 11 may store it in the storage unit) from the estimation condition 10 simultaneously with the main parameter 21 and store it in the storage unit 23M.
  • the video quality correction unit 13 refers to the degradation model 22 identified by the degradation model identification unit 12, and calculates the video quality degradation rate corresponding to the input packet loss rate 21C of the main parameter 21. And a function of calculating a desired subjective video quality estimated value 24 by correcting the reference subjective video quality 23 based on the video quality deterioration rate.
  • the degradation model specifying unit 12 is also configured with several functional unit forces.
  • the main functional units include a frame rate degradation index calculation unit 12A, an encoded bit rate degradation index calculation unit 12B, and a degradation index calculation unit 12C.
  • the frame rate degradation index calculation unit 12A refers to the frame rate-degradation index characteristic 31A of the storage unit 31M (second storage unit), and receives the image transmitted at the input frame rate fr (21A). It has a function to calculate (fr) (first degradation index: 32A) as a frame rate degradation index indicating the degree of influence of the packet loss rate on the subjective video quality degradation of image media.
  • the code key bit rate deterioration index calculation unit 12B refers to the code key bit rate—deterioration index characteristic 31B of the storage unit 31M, and transmits the video media transmitted at the input code key bit rate br (21B). It has a function to calculate (br) (second degradation index: 32B) as a sign bit rate degradation index indicating the degree of influence of the packet loss rate on the degradation of subjective video quality.
  • the degradation index calculation unit 12C uses (fr) as the frame rate degradation index and the coding bit rate degradation.
  • Degradation index indicating the effect of packet loss rate on degradation of reference subjective video quality of video media transmitted at rate fr (21A) and input code bit rate br (21B) (fr, br) (33) It has a function to calculate.
  • the frame rate-degradation index characteristic 31A and the sign key rate-degradation index characteristic 31B are prepared in advance as the degradation index derivation characteristic 31 and stored in the storage unit 31M (second storage unit).
  • FIGS. Fig. 3 is a graph showing the packet loss rate subjective video quality characteristics (vs. frame rate) of the video communication media in the video communication service, and shows the characteristics for each frame rate fr.
  • Figure 4 is a graph showing the packet loss rate subjective video quality characteristics (vs. encoding bit rate) of video communication media in video communication services, and the characteristics for each encoding bit rate br. It is shown. 3 and 4, the horizontal axis indicates the packet loss rate pi (%), and the vertical axis indicates the subjective video quality value MOS (fr, br, pi) (MOS value).
  • the encoded video media may not be normally decoded. In such a case, the space of the video media may not be obtained. As shown in Fig. 3 and Fig. 4, the video quality monotonously degrades as the packet loss rate increases.
  • the frame rate has the same characteristics as described above.
  • the deterioration model specifying unit 12 causes the video media based on the input frame rate 21A and the input code bit rate 21B.
  • a degradation model 22 indicating the relationship between the degradation of the reference subjective video quality 23 and the input packet loss rate 21C is identified, and the video quality correction unit 13 uses the degradation model 22 identified by the degradation model identification unit 12 to input packets.
  • the degradation rate for the reference video quality G (fr, br) due to the packet loss rate pi at the input frame rate fr and the input coding bit rate br is the video quality degradation rate P (fr, br, pi)
  • the subjective video quality M OS (fr, br, pi) at an arbitrary input packet loss rate pi can be obtained by the following equation (1).
  • MOS (fr, br, pl) 1 + P ⁇ fr, br, pl)... ()
  • the degradation index ⁇ (fr, br) is the frame rate degradation index ⁇ (fr) and the encoding bit rate. It can be modeled by the following equation (3) synthesized by the linear sum of the degradation index (br).
  • Fig. 5 is a graph showing the frame rate toe degradation index characteristic indicating the influence component on the subjective video quality by the frame rate fr.
  • the horizontal axis represents the frame rate fr (fps), and the vertical axis represents the frame rate degradation.
  • the index ⁇ (fr) is shown.
  • the frame rate increases as the frame rate increases.
  • the rate degradation index ⁇ (fr) is monotonously decreasing.
  • Figure 6 shows the coding bit rate br
  • the horizontal axis indicates the sign key rate br (bps), and the vertical axis indicates the sign bit rate deterioration index ⁇ ( br).
  • the coding bit rate is inferior as the coding bit rate increases.
  • the conversion index ⁇ (br) decreases monotonously.
  • Figure 7 is a three-dimensional graph showing the degradation index.
  • the first horizontal axis shows the frame rate fr
  • the second horizontal axis shows the sign bit rate br
  • the vertical axis shows the degradation index (fr, br).
  • Figure 8 is a graph showing the packet loss rate vs. video quality degradation rate characteristics (vs. frame rate), where the horizontal axis represents the packet loss rate pi (%) and the vertical axis represents the video quality degradation rate P (fr, br, pi).
  • FIG. 9 is a flowchart showing the video quality estimation process of the video quality estimation apparatus according to the first embodiment of the present invention.
  • the video quality estimation apparatus 1 starts the video quality estimation process of FIG. 9 in response to an instruction operation from the operator or an input of the estimation condition 10.
  • the reference subjective video quality 23 is specified in the estimation condition 10 together with the main meter 21, and the video quality estimation apparatus 1
  • the above-described frame rate—degradation index characteristic 31A (see FIG. 5) and sign bit rate—degradation index characteristic 31B (see FIG. 6) are prepared in advance and stored in the storage unit 31M as a function expression.
  • the parameter acquisition unit 11 acquires various estimation conditions 10 related to the video communication service to be evaluated, and from the estimation condition 10, the frame rate and the code bit related to the video media code key processing.
  • the packet loss rate for video media in the communication network or terminal is extracted, and these input frame rate fr (21A), input code bit rate br (21B), and input packet loss rate pi (21C) is output as main parameter 21 (step S100).
  • the standard subjective video quality is output as 23.
  • the degradation model specifying unit 12 determines the packet loss rate and subjective video of the video media.
  • the deterioration model 22 showing the relationship with quality is specified.
  • the frame rate degradation index calculation unit 12A refers to the frame rate degradation index characteristic 31A as shown in FIG. 5 from the storage unit 31M, and the frame corresponding to the input frame rate fr (21A).
  • the rate deterioration index ⁇ (fr) (32A) is calculated (step S101).
  • the degradation model specifying unit 12 uses the code key bit rate degradation index calculation unit 12B to refer to the code key bit rate-degradation index characteristic 31B as shown in FIG. ⁇ Encoding bit rate degradation index corresponding to bit rate br (21B) ⁇ (br) (32
  • the degradation model specifying unit 12 uses the degradation index calculation unit 12C to determine the actual values of the frame rate degradation index ⁇ (fr) and the encoded bit rate degradation index ⁇ (br) as described above.
  • the degradation index ⁇ (fr, br) (33) is calculated (step S 103).
  • the degradation model 22 as shown in FIG. 8, that is, the bucket loss rate-video quality degradation rate characteristic represented by the above-described equation (2) is specified.
  • the video quality estimation apparatus 1 refers to the degradation model 22 identified by the degradation model identification unit 12 by the video quality correction unit 13, and refers to the degradation index ⁇ (fr, br) and the parameter acquisition unit. 1 Substituting the input packet loss rate pl (21C) of the main parameter 21 output from 1 into the above equation (2), the corresponding video quality degradation rate P (fr, br, pi) is calculated (step S104).
  • the video quality correction unit 13 substitutes the actual value of the video quality deterioration rate P (fr, br, pi) and the reference subjective video quality 23 into the above-described equation (1).
  • the video quality MOS (fr, br, pi) is calculated and output as a subjective video quality estimate 24 that the video media player and viewers feel using the video communication service to be evaluated. (Step S105), a series of video quality estimation processing ends.
  • the input frame rate 21A indicating the number of frames per unit time regarding the video media
  • the input code bit rate 21B indicating the number of code bits per unit time
  • the degradation model specification unit 12 uses the input frame rate 21A and the input code bit rate 21B.
  • the degradation model 22 indicating the relationship between the degradation of the reference subjective video quality 23 and the packet loss rate is identified, and the video quality degradation rate corresponding to the input packet loss rate 21C calculated using this degradation model 22 is determined.
  • the desired subjective video quality estimate 24 is calculated by correcting the reference subjective video quality.
  • the input packet loss rate 21C also input as the estimation condition 10 is obtained.
  • a corresponding subjective video quality estimate 24 can be obtained.
  • the video quality estimation device 1 can be used to specifically understand how much packet loss rate a video media encoded with a certain bit rate and frame rate can satisfy the desired video quality. can do.
  • a video quality estimation device 1 that works with the present embodiment by fixing the encoding bit rate 1. Can be used to easily and specifically grasp the relationship between frame rate and packet loss rate and video quality.
  • the frame rate-degradation index characteristic 31A and the sign key bit rate-degradation index characteristic 31B used for calculating the degradation index 33 are prepared in the form of functional expressions in advance.
  • the degradation index derivation characteristics 31 used for deriving the degradation index 33 are not limited to functional expressions, but are stored as values corresponding to the input frame rate and input code bit rate. You may remember it at 31M.
  • FIG. 10 is a configuration example of deterioration index information indicating a correspondence relationship between the input frame rate and the input code bit rate and the deterioration index.
  • This degradation index information consists of a set of an input frame rate fr (21A) and an input code bit rate br (21B) and a corresponding degradation index ⁇ (fr, br) (33). Calculated based on the index derivation characteristic 31 and stored in the storage unit 31M.
  • the degradation model specifying unit 12 may derive the degradation index ⁇ (fr, br) corresponding to the input frame rate 21A and the input code bit rate 21B with reference to such degradation index information.
  • the video quality deterioration rate P (fr, br, pi) corresponding to the deterioration index ⁇ (fr, br) is calculated using the above-described equation (2).
  • the video quality deterioration rate P (fr, br, pi) may be calculated using other calculation formulas.
  • the following equation is obtained by multiplying the coefficient determined by the input frame rate fr and the input code bit rate br and the exponential function using the degradation index ⁇ (fr, br) for each set.
  • the video quality degradation rate P (fr, br, pi) can be modeled using a hyperexponential function as in (4).
  • the video quality degradation rate P (fr, br, pi) increases as the packet loss rate pi increases. ) Is suitable for a sharp reduction.
  • the video quality degradation rate P (fr, br, pi) can be modeled by a linear function such as the following equation (5).
  • it can be used under limited estimation conditions where the fluctuation range is particularly small, and the processing time is greatly reduced.
  • FIG. 11 is a block diagram showing a configuration of a video quality estimation apparatus that is useful for the second embodiment of the present invention.
  • the same or equivalent parts as those in FIG. 1 described above are denoted by the same reference numerals.
  • FIG. 12 is a block diagram showing the configuration of the estimation model specifying unit of the video quality estimation apparatus according to the second embodiment of the present invention, and the same or equivalent parts as those in FIG. It is.
  • the degradation index 33 corresponding to the input frame rate 21A and the input code bit rate 21B is derived with reference to the degradation index derivation characteristic 31 prepared in advance is taken as an example.
  • the communication type of the video communication service the communication type of the video communication service
  • the playback performance of the terminal that plays back the video media or the playback of the terminal that plays back the video media.
  • the video quality estimation device 1 that works in this embodiment includes a degradation index coefficient acquisition unit 14 and a degradation index coefficient database (hereinafter referred to as degradation).
  • the index coefficient DB and!, U) 26 has been added!
  • the degradation index coefficient acquisition unit 14 refers to the degradation index coefficient DB26 of the storage unit 26M (third storage unit), and refers to the degradation index coefficient 27 corresponding to the sub parameter 25 acquired from the estimation condition 10 by the parameter acquisition unit 11. It has the function to acquire.
  • FIG. 13 is an explanatory diagram showing a configuration example of the deterioration index coefficient DB.
  • the deterioration index coefficient DB26 is a database showing a set of various subparameters 25 and corresponding characteristic coefficients a, b,..., I (27).
  • Sub-parameter 25 includes a communication type parameter 25A indicating the communication type of the video communication service, a playback performance parameter 25B indicating the playback performance of the terminal that plays the video media, or a playback environment indicating the playback environment of the terminal that plays the video media. There is parameter 25C.
  • the communication type parameter 25A there is a "task" indicating the communication type performed in the video communication service to be evaluated.
  • the playback performance parameter 25B include “encoding method”, “video format”, “key frame” related to video media encoding, “monitor size”, “monitor” related to media playback function on the terminal. Resolution ".
  • a specific example of the playback environment parameter 25C is “indoor lighting” at the time of media playback on the terminal.
  • the sub-parameter 25 is not limited to these parameter examples, and can be arbitrarily selected according to the content of the video communication service or video media to be evaluated. Consists of one or more of playback performance parameter 25B and playback environment parameter 25C!
  • the deterioration index coefficient acquisition unit 14 refers to the deterioration index coefficient DB 26 of the storage unit 26M prepared in advance, and acquires the deterioration index coefficient 27 corresponding to the sub parameter 25.
  • the degradation index coefficient 27 is a coefficient for specifying the degradation index derivation characteristic 31 used for deriving the degradation index 33.
  • the degradation model specifying unit 12 includes a degradation index derivation characteristic 31 identified by the degradation index coefficient 27 acquired by the degradation index coefficient acquisition unit 14, that is, a frame rate degradation index characteristic 31 A and a sign rate bit rate—degradation index characteristic 31B. Is identified.
  • the degradation index derivation characteristic 31 is obtained from the degradation index coefficient DB26 by the degradation index coefficient acquisition unit 14.
  • Each model can be modeled as follows using the obtained degradation index coefficient 27.
  • the frame rate-degradation index characteristic 31A of the degradation index derivation characteristic 31 is such that the frame rate degradation index monotonously decreases as the frame rate increases, and then converges to a certain minimum value, as shown in FIG. There is a tendency, for example, it can be modeled by a general exponential function. Therefore, when the frame rate is fr, the corresponding frame rate degradation index is ⁇ (fr), and the coefficients are d, e, f, the frame rate-degradation index characteristic 31A is
  • T 1 (fr) d + e-exp (-fr / f)-(6)
  • the code index bit rate-degradation index characteristic 31B of the degradation index derivation characteristic 31 indicates that the code index bit rate degradation index increases as the code index bit rate increases. It tends to decrease and converge to a certain minimum value, and can be modeled by a general exponential function, for example. Therefore, the sign bit rate is br and the corresponding coded bit rate degradation index is ⁇ (br)
  • the sign key rate-deterioration index characteristic 31B can be expressed by the following equation (7).
  • the model of the degradation index derivation characteristic 31 another function other than the above-described exponential function may be used.
  • the video quality estimation at the input code bit rate or the input frame rate within a limited range. Since the processing is sufficient, if such a local view is possible, the degradation index derivation characteristic 31 can be modeled by a simple function such as a linear function as described above.
  • the degradation index ⁇ (fr, br) can be modeled by the following equation (10).
  • the coefficient can be reduced, and the amount of computation required to identify the degradation model 22 can be greatly reduced.
  • FIG. 14 is a flowchart showing the video quality estimation processing of the video quality estimation apparatus according to the second embodiment of the present invention, which is the same as or similar to FIG. Equivalent parts are denoted by the same reference numerals.
  • the video quality estimation apparatus 1 starts the video quality estimation process of FIG. 9 in response to an instruction operation by an operator or an input of the estimation condition 10.
  • the communication type parameter 25A, the playback performance parameter 25B, and the playback environment parameter 25C are used as the secondary parameter 25.
  • the degradation index coefficient DB26 of the storage unit 26M includes the secondary parameter 25 and the degradation index coefficient 27. It is assumed that the set of is stored in advance.
  • the parameter acquisition unit 11 acquires various estimation conditions 10 related to the video communication service to be evaluated, and from the estimation condition 10, the frame rate and code bit related to the video media code key processing.
  • the packet loss rate for video media in the communication network or terminal is extracted, and these input frame rate fr (21A), input code bit rate br (21B), and input packet loss rate pi (21C) is output as main parameter 21 (step S100).
  • the standard subjective video quality is output as 23.
  • the parameter acquisition unit 11 extracts the communication type parameter 25A, the reproduction performance parameter 25B, and the reproduction environment parameter 25C from the estimation condition 10, and outputs these as sub-parameters 25 (step S200).
  • the degradation index coefficient acquisition unit 14 refers to the degradation index coefficient DB26 of the storage unit 26M, and acquires degradation index coefficients a, b, ..., i (27) corresponding to the value of the sub parameter 25. (Step S201).
  • the degradation model specifying unit 12 refers to the frame rate degradation index characteristic 31A identified by the coefficients d, e, and f among the degradation index coefficients 27 by the frame rate degradation index calculating unit 12A.
  • a frame rate deterioration index ⁇ (fr) (32A) corresponding to the input frame rate fr (21A) is calculated (step S101).
  • the degradation model specifying unit 12 refers to the coding bit rate degradation index characteristic 31B identified by the coefficients g, h, and i among the degradation index coefficients 27 by the sign bit rate degradation index calculation unit 12B. Then, (br) (32B) is calculated as an encoding bit rate degradation index corresponding to the input code key bit rate br (21B) (step S102). [0085] In this way, the frame rate degradation index ⁇ (fr) and the coding bit rate degradation index ⁇
  • the degradation model specifying unit 12 determines these frame rate degradation indices ⁇ (fr)
  • the degradation index ⁇ (fr, br) (33) is calculated to identify the degradation model 22 (step S103).
  • the video quality estimation apparatus 1 refers to the degradation model 22 identified by the degradation model identification unit 12 by the video quality correction unit 13 in the same manner as described above, and the degradation index ⁇ (fr, br ) And the input packet loss rate pi (21C), the video quality degradation rate P (fr, br, pi) is calculated (step S104).
  • the video quality correction unit 13 calculates the video quality MOS (fr, br, pi) from the video quality deterioration rate P (fr, br, pi) and the reference subjective video quality 23 in the same manner as described above. Then, it outputs as a subjective video quality estimate value 24 that viewers feel, such as video media played on the terminal using the video communication service to be evaluated (step S105), and a series of video quality estimation processing Exit.
  • the sub-parameter that is one or more of the communication type parameter 25A, the reproduction performance parameter 25B, and the reproduction environment parameter 25C acquired by the parameter acquisition unit 11 is used.
  • the deterioration index coefficient 27 corresponding to 25 is acquired from the deterioration index coefficient DB 26 of the storage unit 26M by the deterioration index coefficient acquisition section 14, and the deterioration model specifying section 12 determines the deterioration index derivation characteristics 31 specified by the deterioration index coefficient 27.
  • the degradation index 33 corresponding to the input cuff rate 21A and the input code bit rate 21B is calculated, so the degradation index based on the specific characteristics of the video communication service and terminal to be evaluated 33 can be derived, and the accuracy of video quality estimation can be improved.
  • a degradation model has to be prepared for each encoding method, communication network, and terminal used in the video communication service to be evaluated.
  • the deterioration model does not depend on the encoding method, communication network, and terminal, and the deterioration index coefficient used for the deterioration model depends on the encoding method, communication network, and terminal.
  • the same degradation model can be used just by referring to it. did Accordingly, it is possible to flexibly cope with video communication services in different environments.
  • FIG. 15 is a block diagram showing the configuration of a video quality estimation apparatus that is useful for the third embodiment of the present invention.
  • the same or equivalent parts as those in FIG. 1 described above are given the same reference numerals.
  • FIG. 16 is a block diagram showing the configuration of the estimation model specifying unit of the video quality estimation apparatus according to the third embodiment of the present invention. The same or equivalent parts as those in FIG. It is.
  • the case where the reference subjective video quality 23 is designated by the estimation condition 10 and stored in advance in the storage unit 23M has been described as an example.
  • a video quality estimation unit 15 is provided in the video quality estimation device 1, and based on the input frame rate 21A and the input encoding bit rate 21B of the main parameter 21 specified by the estimation condition 10, the reference subjective video quality 23 The case of estimating is described.
  • an input encoding bit rate indicating the number of code bits per unit time relating to video media and an input frame rate indicating the number of frames per unit time are input, and these main parameters are input.
  • an estimation model indicating the relationship between the frame rate of the video media and the reference subjective video quality is identified based on the input coding bit rate, and the input frame rate is determined using the identified estimation model. Estimate and output the reference subjective video quality corresponding to.
  • the configuration in which the video quality correction unit 13 corrects the reference subjective video quality 23 based on the degradation model 22 to obtain the subjective video quality estimated value 24 is the same as in the first embodiment described above. The detailed description of is omitted. However, the second embodiment can be used instead of the first embodiment.
  • a video quality estimation unit 15 is added to the video quality estimation apparatus 1 according to the present embodiment.
  • the video quality estimation unit 15 is further configured with several functional units.
  • the main functional parts are the estimated model specifying part 15A and the video quality calculating part 15B. is there.
  • the estimation model specifying unit 15A is based on the input code bit rate 21B of the main parameter 21 output from the parameter acquisition unit 11, and shows an estimation model indicating the relationship between the frame rate of the video media and the subjective video quality It has a function to calculate the estimated model specifying parameter 35 for specifying 36.
  • the video quality calculation unit 15B estimates the subjective video quality corresponding to the input frame rate 21A of the main parameter 21 with reference to the estimation model 36 specified by the estimation model specification unit 15A, and obtains the desired reference subjective video quality 23 As an output function.
  • the estimated model specifying unit 15A is further configured with several functional unit forces.
  • the main functional units include an optimal frame rate calculating unit 16A, a best video quality calculating unit 16B, a video quality deterioration index calculating unit 16C, and an estimated model generating unit 16D as units for calculating the estimated model specifying parameter 35.
  • the estimated model specifying parameter 35 also has a value force that specifies the shape of the function used as the estimated model 36.
  • a value force that specifies the shape of the function used as the estimated model 36.
  • at least the following optimum frame rate and best video quality are used as the estimation model specifying parameter 35, but other parameters typified by the video quality degradation index may be included in the estimation model specifying parameter 35. Good.
  • the optimal frame rate calculation unit 16A refers to the code frame rate of the storage unit 34M and the optimal frame rate characteristic 34A, and subjects the video media transmitted at the input code frame rate br (21B) to the subjective It has a function of calculating the optimum frame rate ofr (br) (35A) indicating the frame rate with the best video quality as one of the estimated model specifying parameters 35.
  • the best video quality calculation unit 16B shows the best value of the subjective video quality of the video media transmitted at the input code bit rate 21B with reference to the code bit rate-best video quality characteristic 34B of the storage unit 34M. It has the function of calculating the best video quality a (br) (35B) as one of the estimated model specifying parameters 35.
  • the video quality degradation index calculation unit 16C refers to the code key bit rate—video quality degradation index characteristic 34C of the storage unit 34M, and relates to the video media transmitted at the input code key bit rate 21B.
  • the video quality degradation index ⁇ (br) (35C) which indicates the degree of degradation of the best video quality 35B, which indicates the best subjective video quality, is one of the estimated model specification parameters 35. It has a function to calculate.
  • code key bit rate optimal frame rate characteristics 34A, code key bit rate-best video quality characteristic 34B, and code key bit rate—video quality degradation index characteristic 34C are prepared in advance as estimation model specific parameter derivation characteristics 34. Stored in the storage unit 34M.
  • the estimation model generation unit 16D includes the optimal frame rate ofr (br) calculated by the optimal frame rate calculation unit 16A, the best video quality a (br) calculated by the best video quality calculation unit 16B, and video quality degradation.
  • Index calculation unit 16C subjective video corresponding to the input frame rate 21A of the main parameter 21 by substituting the value of each estimated model specifying parameter 35 consisting of the video quality degradation index ⁇ (br) into a predetermined function formula It has a function to generate an estimation model 36 for estimating quality.
  • FIG. 17 is a graph showing the frame rate-subjective video quality characteristics of video communication media in the video communication service.
  • the horizontal axis represents the frame rate fr (fps)
  • the vertical axis represents the subjective video quality value MOS (fr, br) (MOS value)
  • the characteristics for each sign bit rate br are shown.
  • the code amount per unit frame and the frame rate are in a trade-off relationship with the subjective video quality of the video media.
  • encoding the video at a high frame rate can smooth the video and improve temporal video quality.
  • the amount of code per hit is reduced and spatial image degradation becomes noticeable, and as a result, image quality may deteriorate.
  • the code amount per unit frame is increased and encoding is performed, spatial image degradation is improved and the image quality is improved, but the number of frames per unit time is reduced, and time jerky frame skipping occurs. The video quality may deteriorate as a result.
  • the estimation model specifying unit 15A determines the frame rate and subjective video quality of the video media based on the input code key bit rate 21B.
  • An estimation model 36 indicating the relationship between the input frame rate 21A and the reference subjective video quality 23 corresponding to the input frame rate 21A is estimated by the video quality calculation unit 15B using the estimation model 36 specified by the estimation model specification unit 15A. ing.
  • estimation model specifying unit 15A specifies the estimation model 36 indicating the relationship between the frame rate of the video media and the subjective video quality based on the input code key bit rate 21B, it corresponds to the input code key bit rate 21B. It is necessary to derive the optimum frame rate 35A and the best video quality 35B as estimation model specific parameters.
  • the following code key bit rate optimum frame rate characteristics 34A and code key bit rate-best video quality characteristic 34B are prepared in advance as estimated model specifying parameter derivation characteristics 34, and these characteristics are prepared. Referring to FIG. 4, the estimated model specifying parameter 35 corresponding to the input code bit rate 21B is derived.
  • the relationship between the encoding bit rate when the video media is reproduced with the best video quality and the frame rate at that time, that is, the optimum frame rate is As the bit rate increases, the optimal frame rate increases monotonically and then converges to the maximum frame rate.
  • Fig. 18 is a graph showing the optimum frame rate characteristics of such a code bit rate.
  • the relationship between the code bit rate when the video media is transmitted at the optimum frame rate and the video quality, that is, the best video quality is the code bit rate.
  • the video quality increases and converges to a certain maximum value (maximum subjective video quality value), and the video quality also decreases as the code bit rate decreases and tends to converge to a certain minimum value. .
  • FIG. 19 is a graph showing the best video quality characteristics of such a code bit rate.
  • the horizontal axis indicates the sign bit rate br (kbps), and the vertical axis indicates the best video quality a (br).
  • the video quality is expressed as a MOS value that takes a maximum value of “5” with “1” as the reference value, whereas it is “0” when used as the best video quality a (br) of the estimation model 36.
  • ” Is the reference value, and values up to“ 4 ”are taken. However, both are different in reference value, and the scale is practically the same.
  • estimation model used in the estimation model identification unit 15A of the video quality estimation unit 15 and its identification method will be described in detail.
  • FIG. 20 is an explanatory diagram showing a Gaussian function.
  • the Gaussian function is a function that shows a convex shape that decays to the left and right with the vertex P as the maximum value, and a functional expression can be expressed using the X coordinate and the maximum amplitude of the vertex P.
  • X coordinate of vertex P be X
  • a function that indicates the open width of the convex characteristic is ⁇ , where A is the large amplitude, y is the y-axis reference value (minimum value)
  • variable X is the logarithmic value of the frame rate of the video media
  • the function value y is the subjective video quality
  • the variable X at the vertex P is the logarithm of the optimal frame rate corresponding to the sign bit rate
  • the subjective video quality for an arbitrary frame rate can be obtained by the following equation (12).
  • An estimation model corresponding to the code bit rate 21B, that is, a frame rate-subjective video quality characteristic can be specified.
  • FIG. 21 is an explanatory diagram showing frame rate-subjective video quality characteristics modeled by a Gaussian function.
  • the opening width of the convex characteristic is specified using the function ⁇ .
  • the frame rate corresponding to the coding bit rate When different opening widths are required for each subjective video quality characteristic Includes the video quality degradation index ⁇ (br) (
  • the video quality degradation index ⁇ (br) is an index indicating the degree of degradation of the best video quality 35B that indicates the best subjective video quality for video media transmitted at the input code bit rate 21B, Corresponds to the Gaussian function ⁇ .
  • the relationship between the code bit rate and the degree of deterioration of subjective video quality is such that the higher the code bit rate, the smoother the deterioration and the coding bit rate becomes higher. The lower the level, the greater the degree of deterioration. Therefore, the relationship between the code key bit rate and the video quality degradation index indicates that the higher the code bit rate, the larger the convex opening width of the frame rate subjective video quality characteristic, and the larger the video quality degradation index.
  • FIG. 22 is a graph showing such a sign key bit rate—video quality degradation index characteristic.
  • the horizontal axis indicates the sign bit rate br (kbps), and the vertical axis indicates the video quality degradation index ⁇ (br).
  • Fig. 22 shows the sign-bit rate vs. video quality degradation index characteristic in the estimation model expressed by a Gaussian function. When other estimation models are used, the video indicating the coefficients corresponding to the estimation model is shown. Sign rate bit rate of quality degradation index If the video quality degradation index characteristic is used.
  • FIG. 23 is a flowchart showing reference subjective video quality estimation processing of the video quality estimation apparatus according to the third embodiment of the present invention.
  • the video quality estimation apparatus 1 starts the reference subjective video quality estimation process of Fig. 23 in response to an instruction operation by an operator or an input of the estimation condition 10.
  • the video quality degradation index 35C is used in addition to the optimal frame rate 35A and the best video quality 35B will be described as an example of the estimation model specifying parameter.
  • the video quality estimation apparatus 1 includes the code bit rate optimum frame rate characteristic 34A (see FIG. 18), the encoding bit rate—best video quality characteristic 34B (see FIG. 19), and the code bit rate. —Video products It is assumed that the quality degradation index characteristic 34C (see FIG. 22) is prepared in advance and stored in the storage unit 34M as a function expression.
  • the estimation model specifying unit 15A of the video quality estimation unit 15 receives the input frame rate fr (21A) of the main parameter 21 extracted from the estimation condition 10 by the parameter acquisition unit 11 and the input code bit rate br. (21B) is obtained from the storage unit (not shown) (step S300), and the estimation indicating the relationship between the frame rate of the video media and the target video quality based on the input coding bit rate br (21B). Identify model 36.
  • the optimum frame rate calculation unit 16A refers to the coding bit rate-optimum frame rate characteristic 34A of the storage unit 34M, and the optimum frame rate corresponding to the input code bit rate br (21 B). ofr (br) (35A) is calculated (step S301).
  • the estimated model specifying unit 15A uses the best video quality calculating unit 16B to refer to the code key bit rate—best video quality characteristic 34B of the storage unit 34M and input code bit rate br ( The best video quality a (br) (35B) corresponding to 21B) is calculated (step S302). Similarly, the estimated model specifying unit 15A uses the video quality degradation index calculating unit 16C to refer to the code key bit rate-video quality degradation index characteristic 34C of the memory unit 34M and input code bit rate br. A video quality degradation index ⁇ (br) (35C) corresponding to (21B) is calculated (step S303).
  • the estimated model specifying unit 15A uses the estimated model generating unit 16D to determine the optimum frame rate ofr (br), the best By substituting the actual values of video quality a (br) and video quality degradation index ⁇ (br) into equation (12), the estimated model MOS (fr, br), that is, frame rate—subjective video quality characteristics Is identified (step S304).
  • the video quality estimation device 1 is output from the parameter acquisition unit 11 with reference to the estimation model 36 identified by the estimation model identification unit 15A by the video quality calculation unit 15B of the video quality estimation unit 15.
  • the video quality corresponding to the input frame rate 21A of the main parameter 21 is calculated and the video media played on the terminal using the video communication service to be evaluated.
  • the input code bit rate 21B indicating the number of code bits per unit time for the video media and the input frame rate 21A indicating the number of frames per unit time are provided.
  • the estimation model specifying unit 15A of the video quality estimation unit 15 calculates the frame rate of the video media and the subjective video quality based on the input code bit rate 21B.
  • the estimation model 36 indicating the relationship is specified, and the subjective video quality corresponding to the input frame rate 21A is estimated using the specified estimation model 36, and is output as the reference subjective video quality 23.
  • the reference subjective video quality 23 for the video media encoded at the input frame rate 21A and the input code key bit rate 21B can be estimated in the video quality estimation device 1, and the reference subjective video quality 23 is There is no need to specify the estimation condition 10 from the outside.
  • the video quality correction unit 13 described in the first or second embodiment described above estimates the subjective video quality estimated value 24 according to the arbitrary estimation condition 10 without preparing the reference subjective video quality 23. it can.
  • the code model bit rate optimum frame rate characteristic 34A, the code model bit rate best video quality characteristic 34B, and the code model bit rate used for calculating the estimation model specifying parameter 35 are as follows.
  • the case where the video quality degradation index characteristic 34C is prepared in advance in the form of a functional expression and stored in the storage unit 34M has been described as an example.
  • the estimated model specific parameter derivation characteristic 34 used for deriving the estimated model specifying parameter 34 Is not limited to a function expression, but is stored in the storage unit 34M as a value corresponding to the input code and the bit rate!
  • Fig. 24 is a configuration example of estimated model specifying parameter information indicating a correspondence relationship between an input code key bit rate and each estimated model specifying parameter.
  • This estimated model specific parameter information includes the input code key rate br (21B), the corresponding optimum frame rate ofr (br) (35A), the best video quality a (br) (35B), and video quality degradation. It consists of a pair with the index ⁇ (br) (35C), and is calculated in advance based on the estimated model specific parameter derivation characteristic 34 above.
  • the estimated model specifying parameter 35 corresponding to the input code key rate 21B may be derived by referring to such estimated model specifying parameter information.
  • FIG. 25 is a block diagram showing a configuration of a video quality estimation apparatus useful for the fourth embodiment of the present invention.
  • the same or equivalent parts as those in FIG. 15 described above are denoted by the same reference numerals.
  • FIG. 26 is a block diagram showing the configuration of the video quality estimation unit of the video quality estimation apparatus according to the fourth embodiment of the present invention. The same or equivalent parts as those in FIG. Is attached.
  • the third embodiment the case where the estimated model specifying parameter 35 corresponding to the input code key rate is derived with reference to the estimated model specifying parameter derivation characteristic 34 prepared in advance will be described as an example. did.
  • the third embodiment is premised, and the estimation model specific parameter derivation characteristic 34 is not prepared in advance, but various estimation conditions 10 regarding the video communication service to be evaluated are set. Based on the communication type of the video communication service, the playback performance of the terminal that plays back the video media, or the playback environment of the terminal that plays back the video media, the estimated model specific parameter derivation characteristics 34 according to the estimation condition 10 The case of specifying sequentially will be described.
  • the video quality estimation device 1 that works in this embodiment includes a characteristic coefficient acquisition unit 17 and a characteristic coefficient database (hereinafter referred to as a characteristic coefficient DB). 28 has been added.
  • the characteristic coefficient acquisition unit 17 refers to the characteristic coefficient DB 28 of the storage unit 28M (fourth storage unit) and acquires the characteristic coefficient 29 corresponding to the sub parameter 25 acquired from the estimation condition 10 by the parameter acquisition unit 11 It has a function.
  • the sub-parameter 25 used in the present embodiment is the same as that described in the second embodiment, and a detailed description thereof is omitted here.
  • FIG. 27 is an explanatory diagram showing a configuration example of the characteristic coefficient DB.
  • the characteristic coefficient DB28 is a data base that shows a set of various sub-parameters 25 and their corresponding characteristic coefficients j, k, ..., p (29). It is as described above, the sub-parameter 25 includes the communication type parameter 25A indicating the communication type of the video communication service, the playback performance parameter 25B indicating the playback performance of the terminal that plays back video media, or the terminal of the terminal that plays back video media. There is a playback environment parameter 25C that indicates the playback environment.
  • the sub-parameter 25 is not limited to these parameter examples, but can be arbitrarily selected according to the content of the video communication service or video media to be evaluated. Consists of one or more of 25B, and playback environment parameter 25C!
  • the characteristic coefficient acquisition unit 17 refers to such a characteristic coefficient DB 28 prepared in advance, and acquires the characteristic coefficient 29 corresponding to the sub parameter 25.
  • the characteristic coefficient 29 is a coefficient for specifying the estimated model specific parameter derivation characteristic used for deriving the estimated model specific parameter 35.
  • the estimated model specifying unit 15A includes the estimated model specifying parameter derivation characteristic 34 specified by the characteristic coefficient 29 acquired by the characteristic coefficient acquiring unit 17, that is, the sign key bit rate-optimal frame rate characteristic 34A, the sign key bit rate. Specify the best video quality characteristic 34B and the sign-bit rate—video quality degradation index characteristic 34C.
  • the estimated model specific parameter derivation characteristic 34 can be modeled as follows using the characteristic coefficient 29 acquired from the characteristic coefficient DB 28 by the characteristic coefficient acquisition unit 17.
  • the optimum frame rate monotonically increases as the code bit rate increases, as shown in Fig. 18 described above. Then, it tends to converge to a certain maximum frame rate, and can be modeled by a general linear function, for example. Therefore, when the coding bit rate is br, the corresponding optimum frame rate is ofr (br), and the coefficient is k, the sign bit rate optimum frame rate characteristic 34A is given by the following equation (13). Representing Can do.
  • the code quality bit rate-best video quality characteristic 34B of the estimation model specific parameter derivation characteristic 34 increases the video quality as the code bit rate increases. Convergence to a certain maximum value, video quality also decreases with a decrease in the sign bit rate, and tends to converge to a certain minimum value. For example, it can be modeled with a general Logistic function. .
  • FIG. 28 is an explanatory diagram showing a logistic function.
  • the logistic function is a function in which the value of the function y increases monotonically as the variable X increases when the coefficient ⁇ > 1, and the function value y converges to the minimum value and decreases as the variable X decreases. Depending on, the function value y converges to the maximum value.
  • y is expressed by the following formula (1) consisting of a term of maximum value A and a fractional term indicating the decrease from maximum value A:
  • variable X is the sign bit rate
  • the corresponding function value y is the best video quality a (br)
  • the maximum value A is the characteristic coefficient 1 (L)
  • the minimum value A is “0 zero. ”
  • FIG. 29 is an explanatory diagram showing the code bit rate—best video quality characteristics modeled by the logistic function.
  • the sign key bit rate—video quality deterioration index characteristic 34C of the estimation model specific parameter derivation characteristic 34 increases as the sign key bit rate increases.
  • the video quality degradation index increases, and the video quality degradation index tends to decrease as the code bit rate decreases.
  • it can be modeled by a general linear function. Therefore, if the sign key rate is br, the corresponding video quality degradation index is ⁇ (br), and the coefficients are o, p, the sign key rate—video quality degradation index characteristic 34C Can be expressed by the following equation (16).
  • the estimated model specific parameter derivation characteristic 34 can be modeled with a simple function such as a linear function as described above.
  • Rate Optimal frame rate characteristic 34A may be represented.
  • the optimal frame rate ofr (br) and the video quality degradation index ⁇ (br) are expressed by equation (17) with the coefficients q, r, s, t, u, v. be able to.
  • FIG. 30 is a flowchart showing a reference subjective video quality estimation process of the video quality estimation apparatus according to the fourth embodiment of the present invention.
  • the same or equivalent parts are denoted by the same reference numerals.
  • the video quality estimation apparatus 1 starts the reference subjective video quality estimation process of Fig. 30 in response to an instruction operation by the operator or an input of the estimation condition 10.
  • the video quality degradation index 35C is used in addition to the optimal frame rate 35A and the best video quality 35B will be described as an example of the estimation model specifying parameter.
  • the communication type parameter 25A, the playback performance parameter 25B, and the playback environment parameter 25C are used as the secondary parameter 25, and a set of the secondary parameter 25 and the characteristic factor 29 is stored in the characteristic coefficient DB 28 in advance.
  • the estimation model specifying unit 15A stores the input frame rate fr (21A) and the input coding bit rate br (21B) of the main parameter 21 extracted from the estimation condition 10 by the parameter acquisition unit 11 (see FIG. (Step S300).
  • the characteristic coefficient acquisition unit 17 acquires the communication type parameter 25A, the reproduction performance parameter 25B, and the reproduction environment parameter 25C of the sub parameter 25 extracted from the estimation condition 10 by the parameter acquisition unit 11 from the storage unit (not shown). (Step S400).
  • the characteristic coefficient acquisition unit 17 refers to the characteristic coefficient DB 28 of the storage unit 28M, and the characteristic coefficient j, k, 1, ..., p (29 corresponding to the value of the sub parameter 25 ) Is acquired and output (step S401).
  • the estimated model specifying unit 15A also refers to the coding unit bit rate—optimal frame rate characteristic 34A specified by the coefficients j and k among the characteristic coefficients 29 by the optimal frame rate calculating unit 16A, and also refers to the storage unit 34M. Then, the optimum frame rate ofr (br) (35A) corresponding to the input code key bit rate br (21B) is calculated (step S301).
  • the estimated model specifying unit 15A stores the code bit rate—best video quality characteristic 34B specified by the coefficients 1, m, n out of the characteristic coefficients 29 by the best video quality calculating unit 16B.
  • the best video quality ⁇ (br) (35B) corresponding to the input code key bit rate br (21B) is calculated with reference to the power (step S302).
  • the estimated model specifying unit 15A stores the sign-bit rate-one video quality deterioration index characteristic 34C specified by the coefficients o and p among the characteristic coefficients 29 by the video quality deterioration index calculating unit 16C.
  • the video quality degradation index ⁇ (br) (35C) is calculated (step S303).
  • the estimated model specifying unit 15A uses the estimated model generating unit 16D to determine the optimum frame rate ofr (br), the best By substituting the actual values of video quality a (br) and video quality degradation index ⁇ (br) into equation (12), the estimated model MOS (fr, br), that is, frame rate—subjective video quality characteristics Is identified (step S304).
  • the video quality estimation apparatus 1 refers to the estimation model 36 identified by the estimation model identification unit 15A by the video quality calculation unit 15B, and outputs the main parameter 21 output from the parameter acquisition unit 11.
  • the video quality corresponding to the input frame rate of 21A is calculated and output as a reference subjective video quality estimate 24 that the video media player played on the terminal using the video communication service to be evaluated will feel. (Step S305), a series of reference subjective video quality estimation processing ends.
  • the sub-parameter that is one or more of the communication type parameter 25A, the reproduction performance parameter 25B, and the reproduction environment parameter 25C acquired by the parameter acquisition unit 11 is used.
  • the characteristic coefficient 29 corresponding to 25 is acquired by the characteristic coefficient acquisition unit 17 from the characteristic coefficient DB2 8 of the storage unit 28M, and the estimated model specifying parameter derivation characteristic specified by these characteristic coefficients 29 by the estimated model specifying unit 15A 34 Therefore, the estimation model specifying parameter 35 corresponding to the input code bit rate 21B is calculated, so the estimation model specifying parameter 35 based on the specific characteristics of the video communication service and the terminal to be evaluated is calculated. It can be derived and the accuracy of the reference video quality estimation can be improved.
  • the video estimation model does not depend on the encoding method or the terminal, and the coefficient used for the video estimation model is referred to according to the encoding method or the terminal.
  • the same video estimation model can be used, and it can flexibly handle video communication services in different environments.
  • the video quality correction unit 13 described in the first or second embodiment described above can arbitrarily set the reference subjective video quality 23.
  • the subjective video quality estimate 24 according to the estimation condition 10 can be estimated.
  • FIG. 31 is a graph showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • FIG. 32 is a graph showing the estimation accuracy of the conventional video quality estimation apparatus based on Document 2. 31 and 32, the horizontal axis shows the estimated value (MOS value) of the subjective video quality estimated using the video quality estimation device, and the vertical axis shows the evaluation of the subjective video quality actually evaluated by the viewer. Indicates the value (MOS value). Compared to FIG. 32, FIG. 31 shows that the estimation accuracy is improved because the error between the evaluation value and the estimated value is small. These are comparison results under specific estimation conditions, but similar comparison results have been confirmed even when different coding methods and terminals are used.
  • FIG. 33 is a block diagram showing the configuration of the video quality estimation unit of the video quality estimation apparatus according to the fifth embodiment of the present invention. The same or equivalent parts as those in FIG. It is.
  • the video quality estimation unit 15 specifies the estimation model 36 indicating the relationship between the frame rate of the video media and the reference subjective video quality based on the input code key bit rate 21B.
  • the reference subjective video quality 23 corresponding to the input frame rate 21A is estimated and output using the specified estimation model 36 has been described.
  • the video quality estimation unit 15 specifies and specifies an estimation model 36 indicating the relationship between the video media code bit rate and the reference subjective video quality based on the input frame rate 21A.
  • an estimation model 36 indicating the relationship between the video media code bit rate and the reference subjective video quality based on the input frame rate 21A.
  • the configuration in which the video quality correction unit 13 corrects the reference subjective video quality 23 based on the degradation model 22 to obtain the subjective video quality estimated value 24 is the same as in the first embodiment described above. The detailed description of is omitted. However, the second embodiment can be used instead of the first embodiment.
  • the video quality estimation device 1 that is powerful in this embodiment In place of the optimal model rate calculation unit 16A, the best video quality calculation unit 16B, and the video quality degradation index calculation unit 16C, the best model quality calculation unit 16E and the first video quality change An index calculation unit 16F and a video quality second change index calculation unit 16G are provided.
  • the storage unit 34M includes a code rate bit rate optimal frame rate characteristic 34A, a code rate bit rate—best video quality characteristic 34B, and a code rate bit rate—video quality degradation index characteristic 34C instead of a frame rate—
  • the best video quality characteristic 34E, frame rate—video quality first change index characteristic 34F, and frame rate—video quality second change index characteristic 34G are stored.
  • the best video quality calculation unit 16E refers to the frame rate of the storage unit 34M—the best video quality characteristic 34E, and shows the best video indicating the best subjective video quality of the video media transmitted at the input frame rate 21A.
  • Quality j8 (fr) (35E) is calculated as one of the estimated model specification parameters 35.
  • the video quality first change index calculation unit 16F refers to the frame rate of the storage unit 34M—video quality first change index characteristic 34F, and the best subjective video quality of the video media transmitted at the input frame rate 21A. It has a function to calculate the video quality first change index ⁇ (fr) (35F) indicating the degree of change (poor) from the best video quality 35E indicating the value as one of the estimated model specifying parameters 35. ing.
  • the video quality second change index calculation unit 16G refers to the frame rate-one video quality second change index characteristic 34G of the storage unit 34M and relates to the subjective video regarding the video media transmitted at the input frame rate 21A.
  • a function that calculates the video quality second change index ⁇ (fr) (35G) indicating the degree of change (poor) from the best video quality 35E indicating the best quality value as one of the estimated model specific parameters 35 have.
  • the estimated model generation unit 16D has the best video quality ⁇ (br) calculated by the best video quality calculation unit 16E, and the video quality first change index ⁇ ( fr), and the video quality second change index calculation unit 16G calculated by the video quality second change index calculation unit ⁇ (fr)
  • the main parameter It has a function of generating an estimation model 36 for estimating subjective video quality corresponding to 21 input frame rates 21A.
  • FIG. 34 is a graph showing the coding rate and subjective video quality characteristics of video media in the video communication service.
  • the horizontal axis represents the coding bit rate br (kbps)
  • the vertical axis represents the subjective video quality value MOS (fr, br) (MOS value)
  • the characteristics for each frame rate fr are shown! / .
  • the code amount per unit frame and the frame rate are in a trade-off relationship with the subjective video quality of the video media.
  • encoding the video at a high frame rate can smooth the video and improve temporal video quality.
  • the amount of code per hit is reduced and spatial image degradation becomes noticeable, and as a result, image quality may deteriorate.
  • the code amount per unit frame is increased and encoding is performed, spatial image degradation is improved and the image quality is improved, but the number of frames per unit time is reduced, and time jerky frame skipping occurs. The video quality may deteriorate as a result.
  • the video quality at that time monotonously increases in accordance with the increase of the code key bit rate and is transmitted at the frame rate, as shown in FIG. It has the characteristic to converge to the best video quality of the selected video media.
  • Video quality 3.8 Convergence to [M OS].
  • the estimation model specifying unit 15A uses the input frame rate 21A to determine the video signal code bit rate and subjective video quality.
  • the estimation model 36 indicating the relationship is identified, and the reference subjective video quality 23 corresponding to the input code bit rate 21B is estimated using the estimation model 36 identified by the estimation model identification unit 15A. Estimated.
  • the sign-bit-rate-subjective video quality characteristics shown in Fig. 34 increase monotonously as the sign-bit rate increases and converge to the best video quality of the video media transmitted at the frame rate.
  • it can be modeled by a general logistic function as shown in FIG.
  • variable X is the sign bit rate
  • the corresponding function value y is the subjective video quality MOS (fr, br)
  • the maximum value A is the best video quality at the input frame rate fr.
  • FIG. 35 is an explanatory diagram showing the sign key bit rate-subjective video quality characteristics modeled by the logistic function.
  • the estimation model specifying unit 15A specifies the estimation model 36 indicating the relationship between the code bit rate of the video media and the subjective video quality based on the input frame rate 21A, the input frame rate 21A As the estimated model specific parameters corresponding to, the best video quality 35E, video quality first change index 35F, and video quality second change index 35 It is necessary to derive G.
  • the video quality first change index ⁇ (fr) and the video quality second change index ⁇ (fr) are reduced from the maximum value A4 in the fractional term of the logistic function, that is, the best video quality ⁇ (fr) It is used to calculate the amount of change (degradation), and is required to identify the estimation model 36 as a change index indicating the degree of change in subjective video quality at the frame rate fr.
  • the following frame rate—best video quality characteristic 34E, frame rate-video quality first change index characteristic 34F, and frame rate-video quality second change index characteristic 34G are estimated models.
  • the specific parameter deriving characteristics 34 are prepared in advance, and the estimated model specific parameters 35 corresponding to the input frame rate 21A are derived by referring to these characteristics.
  • FIG. 36 is a graph showing such a frame rate best video quality characteristic.
  • the horizontal axis shows the frame rate fr (fps), and the vertical axis shows the best video quality
  • FIG. 37 is a graph showing such a frame rate / video quality first change index characteristic.
  • the horizontal axis represents the frame rate fr (fps)
  • the vertical axis represents the video quality first change index ⁇ (fr).
  • FIG. 38 is a graph showing such a frame rate / video quality second change index characteristic.
  • the horizontal axis is the frame rate fr (fps)
  • the vertical axis is the video quality second change index ⁇ . (fr) is shown.
  • FIG. 39 is a flowchart showing reference subjective video quality estimation processing of the video quality estimation apparatus according to the fifth embodiment of the present invention.
  • the video quality estimation apparatus 1 starts the video quality estimation process of FIG. 39 in response to an instruction operation by an operator or an input of the estimation condition 10.
  • the video quality estimation apparatus 1 includes the frame rate-best video quality characteristic 34E (see FIG. 36), the frame rate-one video quality first change index characteristic 34F (see FIG. 37), and the frame rate— Assume that the video quality second change index characteristic 34G (see FIG. 38) is prepared in advance and stored in the storage unit 34M as a function expression.
  • the parameter acquisition unit 11 acquires various estimation conditions 10 related to the video communication service to be evaluated, and from the estimation condition 10, calculates the code-bit rate and frame rate related to the video-code processing.
  • the extracted input bit rate br (21B) and input frame rate fr (21A) are output as the main parameter 21 (step S310).
  • the estimation model specifying unit 15A is an estimation model that shows the relationship between the code rate of the video media and the subjective video quality based on the input frame rate 21 A of the main parameter 21 output from the parameter acquisition unit 11. Specify 36.
  • the best video quality calculation unit 16E refers to the frame rate of the storage unit 34M—the best video quality characteristic 34E and the best video quality corresponding to the input frame rate fr (21A) j8 (fr) ( 35E) is calculated (step S311).
  • the estimated model specifying unit 15A uses the video quality first change index calculating unit 16F to refer to the frame rate—video quality first change index characteristic 34F of the storage unit 34M and input frame rate Mr.
  • the video quality first change index ⁇ (fr) (35F) corresponding to (21A) is calculated (step S312).
  • the estimated model specifying unit 15A uses the video quality second change index calculating unit 16G to refer to the frame rate-video quality second change index characteristic 34G of the storage unit 34M to set the input frame rate fr (21A). Calculate the corresponding video quality second change index ⁇ (fr) (35G) (Step S313).
  • the estimated model specifying unit 15A After calculating each estimated model specifying parameter 35 in this way, the estimated model specifying unit 15A performs the best video quality i8 (fr), video of the estimated model specifying parameter 35 by the estimated model generating unit 16D.
  • the estimated model 36 By substituting the actual values of the quality first change index ⁇ (fr) and the video quality second change index ⁇ (fr) into the above equation (18), the estimated model 36, that is, the sign rate bit rate—subjective video quality Identify the characteristics (step S314).
  • the video quality estimation apparatus 1 refers to the estimation model 36 identified by the estimation model identification unit 15A by the video quality estimation unit 15, and the main parameter 21 output from the parameter acquisition unit 11
  • the video quality corresponding to the input code bit rate 21B is calculated and output as the standard subjective video quality 23 that viewers feel, such as video media players played on the terminal using the video communication service to be evaluated (Step S315), and the series of reference subjective video quality estimation processing ends.
  • the input code bit rate 21B indicating the number of code bits per unit time for the video media and the input frame rate 21A indicating the number of frames per unit time are provided.
  • the estimation model specifying unit 15A estimates the relationship between the video media code bit rate and subjective video quality based on the input frame rate 21A.
  • the model 36 is specified, and the subjective video quality corresponding to the input code bit rate 21B is estimated using the specified estimation model 36 and output as the reference subjective video quality 23.
  • the reference subjective image corresponding to the input code bit rate 21 B input as the estimation condition 10 is also obtained. Quality 23 can be obtained.
  • the video quality estimation device 1 when video media is distributed with a desired video quality, it is possible to specifically grasp the ability to satisfy the desired video quality by encoding the video taken with the camera at the code bit rate and frame rate. it can.
  • the code bit rate is often limited due to network constraints, and in such a case, the video quality estimation device according to the present embodiment is configured by fixing the code bit rate. If 1 is applied, the relationship between frame rate and video quality can be grasped easily and specifically.
  • the frame rate—best video quality characteristic 34E, frame rate—video quality first change index characteristic 34F, and frame rate-one video quality first used for calculating the estimation model specifying parameter 35 are used.
  • the change index characteristic 34G has been explained as an example in advance in the form of a functional expression.
  • these estimated model specific parameter derivation characteristics 34 used to derive the estimated model specific parameters are limited to functional expressions. Alternatively, it may be stored in the storage unit 34M as a value corresponding to the input frame rate.
  • FIG. 40 is a configuration example of estimated model specifying parameter information indicating a correspondence relationship between the input frame rate and each estimated model specifying parameter.
  • This estimated model specific parameter information includes the input frame rate fr (21A), the corresponding best video quality j8 (fr) (35E), the video quality first change index ⁇ (fr) (35F), and the video quality. It consists of a pair with the second change index ⁇ (fr) (35G) and is calculated in advance based on the estimated model specific parameter derivation characteristic 34 and stored in the storage unit 34M.
  • the estimated model specifying parameter 35 corresponding to the input frame rate 21A may be derived by referring to such estimated model specifying parameter information.
  • FIG. 41 is a block diagram showing a configuration of the estimation model specifying unit of the video quality estimation apparatus according to the sixth embodiment of the present invention. The same or equivalent parts as those in FIG. It is.
  • the estimated model specific parameter derivation characteristic 34 is the code key bit rate optimum frame rate characteristic 34A used in the third embodiment, the encoded bit rate.
  • the description has been given in the case of specifying the auto-best video quality characteristic 34B and the code bit rate-video quality degradation index characteristic 34C.
  • the estimated model specific parameter derivation characteristic 34 is the frame rate-best video quality characteristic 34E, the frame rate-one video quality first change index characteristic 34F, and the frame used in the fifth embodiment.
  • the case where the rate-video quality second change index characteristic 34G is specified will be described.
  • the configuration of the video quality estimation apparatus that sequentially specifies the estimated model specifying parameter derivation characteristic 34 according to the estimation condition 10 based on the sub-parameter 25 is the same as that of the fourth embodiment (see FIG. 25) described above. This is the same, and a detailed description thereof is omitted here.
  • FIG. 42 is an explanatory diagram showing a configuration example of the characteristic coefficient DB.
  • the characteristic coefficient DB 28 is a database indicating a set of various sub-parameters 25 and corresponding characteristic coefficients j ′, k ′, 1 ′,..., Q ′ (29).
  • the sub-parameter 25 includes a communication type parameter 25A indicating the communication type of the video communication service, a playback performance parameter 25B indicating the playback performance of the terminal that plays back the video media, or a certain playback environment of the terminal that plays back the video media. There is a playback environment parameter 25C that indicates.
  • the communication type parameter 25A there is a "task" indicating the communication type performed in the video communication service to be evaluated.
  • the playback performance parameter 25B include “encoding method”, “video format”, “key frame” related to video media encoding, “monitor size”, “monitor” related to media playback function on the terminal. Resolution ".
  • a specific example of the playback environment parameter 25C is “indoor lighting” at the time of media playback on the terminal.
  • the sub-parameter 25 is not limited to these parameter examples.
  • the sub-parameter 25 can be arbitrarily selected according to the content of the video communication service or video media to be evaluated. Consists of one or more of playback performance parameter 25B and playback environment parameter 25C!
  • the characteristic coefficient acquisition unit 17 refers to the characteristic coefficient DB 28 of the storage unit 28M prepared in advance, and acquires the characteristic coefficient 29 corresponding to the sub parameter 25.
  • Characteristic coefficient 29 is an estimated model This coefficient is used to specify the estimated model specific parameter derivation characteristics used to derive the specific parameter 35.
  • the estimated model specifying unit 15A includes the estimated model specifying parameter derivation characteristic 34 specified by the characteristic coefficient 29 acquired by the characteristic coefficient acquiring unit 17, that is, the frame rate best video quality characteristic 34E, and the first change in frame rate-video quality. Identify index characteristic 34F and frame rate—video quality second change index characteristic 34G.
  • the estimated model specific parameter derivation characteristic 34 can be modeled as follows using the characteristic coefficient 29 acquired from the characteristic coefficient DB 28 by the characteristic coefficient acquisition unit 17.
  • the estimated model specific parameter derivation characteristic 34 frame rate best video quality characteristic 34E shows that the best video quality monotonically increases with the increase in frame rate as shown in Fig. 36. There is a tendency to converge to quality, and for example, it can be modeled by a general exponential function. Therefore, if the frame rate is fr, the best video quality corresponding to this is j8 (fr), and the coefficients are,, k, and 1, the frame rate-best video quality characteristic 34E is given by the following equation (19) Can be expressed as
  • the frame rate—video quality first change index characteristic 34F of the estimated model specific parameter derivation characteristic 34 is such that, as shown in FIG. 37, the video quality first change index is monotonous as the frame rate increases. It tends to increase, and can be modeled with a general exponential function, for example. Therefore, if the frame rate is fr, the corresponding video quality first change index is ⁇ (fr), and the coefficients are m ′, ⁇ ′, ⁇ ′, the frame rate—video quality first change index characteristic 34F Can be expressed by the following equation (20).
  • the frame rate-video quality second change index characteristic 34G of the estimated model specific parameter derivation characteristic 34 has a monotonically decreasing video quality second change index as shown in Fig. 38 above.
  • it can be modeled by a general linear function. Therefore, if the frame rate is fr, the corresponding video quality second change index is ⁇ (fr), and the coefficients are ⁇ ', q, the frame rate-one video quality second change index characteristic 34G is (21).
  • the model of the estimated model specific parameter derivation characteristic 34 other functions other than the above-described exponential function and linear function may be used.
  • the frame rate best video quality characteristic 34E is the frame rate-video quality first change index characteristic 34F, and a simple function such as a linear function is used. It is possible to model with simple functions.
  • the frame is calculated using another function such as an exponential function or a logistic function.
  • FIG. 43 is a flowchart showing the video quality estimation process of the video quality estimation apparatus according to the sixth embodiment of the present invention. The same or equivalent parts as those in FIG. is there.
  • the video quality estimation apparatus 1 starts the video quality estimation process of Fig. 43 in response to an instruction operation by an operator or an input of the estimation condition 10.
  • the communication type parameter 25A, the playback performance parameter 25B, and the playback environment parameter 25C are used as the secondary parameter 25, and the characteristic coefficient DB 28 of the storage unit 28M includes the combination of the secondary parameter 25 and the characteristic coefficient 29. Is stored in advance.
  • the parameter acquisition unit 11 acquires various estimation conditions 10 related to the video communication service to be evaluated, and from the estimation condition 10, calculates the code-bit rate and frame rate related to video media code-key processing.
  • the extracted input bit rate br (21B) and input frame rate fr (21A) are output as the main parameter 21 (step S310).
  • the parameter acquisition unit 11 extracts the communication type parameter 25A, the reproduction performance parameter 25B, and the reproduction environment parameter 25C from the estimation condition 10, and outputs them as the sub parameter 25 (step S410).
  • the characteristic coefficient acquisition unit 17 refers to the characteristic coefficient DB 28 of the storage unit 28M, and the characteristic coefficient j ', k', 1 ', ..., corresponding to the value of the sub-parameter 25, q '(29) is acquired and output (step S411).
  • the estimated model specifying unit 15A refers to the frame rate—best video quality characteristic 34E specified by the coefficients j, k, 1, among the characteristic coefficients 29 by the best video quality calculation unit 16E. Then, the best video quality j8 (fr) (35E) corresponding to the input frame rate fr (21 A) is calculated (step S311).
  • the estimated model specifying unit 15A uses the video quality first change index calculating unit 16F to specify the frame rate—video quality first change index specified by the coefficients d ', e', and f 'among the characteristic coefficients 29.
  • video quality first change index ⁇ (fr) (35F) corresponding to input frame rate fr (21A) is calculated (step S312).
  • the estimation model specifying unit 15A refers to the frame rate-one video quality second change index characteristic 34G specified by the coefficients g ′ and q among the characteristic coefficients 29 by the video quality second change index calculation unit 16G. Then, the video quality second change index ⁇ (fr) (35G) corresponding to the input frame rate fr (21A) is calculated (step S313).
  • the estimated model specifying unit 1 5A is obtained by the estimated model generation unit 16D using the estimated image specifying parameter 35 for the best video quality i8 (fr), the video quality first change index ⁇ (fr), and the video quality second change index ⁇ (fr).
  • the estimation model 36 that is, the sign bit rate—subjective video quality characteristic is specified (step S314).
  • the video quality estimation apparatus 1 refers to the estimation model 36 identified by the estimation model identification unit 15A by the video quality estimation unit 15, and the main parameter 21 output from the parameter acquisition unit 11
  • the video quality corresponding to the input code bit rate 21B is calculated, and the reference subjective video quality of the subjective video quality that viewers feel, such as video media players, played on the terminal using the video communication service to be evaluated Quality 23 is output (step S315), and the series of video quality estimation processing ends.
  • the sub-parameter that is one or more of the communication type parameter 25A, the reproduction performance parameter 25B, and the reproduction environment parameter 25C acquired by the parameter acquisition unit 11 is used.
  • the characteristic coefficient 29 corresponding to 25 is acquired by the characteristic coefficient acquisition unit 17 from the characteristic coefficient DB2 8 of the storage unit 28M, and the estimated model specifying parameter derivation characteristic specified by these characteristic coefficients 29 by the estimated model specifying unit 15A 34 Therefore, the estimated model specifying parameter 35 corresponding to the input frame rate 21A is calculated, so the estimated model specifying parameter 35 based on the specific characteristics of the video communication service and terminal to be evaluated must be derived. It is possible to improve the accuracy of the reference video quality estimation.
  • FIG. 44 is a graph showing the estimation accuracy of the video quality estimation apparatus to which the present embodiment is applied.
  • the horizontal axis represents the estimated subjective video quality (MOS value) estimated using the video quality estimation device
  • the vertical axis represents the subjective video quality evaluated value (MOS value) actually evaluated by the viewer. Is shown.
  • Fig. 32 which shows the estimation accuracy of the conventional video quality estimation device based on Document 2 described above
  • Fig. 44 shows that the estimation accuracy with fewer errors between the evaluation value and the estimation value is improved. .
  • the degradation model 22 is modeled using an exponential function and the estimation model 36 is modeled using a Gaussian function or a logistic function
  • the present invention is not limited to this.
  • Other functions such as linear functions, quadratic functions, or higher order functions may be used.
  • other models other than the force function described as an example when the degradation model 22 and the estimation model 36 are modeled by a function, such as a neural network or a case base, such as a black-and-white specification that specifies only input / output characteristics. Even a box box model.
  • the correspondence relationship between the secondary parameter 25 and the degradation index coefficient 27 in the degradation index coefficient DB 26 used in the second embodiment, and the characteristics used in the fourth and sixth embodiments As for the correspondence between the secondary parameter 25 and the characteristic factor 29 in the property coefficient DB28, we measured each degradation index derivation characteristic 31 and each estimated model specific parameter derivation characteristic 34 for each combination of the various secondary parameters 25, and obtained the measurement By implementing convergence calculation by least squares on the data, it is possible to calculate the degradation index coefficient 27 and characteristic coefficient 29, respectively. Also good.
  • the storage units such as the storage units 23M, 28M, 31M, and 34M are configured as separate storage device powers has been described as an example, but the present invention is not limited thereto.
  • a plurality of or all of the storage units may be configured by a single storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

　映像メディアに関する単位時間当たりのフレーム数を示す入力フレームレート(21A)と、単位時間当たりの符号化ビット数を示す入力符号化ビットレート(21B)と、パケット損失の発生確率を示す入力パケット損失率(21C)とを入力として、これら主パラメータ(21)に対する主観映像品質を推定する際、劣化モデル特定部(12)により、入力フレームレート(21A)および入力符号化ビットレート(21B)に基づいて、基準主観映像品質(23)の劣化とパケット損失率との関係を示す劣化モデル(22)を特定し、この劣化モデル(22)を用いて算出した入力パケット損失率(21C)に対応する映像品質劣化率に基づいて基準主観映像品質を補正することにより所望の主観映像品質推定値(24)を算出する。

Description

明 細 書
映像品質推定装置、方法、およびプログラム
技術分野
[0001] 本発明は、映像通信技術に関し、特に複数のフレームに符号ィ匕した映像メディアを 端末で受信再生した際に視聴者が実感する主観映像品質を推定する映像品質推 定技術に関する。
背景技術
[0002] インターネットアクセス回線の高速'広帯域ィ匕に伴い、インターネットを介して映像さ らには音声を含む映像メディアを端末間あるいはサーバー端末間で転送する映像通 信サービスの普及が期待されて!、る。
この種の映像通信サービスでは、映像メディアの転送効率を改善するため、映像メ ディアが持つ画素間あるいは画像間の自己相関性や人間の視覚特性を利用して、 映像メディアを複数のフレームに符号ィ匕して転送すると 、う符号ィ匕通信方式が用いら れる。
[0003] 一方、映像通信サービスに利用されるインターネットなどのベスト'エフオート型ネッ トワークでは、必ずしも通信品質が保証されているわけではない。このため、インター ネットを介して映像メディアなどの時間的連続性を有するストリーミング系コンテンツを 転送する際、通信回線の帯域が狭い場合や通信回線が輻輳した場合には、通信回 線を介して受信再生した映像メディアに対して視聴者が実感する品質、すなわち主 観映像品質の劣化として知覚されやすい。また、アプリケーションによる符号ィ匕により 、映像に符号ィ匕歪みが加わり、主観映像品質の劣化として知覚されやすい。具体的 には、映像メディアに品質劣化が加わると、映像のぼけ、にじみ、モザイク状の歪み、 ぎくしゃく感として知覚される。
[0004] このように、映像メディアを転送する映像通信サービスでは、品質劣化が知覚され やすぐ映像通信サービスを良好な品質で提供するためには、サービス提供に先立 つたアプリケーションおよびネットワークの品質設計やサービス開始後の品質管理が 重要となる。したがって、視聴者が享受する映像品質を適切に表現でき、しかも簡便 かつ効率的な映像品質評価技術が必要とされる。
[0005] 従来、このようなストリーミング系コンテンツの 1つである音声メディアの品質を推定 する技 feとして、 ITU— T勧告 P. 8D2 (International Telecommunication Union-Tele communication Standardization sector)にお!/、て、音尸 f¾号を入力とする音 f口質 客観評価法 PESQ (Perceptual Evaluation of Speech Quality)が規定されている。ま た、 ITU— T勧告 G. 107において、音声品質パラメータを入力とする音声品質推定 法が記載されており、 VoIP (Voice over IP)での品質設計に利用されている。
[0006] 一方、映像メディアの品質を推定する技術としては、映像信号を入力とする映像品 質客観評価法が勧告として提案されている (例えば、 ITU-T勧告 J. 144 :以下、文 献 1という)。また、映像品質パラメータを入力とする映像品質推定を行うものも提案さ れている（例えば、山岸,林、「映像コミュニケーションサービスに対する表示サイズ' 解像度を考慮した映像品質推定モデル」、社団法人電子情報通信学会、信学技法 CQ2005-60, 2005/09、 pp.61-64 :以下、文献 2という）。これによれば、映像品質と各 映像品質パラメータの関係カゝら映像品質を定式ィ匕し、これら積の線形和により映像 品質を定式ィ匕している。また、符号化パラメータとパケット損失を考慮した品質推定モ デルも提案されている (例えば、荒山,北脇,山田、「符号化パラメータとパケット損失を 考慮した AV通信品質の推定モデル」、社団法人電子情報通信学会、信学技法 CQ2 005-77、 2005/11、 pp.57- 60 :以下、文献 3という）。
発明の開示
発明が解決しょうとする課題
[0007] アプリケーションおよびネットワークの品質設計や品質管理では、映像通信サービ スに関する各種条件に対応する、具体的で有用な品質設計'管理指針が必要となる 。特に、映像通信サービスの映像品質を左右する多くの要因すなわち映像品質パラ メータが存在するため、これら映像品質パラメータが、映像品質にどのような影響を与 える力、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるかという 品質設計 ·管理指針を得ることが重要となる。
[0008] 映像品質に大きな影響を与える要因として、映像メディアに対する符号化処理の内 容を示す符号ィ匕ビットレートとフレームレートがある。符号ィ匕ビットレートは、映像メデ ィァに関する単位時間当たりの符号ィ匕ビット数を示す値であり、フレームレートは、映 像メディアに関する単位時間当たりのフレーム数を示す値である。
[0009] ある符号ィ匕ビットレートで映像を符号ィ匕して提供する際、高いフレームレートで映像 を符号ィ匕すると映像が滑らかになって時間的な映像品質を向上できるが、単位フレ ーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果として映像品 質が低下する場合がある。また、単位フレーム当たりの符号量を高くして符号ィ匕する と空間的な映像劣化が改善されて映像品質は向上する力 単位時間当たりのフレー ム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映像品質が劣 化する場合がある。
[0010] また、映像品質に大きな影響を与える要因として、パケット損失率がある。パケット損 失率は、映像メディアの転送に用いるパケットのうち通信網や端末で発生したバケツ ト損失の発生確率を示す値である。
通常、パケット損失率が高くなると、符号化された映像メディアを正常に復号するこ とができず、映像品質の劣化に繋がる。この際、符号ィ匕ビットレートが低い場合、パケ ット損失率による映像品質への影響は小さいものの、符号ィ匕ビットレートが高い場合 には、同一パケット損失率であっても映像品質への影響は大きくなる。また、フレーム レートに関しても上記同様の特徴がある。
[0011] したがって、これら符号化ビットレートおよびフレームレートによって異なる、パケット 損失率による映像品質への影響を考慮して、これら符号ィ匕ビットレートおよびフレー ムレートとパケット損失率がどの程度であれば、どの程度の映像品質が得られる力 と いう具体的で有用な品質設計'管理指針が重要となる。
[0012] し力しながら、前述の文献 1に示されている映像信号を入力とする客観品質評価法 では、映像の特徴量すなわち空間的および時間的歪み力 算出される特徴量を考 慮し映像品質を推定するため、映像通信サービスの映像品質を左右する多くの要因 すなわち各映像品質パラメータが、映像品質にどのような影響を与えているか不明 確であるため、どの映像品質パラメータを改善すれば映像品質がどの程度よくなるか t 、う品質設計 ·管理指針を得ることができな!/、。
また、前述の文献 2および文献 3は映像品質パラメータを入力とする映像品質推定 法である力 符号ィ匕ビットレートとフレームレートの糸且ごとにパケット損失が発生したと きの映像品質への影響が異なる点が考慮されておらず、アプリケーションおよびネッ トワークの品質設計や品質管理において具体的で有用な品質設計'管理指針を得る ことができな 、と 、う問題点があった。
[0013] 本発明はこのような課題を解決するためのものであり、符号ィ匕ビットレートおよびフ レームレートによって異なる、パケット損失率による映像品質への影響が考慮された、 具体的で有用な品質設計'管理指針を得ることができる映像品質推定装置、方法、 およびプログラムを提供することを目的として!/、る。
課題を解決するための手段
[0014] このような課題を解決するために、本発明にかかる映像品質推定装置は、複数のフ レームに符号ィ匕した映像メディアに関する、単位時間当たりの符号ィ匕ビット数を示す 入力符号ィ匕ビットレート、単位時間当たりのフレーム数を示す入力フレームレート、お よびパケット損失の発生確率を示す入力パケット損失率を、主パラメータとして取得 するパラメータ取得部と、入力符号ィ匕ビットレートおよび入力フレームレートで符号ィ匕 された映像メディアに関するパケット損失がない場合の主観映像品質を示す基準主 観映像品質を記憶する第 1の記憶部と、基準主観映像品質の劣化と入力パケット損 失率との関係を示す劣化モデルを入力符号化ビットレートと入力フレームレートに基 づき特定する劣化モデル特定部と、特定された劣化モデルを用いて算出した入力パ ケット損失率に対応する映像品質劣化率に基づいて基準主観映像品質を補正する ことにより、通信網を介して任意の端末で受信し再生した映像メディアカゝら視聴者が 実感する主観映像品質の推定値を算出する映像品質補正部とを備えている。
[0015] また、本発明にかかる映像品質推定方法は、パラメータ取得部により、複数のフレ ームに符号ィ匕した映像メディアに関する単位時間当たりの符号ィ匕ビット数を示す入 力符号ィ匕ビットレート、単位時間当たりのフレーム数を示す入力フレームレート、およ びパケット損失の発生確率を示す入力パケット損失率を、主パラメータとして取得す るパラメータ取得ステップと、第 1の記憶部により、入力符号ィ匕ビットレートおよび入力 フレームレートで符号ィ匕された映像メディアに関するパケット損失がない場合の主観 映像品質を示す基準主観映像品質を記憶する記憶ステップと、劣化モデル特定部 により、基準主観映像品質の劣化と入力パケット損失率との関係を示す劣化モデル を入力符号ィ匕ビットレートと入力フレームレートに基づき特定する劣化モデル特定ス テツプと、映像品質補正部により、特定された劣化モデルを用いて算出した入力パケ ット損失率に対応する映像品質劣化率に基づいて基準主観映像品質を補正するこ とにより、通信網を介して任意の端末で受信し再生した映像メディア力 視聴者が実 感する主観映像品質の推定値を算出する映像品質補正ステップとを備えている。
[0016] また、本発明のプログラムは、複数のフレームに符号ィ匕した映像メディアを任意の 端末へ通信網を介して送信する映像通信につ!ヽて、端末で再生された当該映像メ ディアカゝら視聴者が実感する主観映像品質の推定値を所定の推定モデルを用いて 算出する映像品質推定装置のコンピュータに、パラメータ取得部により、映像メディア に関する単位時間当たりの符号ィ匕ビット数を示す入力符号ィ匕ビットレート、単位時間 当たりのフレーム数を示す入力フレームレート、およびパケット損失の発生確率を示 す入力パケット損失率を、主パラメータとして取得するパラメータ取得ステップと、記 憶部により、入力符号ィ匕ビットレートおよび入力フレームレートで符号ィ匕された映像メ ディアに関するパケット損失がない場合の主観映像品質を示す基準主観映像品質を 記憶する記憶ステップと、劣化モデル特定部により、基準主観映像品質の劣化と入 力パケット損失率との関係を示す劣化モデルを入力符号ィ匕ビットレートと入力フレー ムレートに基づき特定する劣化モデル特定ステップと、映像品質補正部により、特定 された劣化モデルを用いて算出した入力パケット損失率に対応する映像品質劣化率 に基づいて基準主観映像品質を補正することにより、通信網を介して任意の端末で 受信し再生した映像メディアカゝら視聴者が実感する主観映像品質の推定値を算出す る映像品質補正ステップとを実行させる。
発明の効果
[0017] 本発明によれば、映像メディアに関する単位時間当たりのフレーム数を示す入カフ レームレートと、単位時間当たりの符号ィ匕ビット数を示す入力符号ィ匕ビットレートと、パ ケット損失の発生確率を示す入力パケット損失率とを入力として、これら主パラメータ に対する主観映像品質を推定する際、劣化モデル特定部により、入力フレームレー トおよび入力符号ィ匕ビットレートに基づいて、基準主観映像品質の劣化とパケット損 失率との関係を示す劣化モデルが特定され、この劣化モデルを用いて算出した入力 パケット損失率に対応する映像品質劣化率に基づいて基準主観映像品質が補正さ れる。
[0018] これにより、推定条件として入力された入力符号ィ匕ビットレートおよびフレームレート に対応する劣化モデルを参照して、同じく推定条件として入力されたパケット損失率 に対応する映像品質劣化率を算出し、この映像品質劣化率に基づき基準主観映像 品質を補正して、所望の映像品質推定値を得ることができる。
したがって、符号ィ匕ビットレートおよびフレームレートによって異なる、パケット損失 率による映像品質への影響を考慮して、これら符号ィ匕ビットレートおよびフレームレー トとパケット損失率がどの程度であれば、どの程度の映像品質が得られるか、という具 体的で有用な品質設計'管理指針を得ることができ、サービス提供に先立ったアプリ ケーシヨンおよびネットワークの品質設計やサービス開始後の品質管理に大いに役 立てることができる。
図面の簡単な説明
[0019] [図 1]図 1は、本発明の第 1の実施の形態にかかる映像品質推定装置の構成を示す ブロック図である。
[図 2]図 2は、本発明の第 1の実施の形態にカゝかる映像品質推定装置の劣化モデル 特定部の構成を示すブロック図である。
[図 3]図 3は、パケット損失率—主観映像品質特性 (対フレームレート)を示すグラフで ある。
[図 4]図 4は、パケット損失率-主観映像品質特性 (対符号ィ匕ビットレート)を示すダラ フである。
[図 5]図 5は、フレームレート—劣化指標特性を示すグラフである。
[図 6]図 6は、符号ィ匕ビットレート—劣化指標特性を示すグラフである。
[図 7]図 7は、劣化指数を示す三次元グラフである。
[図 8]図 8は、パケット損失率一映像品質劣化率特性 (対フレームレート)を示すグラフ である。
[図 9]図 9は、本発明の第 1の実施の形態にかかる映像品質推定装置の映像品質推 定処理を示すフローチャートである。
[図 10]図 10は、劣化指標情報の構成例である。
[図 11]図 11は、本発明の第 2の実施の形態にかかる映像品質推定装置の構成を示 すブロック図である。
[図 12]図 12は、本発明の第 2の実施の形態にカゝかる映像品質推定装置の劣化モデ ル特定部の構成を示すブロック図である。
圆 13]図 13は、劣化指標係数 DBの構成例を示す説明図である。
[図 14]図 14は、本発明の第 2の実施の形態にかかる映像品質推定装置の映像品質 推定処理を示すフローチャートである。
[図 15]図 15は、本発明の第 3の実施の形態にかかる映像品質推定装置の構成を示 すブロック図である。
[図 16]図 16は、本発明の第 3の実施の形態にかかる映像品質推定装置の映像品質 推定部の構成を示すブロック図である。
[図 17]図 17は、フレームレート—主観映像品質特性を示すグラフである。
[図 18]図 18は、符号ィ匕ビットレート 最適フレームレート特性を示すグラフである。
[図 19]図 19は、符号ィ匕ビットレート—最良映像品質特性を示すグラフである。
[図 20]図 20は、ガウス関数を示す説明図である。
[図 21]図 21は、ガウス関数でモデルィ匕されたフレームレート一主観映像品質特性を 示す説明図である。
[図 22]図 22は、符号ィ匕ビットレート—映像品質劣化指標特性を示すグラフである。
[図 23]図 23は、本発明の第 3の実施の形態にかかる映像品質推定装置の基準主観 映像品質推定処理を示すフローチャートである。
[図 24]図 24は、推定モデル特定パラメータ情報の構成例である。
[図 25]図 25は、本発明の第 4の実施の形態にカゝかる映像品質推定装置の構成を示 すブロック図である。
[図 26]図 26は、本発明の第 4の実施の形態にかかる映像品質推定装置の映像品質 推定部の構成を示すブロック図である。
圆 27]図 27は、特性係数 DBの構成例を示す説明図である。 [図 28]図 28は、ロジスティック関数を示す説明図である。
[図 29]図 29は、ロジスティック関数でモデルィ匕された符号ィ匕ビットレート 最良映像 品質特性を示す説明図である。
[図 30]図 30は、本発明の第 4の実施の形態にかかる映像品質推定装置の基準主観 映像品質推定処理を示すフローチャートである。
[図 31]図 31は、本実施の形態を適用した映像品質推定装置の推定精度を示すダラ フである。
[図 32]図 32は、従来の映像品質推定装置の推定精度を示すグラフである。
[図 33]図 33は、本発明の第 5の実施の形態にカゝかる映像品質推定装置の推定モデ ル特定部の構成を示すブロック図である。
[図 34]図 34は、映像通信サービスにおける映像メディアの符号ィ匕ビットレート 主観 映像品質特性を示すグラフである。
[図 35]図 35は、ロジスティック関数でモデルィ匕された符号ィ匕ビットレート一主観映像 品質特性を示す説明図である。
[図 36]図 36は、フレームレート—最良映像品質特性を示すグラフである。
圆 37]図 37は、フレームレート—映像品質第 1変化指標特性を示すグラフである。 圆 38]図 38は、フレームレート—映像品質第 2変化指標特性を示すグラフである。
[図 39]図 39は、本発明の第 5の実施の形態にかかる映像品質推定装置の映像品質 推定処理を示すフローチャートである。
[図 40]図 40は、推定モデル特定パラメータ情報の構成例である。
[図 41]図 41は、本発明の第 6の実施の形態にカゝかる映像品質推定装置の推定モデ ル特定部の構成を示すブロック図である。
圆 42]図 42は、係数 DBの構成例を示す説明図である。
[図 43]図 43は、本発明の第 6の実施の形態にかかる映像品質推定装置の映像品質 推定処理を示すフローチャートである。
[図 44]図 44は、本実施の形態を適用した映像品質推定装置の推定精度を示すダラ フである。
発明を実施するための最良の形態 [0020] 次に、本発明の実施の形態について図面を参照して説明する。
[第 1の実施の形態]
まず、図 1を参照して、本発明の第 1の実施の形態にかかる映像品質推定装置に ついて説明する。図 1は、本発明の第 1の実施の形態に力かる映像品質推定装置の 構成を示すブロック図である。
この映像品質推定装置 1は、入力された情報を演算処理するコンピュータなどの情 報処理装置力 なり、複数のフレームに符号ィ匕した映像メディアを任意の端末へ通 信網を介して送信する映像通信について、その映像メディアと通信網に関する推定 条件を入力として、端末で再生された当該映像メディアカゝら視聴者が実感する主観 映像品質の推定値を所定の推定モデルを用いて算出する。
[0021] 本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット数を示す入 力符号ィ匕ビットレート、単位時間当たりのフレーム数を示す入力フレームレート、およ びパケット損失の発生確率を示す入力パケット損失率を入力として、このうち入力符 号ィ匕ビットレートおよび入力フレームレートで符号ィ匕された映像メディアの主観映像 品質を示す基準主観映像品質について、当該基準主観映像品質の劣化とパケット 損失率との関係を示す劣化モデルを入力符号ィ匕ビットレートと入力フレームレートに 基づき特定し、特定された劣化モデルを用いて算出したパケット損失に対応する映 像品質劣化率に基づいて基準主観映像品質を補正することにより推定値を算出する ようにしたものである。
[0022] [映像品質推定装置]
次に、図 1および図 2を参照して、本発明の第 1の実施の形態にカゝかる映像品質推 定装置の構成について詳細に説明する。図 2は、本発明の第 1の実施の形態にかか る映像品質推定装置の劣化モデル特定部の構成を示すブロック図である。
[0023] 映像品質推定装置 1には、主な機能部として、パラメータ取得部 11、劣化モデル特 定部 12、および映像品質補正部 13が設けられている。これら機能部は、専用の演算 処理回路部で実現してもよいが、 CPUなどのマイクロプロセッサとその周辺回路を設 け、予め用意されているプログラムを読み込んでマイクロプロセッサで実行することに より、上記ハードウェアとプログラムを協働させることにより上記機能部を実現してもよ い。また、これら機能部で用いられる処理情報はメモリゃノヽードディスクなどの記憶装 置からなる後述の各記憶部で記憶され、これら機能部間でやり取りされる処理情報は 同じく記憶装置力もなる記憶部（図示せず)を介してやり取りされる。また、上記プログ ラムを記憶部に格納しておいてもよい。この他、映像品質推定装置 1には、一般的な 情報処理装置と同様に、記憶装置、操作入力装置、画面表示装置などの各種基本 的構成が設けられている。
[0024] パラメータ取得部 11は、評価対象となる映像通信サービスに関する各種の推定条 件 10を取得する機能と、推定条件 10から映像メディアの符号ィ匕処理に関するフレー ムレートおよび符号ィ匕ビットレートを抽出する機能と、推定条件 10から映像メディアを 転送する通信網および端末の性能に関するパケット損失率を抽出する機能と、これ らを入力フレームレート fr (21A)、入力符号化ビットレート br(21B)、および入力パケ ット損失率 pi (21C)からなる主パラメータ 21として出力する機能とを有している。
[0025] 推定条件 10については、キーボードなどの操作入力装置を用いてオペレータ操作 により入力してもよぐデータ入出力を行うデータ入出力装置を用いて外部装置、記 録媒体、あるいは通信網力 取得してもよぐさらには実際の映像通信サービスから 計測してもよい。また、入力パケット損失率 pi (21C)は、映像メディアサービスの特徴 や所望する主観映像品質に応じて、通信網でのパケット損失または端末でのパケット 損失のいずれか、あるいは両方を対象とすればよい。
[0026] 劣化モデル特定部 12は、ノ ラメータ取得部 11から出力された主パラメータ 21の入 カフレームレート 21Aおよび入力符号化ビットレート 21Bに基づいて、基準主観映像 品質 23の劣化とパケット損失率との関係を示す劣化モデル 22を特定する機能を有 している。基準主観映像品質 23は、入力フレームレート 21Aおよび入力符号ィ匕ビット レート 21Bで符号ィ匕された映像メディアに関する、パケット損失がない場合の主観映 像品質であり、予め記憶部 23M (第 1の記憶部）に記憶しておいてもよぐパラメータ 取得部 11により主パラメータ 21と同時に推定条件 10から取得して記憶部 23Mに保 存してちよい。
[0027] 映像品質補正部 13は、劣化モデル特定部 12で特定された劣化モデル 22を参照 して主パラメータ 21の入力パケット損失率 21Cに対応する映像品質劣化率を算出す る機能と、この映像品質劣化率に基づいて基準主観映像品質 23を補正することによ り所望の主観映像品質推定値 24を算出する機能とを有している。
[0028] 劣化モデル特定部 12は、図 2に示すように、さらにいくつかの機能部力も構成され ている。主な機能部としては、フレームレート劣化指標算出部 12A、符号化ビットレー ト劣化指標算出部 12B、および劣化指標算出部 12Cがある。
[0029] フレームレート劣化指標算出部 12Aは、記憶部 31M (第 2の記憶部）のフレームレ ート—劣化指標特性 31 Aを参照して、入力フレームレート fr(21A)で送信された映 像メディアの主観映像品質の劣化に対する、パケット損失率の影響度合 、を示すフ レームレート劣化指標て (fr) (第 1の劣化指標 : 32A)を算出する機能を有している。
1
符号ィ匕ビットレート劣化指標算出部 12Bは、記憶部 31Mの符号ィ匕ビットレート—劣 化指標特性 31Bを参照して、入力符号ィ匕ビットレート br (21B)で送信された映像メデ ィァの主観映像品質の劣化に対する、パケット損失率の影響度合いを示す符号ィ匕ビ ットレート劣化指標て (br) (第 2の劣化指標 : 32B)を算出する機能を有している。
2
[0030] 劣化指標算出部 12Cは、フレームレート劣化指標て (fr)と符号化ビットレート劣化
1
指標て (br)に基づいて、劣化モデル 22を特定するパラメータとして、入力フレーム
2
レート fr (21A)および入力符号ィ匕ビットレート br(21B)で送信された映像メディアの 基準主観映像品質 23の劣化に対する、パケット損失率の影響を示す劣化指標て (fr , br) (33)を算出する機能を有している。
これら、フレームレート—劣化指標特性 31A、および符号ィ匕ビットレート—劣化指標 特性 31Bは、劣化指標導出特性 31として予め用意され、記憶部 31M (第 2の記憶部 )に記憶されている。
[0031] [主観映像品質特性]
次に、図 3および図 4を参照して、映像通信サービスにおける映像通信メディアの 主観映像品質の劣化に対する、パケット損失率の影響について説明する。図 3は、 映像通信サービスにおける映像通信メディアのパケット損失率 主観映像品質特性 (対フレームレート）を示すグラフであり、フレームレート frごとの特性が示されている。 図 4は、映像通信サービスにおける映像通信メディアのパケット損失率 主観映像品 質特性 (対符号化ビットレート)を示すグラフであり、符号化ビットレート brごとの特性 が示されている。これら図 3および図 4において、横軸はパケット損失率 pi (%)を示し 、縦軸は主観映像品質値 MOS (fr, br, pi) (MOS値)を示している。
[0032] 一般に、符号化された映像メディアのパケットが通信網や端末で損失すると、符号 化された映像メディアを正常に復号することができない場合があり、このような場合に は映像メディアの空間系および時間系の劣化として歪みが生じ、図 3および図 4に示 すように、パケット損失率の増加に伴って映像品質が単調に劣化する。
この際、映像メディアの符号ィ匕ビットレートが低い場合、パケット損失率による映像 品質への影響は小さいものの、映像メディアの符号ィ匕ビットレートが高い場合には、 同一のパケット損失率であっても映像品質への影響は大きくなる。また、フレームレー トに関しても上記同様の特徴がある。
[0033] 例えば図 3に示すように、映像メディアのフレームレートが高い場合 (fr= 30fpr)、 パケット損失率変化に対する映像品質の劣化は急峻になり、フレームレートが低い場 合 (fr= 10ps)、パケット損失率変化に対する映像品質の劣化はなだらかになる。ま た、図 4に示すように、映像メディアの符号ィ匕ビットレートが高い場合 (br= 3Mbps)、 パケット損失率変化に対する映像品質劣化の劣化は急峻になり、符号ィ匕ビットレート が低い場合 (br= 1Mbps)、パケット損失率変化に対する映像品質劣化の劣化はな だらかになる。このように、パケット損失発生時の映像品質の劣化は、当該映像メディ ァのフレームレートおよび符号ィ匕ビットレートの相互作用に影響される。
[0034] したがって、これら符号化ビットレートおよびフレームレートによって異なる、パケット 損失率による映像品質への影響を考慮して、これら符号ィ匕ビットレートおよびフレー ムレートとパケット損失率がどの程度であれば、どの程度の映像品質が得られる力 と いう具体的で有用な品質設計'管理指針が重要となる。
[0035] 本実施の形態では、このような主観映像品質特性の性質に着目して、劣化モデル 特定部 12により、入力フレームレート 21Aおよび入力符号ィ匕ビットレート 21Bに基づ いて、映像メディアの基準主観映像品質 23の劣化と入力パケット損失率 21Cとの関 係を示す劣化モデル 22を特定し、映像品質補正部 13により、劣化モデル特定部 12 で特定された劣化モデル 22を用いて入力パケット損失率 21Cに対応する主観映像 品質推定値 24を推定して 、る。 [0036] [劣化モデル]
次に、劣化モデル特定部 12で用いる劣化モデルとその特定方法について詳細に 説明する。
主パラメータ 21の入力フレームレート frおよび入力符号化ビットレート brで符号化さ れた映像メディアの、パケット損失がない場合 (pl=0)の主観映像品質を基準映像 品質 G (fr, br)とし、入力フレームレート frおよび入力符号化ビットレート brの際のパ ケット損失率 piによる基準映像品質 G (fr, br)に対する劣化度合いを映像品質劣化 率 P (fr, br, pi)とした場合、任意の入力パケット損失率 piにおける主観映像品質 M OS (fr, br, pi)は、次の式（1)で求めることができる。
[0037] [数 1]
MOS{fr,br,pl) = 1 +
Figure imgf000015_0001
P{fr,br,pl) …（ ）
[0038] 前述の図 3および図 4に示したような、パケット損失率 piに対する主観映像品質の 劣化特性を劣化モデル 22で表す場合、主パラメータ 21の入力フレームレート fr、入 力符号ィ匕ビットレート br、および入力パケット損失率 piを変数として、パケット損失率 p 1の増加とともに主観映像品質が単調減少する指数関数を利用できる。
この際、フレームレート frおよび符号化ビットレート brによる劣化モデル 22に対する パケット損失率の影響度合いを劣化指標 τ (fr, br)とした場合、映像品質劣化率 P ( fr, br, pi)は、次の式（2)モデル化できる。
[0039] [数 2]
Figure imgf000015_0002
また、フレームレート frおよび符号ィ匕ビットレート brによる主観映像品質の劣化に対 するパケット損失率の影響度合いは、前述の図 3および図 4に示したようにそれぞれ 個別に存在する。このため、フレームレート frによる主観映像品質に対する影響成分 をフレームレート劣化指標 τ (fr)とし、符号ィ匕ビットレート brによる主観映像品質に
1
対する影響成分を符号化ビットレート劣化指標て (br)とし、 a, b, cを係数とした場合
2
、劣化指標 τ (fr, br)は、これらフレームレート劣化指標 τ (fr)と符号化ビットレート 劣化指標て (br)の線形和で合成した次式 (3)でモデルィ匕できる。
2
[0041] [数 3] z{fr,br) = a + b - Xl {fr) + c - T2 {br) … ）
[0042] 図 5は、フレームレート frによる主観映像品質に対する影響成分を示すフレームレ 一トー劣化指標特性を示すグラフであり、横軸はフレームレート fr (fps)を示し、縦軸 はフレームレート劣化指標 τ (fr)を示している。フレームレートの増加に応じてフレ
1
ームレート劣化指標 τ (fr)は単調減少している。図 6は、符号化ビットレート brによる
1
主観映像品質に対する影響成分を示す符号化ビットレート—劣化指標特性を示すグ ラフであり、横軸は符号ィ匕ビットレート br (bps)を示し、縦軸は符号ィ匕ビットレート劣化 指標 τ (br)を示している。符号化ビットレートの増加に応じて符号化ビットレート劣
2
化指標 τ (br)は単調減少して ヽる。
2
[0043] このようなフレームレート劣化指標 τ (fr)と符号化ビットレート劣化指標 τ (br)に
1 2 基づき劣化指標て (fr, br) (33)を算出すれば、推定条件 10に応じた劣化モデル 2 2すなわちパケット損失率—映像品質劣化率特性を決定できる。
図 7は、劣化指標を示す三次元グラフであり、第 1横軸はフレームレート frを示し、 第 2横軸は符号ィ匕ビットレート brを示し、縦軸は劣化指標て (fr, br)を示している。図 8は、パケット損失率一映像品質劣化率特性 (対フレームレート)を示すグラフであり、 横軸がパケット損失率 pi (%)を示し、縦軸が映像品質劣化率 P (fr, br, pi)を示して いる。ここでは、符号化ビットレート br= 2Mbpsを固定とし、フレームレート frが 2, 10 , 30fpsの場合の特性がそれぞれ示されている。
[0044] [第 1の実施の形態の動作]
次に、図 9を参照して、本発明の第 1の実施の形態にカゝかる映像品質推定装置の 動作について説明する。図 9は、本発明の第 1の実施の形態に力かる映像品質推定 装置の映像品質推定処理を示すフローチャートである。
[0045] 映像品質推定装置 1は、オペレータからの指示操作や推定条件 10の入力に応じて 、図 9の映像品質推定処理を開始する。なお、ここでは、基準主観映像品質 23が主 ノ メータ 21とともに推定条件 10で指定されるものとし、また映像品質推定装置 1に は、前述したフレームレート—劣化指標特性 31A (図 5参照）および符号ィ匕ビットレー ト—劣化指標特性 31B (図 6参照）が予め用意され、関数式として記憶部 31Mに記 憶されているものとする。
[0046] まず、パラメータ取得部 11は、評価対象となる映像通信サービスに関する各種の推 定条件 10を取得し、推定条件 10から映像メディアの符号ィ匕処理に関するフレームレ ートと符号ィ匕ビットレートを抽出するとともに、通信網や端末での映像メディアに対す るパケット損失率を抽出して、これら入力フレームレート fr (21A)、入力符号ィ匕ビット レート br (21B)、および入力パケット損失率 pi (21C)を主パラメータ 21として出力す る (ステップ S 100)。この際、パラメータ取得部 11は、推定条件 10から入力フレーム レート fr (21A)および入力符号ィ匕ビットレート br (21B)におけるパケット損失がない 場合 (pl=0)の主観映像品質値を抽出し、基準主観映像品質 23として出力する。
[0047] 劣化モデル特定部 12は、ノ ラメータ取得部 11から出力された主パラメータ 21の入 カフレームレート 21Aと入力符号化ビットレート 21Bに基づいて、映像メディアのパケ ット損失率と主観映像品質との関係を示す劣化モデル 22を特定する。
[0048] 具体的には、フレームレート劣化指標算出部 12Aにより、記憶部 31Mから図 5に示 すようなフレームレート 劣化指標特性 31Aを参照して、入力フレームレート fr (21A )に対応するフレームレート劣化指標 τ (fr) (32A)を算出する (ステップ S101)。
1
また、劣化モデル特定部 12は、符号ィ匕ビットレート劣化指標算出部 12Bにより、記 憶部 31M力も図 6に示すような符号ィ匕ビットレート—劣化指標特性 31Bを参照して、 入力符号ィ匕ビットレート br (21B)に対応する符号化ビットレート劣化指標 τ (br) (32
2
B)を算出する (ステップ S 102)。
[0049] 続いて、劣化モデル特定部 12は、劣化指標算出部 12Cにより、これらフレームレー ト劣化指標 τ (fr)および符号化ビットレート劣化指標 τ (br)の実際の値を前述した
1 2
式 (3)へ代入することにより、劣化指標 τ (fr, br) (33)を算出する (ステップ S 103)。 これにより、図 8に示すような劣化モデル 22すなわち前述した式（2)で示されるバケツ ト損失率一映像品質劣化率特性が特定される。
[0050] 次に、映像品質推定装置 1は、映像品質補正部 13により、劣化モデル特定部 12で 特定された劣化モデル 22を参照して、その劣化指標 τ (fr, br)とパラメータ取得部 1 1から出力された主パラメータ 21の入力パケット損失率 pl (21C)とを前述した式 (2) へ代入することにより、対応する映像品質劣化率 P (fr, br, pi)を算出する (ステップ S104)。
[0051] この後、映像品質補正部 13は、この映像品質劣化率 P (fr, br, pi)の実際の値と基 準主観映像品質 23とを前述した式（1)へ代入することにより映像品質 MOS (fr, br, pi)を算出して、評価対象となる映像通信サービスを利用して端末で再生された映像 メディアカゝら視聴者が実感する主観映像品質推定値 24として出力し (ステップ S105 )、一連の映像品質推定処理を終了する。
[0052] このように、本実施の形態は、映像メディアに関する単位時間当たりのフレーム数を 示す入力フレームレート 21Aと、単位時間当たりの符号ィ匕ビット数を示す入力符号ィ匕 ビットレート 21Bと、パケット損失の発生確率を示す入力パケット損失率 21Cとを入力 として、これら主パラメータ 21に対する主観映像品質を推定する際、劣化モデル特 定部 12により、入力フレームレート 21Aおよび入力符号ィ匕ビットレート 21Bに基づい て、基準主観映像品質 23の劣化とパケット損失率との関係を示す劣化モデル 22を 特定し、この劣化モデル 22を用いて算出した入力パケット損失率 21Cに対応する映 像品質劣化率に基づいて基準主観映像品質を補正することにより所望の主観映像 品質推定値 24を算出している。
[0053] これにより、推定条件 10として入力された入力フレームレート 21Aおよび入力符号 化ビットレート 21Bに対応する劣化モデル 22を参照して、同じく推定条件 10として入 力された入力パケット損失率 21Cに対応する主観映像品質推定値 24を得ることがで きる。
したがって、符号ィ匕ビットレートおよびフレームレートによって異なる、パケット損失 率による映像品質への影響を考慮して、これら符号化ビットレート、フレームレート、 およびパケット損失率をそれぞれどの程度に設定すると、どの程度の映像品質が得 られる力、という具体的で有用な品質設計'管理指針を得ることができ、サービス提供 に先立ったアプリケーションおよびネットワークの品質設計やサービス開始後の品質 管理に大いに役立てることができる。
[0054] 例えば、所望の映像品質で映像メディアを配信した 、場合、本実施の形態にかか る映像品質推定装置 1を用いれば、ある符号ィ匕ビットレートとフレームレートで符号ィ匕 した映像メディアをどの程度のパケット損失率で転送すれば所望の映像品質を満足 するかを具体的に把握することができる。特に、ネットワークの制約条件により、符号 化ビットレートが制限される場合が多ぐこのような場合には、当該符号化ビットレート を固定ィ匕して本実施の形態に力かる映像品質推定装置 1を適用すれば、フレームレ ートおよびパケット損失率と映像品質との関係を容易かつ具体的に把握できる。
[0055] 本実施の形態では、劣化指標 33を算出する際に用いる、フレームレート—劣化指 標特性 31Aや符号ィ匕ビットレート—劣化指標特性 31Bが予め関数式の形で用意さ れている場合を例として説明したが、劣化指標 33の導出に用いるこれら劣化指標導 出特性 31については関数式に限定されるものではなぐ入力フレームレートおよび 入力符号ィ匕ビットレートに対応する値として記憶部 31Mで記憶しておいてもよい。
[0056] 図 10は、入力フレームレートおよび入力符号ィ匕ビットレートと劣化指標との対応関 係を示す劣化指標情報の構成例である。この劣化指標情報は、入力フレームレート f r (21A)および入力符号ィ匕ビットレート br (21B)と、これに対応する劣化指標 τ (fr, br) (33)との組からなり、予め上記劣化指標導出特性 31に基づき算出して記憶部 3 1Mに記憶されている。
劣化モデル特定部 12では、このような劣化指標情報を参照して、入力フレームレ ート 21Aおよび入力符号ィ匕ビットレート 21Bに対応する劣化指標 τ (fr, br)を導出し てもよい。
[0057] また、本実施の形態では、前述した式（2)を用いて劣化指標 τ (fr, br)に対応する 映像品質劣化率 P (fr, br, pi)を算出する場合について説明したが、他の算出式を 用いて映像品質劣化率 P (fr, br, pi)を算出してもよい。
例えば、入力フレームレート frおよび入力符号ィ匕ビットレート brで決定される係数と 劣化指標 τ (fr, br)を用いた指数関数とを複数の組ごとに積和計算して得られる、 次式 (4)のような超指数関数で映像品質劣化率 P (fr, br, pi)をモデルィ匕してもよぐ パケット損失率 piの増加に応じて映像品質劣化率 P (fr, br, pi)が急峻に低減するよ うな場合に好適である。
[0058] [数 4]
Figure imgf000020_0001
[0059] また、入力パケット損失率 piと係数 a, bのみを用いて、次の式（5)のような線形関数 により映像品質劣化率 P (fr, br, pi)をモデルィ匕してもよぐ特に変動幅が小さい限定 された推定条件下で用いることができ、演算処理時間が大幅に短縮される。
[0060] [数 5]
P{fr,br,pl) = + b - pl … ）
[0061] [第 2の実施の形態]
次に、図 11および図 12を参照して、本発明の第 2の実施の形態に力かる映像品質 推定装置について説明する。図 11は、本発明の第 2の実施の形態に力かる映像品 質推定装置の構成を示すブロック図であり、前述した図 1と同じまたは同等部分には 同一符号を付してある。図 12は、本発明の第 2の実施の形態にカゝかる映像品質推定 装置の推定モデル特定部の構成を示すブロック図であり、前述した図 2と同じまたは 同等部分には同一符号を付してある。
[0062] 第 1の実施の形態では、予め用意されている劣化指標導出特性 31を参照して入力 フレームレート 21Aおよび入力符号ィ匕ビットレート 21Bに対応する劣化指標 33を導 出する場合を例として説明した。本実施の形態では、評価対象となる映像通信サー ビスに関する各種の推定条件 10のうち、映像通信サービスの通信種別、映像メディ ァを再生する端末の再生性能、あるいは映像メディアを再生する端末の再生環境に 基づいて、推定条件 10に応じた劣化指標導出特性 31を逐次特定する場合につい て説明する。
[0063] 第 1の実施の形態（図 1参照）と比較して、本実施の形態に力かる映像品質推定装 置 1には、劣化指標係数取得部 14と劣化指標係数データベース (以下、劣化指標係 数 DBと!、う） 26が追カロされて!、る。
劣化指標係数取得部 14は、記憶部 26M (第 3の記憶部）の劣化指標係数 DB26を 参照して、パラメータ取得部 11により推定条件 10から取得された副パラメータ 25に 対応する劣化指標係数 27を取得する機能を有している。 [0064] 図 13は、劣化指標係数 DBの構成例を示す説明図である。劣化指標係数 DB26は 、各種副パラメータ 25とこれに対応する各特性係数 a, b, · ··, i (27)との組を示すデ ータベースである。副パラメータ 25には、映像通信サービスの通信種別を示す通信 種別パラメータ 25A、映像メディアを再生する端末の再生性能を示す再生性能パラ メータ 25B、あるいは映像メディアを再生する端末の再生環境を示す再生環境パラメ ータ 25Cがある。
[0065] 通信種別パラメータ 25Aの具体例としては、評価対象となる映像通信サービスで行 われる通信種別を示す「タスク」がある。
再生性能パラメータ 25Bの具体例としては、映像メディアの符号ィ匕に関する「符号 化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に 関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ 25Cの具体例としては、端末でのメディア再生の際の「室内照 度」などがある。
[0066] 副パラメータ 25は、これらパラメータ例に限定されるものではなぐ評価対象となる 映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよぐ少な くともこれら通信種別パラメータ 25A、再生性能パラメータ 25B、および再生環境パラ メータ 25Cのうちの 1つ以上から構成されて!、ればよ!/、。
[0067] 劣化指標係数取得部 14は、予め用意された記憶部 26Mの劣化指標係数 DB26を 参照して、副パラメータ 25に対応する劣化指標係数 27を取得する。劣化指標係数 2 7は、劣化指標 33の導出に用いる劣化指標導出特性 31を特定するための係数であ る。
劣化モデル特定部 12は、劣化指標係数取得部 14で取得された劣化指標係数 27 により特定された劣化指標導出特性 31、すなわちフレームレート 劣化指標特性 31 Aおよび符号ィ匕ビットレート—劣化指標特性 31Bを特定する。
[0068] [劣化指標導出特性]
次に、劣化モデル特定部 12で用いる劣化指標導出特性 31につ 、て詳細に説明 する。
劣化指標導出特性 31は、劣化指標係数取得部 14により劣化指標係数 DB26から 取得される劣化指標係数 27を用いてそれぞれ次のようにモデルィ匕することができる。
[0069] まず、劣化指標導出特性 31のフレームレート—劣化指標特性 31Aは、前述した図 5に示すように、フレームレートの増加とともにフレームレート劣化指標が単調減少し、 その後ある最小値に収束する傾向があり、例えば一般的な指数関数でモデルィ匕する ことができる。したがって、フレームレートを frとし、これに対応するフレームレート劣化 指標を τ (fr)とし、係数を d, e, fとした場合、フレームレート—劣化指標特性 31Aは
1
、次の式 (6)で表すことができる。
[0070] 園
T1 (fr) = d + e - exp(- fr / f ) - (6)
[0071] 次に、劣化指標導出特性 31の符号ィ匕ビットレート—劣化指標特性 31Bは、前述し た図 6に示すように、符号ィ匕ビットレートの増加とともに符号ィ匕ビットレート劣化指標が 減少し、ある最小値に収束する傾向があり、例えば一般的な指数関数でモデルィ匕す ることができる。したがって、符号ィ匕ビットレートを brとし、これに対応する符号化ビット レート劣化指標を τ (br)
2 とし、係数を g, h, iとした場合、符号ィ匕ビットレート—劣化 指標特性 31Bは、次の式（7)で表すことができる。
[0072] [数 7] て 2for) = g + /¾ - exp (— br/ ) ·' · (7)
[0073] なお、劣化指標導出特性 31のモデルィ匕については、前述した指数関数に限定さ れるものではなぐ他の関数を用いてもよい。例えば、評価対象となる映像通信サー ビスや映像メディアの内容、ネットワーク性能、あるいは推定条件 10の内容によって は、ある程度限定された範囲の入力符号ィ匕ビットレートや入力フレームレートでの映 像品質推定処理で十分なため、このような局所的な見方が可能な場合には、前述し たように、劣化指標導出特性 31を線形関数等の単純な関数でモデルィ匕することがで きる。
[0074] なお、劣化指標 τ (fr, br)を示す前述の式 (3)に、フレームレート劣化指標 τ (fr)
1 と符号化ビットレート劣化指標 τ (br)を示す前述の式 (6)および式 (7)を代入すれ
2
ば、次の式 (8)のように展開できる。 [0075] [数 8] z(fr,br) = a+b-r1(fr) + c-T2(br)
=a +b{d +e-exp(-/r//)}+c{g + h · cxp(- br / ή) '-·(8)
= (fl +bd +cg) + be-exip{- fr / f) + ch-exp-br /i)
[0076] ここで、式（8)の係数 a〜iはすべて定数であることから、次の式（9)のように、これら 係数 a + bd+cg, be, ch, f, iをそれぞれ新たな係数 a', b，， c，， d，, e'で再定義す るとともに、各指数関数項を新たな劣化指標である τ ' (fr)と τ ' (br)で再定義する
1 2
ことができ、結果として、劣化指標 τ (fr, br)は次の式（10)でモデル化できることに なる。
[0077] [数 9] a +bd + cg ^> a
be ^>b
ch c exp(-br/i) ^て 2 (br) i <= e [0078] [数 10] て ( r,br) = a +ί>'·て、 (fr) + c'-T, (br)
' , I ,\ '(10)
= «' + &'· exp (- fr ld') + c' · exp (- brie )
[0079] したがって、フレームレート劣化指標 τ (fr)および符号化ビットレート劣化指標 τ (
1 2 br)として、それぞれ新たなフレーム劣化指標 τ ' (fr)および符号ィ匕ビットレート劣化
1
指標 τ ' (br)を用いて推定できる。これにより、劣化指標 τ (fr, br)の推定に必要な
2
係数を削減でき、劣化モデル 22の特定に要する演算量を大幅に削減できる。
[0080] [第 2の実施の形態の動作]
次に、図 14を参照して、本発明の第 2の実施の形態に力かる映像品質推定装置の 動作について説明する。図 14は、本発明の第 2の実施の形態に力かる映像品質推 定装置の映像品質推定処理を示すフローチャートであり、前述した図 9と同じまたは 同等部分には同一符号を付してある。
[0081] 映像品質推定装置 1は、オペレータ力もの指示操作や推定条件 10の入力に応じて 、図 9の映像品質推定処理を開始する。なお、ここでは、副パラメータ 25として通信 種別パラメータ 25A、再生性能パラメータ 25B、および再生環境パラメータ 25Cを用 いるものとし、記憶部 26Mの劣化指標係数 DB26には、副パラメータ 25と劣化指標 係数 27との組が予め格納されて 、るものとする。
[0082] まず、パラメータ取得部 11は、評価対象となる映像通信サービスに関する各種の推 定条件 10を取得し、推定条件 10から映像メディアの符号ィ匕処理に関するフレームレ ートと符号ィ匕ビットレートを抽出するとともに、通信網や端末での映像メディアに対す るパケット損失率を抽出して、これら入力フレームレート fr (21A)、入力符号ィ匕ビット レート br (21B)、および入力パケット損失率 pi (21C)を主パラメータ 21として出力す る (ステップ S 100)。この際、パラメータ取得部 11は、推定条件 10から入力フレーム レート fr (21A)および入力符号ィ匕ビットレート br (21B)におけるパケット損失がない 場合 (pl=0)の主観映像品質値を抽出し、基準主観映像品質 23として出力する。
[0083] また、パラメータ取得部 11は、推定条件 10から通信種別パラメータ 25A、再生性 能パラメータ 25B、および再生環境パラメータ 25Cを抽出し、これらを副パラメータ 25 として出力する (ステップ S200)。
次に、劣化指標係数取得部 14は、記憶部 26Mの劣化指標係数 DB26を参照して 、副パラメータ 25の値に対応する劣化指標係数 a, b, · · ·, i (27)を取得して出力する (ステップ S201)。
[0084] これに応じて劣化モデル特定部 12は、フレームレート劣化指標算出部 12Aにより、 劣化指標係数 27のうち係数 d, e, fにより特定されるフレームレート 劣化指標特性 31Aを参照して、入力フレームレート fr (21A)に対応するフレームレート劣化指標 τ (fr) (32A)を算出する (ステップ S101)。
1
また、劣化モデル特定部 12は、符号ィ匕ビットレート劣化指標算出部 12Bにより、劣 化指標係数 27のうち係数 g, h, iにより特定される符号化ビットレート 劣化指標特 性 31Bを参照して、入力符号ィ匕ビットレート br (21B)に対応する符号化ビットレート 劣化指標て (br) (32B)を算出する (ステップ S102)。 [0085] このようにしてフレームレート劣化指標 τ (fr)および符号化ビットレート劣化指標 τ
1
(br)を算出した後、劣化モデル特定部 12は、これらフレームレート劣化指標 τ (fr)
2 1 および符号化ビットレート劣化指標 τ (br)と劣化指標係数 27のうちの係数 a, b, cを
2
用いて、前述した式 (3)から劣化指標 τ (fr, br) (33)を算出して、劣化モデル 22を 特定する (ステップ S 103)。
[0086] 次に、映像品質推定装置 1は、映像品質補正部 13により、前述と同様にして、劣化 モデル特定部 12で特定された劣化モデル 22を参照し、その劣化指標 τ (fr, br)と 入力パケット損失率 pi (21C)に対応する映像品質劣化率 P (fr, br, pi)を算出する（ ステップ S 104)。
この後、映像品質補正部 13は、前述と同様にして、この映像品質劣化率 P (fr, br, pi)と基準主観映像品質 23とから映像品質 MOS (fr, br, pi)を算出して、評価対象 となる映像通信サービスを利用して端末で再生された映像メディアカゝら視聴者が実 感する主観映像品質推定値 24として出力し (ステップ S 105)、一連の映像品質推定 処理を終了する。
[0087] このように、本実施の形態は、パラメータ取得部 11で取得された、通信種別パラメ ータ 25A、再生性能パラメータ 25B、および再生環境パラメータ 25Cのうちの 1っ以 上力もなる副パラメータ 25に対応する劣化指標係数 27を、記憶部 26Mの劣化指標 係数 DB26から劣化指標係数取得部 14により取得し、劣化モデル特定部 12により、 これら劣化指標係数 27により特定される劣化指標導出特性 31に基づいて、入カフ レームレート 21Aおよび入力符号ィ匕ビットレート 21Bに対応する劣化指標 33を算出 するようにしたので、評価対象となる映像通信サービスや端末の具体的な性質に基 づく劣化指標 33を導出することができ、映像品質推定の精度を向上させることができ る。
[0088] 特に、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービ スで用いる符号化方式、通信網、さらには端末ごとに、劣化モデルを用意しなければ ならなかった。しかしながら、本実施の形態によれば、劣化モデルが符号化方式、通 信網、さらには端末に依存せず、劣化モデルに用いる劣化指標係数を符号化方式、 通信網、さらには端末に応じて参照するだけで、同じ劣化モデルを利用できる。した がって、異なる環境の映像通信サービスに対して柔軟に対応することができる。
[0089] [第 3の実施の形態]
次に、図 15および図 16を参照して、本発明の第 3の実施の形態に力かる映像品質 推定装置について説明する。図 15は、本発明の第 3の実施の形態に力かる映像品 質推定装置の構成を示すブロック図であり、前述した図 1と同じまたは同等部分には 同一符号を付してある。図 16は、本発明の第 3の実施の形態にカゝかる映像品質推定 装置の推定モデル特定部の構成を示すブロック図であり、前述した図 2と同じまたは 同等部分には同一符号を付してある。
[0090] 第 1および第 2の実施の形態では、基準主観映像品質 23が推定条件 10で指定さ れて記憶部 23Mに予め記憶されて 、る場合を例として説明した。本実施の形態では 、映像品質推定装置 1内に映像品質推定部 15を設け、推定条件 10で指定された主 パラメータ 21の入力フレームレート 21Aおよび入力符号化ビットレート 21Bに基づき 基準主観映像品質 23を推定する場合について説明する。
[0091] 本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット数を示す入 力符号化ビットレートと、単位時間当たりのフレーム数を示す入力フレームレートを入 力として、これら主パラメータに対する基準主観映像品質を推定する際、入力符号化 ビットレートに基づいて映像メディアのフレームレートと基準主観映像品質との関係を 示す推定モデルを特定し、特定された推定モデルを用いて入力フレームレートに対 応する基準主観映像品質を推定して出力する。
なお、映像品質補正部 13により、劣化モデル 22に基づき基準主観映像品質 23を 補正して主観映像品質推定値 24を求める構成については、前述した第 1の実施の 形態と同様であり、ここでの詳細な説明は省略する。ただし、第 1の実施の形態に代 えて第 2の実施の形態を用いてもょ 、。
[0092] [映像品質推定部]
第 1の実施の形態（図 1参照）と比較して、本実施の形態にかかる映像品質推定装 置 1には、映像品質推定部 15が追加されている。
映像品質推定部 15は、図 16に示すように、さらにいくつかの機能部力 構成され ている。主な機能部としては、推定モデル特定部 15Aおよび映像品質算出部 15Bが ある。
[0093] 推定モデル特定部 15Aは、パラメータ取得部 11から出力された主パラメータ 21の 入力符号ィ匕ビットレート 21Bに基づいて、映像メディアのフレームレートと主観映像品 質との関係を示す推定モデル 36を特定するための推定モデル特定パラメータ 35を 算出する機能を有している。
映像品質算出部 15Bは、推定モデル特定部 15Aで特定された推定モデル 36を参 照して、主パラメータ 21の入力フレームレート 21Aに対応する主観映像品質を推定 し、所望の基準主観映像品質 23として出力する機能を有している。
[0094] 推定モデル特定部 15Aは、図 16に示すように、さらにいくつかの機能部力も構成さ れている。主な機能部としては、推定モデル特定パラメータ 35を算出する部として、 最適フレームレート算出部 16A、最良映像品質算出部 16B、映像品質劣化指標算 出部 16C、および推定モデル生成部 16Dがある。
推定モデル特定パラメータ 35は、推定モデル 36として用いる関数の形状を特定す る値力もなる。本実施の形態では、少なくとも以下の最適フレームレートと最良映像 品質を推定モデル特定パラメータ 35として用いているが、映像品質劣化指標に代表 される他のパラメータを推定モデル特定パラメータ 35にカ卩えてもよい。
[0095] 最適フレームレート算出部 16Aは、記憶部 34Mの符号ィ匕ビットレート一最適フレー ムレート特性 34Aを参照して、入力符号ィ匕ビットレート br (21B)で送信された映像メ ディアの主観映像品質が最良となるフレームレートを示す最適フレームレート ofr (br ) (35A)を、推定モデル特定パラメータ 35の 1つとして算出する機能を有している。 最良映像品質算出部 16Bは、記憶部 34Mの符号ィ匕ビットレート—最良映像品質 特性 34Bを参照して、入力符号ィ匕ビットレート 21Bで送信された映像メディアの主観 映像品質の最良値を示す最良映像品質 a (br) (35B)を、推定モデル特定パラメ一 タ 35の 1つとして算出する機能を有している。
[0096] 映像品質劣化指標算出部 16Cは、記憶部 34Mの符号ィ匕ビットレート—映像品質 劣化指標特性 34Cを参照して、入力符号ィ匕ビットレート 21Bで送信された映像メディ ァに関する、その主観映像品質の最良値を示す最良映像品質 35B力もの劣化度合 いを示す映像品質劣化指標 ω (br) (35C)を、推定モデル特定パラメータ 35の 1つと して算出する機能を有している。
これら、符号ィ匕ビットレート 最適フレームレート特性 34A、符号ィ匕ビットレートー最 良映像品質特性 34B、および符号ィ匕ビットレート—映像品質劣化指標特性 34Cは、 推定モデル特定パラメータ導出特性 34として予め用意され、記憶部 34Mに記憶さ れている。
[0097] 推定モデル生成部 16Dは、最適フレームレート算出部 16Aで算出された最適フレ ームレート ofr(br)、最良映像品質算出部 16Bで算出された最良映像品質 a (br)、 および映像品質劣化指標算出部 16Cで算出された映像品質劣化指標 ω (br)から なる各推定モデル特定パラメータ 35の値を所定の関数式に代入することにより、主 パラメータ 21の入力フレームレート 21Aに対応する主観映像品質を推定するための 推定モデル 36を生成する機能を有して ヽる。
[0098] [主観映像品質特性]
次に、図 17を参照して、映像通信サービスにおける映像通信メディアの主観映像 品質特性について説明する。図 17は、映像通信サービスにおける映像通信メディア のフレームレート—主観映像品質特性を示すグラフである。図 17において、横軸は フレームレート fr (fps)、縦軸は主観映像品質値 MOS (fr, br) (MOS値）を示し、符 号ィ匕ビットレート brごとの特性が示されている。
[0099] 映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレ ートはトレードオフの関係にある。
具体的には、ある符号ィ匕ビットレートで映像を符号ィ匕して提供する際、高いフレーム レートで映像を符号ィ匕すると映像が滑らかになって時間的な映像品質を向上できる 力 単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果と して映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして 符号ィ匕すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当 たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映 像品質が劣化する場合がある。
[0100] したがって、図 17に示すように、各符号ィ匕ビットレートに対して、映像品質が最大す なわち最良映像品質となる最適なフレームレートすなわち最適フレームレートが存在 し、最適フレームレートを超えてフレームレートを増加させても映像品質が改善されな い特性を持つことがわかる。例えば、符号ィ匕ビットレート br= 256 [kbbs]の場合、主 観映像品質特性は、フレームレート fr = 10 [fps]のときの最良映像品質 = 3 [MOS] を頂点として凸型をなす特'性となる。
[0101] また、このような主観映像品質特性は、異なる符号ィ匕ビットレートであっても同様の 形状となり、各主観映像品質特性の座標位置は、その頂点すなわち最適フレームレ ートと最良映像品質力もなる推定モデル特定パラメータで特定することができる。 本実施の形態は、このような主観映像品質特性の性質に着目して、推定モデル特 定部 15Aにより、入力符号ィ匕ビットレート 21Bに基づいて映像メディアのフレームレ ートと主観映像品質との関係を示す推定モデル 36を特定し、映像品質算出部 15B により、推定モデル特定部 15Aで特定された推定モデル 36を用いて入力フレームレ ート 21Aに対応する基準主観映像品質 23を推定している。
[0102] [推定モデル特定パラメータの導出]
次に、映像品質推定部 15の推定モデル特定部 15Aにおける推定モデル特定パラ メータの導出について詳細に説明する。
推定モデル特定部 15Aにより、入力符号ィ匕ビットレート 21Bに基づいて映像メディ ァのフレームレートと主観映像品質との関係を示す推定モデル 36を特定する場合、 入力符号ィ匕ビットレート 21Bに対応する推定モデル特定パラメータとして、最適フレ ームレート 35Aと最良映像品質 35Bを導出する必要がある。
本実施の形態では、次のような符号ィ匕ビットレート 最適フレームレート特性 34A や符号ィ匕ビットレート—最良映像品質特性 34Bを推定モデル特定パラメータ導出特 性 34として予め用意しておき、これら特性を参照して、入力符号ィ匕ビットレート 21Bに 対応する推定モデル特定パラメータ 35を導出して 、る。
[0103] 図 17に示された各特性のうち、映像メディアが最良映像品質で再生されている場 合の符号化ビットレートとそのときのフレームレートすなわち最適フレームレートの関 係は、符号ィ匕ビットレートの増加とともに最適フレームレートが単調増加し、その後あ る最大フレームレートに収束する。
図 18は、このような符号ィ匕ビットレート 最適フレームレート特性を示すグラフであ る。図 18において、横軸は符号ィ匕ビットレート br (kbps)、縦軸は最適フレームレート ofr (br) (fps)を示している。
[0104] 一方、図 17に示された各特性のうち、映像メディアが最適フレームレートで送信さ れた場合の符号ィ匕ビットレートと映像品質すなわち最良映像品質の関係は、符号ィ匕 ビットレートの増加とともに映像品質が増加し、ある最大値 (最大主観映像品質値）に 収束するとともに、符号ィ匕ビットレートの低下とともに映像品質も低下し、ある最小値 に収束する、という傾向が見られる。
図 19は、このような符号ィ匕ビットレート 最良映像品質特性を示すグラフである。図 19において、横軸は符号ィ匕ビットレート br (kbps)、縦軸は最良映像品質 a (br)を示 している。なお、映像品質は、「1」を基準値として最大「5」までの値をとる MOS値で 表されるのに対し、推定モデル 36の最良映像品質 a (br)として用いる場合には「0」 を基準値として最大「4」までの値をとるが、両者は基準値が違うだけでその尺度は実 質的に同じものであり、以下では特に区別しない。
[0105] この符号ィ匕ビットレート—最良映像品質特性によれば、高い符号ィ匕ビットレートを設 定しても、ある符号ィ匕ビットレートにおいて映像品質が飽和しており、符号化ビットレ ートを必要以上に高くしても視聴者が視覚的に映像品質の向上を検知することがで きない、という人間の視覚特性と一致する。また、符号ィ匕ビットレートを下げすぎると映 像品質の劣化が顕著となり、結果として最低映像品質に収束している。これは、例え ば人物の顔が画面内で移動しているような映像では、目や鼻の輪郭がぼけて平坦に なり、顔自体を認識できなくなる、という実際の現象と一致している。
[0106] [推定モデル]
次に、映像品質推定部 15の推定モデル特定部 15Aで用いる推定モデルとその特 定方法について詳細に説明する。
推定モデル特定パラメータ 35である最適フレームレート 35Aと最良映像品質 35B を頂点とする凸型の特性を関数で表す場合、図 20に示すようなガウス関数を利用で きる。図 20は、ガウス関数を示す説明図である。
ガウス関数は、頂点 Pを最大値として左右に減衰する凸型を示す関数であり、その 頂点 Pの X座標と最大振幅を用いて関数式を表現できる。頂点 Pの X座標を Xとし、最 大振幅を Aとし、 y軸の基準値 (最低値)を yとし、凸型特性の開き幅を示す関数を ω
0
とした場合、任意の変数 Xに対する関数 yの値は、次のような式（11)で求められる。
[数 11]
Figure imgf000031_0001
[0108] したがって、変数 Xを映像メディアのフレームレートの対数値とし、関数値 yを主観映 像品質とし、頂点 Pの変数 Xを符号ィ匕ビットレートに対応する最適フレームレートの対 数値とし、最大振幅 Aを符号ィ匕ビットレートに対応する最良映像品質 a (br)とした場 合、任意のフレームレートに対する主観映像品質は、次の式（12)で求めることができ 、結果として、入力符号ィ匕ビットレート 21Bに対応する推定モデルすなわちフレーム レート一主観映像品質特性を特定することができる。図 21は、ガウス関数でモデルィ匕 されたフレームレート一主観映像品質特性を示す説明図である。
[0109] [数 12]
MOS{fr,br) = 1 + G{fr,br)
Figure imgf000031_0002
[0110] この際、式（12)で用いる a (br)および G (fr, br)は、「0」を基準値として最大「4」ま での値をとるため、この G (fr, br)に「1」をカ卩えることにより、 MOS値（1〜5)で表現し た実際の映像品質値となる。
[0111] また、ガウス関数では、関数 ωを用いて凸型特性の開き幅を特定している力 符号 化ビットレートに対応するフレームレート 主観映像品質特性ごとに異なる開き幅を 用いる必要がある場合には、符号ィ匕ビットレートに応じた映像品質劣化指標 ω (br) (
35C)を用いればよい。
映像品質劣化指標 ω (br)は、入力符号ィ匕ビットレート 21Bで送信された映像メディ ァに関する、その主観映像品質の最良値を示す最良映像品質 35B力もの劣化度合 いを示す指標であり、ガウス関数の関数 ωに相当する。 [0112] 図 17に示された各特性のうち、符号ィ匕ビットレートと主観映像品質の劣化度合いの 関係は、符号ィ匕ビットレートが高くなるほど劣化度合いが滑らかになり、符号化ビット レートが低くなるほど劣化度合いが大きくなる。したがって、符号ィ匕ビットレートと映像 品質劣化指標の関係は、符号ィ匕ビットレートが高くなるほどフレームレート 主観映 像品質特性の凸型の開き幅が大きくなつて映像品質劣化指標も大きくなり、符号ィ匕 ビットレートが低くなるほどフレームレート 主観映像品質特性の凸型の開き幅が小 さくなつて映像品質劣化指標も小さくなる傾向がある。
[0113] 図 22は、このような符号ィ匕ビットレート—映像品質劣化指標特性を示すグラフであ る。図 22において、横軸は符号ィ匕ビットレート br (kbps)、縦軸は映像品質劣化指標 ω (br)を示している。なお、図 22は、ガウス関数で表現した推定モデルにおける符 号ィ匕ビットレート一映像品質劣化指標特性であり、他の推定モデルを用いた場合に は、その推定モデルに対応する係数を示す映像品質劣化指標の符号ィ匕ビットレート 映像品質劣化指標特性を用いればょ 、。
[0114] なお、推定対象となる映像通信サービスによっては、個々の符号ィ匕ビットレートに対 応するフレームレート 主観映像品質特性ごとに個別の開き幅を用いる必要がない 場合もあり、各符号ィ匕ビットレートに対応するフレームレート一主観映像品質特性で 共通化できる場合もある。したがって、このような場合には、映像品質劣化指標 ω (br )として定数を用いることができる。
[0115] [第 3の実施の形態の動作]
次に、図 23を参照して、本発明の第 3の実施の形態に力かる映像品質推定装置の 動作について説明する。図 23は、本発明の第 3の実施の形態に力かる映像品質推 定装置の基準主観映像品質推定処理を示すフローチャートである。
[0116] 映像品質推定装置 1は、オペレータ力もの指示操作や推定条件 10の入力に応じて 、図 23の基準主観映像品質推定処理を開始する。なお、ここでは、推定モデル特定 ノ ラメータとして、最適フレームレート 35Aおよび最良映像品質 35Bに加え、映像品 質劣化指標 35Cを用いる場合を例として説明する。また、映像品質推定装置 1には、 前述した符号ィ匕ビットレート 最適フレームレート特性 34A (図 18参照）、符号化ビッ トレート—最良映像品質特性 34B (図 19参照）、および符号ィ匕ビットレート—映像品 質劣化指標特性 34C (図 22参照）が予め用意され、関数式として記憶部 34Mに記 憶されているものとする。
[0117] まず、映像品質推定部 15の推定モデル特定部 15Aは、パラメータ取得部 11により 推定条件 10から抽出された主パラメータ 21の入力フレームレート fr (21A)および入 力符号ィ匕ビットレート br (21B)を記憶部（図示せず)から取得し (ステップ S300)、こ のうち入力符号化ビットレート br (21B)に基づいて映像メディアのフレームレートと主 観映像品質との関係を示す推定モデル 36を特定する。
具体的には、まず、最適フレームレート算出部 16Aにより、記憶部 34Mの符号化ビ ットレートー最適フレームレート特性 34Aを参照して、入力符号ィ匕ビットレート br(21 B)に対応する最適フレームレート ofr (br) (35A)を算出する (ステップ S301)。
[0118] 続いて、推定モデル特定部 15Aは、最良映像品質算出部 16Bにより、記憶部 34 Mの符号ィ匕ビットレート—最良映像品質特性 34Bを参照して、入力符号ィ匕ビットレー ト br(21B)に対応する最良映像品質 a (br) (35B)を算出する (ステップ S302)。 同様にして、推定モデル特定部 15Aは、映像品質劣化指標算出部 16Cにより、記 憶部 34Mの符号ィ匕ビットレート—映像品質劣化指標特性 34Cを参照して、入力符 号ィ匕ビットレート br (21B)に対応する映像品質劣化指標 ω (br) (35C)を算出する（ ステップ S303)。
[0119] このようにして各推定モデル特定パラメータ 35を算出した後、推定モデル特定部 1 5Aは、推定モデル生成部 16Dにより、これら推定モデル特定パラメータ 35の最適フ レームレート ofr (br)、最良映像品質 a (br)、および映像品質劣化指標 ω (br)の実 際の値を前述した式（12)へ代入することにより、推定モデル MOS (fr, br)すなわち フレームレート—主観映像品質特性を特定する (ステップ S304)。
[0120] この後、映像品質推定装置 1は、映像品質推定部 15の映像品質算出部 15Bにより 、推定モデル特定部 15Aで特定された推定モデル 36を参照して、パラメータ取得部 11から出力された主パラメータ 21の入力フレームレート 21Aに対応する映像品質を 算出し、評価対象となる映像通信サービスを利用して端末で再生された映像メディア カゝら視聴者が実感する主観映像品質を示す基準主観映像品質 23として出力し (ステ ップ S305)、一連の基準主観映像品質推定処理を終了する。 [0121] このように、本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット 数を示す入力符号ィ匕ビットレート 21Bと、単位時間当たりのフレーム数を示す入カフ レームレート 21Aを入力として、これら主パラメータ 21に対する主観映像品質を推定 する際、映像品質推定部 15の推定モデル特定部 15Aにより、入力符号ィ匕ビットレー ト 21Bに基づいて映像メディアのフレームレートと主観映像品質との関係を示す推定 モデル 36を特定し、特定された推定モデル 36を用いて入力フレームレート 21Aに対 応する主観映像品質を推定し基準主観映像品質 23として出力している。
[0122] これにより、推定条件 10として入力された入力符号化ビットレート 21Bに対応する 推定モデル 36を参照して、同じく推定条件 10として入力された入力フレームレート 2 1Aに対応する基準主観映像品質 23を得ることができる。
したがって、入力フレームレート 21Aおよび入力符号ィ匕ビットレート 21Bで符号ィ匕し た映像メディアに対する基準主観映像品質 23を、映像品質推定装置 1内で推定す ることができ、基準主観映像品質 23を推定条件 10として外部から指定する必要がな くなる。これにより、前述した第 1または第 2の実施の形態で説明した映像品質補正部 13において、基準主観映像品質 23を用意することなぐ任意の推定条件 10に応じ た主観映像品質推定値 24を推定できる。
[0123] 本実施の形態では、推定モデル特定パラメータ 35を算出する際に用いる、符号ィ匕 ビットレート 最適フレームレート特性 34A、符号ィ匕ビットレート 最良映像品質特性 34B、および符号ィ匕ビットレート—映像品質劣化指標特性 34Cが予め関数式の形で 用意され記憶部 34Mで記憶されて ヽる場合を例として説明したが、推定モデル特定 ノ ラメータの導出に用いるこれら推定モデル特定パラメータ導出特性 34については 関数式に限定されるものではなぐ入力符号ィ匕ビットレートに対応する値として記憶 部 34Mで記憶してお!、てもよ!/、。
[0124] 図 24は、入力符号ィ匕ビットレートと各推定モデル特定パラメータとの対応関係を示 す推定モデル特定パラメータ情報の構成例である。この推定モデル特定パラメータ 情報は、入力符号ィ匕ビットレート br(21B)と、これに対応する最適フレームレート ofr( br) (35A)、最良映像品質 a (br) (35B)、および映像品質劣化指標 ω (br) (35C) との組からなり、予め上記推定モデル特定パラメータ導出特性 34に基づき算出して 記憶部 131Mに記憶されて!ヽる。
このような推定モデル特定パラメータ情報を参照して、入力符号ィ匕ビットレート 21B に対応する推定モデル特定パラメータ 35を導出してもよい。
[0125] [第 4の実施の形態]
次に、図 25および図 26を参照して、本発明の第 4の実施の形態に力かる映像品質 推定装置について説明する。図 25は、本発明の第 4の実施の形態に力かる映像品 質推定装置の構成を示すブロック図であり、前述した図 15と同じまたは同等部分に は同一符号を付してある。図 26は、本発明の第 4の実施の形態にカゝかる映像品質推 定装置の映像品質推定部の構成を示すブロック図であり、前述した図 16と同じまた は同等部分には同一符号を付してある。
[0126] 第 3の実施の形態では、予め用意されている推定モデル特定パラメータ導出特性 3 4を参照して入力符号ィ匕ビットレートに対応する推定モデル特定パラメータ 35を導出 する場合を例として説明した。本実施の形態では、第 3の実施の形態を前提とし、こ のうち推定モデル特定パラメータ導出特性 34について予め用意しておくのではなく 、評価対象となる映像通信サービスに関する各種の推定条件 10のうち、映像通信サ 一ビスの通信種別、映像メディアを再生する端末の再生性能、あるいは映像メディア を再生する端末の再生環境に基づいて、推定条件 10に応じた推定モデル特定パラ メータ導出特性 34を逐次特定する場合について説明する。
[0127] 第 3の実施の形態（図 15参照）と比較して、本実施の形態に力かる映像品質推定 装置 1には、特性係数取得部 17および特性係数データベース（以下、特性係数 DB という） 28が追加されている。
特性係数取得部 17は、記憶部 28M (第 4の記憶部）の特性係数 DB28を参照して 、パラメータ取得部 11により推定条件 10から取得された副パラメータ 25に対応する 特性係数 29を取得する機能を有して 、る。本実施の形態で用いる副パラメータ 25は 、前述の第 2の実施の形態で説明したものと同様であり、ここでの詳細な説明は省略 する。
[0128] 図 27は、特性係数 DBの構成例を示す説明図である。特性係数 DB28は、各種副 ノ ラメータ 25とこれに対応する各特性係数 j, k, · ··, p (29)との組を示すデータべ一 スである。副パラメータ 25には、前述したように、映像通信サービスの通信種別を示 す通信種別パラメータ 25A、映像メディアを再生する端末の再生性能を示す再生性 能パラメータ 25B、あるいは映像メディアを再生する端末の再生環境を示す再生環 境パラメータ 25Cがある。
副パラメータ 25は、これらパラメータ例に限定されるものではなぐ評価対象となる 映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよぐ少な くともこれら通信種別パラメータ 25A、再生性能パラメータ 25B、および再生環境パラ メータ 25Cのうちの 1つ以上から構成されて!、ればよ!/、。
[0129] 特性係数取得部 17は、予め用意されたこのような特性係数 DB28を参照して、副 パラメータ 25に対応する特性係数 29を取得する。特性係数 29は、推定モデル特定 パラメータ 35の導出に用いる推定モデル特定パラメータ導出特性を特定するための 係数である。
推定モデル特定部 15Aは、特性係数取得部 17で取得された特性係数 29により特 定された推定モデル特定パラメータ導出特性 34、すなわち符号ィ匕ビットレートー最 適フレームレート特性 34A、符号ィ匕ビットレート一最良映像品質特性 34B、および符 号ィ匕ビットレート—映像品質劣化指標特性 34Cを特定する。
[0130] [推定モデル特定パラメータ導出特性]
次に、推定モデル特定部 15Aで用いる推定モデル特定パラメータ導出特性 34に ついて詳細に説明する。
推定モデル特定パラメータ導出特性 34は、特性係数取得部 17により特性係数 DB 28から取得される特性係数 29を用いてそれぞれ次のようにモデルィ匕することができ る。
[0131] まず、推定モデル特定パラメータ導出特性 34の符号ィ匕ビットレート 最適フレーム レート特性 34Aは、前述した図 18に示すように、符号ィ匕ビットレートの増加とともに最 適フレームレートが単調増加し、その後ある最大フレームレートに収束する傾向があ り、例えば一般的な線形関数でモデルィ匕することができる。したがって、符号化ビット レートを brとし、これに対応する最適フレームレートを ofr (br)とし、係数 ， kとした 場合、符号ィ匕ビットレート 最適フレームレート特性 34Aは、次の式（13)で表すこと ができる。
[0132] [数 13] ofr{br) = j + k -br 〜（13)
[0133] 次に、推定モデル特定パラメータ導出特性 34の符号ィ匕ビットレート—最良映像品 質特性 34Bは、前述した図 19に示すように、符号ィ匕ビットレートの増加とともに映像 品質が増加し、ある最大値に収束するとともに、符号ィ匕ビットレートの低下とともに映 像品質も低下し、ある最小値に収束する傾向があり、例えば一般的なロジスティック（ Logistic)関数でモデルィ匕することができる。
[0134] 図 28は、ロジスティック関数を示す説明図である。ロジスティック関数は、係数 ρ> 1 のとき変数 Xの増加に応じて関数 yの値が単調増加する関数であり、変数 Xの減少に 応じて関数値 yが最小値へ収束し、変数 Xの増大に応じて関数値 yが最大値へ収束 する。最小値を A、最大値を A、係数を p, Xとした場合、任意の変数 Xに対する関数
1 2 0
yの値は、最大値 Aの項と最大値 Aからの減少分を示す分数項からなる、次の式（1
2 2
4)で求められる。
[0135] [数 14] ν = ΑΊ + -^i …
l + (x/x0 )p
[0136] したがって、変数 Xを符号ィ匕ビットレート とし、これに対応する関数値 yを最良映像 品質 a (br)とし、最大値 Aを特性係数 1(エル）、最小値 Aを「0ゼロ」、係数 xを特性
2 1 0 係数 m、係数 pを特性係数 nとした場合、符号ィ匕ビットレート—最良映像品質特性 34 Bは、次の式（15)で表すことができる。図 29は、ロジスティック関数でモデルィ匕され た符号ィ匕ビットレート—最良映像品質特性を示す説明図である。
[0137] [数 15] a{br) = l——― ~~ - …（ ）
1 + ibr/m )
[0138] 次に、推定モデル特定パラメータ導出特性 34の符号ィ匕ビットレート—映像品質劣 化指標特性 34Cは、前述した図 22に示すように、符号ィ匕ビットレートが高くなるほど 映像品質劣化指標も大きくなり、符号ィ匕ビットレートが低くなるほど映像品質劣化指 標も小さくなる傾向があり、例えば一般的な線形関数でモデルィ匕することができる。し たがって、符号ィ匕ビットレートを brとし、これに対応する映像品質劣化指標を ω (br)と し、係数を o, pとした場合、符号ィ匕ビットレート—映像品質劣化指標特性 34Cは、次 の式（16)で表すことができる。
[0139] [数 16] ω(οτ) = ο + p -br . '- (16)
[0140] なお、推定モデル特定パラメータ導出特性 34のモデルィ匕にっ 、ては、前述した線 形関数ゃロジスティック関数に限定されるものではなぐ他の関数を用いてもよい。例 えば、評価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あ るいは推定条件 10の内容によっては、ある程度限定された範囲の入力符号ィ匕ビット レートや入力フレームレートでの映像品質推定処理で十分なため、このような局所的 な見方が可能な場合には、前述したように、推定モデル特定パラメータ導出特性 34 を線形関数等の単純な関数でモデルィ匕することができる。
[0141] これに対して、入力符号ィ匕ビットレートや入力フレームレートに対して推定モデル特 定パラメータの変化が大きい場合には、例えば指数関数などの他の関数を用いて符 号ィ匕ビットレート 最適フレームレート特性 34Aを表してもよい。指数関数を用いてモ デルイ匕した場合、最適フレームレート ofr (br)および映像品質劣化指標 ω (br)は、 係数を q, r, s, t, u, vとして、式（17)で表すことができる。
[0142] [数 17] ofripr) = q + r - exp(br Is) '
- (17)
Figure imgf000038_0001
[0143] [第 4の実施の形態の動作]
次に、図 30を参照して、本発明の第 4の実施の形態に力かる映像品質推定装置の 動作について説明する。図 30は、本発明の第 4の実施の形態に力かる映像品質推 定装置の基準主観映像品質推定処理を示すフローチャートであり、前述した図 23と 同じまたは同等部分には同一符号を付してある。
[0144] 映像品質推定装置 1は、オペレータ力ゝらの指示操作や推定条件 10の入力に応じて 、図 30の基準主観映像品質推定処理を開始する。なお、ここでは、推定モデル特定 ノ ラメータとして、最適フレームレート 35Aおよび最良映像品質 35Bに加え、映像品 質劣化指標 35Cを用いる場合を例として説明する。また、副パラメータ 25として通信 種別パラメータ 25A、再生性能パラメータ 25B、および再生環境パラメータ 25Cを用 いるものとし、特性係数 DB28には、副パラメータ 25と特性係数 29との組が予め格納 されているものとする。
[0145] まず、推定モデル特定部 15Aは、パラメータ取得部 11により推定条件 10から抽出 された主パラメータ 21の入力フレームレート fr(21A)および入力符号化ビットレート b r (21B)を記憶部（図示せず)から取得する (ステップ S300)。
また、特性係数取得部 17は、パラメータ取得部 11により推定条件 10から抽出され た副パラメータ 25の通信種別パラメータ 25A、再生性能パラメータ 25B、および再生 環境パラメータ 25Cを記憶部（図示せず)から取得する (ステップ S400)。
[0146] 次に、特性係数取得部 17は、記憶部 28Mの特性係数 DB28を参照して、副パラメ ータ 25の値に対応する特性係数 j, k, 1, · ··, p (29)を取得して出力する (ステップ S4 01)。
これに応じて推定モデル特定部 15Aは、最適フレームレート算出部 16Aにより、特 性係数 29のうち係数 j, kにより特定される符号化ビットレート—最適フレームレート特 性 34Aを記憶部 34M力も参照して、入力符号ィ匕ビットレート br (21B)に対応する最 適フレームレート ofr (br) (35A)を算出する（ステップ S301)。
[0147] また、推定モデル特定部 15Aは、最良映像品質算出部 16Bにより、特性係数 29の うち係数 1, m, nにより特定される符号ィ匕ビットレート—最良映像品質特性 34Bを記憶 部 34M力も参照して、入力符号ィ匕ビットレート br (21B)に対応する最良映像品質 α (br) (35B)を算出する（ステップ S302)。
同様にして、推定モデル特定部 15Aは、映像品質劣化指標算出部 16Cにより、特 性係数 29のうち係数 o, pにより特定される符号ィ匕ビットレート一映像品質劣化指標 特性 34Cを記憶部 34M力も参照して、入力符号ィ匕ビットレート br (21B)に対応する 映像品質劣化指標 ω (br) (35C)を算出する (ステップ S303)。
[0148] このようにして各推定モデル特定パラメータ 35を算出した後、推定モデル特定部 1 5Aは、推定モデル生成部 16Dにより、これら推定モデル特定パラメータ 35の最適フ レームレート ofr (br)、最良映像品質 a (br)、および映像品質劣化指標 ω (br)の実 際の値を前述した式（12)へ代入することにより、推定モデル MOS (fr, br)すなわち フレームレート—主観映像品質特性を特定する (ステップ S304)。
[0149] この後、映像品質推定装置 1は、映像品質算出部 15Bにより、推定モデル特定部 1 5Aで特定された推定モデル 36を参照して、パラメータ取得部 11から出力された主 ノ ラメータ 21の入力フレームレート 21Aに対応する映像品質を算出し、評価対象と なる映像通信サービスを利用して端末で再生された映像メディアカゝら視聴者が実感 する基準主観映像品質推定値 24として出力し (ステップ S305)、一連の基準主観映 像品質推定処理を終了する。
[0150] このように、本実施の形態は、パラメータ取得部 11で取得された、通信種別パラメ ータ 25A、再生性能パラメータ 25B、および再生環境パラメータ 25Cのうちの 1っ以 上力もなる副パラメータ 25に対応する特性係数 29を、記憶部 28Mの特性係数 DB2 8から特性係数取得部 17により取得し、推定モデル特定部 15Aにより、これら特性係 数 29により特定される推定モデル特定パラメータ導出特性 34に基づいて、入力符 号ィ匕ビットレート 21Bに対応する推定モデル特定パラメータ 35を算出するようにした ので、評価対象となる映像通信サービスや端末の具体的な性質に基づく推定モデル 特定パラメータ 35を導出することができ、基準映像品質推定の精度を向上させること ができる。
[0151] 特に、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービ スで用いる符号ィ匕方式や端末ごとに、映像推定モデルを用意しなければならなかつ た。しカゝしながら、本実施の形態によれば、映像推定モデルが符号ィ匕方式や端末に 依存せず、映像推定モデルに用いる係数を符号化方式や端末に応じて参照するだ けで、同じ映像推定モデルを利用でき、異なる環境の映像通信サービスに対して柔 軟に対応することができる。これにより、前述した第 1または第 2の実施の形態で説明 した映像品質補正部 13において、基準主観映像品質 23を用意することなぐ任意の 推定条件 10に応じた主観映像品質推定値 24を推定できる。
[0152] 図 31は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフで ある。図 32は、文献 2に基づく従来の映像品質推定装置の推定精度を示すグラフで ある。これら図 31および図 32において、横軸は映像品質推定装置を用いて推定した 主観映像品質の推定値 (MOS値)を示し、縦軸は視聴者が実際にオピニオン評価し た主観映像品質の評価値 (MOS値）を示している。図 32に比較して、図 31のほうが 、評価値と推定値の誤差が少なぐ推定精度が向上していることがわかる。なお、これ らは特定の推定条件下での比較結果であるが、異なる符号化方式や端末を用いた 場合でも、同様の比較結果が確認されている。
[0153] [第 5の実施の形態]
まず、図 33を参照して、本発明の第 5の実施の形態にかかる映像品質推定装置に ついて説明する。図 33は、本発明の第 5の実施の形態に力かる映像品質推定装置 の映像品質推定部の構成を示すブロック図であり、前述した図 16と同じまたは同等 部分には同一符号を付してある。
[0154] 第 3の実施の形態では、映像品質推定部 15において、入力符号ィ匕ビットレート 21 Bに基づいて映像メディアのフレームレートと基準主観映像品質との関係を示す推定 モデル 36を特定し、特定された推定モデル 36を用いて入力フレームレート 21Aに対 応する基準主観映像品質 23を推定して出力する場合を例として説明した。
[0155] 本実施の形態は、映像品質推定部 15において、入力フレームレート 21Aに基づい て映像メディアの符号ィ匕ビットレートと基準主観映像品質との関係を示す推定モデル 36を特定し、特定された推定モデル 36を用いて入力符号ィ匕ビットレート 21Bに対応 する基準主観映像品質 23を推定して出力する場合を例として説明する。
なお、映像品質補正部 13により、劣化モデル 22に基づき基準主観映像品質 23を 補正して主観映像品質推定値 24を求める構成については、前述した第 1の実施の 形態と同様であり、ここでの詳細な説明は省略する。ただし、第 1の実施の形態に代 えて第 2の実施の形態を用いてもょ 、。
[0156] [映像品質推定部]
本実施の形態に力かる映像品質推定装置 1では、第 3の実施の形態（図 16)と比較 して、推定モデル特定部 15Aに、最適フレームレート算出部 16A、最良映像品質算 出部 16B、および映像品質劣化指標算出部 16Cに代えて、最良映像品質算出部 1 6E、映像品質第 1変化指標算出部 16F、および映像品質第 2変化指標算出部 16G が設けられている。また記憶部 34Mに、符号ィ匕ビットレート 最適フレームレート特 性 34A、符号ィ匕ビットレート—最良映像品質特性 34B、および符号ィ匕ビットレート— 映像品質劣化指標特性 34Cに代えて、フレームレート—最良映像品質特性 34E、フ レームレート—映像品質第 1変化指標特性 34F、およびフレームレート—映像品質 第 2変化指標特性 34Gが記憶されて 、る。
[0157] 最良映像品質算出部 16Eは、記憶部 34Mのフレームレート—最良映像品質特性 34Eを参照して、入力フレームレート 21 Aで送信された映像メディアの主観映像品質 の最良値を示す最良映像品質 j8 (fr) (35E)を、推定モデル特定パラメータ 35の 1 つとして算出する機能を有している。
映像品質第 1変化指標算出部 16Fは、記憶部 34Mのフレームレート—映像品質 第 1変化指標特性 34Fを参照して、入力フレームレート 21Aで送信された映像メディ ァに関する、その主観映像品質の最良値を示す最良映像品質 35Eからの変化 (劣 ィ匕)度合いを示す映像品質第 1変化指標 δ (fr) (35F)を、推定モデル特定パラメ一 タ 35の 1つとして算出する機能を有している。
[0158] 映像品質第 2変化指標算出部 16Gは、記憶部 34Mのフレームレート一映像品質 第 2変化指標特性 34Gを参照して、入力フレームレート 21Aで送信された映像メディ ァに関する、その主観映像品質の最良値を示す最良映像品質 35Eからの変化 (劣 ィ匕)度合いを示す映像品質第 2変化指標 ε (fr) (35G)を、推定モデル特定パラメ一 タ 35の 1つとして算出する機能を有している。
これら、フレームレート一最良映像品質特性 34E、フレームレート一映像品質第 1 変化指標特性 34F、およびフレームレート—映像品質第 2変化指標特性 34Gは、推 定モデル特定パラメータ導出特性 34として予め用意され、記憶部 34Mに記憶されて いる。
[0159] 推定モデル生成部 16Dは、最良映像品質算出部 16Eで算出された最良映像品質 β (br)、映像品質第 1変化指標算出部 16Fで算出された映像品質第 1変化指標 δ ( fr)、および映像品質第 2変化指標算出部 16Gで算出された映像品質第 2変化指標 ε (fr)力もなる各推定モデル特定パラメータ 35の値を所定の関数式に代入すること により、主パラメータ 21の入力フレームレート 21Aに対応する主観映像品質を推定 するための推定モデル 36を生成する機能を有して 、る。
[0160] [主観映像品質特性]
次に、図 34を参照して、映像通信サービスにおける映像メディアの主観映像品質 特性について説明する。図 34は、映像通信サービスにおける映像メディアの符号ィ匕 ビットレート—主観映像品質特性を示すグラフである。図 34において、横軸は符号化 ビットレート br (kbps)、縦軸は主観映像品質値 MOS (fr, br) (MOS値）を示し、フレ ームレート frごとの特性が示されて!/、る。
[0161] 映像メディアの主観映像品質に対して、単位フレーム当たりの符号量とフレームレ ートはトレードオフの関係にある。
具体的には、ある符号ィ匕ビットレートで映像を符号ィ匕して提供する際、高いフレーム レートで映像を符号ィ匕すると映像が滑らかになって時間的な映像品質を向上できる 力 単位フレーム当たりの符号量が低減して空間的な映像劣化が顕著となり、結果と して映像品質が低下する場合がある。また、単位フレーム当たりの符号量を高くして 符号ィ匕すると空間的な映像劣化が改善されて映像品質は向上するが、単位時間当 たりのフレーム数が低減して時間的にぎくしゃくしコマ飛び状態となり、結果として映 像品質が劣化する場合がある。
[0162] ここで、フレームレートをそれぞれ一定とした場合、そのときの映像品質は、図 34に 示すように、符号ィ匕ビットレートの増加に応じて単調増加し、当該フレームレートで送 信された映像メディアの最良映像品質へ収束する特性を持つ。例えば、フレームレ ート fr= 10[fbs]の場合、主観映像品質特性は、符号ィ匕ビットレート brの増加に応じ て単調増加し、符号ィ匕ビットレート br= 1000[kbps]付近で最良映像品質 = 3. 8 [M OS]に収束する特性となる。
[0163] また、このような主観映像品質特性は、異なるフレームレートであっても同様の形状 となり、各主観映像品質特性の座標位置は、その最良映像品質と最良映像品質に 対する変化度合いを示す映像品質変化指標力 なる推定モデル特定パラメータで 特定することができる。
本実施の形態は、このような主観映像品質特性の性質に着目して、推定モデル特 定部 15Aにより、入力フレームレート 21Aに基づいて映像メディアの符号ィ匕ビットレ ートと主観映像品質との関係を示す推定モデル 36を特定し、映像品質推定部 15〖こ より、推定モデル特定部 15Aで特定された推定モデル 36を用いて入力符号ィ匕ビット レート 21Bに対応する基準主観映像品質 23を推定している。
[0164] [推定モデル]
次に、推定モデル特定部 15 Aで用いる推定モデルと推定モデル特定パラメータの 導出について詳細に説明する。
図 34に示した、符号ィ匕ビットレート一主観映像品質特性は、符号ィ匕ビットレートの 増加に応じて単調増加し、当該フレームレートで送信された映像メディアの最良映像 品質へ収束する特性を持つ傾向があり、例えば図 28に示したような一般的な口ジス ティック (Logistic)関数でモデルィ匕することができる。
[0165] したがって、変数 Xを符号ィ匕ビットレート とし、これに対応する関数値 yを主観映像 品質 MOS (fr, br)とし、最大値 Aを入力フレームレート frにおける最良映像品質
2
(fr)、最小値 Aを「1」、係数 Xを映像品質第 1変化指標 δ (fr)、係数 pを映像品質第
1 0
2変化指標 ε (fr)とすれば、任意の符号ィ匕ビットレート brに対する主観映像品質 MO Sは、次の（18)式で求めることができ、結果として、入力フレームレート 21Aに対応 する推定モデル 36すなわち符号ィ匕ビットレート—主観映像品質特性を特定すること 力 Sできる。図 35は、ロジスティック関数でモデルィ匕された符号ィ匕ビットレート一主観映 像品質特性を示す説明図である。
[0166] [数 18] 應 ( ) =
Figure imgf000044_0001
… 8)
[0167] したがって、推定モデル特定部 15Aにより、入力フレームレート 21Aに基づいて映 像メディアの符号ィ匕ビットレートと主観映像品質との関係を示す推定モデル 36を特 定する場合、入力フレームレート 21Aに対応する推定モデル特定パラメータとして、 最良映像品質 35E、映像品質第 1変化指標 35F、および映像品質第 2変化指標 35 Gを導出する必要がある。特に、映像品質第 1変化指標 δ (fr)および映像品質第 2 変化指標 ε (fr)は、ロジスティック関数の分数項において最大値 A4からの減少分す なわち最良映像品質 β (fr)力もの変化 (劣化)分を算出するために用いられており、 それぞれ当該フレームレート frにおける主観映像品質に関する変化度合いを示す変 化指標として、推定モデル 36の特定に必要となる。
[0168] 本実施の形態では、次のようなフレームレート—最良映像品質特性 34E、フレーム レート一映像品質第 1変化指標特性 34F、およびフレームレート一映像品質第 2変 化指標特性 34Gを推定モデル特定パラメータ導出特性 34として予め用意しておき、 これら特性を参照して、入力フレームレート 21Aに対応する推定モデル特定パラメ一 タ 35をそれぞれ導出して 、る。
[0169] 図 34に示された各特性において、送信された映像メディアのフレームレートとその ときの最良映像品質との関係は、フレームレート frの増加とともにそれぞれ最良映像 品質 i8 (fr)が増加し、ある最大値 (最大主観映像品質値）に収束する、という傾向が 見られる。
図 36は、このようなフレームレート 最良映像品質特性を示すグラフである。図 36 において、横軸はフレームレート fr (fps)、縦軸は最良映像品質 |8 (fr) (MOS値)を 示している。
[0170] 一方、送信された映像メディアのフレームレートとそのときの映像品質第 1変化指標 との関係は、フレームレートの増加とともにそれぞれ映像品質第 1変化指標が単調増 加する、という傾向が見られる。
図 37は、このようなフレームレート一映像品質第 1変化指標特性を示すグラフであ る。図 37において、横軸はフレームレート fr (fps)、縦軸は映像品質第 1変化指標 δ (fr)を示している。
[0171] また、送信された映像メディアのフレームレートとそのときの映像品質第 2変化指標 との関係は、フレームレートの増加とともにそれぞれ映像品質第 2変化指標が単調減 少する、という傾向が見られる。
図 38は、このようなフレームレート一映像品質第 2変化指標特性を示すグラフであ る。図 38において、横軸はフレームレート fr (fps)、縦軸は映像品質第 2変化指標 ε (fr)を示している。
[0172] [第 5の実施の形態の動作]
次に、図 39を参照して、本発明の第 5の実施の形態に力かる映像品質推定装置の 動作について説明する。図 39は、本発明の第 5の実施の形態に力かる映像品質推 定装置の基準主観映像品質推定処理を示すフローチャートである。
[0173] 映像品質推定装置 1は、オペレータ力もの指示操作や推定条件 10の入力に応じて 、図 39の映像品質推定処理を開始する。なお、ここでは、映像品質推定装置 1には 、前述したフレームレート一最良映像品質特性 34E (図 36参照）、フレームレート一 映像品質第 1変化指標特性 34F (図 37参照）、およびフレームレート—映像品質第 2 変化指標特性 34G (図 38参照）が予め用意され、関数式として記憶部 34Mに記憶さ れているものとする。
[0174] まず、パラメータ取得部 11は、評価対象となる映像通信サービスに関する各種の推 定条件 10を取得し、推定条件 10から映像メディアの符号ィ匕処理に関する符号ィ匕ビ ットレートとフレームレートを抽出し、これら入力符号化ビットレート br(21B)および入 カフレームレート fr (21A)を主パラメータ 21として出力する（ステップ S310)。
[0175] 推定モデル特定部 15Aは、パラメータ取得部 11から出力された主パラメータ 21の 入力フレームレート 21 Aに基づいて映像メディアの符号ィ匕ビットレートと主観映像品 質との関係を示す推定モデル 36を特定する。
具体的には、まず、最良映像品質算出部 16Eにより、記憶部 34Mのフレームレート —最良映像品質特性 34Eを参照して、入力フレームレート fr (21A)に対応する最良 映像品質 j8 (fr) (35E)を算出する (ステップ S311)。
[0176] 続いて、推定モデル特定部 15Aは、映像品質第 1変化指標算出部 16Fにより、記 憶部 34Mのフレームレート—映像品質第 1変化指標特性 34Fを参照して、入力フレ 一ムレー Mr (21A)に対応する映像品質第 1変化指標 δ (fr) (35F)を算出する (ス テツプ S312)。
同様にして、推定モデル特定部 15Aは、映像品質第 2変化指標算出部 16Gにより 、記憶部 34Mのフレームレート—映像品質第 2変化指標特性 34Gを参照して、入力 フレームレート fr (21A)に対応する映像品質第 2変化指標 ε (fr) (35G)を算出する (ステップ S313)。
[0177] このようにして各推定モデル特定パラメータ 35を算出した後、推定モデル特定部 1 5Aは、推定モデル生成部 16Dにより、これら推定モデル特定パラメータ 35の最良映 像品質 i8 (fr)、映像品質第 1変化指標 δ (fr)および映像品質第 2変化指標 ε (fr) の実際の値を前述した式（18)へ代入することにより、推定モデル 36すなわち符号ィ匕 ビットレート—主観映像品質特性を特定する (ステップ S314)。
[0178] この後、映像品質推定装置 1は、映像品質推定部 15により、推定モデル特定部 15 Aで特定された推定モデル 36を参照して、パラメータ取得部 11から出力された主パ ラメータ 21の入力符号ィ匕ビットレート 21Bに対応する映像品質を算出し、評価対象と なる映像通信サービスを利用して端末で再生された映像メディアカゝら視聴者が実感 する基準主観映像品質 23として出力し (ステップ S315)、一連の基準主観映像品質 推定処理を終了する。
[0179] このように、本実施の形態は、映像メディアに関する単位時間当たりの符号ィ匕ビット 数を示す入力符号ィ匕ビットレート 21Bと、単位時間当たりのフレーム数を示す入カフ レームレート 21Aを入力として、これら主パラメータ 21に対する主観映像品質を推定 する際、推定モデル特定部 15Aにより、入力フレームレート 21Aに基づいて映像メデ ィァの符号ィ匕ビットレートと主観映像品質との関係を示す推定モデル 36を特定し、特 定された推定モデル 36を用いて入力符号ィ匕ビットレート 21Bに対応する主観映像品 質を推定し基準主観映像品質 23として出力している。
[0180] これにより、推定条件 10として入力された入力フレームレート 21Aに対応する推定 モデル 36を参照して、同じく推定条件 10として入力された入力符号ィ匕ビットレート 21 Bに対応する基準主観映像品質 23を得ることができる。
したがって、単位フレーム当たりの符号量とフレームレートの、映像品質に対するト レードォフを考慮して、これら符号ィ匕ビットレートとフレームレートをそれぞれどの程度 に設定すると、どの程度の映像品質が得られるか、という具体的で有用な品質設計- 管理指針を得ることができ、サービス提供に先立ったアプリケーションおよびネットヮ ークの品質設計やサービス開始後の品質管理に大いに役立てることができる。
[0181] 例えば、所望の映像品質で映像メディアを配信した 、場合、本実施の形態にかか る映像品質推定装置 1を用いれば、カメラで撮影した映像をどの程度の符号ィ匕ビット レートとフレームレートで符号ィ匕すれば所望の映像品質を満足する力を具体的に把 握することができる。特に、ネットワークの制約条件により、符号ィ匕ビットレートが制限 される場合が多ぐこのような場合には、当該符号ィ匕ビットレートを固定ィ匕して本実施 の形態にかかる映像品質推定装置 1を適用すれば、フレームレートと映像品質との 関係を容易かつ具体的に把握できる。
[0182] 本実施の形態では、推定モデル特定パラメータ 35を算出する際に用いる、フレー ムレート—最良映像品質特性 34E、フレームレート—映像品質第 1変化指標特性 34 F、およびフレームレート一映像品質第 2変化指標特性 34Gが予め関数式の形で用 意されている場合を例として説明したが、推定モデル特定パラメータの導出に用いる これら推定モデル特定パラメータ導出特性 34については関数式に限定されるもので はなぐ入力フレームレートに対応する値として記憶部 34Mで記憶しておいてもよい
[0183] 図 40は、入力フレームレートと各推定モデル特定パラメータとの対応関係を示す推 定モデル特定パラメータ情報の構成例である。この推定モデル特定パラメータ情報 は、入力フレームレート fr (21A)と、これに対応する最良映像品質 j8 (fr) (35E)、映 像品質第 1変化指標 δ (fr) (35F)、および映像品質第 2変化指標 ε (fr) (35G)との 組からなり、予め上記推定モデル特定パラメータ導出特性 34に基づき算出して記憶 部 34Mに記憶されている。
このような推定モデル特定パラメータ情報を参照して、入力フレームレート 21Aに対 応する推定モデル特定パラメータ 35を導出してもよ 、。
[0184] [第 6の実施の形態]
次に、図 41を参照して、本発明の第 6の実施の形態に力かる映像品質推定装置に ついて説明する。図 41は、本発明の第 6の実施の形態に力かる映像品質推定装置 の推定モデル特定部の構成を示すブロック図であり、前述した図 33と同じまたは同 等部分には同一符号を付してある。
[0185] 第 4の実施の形態では、推定モデル特定パラメータ導出特性 34として、第 3の実施 の形態で用いた符号ィ匕ビットレート 最適フレームレート特性 34A、符号化ビットレ ート—最良映像品質特性 34B、および符号ィ匕ビットレート—映像品質劣化指標特性 34Cを特定する場合にっ 、て説明した。
[0186] 本実施の形態では、推定モデル特定パラメータ導出特性 34として、第 5の実施の 形態で用いたフレームレート一最良映像品質特性 34E、フレームレート一映像品質 第 1変化指標特性 34F、およびフレームレート—映像品質第 2変化指標特性 34Gを 特定する場合について説明する。
なお、副パラメータ 25に基づ 、て推定条件 10に応じた推定モデル特定パラメータ 導出特性 34を逐次特定する映像品質推定装置の構成については、前述した第 4の 実施の形態（図 25参照）と同様であり、ここでの詳細な説明は省略する。
[0187] 図 42は、特性係数 DBの構成例を示す説明図である。特性係数 DB28は、各種副 パラメータ 25とこれに対応する各特性係数 j '， k' , 1' , · ··, q' (29)との組を示すデー タベースである。副パラメータ 25には、映像通信サービスの通信種別を示す通信種 別パラメータ 25A、映像メディアを再生する端末の再生性能を示す再生性能パラメ ータ 25B、ある ヽは映像メディアを再生する端末の再生環境を示す再生環境パラメ ータ 25Cがある。
[0188] 通信種別パラメータ 25Aの具体例としては、評価対象となる映像通信サービスで行 われる通信種別を示す「タスク」がある。
再生性能パラメータ 25Bの具体例としては、映像メディアの符号ィ匕に関する「符号 化方式」、「映像フォーマット」、「キーフレーム」のほか、端末でのメディア再生機能に 関する「モニタサイズ」、「モニタ解像度」などがある。
再生環境パラメータ 25Cの具体例としては、端末でのメディア再生の際の「室内照 度」などがある。
[0189] 副パラメータ 25は、これらパラメータ例に限定されるものではなぐ評価対象となる 映像通信サービスや映像メディアの内容に応じて任意に取捨選択すればよぐ少な くともこれら通信種別パラメータ 25A、再生性能パラメータ 25B、および再生環境パラ メータ 25Cのうちの 1つ以上から構成されて!、ればよ!/、。
[0190] 特性係数取得部 17は、予め用意された記憶部 28Mの特性係数 DB28を参照して 、副パラメータ 25に対応する特性係数 29を取得する。特性係数 29は、推定モデル 特定パラメータ 35の導出に用いる推定モデル特定パラメータ導出特性を特定するた めの係数である。
推定モデル特定部 15Aは、特性係数取得部 17で取得された特性係数 29により特 定された推定モデル特定パラメータ導出特性 34、すなわちフレームレート 最良映 像品質特性 34E、フレームレート—映像品質第 1変化指標特性 34F、およびフレー ムレート—映像品質第 2変化指標特性 34Gを特定する。
[0191] [推定モデル特定パラメータ導出特性]
次に、推定モデル特定部 15Aで用いる推定モデル特定パラメータ導出特性 34に ついて詳細に説明する。
推定モデル特定パラメータ導出特性 34は、特性係数取得部 17により特性係数 DB 28から取得される特性係数 29を用いてそれぞれ次のようにモデルィ匕することができ る。
[0192] まず、推定モデル特定パラメータ導出特性 34のフレームレート 最良映像品質特 性 34Eは、前述した図 36に示すように、フレームレートの増加とともに最良映像品質 が単調増加し、その後ある最大主観映像品質に収束する傾向があり、例えば一般的 な指数関数でモデル化することができる。したがって、フレームレートを frとし、これに 対応する最良映像品質を j8 (fr)とし、係数 ，， k，， 1，とした場合、フレームレート— 最良映像品質特性 34Eは、次の式（19)で表すことができる。
[0193] [数 19] fi(fr) = j'+k'- ex^- fr /P) —(19)
[0194] 次に、推定モデル特定パラメータ導出特性 34のフレームレート—映像品質第 1変 化指標特性 34Fは、前述した図 37に示すように、フレームレートの増加とともに映像 品質第 1変化指標が単調増加する傾向があり、例えば一般的な指数関数でモデル ィ匕することができる。したがって、フレームレートを frとし、これに対応する映像品質第 1変化指標を δ (fr)とし、係数を m'， η', ο'とした場合、フレームレート—映像品質第 1変化指標特性 34Fは、次の式 (20)で表すことができる。
[0195] [数 20] d(fr ) = m'+n'-exp(fr /ο') .'- (20)
[0196] また、推定モデル特定パラメータ導出特性 34のフレームレート—映像品質第 2変化 指標特性 34Gは、前述した図 38に示すように、フレームレートの増加とともに映像品 質第 2変化指標が単調減少する傾向があり、例えば一般的な線形関数でモデルィ匕 することができる。したがって、フレームレートを frとし、これに対応する映像品質第 2 変化指標を ε (fr)とし、係数を ρ', q，とした場合、フレームレート一映像品質第 2変化 指標特性 34Gは、次の式（21)で表すことができる。
[0197] [数 21]
£(fr) = p^q'-fr … ）
[0198] なお、推定モデル特定パラメータ導出特性 34のモデルィ匕にっ 、ては、前述した指 数関数や線形関数に限定されるものではなぐ他の関数を用いてもよい。例えば、評 価対象となる映像通信サービスや映像メディアの内容、ネットワーク性能、あるいは推 定条件 10の内容によっては、ある程度限定された範囲の入力符号ィ匕ビットレートや 入力フレームレートでの映像品質推定処理で十分なため、このような局所的な見方 が可能な場合には、前述したように、フレームレート 最良映像品質特性 34Eゃフレ 一ムレートー映像品質第 1変化指標特性 34Fを線形関数等の単純な関数でモデル ィ匕することがでさる。
[0199] これに対して、入力符号ィ匕ビットレートや入力フレームレートに対して推定モデル特 定パラメータの変化が大きい場合には、例えば指数関数ゃロジスティック関数などの 他の関数を用いて、フレームレート一映像品質第 2変化指標特性 34G、さらにはフレ 一ムレートー最良映像品質特性 34Eやフレームレート一映像品質第 1変化指標特性 34Fをモデル化してもよ!、。
[0200] [第 6の実施の形態の動作]
次に、図 43を参照して、本発明の第 6の実施の形態に力かる映像品質推定装置の 動作について説明する。図 43は、本発明の第 6の実施の形態に力かる映像品質推 定装置の映像品質推定処理を示すフローチャートであり、前述した図 39と同じまた は同等部分には同一符号を付してある。 [0201] 映像品質推定装置 1は、オペレータ力もの指示操作や推定条件 10の入力に応じて 、図 43の映像品質推定処理を開始する。なお、ここでは、副パラメータ 25として通信 種別パラメータ 25A、再生性能パラメータ 25B、および再生環境パラメータ 25Cを用 いるものとし、記憶部 28Mの特性係数 DB28には、副パラメータ 25と特性係数 29と の組が予め格納されているものとする。
[0202] まず、パラメータ取得部 11は、評価対象となる映像通信サービスに関する各種の推 定条件 10を取得し、推定条件 10から映像メディアの符号ィ匕処理に関する符号ィ匕ビ ットレートとフレームレートを抽出し、これら入力符号化ビットレート br (21B)および入 カフレームレート fr (21A)を主パラメータ 21として出力する（ステップ S310)。また、 パラメータ取得部 11は、推定条件 10から通信種別パラメータ 25A、再生性能パラメ ータ 25B、および再生環境パラメータ 25Cを抽出し、これらを副パラメータ 25として出 力する（ステップ S410)。
[0203] 次に、特性係数取得部 17は、記憶部 28Mの特性係数 DB28を参照して、副パラメ ータ 25の値に対応する特性係数 j '， k'， 1' , · · ·, q' (29)を取得して出力する (ステツ プ S411)。
これに応じて推定モデル特定部 15Aは、最良映像品質算出部 16Eにより、特性係 数 29のうち係数 j，， k，， 1，により特定されるフレームレート—最良映像品質特性 34E を参照して、入力フレームレート fr (21 A)に対応する最良映像品質 j8 (fr) (35E)を 算出する (ステップ S311)。
[0204] また、推定モデル特定部 15Aは、映像品質第 1変化指標算出部 16Fにより、特性 係数 29のうち係数 d'， e', f'により特定されるフレームレート—映像品質第 1変化指標 特性 34Fを参照して、入力フレームレート fr (21A)に対応する映像品質第 1変化指 標 δ (fr) (35F)を算出する (ステップ S312)。
同様にして、推定モデル特定部 15Aは、映像品質第 2変化指標算出部 16Gにより 、特性係数 29のうち係数 g'， q，により特定されるフレームレート一映像品質第 2変化 指標特性 34Gを参照して、入力フレームレート fr (21A)に対応する映像品質第 2変 化指標 ε (fr) (35G)を算出する (ステップ S313)。
[0205] このようにして各推定モデル特定パラメータ 35を算出した後、推定モデル特定部 1 5Aは、推定モデル生成部 16Dにより、これら推定モデル特定パラメータ 35の最良映 像品質 i8 (fr)、映像品質第 1変化指標 δ (fr)、および映像品質第 2変化指標 ε (fr) の実際の値を前述した式（18)へ代入することにより、推定モデル 36すなわち符号ィ匕 ビットレート—主観映像品質特性を特定する (ステップ S314)。
[0206] この後、映像品質推定装置 1は、映像品質推定部 15により、推定モデル特定部 15 Aで特定された推定モデル 36を参照して、パラメータ取得部 11から出力された主パ ラメータ 21の入力符号ィ匕ビットレート 21Bに対応する映像品質を算出し、評価対象と なる映像通信サービスを利用して端末で再生された映像メディアカゝら視聴者が実感 する主観映像品質の基準主観映像品質 23として出力し (ステップ S315)、一連の映 像品質推定処理を終了する。
[0207] このように、本実施の形態は、パラメータ取得部 11で取得された、通信種別パラメ ータ 25A、再生性能パラメータ 25B、および再生環境パラメータ 25Cのうちの 1っ以 上力もなる副パラメータ 25に対応する特性係数 29を、記憶部 28Mの特性係数 DB2 8から特性係数取得部 17により取得し、推定モデル特定部 15Aにより、これら特性係 数 29により特定される推定モデル特定パラメータ導出特性 34に基づいて、入力フレ ームレート 21Aに対応する推定モデル特定パラメータ 35を算出するようにしたので、 評価対象となる映像通信サービスや端末の具体的な性質に基づく推定モデル特定 ノ メータ 35を導出することができ、基準映像品質推定の精度を向上させることがで きる。
[0208] 特に、従来技術では、映像品質を推定する場合、評価対象となる映像通信サービ スで用いる符号ィ匕方式や端末ごとに、映像品質推定モデルを用意しなければならな かった。しカゝしながら、本実施の形態によれば、映像品質推定モデルが符号ィ匕方式 や端末に依存せず、映像品質推定モデルに用いる係数を符号化方式や端末に応じ て参照するだけで、同じ映像品質推定モデルを利用できる。したがって、異なる環境 の映像通信サービスに対して柔軟に対応することができる。これにより、前述した第 1 または第 2の実施の形態で説明した映像品質補正部 13において、基準主観映像品 質 23を用意することなぐ任意の推定条件 10に応じた主観映像品質推定値 24を推 定できる。 [0209] 図 44は、本実施の形態を適用した映像品質推定装置の推定精度を示すグラフで ある。図 44において、横軸は映像品質推定装置を用いて推定した主観映像品質の 推定値 (MOS値)を示し、縦軸は視聴者が実際にオピニオン評価した主観映像品質 の評価値 (MOS値)を示している。前述した文献 2に基づく従来の映像品質推定装 置の推定精度を示す図 32に比較して、図 44のほうが、評価値と推定値の誤差が少 なぐ推定精度が向上していることがわかる。なお、これらは特定の推定条件下での 比較結果であるが、異なる符号化方式や端末を用いた場合でも、同様の比較結果が 確認されている。
[0210] [各実施の形態の拡張]
以上の各実施の形態では、指数関数を用いて劣化モデル 22をモデルィ匕し、ガウス 関数もしくはロジスティック関数を用いて推定モデル 36をモデルィ匕した場合を例とし て説明したが、これに限定されるものではなぐ線形関数、二次関数、あるいは高次 関数などの他の関数を用いてもよい。また、劣化モデル 22や推定モデル 36が関数 でモデルィ匕されている場合を例として説明した力 関数以外の他のモデル、例えば ニューラルネットワークや事例ベースなど、入出力特性のみが特定されるようなブラッ クボックスモデルであってもよ 、。
[0211] また、第 2の実施の形態で用いた劣化指標係数 DB26での副パラメータ 25と劣化 指標係数 27の対応関係や、第 4の実施の形態および第 6の実施の形態で用いた特 性係数 DB28での副パラメータ 25と特性係数 29の対応関係については、各種副パ ラメータ 25の組合せごとに各劣化指標導出特性 31や各推定モデル特定パラメータ 導出特性 34を実測し、得られた計測データに対して最小二乗による収束演算を行う ことにより、劣化指標係数 27や特性係数 29をそれぞれ算出してもよぐこのような係 数算出のための構成を映像品質推定装置 1に実装してもよい。
[0212] また、各実施の形態では、記憶部 23M, 28M, 31M, 34Mなどの記憶部がそれ ぞれ別個の記憶装置力 構成されている場合を例として説明したが、これに限定され るものではなぐ各記憶部のうち複数あるいは全部を 1つの記憶装置で構成してもよ い。

Claims

請求の範囲
[1] 複数のフレームに符号ィ匕した映像メディアに関する、単位時間当たりの符号ィ匕ビッ ト数を示す入力符号ィ匕ビットレート、単位時間当たりのフレーム数を示す入力フレー ムレート、およびパケット損失の発生確率を示す入力パケット損失率を、主パラメータ として取得するパラメータ取得部と、
前記入力符号化ビットレートおよび前記入力フレームレートで符号化された前記映 像メディアに関するパケット損失がない場合の主観映像品質を示す基準主観映像品 質を記憶する第 1の記憶部と、
前記基準主観映像品質の劣化と前記入力パケット損失率との関係を示す劣化モデ ルを前記入力符号ィ匕ビットレートと前記入力フレームレートに基づき特定する劣化モ デル特定部と、
特定された前記劣化モデルを用いて算出した前記入力パケット損失率に対応する 映像品質劣化率に基づいて前記基準主観映像品質を補正することにより、通信網を 介して任意の端末で受信し再生した前記映像メディアカゝら視聴者が実感する主観映 像品質の推定値を算出する映像品質補正部と
を備えることを特徴とする映像品質推定装置。
[2] 請求項 1に記載の映像品質推定装置にお!、て、
前記映像メディアのフレームレートと当該フレームレートの前記主観映像品質の劣 化に対するパケット損失率の影響度合いを示す第 1の劣化指標との関係を示す第 1 の劣化指標特性と、前記映像メディアの符号ィ匕ビットレートと当該符号ィ匕ビットレート の前記主観映像品質の劣化に対するパケット損失率の影響度合いを示す第 2の劣 化指標との関係を示す第 2の劣化指標特性とを記憶する第 2の記憶部をさらに備え、 前記劣化モデル特定部は、前記第 1の劣化指標特性を参照して前記入力フレーム レートに対応する第 1の劣化指標を算出する第 1の劣化指標算出部と、前記第 2の劣 化指標特性を参照して前記入力符号ィ匕ビットレートに対応する第 2の劣化指標を算 出する第 2の劣化指標算出部と、前記第 1および第 2の劣化指標を合成して前記入 カフレームレートおよび前記入力符号ィ匕ビットレートに対応した前記劣化モデルを特 定する劣化指標を算出する劣化指標算出部とを有する ことを特徴とする映像品質推定装置。
[3] 請求項 1に記載の映像品質推定装置にお!、て、
前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メデ ィァの再生性能を示す再生性能パラメータ、および前記端末で前記映像メディアを 再生する際の周囲環境を示す再生環境パラメータのうちの 1つ以上力 なる副パラメ ータについて、前記各劣化指標特性を特定する劣化指標係数との対応関係とを記 憶する第 3の記憶部と、
前記対応関係を参照して前記パラメータ取得部で取得された副パラメータに対応 する劣化指標係数を取得する劣化指標係数取得部と
をさらに備え、
前記劣化モデル特定部は、前記劣化指標係数により特定される前記各劣化指標 特性を参照して前記第 1および第 2の劣化指標を算出する
ことを特徴とする映像品質推定装置。
[4] 請求項 1に記載の映像品質推定装置にお!、て、
前記入力符号ィ匕ビットレートに基づいて前記映像メディアのフレームレートと主観映 像品質との関係を示す推定モデルを特定する推定モデル特定部と、
特定された前記推定モデルを用いて前記入力フレームレートに対応する主観映像 品質を推定し前記基準主観映像品質として出力する映像品質推定部と
をさらに備えることを特徴とする映像品質推定装置。
[5] 請求項 4に記載の映像品質推定装置にお ヽて、
前記推定モデル特定部は、前記入力符号化ビットレートで送信された前記映像メ ディアの主観映像品質が最良となるフレームレートを示す最適フレームレートとそのと きの映像品質を示す最良映像品質を含む推定モデル特定パラメータに基づいて前 記推定モデルを特定することを特徴とする映像品質推定装置。
[6] 請求項 4に記載の映像品質推定装置にお ヽて、
前記映像通信の種別を示す通信種別パラメータ、前記端末における前記映像メデ ィァの再生性能を示す再生性能パラメータ、および前記端末で前記映像メディアを 再生する際の周囲環境を示す再生環境パラメータのうちの 1つ以上力 なる副パラメ ータについて、前記推定モデルを特定する特性係数との対応関係とを記憶する第 4 の記憶部と、
前記対応関係を参照して前記パラメータ取得部で取得した副パラメータに対応す る特性係数を取得する特性係数取得部と
をさらに備え、
前記推定モデル特定部は、前記特性係数と前記入力符号ィ匕ビットレートにより特定 される前記推定モデルを特定する
ことを特徴とする映像品質推定装置。
[7] ノ ラメータ取得部により、複数のフレームに符号ィ匕した映像メディアに関する単位 時間当たりの符号ィ匕ビット数を示す入力符号ィ匕ビットレート、単位時間当たりのフレー ム数を示す入力フレームレート、およびパケット損失の発生確率を示す入力パケット 損失率を、主パラメータとして取得するパラメータ取得ステップと、
第 1の記憶部により、前記入力符号化ビットレートおよび前記入力フレームレートで 符号化された前記映像メディアに関するパケット損失がない場合の主観映像品質を 示す基準主観映像品質を記憶する記憶ステップと、
劣化モデル特定部により、前記基準主観映像品質の劣化と前記入力パケット損失 率との関係を示す劣化モデルを前記入力符号ィ匕ビットレートと前記入力フレームレー トに基づき特定する劣化モデル特定ステップと、
映像品質補正部により、特定された前記劣化モデルを用いて算出した前記入力パ ケット損失率に対応する映像品質劣化率に基づいて前記基準主観映像品質を補正 することにより、通信網を介して任意の端末で受信し再生した前記映像メディアから 視聴者が実感する主観映像品質の推定値を算出する映像品質補正ステップと を備えることを特徴とする映像品質推定方法。
[8] 請求項 7に記載の映像品質推定方法にお 、て、
第 2の記憶部により、前記映像メディアのフレームレートと当該フレームレートの前 記主観映像品質の劣化に対するパケット損失率の影響度合いを示す第 1の劣化指 標との関係を示す第 1の劣化指標特性と、前記映像メディアの符号ィ匕ビットレートと当 該符号ィ匕ビットレートの前記主観映像品質の劣化に対するパケット損失率の影響度 合いを示す第 2の劣化指標との関係を示す第 2の劣化指標特性とを記憶する記憶ス テツプをさらに備え、
前記劣化モデル特定ステップは、前記第 1の劣化指標特性を参照して前記入カフ レームレートに対応する第 1の劣化指標を算出する第 1の劣化指標算出ステップと、 前記第 2の劣化指標特性を参照して前記入力符号化ビットレートに対応する第 2の 劣化指標を算出する第 2の劣化指標算出ステップと、前記第 1および第 2の劣化指 標を合成して前記入力フレームレートおよび前記入力符号ィ匕ビットレートに対応した 前記劣化モデルを特定する劣化指標を算出する劣化指標算出ステップとを有する ことを特徴とする映像品質推定方法。
[9] 請求項 7に記載の映像品質推定方法にお 、て、
第 3の記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末に おける前記映像メディアの再生性能を示す再生性能パラメータ、および前記端末で 前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの 1っ以 上からなる副パラメータにつ 、て、前記各劣化指標特性を特定する劣化指標係数と の対応関係とを記憶する記憶ステップと、
劣化指標係数取得部により、前記対応関係を参照して前記パラメータ取得部で取 得された副パラメータに対応する劣化指標係数を取得する劣化指標係数取得ステツ プと
をさらに備え、
前記劣化モデル特定ステップは、前記劣化指標係数により特定される前記各劣化 指標特性を参照して前記第 1および第 2の劣化指標を算出する
ことを特徴とする映像品質推定方法。
[10] 請求項 7に記載の映像品質推定方法にぉ 、て、
推定モデル特定部により、前記入力符号ィ匕ビットレートに基づ 、て前記映像メディ ァのフレームレートと主観映像品質との関係を示す推定モデルを特定する推定モデ ル特定ステップと、
映像品質推定部により、特定された前記推定モデルを用いて前記入力フレームレ ートに対応する主観映像品質を推定し前記基準主観映像品質として出力する映像 品質推定ステップと
をさらに備えることを特徴とする映像品質推定方法。
[11] 請求項 10に記載の映像品質推定方法において、
前記推定モデル特定ステップは、前記入力符号化ビットレートで送信された前記映 像メディアの主観映像品質が最良となるフレームレートを示す最適フレームレートとそ のときの映像品質を示す最良映像品質を含む推定モデル特定パラメータに基づい て前記推定モデルを特定することを特徴とする映像品質推定方法。
[12] 請求項 10に記載の映像品質推定方法において、
第 4の記憶部により、前記映像通信の種別を示す通信種別パラメータ、前記端末に おける前記映像メディアの再生性能を示す再生性能パラメータ、および前記端末で 前記映像メディアを再生する際の周囲環境を示す再生環境パラメータのうちの 1っ以 上力もなる副パラメータにつ 、て、前記推定モデルを特定する特性係数との対応関 係とを記憶する記憶ステップと、
特性係数取得部により、前記対応関係を参照して前記パラメータ取得部で取得さ れた副パラメータに対応する特性係数を取得する特性係数取得ステップと
をさらに備え、
前記推定モデル特定ステップは、前記特性係数と前記入力符号ィ匕ビットレートによ り特定される前記推定モデルを特定する
ことを特徴とする映像品質推定方法。
[13] 複数のフレームに符号ィヒした映像メディアを任意の端末へ通信網を介して送信す る映像通信にっ ヽて、前記端末で再生された当該映像メディアカゝら視聴者が実感す る主観映像品質の推定値を所定の推定モデルを用いて算出する映像品質推定装 置のコンピュータに、
パラメータ取得部により、前記映像メディアに関する単位時間当たりの符号化ビット 数を示す入力符号ィ匕ビットレート、単位時間当たりのフレーム数を示す入力フレーム レート、およびパケット損失の発生確率を示す入力パケット損失率を、主パラメータと して取得するパラメータ取得ステップと、
記憶部により、前記入力符号化ビットレートおよび前記入力フレームレートで符号 化された前記映像メディアに関するパケット損失がない場合の主観映像品質を示す 基準主観映像品質を記憶する記憶ステップと、
劣化モデル特定部により、前記基準主観映像品質の劣化と前記入力パケット損失 率との関係を示す劣化モデルを前記入力符号ィ匕ビットレートと前記入力フレームレー トに基づき特定する劣化モデル特定ステップと、
映像品質補正部により、特定された前記劣化モデルを用いて算出した前記入力パ ケット損失率に対応する映像品質劣化率に基づいて前記基準主観映像品質を補正 することにより、通信網を介して任意の端末で受信し再生した前記映像メディアから 視聴者が実感する主観映像品質の推定値を算出する映像品質補正ステップと を実行させるプログラム。
PCT/JP2006/323733 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム WO2007129423A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP06833537.1A EP2018069B1 (en) 2006-05-09 2006-11-28 Video quality estimating device, method, and program
CA2604139A CA2604139C (en) 2006-05-09 2006-11-28 Video quality estimation apparatus, method, and program
US11/886,406 US8154602B2 (en) 2006-05-09 2006-11-28 Video quality estimation apparatus, method, and program
JP2007516128A JP4490483B2 (ja) 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006130085 2006-05-09
JP2006-130085 2006-09-05

Publications (1)

Publication Number Publication Date
WO2007129423A1 true WO2007129423A1 (ja) 2007-11-15

Family

ID=38667537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/323733 WO2007129423A1 (ja) 2006-05-09 2006-11-28 映像品質推定装置、方法、およびプログラム

Country Status (7)

Country Link
US (1) US8154602B2 (ja)
EP (1) EP2018069B1 (ja)
JP (1) JP4490483B2 (ja)
KR (1) KR100935650B1 (ja)
CN (1) CN100568972C (ja)
CA (1) CA2604139C (ja)
WO (1) WO2007129423A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2229002A1 (en) * 2008-07-10 2010-09-15 Huawei Technologies Co., Ltd. Method, device and system for evaluating quality of video code stream
EP2229001A1 (en) * 2008-01-08 2010-09-15 Nippon Telegraph and Telephone Corporation Image quality estimation device, method, and program
JP2011049645A (ja) * 2009-08-25 2011-03-10 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
JP2011510562A (ja) * 2008-01-18 2011-03-31 トムソン ライセンシング 知覚上の品質を評価する方法
CN103718240A (zh) * 2011-09-09 2014-04-09 松下电器产业株式会社 编码装置、解码装置、编码方法和解码方法
CN103813160A (zh) * 2012-11-12 2014-05-21 中国电信股份有限公司 视频质量监控方法和装置
JP5519690B2 (ja) * 2009-10-22 2014-06-11 日本電信電話株式会社 映像品質推定装置、映像品質推定方法およびプログラム
CN111277894A (zh) * 2020-03-02 2020-06-12 四川长虹电器股份有限公司 一种自动检测视频播放画面流畅性的方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT2065863E (pt) * 2007-11-30 2011-02-10 Siemens Ag Determinação da qualidade de uma ligação de comunicação num sistema de sinalização de emergência de multisaltos via rádio
JP5123384B2 (ja) 2008-06-11 2013-01-23 日本電信電話株式会社 オーディオ品質推定方法、オーディオ品質推定装置およびプログラム
JP5648800B2 (ja) * 2008-06-26 2015-01-07 日本電気株式会社 高品質コンテンツ生成システムと、その方法及びプログラム
CN102405644B (zh) * 2009-04-21 2014-09-10 马维尔国际贸易有限公司 基于因特网视频内容的经估算质量对视频后处理器的自动调节
JP5724879B2 (ja) * 2009-11-24 2015-05-27 日本電気株式会社 品質制御装置、動画送信システム、品質制御方法および記録媒体
CN102959976B (zh) 2010-04-30 2016-01-20 汤姆森特许公司 评估视频流质量的方法及设备
WO2012004924A1 (ja) * 2010-07-05 2012-01-12 三菱電機株式会社 映像品質管理システム
CN101895787B (zh) * 2010-07-21 2012-09-12 深圳市融创天下科技股份有限公司 一种视频编码性能主观评价方法及系统
US9215466B2 (en) 2011-01-31 2015-12-15 Apple Inc. Joint frame rate and resolution adaptation
US8885050B2 (en) * 2011-02-11 2014-11-11 Dialogic (Us) Inc. Video quality monitoring
CN103379360B (zh) * 2012-04-23 2015-05-27 华为技术有限公司 一种视频质量评估方法和装置
CN103634594B (zh) 2012-08-21 2015-04-29 华为技术有限公司 一种获得视频编码压缩质量的方法及装置
US9858656B2 (en) * 2013-03-13 2018-01-02 Raytheon Company Video interpretability and quality estimation
CN103413586B (zh) * 2013-07-26 2016-03-30 国核电站运行服务技术有限公司 一种核电厂多部件系统维修方法
CA2958720C (en) * 2013-09-06 2020-03-24 Zhou Wang Method and system for objective perceptual video quality assessment
JP6466963B2 (ja) * 2014-11-17 2019-02-06 日本電信電話株式会社 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
CN105791833B (zh) * 2014-12-17 2018-09-04 深圳Tcl数字技术有限公司 选择视频编解码硬件平台的方法及装置
US9712888B2 (en) * 2015-11-27 2017-07-18 Wipro Limited System and method for dynamically optimizing quality of videos transmitted over communication networks
CN105847970A (zh) * 2016-04-06 2016-08-10 华为技术有限公司 视频显示质量的计算方法及设备
CN105828069B (zh) * 2016-04-06 2019-01-18 上海交通大学 一种基于主观质量评估的编码器自适应调整方法
EP3291556A1 (en) 2016-08-30 2018-03-07 Deutsche Telekom AG Method and apparatus for determining the perceptual video quality of a chunk of multimedia content
CN113470601B (zh) * 2021-07-07 2023-04-07 南昌航空大学 一种自动作曲方法及系统
WO2023113143A1 (en) * 2021-12-16 2023-06-22 Samsung Electronics Co., Ltd. Method and electronic device for enhancing image quality
CN115334271B (zh) * 2022-08-10 2024-05-07 平安科技（深圳）有限公司 高帧率视频生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2006074333A (ja) * 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 双方向通信サービスシステムにおける品質推定方法および品質推定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690441A (ja) 1992-09-07 1994-03-29 Nippon Telegr & Teleph Corp <Ntt> 最適フレームレート決定方法
JP4247888B2 (ja) 2003-05-20 2009-04-02 日本電信電話株式会社 映像配信システムおよび映像配信方法
GB0314162D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142900A (ja) * 2003-11-07 2005-06-02 Nippon Hoso Kyokai <Nhk> 映像品質測定装置及び映像品質測定プログラム
JP2006033722A (ja) * 2004-07-21 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 映像品質管理方法および映像品質管理システム
JP2006074333A (ja) * 2004-09-01 2006-03-16 Nippon Telegr & Teleph Corp <Ntt> 双方向通信サービスシステムにおける品質推定方法および品質推定装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ARAYAMA Y. ET AL.: "Fugoka Parameter to Packet Sonshitsu o Koryo shita AV Tsushin Hinshitsu no Suitei Model (Opinion model for audio-visual communication quality from quality parameters by coding and packet loss)", IEICE TECHNICAL REPORT, vol. 105, no. 406, November 2005 (2005-11-01), pages 57 - 60 + ABSTR. NO. CQ2005-77, XP003016988 *
MIYATA T. ET AL.: "Dogazo no Hinshitsu Shudogata Scalable Fugoka Fukin'itsu Frame Kankaku ni yoru Approach (Scalable Video Coding based on Subjective quality - An Approach of Nonuniform Frame Period -)", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU, vol. 2003, no. 99, October 2003 (2003-10-01), pages 29 - 34 + ABSTR. NO. 2003-AVM-42, XP003016986 *
YAMAGISHI K. ET AL.: "Eizo Communication Service ni Tai suru Hyoji Size.Kaizodo o Koryo shita Eizo Hinshitsu Suitei Model (Video Quality Estimation Model based on Displaysize and Resolution for Audiovisual Communication Services)", IEICE TECHNICAL REPORT, vol. 105, no. 282, September 2005 (2005-09-01), pages 61 - 64 + ABSTR. NO. CQ2005-60, XP003016987 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2229001A1 (en) * 2008-01-08 2010-09-15 Nippon Telegraph and Telephone Corporation Image quality estimation device, method, and program
EP2229001A4 (en) * 2008-01-08 2010-11-17 Nippon Telegraph & Telephone DEVICE, METHOD AND PROGRAM FOR EVALUATING PICTURE QUALITY
US8355342B2 (en) 2008-01-08 2013-01-15 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, method, and program
JP2011510562A (ja) * 2008-01-18 2011-03-31 トムソン ライセンシング 知覚上の品質を評価する方法
EP2229002A4 (en) * 2008-07-10 2011-02-09 Huawei Tech Co Ltd METHOD, DEVICE AND SYSTEM FOR ASSESSING THE QUALITY OF A VIDEO CODE STREAM
US8576921B2 (en) 2008-07-10 2013-11-05 Huawei Technologies Co., Ltd. Method, apparatus and system for evaluating quality of video streams
EP2229002A1 (en) * 2008-07-10 2010-09-15 Huawei Technologies Co., Ltd. Method, device and system for evaluating quality of video code stream
US9438913B2 (en) 2008-07-10 2016-09-06 Snaptrack, Inc. Method, apparatus and system for evaluating quality of video streams
JP2011049645A (ja) * 2009-08-25 2011-03-10 Nippon Telegr & Teleph Corp <Ntt> 映像品質推定装置、方法、およびプログラム
US9001897B2 (en) 2009-10-22 2015-04-07 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, video quality estimation method, and program
JP5519690B2 (ja) * 2009-10-22 2014-06-11 日本電信電話株式会社 映像品質推定装置、映像品質推定方法およびプログラム
CN103718240A (zh) * 2011-09-09 2014-04-09 松下电器产业株式会社 编码装置、解码装置、编码方法和解码方法
US9384749B2 (en) 2011-09-09 2016-07-05 Panasonic Intellectual Property Corporation Of America Encoding device, decoding device, encoding method and decoding method
US9741356B2 (en) 2011-09-09 2017-08-22 Panasonic Intellectual Property Corporation Of America Coding apparatus, decoding apparatus, and methods
US9886964B2 (en) 2011-09-09 2018-02-06 Panasonic Intellectual Property Corporation Of America Encoding apparatus, decoding apparatus, and methods
US10269367B2 (en) 2011-09-09 2019-04-23 Panasonic Intellectual Property Corporation Of America Encoding apparatus, decoding apparatus, and methods
US10629218B2 (en) 2011-09-09 2020-04-21 Panasonic Intellectual Property Corporation Of America Encoding apparatus, decoding apparatus, and methods
CN103813160A (zh) * 2012-11-12 2014-05-21 中国电信股份有限公司 视频质量监控方法和装置
CN111277894A (zh) * 2020-03-02 2020-06-12 四川长虹电器股份有限公司 一种自动检测视频播放画面流畅性的方法

Also Published As

Publication number Publication date
EP2018069A4 (en) 2011-10-05
JPWO2007129423A1 (ja) 2009-09-17
CA2604139A1 (en) 2007-11-09
EP2018069A1 (en) 2009-01-21
KR100935650B1 (ko) 2010-01-07
KR20080002778A (ko) 2008-01-04
CN101151903A (zh) 2008-03-26
JP4490483B2 (ja) 2010-06-23
US8154602B2 (en) 2012-04-10
US20090225170A1 (en) 2009-09-10
CN100568972C (zh) 2009-12-09
CA2604139C (en) 2014-02-18
EP2018069B1 (en) 2016-08-10

Similar Documents

Publication Publication Date Title
WO2007129423A1 (ja) 映像品質推定装置、方法、およびプログラム
JP4594389B2 (ja) 映像品質推定装置、方法、およびプログラム
US7965203B2 (en) Video quality estimation apparatus, method, and program
CA2617893C (en) Video communication quality estimation device, method, and program
US8184720B2 (en) Optimal video adaptation for resource constrained mobile devices based on subjective utility models
JP6010685B2 (ja) マルチメディア品質を評価する方法及び装置
WO2024152893A1 (zh) 视频显示控制方法及其装置、设备、介质、产品
CN110913221A (zh) 一种视频码率预测方法及装置
JP4451856B2 (ja) 映像品質推定装置、方法、およびプログラム
JP4802200B2 (ja) 映像品質推定装置、方法、およびプログラム
JP2016510567A (ja) コンテキスト・ベースのビデオ品質評価のための方法および装置
JP4740967B2 (ja) 映像品質推定装置、方法、およびプログラム
CN111953959A (zh) Vr视频质量评估方法及装置
JP4408120B2 (ja) 映像品質推定装置、方法、およびプログラム
Wu et al. Quality Assessment of Virtual Reality Videos
JP2017005343A (ja) 映像品質推定装置、映像品質推定方法、及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680009878.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2007516128

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2604139

Country of ref document: CA

REEP Request for entry into the european phase

Ref document number: 2006833537

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2006833537

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11886406

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020077022051

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06833537

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE