WO2022190263A1 - 情報処理装置、分析方法およびプログラム - Google Patents

情報処理装置、分析方法およびプログラム Download PDF

Info

Publication number
WO2022190263A1
WO2022190263A1 PCT/JP2021/009556 JP2021009556W WO2022190263A1 WO 2022190263 A1 WO2022190263 A1 WO 2022190263A1 JP 2021009556 W JP2021009556 W JP 2021009556W WO 2022190263 A1 WO2022190263 A1 WO 2022190263A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
quality
experience
contribution
video
Prior art date
Application number
PCT/JP2021/009556
Other languages
English (en)
French (fr)
Inventor
洋一 松尾
和久 山岸
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to CN202180095166.4A priority Critical patent/CN116897539A/zh
Priority to JP2023504966A priority patent/JP7544252B2/ja
Priority to PCT/JP2021/009556 priority patent/WO2022190263A1/ja
Priority to EP21930119.9A priority patent/EP4307689A1/en
Priority to KR1020237033315A priority patent/KR20230152125A/ko
Priority to US18/264,504 priority patent/US20240114187A1/en
Publication of WO2022190263A1 publication Critical patent/WO2022190263A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808Management of client data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407Monitoring of transmitted content, e.g. distribution time, number of downloads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224Monitoring of user activity on external systems, e.g. Internet browsing

Definitions

  • the present invention relates to an information processing device, an analysis method, and a program.
  • Non-Patent Document 1 a quality-of-experience estimation model for estimating the quality of experience from information of distributed video has been proposed.
  • ABR Adaptive Bitrate
  • ABR is composed of a distribution server and a terminal.
  • An image consists of audio and video (image without audio).
  • the video is pre-divided into data called chunks every few seconds, each chunk is encoded at multiple bitrates considering the resolution and frame rate of the video, and stored on the distribution server.
  • Audio is similarly split into chunks similar to video, encoded at multiple bitrates, and stored on distribution servers.
  • a video encoded under each condition is hereinafter referred to as a representation.
  • the terminal repeats the operation of selecting an appropriate representation for each chunk and requesting the selected video from the distribution server based on the network communication status, playback buffer length, and other conditions.
  • the quality of experience estimation model estimates the value of the quality of experience in the range of 1 to 5 based on information such as the bit rate of the representation and the status of playback stop due to exhaustion of the playback buffer length. Based on this estimated quality of experience value, the video distributor monitors the distributed video and designs or redesigns the distribution system according to the situation. For example, if the user's QoE value is declining, the user's QoE value can be improved by changing the encoding bit rate value or candidate, or by changing the buffer length of the terminal. It can be designed or redesigned to go up.
  • the disclosed technology aims to output information indicating the degree of contribution to the quality of experience of each bit rate for video encoding.
  • a quality of experience estimation unit that estimates a quality of experience value by replacing a plurality of index values included in video viewing history data with an index value for a case where the bit rate is not one of a plurality of predetermined bit rates.
  • a contribution calculation unit that calculates a contribution to the QoE value of each bit rate included in the plurality of bit rates based on the estimated QoE value, and a contribution that outputs information indicating the contribution. and a degree output unit.
  • FIG. 2 is a functional configuration diagram of an information processing apparatus according to Embodiment 1;
  • FIG. 7 is a flowchart showing an example of the flow of contribution degree calculation processing according to Embodiment 1;
  • FIG. 11 is a flowchart showing an example of the flow of contribution degree calculation processing according to the second embodiment;
  • FIG. 10 is a functional configuration diagram of an information processing device according to Embodiment 3;
  • FIG. 13 is a flowchart showing an example of the flow of contribution degree calculation processing according to the third embodiment;
  • FIG. It is a figure which shows the hardware structural example of an information processing apparatus.
  • Embodiment 1 of the present invention will be described below with reference to the drawings.
  • the embodiments described below are merely examples, and embodiments to which the present invention is applied are not limited to the following embodiments.
  • the information processing apparatus calculates the contribution of each index value included in the viewing history data to the quality of experience.
  • the index value is a value that serves as an index for estimating the perceived quality of the viewed video, and a combination of a plurality of values may be used as one index value.
  • FIG. 1 is a functional configuration diagram of an information processing apparatus according to Embodiment 1.
  • FIG. Information processing apparatus 10 includes storage unit 11 , contribution calculation unit 12 , quality of experience estimation unit 13 , and contribution output unit 14 .
  • the storage unit 11 stores various data, specifically, viewing history data.
  • Viewing history data is data indicating a history of viewing videos by the user.
  • the contribution calculation unit 12 calculates the contribution of each index value included in the viewing history data. Specifically, the contribution calculation unit 12 treats each index value as a player in cooperative game theory, and acquires the QoE value for each combination of game participation and non-participation of each index value from the QoE estimation unit 13 . Then, the contribution calculation unit 12 calculates the Shapley value of each index value from the acquired QoE values for each combination as the contribution.
  • the shapley value is determined according to the importance of each player's work as a whole when players participating in the game cooperate with each other and distribute the rewards they have earned. It is one of the fair reward calculation methods to calculate reasonable rewards [2].
  • the quality of experience estimating unit 13 executes a process specified in the quality of experience estimation model to estimate the quality of experience value.
  • the quality of experience estimation model is, for example, the model proposed in [1]. Let QoE est denote the estimated quality of experience value. Also, the estimated quality of experience value takes a value from 1 to 5.
  • the contribution output unit 14 outputs the Shapley value of each index value calculated by the contribution calculation unit 12 as a contribution.
  • FIG. 2 is a flowchart showing an example of the flow of contribution degree calculation processing according to the first embodiment.
  • the contribution calculation unit 12 acquires viewing history data (step S101).
  • viewing history data and videos to be viewed will be described.
  • Video consists of audio and video (video without audio), and the bit rate used for encoding is
  • B a and B v are the number of types of audio and video bit rates, respectively, b 1 a and b 1 v are the minimum bit rates,
  • T time representing the length of video data.
  • num stall is the number of times the playback stop occurred
  • the notation is not limited to the above, and any format that can count the number of occurrences may be used.
  • the viewing history data acquired in step S101 includes S a , S v , and stalling as index values.
  • the contribution calculation unit 12 specifies 3, 2, 1 , 4, 5, . ].
  • the contribution calculation unit 12 is all possible patterns (2T+1)! streets, ie ind 1 to ind (2T+1)! generate up to
  • the quality of experience estimation unit 13 estimates the quality of experience value by treating the index value corresponding to the element x of ind l as non-participation in game theory (step S103).
  • the initial values of both l and x are 1. where the 1st to Tth elements of the vector ind l correspond to the 1st to Tth elements of S a , and the T+1th to 2nd T elements of the vector ind l correspond to the 1st to T elements of S v It corresponds to the Tth element, and the 2T+1th element of the vector ind l corresponds to stalling.
  • the QoE estimator 13 estimates in advance the QoE est in the actual viewing history data (S a , S v , stalling). Then, the QoE estimation unit 13 replaces s ta , s t v corresponding to the element i whose element of ind 1 is 1, or a temporary value when stalling does not participate, and estimates QoE. Estimate the quality of experience value QoEl ,1 in the model.
  • the contribution calculation unit 12 calculates the Shapley value of each index value based on the difference between the quality of experience estimated this time and the quality of experience estimated last time (step S104). Specifically, the contribution calculation unit 12 calculates the Shapley value by the following equation (1).
  • step S105 determines whether or not the Shapley values have been calculated for 2T+1 index values.
  • step S105: No the contribution calculation unit 12 determines that the Shapley values have not been calculated for 2T+1 index values.
  • step S104 when x is 2 or more, the contribution calculation unit 12 calculates the Shapley value by the following equation (2).
  • step S105 determines whether or not the Shapley values of all ind l have been calculated. If the contribution calculation unit 12 determines that there is an ind l for which the Shapley value has not been calculated (step S107: No), it adds 1 to l (step S108), and returns to the process of step S103.
  • the contribution calculation unit 12 determines that the Shapley values of all ind l have been calculated (step S107: Yes), it calculates the average value of all the calculated Shapley values for each index value as the contribution (step S109 ). Specifically, the contribution calculation unit 12 calculates the average Shapley value of each index value by dividing the Shapley value of each index value added by Equation (1) or Equation (2) by 2T+1. .
  • the contribution output unit 14 outputs information indicating the calculated contribution (step S110).
  • the viewing history data is as follows.
  • the contribution calculation unit 12 generates the following vectors.
  • the contribution calculation unit 12 calculates 11! Generate street ind l .
  • ind1 [2, 1 , 3, 4, 5, 6, 7, 8, 9, 10, 11]
  • ind2 [3, 2 , 1, 4, 5, 6, 7, 8, 9, 10 , 11], ...
  • the contribution calculation unit 12 adds to the second element of shap by calculation according to formula (1).
  • the contribution calculation unit 12 adds to the first element of shap by calculation according to formula (1).
  • the contribution calculation unit 12 adds to the third element of shap by calculation according to formula (1).
  • the contribution calculation unit 12 performs calculation for ind2 .
  • cooperative game theory is applied to output information indicating the degree of contribution of each index value included in the viewing history data to the quality of experience.
  • non-participation in a cooperative game theory replaces each element of S a and S v with a provisional value when the lowest bit rate is selected.
  • the temporary value may be other. For example, it may be replaced with a temporary value when the highest bit rate is selected.
  • non-participation in the game means replacing each element of S a and S v with a provisional value when the highest bit rate is selected.
  • Embodiment 2 will be described below with reference to the drawings.
  • Embodiment 2 differs from Embodiment 1 in that each element of audio bit rate and video bit rate is used as an index value instead of each element of S a or S v as an index value. Therefore, in the following description of the second embodiment, the differences from the first embodiment will be mainly described. The same reference numerals as the reference numerals are given, and the description thereof is omitted.
  • Quality of experience estimation unit 13 replaces a plurality of index values included in video viewing history data with an index value in the case where the bit rate is not one of a plurality of predetermined bit rates, and calculates the quality of experience value.
  • FIG. 3 is a flowchart showing an example of the flow of contribution degree calculation processing according to the second embodiment.
  • the process of step S201 of the contribution calculation process according to the present embodiment is the same as step S101 of the contribution calculation process according to the first embodiment.
  • the contribution calculation unit 12 specifies 3, 2, 1 , 4, 5, . . . , B a +B v +1].
  • the contribution calculation unit 12 is all possible patterns (B a +B v +1)! streets, ie ind 1 to ind (Ba+Bv+1)! generate up to
  • the quality of experience estimation unit 13 estimates the quality of experience value by treating the index value corresponding to the element x of ind l as non-participation in game theory (step S203).
  • the initial values of both l and x are 1.
  • the first to Bath elements of the vector indl correspond to the first to Bath elements of the audio bit rate
  • the Ba + 1th to Ba + Bv elements of the vector indl correspond to
  • the B a +B v +1 -th element of the vector ind l corresponds to stalling.
  • bit rate of the non-participating element when the bit rate of the non-participating element is not selected, replace the bit rate of the non-participating element with the temporary value when the lowest possible bit rate is selected.
  • the QoE estimator 13 estimates in advance the QoE est in the actual viewing history data (S a , S v , stalling). Then, the quality of experience estimating unit 13 replaces b i a , b i v or stalling corresponding to the element i whose ind 1 element is 1 if it does not participate, and replaces the quality of experience value with the quality of experience estimation model. Estimate QoE l,1 .
  • the quality of experience estimation unit 13 replaces the extracted S j a and S j v with the case of nonparticipation to calculate the quality of experience value QoE l,1 .
  • the contribution calculation unit 12 calculates the Shapley value of each index value based on the difference between the quality of experience estimated this time and the quality of experience estimated last time (step S204). Specifically, the contribution calculation unit 12 calculates the Shapley value by the following equation (1).
  • the contribution calculation unit 12 determines whether or not the Shapley values have been calculated for B a +B v +1 index values (step S205). If the contribution calculation unit 12 determines that the Shapley value has not been calculated for B a +B v +1 index values (step S205: No), it adds 1 to x (step S206), and performs the process of step S203. back to
  • step S204 when x is 2 or more, the contribution calculation unit 12 calculates the Shapley value by the following equation (2).
  • step S205 determines whether or not the Shapley values of all ind l have been calculated. If the contribution calculation unit 12 determines that there is ind l for which the Shapley value has not been calculated (step S207: No), it adds 1 to l (step S208), and returns to the process of step S203.
  • the contribution calculation unit 12 determines that the Shapley values of all ind l have been calculated (step S207: Yes), it calculates the average value of all the calculated Shapley values for each index value as the contribution (step S209 ). Specifically, the contribution calculation unit 12 calculates the average Shapley value of each index value by dividing the Shapley value of each index value added by the formula (1) or the formula (2) by B a +B v +1. Calculate the value.
  • the contribution output unit 14 outputs information indicating the calculated contribution (step S210).
  • the viewing history data is as follows.
  • the contribution calculation unit 12 generates the following vectors.
  • the contribution calculation unit 12 calculates 9! Generate street ind l .
  • ind1 [3, 2, 1 , 4, 5, 6, 7, 8, 9]
  • ind2 [ 2 , 3, 4, 5, 6, 1, 7, 8, 9], ...
  • the contribution calculation unit 12 adds to the third element of shap by calculation according to formula (1).
  • the contribution calculation unit 12 adds to the second element of shap by calculation according to formula (1).
  • the contribution calculation unit 12 adds to the sixth element of shap by calculation according to formula (1).
  • the contribution calculation unit 12 performs calculation for ind2 .
  • the information processing apparatus 10 in the contribution calculation method according to the first embodiment, when the viewing time is long, the amount of calculation becomes enormous, and the calculation cannot be completed in a realistic time. There is on the other hand, according to the information processing apparatus 10 according to the present embodiment, by calculating the degree of contribution using a plurality of predetermined bit rates as index values, the amount of calculation is suppressed, and even when the viewing time is long, the degree of contribution is realistic. can be calculated within a certain time.
  • the non-participation in the cooperative game theory selects the bit rate of the element for which all representations are non-participation.
  • An example of replacing with a temporary value in the case of non-existence is shown.
  • the provisional value may be other. For example, if the bitrate of the non-participating element is not selected, replace the bitrate of the non-participating element with a temporary value when the highest possible bitrate is selected. It may also mean that
  • Embodiment 3 will be described below with reference to the drawings.
  • a short-time quality of experience value at each time calculated based on S a and S v is used as the index value. It differs from form 2. Therefore, in the following description of the third embodiment, the differences from the second embodiment will be mainly described. The same reference numerals as the reference numerals are given, and the description thereof is omitted.
  • FIG. 4 is a functional configuration diagram of an information processing device according to the third embodiment.
  • Information processing apparatus 10 according to the present embodiment further includes short-time quality of experience estimation unit 15 in addition to information processing apparatus 10 according to the second embodiment.
  • the short-term quality of experience estimating unit 15 executes the process specified in the quality of experience estimation model, and calculates the short-term quality of experience value at each time based on the elements s ta and s tv of S a and S v . Estimate q t a , q t v [1].
  • FIG. 5 is a flowchart showing an example of the flow of contribution degree calculation processing according to the third embodiment.
  • the process of step S301 of the contribution calculation process according to the present embodiment is the same as step S201 of the contribution calculation process according to the second embodiment.
  • the short-time quality of experience estimation unit 15 estimates a short-time quality of experience value at each time (step S302).
  • the estimation results include q ta , q tv , and stalling as index values.
  • q ta and q tv are values obtained by estimating the short-term quality of experience value at each time based on s ta and s tv , respectively.
  • the short-term quality of experience estimation unit 15 calculates short-term quality of experience values for representations encoded at certain bit rates b'ia and b'iv .
  • the quality of experience estimation unit 13 estimates the quality of experience QoE est based on q ta and q tv in advance [1].
  • steps S303 to S311 of the contribution calculation process according to the present embodiment is similar to that of step S202 of the contribution calculation process according to the first embodiment, except that the index values are q t a , q t v , and stalling. - Same as S210.
  • the information processing apparatus 10 it is possible to output information indicating the degree of contribution using the estimated value of the QoE for a short time as an index value. As a result, it is possible to understand the influence of short-term quality of experience values on the overall quality of experience values, and use this as a reference for designing or redesigning a video distribution system.
  • non-participation in a cooperative game theory game is replaced with a temporary value when q ta and q tv are set to 1, which is the lowest short-term quality of experience value.
  • the temporary value may be other.
  • they may be replaced with temporary values when q ta and q tv are each set to 5, which is the highest short-term quality of experience value.
  • non-participation in the game represents replacement with temporary values when q ta and q tv are set to 5, which is the highest short-time quality of experience value.
  • the Shapley values that are output are all 0 or less, and the difference from the highest state (the highest short-term quality of experience value and no playback stop) is calculated. You will be able to see how much each index value is lowering the QoE compared to the best state.
  • the information processing apparatus 10 can be realized, for example, by causing a computer to execute a program describing the processing details described in the present embodiment.
  • this "computer” may be a physical machine or a virtual machine on the cloud.
  • the "hardware” described here is virtual hardware.
  • the above program can be recorded on a computer-readable recording medium (portable memory, etc.), saved, or distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
  • FIG. 5 is a diagram showing a hardware configuration example of the computer.
  • the computer of FIG. 5 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, etc., which are connected to each other via a bus B, respectively.
  • a program that implements the processing in the computer is provided by a recording medium 1001 such as a CD-ROM or memory card, for example.
  • a recording medium 1001 such as a CD-ROM or memory card
  • the program is installed from the recording medium 1001 to the auxiliary storage device 1002 via the drive device 1000 .
  • the program does not necessarily need to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
  • the auxiliary storage device 1002 stores installed programs, as well as necessary files and data.
  • the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when a program activation instruction is received.
  • the CPU 1004 implements functions related to the device according to programs stored in the memory device 1003 .
  • the interface device 1005 is used as an interface for connecting to the network.
  • a display device 1006 displays a GUI (Graphical User Interface) or the like by a program.
  • An input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, or the like, and is used to input various operational instructions.
  • the output device 1008 outputs the calculation result.
  • Non-Patent Document 1 K. Yamagishi and T. Hayashi, "Parametric Quality-Estimation Model for Adaptive-Bitrate Streaming Services," IEEE Transactions on Multimedia, vol. 19, no. 7, pp. 1545-1557, 2017. DOI: 10.1109/ TMM.2017.2669859.
  • Non-Patent Document 1 I. Mann, LS Shapley, Values for large games IV: Evaluating the electoral college by Monte Carlo techniques, Technical report, The RAND Corporation, Santa Monica, 1960.
  • This specification describes at least the information processing device, the analysis method, and the program described in each of the following items.
  • (Section 1) a quality of experience estimating unit that estimates a quality of experience value by replacing a plurality of index values included in video viewing history data with an index value for a case where the bit rate is not one of a plurality of predetermined bit rates; a contribution calculation unit that calculates the contribution of each bitrate included in the plurality of bitrates to the quality of experience value based on the estimated quality of experience value; A contribution output unit that outputs information indicating the contribution, Information processing equipment.
  • the contribution calculation unit calculates, as a contribution, a Shapley value in cooperative game theory when each bit rate is assumed to be a player.
  • the information processing device includes: (Section 3)
  • the plurality of index values include values obtained by encoding data obtained by dividing the video at one of a plurality of predetermined bit rates,
  • the quality of experience estimation unit estimates the quality of experience value by replacing the encoded value with a value in the case where the value is not one of a plurality of predetermined bit rates.
  • the information processing device according to item 1 or item 2.
  • the plurality of index values include values based on the time at which playback of the video is stopped or the number of times playback is stopped,
  • the quality of experience estimating unit replaces the value based on the time when the reproduction of the video is stopped or the number of times the reproduction is stopped with the value when the reproduction of the video is not stopped, and calculates the QoE value.
  • the information processing apparatus according to any one of items 1 to 3.
  • a short-time quality-of-experience estimation unit that estimates a short-time quality-of-experience value at each time based on data obtained by encoding the data obtained by dividing the video at one of a plurality of predetermined bit rates, wherein the plurality of index values includes the estimated short-term quality of experience value;
  • the information processing apparatus according to any one of items 1 to 4.
  • the quality of experience estimation unit replaces any of the estimated short-term quality of experience values with the lowest possible value or the highest possible value to estimate the quality of experience value.
  • the information processing device according to Item 5.
  • (Section 7) A computer implemented method comprising: a step of estimating a quality of experience value by replacing a plurality of index values included in video viewing history data with an index value for a case where the bit rate is not one of a plurality of predetermined bit rates; calculating the degree of contribution of each bitrate included in the plurality of bitrates to the quality of experience value based on the estimated quality of experience value; and outputting information indicating the degree of contribution; Analysis method.
  • (Section 8) A program for causing a computer to function as each unit in the information processing apparatus according to any one of items 1 to 6.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

映像の視聴履歴データに含まれる複数の指標値を、所定の複数のビットレートのいずれかでなかった場合における指標値に置き換えて、体感品質値を推定する体感品質推定部と、推定された前記体感品質値に基づいて、前記複数のビットレートに含まれる各ビットレートの体感品質値への貢献度を算出する貢献度算出部と、前記貢献度を示す情報を出力する貢献度出力部と、を備える情報処理装置である。

Description

情報処理装置、分析方法およびプログラム
 本発明は、情報処理装置、分析方法およびプログラムに関する。
 現在、様々な事業者が映像配信サービスを展開している。各映像配信事業者にとっては、映像を視聴したユーザが感じた映像の品質(以降、体感品質と呼ぶ)を可能な限り高く保ち、ユーザの満足度を向上させ、サービスの利用を継続してもらうことが重要である。そのためには、各ユーザが映像を視聴した際の体感品質を把握し、映像配信システムの設計や再設計を行うことが必要となる。
 しかし、映像配信事業者にとって、映像配信を視聴するたびに、全てのユーザによる主観的な体感品質を取得することは現実的ではない。そこで、配信された映像の情報から体感品質を推定する体感品質推定モデルが提案されている(非特許文献1)。
 映像を配信する方法においては、ABR(Adaptive Bitrate)という仕組みが一般に使われている。ABRは配信サーバと端末から構成される。映像は音声とビデオ(音声がない映像)からなる。ビデオはあらかじめ数秒おきのチャンクと呼ばれるデータに分割され、各チャンクはビデオの解像度とフレームレートを考慮し複数のビットレートで符号化され、配信サーバに保存されている。音声も同様に、ビデオと同様のチャンクに分割し、複数のビットレートで符号化され、配信サーバに保存されている。各条件で符号化された映像のことを、以降リプレゼンテーションと呼ぶ。端末は、ネットワークの通信状況や再生バッファ長などの状況を踏まえて、適切なリプレゼンテーションをチャンクごとに選択し、選択した映像を配信サーバに要求する、という動作を繰り返す。
 体感品質推定モデルは、リプレゼンテーションのビットレートや、再生バッファ長の枯渇による再生停止の状況などの情報を基に、体感品質を1から5までの範囲で値を推定する。映像配信事業者は、この推定体感品質値をもとに、配信された映像を監視し、状況に合わせて配信システムの設計や再設計を行う。例えば、ユーザの体感品質値が低下していた場合には、符号化する際のビットレートの値や候補を変更したり、端末のバッファ長を変更したりすることで、ユーザの体感品質値が上がるように設計や再設計を行うことができる。
K. Yamagishi and T. Hayashi, "Parametric Quality-Estimation Model for Adaptive-Bitrate Streaming Services," IEEE Transactions on Multimedia, vol. 19, no. 7, pp. 1545-1557, 2017. DOI: 10.1109/TMM.2017.2669859.
 上記のように、映像配信事業者は、推定体感品質値を基に設計や再設計を行うが、体感品質推定モデルを用いた分析方法は、配信された映像に関わる様々な指標値を入力とし、複雑なモデルを用いて推定しているため、体感品質の推定値が下がった際に、どのビットレートが原因で体感品質が劣化したのかを知ることができない。そのため、体感品質が向上するような設計や再設計を行うことは困難である。
 開示の技術は、映像の符号化のための各ビットレートの体感品質に対する貢献度を示す情報を出力することを目的とする。
 開示の技術は、映像の視聴履歴データに含まれる複数の指標値を、所定の複数のビットレートのいずれかでなかった場合における指標値に置き換えて、体感品質値を推定する体感品質推定部と、推定された前記体感品質値に基づいて、前記複数のビットレートに含まれる各ビットレートの体感品質値への貢献度を算出する貢献度算出部と、前記貢献度を示す情報を出力する貢献度出力部と、を備える情報処理装置である。
 映像の符号化のための各ビットレートの体感品質に対する貢献度を示す情報を出力することができる。
実施の形態1に係る情報処理装置の機能構成図である。 実施の形態1に係る貢献度算出処理の流れの一例を示すフローチャートである。 実施の形態2に係る貢献度算出処理の流れの一例を示すフローチャートである。 実施の形態3に係る情報処理装置の機能構成図である。 実施の形態3に係る貢献度算出処理の流れの一例を示すフローチャートである。 情報処理装置のハードウェア構成例を示す図である。
 (実施の形態1)
 以下、図面を参照して本発明の実施の形態1について説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
 以下の説明において、参考文献を[1],[2]等として示している。各参考文献名については、明細書の最後に記載した。
 本実施の形態に係る情報処理装置は、視聴履歴データに含まれる各指標値の体感品質に対する貢献度を算出する。指標値は、視聴された映像の体感品質を推定する指標となる値であって、複数の値の組み合わせを1つの指標値としても良い。
 図1は、実施の形態1に係る情報処理装置の機能構成図である。情報処理装置10は、記憶部11と、貢献度算出部12と、体感品質推定部13と、貢献度出力部14と、を備える。
 記憶部11は、各種データを記憶し、具体的には視聴履歴データを記憶する。視聴履歴データは、ユーザが映像を視聴した履歴を示すデータである。
 貢献度算出部12は、視聴履歴データに含まれる各指標値の貢献度を算出する。具体的には、貢献度算出部12は、各指標値を協力ゲーム理論におけるプレイヤーとして扱い、各指標値のゲームの参加および不参加の組み合わせごとの体感品質値を体感品質推定部13から取得する。そして、貢献度算出部12は、取得した組み合わせごとの体感品質値から各指標値のshapley値を貢献度として算出する。
 なお、shapley値は、協力ゲームの理論において、ゲームに参加するプレイヤーが協力し合い、獲得された報酬を分配するような状況が発生する場合において、各プレイヤーの作業全体に対する重要度に応じた、合理的な報酬を計算する公正な報酬計算方法の一つである[2]。以下では、
 体感品質推定部13は、体感品質推定モデルに規定された処理を実行して、体感品質値を推定する。体感品質推定モデルは、例えば[1]で提案されているモデルである。推定された体感品質値をQoEestで表すとする。また、推定された体感品質値は1から5までの値を取る。
 貢献度出力部14は、貢献度算出部12によって算出された各指標値のShapley値を貢献度として出力する。
 図2は、実施の形態1に係る貢献度算出処理の流れの一例を示すフローチャートである。貢献度算出部12は、視聴履歴データを取得する(ステップS101)。ここで、視聴履歴データおよび視聴の対象となる映像について説明する。
 映像は、音声とビデオ(音声がない映像)からなり、それぞれ符号化に用いるビットレートを、
Figure JPOXMLDOC01-appb-M000001
 (音声)と
Figure JPOXMLDOC01-appb-M000002
 (ビデオ)とする。
 ここで、BとBは、それぞれ音声とビデオのビットレートの種類数であり、b ,b が最低ビットレート、
Figure JPOXMLDOC01-appb-M000003
 が最高ビットレートとする。例えば、符号化に用いる音声ビットレートが48bps,64bps,96bpsの3種類であれば、b =48,b =64,b =96,B=3となる。
 ビデオに関しては、解像度とフレームレートに従ってビットレートが用意されている。例えば,フレームレートが30fpsで解像度が240p,360p,480p,780p,1080p、フレームレートが60fpsで解像度が1080pの計6種類のビデオを用意する場合は、符号化に用いるビデオビットレートは順に253kbps,501kbps,961kbps,1771kbps,3436kbps,6000kbpsなどとなり、b =253,・・・,b =6000,B=6となる。
 また、映像データについて、時刻tのチャンクcを、ビットレートb ,b でそれぞれ符号化したリプレゼンテーションを、
Figure JPOXMLDOC01-appb-M000004
 とする。そして、あるユーザが映像を視聴した際に、ABRによって選択されたリプレゼンテーションの系列を、
Figure JPOXMLDOC01-appb-M000005
 および
Figure JPOXMLDOC01-appb-M000006
 とする。ここで、Tは映像データの長さを表す時間である。
 また、視聴時の再生停止の発生と再生停止時間を下記のように表す。
Figure JPOXMLDOC01-appb-M000007
 ここで、numstallは再生停止が発生した回数、start,endは、それぞれ再生停止が発生した時間および終了した時間である。なお、numstall=0の場合は、stalling=[0]とする。ただし、表記については上記に限らず、発生した回数がカウントできる形式であればよい。
 ステップS101で取得された視聴履歴データは、指標値として、S,S,stallingを含む。
 次に、貢献度算出部12は、2T+1個の要素を持つインデックス用のベクトルindからind(2T+1)!までを生成する(ステップS102)。具体的には、貢献度算出部12は、(2T+1)次元のインデックス用のベクトルindorigin=[1,2,・・・,2T+1]の各要素を指定した順に並び替えてindとする。
 例えば、貢献度算出部12は、3,2,1,4,5,・・・,2T+1の順に指定した場合のindは、[3,2,1,4,5,・・・,2T+1]である。貢献度算出部12は、これをとり得る全てのパターンである(2T+1)!通り、すなわちindからind(2T+1)!までを生成する。
 また、貢献度算出部12は、shapley値を保存するための2T+1次元のベクトルshap=[0,0,・・・,0]を生成する。
 続いて、体感品質推定部13は、indの要素xに相当する指標値をゲーム理論における不参加として扱った体感品質値を推定する(ステップS103)。なお、l,xともに初期値は1である。ここで、ベクトルindの第1要素から第T要素が、Sの第1要素から第T要素に相当し、ベクトルindの第T+1要素から第2T要素が、Sの第1要素から第T要素に相当し、ベクトルindの第2T+1要素がstallingに相当するものとする。
 また、ゲームへの不参加は、SおよびSの各要素については、それぞれ最低ビットレートを選択した場合の仮の値に置き換えることを表す。また、stallingについては、再生停止が発生しなかった場合の仮の値、すなわちnumstall=0に置き換えることを表す。
 具体的には、体感品質推定部13は、あらかじめ実際の視聴履歴データ(S,S,stalling)における体感品質値QoEestを推定する。そして、体感品質推定部13は、indの要素が1になっている要素iに対応するs ,s またはstallingが参加しなかった場合の仮の値に置き換えて、体感品質推定モデルで体感品質値QoEl,1を推定する。
 続いて、貢献度算出部12は、今回推定された体感品質値と前回推定された体感品質値との差分に基づいて、各指標値のshapley値を算出する(ステップS104)。具体的には、貢献度算出部12は、次式(1)によってshapley値を算出する。
 shap[i]=QoEest-QoEl,1+shap[i]・・・(1)
 そして、貢献度算出部12は、2T+1個の指標値についてshapley値を算出したか否かを判定する(ステップS105)。貢献度算出部12は、2T+1個の指標値についてshapley値を算出していないと判定すると(ステップS105:No)、xに1を加算して(ステップS106)、ステップS103の処理に戻る。
 なお、ステップS104において、xが2以上の場合には、貢献度算出部12は、次式(2)によってshapley値を算出する。
 shap[i]=QoEl,x-1-QoEl,x+shap[i]・・・(2)
 貢献度算出部12は、2T+1個の指標値についてshapley値を算出したと判定すると(ステップS105:Yes)、全てのindのshapley値を算出したか否かを判定する(ステップS107)。貢献度算出部12は、shapley値を算出していないindがあると判定すると(ステップS107:No)、lに1を加算し(ステップS108)、ステップS103の処理に戻る。
 貢献度算出部12は、全てのindのshapley値を算出したと判定すると(ステップS107:Yes)、算出された全てのshapley値の指標値ごとの平均値を貢献度として算出する(ステップS109)。具体的には、貢献度算出部12は、式(1)または式(2)によって加算された各指標値のshapley値を2T+1で割ることによって、各指標値のshapley値の平均値を算出する。
 貢献度出力部14は、算出された貢献度を示す情報を出力する(ステップS110)。
 (具体例)
 上述した各処理における計算の具体例について説明する。音声ビットレートとビデオビットレートとして以下が用意されているものとし、それを用いて符号化された映像があるものとする。
 b =48,b =64,b =96,b =114,b =253,b =501、b =961,b =1771
 また、視聴履歴データは下記とする。
 S=[96,96,96,96,96],S=[501,501,114,253,961],stalling=[1,1,5]
 体感品質推定部13が、視聴履歴データ(S,S,stalling)における体感品質値QoEestを[1]に記載の計算式によって算出すると、QoEest=3.06となる。
 貢献度算出部12は、以下のベクトルを生成する。
 indorigin=[1,2,3,4,5,6,7,8,9,10,11],shap=[0,0,0,0,0,0,0,0,0,0,0]
 貢献度算出部12は、以下のように順序の異なる11!通りのindを生成する。
 ind=[2,1,3,4,5,6,7,8,9,10,11],ind=[3,2,1,4,5,6,7,8,9,10,11],・・・
 体感品質推定部13は、indにおいて1になっている要素に相当するS が参加しなかった場合、すなわち48に置き換えたS=[96,48,96,96,96],S=[501,501,114,253,961],stalling=[1,1,5]としてQoE1,1を算出すると、QoE1,1=3.02となる。
 貢献度算出部12は、式(1)による計算によって、shapの第2要素に加算する。
 shap[2]=3.06(QoEest)-3.02(QoE1,1)+0(shap[2])=0.04
 体感品質推定部13は、indにおいて2になっている要素に相当するS が参加しなかった場合、すなわち48に置き換えたS=[48,48,96,96,96],S=[501,501,114,253,961],stalling=[1,1,5]としてQoE1,2を算出すると、QoE1,2=3.00となる。
 貢献度算出部12は、式(1)による計算によって、shapの第1要素に加算する。
 shap[1]=3.02(QoE1,1)-3.00(QoE1,2)+0(shap[1])=0.02
 このようにして、貢献度算出部12は、indについての計算を実行する。
 続いて、体感品質推定部13は、indにおいて1になっている要素に相当するS が参加しなかった場合、すなわち48に置き換えたS=[96,96,48,96,96],S=[501,501,114,253,961],stalling=[1,1,5]としてQoE2,1を算出すると、QoE2,1=3.01となる。
 貢献度算出部12は、式(1)による計算によって、shapの第3要素に加算する。
 shap[3]=3.06(QoEest)-3.01(QoE2,1)+0.04(shap[3])=0.09
 このようにして、貢献度算出部12は、indについての計算を実行する。
 貢献度算出部12および体感品質推定部13は、このような計算を繰り返いし、11!個のindについて計算する。そして、貢献度算出部12は、shapの各要素を11!(=39916800)で割った値を、各指標値の貢献度とする。例えば、shapの第1要素が1500000であれば、11!で割った値である約0.0375がS の貢献度である。
 本実施の形態に係る情報処理装置によれば、協力ゲーム理論を応用して視聴履歴データに含まれる各指標値の体感品質への貢献度を示す情報を出力する。これによって、各指標値が体感品質にどの程度影響しているかを把握し、映像配信システムの設計や再設計の参考とすることができる。
 また、本実施の形態においては、協力ゲーム理論へのゲームへの不参加が、SおよびSの各要素については、それぞれ最低ビットレートを選択した場合の仮の値に置き換えることを表す例を示した。しかし、仮の値は他でも良い。例えば、それぞれ最高ビットレートを選択した場合の仮の値に置き換えても良い。
 具体的には、図2に示した貢献度算出処理のステップS103の処理において、体感品質推定部13は、indの要素xに相当する指標値をゲーム理論における不参加とした仮の値に置き換えて、体感品質値を推定する。ここで、ゲームへの不参加は、SおよびSの各要素については、それぞれ最高ビットレートを選択した場合の仮の値に置き換えることを表す。また、stallingについては、再生停止が発生しなかった場合の仮の値、すなわちnumstall=0に置き換えることを表す。
 このようにすれば、出力されるshapley値は全て0以下になり、最高の状態(最大ビットレートを選択して再生停止がない場合)からの差分を計算していることになり、各指標値がどれだけ最高の状態と比べて体感品質を下げているかがわかるようになる。
 (実施の形態2)
 以下に図面を参照して、実施の形態2について説明する。実施の形態2は、指標値としてSまたはSの各要素に代えて、音声ビットレートおよびビデオビットレートの各要素を指標値とする点が、実施の形態1と相違する。よって、以下の実施の形態2の説明では、実施の形態1との相違点を中心に説明し、実施の形態1と同様の機能構成を有するものには、実施の形態1の説明で用いた符号と同様の符号を付与し、その説明を省略する。
 本実施の形態に係る体感品質推定部13は、映像の視聴履歴データに含まれる複数の指標値を、所定の複数のビットレートのいずれかでなかった場合における指標値に置き換えて、体感品質値を推定する。
 図3は、実施の形態2に係る貢献度算出処理の流れの一例を示すフローチャートである。本実施の形態に係る貢献度算出処理のステップS201の処理は、実施の形態1に係る貢献度算出処理のステップS101と同様である。
 ステップS201に続いて、貢献度算出部12は、B+B+1個の要素を持つインデックス用のベクトルindからind(Ba+Bv+1)!までを生成する(ステップS202)。具体的には、貢献度算出部12は、(B+B+1)次元のインデックス用のベクトルindorigin=[1,2,・・・,B+B+1]の各要素を指定した順に並び替えてindとする。
 例えば、貢献度算出部12は、3,2,1,4,5,・・・,B+B+1の順に指定した場合のindは、[3,2,1,4,5,・・・,B+B+1]である。貢献度算出部12は、これをとり得る全てのパターンである(B+B+1)!通り、すなわちindからind(Ba+Bv+1)!までを生成する。
 また、貢献度算出部12は、shapley値を保存するためのB+B+1次元のベクトルshap=[0,0,・・・,0]を生成する。
 続いて、体感品質推定部13は、indの要素xに相当する指標値をゲーム理論における不参加として扱った体感品質値を推定する(ステップS203)。なお、l,xともに初期値は1である。ここで、ベクトルindの第1要素から第B要素が、音声ビットレートの第1要素から第B要素に相当し、ベクトルindの第B+1要素から第B+B要素が、ビデオビットレートの第1要素から第B要素に相当し、ベクトルindの第B+B+1要素がstallingに相当するものとする。
 また、ゲームへの不参加は、音声ビットレートおよびビデオビットレートの各要素については、全てのリプレゼンテーションが不参加となっている要素のビットレートを選択しなかった場合とし、stallingについては、再生停止が発生しなかった、すなわちnumstall=0の場合とする。なお、不参加となっている要素のビットレートを選択しなかった場合とは、不参加となっている要素のビットレートの代わりに、取り得る最低のビットレートが選択された場合の仮の値に置き換えることを意味する。
 具体的には、体感品質推定部13は、あらかじめ実際の視聴履歴データ(S,S,stalling)における体感品質値QoEestを推定する。そして、体感品質推定部13は、indの要素が1になっている要素iに対応するb ,b またはstallingが参加しなかった場合に置き換え、体感品質推定モデルで体感品質値QoEl,1を推定する。
 例えば、indの要素が1になっている要素iに対応する指標値がb またはb であるとすると、要素iに対応するビットレートで符号化されているリプレゼンテーション
Figure JPOXMLDOC01-appb-M000008
 または
Figure JPOXMLDOC01-appb-M000009
 を抽出する。そして、体感品質推定部13は、抽出されたS ,S を不参加の場合に置き換えて、体感品質値QoEl,1を算出する。
 続いて、貢献度算出部12は、今回推定された体感品質値と前回推定された体感品質値との差分に基づいて、各指標値のshapley値を算出する(ステップS204)。具体的には、貢献度算出部12は、次式(1)によってshapley値を算出する。
 shap[i]=QoEest-QoEl,1+shap[i]・・・(1)
 そして、貢献度算出部12は、B+B+1個の指標値についてshapley値を算出したか否かを判定する(ステップS205)。貢献度算出部12は、B+B+1個の指標値についてshapley値を算出していないと判定すると(ステップS205:No)、xに1を加算して(ステップS206)、ステップS203の処理に戻る。
 なお、ステップS204において、xが2以上の場合には、貢献度算出部12は、次式(2)によってshapley値を算出する。
 shap[i]=QoEl,x-1-QoEl,x+shap[i]・・・(2)
 貢献度算出部12は、B+B+1個の指標値についてshapley値を算出したと判定すると(ステップS205:Yes)、全てのindのshapley値を算出したか否かを判定する(ステップS207)。貢献度算出部12は、shapley値を算出していないindがあると判定すると(ステップS207:No)、lに1を加算し(ステップS208)、ステップS203の処理に戻る。
 貢献度算出部12は、全てのindのshapley値を算出したと判定すると(ステップS207:Yes)、算出された全てのshapley値の指標値ごとの平均値を貢献度として算出する(ステップS209)。具体的には、貢献度算出部12は、式(1)または式(2)によって加算された各指標値のshapley値をB+B+1で割ることによって、各指標値のshapley値の平均値を算出する。
 貢献度出力部14は、算出された貢献度を示す情報を出力する(ステップS210)。
 (具体例)
 上述した各処理における計算の具体例について説明する。音声ビットレートとビデオビットレートとして以下が用意されているものとし、それを用いて符号化された映像があるものとする。
 b =48,b =64,b =96,b =114,b =253,b =501、b =961,b =1771
 また、視聴履歴データは下記とする。
 S=[96,96,96,96,96],S=[501,501,114,253,961],stalling=[1,1,5]
 体感品質推定部13が、視聴履歴データ(S,S,stalling)における体感品質値QoEestを[1]に記載の計算式によって算出すると、QoEest=3.06となる。
 貢献度算出部12は、以下のベクトルを生成する。
 indorigin=[1,2,3,4,5,6,7,8,9],shap=[0,0,0,0,0,0,0,0,0]
 貢献度算出部12は、以下のように順序の異なる9!通りのindを生成する。
 ind=[3,2,1,4,5,6,7,8,9],ind=[2,3,4,5,6,1,7,8,9],・・・
 体感品質推定部13は、indにおいて1になっている要素に相当するb =96が参加しなかった場合、すなわち48に置き換えたS=[48,48,48,48,48],S=[501,501,114,253,961],stalling=[1,1,5]としてQoE1,1を算出すると、QoE1,1=2.80となる。
 貢献度算出部12は、式(1)による計算によって、shapの第3要素に加算する。
 shap[3]=3.06(QoEest)-2.80(QoE1,1)+0(shap[3])=0.26
 体感品質推定部13は、indにおいて2になっている要素に相当するb =64が参加しなかった場合、すなわち48に置き換えたS=[48,48,48,48,48],S=[501,501,114,253,961],stalling=[1,1,5]としてQoE1,2を算出すると、QoE1,2=2.80となる。なお、ここではSに64がもともと含まれていないため、体感品質推定部13は、実質的には置き換えを行っていない。
 貢献度算出部12は、式(1)による計算によって、shapの第2要素に加算する。
 shap[2]=2.80(QoE1,1)-2.80(QoE1,2)+0(shap[2])=0.00
 このようにして、貢献度算出部12は、indについての計算を実行する。
 続いて、体感品質推定部13は、indにおいて1になっている要素に相当するb =501が参加しなかった場合、すなわち114に置き換えたS=[96,96,96,96,96],S=[114,114,114,253,961],stalling=[1,1,5]としてQoE2,1を算出すると、QoE2,1=2.50となる。
 貢献度算出部12は、式(1)による計算によって、shapの第6要素に加算する。
 shap[6]=3.06(QoEest)-2.50(QoE2,1)+0.44(shap[6])=1.00
 このようにして、貢献度算出部12は、indについての計算を実行する。
 貢献度算出部12および体感品質推定部13は、このような計算を繰り返いし、9!個のindについて計算する。そして、貢献度算出部12は、shapの各要素を9!(=362880)で割った値を、各指標値の貢献度とする。例えば、shapの第1要素が15000であれば、9!で割った値である約0.0413がb の貢献度である。
 本実施の形態に係る情報処理装置10によれば、実施の形態1に係る貢献度の算出方法では、視聴時間が長い場合に計算量が膨大になり、現実的な時間では計算が終わらない場合がある。それに対して、本実施の形態に係る情報処理装置10によれば、所定の複数のビットレートを指標値とした貢献度を算出することによって、計算量を抑え、視聴時間が長い場合でも現実的な時間内での計算が可能となる。
 また、本実施の形態においては、協力ゲーム理論へのゲームへの不参加が、音声ビットレートおよびビデオビットレートの各要素については、全てのリプレゼンテーションが不参加となっている要素のビットレートを選択しなかった場合の仮の値に置き換えることを表す例を示した。そして、不参加となっている要素のビットレートを選択しなかった場合とは、不参加となっている要素のビットレートの代わりに、取り得る最低のビットレートが選択された場合の仮の値に置き換えることを意味するものとした。
 しかし、仮の値は他でも良い。例えば、不参加となっている要素のビットレートを選択しなかった場合とは、不参加となっている要素のビットレートの代わりに、取り得る最高のビットレートが選択された場合の仮の値に置き換えることを意味するものとしても良い。
 具体的には、図3に示した貢献度算出処理のステップS203の処理において、体感品質推定部13は、indの要素xに相当する指標値をゲーム理論における不参加とした仮の値に置き換えて、体感品質値を推定する。ここで、ゲームへの不参加は、音声ビットレートおよびビデオビットレートの各要素については、全てのリプレゼンテーションが不参加となっている要素のビットレートを選択せず、取り得る最高のビットレートが選択された場合の仮の値に置き換えることを表す。また、stallingについては、再生停止が発生しなかった場合の仮の値、すなわちnumstall=0に置き換えることを表す。
 このようにすれば、出力されるshapley値は全て0以下になり、最高の状態(最大ビットレートを選択して再生停止がない場合)からの差分を計算していることになり、各指標値がどれだけ最高の状態と比べて体感品質を下げているかがわかるようになる。
 (実施の形態3)
 以下に図面を参照して、実施の形態3について説明する。実施の形態3は、指標値としてSまたはSの各要素に代えて、SおよびSを元に計算した各時刻の短時間の体感品質値を指標値とする点が、実施の形態2と相違する。よって、以下の実施の形態3の説明では、実施の形態2との相違点を中心に説明し、実施の形態2と同様の機能構成を有するものには、実施の形態2の説明で用いた符号と同様の符号を付与し、その説明を省略する。
 図4は、実施の形態3に係る情報処理装置の機能構成図である。本実施の形態に係る情報処理装置10は、実施の形態2に係る情報処理装置10に加えて、短時間体感品質推定部15をさらに備える。
 短時間体感品質推定部15は、体感品質推定モデルに規定された処理を実行して、SおよびSの各要素s ,s を元に各時刻の短時間の体感品質値q ,q を推定する[1]。
 図5は、実施の形態3に係る貢献度算出処理の流れの一例を示すフローチャートである。本実施の形態に係る貢献度算出処理のステップS301の処理は、実施の形態2に係る貢献度算出処理のステップS201と同様である。
 ステップS301に続いて、短時間体感品質推定部15は、各時刻の短時間の体感品質値を推定する(ステップS302)。推定結果は指標値としてq ,q ,stallingを含む。なお、q ,q は、それぞれs ,s を元に各時刻の短時間の体感品質値を推定した値である。さらに、短時間体感品質推定部15は、あるビットレートb′ ,b′ で符号化されたリプレゼンテーションに対する短時間の体感品質値
Figure JPOXMLDOC01-appb-M000010
 および
Figure JPOXMLDOC01-appb-M000011
 を算出する。
 q ,q は、それぞれ1から5までの値を取るため、それぞれ最も低い短時間体感品質値である1にした場合を不参加と考えることとする。また、体感品質推定部13は、あらかじめq ,q に基づいて、体感品質値QoEestを推定する[1]。
 本実施の形態に係る貢献度算出処理のステップS303-S311の処理は、指標値がq ,q ,stallingである点を除き、実施の形態1に係る貢献度算出処理のステップS202-S210と同様である。
 本実施の形態に係る情報処理装置10によれば、短時間の体感品質値の推定値を指標値とした貢献度を示す情報を出力することができる。これによって、短時間の体感品質値が全体の体感品質値に与える影響を把握して、映像配信システムの設計や再設計の参考とすることができる。
 また、本実施の形態においては、協力ゲーム理論へのゲームへの不参加が、q ,q がそれぞれ最も低い短時間体感品質値である1にした場合の仮の値に置き換えることを表す例を示した。しかし、仮の値は他でも良い。例えば、q ,q がそれぞれ最も高い短時間体感品質値である5にした場合の仮の値に置き換えても良い。
 具体的には、図4に示した貢献度算出処理のステップS303の処理において、体感品質推定部13は、indの要素xに相当する指標値をゲーム理論における不参加とした仮の値に置き換えて、体感品質値を推定する。ここで、ゲームへの不参加は、q ,q がそれぞれ最も高い短時間体感品質値である5にした場合の仮の値に置き換えることを表す。また、stallingについては、再生停止が発生しなかった場合の仮の値、すなわちnumstall=0に置き換えることを表す。
 このようにすれば、出力されるshapley値は全て0以下になり、最高の状態(最も高い短時間体感品質値であって再生停止がない場合)からの差分を計算していることになり、各指標値がどれだけ最高の状態と比べて体感品質を下げているかがわかるようになる。
 (各実施の形態に係るハードウェア構成例)
 情報処理装置10は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。
 上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
 図5は、上記コンピュータのハードウェア構成例を示す図である。図5のコンピュータは、それぞれバスBで相互に接続されているドライブ装置1000、補助記憶装置1002、メモリ装置1003、CPU1004、インタフェース装置1005、表示装置1006、入力装置1007、出力装置1008等を有する。
 当該コンピュータでの処理を実現するプログラムは、例えば、CD-ROM又はメモリカード等の記録媒体1001によって提供される。プログラムを記憶した記録媒体1001がドライブ装置1000にセットされると、プログラムが記録媒体1001からドライブ装置1000を介して補助記憶装置1002にインストールされる。但し、プログラムのインストールは必ずしも記録媒体1001より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置1002は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
 メモリ装置1003は、プログラムの起動指示があった場合に、補助記憶装置1002からプログラムを読み出して格納する。CPU1004は、メモリ装置1003に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置1005は、ネットワークに接続するためのインタフェースとして用いられる。表示装置1006はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置1007はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置1008は演算結果を出力する。
 [参考文献]
[1] K. Yamagishi and T. Hayashi, "Parametric Quality-Estimation Model for Adaptive-Bitrate Streaming Services," IEEE Transactions on Multimedia, vol. 19, no. 7, pp. 1545-1557, 2017. DOI: 10.1109/TMM.2017.2669859.(非特許文献1)
[2] I. Mann, L.S. Shapley, Values for large games IV: Evaluating the electoral college by Monte Carlo techniques, Technical report, The RAND Corporation, Santa Monica, 1960.
 (実施の形態のまとめ)
 本明細書には、少なくとも下記の各項に記載した情報処理装置、分析方法およびプログラムが記載されている。
(第1項)
 映像の視聴履歴データに含まれる複数の指標値を、所定の複数のビットレートのいずれかでなかった場合における指標値に置き換えて、体感品質値を推定する体感品質推定部と、
 推定された前記体感品質値に基づいて、前記複数のビットレートに含まれる各ビットレートの体感品質値への貢献度を算出する貢献度算出部と、
 前記貢献度を示す情報を出力する貢献度出力部と、を備える、
 情報処理装置。
(第2項)
 前記貢献度算出部は、各ビットレートをプレイヤーとした場合の協力ゲーム理論におけるshapley値を貢献度として算出する、
 第1項に記載の情報処理装置。
(第3項)
 前記複数の指標値は、前記映像を分割したデータを、所定の複数のビットレートのいずれかで符号化された値を含み、
 前記体感品質推定部は、符号化された前記値を、所定の複数のビットレートのいずれかでなかった場合の値に置き換えて、体感品質値を推定する、
 第1項または第2項に記載の情報処理装置。
(第4項)
 前記複数の指標値は、前記映像の再生停止が発生した時間または再生停止が発生した回数に基づく値を含み、
 前記体感品質推定部は、前記映像の再生停止が発生した時間または再生停止が発生した回数に基づく前記値を、前記映像の再生停止が発生しなかった場合の値に置き換えて、体感品質値を推定する、
 第1項から第3項のいずれか1項に記載の情報処理装置。
(第5項)
 前記映像を分割したデータを、所定の複数のビットレートのいずれかで符号化されたデータに基づいて、各時刻の短時間の体感品質値を推定する短時間体感品質推定部をさらに備え、
 前記複数の指標値は、推定された前記短時間の体感品質値を含む、
 第1項から第4項のいずれか1項に記載の情報処理装置。
(第6項)
 前記体感品質推定部は、推定された前記短時間の体感品質値のいずれかを、取り得る最も低い値または取り得る最も高い値に置き換えて、体感品質値を推定する、
 第5項に記載の情報処理装置。
(第7項)
 コンピュータが実行する方法であって、
 映像の視聴履歴データに含まれる複数の指標値を、所定の複数のビットレートのいずれかでなかった場合における指標値に置き換えて、体感品質値を推定するステップと、
 推定された前記体感品質値に基づいて、前記複数のビットレートに含まれる各ビットレートの体感品質値への貢献度を算出するステップと、
 前記貢献度を示す情報を出力するステップと、を備える、
 分析方法。
(第8項)
 コンピュータを第1項から第6項のいずれか1項に記載の情報処理装置における各部として機能させるためのプログラム。
 以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
 10 情報処理装置
 11 記憶部
 12 貢献度算出部
 13 体感品質推定部
 14 貢献度出力部
 15 短時間体感品質推定部

Claims (8)

  1.  映像の視聴履歴データに含まれる複数の指標値を、所定の複数のビットレートのいずれかでなかった場合における指標値に置き換えて、体感品質値を推定する体感品質推定部と、
     推定された前記体感品質値に基づいて、前記複数のビットレートに含まれる各ビットレートの体感品質値への貢献度を算出する貢献度算出部と、
     前記貢献度を示す情報を出力する貢献度出力部と、を備える、
     情報処理装置。
  2.  前記貢献度算出部は、各ビットレートをプレイヤーとした場合の協力ゲーム理論におけるshapley値を貢献度として算出する、
     請求項1に記載の情報処理装置。
  3.  前記複数の指標値は、前記映像を分割したデータを、所定の複数のビットレートのいずれかで符号化された値を含み、
     前記体感品質推定部は、符号化された前記値を、所定の複数のビットレートのいずれかでなかった場合の値に置き換えて、体感品質値を推定する、
     請求項1または2に記載の情報処理装置。
  4.  前記複数の指標値は、前記映像の再生停止が発生した時間または再生停止が発生した回数に基づく値を含み、
     前記体感品質推定部は、前記映像の再生停止が発生した時間または再生停止が発生した回数に基づく前記値を、前記映像の再生停止が発生しなかった場合の値に置き換えて、体感品質値を推定する、
     請求項1から3のいずれか1項に記載の情報処理装置。
  5.  前記映像を分割したデータを、所定の複数のビットレートのいずれかで符号化されたデータに基づいて、各時刻の短時間の体感品質値を推定する短時間体感品質推定部をさらに備え、
     前記複数の指標値は、推定された前記短時間の体感品質値を含む、
     請求項1から4のいずれか1項に記載の情報処理装置。
  6.  前記体感品質推定部は、推定された前記短時間の体感品質値のいずれかを、取り得る最も低い値または取り得る最も高い値に置き換えて、体感品質値を推定する、
     請求項5に記載の情報処理装置。
  7.  コンピュータが実行する方法であって、
     映像の視聴履歴データに含まれる複数の指標値を、所定の複数のビットレートのいずれかでなかった場合における指標値に置き換えて、体感品質値を推定するステップと、
     推定された前記体感品質値に基づいて、前記複数のビットレートに含まれる各ビットレートの体感品質値への貢献度を算出するステップと、
     前記貢献度を示す情報を出力するステップと、を備える、
     分析方法。
  8.  コンピュータを請求項1から6のいずれか1項に記載の情報処理装置における各部として機能させるためのプログラム。
PCT/JP2021/009556 2021-03-10 2021-03-10 情報処理装置、分析方法およびプログラム WO2022190263A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202180095166.4A CN116897539A (zh) 2021-03-10 2021-03-10 信息处理装置、分析方法和程序
JP2023504966A JP7544252B2 (ja) 2021-03-10 2021-03-10 情報処理装置、分析方法およびプログラム
PCT/JP2021/009556 WO2022190263A1 (ja) 2021-03-10 2021-03-10 情報処理装置、分析方法およびプログラム
EP21930119.9A EP4307689A1 (en) 2021-03-10 2021-03-10 Information processing device, analysis method, and program
KR1020237033315A KR20230152125A (ko) 2021-03-10 2021-03-10 정보 처리 장치, 분석 방법 및 프로그램
US18/264,504 US20240114187A1 (en) 2021-03-10 2021-03-10 Information processing apparatus, analysis method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/009556 WO2022190263A1 (ja) 2021-03-10 2021-03-10 情報処理装置、分析方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2022190263A1 true WO2022190263A1 (ja) 2022-09-15

Family

ID=83227581

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009556 WO2022190263A1 (ja) 2021-03-10 2021-03-10 情報処理装置、分析方法およびプログラム

Country Status (6)

Country Link
US (1) US20240114187A1 (ja)
EP (1) EP4307689A1 (ja)
JP (1) JP7544252B2 (ja)
KR (1) KR20230152125A (ja)
CN (1) CN116897539A (ja)
WO (1) WO2022190263A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125415A1 (ja) * 2015-02-04 2016-08-11 日本電信電話株式会社 体感品質最適化システム、体感品質最適化装置、レコメンド要求装置、体感品質最適化方法、レコメンド要求方法及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016125415A1 (ja) * 2015-02-04 2016-08-11 日本電信電話株式会社 体感品質最適化システム、体感品質最適化装置、レコメンド要求装置、体感品質最適化方法、レコメンド要求方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAIKI FUKUDOME, HIROYUKI KITADA, MASAAKI KUROZUMI, AYAKA NISHIDE, SATOSHI NISHIMURA, TAKAFUMI OKUYAMA, SHOZOE CHO, AND MASAO YAMAM: "B-8-10 Examination of ABR distribution method by cooperative control based on QoE estimated value", PROCEEDINGS OF THE 2020 SOCIETY CONFERENCE OF IEICE 2; SEPTEMBER 15TH - 18TH, 2020, 1 September 2020 (2020-09-01), JP, pages 57, XP009548318 *
K. YAMAGISHIT. HAYASHI: "Parametric Quality-Estimation Model for Adaptive-Bitrate Streaming Services", IEEE TRANSACTIONS ON MULTIMEDIA, vol. 19, no. 7, 2017, pages 1545 - 1557, XP011653824, DOI: 10.1109/TMM.2017.2669859

Also Published As

Publication number Publication date
US20240114187A1 (en) 2024-04-04
KR20230152125A (ko) 2023-11-02
EP4307689A1 (en) 2024-01-17
JPWO2022190263A1 (ja) 2022-09-15
JP7544252B2 (ja) 2024-09-03
CN116897539A (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
WO2017053115A1 (en) Predicting a viewer's quality of experience
JP4490374B2 (ja) 映像品質評価装置および方法
JP6611271B2 (ja) 動画品質制御装置、ビットレート選択方法、及びプログラム
JP2008005108A (ja) 映像品質推定装置、映像品質管理装置、映像品質推定方法、映像品質管理方法、およびプログラム
TWI544786B (zh) 受到壓縮假象和通道假象所影響的視訊失真之計算方法和裝置,以及在帶寬限制的傳輸系統內對視訊串流和封包損失復原串流指定可用帶寬之方法和裝置
JP7380832B2 (ja) 数理モデル導出装置、数理モデル導出方法及びプログラム
WO2022190263A1 (ja) 情報処理装置、分析方法およびプログラム
Tran et al. An LSTM-based approach for overall quality prediction in HTTP adaptive streaming
WO2022190264A1 (ja) 情報処理装置、分析方法およびプログラム
JP7215229B2 (ja) 映像品質推定装置、映像品質推定方法及びプログラム
JP6907958B2 (ja) 推定装置、推定方法及びプログラム
JP6517342B2 (ja) 配信レート選択装置、配信レート選択方法、及びプログラム
JP7040232B2 (ja) 視聴行動推定装置、視聴行動推定方法及びプログラム
JP2019197996A (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
JP6533487B2 (ja) アプリケーション制御装置、ネットワーク品質予測方法、及びプログラム
JP7351398B2 (ja) Vr映像符号化パラメータ算出装置、vr映像符号化パラメータ算出方法、及びプログラム
JP2020136922A (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
JP7400936B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
JP7255704B2 (ja) エンゲージメント推定装置、エンゲージメント推定方法及びプログラム
JP6114702B2 (ja) ユーザ体感品質推定装置、ユーザ体感品質推定方法及びプログラム
JP7351140B2 (ja) 配信装置、配信システムおよび配信プログラム
WO2023021890A1 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
JP7347527B2 (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
JP6730231B2 (ja) ユーザ操作行動推定装置、ユーザ操作行動推定方法及びプログラム
JP2018082314A (ja) 総合品質推定装置、総合品質推定方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21930119

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18264504

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023504966

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202180095166.4

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20237033315

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2023125321

Country of ref document: RU

Ref document number: 2021930119

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021930119

Country of ref document: EP

Effective date: 20231010