WO2018180394A1 - 通信装置、メディア配信システム、メディア配信方法および非一時的なコンピュータ可読媒体 - Google Patents
通信装置、メディア配信システム、メディア配信方法および非一時的なコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2018180394A1 WO2018180394A1 PCT/JP2018/009380 JP2018009380W WO2018180394A1 WO 2018180394 A1 WO2018180394 A1 WO 2018180394A1 JP 2018009380 W JP2018009380 W JP 2018009380W WO 2018180394 A1 WO2018180394 A1 WO 2018180394A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- line
- data
- communication
- bit rate
- media data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
- H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/54—Store-and-forward switching systems
- H04L12/56—Packet switching systems
- H04L12/5601—Transfer mode dependent, e.g. ATM
- H04L2012/5638—Services, e.g. multimedia, GOS, QOS
- H04L2012/564—Connection-oriented
- H04L2012/5642—Multicast/broadcast/point-multipoint, e.g. VOD
Definitions
- the present invention relates to a communication device, a media distribution system, a media distribution method, and a non-transitory computer readable medium.
- Non-Patent Documents 1 and 2 there has been proposed a technique of distributing while switching the quality of media according to the communication speed.
- Patent Document 1 a technique for improving the media quality by using a plurality of communication lines to improve the total value of communication speed has been proposed (for example, Patent Document 1).
- the client device includes a plurality of communication interfaces, and the contents downloaded by each interface are complementary (no duplication).
- the client device determines a requested bit rate based on the available bit rate (communication speed) of each communication interface, and downloads content using a plurality of interfaces.
- the required bit rate is determined from the communication speed of each communication interface, but does not consider user quality of experience (QoE: Quality of Experience). Therefore, with the technique disclosed in Patent Document 1, the user experience quality (QoE) may be reduced.
- QoE Quality of Experience
- the present invention has been made to solve such problems, and an object of the present invention is to provide a communication device, a media distribution system, and a media distribution method capable of delivering media with high user experience quality.
- a communication apparatus is a communication apparatus that distributes media data to other communication apparatuses via a plurality of lines, and a communication quality estimation unit that estimates communication quality of each line; A bit rate for calculating an index value indicating a user experience quality when each channel is used from the estimated communication quality of each channel, and determining a bit rate of the media data based on the calculated index value A determination unit; and a data distribution unit that distributes the data amount of the media data to each line based on the estimated communication quality of each line and the determined bit rate.
- a media distribution system is a media distribution system that includes a transmission device and a reception device, and distributes media data from the transmission device to the reception device via a plurality of lines.
- the transmission apparatus calculates a communication quality estimation unit that estimates communication quality of each line, and an index value indicating user experience quality when each line is used from the estimated communication quality of each line, and the calculation
- a bit rate determining unit that determines a bit rate of the media data based on the index value, and data of the media data based on the estimated communication quality and the determined bit rate of each line
- a data distribution unit that distributes the amount to each line.
- a media distribution method is a media distribution method for distributing media data to other communication devices via a plurality of lines, estimating communication quality of each line, An index value indicating a user experience quality when each line is used is calculated from the estimated communication quality, a bit rate of the media data is determined based on the calculated index value, Based on the estimated communication quality and the determined bit rate, the data amount of the media data is distributed to each line.
- media distribution with high user experience quality can be performed.
- FIG. 1 is a schematic diagram illustrating an example of a media distribution system according to a first exemplary embodiment.
- 1 is a configuration diagram illustrating an example of a transmission device according to a first exemplary embodiment; It is a figure which shows the relationship between a bit rate and MOS. It is a figure for demonstrating an example of the method of distributing media data. It is a figure for demonstrating an example of the method of distributing media data.
- 3 is a flowchart illustrating an example of the overall operation of the transmission apparatus according to the first exemplary embodiment; 3 is a flowchart illustrating an example of a bit rate determination operation according to the first exemplary embodiment.
- FIG. 4 is a flowchart showing an example of classification operation of a main line and a sub line according to the first exemplary embodiment
- FIG. 6 is a schematic diagram of a media distribution system according to a modification of the first embodiment. 6 is a diagram for explaining an example of data distribution according to a modification of the first embodiment.
- FIG. FIG. 10 is a diagram for explaining an example of a media data transmission operation according to the second embodiment; FIG. 10 is a diagram for explaining an example of media data transmission operation according to a modification of the second embodiment. It is a figure which shows an example of the probability distribution of the usable band with respect to each line. It is a figure which shows the relationship between an available band and a transmission delay.
- FIG. 10 is a diagram for explaining a bit rate determination operation according to the fourth embodiment.
- FIG. 11 is a block diagram illustrating a hardware configuration of a computer (information processing device) that can implement the communication device or the transmission device according to each embodiment of the present disclosure.
- FIG. 1 is a configuration diagram illustrating a configuration example of a communication device 1 according to the outline of the embodiment.
- the communication device 1 is a communication device that distributes media data to other communication devices (not shown) via a plurality of lines (lines 3_1 to 3_n, where n is an arbitrary integer equal to or greater than 2).
- the communication device 1 may be, for example, a mobile phone, a smartphone, a tablet terminal, a personal computer, or the like.
- the plurality of lines 3_1 to 3_n may be wired, wireless, or a mixture of wired and wireless.
- the media data may be, for example, image information, audio, sensor information such as tactile sensation and force sensation.
- a plurality of lines (lines 3_1 to 3_n) may be referred to as lines 3, and each of the plurality of lines (lines 3_1 to 3_n) may be referred to as lines 3.
- the communication device 1 includes a communication quality estimation unit 11, a bit rate determination unit 12, and a data distribution unit 13.
- the communication quality estimation unit 11 estimates the communication quality of each line 3 between the communication device 1 and another communication device.
- the communication quality may be, for example, a communication speed such as an available bandwidth and a communication throughput, a communication speed calculated from a time required for transmitting or receiving media data, a time required for transmitting or receiving media data to be distributed, and the like.
- the bit rate determination unit 12 calculates an index value indicating the user experience quality when using each line 3 from the communication quality of each line 3 estimated by the communication quality estimation unit 11, and an index indicating the calculated user experience quality
- the bit rate of the media data to be distributed is determined based on the value.
- the bit rate determination unit 12 determines the bit rate of the media data to be distributed so that the index value indicating the calculated user experience quality is high.
- the index value indicating the user experience quality may be, for example, QoE (Quality of Experience) indicating the user experience quality, MOS (Mean Opinion Score) that is an average value of QoE, or the like.
- the data distribution unit 13 distributes to each line 3 based on the communication quality estimation result of each line 3 estimated by the communication quality estimation unit 11 and the media data bit rate determined by the bit rate determination unit 12. The amount of media data to be determined is determined, and the determined amount of data is distributed to each line 3.
- the bit rate determination unit 12 calculates an index value indicating the user experience quality when each line 3 is used from the communication quality of each line 3 estimated by the communication quality estimation unit 11.
- the bit rate of the media data to be distributed is determined based on the calculated index value indicating the user experience quality. Therefore, according to the communication apparatus 1 concerning embodiment, it becomes possible to perform media delivery in consideration of user experience quality. That is, media distribution with high user experience quality can be performed.
- the data distribution unit 13 then distributes media to each line 3 based on the communication quality estimation result of each line 3 estimated by the communication quality estimation unit 11 and the bit rate determined by the bit rate determination unit 12. Determine the amount of data. Also, as described above, the bit rate determination unit 12 determines the bit rate of the media data to be distributed so that the index value indicating the user experience quality when using each calculated line 3 is high. Therefore, according to the communication apparatus 1 concerning embodiment, it becomes possible to perform media delivery with high user experience quality.
- FIG. 2 is a schematic diagram illustrating an example of the media distribution system 100 according to the first embodiment.
- the media distribution system 100 is a system for distributing media data from the transmission device 2 to the reception device 4 via a plurality of lines (line 3_1 to line 3_n).
- the media data may be, for example, image information, audio, sensor information such as tactile sensation and force sensation.
- the media distribution system 100 is, for example, a live video distribution system that distributes photographed video and audio to a remote location, a video conference system for communicating between remote locations, a telepresence system, and a remote that uses tactile and haptic information. It may be a work system or the like.
- the media distribution system 100 includes a transmission device 2 that distributes media data, lines 3_1 to 3_n, and a reception device 4 that receives media data distributed from the transmission device 2.
- the transmission device 2 and the reception device 4 may be, for example, a mobile phone, a smartphone, a tablet terminal, a personal computer, or the like.
- the transmission device 2 corresponds to the communication device 1 in the outline of the embodiment.
- the receiving device 4 corresponds to another communication device in the outline of the embodiment.
- the line 3 may be wired, wireless, or a mixture of wired and wireless.
- the line 3 includes, for example, a wired line provided by the same operator, a combination of a wired line and a mobile line provided by different operators, a plurality of mobile lines provided by the same operator, a combination of mobile lines provided by different operators, and a mobile line And any combination such as a combination of 2.4 GHz and 5 GHz wireless LAN.
- FIG. 3 is a configuration diagram of an example of the transmission device 2 according to the first embodiment.
- the transmission apparatus 2 includes a communication quality estimation unit 11, a bit rate determination unit 12, a data distribution unit 13, a data input unit 14, an encoding unit 15, and communication units 16_1 to 16_n.
- n is an integer equal to or greater than 2 and equal to the number of lines 3.
- the communication units 16_1 to 16_n may be referred to as the communication unit 16
- the communication units 16_1 to 16_n may be referred to as the communication units 16, respectively.
- the communication quality estimation unit 11 corresponds to the communication quality estimation unit 11 in the outline of the embodiment.
- the communication quality estimation unit 11 estimates the communication quality of each of the plurality of lines 3_1 to 3_n based on information acquired by the communication units 16_1 to 16_n described later.
- the communication quality estimation unit 11 notifies the bit rate determination unit 12 and the data distribution unit 13 described later of the estimated communication quality of each of the lines 3_1 to 3_n.
- the communication quality may be, for example, the amount of data (bps: bits per second) that can be communicated per unit time.
- the communication quality may be a communication speed such as an available bandwidth or a communication throughput.
- the communication quality may be a communication speed calculated from the time required for transmission or reception of the media data. For example, when the media data includes video, the “frame size” for each video frame calculated by the receiving device 4 is used. ⁇ time required for reception of data constituting the frame ”.
- the time required to receive the data constituting the frame may be implemented by the transmission device 2 and used as the communication quality.
- the communication quality may be subjected to filtering processing such as exponential smoothing in the transmission device 2 or the reception device 4 when the value calculated for each frame varies greatly. In order to prevent overestimation, A value obtained by multiplying the value calculated by the coefficient (for example, 0.9) may be used.
- the communication quality may be time required for transmission or reception of media data. In this specification, for convenience of explanation, the communication quality is explained as an available band. However, the present invention is not limited to this.
- the bit rate determination unit 12 corresponds to the bit rate determination unit 12 in the outline of the embodiment.
- the bit rate determination unit 12 calculates an index value indicating the user experience quality when each channel 3 is used from the communication quality of each channel 3 estimated by the communication quality estimation unit 11, and based on the calculated index value, Determine the bit rate of media data to be distributed.
- the bit rate determination unit 12 determines the bit rate of the media data to be distributed so that the calculated index value related to the user experience quality is high.
- the index value indicating the user experience quality may be, for example, QoE representing the user experience quality, MOS that is an average value of QoE, or the like.
- the bit rate determination unit 12 determines the bit rate of the media data to be distributed.
- the bit rate determining unit 12 determines the bit rate of media data based on the MOS.
- the bit rate is the amount of data per unit time.
- ITU-T G As a technique for calculating (estimating) the QoE of a video conference, ITU-T G.
- a method defined in 1070 is known.
- the MOS that is the average value of QoE is estimated from information that can be physically observed such as the bit rate of video.
- MOS is a numerical value from 1 to 5, and a larger value indicates higher QoE.
- FIG. 4 is a diagram showing the relationship between the bit rate and MOS. It is a figure which shows MOS at the time of changing only a bit rate among the parameters of 1070.
- the horizontal axis of FIG. 4 represents the video bit rate [kbps], which means that the bit rate is higher toward the right side of the figure.
- the estimated MOS value calculated in 1070 means that the higher the value is, the higher the MOS, that is, the higher the QoE.
- a curve L1 is a curve representing the relationship between the video bit rate and the MOS. In FIG. 4, since the slope of the curve L1 is large in the region where the video bit rate is low, the MOS is greatly improved even when the bit rate is slightly increased.
- the slope of the curve L1 is smaller than that in the region where the bit rate is low, and the MOS does not change much even if the bit rate is increased.
- the transmission device 2 distributes media data to the reception device 4 via two lines, and both lines have an available bandwidth of 100 kbps.
- the MOS when the transmission apparatus 2 transmits a video of 100 kbps using one line, the MOS is 1.50.
- the MOS is 2.01, and the case where two lines are used is smaller than the case where one line is used. 0.51 improvement.
- the transmission device 2 distributes media data to the reception device 4 via two lines, and the available bandwidths of the two lines are both 2000 kbps.
- the MOS is 4.35.
- the MOS is 4.49.
- the amount of improvement in MOS is 0.14 when two lines are used compared to when one line is used. Therefore, the amount of improvement in MOS is small compared with the case where two lines of 100 kbps are used.
- the transmission apparatus 2 distributes media data to the reception apparatus 4 via two lines and the video data is distributed using two lines, all the video data transmitted through both lines is received. By doing so, video data can be reproduced. In other words, even if data transmitted on one line is received, video data cannot be reproduced unless data transmitted on the other line is received. For this reason, when the available bandwidth rapidly decreases in any one of the lines, the delay until the video transmitted from the transmission apparatus 2 is reproduced increases in the reception apparatus 4.
- media data is distributed using two lines, for example, the line 3_1 and the line 3_2, among the lines 3 connected to the transmission apparatus 2.
- the lines 3_1 and 3_2 if the probability that the usable bandwidth is suddenly reduced is p1 and p2, respectively, the probability that at least one of the usable bandwidths suddenly falls is p1 + (1 ⁇ p1) p2.
- p1 and p2 are both numerical values in the range of 0 to 1, they are larger than the probability p1 that the usable bandwidth rapidly decreases using only the line 3_1. That is, when media data is distributed using a plurality of lines, the possibility of media quality degradation due to a decrease in available bandwidth increases.
- the bit rate determining unit 12 in the present embodiment for each of the lines 3_1 to 3_n, when the line is used for media data distribution, as compared with the MOS when the line is not used.
- the degree of improvement that is, the improvement value of MOS
- the bit rate determination unit 12 calculates how much QoE is improved when the line is used.
- the bit rate determination unit 12 calculates the improvement value of the MOS when the line is used, and when the calculated improvement value of the MOS is equal to or larger than a predetermined threshold, the bit rate is determined as the media data.
- the main line is mainly used for transmission, and if the amount of improvement in MOS is less than a predetermined threshold, the line is classified as a sub-line that is an auxiliary line for the main line.
- the bit rate determining unit 12 determines the total value of available bandwidths of all lines classified as main lines as the bit rate of media data.
- the bit rate determination unit 12 uses, as the media data bit rate, a value obtained by multiplying the total value of available bandwidths of all lines classified as main lines by a predetermined coefficient such as 0.9, for example. You may decide. A more specific bit rate determination operation will be described later.
- the data distribution unit 13 corresponds to the data distribution unit 13 in the outline of the embodiment. Based on the communication quality of each of the lines 3_1 to 3_n estimated by the communication quality estimation unit 11 and the bit rate determined by the bit rate determination unit 12, the data distribution unit 13 performs encoding by the encoding unit 15 described later. It is determined how the distributed media data is distributed to the lines 3_1 to 3_n. Specifically, the data distribution unit 13 distributes the amount of media data to be distributed to the lines 3_1 to 3_n.
- the data distribution unit 13 determines the data amount to be distributed to the lines 3_1 to 3_n, the data distribution unit 13 transmits the media data to be distributed by the determined data amount to the communication units 16_1 to 16_n corresponding to the lines 3_1 to 3_n.
- QoE depends not only on the bit rate but also on the reproduction delay.
- the reproduction delay is a time required until media data is input from a data input unit 14 (to be described later) of the transmission device 2 and output from a data output unit (not shown) of the reception device 4.
- QoE is higher as the reproduction delay is shorter, and is lowered as the reproduction delay is longer. Therefore, in order to improve QoE, it is desirable to minimize the reproduction delay.
- the receiving device 4 when the media data to be distributed is video data and one frame of video data is divided and transmitted to the lines 3_1 to 3_n, the receiving device 4 outputs the video data until reception of all the data of the frame is completed. I can't. Therefore, in order to reduce the reproduction delay and improve the QoE, it is desirable to minimize the maximum value of the reproduction delay of the lines 3_1 to 3_n.
- the reproduction delay includes a processing delay for processing media data input to the data input unit 14 (to be described later) inside the transmission device 2 and transmission from the transmission device 2 to the reception device 4 via the lines 3_1 to 3_n. Transmission delay. In this embodiment, the reproduction delay is minimized by minimizing the transmission delay.
- the data distribution unit 13 transmits the media data to be transmitted to the reception device 4 using the main line classified by the bit rate determination unit 12. That is, the data distribution unit 13 uses all lines classified as main lines, thereby minimizing transmission delay, that is, reproduction delay, and enabling media distribution with high MOS. Therefore, the data distribution unit 13 uses a line classified by the bit rate determination unit 12 as a main line.
- the data distribution unit 13 determines the ratio of the available bandwidth of each line 3 classified as the main line and the ratio of the amount of data allocated to each line 3 classified as the main line. The amount of media data is distributed so that they match.
- FIG. 5 and 6 are diagrams for explaining an example of a method by which the data distribution unit 13 distributes media data.
- FIG. 5 shows, from the left, the line number, the available bandwidth of each line, the total available bandwidth of line 3_1 to line 3_ (line number), the MOS corresponding to the total available bandwidth of line 3_1 to line 3_ (line number), Indicates the classification of the main line or sub line.
- FIG. 6 shows, from the left, the line number, the available bandwidth of each line, and the amount of data allocated to each line. At the bottom of FIG. 6, the total amount of media data transmitted from the transmission device 2 to the reception device 4 is described.
- the media data is distributed from the transmission device 2 to the reception device 4 via three lines, for example, the line 3_1 to the line 3_3, and the bit rate determination unit 12 includes the line 3_1 and the line 3_2.
- Is the main line and the line 3_3 is determined as the sub line.
- the data distribution unit 13 distributes media data to be distributed, for example, video frame data so that the ratio is 5: 3 between the line 3_1 and the line 3_2.
- the data distribution unit 13 sets the media data to be distributed via the line 3_1 and the line 3_2.
- the data amount is 5: 3, that is, 20000 bytes are allocated to the line 3_1 and 12000 bytes are allocated to the line 3_2.
- the data input unit 14 receives media data distributed by the transmission device 2.
- the media data may be media data input from the outside of the transmission device 2 or may be media data acquired by the transmission device 2.
- the media data is, for example, image information, audio, sensor information such as tactile sensation and force sensation, etc., and may be a combination of these.
- the media data When the media data includes a video, it may be a video acquired by a camera or the like built in the transmission device 2, or a video input from a camera connected via an interface such as USB or HDMI (registered trademark). There may be.
- the video may be input for each frame with a period of several tens of milliseconds to several hundred milliseconds.
- the media data When the media data includes sound, it may be sound acquired from a microphone or the like built in the transmission device 2, or may be sound input from a microphone or the like connected through an interface such as USB.
- sound samples sampled at several kilohertz to several tens of kilohertz may be input in units of several milliseconds to several hundred milliseconds.
- the media data When the media data is information such as a sensor, it may be sensor information acquired from a sensor built in the transmission device 2, or sensor information input from a sensor connected via an interface such as USB. It may be.
- the sensor information may be input with a period of several milliseconds to several seconds, for example.
- the encoding unit 15 encodes (compresses) the media data input from the data input unit 14 so that the bit rate (data amount per unit time) notified from the bit rate determination unit 12 is obtained.
- the encoding unit 15 is, for example, H.264. H.264 and H.264.
- An encoding method such as H.265 may be used.
- the encoding unit 15 performs G. 711, G.G. 729, AMR (Adaptive Multi-Rate) -NB (Narrow-Band) / WB (Wide-Band), AAC (Advanced Audio Coding), etc. may be used.
- the encoding unit 15 controls the information transmission interval, the resolution of the information to be transmitted, or the like, or only the difference from the value transmitted immediately before. You may compress by transmitting. These processes are executed by software operating on the transmission apparatus 2, and hardware may be used when dedicated hardware is available.
- the communication units 16_1 to 16_n are communication interfaces that communicate with the receiving device 4 via the lines 3_1 to 3_n, respectively.
- the communication units 16_1 to 16_n may be, for example, communication interfaces built in the transmission device 2, or may be communication interfaces that enable communication by being connected via a USB or the like.
- the communication units 16_1 to 16_n are communication interfaces such as a mobile line provided by a communication provider such as a wired LAN, a wireless LAN, and LTE (Long Termination Evolution).
- the communication units 16_1 to 16_n may be the same type of communication interface or a combination of different communication interfaces.
- the communication units 16_1 to 16_n acquire information for the communication quality estimation unit 11 to estimate the communication quality of the lines 3_1 to 3_n, and transmit the acquired information to the communication quality estimation unit 11.
- the communication quality is a communication speed, for example, an available bandwidth
- information on the available bandwidth of the lines 3_1 to 3_n may be acquired.
- the communication quality is a communication speed, for example, a communication throughput
- the communication throughput may be calculated from the amount of data transmitted to the lines 3_1 to 3_n.
- the communication quality is a communication speed, for example, “frame size ⁇ time required for reception of data constituting the frame”
- the frame size and time may be acquired. The calculation result may be received, or the reception time at which the acknowledgment packet is received may be acquired.
- the communication quality when the communication quality is the time required for transmission or reception of media data or the like, it may be calculated from the time transmitted by the transmission device 2 and the reception time from the reception device 4, or the time transmitted by the transmission device 2. And the reception time when the acknowledgment packet is received.
- the communication units 16_1 to 16_n transmit the media data transmitted from the data distribution unit 13 to the receiving device 4 via each line 3 connecting the media data.
- FIG. 7 is a flowchart showing an example of the overall operation of the transmission apparatus 2 according to the present embodiment.
- FIG. 8 is a flowchart showing an example of the bit rate determination operation according to the present embodiment.
- FIG. 9 is a flowchart showing an example of the classification operation of the main line and the sub line according to this embodiment.
- the data input unit 14 receives input of media data (step S1101).
- the media data is video, it is input, for example, frame by frame from a camera or the like built in the transmission apparatus 2 or a camera connected by an interface such as USB or HDMI (registered trademark).
- the input media data may be input with a period of 100 milliseconds, and when the frame rate is 33, 33.33. . . It may be input in a cycle of milliseconds.
- the input media data is, for example, 20 from a microphone or sensor built in the transmission device 2 or a connected microphone or sensor. It may be input at a constant cycle such as milliseconds.
- the encoding unit 15 encodes the media data input from the data input unit 14 (step S1102). At this time, the encoding unit 15 sets parameters and the like so that the bit rate specified by the bit rate determining unit 12 is obtained. For example, if the bit rate determining unit 12 determines that the bit rate is 1 Mbps, the encoding is performed so that the total amount of data distributed per second becomes 1 Mbit. The bit rate determining unit 12 determines the bit rate in the bit rate determining operation shown in FIG.
- the data distribution unit 13 is encoded by the encoding unit 15 based on the bit rate of the media data received from the bit rate determination unit 12 and the communication quality of each line 3 received from the communication quality estimation unit 11. It determines how to distribute the media data to the lines 3_1 to 3_n, and transmits them to the communication units 16_1 to 16_n corresponding to the lines 3_1 to 3_n (step S1103).
- the data distribution unit 13 is data to be distributed to each line based on the bit rate of the media data received from the bit rate determination unit 12 and the available bandwidth of each line 3 received from the communication quality estimation unit 11. Determine the amount. More specifically, as described above, the data distribution unit 13 transmits media data to be transmitted to the reception device 4 using the main line classified by the bit rate determination unit 12. Further, the data distribution unit 13 determines the data amount of the media data so that the ratio of the available bandwidth of each line 3 classified as the main line and the ratio of the data amount allocated to each line 3 classified as the main line match. Sort out.
- the data distribution unit 13 determines the amount of data distributed to each line in the bit rate determination operation shown in FIG.
- the communication units 16_1 to 16_n transmit the media data received from the data distribution unit 13 to the receiving device 4 via the lines 3_1 to 3_n (Step S1104). After performing the processing from step S1101 to step S1104, the transmission device 2 determines whether all the transmission of the media data has been completed (step S1105).
- step S1105 If the transmission of all media data has been completed (YES in step S1105), the transmission device 2 ends all the processes. On the other hand, if the transmission of all media data has not been completed (NO in step S1105), the transmission apparatus 2 returns to step S1101 and performs the processes from step S1101 to step S1104 again. For example, when the media data to be distributed is video and 30 frames are input, if the transmission device 2 has not completed the distribution processing of video data for 30 frames (NO in step S1105), steps S1101 to S1101 are performed. The process of step S1104 is repeatedly executed. On the other hand, if the transmission apparatus 2 has completed the distribution process of the video data for 30 frames (YES in step S1105), the distribution process ends.
- the bit rate determination operation is performed independently of the operation described with reference to FIG.
- the bit rate determination operation may be executed, for example, when the transmission apparatus 2 is activated, or may be executed at a constant cycle (for example, 1 second cycle). Alternatively, it may be executed when the communication units 16_1 to 16_n detect that the communication quality of any of the lines 3_1 to 3_n has changed significantly. Alternatively, it is executed at the time of start-up, and is executed at a fixed period. Further, when the communication units 16_1 to 16_n detect that the communication quality of any of the lines 3_1 to 3_n has changed significantly, Also good.
- the communication units 16_1 to 16_n acquire information about the lines 3_1 to 3_n to be connected, and the communication quality estimation unit 11 estimates the communication quality of the lines 3_1 to 3_n based on the information from the communication units 16_1 to 16_n (step S1201).
- the bit rate determination unit 12 determines an optimum bit rate of media data based on the communication quality estimated by the communication quality estimation unit 11 (step S1202). Specifically, the bit rate determining unit 12 classifies the lines 3_1 to 3_n into main lines and sub-lines by performing a classification operation between main lines and sub-lines, which will be described later with reference to FIG. Then, the bit rate determining unit 12 determines the total value of the available bandwidths of all the lines classified as the main line among the lines 3_1 to 3_n as the bit rate of the media data. Alternatively, the bit rate determination unit 12 uses, as the media data bit rate, a value obtained by multiplying the total value of available bandwidths of all lines classified as main lines by a predetermined coefficient such as 0.9, for example. You may decide.
- the data distribution unit 13 Based on the bit rate of the media data notified from the bit rate determination unit 12 and the communication quality of the lines 3_1 to 3_n notified from the communication quality estimation unit 11, the data distribution unit 13 assigns to each of the lines 3_1 to 3_n.
- the amount of media data to be distributed is determined (step S1203). Specifically, when the communication quality of each line 3 notified from the communication quality estimation unit 11 is, for example, the usable bandwidth of each line 3, the data distribution unit 13 determines the main line classified by the bit rate determination unit 12 The amount of media data to be distributed is determined so that the ratio of the available bandwidth and the ratio of the amount of media data to be transmitted match each line 3 included in the network.
- the operation shown in FIG. 9 can be said to be the detailed operation of steps S1202 and S1203 of the operation shown in FIG.
- the bit rate determination unit 12 performs the classification operation between the main line and the sub line shown in FIG.
- the lines 3_1 to 3_n are arranged in descending order of available bandwidth (step S1301). Specifically, as shown in FIG. 9, the available bands b1 to bn of the lines 3_1 to 3_n are arranged in descending order so that b1 ⁇ b2 ⁇ .
- the line with the largest available bandwidth is classified as the main line (step S1302).
- the line 3_1 since the available bandwidth b1 of the line 3_1 is the largest, the line 3_1 is classified as a main line.
- step S1303 to S1309 the following processing is sequentially performed for the line x (x is an integer satisfying x ⁇ 2) (steps S1303 to S1309).
- x is determined (step S1303), and Q (QoE) when media data is distributed to the lines 3_1 to 3_x-1 (when the video bit rate is b1 + b2 +... + Bx-1).
- x-1) is calculated (step S1304).
- QoE (x) in the case where the media data is distributed to the lines 3_1 to 3_x that is, the line 3_x is added to Q (x-1) obtained in step S1304) is calculated (step S1305).
- a QoE improvement value by adding the line 3_x is calculated, and it is determined whether or not the calculated QoE improvement value is equal to or greater than a predetermined threshold Qth (step S1306).
- the QoE improvement value is calculated by Q (x) ⁇ Q (x ⁇ 1), and the calculated value is compared with a predetermined threshold value Qth to determine whether it is equal to or higher than the threshold value Qth. To do.
- step S1306 When the improvement value of QoE is equal to or greater than the predetermined threshold Qth (YES in step S1306), the line 3_x is classified as a main line (step S1307). Then, x is incremented, that is, x is set to x + 1 (step S1309), and the process returns to step S1303. Thereafter, the above processing is performed until either the same processing is performed for all of the lines 3_1 to 3_n or the case of NO in step S1306 is met.
- step S1316 if the QoE improvement value is less than the predetermined threshold value Qth (NO in step S1306), the line 3_x is classified as a sub line (step S1308), and the process loop of steps S1303 to S1309 is exited. Then, line 3_x + 1 and later (that is, line 3_x + 1 to line 3_n) are classified as sub-lines (step S1310), and this operation is terminated.
- step S1301 of the above operation the operation of rearranging the lines 3 in descending order of available bandwidth is performed. This is because a QoE improvement value is high by using a line having a large available bandwidth as a main line. Therefore, the above operation can be said to be a preferable operation.
- the present invention is not limited to this, and in step S1301 of the above operation, the main line and the sub line may be classified for all the lines 3 without rearranging in order of the available bandwidth.
- the usable bandwidth of the line 3_1 is 1000 kbps
- the usable bandwidth of the line 3_2 is 600 kbps
- the usable bandwidth of the line 3_3 is 300 kbps.
- the predetermined threshold Qth used in the determination in step S1306 is set to 0.1.
- step S1301 they are arranged in descending order of available bandwidth (step S1301). As a result, the line 3_1, the line 3_2, and the line 3_3 are in this order. Next, the line with the largest available bandwidth is classified as the main line (step S1302). Specifically, since the usable bandwidth of the line 3_1 is the largest, the line 3_1 is classified as a main line.
- Q (1) 3.93 as shown in FIG.
- Q (2) 4.27 as shown in FIG.
- the predetermined threshold value Qth is less than 0.1 (NO in step S1306). Therefore, the line 3_3 is classified as a sub line (step S1308).
- the bit rate determining unit 12 sets the bit rate to the total available bandwidth of the lines 3_1 and 3_2 which are the main lines. It is determined to be 1600 kbps.
- the communication quality estimation unit 11 estimates the communication quality of each line 3. To do.
- the bit rate determining unit 12 classifies each line 3 into a main line that mainly transmits media data and an auxiliary line that is auxiliary, using QoE based on the communication quality of each line 3. Then, the bit rate determination unit 12 determines the bit rate of the media data to be distributed based on the communication quality (available bandwidth) of the line classified as the main line.
- the data distribution unit 13 determines the amount of media data to be distributed to each line classified as the main line so that the transmission delay is minimized, that is, the QoE is high.
- the transmission apparatus 2 it is possible to determine a main line that mainly transmits media data in consideration of QoE. Further, the data distribution unit 13 distributes the media data to each line classified as the main line in consideration of the available bandwidth. That is, the amount of media data to be distributed is increased for a line with a large available bandwidth, and the data amount is reduced for a line with a small available bandwidth. For this reason, in the transmission device 2 according to the present embodiment, it is possible to suppress deterioration in media quality when the communication quality rapidly decreases while satisfying high QoE. In other words, media distribution with high user experience quality can be performed.
- the system includes the transmission device 2 that performs media distribution with high user experience quality. Therefore, the media distribution system according to the present embodiment can similarly perform media distribution with high user experience quality.
- FIG. 10 is a schematic diagram of a media distribution system 100 according to a modification of the first embodiment.
- the transmission device 2 is connected to a plurality of lines 3, the plurality of lines 3 are aggregated halfway between the transmission device 2 and the reception device 4, and the reception device 4 is connected to a single line 32. It may be a configuration.
- the transmission device 2 may be connected to a single line and the reception device 4 may be connected to a plurality of lines.
- the media distribution system 100 according to the first embodiment may have a configuration in which a plurality of lines 3 connected to the transmission device 2 exist. That is, it is sufficient if there are a plurality of logical lines between the transmission device 2 and the reception device 4.
- the communication unit 16 may be a single communication unit or a plurality of communication units corresponding to a plurality of logical lines.
- the communication unit 16 is a single communication unit, information related to the communication quality of a plurality of lines is acquired.
- the data distribution unit 13 of the transmission apparatus 2 distributes the frame data of the video data so as to be the same as the ratio of the usable bandwidth of each of the lines 3_1 to 3_n as a method for minimizing the reproduction delay.
- the present invention is not limited to this, and media data may be distributed in consideration of the amount of untransmitted data accumulated in the transmission buffer of each line 3.
- the communication unit 16 may not be able to immediately transmit the data received from the data distribution unit 13, and the transmission buffer temporarily stores the data before transmission to the line 3. have.
- the data distribution unit 13 determines the ratio of the available bandwidth of each line classified as the main line, the amount of media data allocated to each line classified as the main line, The data amount of the media data may be distributed to each line classified as the main line so that the ratio of the total value with the data amount buffered in the connected communication unit matches.
- the allocated data amount is a data amount that is predicted when the allocated data amount is assigned to each line classified as the main line.
- FIG. 11 is a diagram for explaining an example of data distribution according to the modification of the first embodiment.
- FIG. 11 shows, from the left, the line number, the usable bandwidth of each line, the amount of buffering data for each line, the amount of assigned data and the amount of transmission data when assigned to each line.
- the buffering data amount is a total value of the data amount buffered in each line and in the communication unit connected to the line.
- the allocated data amount is a data amount predicted when the allocation is made to each line classified as the main line
- the transmission data amount is a total data amount of the buffering data amount and the allocated data amount.
- the transmission apparatus 2 is connected to the lines 3_1 to 3_3, and the lines 3_1 and 3_2 are classified as main lines.
- the usable bandwidth of the line 3_1 is 1000 kbps
- the usable bandwidth of the line 3_2 is 600 kbps
- the amount of buffering data buffered in the line 3_2 and the communication unit 16_2 is 2000 bytes
- the transmission apparatus 2 transmits the data.
- the video frame is assumed to be 32000 bytes.
- the ratio of the transmission data amount of each line 3 is 5: 3.
- the data distribution unit 13 additionally allocates the allocated data amount to each line 3. By doing so, transmission from the line 3_1 and the line 3_2 is completed at the same time including the buffering data amount, and the transmission delay is minimized. That is, the reproduction delay is minimized, and the same effect as in the first embodiment can be obtained.
- the second embodiment is an improved example of the first embodiment.
- the second embodiment is different from the first embodiment in the configuration of the data distribution unit 13 of the transmission device 2.
- description of each structure is omitted.
- the data distribution unit 13 does not transmit media data to the sub line.
- the data distribution unit 13 transmits a part of media data of data to be transmitted through the main line, through one or more lines classified as sub-lines. .
- the data distribution unit 13 is configured to distribute media data not only to the main line but also to one or more lines classified as sub-lines.
- the data distribution unit 13 sends a part of the media data transmitted from each line classified as the main line via the sub line in an order different from the order of the media data transmitted via the main line. To send.
- FIG. 12 is a diagram for explaining an example of the media data transmission operation according to the second embodiment.
- the lines between the transmission apparatus 2 and the reception apparatus 4 are three lines, line 3_1 to line 3_3, line 3_1 and line 3_2 are classified as main lines, and line 3_3 is classified as a sub line.
- the media data transmitted from the transmission apparatus 2 is video data, and one video frame is composed of eight packets with sequence numbers 1 to 8.
- the data distribution unit 13 distributes media data so that sequence numbers 1 to 5 are transmitted on the line 3_1 and sequence numbers 6 to 8 are transmitted on the line 3_2.
- the data distribution unit 13 is a sub-line in order from the end of the packets transmitted through the line 3_1 and the line 3_2, that is, in an order different from the packet transmitted through the main line. Distribution is performed so as to transmit from the line 3_3. That is, the data distribution unit 13 receives the packet with the sequence number 8 which is the last packet transmitted via the line 3_1 and the packet with the sequence number 8 which is the last packet transmitted via the line 3_2.
- the media data is distributed so as to be transmitted from the line 3_3 which is a line.
- the packet with the sequence number 4 that is the second packet from the last transmitted via the line 3_1 may also be transmitted from the line 3_3.
- the line 3_3 may be transmitted in the order of sequence numbers 8, 5, and 4.
- a part of the packet transmitted via the main line may be transmitted using all lines classified as sub-lines, and the sub-lines are classified.
- a part of the packet transmitted through the main line may be transmitted using a part of the line.
- the receiving device 4 can reproduce the video frame with little delay. That is, the data distribution unit 13 transmits a part of the packet transmitted via the main line in an overlapping manner from the sub line, thereby reducing the delay until the video is displayed. Therefore, according to the transmission apparatus 2 concerning this Embodiment, compared with Embodiment 1, it becomes possible to perform media delivery with a higher user experience quality. Furthermore, similarly to the media distribution system according to the present embodiment, it is possible to perform media distribution with higher user experience quality compared to the first embodiment.
- the data distribution unit 13 of the transmission device 2 may use the media data transmitted via the sub line as redundant data of the media data transmitted via the main line.
- the redundant data refers to media data transmitted from the transmission device 2 among the media data transmitted from the transmission device 2, but lost without reaching the reception device 4.
- FIG. 13 is a diagram for explaining an example of the media data transmission operation according to the modification of the second embodiment.
- the packets a and b transmitted on the line 3_3 are redundant packets. That is, among the packets with sequence numbers 1 to 8 transmitted via the line 3_1 and the line 3_2, the packet does not reach the receiving device 4 and has lost.
- the data distribution unit 13 restores a lost packet by transmitting a redundant packet and combining the packet already received by the receiving device 4 with the redundant packet transmitted via the sub line. Is possible. In other words, with this configuration, for example, even if a transmitted packet is lost due to a transmission error on the main line, it is possible to receive the redundant packet transmitted on the sub line and recover the lost packet. Therefore, media quality deterioration can be suppressed.
- the data distribution unit 13 can estimate the usable bandwidth of the sub line by transmitting the redundant data via the sub line. Therefore, when the usable bandwidth of the secondary line rises in a certain time zone and the bit rate determination unit 12 determines that QoE is improved by switching the secondary line to the primary line, the secondary line is immediately switched from the secondary line to the primary line. I can do it. Therefore, according to such a configuration, the same effect as in the second embodiment can be obtained.
- Embodiment 3 is an improved example of the first embodiment.
- the structure of the communication quality estimation part 11 and the data distribution part 13 of the transmitter 2 differs from Embodiment 1.
- FIG. 1 since it is the same as that of Embodiment 1 about structures other than the communication quality estimation part 11 and the data distribution part 13, description of each structure is omitted.
- the communication quality estimation unit 11 estimates (predicts) the probability distribution of the usable bandwidth of each line 3.
- the communication quality estimation unit 11 estimates the available bandwidth of each line 3 based on information from the communication unit 16.
- the communication quality estimation unit 11 estimates the communication quality of each line 3 using the fixed value.
- the communication quality estimation unit 11 is configured to estimate (predict) the probability distribution of the usable bandwidth of each line 3.
- FIG. 14 is a diagram showing an example of the probability distribution of the available bandwidth for each line 3.
- the horizontal axis in FIG. 14 represents the available bandwidth for one of the lines 3, and the vertical axis represents the probability density. It is known that the future probability distribution of the speed of the communication line of each line 3 becomes a normal distribution with a certain available bandwidth as an average value as shown by a curve L2. Therefore, the communication quality estimation unit 11 estimates the probability distribution of the usable bandwidth of each line 3 based on the information from the communication unit 16, that is, the curve L2 in FIG.
- the data distribution unit 13 determines the distribution of the data amount of the media data to be transmitted based on the probability distribution of the available bandwidth of each line 3 estimated by the communication quality estimation unit 11. In the first embodiment, the data distribution unit 13 distributes the data amount of media data to be transmitted according to the ratio of the data amount of each line classified as the main line. On the other hand, in the present embodiment, the data amount of media data to be transmitted is allocated to the main line based on the probability distribution of the usable bandwidth of each line 3 estimated by the communication quality estimation unit 11.
- the data distribution unit 13 serves as the main line so that the expected value of the transmission delay is minimized based on the probability distribution of the usable bandwidth of each line 3 estimated by the communication quality estimation unit 11. Distribute media data to each classified line.
- FIG. 15 is a diagram illustrating the relationship between the available bandwidth and the transmission delay.
- FIG. 16 is a flowchart for determining the amount of media data allocated to each line classified as the main line.
- FIG. 15 is a diagram showing the relationship between the speed of the communication line and the delay time of the line when the media data, for example, the size of the video frame is 12.5 Kbytes.
- the horizontal axis represents the available bandwidth
- the vertical axis represents the delay time required for transmission of the video frame.
- the relationship between the available bandwidth of each line 3 and the delay time is inversely proportional as shown by a curve L3 in FIG. 14 and 15 are the same line. That is, by using FIGS. 14 and 15, the relationship among the available bandwidth, the probability density, and the delay time can be obtained.
- the delay time waits for transmission by the transmission delay required for transmission of the line 3 from the transmission apparatus 2 to the reception apparatus 4 and a queue of a communication apparatus such as a router existing in the transmission apparatus 2 or the line 3.
- This is the sum of the queuing delays that are In the example shown in FIG. 15, the transmission delay is 0.02 seconds, and the queuing delay is calculated from the frame size of media data to be transmitted / the available bandwidth.
- F (c) and the delay time when the available bandwidth is c in FIG. 15 is d (c)
- the expected value dE (p) of the delay time of the line 3_p is expressed by the relational expression (1) become that way.
- the data distribution unit 13 obtains a combination of a1 to an in which the video frame size when the data amount to be allocated to the line 3_p is ap satisfies the relational expression (2) and the relational expression (3) is the minimum, The data amount of media data that minimizes the expected value of the delay time can be distributed.
- the optimum solution of the above problem it may be calculated by a full search method that calculates the expected value of the delay time for all combinations of a1 to an and selects the smallest one, using an approximate solution method.
- A1 to an that minimizes the expected value of the delay may be obtained.
- FIG. 16 is a flowchart for explaining an example of an approximate solution for obtaining an optimal solution of the above problem.
- this approximate solution it is determined by gradually increasing the amount of media data so that the expected value of the delay time is as uniform as possible on the main lines 3_1 to 3_n.
- the data distribution unit 13 initializes the data amount allocated to each of the lines 3_1 to 3_n to 0 (step S1401).
- the data distribution unit 13 determines a data allocation unit u to be allocated to the lines 3_1 to 3_n (Step S1402).
- the data allocation unit u is a value obtained by dividing the frame size transmitted from the transmission device 2 into m equal parts. As m is increased, the expected value of the delay time approaches the lines 3_1 to 3_n evenly. On the other hand, as m is increased, the amount of calculation for calculating the optimum data allocation amount allocated to the lines 3_1 to 3_n increases. Therefore, the values of the data allocation units u and m are appropriately selected depending on the processing capability of the transmission device 2. Note that m may be set to any value in the range of 10 to 100, for example.
- step S1404 the expected value of the delay time when the allocation amount of the lines 3_1 to 3_n is increased from the current value by the data allocation unit u is calculated (step S1404).
- step S1405 the data amount is allocated to the line having the minimum delay time expected value in step S1404 from the current value by the allocation unit u (increase the allocated amount u to the line) (step S1405).
- the data distribution unit 13 distributes the data amount of the media data based on the probability distribution of the available bandwidth prediction value so that the expected value of the delay time is minimized.
- the delay time is inversely proportional to the available bandwidth, the delay increases rapidly when the available bandwidth decreases. Therefore, in the probability distribution shown in FIG. 14, the expected value of the delay time increases in a line having a wide probability density function, that is, a line with a large change in available bandwidth. In other words, in such a line, the fluctuation of the usable bandwidth is large, and when the usable bandwidth is lowered, the QoE is also greatly lowered.
- the data distribution unit 13 determines the amount of data to be distributed to each line classified as the main line based on the expected value of the delay time. The amount of data that can be reduced. Therefore, it is possible to suppress an increase in delay even when the available bandwidth is suddenly reduced, and as a result, QoE is improved. That is, according to the transmission apparatus 2 concerning this Embodiment, it becomes possible to perform media delivery with high user experience quality. Furthermore, the media distribution system according to the present embodiment can similarly perform media distribution with high user experience quality.
- Embodiment 4 the configuration of the bit rate determining unit 12 is different from the configurations of the first to third embodiments. Specifically, in the present embodiment, the bit rate determining operation performed by the bit rate determining unit 12 is different from those in the first to third embodiments, and the operation in step S1202 in FIG. 8 is different.
- the configuration of the bit rate determination unit 12 will be described, and the description of the configuration other than the bit rate determination unit 12 will be omitted.
- the data distribution unit 13 may distribute media data to each line in any of the configurations of the first to third embodiments.
- the bit rate determining unit 12 classifies the lines 3_1 to 3_n between the transmitting apparatus 2 and the receiving apparatus 4 into main lines and sub-lines, and sets all lines classified as main lines. The description has been given by determining the total value of available bands or a value obtained by multiplying the total value by a predetermined coefficient as the bit rate.
- the bit rate determining unit 12 classifies all the lines 3_1 to 3_n as main lines. Then, the bit rate determining unit 12 determines, as the bit rate, a bit rate at which the MOS is reduced by a predetermined specified value from the MOS corresponding to the total value of all available bands of the lines 3_1 to 3_n.
- FIG. 17 is a diagram for explaining the bit rate determination operation of the present embodiment.
- the total available bandwidth of all lines in order from the left, the total available bandwidth of all lines, the MOS for the total available bandwidth of all lines, the bit rate selected (determined) by the bit rate determining unit 12, and the bit rate determining unit 12 selected ( MOS for the determined bit rate, and the difference between the total value of the available bandwidth and the determined bit rate.
- each item and four examples of the bit rate determination operation are shown. That is, the second and subsequent lines from the top in FIG. 17 show examples in the case where the total value of the available bandwidth of all lines is 200 kbps, 1000 kbps, 5000 kbps, and 20000 kbps.
- the MOS corresponding to each bit rate is a MOS determined from the relationship diagram of FIG.
- the bit rate determining unit 12 determines the bit rate corresponding to the MOS that is reduced by a predetermined value from the MOS corresponding to the total value of the available bands of all the lines 3_1 to 3_n.
- the total value of the available bandwidths of all the lines is 200 kbps
- the predetermined specified value is 0.1.
- the corresponding MOS is 2.01 from FIG.
- the bit rate at which the MOS is 1.91, which is a predetermined value that is 0.1 lower than 2.01 is 180 kbps from FIG. 6, so the bit rate determination unit 12 sets the bit rate of the media data to 180 kbps. And decide.
- the bit rate is lower than the corresponding MOS by a predetermined value 0.1, that is, 910 kbps, 2700 kbps, 4600 kbps is determined as the bit rate of the media data.
- the rightmost column is the difference between the total available bandwidth and the determined bit rate.
- the difference between the total value of the available bandwidth and the determined bit rate becomes larger.
- the MOS greatly decreases, so the total available bandwidth of all the lines. A bit rate close to the value is selected.
- the bit rate determination unit 12 reduces the determined bit rate so that it is less affected even when the available bandwidth is reduced. In other words, the bit rate determination unit 12 can determine the bit rate of media data in consideration of both the decrease in MOS due to the decrease in bit rate and the decrease in MOS due to the decrease in available bandwidth.
- the bit rate determination unit 12 determines the bit rate of the media data to be transmitted in consideration of both the decrease in the MOS due to the decrease in the bit rate and the decrease in the MOS due to the decrease in the usable bandwidth. is doing. Therefore, according to the transmission apparatus 2 concerning this Embodiment, QoE can be improved as a result and it becomes possible to perform media delivery with high user experience quality. Furthermore, the media distribution system according to the present embodiment can similarly perform media distribution with high user experience quality.
- FIG. 18 is a block diagram illustrating a hardware configuration of a computer (information processing device) that can implement the communication device 1 or the transmission device 2 according to each embodiment of the present disclosure.
- the communication device 1 and the transmission device 2 include a communication circuit 101, a processor 102, and a memory 103.
- the communication quality estimation unit 11, the bit rate determination unit 12, and the data distribution unit 13 of the communication device 1 described in the outline of the embodiment are realized by the processor 102 reading and executing a program stored in the memory 103. .
- the communication quality estimation unit 11 may be realized by the communication circuit 101.
- the communication units 16_1 to 16_n of the transmission device 2 described in the first to fourth embodiments are realized by the communication circuit 101.
- the communication quality estimation unit 11, the bit rate determination unit 12, the data distribution unit 13, the data input unit 14, and the encoding unit 15 of the transmission apparatus 2 described in the first to fourth embodiments are stored in the processor 102. This is realized by reading and executing the program stored in 103.
- the communication quality estimation unit 11 may be realized by the communication circuit 101.
- Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
- non-transitory computer-readable media examples include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
- the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
- the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
- this program is not limited to the OS ( A case where the functions of the above-described embodiment are realized in cooperation with Operating System or application software is also included in the embodiment of the present invention. Furthermore, the present invention is also applicable to the case where the functions of the above-described embodiment are realized by performing all or part of the processing of the program by a function expansion board inserted into the computer or a function expansion unit connected to the computer. It is included in the embodiment.
- a communication device that distributes media data to other communication devices via a plurality of lines, A communication quality estimation unit for estimating the communication quality of each line; A bit for calculating an index value indicating a user experience quality when each line is used from the estimated communication quality of each line, and determining a bit rate of the media data based on the calculated index value A rate determination unit; A data distribution unit that distributes the data amount of the media data to each line based on the estimated communication quality of each line and the determined bit rate; A communication device comprising: (Appendix 2) The communication quality is a communication speed, The bit rate determining unit classifies each line into a main line that mainly transmits the media data and a sub-line that auxiliaryly transmits the media data based on the calculated index value, A total value of communication speeds of all lines classified as the main line or a value obtained by multiplying the total value by a predetermined coefficient is determined as
- the bit rate determining unit calculates an improvement value of the index value when the line is used for each line, and the calculated improvement value of the index value is equal to or greater than a predetermined threshold value , Classify the line as a main line, and if it is less than a predetermined threshold, classify the line as a sub line;
- the communication device according to attachment 2.
- the data distribution unit distributes the data amount of the media data to each line classified as the main line according to a ratio of the communication speed of each line classified as the main line.
- the communication apparatus according to appendix 2 or 3.
- the data distribution unit includes a ratio of the communication speed of each line classified as the main line, a data amount of the media data in the case of distribution to each line classified as the main line, and the line and the line The amount of the media data is distributed to each line classified as the main line so that the ratio of the total value with the amount of data buffered in the communication unit connected to The communication device according to any one of appendices 2 to 4.
- the data distribution unit transmits a part of the media data to be transmitted from the main line through at least one line classified as the sub line, 6.
- the communication device according to any one of appendices 2 to 5.
- the communication quality estimation unit estimates a probability distribution of communication speed of each line, The data distribution unit distributes the data amount of the media data to each line so that the expected value of the delay time calculated from the probability distribution of the communication speed of each line is minimized.
- the communication device according to any one of appendices 1 to 3 and 6.
- the communication quality estimation unit estimates a communication speed of each line, The bit rate determining unit classifies each line as a main line, calculates the index value from a total value of communication speeds of the lines, and decreases a predetermined value set in advance from the calculated index value A bit rate corresponding to the value is determined as the bit rate of the media data;
- the communication device according to any one of appendices 1, 4, and 5.
- a media distribution system that includes a transmission device and a reception device, and distributes media data from the transmission device to the reception device via a plurality of lines
- the transmitter is A communication quality estimation unit for estimating the communication quality of each line; A bit for calculating an index value indicating a user experience quality when each line is used from the estimated communication quality of each line, and determining a bit rate of the media data based on the calculated index value A rate determination unit; A data distribution unit that distributes the data amount of the media data to each line based on the estimated communication quality of each line and the determined bit rate;
- a media distribution system comprising: (Appendix 10) A media distribution method for distributing media data to other communication devices via a plurality of lines, Estimate the communication quality of each line, Calculating an index value indicating a user experience quality when using each line from the estimated communication quality of each line, and determining a bit rate of the media data based on the calculated index value; Based on the estimated communication quality of each line and the determined bit rate, the data amount of the media data data
- the data distribution unit transmits, to at least one line classified as the sub line, a part of the media data in an order different from the data transmission order of the media data transmitted from the main line.
- the communication device according to attachment 6.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
ユーザ体感品質の高いメディア配信が可能な、通信装置、メディア配信システムおよびメディア配信方法を提供することを目的とする。通信装置(1)は、他の通信装置に複数の回線(3_1~3_n)を介してメディアデータを配信する通信装置(1)であって、各回線(3)の通信品質を推定する通信品質推定部(11)と、各回線(3)の推定された通信品質から各回線(3)を使用した場合のユーザ体感品質を示す指標値を算出し、算出された指標値に基づいて、メディアデータのビットレートを決定するビットレート決定部(12)と、各回線(3)の推定された通信品質と決定されたビットレートとに基づいて、メディアデータのデータ量を各回線(3)に振り分けるデータ振り分け部(13)と、を備える。
Description
本発明は、通信装置、メディア配信システム、メディア配信方法および非一時的なコンピュータ可読媒体に関する。
近年、映像等のメディアデータを、ネットワークを介してリアルタイムに遠隔地へ配信する機会が増加している。多くの場合、例えば、インターネットや無線ネットワークなどの通信品質が保証されないネットワークが使用される。そのため、通信速度が低下すると、メディア品質劣化(例えば、映像の乱れや途切れなど)が発生する。そこで、通信速度に応じてメディアの品質を切り換えながら配信する技術が提案されている(例えば、非特許文献1および2)。
しかしながら、通信回線の速度が低い場合には、非特許文献1および2に開示されている技術を用いても高品質なメディア配信は実現できない。そのため、複数の通信回線を使用して、通信速度の合計値を向上させ、メディア品質向上を図る技術が提案されている(例えば、特許文献1)。
特許文献1では、クライアント装置が複数の通信インタフェースを含み、各インタフェースがダウンロードするコンテンツは相補的である(重複がない)。クライアント装置は、各通信インタフェースの利用可能なビットレート(通信速度)に基づいて要求ビットレートを決定し、複数のインタフェースを使用してコンテンツをダウンロードする。
IETF Internet-Draft: HTTP Live Streaming draft-pantos-http-live-streaming-20
ISO/IEC 23009-1:2014 Dynamic adaptive streaming over HTTP (DASH) -- Part 1: Media presentation description and segment formats
しかしながら、特許文献1に開示される技術では、各通信インタフェースの通信速度から要求ビットレートを決定しているが、ユーザ体感品質(QoE:Quality of Experience)を考慮していない。そのため、特許文献1に開示された技術では、ユーザ体感品質(QoE)が低下する可能性がある。
本発明はこのような問題を解決するためになされたものであり、ユーザ体感品質の高いメディア配信が可能な、通信装置、メディア配信システムおよびメディア配信方法を提供することを目的とする。
本発明の第1の態様にかかる通信装置は、他の通信装置に複数の回線を介してメディアデータを配信する通信装置であって、各回線の通信品質を推定する通信品質推定部と、前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、を備える。
本発明の第2の態様にかかるメディア配信システムは、送信装置と受信装置とを備え、前記送信装置から前記受信装置に複数の回線を介してメディアデータを配信するメディア配信システムであって、前記送信装置は、各回線の通信品質を推定する通信品質推定部と、前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、を備える。
本発明の第3の態様にかかるメディア配信方法は、他の通信装置に複数の回線を介してメディアデータを配信するメディア配信方法であって、各回線の通信品質を推定し、前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定し、前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分ける。
本発明によれば、ユーザ体感品質の高いメディア配信を行うことが可能となる。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一の要素には、同一の符号を付し、重複する説明は省略される。
(実施の形態の概要)
実施の形態の説明に先立って、本実施の形態の概要を説明する。図1は、実施の形態の概要にかかる通信装置1の構成例を示す構成図である。通信装置1は、複数の回線(回線3_1~3_n、nは2以上の任意の整数)を介して、図示しない他の通信装置に対して、メディアデータを配信する通信装置である。通信装置1は、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ等であってもよい。複数の回線3_1~3_nは、有線であってもよく、無線であってもよく、有線と無線とが混在していてもよい。メディアデータは、例えば、映像、音声、触覚や力覚などのセンサ情報等であってもよい。なお、以降の説明では、複数の回線(回線3_1~3_n)を称して回線3と記載し、複数の回線(回線3_1~3_n)のそれぞれを各回線3と記載することがある。
(実施の形態の概要)
実施の形態の説明に先立って、本実施の形態の概要を説明する。図1は、実施の形態の概要にかかる通信装置1の構成例を示す構成図である。通信装置1は、複数の回線(回線3_1~3_n、nは2以上の任意の整数)を介して、図示しない他の通信装置に対して、メディアデータを配信する通信装置である。通信装置1は、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ等であってもよい。複数の回線3_1~3_nは、有線であってもよく、無線であってもよく、有線と無線とが混在していてもよい。メディアデータは、例えば、映像、音声、触覚や力覚などのセンサ情報等であってもよい。なお、以降の説明では、複数の回線(回線3_1~3_n)を称して回線3と記載し、複数の回線(回線3_1~3_n)のそれぞれを各回線3と記載することがある。
通信装置1は、通信品質推定部11と、ビットレート決定部12と、データ振り分け部13と、を備える。
通信品質推定部11は、通信装置1と他の通信装置との間の各回線3の通信品質を推定する。通信品質は、例えば、可用帯域、通信スループット等の通信速度、メディアデータの送信または受信に要する時間から算出された通信速度、配信するメディアデータの送信または受信に要する時間等であってもよい。
通信品質推定部11は、通信装置1と他の通信装置との間の各回線3の通信品質を推定する。通信品質は、例えば、可用帯域、通信スループット等の通信速度、メディアデータの送信または受信に要する時間から算出された通信速度、配信するメディアデータの送信または受信に要する時間等であってもよい。
ビットレート決定部12は、通信品質推定部11が推定した各回線3の通信品質から、各回線3を使用した場合のユーザ体感品質を示す指標値を算出し、算出したユーザ体感品質を示す指標値に基づいて、配信するメディアデータのビットレートを決定する。ビットレート決定部12は、算出したユーザ体感品質を示す指標値が高くなるように、配信するメディアデータのビットレートを決定する。ユーザ体感品質を示す指標値は、例えば、ユーザ体感品質を表すQoE(Quality of Experience)、QoEの平均値であるMOS(Mean Opinion Score)等であってもよい。
データ振り分け部13は、通信品質推定部11が推定した各回線3の通信品質の推定結果と、ビットレート決定部12が決定したメディアデータのビットレートと、に基づいて、各回線3に振り分ける配信するメディアデータのデータ量を決定し、決定したデータ量を各回線3に振り分ける。
実施の形態にかかる通信装置1では、ビットレート決定部12は、通信品質推定部11が推定した各回線3の通信品質から、各回線3を使用した場合のユーザ体感品質を示す指標値を算出し、算出したユーザ体感品質を示す指標値に基づいて、配信するメディアデータのビットレートを決定する。そのため、実施の形態にかかる通信装置1によれば、ユーザ体感品質を考慮したメディア配信を行うことが可能となる。つまり、ユーザ体感品質が高いメディア配信を行うことが可能となる。
そして、データ振り分け部13が、通信品質推定部11が推定した各回線3の通信品質の推定結果と、ビットレート決定部12が決定したビットレートと、に基づいて、各回線3に配信するメディアデータのデータ量を決定する。また、上述したように、ビットレート決定部12は、算出した各回線3を使用した場合のユーザ体感品質を示す指標値が高くなるように、配信するメディアデータのビットレートを決定している。したがって、実施の形態にかかる通信装置1によれば、ユーザ体感品質の高いメディア配信を行うことが可能となる。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。図2を参照して、実施の形態1にかかるメディア配信システム100について説明する。図2は、実施の形態1にかかるメディア配信システム100の一例を示す概略図である。
以下、図面を参照して本発明の実施の形態について説明する。図2を参照して、実施の形態1にかかるメディア配信システム100について説明する。図2は、実施の形態1にかかるメディア配信システム100の一例を示す概略図である。
メディア配信システム100は、送信装置2から複数の回線(回線3_1~回線3_n)を介して、受信装置4に対してメディアデータを配信するシステムである。メディアデータは、例えば、映像、音声、触覚や力覚などのセンサ情報等であってもよい。メディア配信システム100は、例えば、撮影した映像や音声を遠隔地へ配信するライブ映像配信システム、遠隔地間でコミュニケーションを取るためのテレビ会議システム、テレプレゼンスシステム、触覚や力覚情報を使用した遠隔作業システム等であってもよい。
メディア配信システム100は、メディアデータを配信する送信装置2と、回線3_1~回線3_nと、送信装置2から配信されたメディアデータを受信する受信装置4と、を備える。
送信装置2および受信装置4は、例えば、携帯電話、スマートフォン、タブレット端末、パーソナルコンピュータ等であってもよい。送信装置2は、実施の形態の概要における通信装置1に相当する。受信装置4は、実施の形態の概要における他の通信装置に相当する。回線3は、有線であってもよく、無線であってもよく、有線と無線とが混在していてもよい。回線3は、例えば、同一オペレータが提供する有線回線、異なるオペレータが提供する有線回線とモバイル回線との組み合わせ、同一オペレータの提供する複数のモバイル回線、異なるオペレータの提供するモバイル回線の組み合わせ、モバイル回線と公衆無線LAN(Local Area Network)との組み合わせ、2.4GHzと5GHzとの無線LANの組み合わせ等、いかなる組み合わせであってもよい。
次に、図3を参照して、送信装置2の構成例を説明する。図3は、実施の形態1にかかる送信装置2の一例を示す構成図である。送信装置2は、通信品質推定部11、ビットレート決定部12、データ振り分け部13、データ入力部14、符号化部15、および通信部16_1~通信部16_nを備える。ここで、nは、2以上であり、回線3の数と等しい整数である。なお、以降、通信部16_1~通信部16_nを称して通信部16と記載し、通信部16_1~通信部16_nのそれぞれを各通信部16と称して記載することがある。
通信品質推定部11は、実施の形態の概要における通信品質推定部11に相当する。通信品質推定部11は、後述する通信部16_1~16_nが取得する情報を基に、複数の回線3_1~3_nの各々の通信品質を推定する。通信品質推定部11は、回線3_1~3_nの各々の通信品質を推定すると、推定した回線3_1~3_nの各々の通信品質を、後述するビットレート決定部12およびデータ振り分け部13に通知する。
ここで、通信品質の一例について説明する。通信品質は、例えば、単位時間当たりに通信可能なデータ量(bps:bit per second)であってもよく、この場合、具体的には可用帯域や通信スループット等の通信速度であってもよい。通信品質は、メディアデータの送信または受信に要する時間から算出された通信速度であってもよく、例えば、メディアデータが映像を含む場合には、受信装置4において算出した各映像フレームに対する「フレームサイズ÷当該フレームを構成するデータの受信に要した時間」であってもよい。または、受信装置4から送信される、送信装置2からのメディアデータを送信するメディアデータパケットを正常に受信したことを示す確認応答パケット(ackパケット)の受信時刻を用いて、「フレームサイズ÷当該フレームを構成するデータの受信に要した時間」を送信装置2で実施し、通信品質として用いてもよい。または、通信品質は、フレーム毎に算出した値はばらつきが大きい場合には、送信装置2または受信装置4において、指数平滑等のフィルタリング処理を行ってもよく、過大推定を防止するため、前記処理によって算出した値に係数(例えば、0.9など)を乗じた値を用いてもよい。または、通信品質は、メディアデータの送信または受信に要する時間等であってもよい。なお、本明細書においては、説明をする上で便宜的に、通信品質は、可用帯域として説明を行う。しかしながら、これに限定されるものではない。
ビットレート決定部12は、実施の形態の概要におけるビットレート決定部12に相当する。ビットレート決定部12は、通信品質推定部11が推定した各回線3の通信品質から、各回線3を使用した場合のユーザ体感品質を示す指標値を算出し、算出した指標値に基づいて、配信するメディアデータのビットレートを決定する。ビットレート決定部12は、算出したユーザ体感品質に関する指標値が高くなるように配信するメディアデータのビットレートを決定する。ユーザ体感品質を示す指標値は、例えば、ユーザ体感品質を表すQoE、QoEの平均値であるMOS等であってもよい。ビットレート決定部12は、配信するメディアデータのビットレートを決定すると、後述するデータ振り分け部13および符号化部15に決定したビットレートを通知する。
ここで、ビットレート決定部12が、配信するメディアデータのビットレートの決定の仕方について説明する。ビットレート決定部12は、MOSを基にメディアデータのビットレートを決定する。なお、ビットレートは、単位時間あたりのデータ量である。
例えば、メディア配信が映像配信である場合、ビットレートが上昇するほどQoEも上昇するが、ビットレートの上昇量とQoEの上昇量は非線形の関係であることが知られている。ビデオ会議のQoEを算出(推定)する手法として、ITU-T G.1070で規定されている手法が知られている。ITU-T G.1070で規定された手法では、映像のビットレート等の物理的に観測可能な情報から、QoEの平均値であるMOSを推定する。MOSは1から5までの数値であり、大きい値ほどQoEが高いことを表す。
図4は、ビットレートとMOSの関係を示す図であり、ITU-T G.1070のパラメータの中でビットレートのみを変化させた場合のMOSを示す図である。図4の横軸は、映像ビットレート[kbps]を表し、図の右に行くほどビットレートが高いことを意味する。図4の縦軸は、ITU-T G.1070で算出したMOS推定値であり、上に行くほどMOSが高い、つまり、QoEが高いことを意味する。図4において、曲線L1は、映像ビットレートとMOSの関係を表す曲線である。図4において、映像ビットレートが低い領域では、曲線L1の傾きが大きいことから、ビットレートを少し上昇させた場合でも、MOSが大きく向上する。すなわち、QoEが大きく向上する。一方、映像ビットレートが高い領域では、曲線L1の傾きは、ビットレートが低い領域と比較して小さく、ビットレートを上昇させたとしても、MOSはそれほど変化しない。
次に、送信装置2からメディアデータを送信する回線を複数使用した場合のQoEの向上量について説明する。例えば、送信装置2が2本の回線を介してメディアデータを受信装置4に配信するものとし、どちらの回線も可用帯域が100kbpsであるとする。この場合、図4に示すように、送信装置2が1本の回線を使用して100kbpsの映像を送信する場合、MOSは1.50となる。一方、送信装置2が2本の回線を使用して200kbpsの映像を送信する場合、MOSは2.01となり、2回線を使用する場合の方が1回線を使用する場合と比較してMOSが0.51向上する。
次に、送信装置2が2本の回線を介してメディアデータを受信装置4に配信するものとし、2本の回線の可用帯域がどちらも2000kbpsであると仮定する。送信装置2が1回線を使用して2000kbpsの映像を送信した場合、MOSは4.35となる。一方、送信装置2が2回線を使用して4000kbpsの映像を送信した場合、MOSは4.49となる。MOSの向上量は、2回線使用する場合の方が1回線を使用する場合と比較して0.14となる。そのため、MOSの向上量は、100kbpsの回線を2本使用した場合と比較して小さい。
また、送信装置2が2本の回線を介してメディアデータを受信装置4に配信するものとし、回線を2本使用して映像データを振り分けた場合、両方の回線で送信した映像データが全て受信されることにより映像データを再生することができる。換言すると、一方の回線で送信したデータが受信されたとしても、他方の回線で送信したデータが受信されないと映像データを再生することが出来ない。そのため、いずれか一方の回線で可用帯域が急激に低下すると、受信装置4において、送信装置2から送信した映像が再生までの遅延が増加することになる。
ここで、送信装置2に接続された回線3のうち、2つの回線、例えば、回線3_1および回線3_2を用いてメディアデータを配信するとする。この場合、回線3_1および回線3_2に対して、可用帯域が急激に低下する確率をそれぞれp1、p2とすると、少なくとも一方の可用帯域が急激に低下する確率は、p1+(1-p1)p2となる。p1およびp2は共に0以上1以下の範囲の数値であることから、回線3_1のみを使用して可用帯域が急激に低下する確率p1よりも大きくなる。つまり、回線を複数使用してメディアデータを配信する場合、可用帯域の低下によるメディア品質劣化の可能性が上昇する。したがって、複数回線を使用してビットレートを上昇させてもQoEがそれほど上昇しないのであれば、複数回線を使用しない方が好ましい可能性がある。上記説明は、メディアデータが例えば、映像データに限らず、音声データ等の他のメディアデータでも同様である。
そこで、本実施の形態におけるビットレート決定部12は、回線3_1~3_nの各々に対して、当該回線をメディアデータの配信に使用した場合、当該回線を使用しなかった場合のMOSと比較してどれくらい向上するか(つまり、MOSの向上値)を算出する。つまり、ビットレート決定部12は、当該回線を使用した場合、どれくらいQoEが向上するかを算出する。そして、ビットレート決定部12は、当該回線を使用した場合のMOSの向上値を算出し、算出したMOSの向上値が、予め定められた閾値以上である場合には、当該回線をメディアデータの送信を主に行う主回線とし、MOSの向上量が予め定められた閾値未満の場合には当該回線を主回線の補助的な回線である副回線として分類する。
さらに、ビットレート決定部12は、全回線を主回線と副回線に分類した後、主回線に分類された全ての回線の可用帯域の合計値を、メディアデータのビットレートとして決定する。または、ビットレート決定部12は、主回線に分類された全ての回線の可用帯域の合計値に、例えば、0.9などの予め定められた係数を乗じた値を、メディアデータのビットレートとして決定してもよい。なお、より具体的なビットレートの決定動作については後述する。
図3に戻り、送信装置2の構成例について説明を続ける。データ振り分け部13は、実施の形態の概要におけるデータ振り分け部13に相当する。データ振り分け部13は、通信品質推定部11が推定した回線3_1~3_nの各々の通信品質と、ビットレート決定部12が決定したビットレートと、に基づいて、後述する符号化部15により符号化されたメディアデータを回線3_1~3_nにどのように振り分けるかを決定する。具体的には、データ振り分け部13は、配信するメディアデータのデータ量を回線3_1~3_nに振り分ける。データ振り分け部13は、回線3_1~3_nに振り分けるデータ量を決定すると、回線3_1~3_nに対応した通信部16_1~16_nに決定したデータ量分、配信するメディアデータを送信する。
ここで、データ振り分け部13が回線3_1~3_nに送信するメディアデータの振り分けについて説明する。映像等のメディアデータの配信では、QoEはビットレートだけでなく、再生遅延にも依存する。再生遅延は、送信装置2の後述するデータ入力部14からメディアデータが入力され、受信装置4の図示しないデータ出力部から出力されるまでに要する時間である。QoEは再生遅延が短いほど高く、再生遅延が長くなるほど低下する。そのため、QoEを向上させるためには、再生遅延を最小化することが望ましい。例えば、配信するメディアデータが映像データであり、1フレームの映像データを回線3_1~3_nに分割して送信した場合、受信装置4は当該フレームの全データの受信が完了するまで当該映像データの出力ができない。したがって、再生遅延を低減し、QoEを向上させるためには、回線3_1~3_nの再生遅延の最大値を最小化することが望ましい。なお、再生遅延には、後述するデータ入力部14に入力されたメディアデータを送信装置2の内部で処理する処理遅延と、送信装置2から回線3_1~3_nを介して受信装置4に送信するまでの伝送遅延と、を含む。本実施の形態では、伝送遅延を最小化することにより再生遅延を最小化する。
そこで、本実施の形態では伝送遅延を最小化するために、データ振り分け部13は、ビットレート決定部12が分類した主回線を用いて、受信装置4に送信するメディアデータを送信する。つまり、データ振り分け部13が主回線に分類された全ての回線を用いることで、伝送遅延、つまり、再生遅延を最小化し、MOSが高いメディア配信を可能とする。そのため、データ振り分け部13は、ビットレート決定部12が主回線に分類した回線を用いる。
そして、伝送遅延を最小化するために、データ振り分け部13は、主回線に分類された各回線3の可用帯域の比率と、主回線に分類された各回線3に振り分けるデータ量の比率とが一致するようにメディアデータのデータ量を振り分ける。
図5および図6は、データ振り分け部13がメディアデータを振り分ける方法の一例を説明するための図である。図5は、左から回線番号、各回線の可用帯域、回線3_1~回線3_(回線番号)の合計可用帯域、回線3_1~回線3_(回線番号)の合計可用帯域に対応するMOS、各回線の主回線または副回線の分類を表している。図6は左から、回線番号、各回線の可用帯域、各回線への割り当てデータ量を表している。図6の一番下には、送信装置2が受信装置4に送信するメディアデータの総データ量が記載されている。
図5に示すように、送信装置2から3つの回線、例えば、回線3_1~回線3_3を介して、受信装置4にメディアデータを配信するものとし、ビットレート決定部12が、回線3_1および回線3_2を主回線とし、回線3_3を副回線として決定したとする。回線3_1の可用帯域は1000kbpsであり、回線3_2の可用帯域は600kbpsであるとすると、回線3_1と回線3_2との可用帯域の比率は1000:600=5:3の比率となる。データ振り分け部13は、配信するメディアデータ、例えば、映像フレームデータが、回線3_1と回線3_2とで5:3の比率になるように振り分ける。
次に、図6に示すように、例えば、送信装置2から受信装置4へ32000byteのメディアデータを配信すると仮定すると、データ振り分け部13は、回線3_1と回線3_2とを介して配信するメディアデータのデータ量が5:3となるように、つまり、回線3_1には20000byte、回線3_2には12000byteを割り当てる。
図3に戻り、送信装置2の構成例について説明を続ける。データ入力部14は、送信装置2が配信するメディアデータが入力される。メディアデータは、送信装置2の外部から入力されたメディアデータであってもよく、送信装置2で取得したメディアデータであってもよい。また、メディアデータは、例えば、映像、音声、触覚や力覚などのセンサ情報等であり、これらを組み合わせたものでもよい。
メディアデータが映像を含む場合、送信装置2に内蔵されたカメラ等により取得された映像であってもよく、またはUSBやHDMI(登録商標)等のインタフェースで接続されたカメラから入力される映像であってもよい。当該映像は、例えば、数十ミリ秒から数百ミリ秒周期で1フレームごとに入力されてもよい。
メディアデータが音声を含む場合、送信装置2に内蔵されたマイク等から取得された音声であってもよく、またはUSB等のインタフェースで接続されたマイク等から入力される音声であってもよい。当該音声は、例えば、数キロヘルツから数十キロヘルツでサンプリングされた音声サンプルが、数ミリ秒から数百ミリ秒単位で入力されてもよい。
メディアデータがセンサ等の情報の場合には、送信装置2に内蔵されたセンサ等から取得されるセンサ情報であってもよく、またはUSB等のインタフェースで接続されたセンサ等から入力されるセンサ情報であってもよい。当該センサ情報は、例えば、数ミリ秒から数秒周期で入力されてもよい。
符号化部15は、データ入力部14から入力されたメディアデータを、ビットレート決定部12から通知されたビットレート(単位時間あたりのデータ量)になるように符号化(圧縮)する。
符号化部15は、データ入力部14に入力されるメディアデータが映像である場合、例えば、H.264やH.265等の符号化方式を用いてもよい。符号化部15は、データ入力部14に入力されるメディアデータが音声である場合、G.711、G.729、AMR(Adaptive Multi-Rate)-NB(Narrow Band)/WB(Wide Band)、AAC(Advanced Audio Coding)等の符号化方式を用いてもよい。符号化部15は、データ入力部14に入力されるメディアデータがセンサ情報である場合、情報の送信間隔や送信する情報の分解能等を制御する、または、直前に送信した値との差分のみを送信する等によって圧縮してもよい。これらの処理は、送信装置2の上で動作するソフトウェアで実行する他、専用のハードウェアが利用可能な場合には、ハードウェアを利用してもよい。
通信部16_1~16_nは、それぞれ回線3_1~3_nを介して受信装置4と通信を行う通信インタフェースである。通信部16_1~16_nは、例えば、送信装置2に内蔵された通信インタフェースであってもよく、USB等により接続されることにより通信を可能とする通信インタフェースであってもよい。通信部16_1~16_nは、例えば、有線LAN、無線LAN、LTE(Long Term Evolution)等の通信事業者が提供するモバイル回線等の通信インタフェースである。通信部16_1~16_nは、同種の通信インタフェースであってもよく、異なる通信インタフェースの組み合わせであってもよい。
通信部16_1~16_nは、通信品質推定部11が回線3_1~3_nの通信品質を推定するための情報を取得し、通信品質推定部11に取得した情報を送信する。通信品質が、通信速度であり、例えば、可用帯域である場合、回線3_1~3_nの可用帯域の情報を取得してもよい。また、通信品質が、通信速度であり、例えば、通信スループットである場合、回線3_1~3_nに送信するデータ量から通信スループットを算出してもよい。または、通信品質が、通信速度であり、例えば、「フレームサイズ÷当該フレームを構成するデータの受信に要した時間」である場合、フレームサイズと時間を取得してもよく、受信装置4から上記算出結果を受信してもよく、確認応答パケットを受信する受信時刻を取得してもよい。または、通信品質が、メディアデータの送信または受信に要する時間等である場合、送信装置2が送信した時刻と、受信装置4から受信時刻とから算出してもよく、送信装置2が送信した時刻と、確認応答パケットを受信する受信時刻とから算出してもよい。
また、通信部16_1~16_nは、データ振り分け部13から送信されたメディアデータを接続する各回線3を介して受信装置4に送信する。
続いて、図7~図9を用いて、本実施の形態にかかる送信装置2の動作例を説明する。図7は、本実施の形態にかかる送信装置2の全体動作の一例を示すフローチャートである。図8は、本実施の形態にかかるビットレート決定動作の一例を示すフローチャートである。図9は、本実施の形態にかかる主回線と副回線の分類動作の一例を示すフローチャートである。
まず、図7を用いて、本実施の形態にかかる送信装置2の全体動作の一例を説明する。図7に示すように、データ入力部14は、メディアデータの入力を受け付ける(ステップS1101)。メディアデータが映像の場合には、送信装置2に内蔵されたカメラ等、またはUSBやHDMI(登録商標)等のインタフェースによって接続されたカメラ等から、例えば、1フレームごとに入力される。例えば、フレームレートが10の場合には、入力されるメディアデータは、100ミリ秒周期で入力されてもよく、フレームレートが33の場合には33.33...ミリ秒周期で入力されてもよい。また、メディアデータが音声や操作情報、センサ情報等の場合には、入力されるメディアデータは、送信装置2に内蔵されたマイクまたはセンサ等、または接続されたマイクまたはセンサ等から、例えば、20ミリ秒等の一定周期で入力されてもよい。
次に、符号化部15は、データ入力部14から入力されたメディアデータを符号化する(ステップS1102)。このとき、符号化部15は、ビットレート決定部12から指示されたビットレートになるようにパラメータ等を設定する。ビットレート決定部12が、例えば、ビットレートを1Mbpsと決定したとすると、1秒間に配信するデータ量の合計が1Mbitになるように符号化する。なお、ビットレート決定部12は、後述する図8に示すビットレート決定動作において、ビットレートを決定する。
次に、データ振り分け部13は、ビットレート決定部12から受け取ったメディアデータのビットレートと、通信品質推定部11から受け取った各回線3の通信品質を基に、符号化部15で符号化されたメディアデータを回線3_1~3_nに対して、どのように振り分けるかを決定し、各回線3_1~3_nに対応する通信部16_1~16_nに送信する(ステップS1103)。
具体的には、データ振り分け部13は、ビットレート決定部12から受け取ったメディアデータのビットレートと、通信品質推定部11から受け取った各回線3の可用帯域を基に、各回線へ配信するデータ量を決定する。より具体的には、上述したように、データ振り分け部13は、ビットレート決定部12が分類した主回線を用いて、受信装置4に送信するメディアデータを送信する。さらに、データ振り分け部13は、主回線に分類された各回線3の可用帯域の比率と、主回線に分類された各回線3に振り分けるデータ量の比率とが一致するようにメディアデータのデータ量を振り分ける。
例えば、送信装置2が接続する回線数が2(例えば、回線3_1および回線3_2)であり、回線3_1と回線3_2とに振り分けるデータ量が400kbpsと600kbpsとして決定された場合、データ振り分け部13は、配信するメディアデータを回線3_1と回線3_2とに振り分けるメディアデータの比率が4対6となるようにデータを振り分ける。なお、データ振り分け部13は、各回線へ振り分けるデータ量を、後述する図8に示すビットレート決定動作において決定する。
通信部16_1~16_nは、データ振り分け部13から受信したメディアデータを、回線3_1~3_nを介して受信装置4に送信する(ステップS1104)。
送信装置2は、上記のステップS1101からステップS1104までの処理を行った後、メディアデータの送信が全て終了しているかを判定する(ステップS1105)。
送信装置2は、上記のステップS1101からステップS1104までの処理を行った後、メディアデータの送信が全て終了しているかを判定する(ステップS1105)。
メディアデータの送信が全て終了している場合(ステップS1105のYESの場合)、送信装置2は全ての処理を終了する。一方、メディアデータの送信が全て終了していない場合(ステップS1105のNOの場合)、送信装置2は、ステップS1101に戻り、ステップS1101~ステップS1104までの処理を再度行う。例えば、配信するメディアデータが映像であり、30フレーム入力された場合、送信装置2が、30フレーム分の映像データの配信処理が完了していなければ(ステップS1105のNOの場合)、ステップS1101~ステップS1104の処理を繰り返し実行する。一方、送信装置2が、30フレーム分の映像データの配信処理が完了している場合(ステップS1105のYES)、配信処理を終了する。
続いて、図8を参照して、本実施の形態にかかるビットレート決定動作の一例を説明する。ビットレート決定動作は、図7を用いて説明した動作とは独立して行う。ビットレート決定動作は、例えば、送信装置2の起動時に実行されてもよく、一定周期(例えば、1秒周期)で実行されてもよい。または、通信部16_1~16_nが、回線3_1~回線3_nのいずれかの通信品質が大きく変化したことを検知した際に、実行してもよい。または、起動時に実行され、一定周期で実行され、さらに、通信部16_1~16_nが、回線3_1~回線3_nのいずれかの通信品質が大きく変化したことを検知した際に、追加的に実行してもよい。
通信部16_1~16_nは、接続する回線3_1~3_nの情報を取得し、通信品質推定部11は、通信部16_1~16_nからの情報を基に、回線3_1~3_nの通信品質を推定する(ステップS1201)。
ビットレート決定部12は、通信品質推定部11で推定した通信品質を基に、最適なメディアデータのビットレートを決定する(ステップS1202)。具体的には、ビットレート決定部12は、後述する図9において説明する主回線と副回線との分類動作を実施することにより、回線3_1~3_nを主回線と副回線とに分類する。そして、ビットレート決定部12は、回線3_1~3_nのうち、主回線に分類された全ての回線の可用帯域の合計値を、メディアデータのビットレートとして決定する。または、ビットレート決定部12は、主回線に分類された全ての回線の可用帯域の合計値に、例えば、0.9などの予め定められた係数を乗じた値を、メディアデータのビットレートとして決定してもよい。
データ振り分け部13は、ビットレート決定部12から通知されたメディアデータのビットレートと、通信品質推定部11から通知された回線3_1~3_nの通信品質と、に基づいて、各回線3_1~3_nに振り分けるメディアデータのデータ量を決定する(ステップS1203)。具体的には、通信品質推定部11から通知された各回線3の通信品質が、例えば、各回線3の可用帯域である場合、データ振り分け部13は、ビットレート決定部12が分類した主回線に含まれる各回線3に対して、可用帯域の比率と、送信するメディアデータのデータ量の比率とが一致するように、配信するメディアデータのデータ量を決定する。
続いて、図9を参照して、本実施の形態にかかる主回線と副回線との分類動作の一例を説明する。図9に示す動作は、図8に示す動作のステップS1202およびステップS1203の詳細動作とも言える。図9に示す主回線と副回線との分類動作は、ビットレート決定部12が行う。図9を説明する上で、回線3_i(i=1,...,n)の可用帯域をbiとする。また、図9に示す動作例を説明する上で、便宜的に、b1≧b2≧・・・≧bnであるものとして説明を行う。つまり、各回線3の可用帯域が、回線3_1≧回線3_2≧・・・≧回線3_nであるものとして説明を行う。
まず、回線3_1~3_nの各々を可用帯域の大きい順に並べる(ステップS1301)。具体的には、図9に示すように、回線3_1~3_nの可用帯域b1~bnを大きい順に並べ、b1≧b2≧・・・≧bnとする。
次に、可用帯域が最も大きい回線を主回線として分類する(ステップS1302)。図9に示す一例では、回線3_1の可用帯域b1が最も大きいことから、回線3_1は主回線に分類される。
次に、回線x(xはx≧2である整数)について、順に以下の処理を行う(ステップS1303~ステップS1309)。具体的には、xを決定し(ステップS1303)、回線3_1~回線3_x-1にメディアデータを振り分けた場合(映像ビットレートをb1+b2+・・・+bx-1とした場合)のQoEであるQ(x-1)を算出する(ステップS1304)。次に、回線3_1~回線3_xにメディアデータを振り分けた(すなわち、ステップS1304で求めたQ(x-1)に回線3_xを加えた)場合のQoE(x)を算出する(ステップS1305)。
次に、回線3_xを加えることによるQoEの向上値を算出し、算出したQoEの向上値が予め定められた閾値Qth以上であるかを判定する(ステップS1306)。具体的には、QoEの向上値は、Q(x)-Q(x-1)をすることにより算出し、算出した値と所定の閾値Qthと比較して、閾値Qth以上であるかを判定する。
QoEの向上値が所定の閾値Qth以上である場合(ステップS1306のYESの場合)、回線3_xを主回線に分類する(ステップS1307)。そして、xをインクリメントして、つまり、xをx+1にして(ステップS1309)、ステップS1303に戻る。以降、回線3_1~3_nの全てに対して同様の処理を行うか、ステップS1306のNOの場合に該当するか、のいずれかとなるまで上記処理を行う。
一方、QoEの向上値が、所定の閾値Qth未満である場合(ステップS1306のNOの場合)、回線3_xを副回線に分類し(ステップS1308)、ステップS1303~ステップS1309の処理ループを抜ける。そして、回線3_x+1以降(つまり、回線3_x+1~回線3_n)を副回線に分類し(ステップS1310)、本動作を終了する。
なお、上記動作のステップS1301において、回線3を可用帯域が大きい順に並び替える動作を行っている。これは、可用帯域が大きい回線を主回線とすることによりQoEの向上値が高いからである。そのため、上記動作は好適な動作といえる。しかしながら、これには限られず、上記動作のステップS1301において、可用帯域が大きい順に並び替えず、全ての回線3に対して、主回線および副回線の分類を行ってもよい。
ここで、図5を用いて、上記動作の具体例を説明する。前提として、送信装置2に接続されている回線は3つ(回線3_1~回線3_3)であり、回線3_1の可用帯域を1000kbps、回線3_2の可用帯域を600kbps、回線3_3の可用帯域を300kbpsとする。また、ステップS1306の判定で用いる所定の閾値Qthを0.1とする。
まず、可用帯域の大きい順に並べる(ステップS1301)。その結果、回線3_1、回線3_2、回線3_3の順となる。次に、可用帯域が最も大きい回線を主回線に分類する(ステップS1302)。具体的には、回線3_1の可用帯域が最も大きいため、回線3_1を主回線に分類する。
次に、回線3_1の次に可用帯域が大きい回線である回線3_2に対して、つまり、x=2として(ステップS1303)、ステップS1304~ステップS1309までの動作を行う。Q(1)を算出すると(ステップS1304)、図5に示すようにQ(1)=3.93となる。次に、Q(2)を算出すると(ステップS1304)、図5に示すようにQ(2)=4.27となる。
続いて、Q(2)-Q(1)を算出し、所定の閾値Qth以上であるかを判定する(ステップS1305)。Q(2)-Q(1)=0.34であり、所定の閾値Qthである0.1以上の値となることから(ステップS1306のYES)、回線3_2も主回線に分類される(ステップS1307)。
次に、x=3として(ステップS1309)、回線3_3に対しても同様の動作を行う。そうすると、図5に示すように、回線3_3のQ(3)は4.34であり、Q(2)は4.27であることから、Q(3)-Q(2)=0.07となりとなり、所定の閾値Qthである0.1未満となる(ステップS1306のNO)。そのため、回線3_3は副回線に分類される(ステップS1308)。全ての回線3_1~3_3に対して、主回線と副回線との分類が終了すると、ビットレート決定部12は、ビットレートを主回線である回線3_1と回線3_2との可用帯域の合計値である1600kbpsと決定する。
以上、説明したように、本実施の形態では、送信装置2から受信装置4へ複数の回線3を介してメディアデータを送信する場合、通信品質推定部11が、各回線3の通信品質を推定する。ビットレート決定部12は、各回線3の通信品質からQoEを用いて、各回線3をメディアデータの送信を主に行う主回線と、補助的に行う副回線と、に分類する。そして、ビットレート決定部12が、主回線に分類された回線の通信品質(可用帯域)に基づいて、配信するメディアデータのビットレートを決定する。データ振り分け部13は、伝送遅延が最小となるように、つまり、QoEが高くなるように主回線に分類された各回線に振り分けるメディアデータのデータ量を決定する。そのため、本実施の形態にかかる送信装置2によれば、QoEを考慮して、メディアデータの送信を主に行う主回線を決定することが可能となる。さらに、データ振り分け部13は、主回線に分類された各回線に対して、可用帯域を考慮してメディアデータの振り分けを行う。つまり、可用帯域が大きい回線に対して、配信するメディアデータのデータ量を多くして、可用帯域が小さい回線にはデータ量を少なくする。そのため、本実施の形態にかかる送信装置2では、高いQoEを満たしつつ、通信品質の急激な低下時のメディア品質劣化を抑制することが可能となる。換言すると、ユーザ体感品質の高いメディア配信を行うことが可能となる。
また、本実施の形態にかかるメディア配信システムでは、上記の通り、ユーザ体感品質の高いメディア配信を行う送信装置2を含むシステムである。したがって、本実施の形態にかかるメディア配信システムについても同様にユーザ体感品質の高いメディア配信を行うことが可能となる。
(変形例)
第1実施形態にかかるメディア配信システム100に対して、以下のような変形を施してもよい。
<1>以上の説明では、送信装置2と受信装置4とは、それぞれ複数の回線3_1~3_nと接続される形態であった。しかし、これに限定されるものではなく、図10に示すように、回線3の形態が異なってもよい。
第1実施形態にかかるメディア配信システム100に対して、以下のような変形を施してもよい。
<1>以上の説明では、送信装置2と受信装置4とは、それぞれ複数の回線3_1~3_nと接続される形態であった。しかし、これに限定されるものではなく、図10に示すように、回線3の形態が異なってもよい。
図10は、実施の形態1の変形例にかかるメディア配信システム100の概略図である。図10に示すように、送信装置2が複数の回線3と接続され、複数の回線3が送信装置2と受信装置4との中途で集約され、受信装置4が単一回線32と接続されている構成であってもよい。また、送信装置2が単一回線に接続され、受信装置4が複数の回線に接続される構成でもよい。このように、実施の形態1にかかるメディア配信システム100は、送信装置2に接続される回線3は、複数存在する形態であってもよい。すなわち、送信装置2と受信装置4との論理的な回線が複数であればよい。なお、送信装置2が単一回線に接続される場合、通信部16は単一の通信部であってもよく、複数の論理的な回線に対応する複数の通信部であってもよい。なお、通信部16が、単一の通信部である場合、複数の回線の通信品質に関連する情報を取得する。
<2>また、送信装置2のデータ振り分け部13は、再生遅延を最小化する方法として、各回線3_1~3_nの可用帯域の比率と同じになるように、映像データのフレームデータを振り分けることで説明した。しかしながら、これに限られず、各回線3の送信バッファに溜まっている未送信データ量を考慮して、メディアデータの振り分けを行ってもよい。具体的には、一般的に、通信部16は、データ振り分け部13から受け取ったデータを即時に送信することが出来ない場合があり、回線3に送出前のデータを一時的に格納する送信バッファを持っている。また、同様に、各回線3内に存在する図示しないルータ等の通信装置でもバッファリングされているデータが存在する。つまり、各回線3内のバッファリングされているデータ量と通信部16にバッファリングされているデータ量が存在する。
そこで、データ振り分け部13は、主回線に分類された各回線の可用帯域の比率と、主回線に分類された各回線に振り分けた場合のメディアデータの割り当てデータ量と当該回線内および当該回線に接続された通信部にバッファリングされているデータ量との合計値の比率と、が一致するように、メディアデータのデータ量を主回線に分類された各回線に振り分けてもよい。なお、割り当てデータ量とは、主回線に分類された各回線に割り当てた場合に予測されるデータ量である。
図11を参照して、実施の形態1の変形例にかかるデータ振り分けの一例を説明する。図11は、実施の形態1の変形例にかかるデータ振り分けの一例を説明する図である。図11は、左から回線番号、各回線の可用帯域、各回線のバッファリングデータ量、各回線に割り当てた場合の割り当てデータ量、送信データ量を表している。ここで、バッファリングデータ量は、各回線内および当該回線に接続された通信部にバッファリングされているデータ量の合計値である。また、割り当てデータ量は、主回線に分類された各回線に割り当てた場合に予測されるデータ量であり、送信データ量は、バッファリングデータ量と割り当てデータ量との合計データ量である。
図11に示すように、例えば、送信装置2は回線3_1~回線3_3と接続され、回線3_1および回線3_2は主回線に分類されているものとする。回線3_1の可用帯域は1000kbpsであり、回線3_2の可用帯域は600kbpsであるものとし、回線3_2および通信部16_2にバッファリングされているバッファリングデータ量が2000バイトであり、送信装置2が送信する映像フレームは32000バイトであるものとする。図11に示す例では、回線3_1に21250バイト、回線3_2に10750バイトを割り当てると、各回線3の送信データ量の比率が5:3となる。つまり、回線3_1と回線3_2との可用帯域の比率と同じになることから、データ振り分け部13は、割り当てデータ量を各回線3に追加的に割り振ることになる。このようにすることにより、回線3_1および回線3_2からの送信は、バッファリングデータ量も含めて送信が同時に完了することになり、伝送遅延が最小となる。つまり、再生遅延が最小になり、実施の形態1と同様の効果が得られる。
(実施の形態2)
続いて、実施の形態2について説明する。実施の形態2は、実施の形態1の改良例である。実施の形態2は、送信装置2のデータ振り分け部13の構成が実施の形態1と異なる。なお、データ振り分け部13以外の構成については、実施の形態1と同様であることから、各構成の説明は割愛する。
続いて、実施の形態2について説明する。実施の形態2は、実施の形態1の改良例である。実施の形態2は、送信装置2のデータ振り分け部13の構成が実施の形態1と異なる。なお、データ振り分け部13以外の構成については、実施の形態1と同様であることから、各構成の説明は割愛する。
データ振り分け部13は、実施の形態1では、副回線にはメディアデータを送信しない構成であった。一方、本実施の形態では、データ振り分け部13は、主回線を介して送信するデータのうちの一部のメディアデータを重複して副回線に分類された1つ以上の回線を介して送信する。換言すると、データ振り分け部13は、主回線のみならず、副回線に分類された1つ以上の回線にもメディアデータを振り分ける構成である。また、データ振り分け部13は、主回線に分類された各回線から送信するメディアデータのうちの一部のメディアデータを、主回線を介して送信するメディアデータの順序と異なる順序で副回線を介して送信する。
図12を参照して、データ振り分け部13が行う、メディアデータの振り分けの具体例について説明する。図12は、実施の形態2にかかるメディアデータの送信動作の一例を説明する図である。図12に示す一例では、送信装置2と受信装置4との間の回線は回線3_1~回線3_3の3回線であり、回線3_1および回線3_2は主回線に分類され、回線3_3は副回線に分類されている。また、送信装置2から送信されるメディアデータは、映像データとし、1つの映像フレームはシーケンス番号1から8までの8個のパケットで構成されているとする。
図12に示すように、データ振り分け部13は、シーケンス番号1から5を回線3_1で送信し、シーケンス番号6から8を回線3_2で送信するようにメディアデータを振り分けているとする。本実施の形態では、データ振り分け部13は、これに加えて、回線3_1および回線3_2で送信したパケットの末尾から順に、つまり、主回線を介して送信したパケットと異なる順序で、副回線である回線3_3からも送信するように振り分けを行う。すなわち、データ振り分け部13は、回線3_1を介して送信された最後のパケットであるシーケンス番号8のパケットと、回線3_2を介して送信された最後のパケットであるシーケンス番号8のパケットと、を副回線である回線3_3から送信するようにメディアデータを振り分ける。
なお、図12に示す一例では、各主回線である回線3_1および回線3_2を介して送信した最後の1パケットのみを副回線である回線3_3から送信しているが、これに限定するものではなく、例えば、回線3_1を介して送信された最後から2番目のパケットであるシーケンス番号4のパケットも回線3_3から送信してもよい。この場合、回線3_3ではシーケンス番号8、5、4の順番で送信してもよい。
さらに、副回線が2つ以上存在する構成の場合、副回線に分類された全ての回線を用いて主回線を介して送信したパケットの一部を送信してもよく、副回線に分類された一部の回線を用いて主回線を介して送信したパケットの一部を送信してもよい。
このような構成により、例えば、主回線の可用帯域が、ある時間帯に急激に低下して、送信したパケットの一部が受信装置4に遅延して到着する場合でも、副回線で送信したパケットが受信装置4に到着することで受信装置4では、当該映像フレームを遅延が少ない状態で再生することが出来る。すなわち、データ振り分け部13は、主回線を介して送信されたパケットの一部を副回線から重複して送信することにより、映像が表示されるまでの遅延が低減される。したがって、本実施の形態にかかる送信装置2によれば、実施の形態1と比較して、さらにユーザ体感品質の高いメディア配信を行うことが可能となる。さらに、本実施の形態にかかるメディア配信システムについても同様に、実施の形態1と比較して、さらにユーザ体感品質の高いメディア配信を行うことが可能となる。
(変形例)
実施の形態2の送信装置2に対して、以下のような変形をしてもよい。
以上の説明では、送信装置2のデータ振り分け部13は、副回線を介して送信されるメディアデータを、主回線を介して送信されるメディアデータの冗長データとしてもよい。ここで、冗長データとは、送信装置2から送信されたメディアデータのうち、送信装置2から送信したが、受信装置4に到達せずにロスしたメディアデータを言う。
実施の形態2の送信装置2に対して、以下のような変形をしてもよい。
以上の説明では、送信装置2のデータ振り分け部13は、副回線を介して送信されるメディアデータを、主回線を介して送信されるメディアデータの冗長データとしてもよい。ここで、冗長データとは、送信装置2から送信されたメディアデータのうち、送信装置2から送信したが、受信装置4に到達せずにロスしたメディアデータを言う。
図13は、実施の形態2の変形例にかかるメディアデータの送信動作の一例を説明する図である。図13に示す一例では、回線3_3で送信しているパケットaとbは冗長パケットである。つまり、回線3_1および回線3_2を介して送信されたシーケンス番号1から8のパケットのうち、受信装置4には到達せずにロスが発生したパケットである。
このように、データ振り分け部13は、冗長パケットを送信することにより、受信装置4では既に受信したパケットと副回線を介して送信される冗長パケットとを組み合わせることにより、ロスしたパケットを復元することが可能となる。すなわち、このような構成とすることで、例えば、主回線の伝送エラー等によって、送信したパケットがロスした場合でも、副回線で送信した冗長パケットを受信し、ロスしたパケットを回復することが可能であるため、メディア品質劣化を抑制することが出来る。
さらに、データ振り分け部13が、副回線を介して冗長データを送信することにより、副回線の可用帯域を推定することが可能となる。そのため、副回線の可用帯域がある時間帯に上昇し、ビットレート決定部12が、当該副回線を主回線に切り替えることによりQoEが向上すると判断した場合、即座に副回線から主回線に切り換えることが出来る。したがって、このような構成によれば、実施の形態2と同様の効果が得られる。
(実施の形態3)
続いて、実施の形態3について説明する。実施の形態3は、実施の形態1の改良例である。本実施の形態では、送信装置2の通信品質推定部11およびデータ振り分け部13の構成が実施の形態1と異なる。なお、通信品質推定部11およびデータ振り分け部13以外の構成については、実施の形態1と同様であることから、各構成の説明は割愛する。
続いて、実施の形態3について説明する。実施の形態3は、実施の形態1の改良例である。本実施の形態では、送信装置2の通信品質推定部11およびデータ振り分け部13の構成が実施の形態1と異なる。なお、通信品質推定部11およびデータ振り分け部13以外の構成については、実施の形態1と同様であることから、各構成の説明は割愛する。
本実施の形態にかかる送信装置2の構成について説明する。
通信品質推定部11は、各回線3の可用帯域の確率分布を推定(予測)する。実施の形態1では、通信品質推定部11は、通信部16からの情報を基に、各回線3の可用帯域を推定していた。なお、実施の形態1では、通信部16が取得する情報は、確定した値となっていることから、通信品質推定部11は、確定値を用いて各回線3の通信品質を推定していた。一方、本実施の形態では、通信品質推定部11は、各回線3の可用帯域の確率分布を推定(予測)する構成となっている。
通信品質推定部11は、各回線3の可用帯域の確率分布を推定(予測)する。実施の形態1では、通信品質推定部11は、通信部16からの情報を基に、各回線3の可用帯域を推定していた。なお、実施の形態1では、通信部16が取得する情報は、確定した値となっていることから、通信品質推定部11は、確定値を用いて各回線3の通信品質を推定していた。一方、本実施の形態では、通信品質推定部11は、各回線3の可用帯域の確率分布を推定(予測)する構成となっている。
ここで、図14を用いて、通信品質推定部11が推定する、各回線3の可用帯域の確率分布について説明する。図14は、各回線3に対する可用帯域の確率分布の一例を示す図である。図14の横軸は回線3のうちの1つに対する可用帯域を表し、縦軸は確率密度を表している。各回線3の通信回線の速度の未来の確率分布は、曲線L2のように、ある可用帯域を平均値とする、正規分布になることが知られている。そこで、通信品質推定部11は、通信部16からの情報を基に、各回線3の可用帯域の確率分布、つまり、図14における曲線L2を推定する。
データ振り分け部13は、通信品質推定部11が推定した各回線3の可用帯域の確率分布に基づいて、送信するメディアデータのデータ量の振り分けを決定する。実施の形態1では、データ振り分け部13は、送信するメディアデータのデータ量を主回線に分類された各回線のデータ量の比率に応じて振り分けしている。一方、本実施の形態では、通信品質推定部11が推定した各回線3の可用帯域の確率分布に基づいて、送信するメディアデータのデータ量を主回線に割り振る構成となっている。
上述したように、送信装置2から送信したメディアデータの伝送遅延が小さい程、つまり、再生遅延が小さい程、QoEは高くなる。そこで、本実施の形態では、データ振り分け部13は、通信品質推定部11が推定した各回線3の可用帯域の確率分布に基づいて、伝送遅延の期待値が最小になるように、主回線として分類された各回線にメディアデータを振り分ける。
次に、図14~図16を用いて、データ振り分け部13のメディアデータの振り分け方法について説明する。図15は、可用帯域と伝送遅延との関係を示す図である。図16は、主回線に分類された各回線に割り当てるメディアデータのデータ量を決定するフローチャートである。
図15は、メディアデータ、例えば、映像フレームのサイズが12.5KByteとした場合の通信回線の速度と当該回線の遅延時間との関係を表す図である。図15において、横軸は可用帯域を表し、縦軸は映像フレームの伝送に要する遅延時間を表している。各回線3の可用帯域と遅延時間との関係は、図15における曲線L3のように反比例する関係となっている。なお、図14と図15では、同一回線となっている。つまり、図14および図15を用いることで、可用帯域と確率密度と遅延時間との関係が求まる。ここで、遅延時間は、送信装置2から受信装置4までの間の回線3の伝送に要する伝送遅延と、送信装置2または回線3内に存在するルータ等の通信装置のキューで送信待ちをしている時間であるキューイング遅延の和となる。図15に示す例では、伝送遅延を0.02秒とし、キューイング遅延を送信するメディアデータのフレームサイズ÷可用帯域から算出している。
例えば、主回線に分類された回線が回線3_1~3_nであり、回線3_p(p=1~nの任意の整数、nは2以上の任意の整数)に対して、図14において可用帯域がcになる確率をf(c)とし、図15において可用帯域がcの場合の遅延時間をd(c)とすると、この回線3_pの遅延時間の期待値dE(p)は、関係式(1)のようになる。
データ振り分け部13は、回線3_pに割り当てるデータ量をapとしたときの映像フレームサイズが関係式(2)を満たし、関係式(3)が最小となるa1~anまでの組み合わせを求めることで、遅延時間の期待値が最小となるメディアデータのデータ量の振り分けを行うことが出来る。
上記問題の最適解を求める方法として、a1~anのすべての組み合わせに対して遅延時間の期待値を算出し最小になるものを選択する全探索法により算出してもよく、近似解法を用いて遅延の期待値が最小になるa1~anを求めてもよい。
本実施の形態では、演算量を考慮し、少ない演算量で最適解に近い組み合わせを求める近似解法を用いることで説明を行う。図16は、上記問題の最適解を求めるための近似解法の一例を説明するフローチャートである。この近似解法では、遅延時間の期待値が主回線である回線3_1~3_nで可能な限り均等になるように、メディアデータのデータ量を徐々に増やしていくことにより決定する。
まず、データ振り分け部13は、回線3_1~3_nの各々に割り当てるデータ量を0に初期化する(ステップS1401)。次に、データ振り分け部13は、回線3_1~3_nに割り当てるデータ割り当て単位uを決定する(ステップS1402)。データ割り当て単位uは、送信装置2から送信されるフレームサイズをm等分することにより求まる値である。当該mを大きくするほど遅延時間の期待値が回線3_1~3_nで均等に近づく。一方、当該mを大きくするほど、回線3_1~3_nに割り当てる最適なデータ割当量を算出するための演算量が増加する。そのため、データ割り当て単位uおよびmの値は、送信装置2の処理能力により適宜選択される。なお、mは、例えば、10~100の範囲の任意の値を設定してもよい。
データ振り分け部13は、送信装置2から送信されるメディアデータのデータ量であるフレームサイズをm等分し、m回のループ処理により、回線3_1~3_nに割り当てるデータ量を決定する(ステップS1403~ステップS1406)。具体的には、まず、データ振り分け部13は、1回目のループ処理を行うためにj=1とする(ステップS1403)。なお、jは1~mまでの整数である。
次に、回線3_1~3_nの割り当て量を、現在の値からデータ割り当て単位u分、増加させた場合の遅延時間の期待値を算出する(ステップS1404)。次に、回線3_1~3_nのうち、ステップS1404において遅延時間の期待値が最小となる回線に、現在の値から割り当て単位u分、データ量を振り分ける(当該回線に割り当て量u増加させる)(ステップS1405)。次に、次のループ処理を行うために、jを1増加させる(ステップS1406)。以降、ステップS1406において、j=m+1となるまでステップS1403~ステップS1406の動作を実行する。
ステップS1406において、j=m+1となった場合、ステップS1407に移行して、データ振り分け部13は、最終的に回線3_1~3_nの割り当て量を出力する(ステップS1407)。そして、データ振り分け部13は、決定した割り当て量、つまり、メディアデータのデータ量を回線3_1~3_nに割り当てる。
本実施の形態の効果を説明する。本実施の形態では、データ振り分け部13は、可用帯域予測値の確率分布に基づいて、遅延時間の期待値が最小になるように、メディアデータのデータ量の振り分けを行う。図15に示すように、遅延時間は可用帯域に反比例するため、可用帯域が低下すると遅延が急激に増加することになる。そのため、図14に示す確率分布において、確率密度関数の幅が広い回線、つまり、可用帯域の変動の大きな回線では、遅延時間の期待値が増加することになる。すなわち、このような回線では可用帯域の変動が大きく、可用帯域が低下することによりQoEの低下も大きくなってしまう。
そこで、本実施の形態では、データ振り分け部13は、遅延時間の期待値に基づいて、主回線に分類された各回線に振り分けるデータ量を決定することから、可用帯域の変動の大きな回線に振り分けられるデータ量は少なくなる。したがって、可用帯域の急激な低下時にも遅延の増加を抑えることができ、結果としてQoEが向上する。すなわち、本実施の形態にかかる送信装置2によれば、ユーザ体感品質の高いメディア配信を行うことが可能となる。さらに、本実施の形態にかかるメディア配信システムについても同様にユーザ体感品質の高いメディア配信を行うことが可能となる。
(変形例)
実施の形態3の送信装置2に対して、以下のような変形をしてもよい。
以上の説明では、データ振り分け部13は、主回線に分類された回線に割り振ることで説明をした。しかし、データ振り分け部13は、送信装置2に接続する全ての回線に対して、上記方法により配信するメディアデータのデータ量を振り分けることとしてもよい。このような構成としても、実施の形態3と同様の効果が得られる。
実施の形態3の送信装置2に対して、以下のような変形をしてもよい。
以上の説明では、データ振り分け部13は、主回線に分類された回線に割り振ることで説明をした。しかし、データ振り分け部13は、送信装置2に接続する全ての回線に対して、上記方法により配信するメディアデータのデータ量を振り分けることとしてもよい。このような構成としても、実施の形態3と同様の効果が得られる。
(実施の形態4)
続いて、実施の形態4について説明する。実施の形態4は、ビットレート決定部12の構成が実施の形態1~3の構成と異なる。具体的には、本実施の形態では、ビットレート決定部12が行うビットレートの決定動作が、実施の形態1~3と異なり、図8におけるステップS1202の動作が異なる。
続いて、実施の形態4について説明する。実施の形態4は、ビットレート決定部12の構成が実施の形態1~3の構成と異なる。具体的には、本実施の形態では、ビットレート決定部12が行うビットレートの決定動作が、実施の形態1~3と異なり、図8におけるステップS1202の動作が異なる。
そのため、本実施の形態では、ビットレート決定部12の構成について説明をし、ビットレート決定部12以外の構成については説明を割愛する。なお、データ振り分け部13が各回線へメディアデータの振り分けの仕方は、実施の形態1~3のいずれの構成でもよい。
ビットレート決定部12は、実施の形態1~3では、送信装置2から受信装置4までの間の回線3_1~3_nを主回線と副回線に分類し、主回線に分類された全ての回線の可用帯域の合計値または当該合計値に予め定められる係数を乗じた値をビットレートとして決定することで説明を行った。一方、本実施の形態では、ビットレート決定部12は、回線3_1~3_nの全てを主回線として分類する。そして、ビットレート決定部12は、回線3_1~3_nの全ての可用帯域の合計値に対応するMOSから、予め定められる規定値分、MOSが低下するビットレートをビットレートとして決定する。
ビットレート決定部12がビットレート決定動作の具体例について、図17を参照して説明する。図17は、本実施の形態のビットレート決定動作を説明するための図である。図17は、左から順に、全回線の可用帯域の合計値、全回線の可用帯域の合計値に対するMOS、ビットレート決定部12が選択(決定)するビットレート、ビットレート決定部12が選択(決定)するビットレートに対するMOS、可用帯域の合計値と決定したビットレートとの差、を表している。
また、図17の上から順に、各項目の説明、およびビットレート決定動作の4つの例を示している。つまり、図17の上から2行目以降が、全ての回線の可用帯域の合計値が200kbps、1000kbps、5000kbps、20000kbpsの場合の例を示している。各ビットレートに対応するMOSは、図6の関係図より決定されるMOSである。
図17に示すように、ビットレート決定部12は、全ての回線3_1~3_nの可用帯域の合計値に対応するMOSから、予め定められる規定値分低下するMOSに対応するビットレートを決定する。例えば、全ての回線の可用帯域の合計値が200kbpsであり、予め定められる規定値が0.1とする。この場合、対応するMOSは、図6より2.01となる。MOSが2.01より予め定められる規定値である0.1低下する1.91となるビットレートは、図6より180kbpsとなることから、ビットレート決定部12は、メディアデータのビットレートを180kbpsと決定する。
また、全ての回線の可用帯域の合計値が1000kbps、5000kbps、20000kbpsである場合も同様に、対応するMOSよりも予め定められる規定値0.1低下するビットレート、つまり、それぞれ、910kbps、2700kbps、4600kbpsをメディアデータのビットレートとして決定する。
図17において、一番右の列は、可用帯域の合計値と決定したビットレートとの差である。図17の下段ほど、可用帯域の合計値と決定したビットレートとの差は大きくなる。全ての回線の可用帯域(ビットレート)の合計値が小さい場合には、ビットレート決定部12が決定したビットレートを小さくするとMOSが大きく低下してしまうことから、全ての回線の可用帯域の合計値に近いビットレートが選択される。一方で、全ての回線の可用帯域(ビットレート)の合計値が大きい場合には、ビットレート決定部12が決定するビットレートを小さくしてもMOSの値はあまり低下しない。したがって、ビットレート決定部12は、決定するビットレートを低くして、可用帯域が低下しても影響を受けにくくする。すなわち、ビットレート決定部12は、ビットレート低下によるMOSの低下と可用帯域の低下によるMOSの低下の両方を考慮して、メディアデータのビットレートを決定することが可能となる。
続いて、本実施形態の効果を説明する。本実施の形態では、ビットレート決定部12は、上述したように、ビットレート低下によるMOSの低下と、可用帯域低下によるMOSの低下との両方を考慮して送信するメディアデータのビットレートを決定している。したがって、本実施の形態にかかる送信装置2によれば、結果としてQoEを向上させることができ、ユーザ体感品質の高いメディア配信を行うことが可能となる。さらに、本実施の形態にかかるメディア配信システムについても同様にユーザ体感品質の高いメディア配信を行うことが可能となる。
(他の実施の形態)
上述した実施の形態の概要における通信装置1および実施の形態1から実施の形態4における送信装置2は次のようなハードウェア構成を有していてもよい。図18は、本開示の各実施の形態に係る通信装置1または送信装置2を実現可能な、コンピュータ(情報処理装置)のハードウェア構成を例示するブロック図である。
上述した実施の形態の概要における通信装置1および実施の形態1から実施の形態4における送信装置2は次のようなハードウェア構成を有していてもよい。図18は、本開示の各実施の形態に係る通信装置1または送信装置2を実現可能な、コンピュータ(情報処理装置)のハードウェア構成を例示するブロック図である。
図18に示すように、通信装置1および送信装置2は、通信回路101と、プロセッサ102と、メモリ103とを有する。
実施の形態の概要で説明した通信装置1の通信品質推定部11、ビットレート決定部12およびデータ振り分け部13は、プロセッサ102がメモリ103に記憶されたプログラムを読み込んで実行することにより実現される。なお、通信品質推定部11は、通信回路101によって実現されてもよい。
また、実施の形態1から実施の形態4で説明した送信装置2の通信部16_1~16_nは、通信回路101によって実現される。また、実施の形態1から実施の形態4で説明した送信装置2の通信品質推定部11、ビットレート決定部12、データ振り分け部13、データ入力部14および符号化部15は、プロセッサ102がメモリ103に記憶されたプログラムを読み込んで実行することにより実現される。なお、通信品質推定部11は、通信回路101によって実現されてもよい。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
また、上述した通信装置1および送信装置2の任意の処理は、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
また、コンピュータが上述の実施の形態の機能を実現するプログラムを実行することにより、上述の実施の形態の機能が実現される場合だけでなく、このプログラムが、コンピュータ上で稼動しているOS(Operating System)もしくはアプリケーションソフトウェアと共同して、上述の実施の形態の機能を実現する場合も、本発明の実施の形態に含まれる。さらに、このプログラムの処理の全てもしくは一部がコンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによって行われて、上述の実施の形態の機能が実現される場合も、本発明の実施の形態に含まれる。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
他の通信装置に複数の回線を介してメディアデータを配信する通信装置であって、
各回線の通信品質を推定する通信品質推定部と、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、
を備える通信装置。
(付記2)
前記通信品質は、通信速度であり、
前記ビットレート決定部は、前記算出された指標値に基づいて、前記各回線を前記メディアデータの送信を主に行う主回線と前記メディアデータの送信を補助的に行う副回線とに分類し、前記主回線に分類された全回線の通信速度の合計値または前記合計値に予め定められた係数を乗じた値を前記メディアデータのビットレートとして決定する、
付記1に記載の通信装置。
(付記3)
前記ビットレート決定部は、前記各回線に対して、該回線を使用する場合の前記指標値の向上値を算出し、前記算出された前記指標値の向上値が、所定の閾値以上である場合、該回線を主回線に分類し、所定の閾値未満である場合、該回線を副回線に分類する、
付記2に記載の通信装置。
(付記4)
前記データ振り分け部は、前記主回線に分類された各回線の前記通信速度の比率に応じて、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
付記2または3に記載の通信装置。
(付記5)
前記各回線に対応する少なくとも1つ以上の通信部をさらに備え、
前記データ振り分け部は、前記主回線に分類された各回線の前記通信速度の比率と、前記主回線に分類された各回線に振り分けた場合の前記メディアデータのデータ量と当該回線内および当該回線に接続された通信部にバッファリングされているデータ量との合計値の比率と、が一致するように、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
付記2~4のいずれか1項に記載の通信装置。
(付記6)
前記データ振り分け部は、前記主回線から送信する前記メディアデータの一部のデータを、前記副回線に分類された少なくとも1つ以上の回線を介して重複して送信する、
付記2~5のいずれか1項に記載の通信装置。
(付記7)
前記通信品質推定部は、前記各回線の通信速度の確率分布を推定し、
前記データ振り分け部は、前記各回線の前記通信速度の確率分布から算出される遅延時間の期待値が最小となるように前記メディアデータのデータ量を各回線に振り分ける、
付記1~3および6のいずれか1項に記載の通信装置。
(付記8)
前記通信品質推定部は、前記各回線の通信速度を推定し、
前記ビットレート決定部は、前記各回線を主回線に分類し、前記各回線の通信速度の合計値から前記指標値を算出し、前記算出された指標値から予め設定される規定値低下する指標値に対応するビットレートを、前記メディアデータのビットレートとして決定する、
付記1、4および5のいずれか1項に記載の通信装置。
(付記9)
送信装置と受信装置とを備え、前記送信装置から前記受信装置に複数の回線を介してメディアデータを配信するメディア配信システムであって、
前記送信装置は、
各回線の通信品質を推定する通信品質推定部と、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、
を備える、メディア配信システム。
(付記10)
他の通信装置に複数の回線を介してメディアデータを配信するメディア配信方法であって、
各回線の通信品質を推定し、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定し、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分ける、
メディア配信方法。
(付記11)
前記データ振り分け部は、前記副回線に分類された少なくとも1つの回線に対して、前記主回線から送信される前記メディアデータのデータ送信順と異なる順序で前記メディアデータの一部のデータを送信する、
付記6に記載の通信装置。
(付記12)
他の通信装置に複数の回線を介してメディアデータを配信するメディア配信プログラムであって、
各回線の通信品質を推定するステップと、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するステップと、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるステップと、
をコンピュータに実行させるメディア配信プログラム。
(付記1)
他の通信装置に複数の回線を介してメディアデータを配信する通信装置であって、
各回線の通信品質を推定する通信品質推定部と、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、
を備える通信装置。
(付記2)
前記通信品質は、通信速度であり、
前記ビットレート決定部は、前記算出された指標値に基づいて、前記各回線を前記メディアデータの送信を主に行う主回線と前記メディアデータの送信を補助的に行う副回線とに分類し、前記主回線に分類された全回線の通信速度の合計値または前記合計値に予め定められた係数を乗じた値を前記メディアデータのビットレートとして決定する、
付記1に記載の通信装置。
(付記3)
前記ビットレート決定部は、前記各回線に対して、該回線を使用する場合の前記指標値の向上値を算出し、前記算出された前記指標値の向上値が、所定の閾値以上である場合、該回線を主回線に分類し、所定の閾値未満である場合、該回線を副回線に分類する、
付記2に記載の通信装置。
(付記4)
前記データ振り分け部は、前記主回線に分類された各回線の前記通信速度の比率に応じて、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
付記2または3に記載の通信装置。
(付記5)
前記各回線に対応する少なくとも1つ以上の通信部をさらに備え、
前記データ振り分け部は、前記主回線に分類された各回線の前記通信速度の比率と、前記主回線に分類された各回線に振り分けた場合の前記メディアデータのデータ量と当該回線内および当該回線に接続された通信部にバッファリングされているデータ量との合計値の比率と、が一致するように、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
付記2~4のいずれか1項に記載の通信装置。
(付記6)
前記データ振り分け部は、前記主回線から送信する前記メディアデータの一部のデータを、前記副回線に分類された少なくとも1つ以上の回線を介して重複して送信する、
付記2~5のいずれか1項に記載の通信装置。
(付記7)
前記通信品質推定部は、前記各回線の通信速度の確率分布を推定し、
前記データ振り分け部は、前記各回線の前記通信速度の確率分布から算出される遅延時間の期待値が最小となるように前記メディアデータのデータ量を各回線に振り分ける、
付記1~3および6のいずれか1項に記載の通信装置。
(付記8)
前記通信品質推定部は、前記各回線の通信速度を推定し、
前記ビットレート決定部は、前記各回線を主回線に分類し、前記各回線の通信速度の合計値から前記指標値を算出し、前記算出された指標値から予め設定される規定値低下する指標値に対応するビットレートを、前記メディアデータのビットレートとして決定する、
付記1、4および5のいずれか1項に記載の通信装置。
(付記9)
送信装置と受信装置とを備え、前記送信装置から前記受信装置に複数の回線を介してメディアデータを配信するメディア配信システムであって、
前記送信装置は、
各回線の通信品質を推定する通信品質推定部と、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定部と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け部と、
を備える、メディア配信システム。
(付記10)
他の通信装置に複数の回線を介してメディアデータを配信するメディア配信方法であって、
各回線の通信品質を推定し、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定し、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分ける、
メディア配信方法。
(付記11)
前記データ振り分け部は、前記副回線に分類された少なくとも1つの回線に対して、前記主回線から送信される前記メディアデータのデータ送信順と異なる順序で前記メディアデータの一部のデータを送信する、
付記6に記載の通信装置。
(付記12)
他の通信装置に複数の回線を介してメディアデータを配信するメディア配信プログラムであって、
各回線の通信品質を推定するステップと、
前記各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するステップと、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるステップと、
をコンピュータに実行させるメディア配信プログラム。
この出願は、2017年3月28日に出願された日本出願特願2017-063328を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 通信装置
2 送信装置
3_1~3_n、32 回線
4 受信装置
11 通信品質推定部
12 ビットレート決定部
13 データ振り分け部
14 データ入力部
15 符号化部
16_1~16_n 通信部
100 メディア配信システム
2 送信装置
3_1~3_n、32 回線
4 受信装置
11 通信品質推定部
12 ビットレート決定部
13 データ振り分け部
14 データ入力部
15 符号化部
16_1~16_n 通信部
100 メディア配信システム
Claims (12)
- 他の通信装置にメディアデータを配信する複数の回線の各々の通信品質を推定する通信品質推定手段と、
各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定手段と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け手段と、
を備える通信装置。 - 前記通信品質は、通信速度であり、
前記ビットレート決定手段は、前記算出された指標値に基づいて、前記各回線を前記メディアデータの送信を主に行う主回線と前記メディアデータの送信を補助的に行う副回線とに分類し、前記主回線に分類された全回線の通信速度の合計値または前記合計値に予め定められた係数を乗じた値を前記メディアデータのビットレートとして決定する、
請求項1に記載の通信装置。 - 前記ビットレート決定手段は、前記各回線に対して、該回線を使用する場合の前記指標値の向上値を算出し、前記算出された前記指標値の向上値が、所定の閾値以上である場合、該回線を主回線に分類し、所定の閾値未満である場合、該回線を副回線に分類する、
請求項2に記載の通信装置。 - 前記データ振り分け手段は、前記主回線に分類された各回線の前記通信速度の比率に応じて、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
請求項2または3に記載の通信装置。 - 前記各回線に対応する少なくとも1つ以上の通信手段をさらに備え、
前記データ振り分け手段は、前記主回線に分類された各回線の前記通信速度の比率と、前記主回線に分類された各回線に振り分けた場合の前記メディアデータのデータ量と当該回線内および当該回線に接続された通信手段にバッファリングされているデータ量との合計値の比率と、が一致するように、前記メディアデータのデータ量を前記主回線に分類された各回線に振り分ける、
請求項2~4のいずれか1項に記載の通信装置。 - 前記データ振り分け手段は、前記主回線から送信する前記メディアデータの一部のデータを、前記副回線に分類された少なくとも1つ以上の回線を介して重複して送信する、
請求項2~5のいずれか1項に記載の通信装置。 - 前記通信品質推定手段は、前記各回線の通信速度の確率分布を推定し、
前記データ振り分け手段は、前記各回線の前記通信速度の確率分布から算出される遅延時間の期待値が最小となるように前記メディアデータのデータ量を各回線に振り分ける、
請求項1~3および6のいずれか1項に記載の通信装置。 - 前記通信品質推定手段は、前記各回線の通信速度を推定し、
前記ビットレート決定手段は、前記各回線を主回線に分類し、前記各回線の通信速度の合計値から前記指標値を算出し、前記算出された指標値から予め設定される規定値低下する指標値に対応するビットレートを、前記メディアデータのビットレートとして決定する、
請求項1、4および5のいずれか1項に記載の通信装置。 - 前記データ振り分け手段は、前記副回線に分類された少なくとも1つの回線に、前記主回線から送信される前記メディアデータのデータ送信順と異なる順序で前記メディアデータの一部のデータを送信する、
請求項6に記載の通信装置。 - 送信装置と受信装置とを備え、
前記送信装置は、
前記受信装置にメディアデータを配信する複数の回線の各々の通信品質を推定する通信品質推定手段と、
各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定するビットレート決定手段と、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けるデータ振り分け手段と、
を備える、メディア配信システム。 - 他の通信装置にメディアデータを配信する複数の回線の各々の通信品質を推定し、
各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定し、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分ける、
メディア配信方法。 - 他の通信装置にメディアデータを配信する複数の回線の各々の通信品質を推定することと、
各回線の前記推定された通信品質から前記各回線を使用した場合のユーザ体感品質を示す指標値を算出し、前記算出された指標値に基づいて、前記メディアデータのビットレートを決定することと、
前記各回線の前記推定された通信品質と前記決定されたビットレートとに基づいて、前記メディアデータのデータ量を前記各回線に振り分けることと、
をコンピュータに実行させるためのプログラムを格納した非一時的なコンピュータ可読媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019509171A JP7136084B2 (ja) | 2017-03-28 | 2018-03-12 | 通信装置、メディア配信システム、メディア配信方法およびプログラム |
US16/497,561 US11197044B2 (en) | 2017-03-28 | 2018-03-12 | Communication apparatus, media distribution system, media distribution method, and non-transitory computer readable medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-063328 | 2017-03-28 | ||
JP2017063328 | 2017-03-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018180394A1 true WO2018180394A1 (ja) | 2018-10-04 |
Family
ID=63675404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/009380 WO2018180394A1 (ja) | 2017-03-28 | 2018-03-12 | 通信装置、メディア配信システム、メディア配信方法および非一時的なコンピュータ可読媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11197044B2 (ja) |
JP (1) | JP7136084B2 (ja) |
WO (1) | WO2018180394A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020158094A1 (ja) * | 2019-02-01 | 2020-08-06 | 株式会社Nttドコモ | 情報処理装置、サーバ装置及び情報処理システム |
WO2022044164A1 (ja) * | 2020-08-26 | 2022-03-03 | 日本電気株式会社 | 動画品質推定装置、動画品質推定方法、及び動画品質推定システム |
WO2024047876A1 (ja) * | 2022-09-02 | 2024-03-07 | 日本電信電話株式会社 | 映像伝送システム、映像伝送制御方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011049645A (ja) * | 2009-08-25 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP2011082637A (ja) * | 2009-10-03 | 2011-04-21 | Kddi Corp | 期限時刻までにデータの送信を完了するデータ送信装置、プログラム及び方法 |
JP2011199727A (ja) * | 2010-03-23 | 2011-10-06 | Mitsubishi Electric Corp | 複数公衆回線を用いた高帯域動画伝送システムおよび方法 |
JP2012070198A (ja) * | 2010-09-23 | 2012-04-05 | Nec Engineering Ltd | 映像伝送システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5151779A (en) * | 1990-05-30 | 1992-09-29 | Nippon Hoso Kyokai | Signal transmission system for high definition television |
US7974193B2 (en) * | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
EP2362651A1 (en) | 2010-02-19 | 2011-08-31 | Thomson Licensing | Multipath delivery for adaptive streaming |
US10389780B2 (en) * | 2012-02-08 | 2019-08-20 | Arris Enterprises Llc | Managed adaptive streaming |
CA2962040C (en) * | 2014-09-22 | 2020-07-21 | Arris Enterprises Llc | Video quality of experience based on video quality estimation |
JP2016082438A (ja) | 2014-10-17 | 2016-05-16 | 日本電気株式会社 | 通信制御装置、無線通信システム、通信制御方法及び無線基地局 |
-
2018
- 2018-03-12 US US16/497,561 patent/US11197044B2/en active Active
- 2018-03-12 WO PCT/JP2018/009380 patent/WO2018180394A1/ja active Application Filing
- 2018-03-12 JP JP2019509171A patent/JP7136084B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011049645A (ja) * | 2009-08-25 | 2011-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質推定装置、方法、およびプログラム |
JP2011082637A (ja) * | 2009-10-03 | 2011-04-21 | Kddi Corp | 期限時刻までにデータの送信を完了するデータ送信装置、プログラム及び方法 |
JP2011199727A (ja) * | 2010-03-23 | 2011-10-06 | Mitsubishi Electric Corp | 複数公衆回線を用いた高帯域動画伝送システムおよび方法 |
JP2012070198A (ja) * | 2010-09-23 | 2012-04-05 | Nec Engineering Ltd | 映像伝送システム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020158094A1 (ja) * | 2019-02-01 | 2020-08-06 | 株式会社Nttドコモ | 情報処理装置、サーバ装置及び情報処理システム |
JPWO2020158094A1 (ja) * | 2019-02-01 | 2021-11-18 | 株式会社Nttドコモ | 情報処理装置、サーバ装置及び情報処理システム |
JP7253574B2 (ja) | 2019-02-01 | 2023-04-06 | 株式会社Nttドコモ | 情報処理装置、サーバ装置及び情報処理システム |
WO2022044164A1 (ja) * | 2020-08-26 | 2022-03-03 | 日本電気株式会社 | 動画品質推定装置、動画品質推定方法、及び動画品質推定システム |
JP7513101B2 (ja) | 2020-08-26 | 2024-07-09 | 日本電気株式会社 | 動画品質推定装置、動画品質推定方法、及び動画品質推定システム |
WO2024047876A1 (ja) * | 2022-09-02 | 2024-03-07 | 日本電信電話株式会社 | 映像伝送システム、映像伝送制御方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2018180394A1 (ja) | 2020-02-13 |
US20210105513A1 (en) | 2021-04-08 |
US11197044B2 (en) | 2021-12-07 |
JP7136084B2 (ja) | 2022-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101557504B1 (ko) | 채널 적응형 비디오 전송 방법, 이를 이용한 장치 및 이를 제공하는 시스템 | |
JP5989228B2 (ja) | 適応ビットレート・ストリームをスケジューリングするための方法および装置 | |
US9571543B2 (en) | Using quality information for adaptive streaming of media content | |
CN106688239B (zh) | 视频下载方法、装置及系统 | |
US20150195625A1 (en) | Information processing apparatus, information processing system, recording medium, and method for transmission and reception of moving image data | |
KR20160110472A (ko) | 상이한 인코딩 파라미터를 이용해 인코딩되는 복수의 인코딩 스트리밍 | |
WO2018180394A1 (ja) | 通信装置、メディア配信システム、メディア配信方法および非一時的なコンピュータ可読媒体 | |
EP2785068A1 (en) | Video image data delivery device, method and system | |
CA2839436A1 (en) | Method and apparatus for session bandwidth estimation and rate control | |
CN102984495A (zh) | 一种视频图像的处理方法及装置 | |
US20140189064A1 (en) | Method and system for adaptive video transmission | |
WO2017185951A1 (zh) | 一种视频传输方法、基站及系统 | |
CN113038187B (zh) | 视频体验质量公平的实用网络带宽分配方法、设备及介质 | |
JP2012253765A (ja) | データの並列受信のためのストリーム制御方法及び装置 | |
WO2012011490A1 (ja) | コンテンツ取得装置、コンテンツ送信装置、コンテンツ送受信システム、データ構造、制御方法、制御プログラム、及び記録媒体 | |
US20160277468A1 (en) | Adapting Encoded Bandwidth | |
US20160277467A1 (en) | Adapting Encoded Bandwidth | |
US20190037003A1 (en) | Client-driven, abr flow rate shaping | |
CN112350979B (zh) | 数据传输方法和设备 | |
WO2023109053A1 (zh) | 用于服务器的带宽分配方法和装置 | |
JP6793526B2 (ja) | 動画配信システム、配信サーバ、及びプログラム | |
CN108282669A (zh) | 信息处理设备和信息处理系统 | |
JP6903964B2 (ja) | 端末、プログラム、データ送信方法 | |
US10772010B2 (en) | Transmission apparatus, method for controlling transmission, and recording medium | |
WO2022185534A1 (ja) | 符号化パラメータ導出装置、符号化パラメータ導出方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18775834 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019509171 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18775834 Country of ref document: EP Kind code of ref document: A1 |