WO2012114728A1 - 送信データ処理方法、情報処理方法、送信装置、及び受信装置 - Google Patents

送信データ処理方法、情報処理方法、送信装置、及び受信装置 Download PDF

Info

Publication number
WO2012114728A1
WO2012114728A1 PCT/JP2012/001179 JP2012001179W WO2012114728A1 WO 2012114728 A1 WO2012114728 A1 WO 2012114728A1 JP 2012001179 W JP2012001179 W JP 2012001179W WO 2012114728 A1 WO2012114728 A1 WO 2012114728A1
Authority
WO
WIPO (PCT)
Prior art keywords
interface
data
transmission
receiving
communication
Prior art date
Application number
PCT/JP2012/001179
Other languages
English (en)
French (fr)
Inventor
中村　健一
中尾　正悟
上　豊樹
木村　良平
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US13/813,535 priority Critical patent/US9078154B2/en
Priority to JP2013500887A priority patent/JP5923745B2/ja
Publication of WO2012114728A1 publication Critical patent/WO2012114728A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0289—Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6112—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving terrestrial transmission, e.g. DVB-T
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Definitions

  • the present invention relates to a transmission data processing method, an information processing method, a transmission apparatus, and a reception apparatus when transmitting and receiving data using a network in which an available bandwidth varies depending on time or place.
  • Non-Patent Document 1 below.
  • this band is 6-8MHz, which is narrower than the bandwidth (22MHz, 20 / 40MHz) used by Wi-Fi in the past, and several to tens of users share radio waves. . For this reason, when the number of users or the amount of information transmitted per unit user is large, the available bandwidth is limited.
  • the bandwidth of the Wi-Fi network is not sufficient. Due to the delay in feedback of the network status due to the stability and the magnitude of the delay, the followability to the fluctuation of the network is poor. For this reason, if the transmission bit rate of the video stream is not set by estimating the transmittable bandwidth low, congestion may occur at any node of the network, and the video quality may be impaired.
  • Another factor that degrades video quality when bandwidth shortage occurs is that packet loss occurs when bandwidth shortage occurs by uniformly transmitting all the packets that make up the video stream. It is done. In particular, in a low-delay live video transmission service, in order to minimize the amount of network delay, it is often handled as a datagram, and lost packets are not retransmitted. If a packet necessary for video reproduction cannot be received, not only the quality of the video is deteriorated but also a situation in which the video cannot be reproduced for a certain period of time may occur.
  • An object of the present invention is to provide a transmission data processing method, an information processing method, a transmission device, and a reception device that can reduce the above.
  • a transmission data processing method in a previous stage of the data transmission by a transmission device that performs data transmission to a communication partner reception device, wherein the transmission data is transmitted to the reception device A priority assigning step for assigning a priority to each of the plurality of data based on a predetermined criterion, and feedback for receiving feedback information regarding data transmitted from the transmitting device to the receiving device from the receiving device A receiving step, and a step of distributing the plurality of data to a first interface and a second interface used for communication with the receiving device based on the priority and the received feedback information
  • a transmission data processing method is provided.
  • an information processing method for transmitting information to a transmitting device by a receiving device that receives data from a transmitting device of a communication partner wherein the first method is used for communication with the transmitting device.
  • a transmitting device for transmitting data to a receiving device of a communication partner, a wireless communication means comprising a first interface and a second interface used for communication with the receiving device.
  • a transmission unit that transmits a plurality of data to the reception device using the wireless communication unit, and a priority that gives a priority based on a predetermined criterion for each of the data transmitted to the reception device by the transmission unit
  • feedback receiving means for receiving feedback information from the transmitting apparatus to the receiving apparatus from the receiving apparatus, the priority, and the received feedback information, by the transmitting means.
  • the plurality of data to be transmitted is distributed to the first interface and the second interface Transmitting device and a sorting means.
  • a receiving device for receiving data from a transmitting device of a communication partner, a wireless communication means comprising a first interface and a second interface used for communication with the transmitting device, Receiving means for receiving the data from the transmitting device using wireless communication means, feedback obtaining means for obtaining feedback information about the data based on the received data, and the obtained feedback information as the first
  • a receiving device comprising transmitting means for transmitting to the transmitting device via the interface.
  • the transmission data processing method, information processing method, transmission device, and reception device of the present invention estimate the communicable bandwidth in the heterogeneous multi-wireless network at a higher speed and the inevitable fluctuation occurs in the communicable bandwidth However, it is possible to reduce degradation of video quality.
  • the figure which shows an example of a structure of the communication system in embodiment of this invention The block diagram which shows an example of a structure of the transmitter which concerns on embodiment of this invention
  • the figure which shows the example of judgment criteria of the communication quality of the interface in embodiment of this invention The figure which shows the example of priority provision at the time of using MPEG-4
  • the figure which shows the acquisition transmission parameter example of LTE in embodiment of this invention The figure which shows the acquisition transmission parameter example of IEEE802.11 in embodiment of this invention
  • the figure which shows an example of a structure of the other communication system in embodiment of this invention The block diagram which shows an example of a structure of the transmitter which concerns on embodiment of this invention.
  • the block diagram which shows an example of a structure of the receiver which concerns on embodiment of this invention The figure which shows the IP packet to which the Record
  • the figure for demonstrating the identification method of the relay station in embodiment of this invention The figure which shows an example of the IP packet to which the LSRR option in embodiment of this invention is applied
  • the sequence chart which shows an example of the transmission sequence of the feedback information in embodiment of this invention The figure for demonstrating the prior art of this invention
  • the communication system includes a transmission device 100 and a reception device 200.
  • the transmission device 100 and the reception device 200 are wirelessly connected using the first interface and the second interface.
  • the first interface and the second interface are wireless communication means having different characteristics, and the first interface has higher reliability. That is, the first interface has a higher communication quality than the second interface.
  • An example of criteria for determining the communication quality of the interface is shown in FIG.
  • Both the transmission device 100 and the reception device 200 have a function of measuring the communication status (for example, actual communication bit rate, delay amount, etc.) of the first interface and the second interface.
  • the receiving device 200 has a function of feeding back the communication status to the transmitting device 100.
  • FIG. 2 is a block diagram of the transmission device 100 according to the embodiment of the present invention.
  • the data priority assigning unit 201 analyzes the video packet group acquired from the video encoder 202, assigns a priority to be described later, and sends it to the packet distribution unit 203.
  • the first interface wireless 1 transmission parameter acquisition means 204 and the second interface wireless 2 transmission parameter acquisition means 205 are respectively the first interface wireless 1 parameter setting means 206 and the second interface wireless 2 parameter setting means. From 207, parameters for estimating the communicable bandwidth in each wireless means such as the modulation method, frame length, and network congestion are obtained.
  • the packet distribution means uses a plurality of communicable band information estimated by the radio band estimation means described later.
  • Data multiple packets
  • the communicable band refers to the total number of bits per unit time that can be communicated through a certain communication interface.
  • Information of any communication layer may be used as long as the packet distribution amount in the distribution means described later can be set based on information such as overhead header information and communication prohibition period. For example, when the communicable bandwidth is estimated using radio parameters, it is estimated by reflecting the overhead amount of the higher layer in the information measured in the physical layer or the MAC layer. Further, when measuring the communicable bandwidth of the entire system from the transmitting device to the receiving device using the test packet, the communicable bandwidth of the IP layer can be estimated.
  • the wireless band estimation means 208 includes communication parameters obtained from the wireless 1 transmission parameter acquisition means 204 of the first interface and the wireless 2 transmission parameter acquisition means 205 of the second interface, and the receiving device 200 obtained via the first interface.
  • the packet amount allocated to the first interface and the second interface is sent to the packet distribution means 203 from the reception parameters of the first interface and the second interface on the side.
  • the wireless band estimation unit 208 feeds back the total communicable band information of the first interface and the second interface to the video encoder 202, thereby enabling the change of the video encoding bit rate target value. That is, it further includes an estimation unit that estimates a communicable band related to communication with the receiving device based on the feedback information, and the distribution unit distributes a plurality of data based on the estimation result of the estimation unit.
  • the packet distribution unit 203 based on the priority given by the data priority assignment unit 201 based on the communicable bandwidth information of the first interface and the second interface obtained from the wireless band estimation unit 208, Data is distributed to the first interface and the second interface. That is, the distribution unit distributes a plurality of data to the first interface and the second interface based on the priority assigned to the data. A specific distribution method will be described later.
  • the first and second interfaces transmit the video packets distributed by the packet distribution unit 203, but also appropriately transmit test packets for measuring actual communication parameters via the receiving device 200.
  • FIG. 3 is a block diagram showing a configuration of receiving apparatus 200 according to the embodiment of the present invention.
  • FIG. 10 is a flowchart showing an operation example of the receiving apparatus 200 according to the embodiment of the present invention.
  • the receiving apparatus 200 combines the packets transmitted from the transmitting apparatus 100 separately to the first interface and the second interface as one video stream data and outputs the combined video stream data to the video decoder 301.
  • the communication status can be fed back to the transmission device 100.
  • the wireless 1 parameter acquisition unit 308 and the wireless 2 parameter acquisition unit 309 acquire communication parameters on the receiving device 200 side of the first interface and the second interface from the wireless 1 reception unit 303 and the wireless 2 reception unit 304 (step S1001). ) And transmitted to the wireless information processing means 307 (step S1002).
  • Each frame analysis means (wireless 1 frame analysis means 305 and wireless 2 frame analysis means 306) acquires the packet stored in the frame from the reception means (step S1003).
  • Each frame analyzing unit determines whether or not the acquired packet is a test packet. If the acquired packet is a test packet (Yes in step S1004), the acquired test packet information is output to the wireless information processing unit 307 (step S1005). .
  • the wireless information processing means 307 calculates communication parameters for estimating the transmittable bandwidth, delay amount, etc. from the test packet information (step S1006). If feedback is necessary (YES in step S1007), the wireless information processing means 307 is obtained from the packet combining means 302, the first interface and the wireless 1 receiving means 303 and the wireless 2 receiving means 304 of the second interface. A parameter effective for image quality control is determined from the communication parameter, and feedback is performed from the wireless 1 transmission unit 310 serving as the transmission unit of the first interface to the transmission device 100 (step S1008).
  • each frame analysis means determines that the packet is not a test packet (No in step S1004)
  • the packet combining means 302 uses the first interface and second interface wireless 1 receiving means 303 and wireless 2 receiving means 304.
  • the acquired video packets are bundled again and output as video stream data to the video decoder 301 (steps S1009 and S1010).
  • Data priority is an objective index that indicates the necessity of application of data when it is used at the destination. For example, when a temperature change is detected using sensor information through a network, data when there is a temperature change is indispensable to know the amount of change. However, when there is no temperature change, it is only necessary to know the fact that there is no change, and individual data is not necessarily required. In this case, the data when there is a temperature change can be defined as higher priority than the data when there is no temperature change.
  • the packets constituting the video stream are roughly classified into three types of packets.
  • the first packet type is composed of a video sequence representing the configuration of the video stream and a parameter group indicating video coding conditions. When these packets are lost, the video is transmitted until the next parameter group is received. It may become impossible to play at all. Also, the video cannot be played back unless the first packets arrive before the video data.
  • the second packet is composed of a packet that can reproduce at least one image only by the packet, and is used for digital broadcasting or video conferencing.
  • MPEG-2, MPEG-4, MPEG-4 Part10 (Also referred to as H.264) corresponds to intra-frame compression encoded data called I frame.
  • the third packet group is composed of a packet that cannot reproduce video only by the packet, and is composed of a difference value calculated by referring to the I frame.
  • MPEG-2, MPEG-4, and MPEG-4 Part10 inter-frame compression encoded data called P frame and B frame are equivalent.
  • Priority can be further subdivided among the packets.
  • the second packet when the data in the I frame is divided into a core part constituting a low resolution video and an extension component for constituting a high resolution video in addition to the core part, If a high priority is given to the core portion, the video can be reproduced without interruption even if the resolution is coarse.
  • the second packet class if high priority is given to data of a frame having a large difference value from the reference destination video, video disturbance can be reduced even with the same data amount.
  • the priority assigning means assigns priorities according to the necessity of data.
  • value information indicating the priority above a certain level is given as, for example, header information or additional bits, so that the packet sorting means 203 assigns the packet to either the first interface or the second interface. It is possible to determine whether or not to sort.
  • Fig. 4B shows an example of assigning priority when MPEG-4 IV Part 10 (H.264) is used.
  • MPEG-4 IV Part 10 H.264
  • the priority giving means sets the highest priority data when assigning the priority at least video A parameter representing a sequence, a parameter representing video coding conditions, and intra-frame compression coded data.
  • the priority assigning unit sets the highest priority data when assigning the priority, at least a parameter representing a video sequence, And a parameter representing video coding conditions.
  • Parameters for estimating the state of wireless data transmission differ depending on the communication method, and cannot be defined in a generalized manner. However, if the communication method is known, the communicable bandwidth, the packet loss rate, etc. at that time can be estimated by specifying appropriate parameters from the parameters used in the communication method.
  • a parameter called MCS Modulation Coding Scheme
  • PRB Physical Resource Block
  • NAV Network Allocation Vector
  • system a / b / g / n
  • bandwidth 20MHz / 40MHz
  • the approximate bit rate can be estimated by the combination. That is, based on the ideal bit rate of the radio link, the transmittable bandwidth of the terminal can be estimated by obtaining the channel occupancy of the terminal from the transmission prohibition period and the period during which the terminal can transmit.
  • the radio 1 and radio 2 parameter acquisition units 308 and 309 of the first and second interfaces acquire communication parameters necessary for estimating the transmittable band in the communication method from the radio 1 and radio 2 parameter setting units 311 and 312. To do. At this time, if there is no mechanism for notifying the wireless 1 and wireless 2 parameter acquisition means 308 and 309 of the change every time the communication parameter is changed in the wireless 1 and wireless 2 parameter setting means 311 and 312, the wireless 1 and wireless 2 The two parameter acquisition units 308 and 309 may request the latest communication parameters from the wireless 1 and wireless 2 parameter setting units 311 and 312.
  • 5A and 5B show examples of acquired transmission parameters of LTE and IEEE802.11 as one embodiment of the present invention.
  • the communication parameters that can be acquired on the receiving device 200 side are communication parameters that can be acquired from packets added to the video stream in order to measure the communication parameters, and wireless 1 that is a wireless receiving means.
  • There are several methods for estimating the communicable bandwidth based on the communication parameters such as a method using a packet pair and a method using a packet having a certain length. Although the method is not specified here, it is necessary to use a parameter corresponding to each method as a communication parameter for estimating a communicable band.
  • a method using a packet pair is one in which two test packets are transmitted in two pairs on the transmitting device 100 side, and the change in the communication available band is examined by measuring the change in the reception interval on the receiving device 200 side. is there.
  • the reception interval of the test packet is a parameter necessary for estimating the communicable bandwidth.
  • the receiving device 200 returns an Acknowledge indicating that the data has been correctly received in response to the test packet, it is possible to measure the bandwidth on the transmitting device 100 side using the difference in the interval. When the reliability of is low, the estimation error becomes large.
  • the reception interval data is replied using the first interface with high reliability and small delay, the influence of data loss or transmission fluctuation on the uplink can be ignored.
  • the band can be estimated with high accuracy by comparison with the transmission interval data.
  • a method for measuring the network delay amount or packet loss rate a method using ping is an effective method in an IP network. This is based on the fact that an Echo ⁇ Reply is returned from the receiving device 200 side when an Echo Request is transmitted from the transmitting device 100 side.
  • the RTT (Round Trip Time) or RTT is calculated from the time until the Reply is returned and the response rate.
  • the packet loss rate is estimated.
  • the amount of delay of the first interface with high reliability is fed back by feeding back the difference amount of EchoERequest arrival time between the first interface and the second interface.
  • the delay amount of the second interface can be estimated with higher accuracy by adding the difference in arrival time. Also, if the second interface does not receive the Echo Request for a certain period of time after receiving the Echo ⁇ Request on the first interface, it can reduce the packet loss rate of the second interface by feeding back the number of times it did not receive it. It can be estimated with higher accuracy.
  • the feedback receiving means includes at least a parameter for estimating the receivable bandwidth of the first interface and a parameter for estimating the delay amount of the second interface as feedback information transmitted from the receiving device side. Receive. The former is necessary for estimating the bandwidth required for sending a packet essential for reproduction.
  • the arrival time of the final packet is delayed, and the packet sent due to packet loss due to packet failure or due to buffer overflow on the receiving device side May not be available for playback. For this reason, within a delay amount that is allowed in the network (for example, if video is sent at 30 frames per second, up to 300 milliseconds after the arrival of data on the first interface if 10 frames can be allowed). It is better to discard data that cannot be sent. The latter is also necessary to determine this.
  • the radio band estimation means 208 of the transmission apparatus 100 is a communication parameter group necessary for band estimation transmitted from the reception apparatus 200. For example, the interval between packet pairs as described above
  • the communicable bandwidth, delay amount, and packet loss rate of each of the two wireless systems are estimated from information, Echo Request and its difference amount, whether Echo Request is received, and the like. That is, the feedback receiving unit receives parameters relating to the communicable band, the packet loss rate, and the delay from the receiving device.
  • FIG. 6A and FIG. 6B show a case where LTE and IEEE802.11 communicable bands and delay amounts are estimated as one embodiment of the present invention.
  • the packet distribution unit 203 determines packet distribution based on the priority assigned to the packet.
  • the sequence is as follows. (1) Allocate packets having a certain priority or higher to the first interface in order. If all the packets with the highest priority cannot be transmitted, they are distributed to the second interface after error tolerance means (processing) such as FEC (Forward Error Correction). That is, the distribution means, when transmitting data with a priority higher than a certain level using the second interface instead of the first interface, gives error correction to the transmitted data to the packet, etc. Perform error tolerance processing and output to the second interface. Note that error handling may be performed in the second interface to further improve the radio conditions. (2) The remaining packets are distributed to the second interface in descending order of priority. (3) Discard packets that cannot be assigned to either interface.
  • FEC Forward Error Correction
  • FIG. 7 shows an example of a flowchart showing a sequence for determining a distribution destination interface when a distribution unit receives a packet.
  • the transmitting apparatus 100 checks the priority of the packet (step S701), determines whether or not the allocation of the highest priority packet is completed (step S702). It is determined whether or not transmission is possible using the interface (first communication means, wireless 1 transmission means in FIG. 2) (step S703), and if possible, packets are transmitted via the first interface (step S704). If transmission is not possible in step S703, error correction is added to the packet (step S705), and the packet is transmitted through the second interface (second communication means, wireless 2 transmission means in FIG. 2) (step S706).
  • Step S707 it is determined whether or not the distribution of the packet with the priority N is completed. If it is not completed, the first interface is determined. Whether or not transmission is possible is determined (step S708). If transmission is possible, the packet is transmitted through the first interface (step S709). If transmission is not possible in step S708, it is determined whether transmission is possible on the second interface (step S710), and if transmission is possible, a packet is transmitted on the second interface (step S711). If transmission is not possible, the packet is discarded (step S712). If it is completed in step S707, 1 is added to N and the process of step S707 is performed.
  • FIG. 8 shows an example of packet allocation in the present invention.
  • the packets are classified into three types of packets having priorities 1 to 3.
  • all packets with priority 1 are assigned to the first interface (first wireless means), and all packets with priority 2 and 3 are assigned to the second interface (second wireless means).
  • an error correction packet is added to some of the packets of priority 1 and assigned to the second interface.
  • case 3 when the communicable bandwidth of the second interface is narrowed, the packets with the priority levels 2 and 3 are not transmitted but are discarded.
  • the communication parameter from the receiving device 200 side is transmitted to the wireless band estimating means 208 on the transmitting device 100 side more quickly and accurately, thereby responding to a change in the wireless situation And the possibility of losing essential data at the time of video stream data playback is reduced, so that the video quality at the time of video playback on the receiving device 200 side is improved. In particular, it is possible to prevent the video from being interrupted.
  • the downlink on the receiving device 200 side may become a communication bottleneck even in an asymmetric network in which the downlink communicable band is larger.
  • This can be estimated by comparing the communicable bandwidth estimated from the transmission parameters of the wireless means on the transmitting apparatus 100 side with the communicable bandwidth estimated from the actually received test packet.
  • the estimated value of the transmittable band can be changed by feedback of the parameter acquired from the receiving means on the receiving apparatus 200 side without waiting for the arrival of a specific test packet.
  • FIG. 9 shows a flowchart for estimating the communication bottleneck in the transmission apparatus.
  • Th T uses the communicable band estimated from the radio parameter acquired on the transmitting apparatus 100 side
  • Th R uses the communicable band estimated from the radio parameter acquired on the receiving apparatus 200 side
  • Th E uses the test packet. Indicates the estimated communication possible bandwidth.
  • Th T , Th R , and Th E are input (S901), it is determined whether or not If ⁇ Th T > 0, then ⁇ Th E > S is satisfied (step S902).
  • ⁇ Th T represents the absolute value of the time variation of Th T.
  • S indicates a fluctuation range having a significant difference defined by the user.
  • step S903 If it is determined in step S902 that it does not satisfy, it is determined whether or not If ⁇ Th R > 0, then ⁇ Th E > S is satisfied (step S904). If not satisfied (step S905), it is estimated that there is a bottleneck other than the wireless section (step S906).
  • the transmittable band may be estimated based on a change in communication parameters on the transmission device 100 side.
  • the wireless transmission unit on the receiving device 200 side determines that the bottleneck has occurred, the transmittable band may be estimated based on the change in the transmission parameter on the receiving device 200 side.
  • the estimation means compares the communication parameter acquired from the transmitting device side with the communication parameter acquired from the receiving device side, and estimates the communicable bandwidth using the communication parameter having the larger influence on the communicable bandwidth. To do.
  • the influence on the communicable band is large indicates whether or not the communicable band between the transmission device 100 and the reception device 200 changes greatly when the communication state of the interface changes. It is. For example, if there is a 3 Mbps communicable band between the transmitting apparatus 100 and the receiving apparatus 200, the entire communicable band remains unchanged at 3 Mbps even if the communicable band of the receiving apparatus side interface is halved. However, when the communication bandwidth of the transmission device side interface is reduced to 1/2 when the communication bandwidth of the transmission device side interface is halved, it can be said that the transmission device side interface has a larger influence on the communication bandwidth.
  • the present invention uses the high-reliability channel as the first interface and the large-capacity channel as the second interface even when the same wireless system is configured with the high-reliability channel and the large-capacity channel. You can also.
  • a wireless system composed of a plurality of channels such as a wireless LAN
  • the control channel is set as the first interface of the present invention, and the remaining channels are set as main channels. The same effect can be expected when used as the second interface of the invention.
  • the above white space is not limited to the white space of TV.
  • the system is referred to as a “system using white space”.
  • the packet allocating unit performs allocation control using only the information (video transmission side or video reception side) of the link using the hetero multi-radio.
  • packet allocation is performed using only parameters on the transmission side without receiving parameter feedback from the receiver side. May be.
  • the data to be transmitted / received has been described by taking video data as an example.
  • the present invention can be applied not only to video data but also to all data in which different importance levels are assigned to packets constituting the data. is there.
  • different importance levels are assigned to sounds in the frequency range of human voice and other frequencies
  • points with a large amount of change and points with no change amount there are cases where different importance levels are assigned.
  • the relay station X connected to the external network in the closed network. By designating the address, it becomes possible to transmit feedback information using the first interface without fail.
  • the transmitting device obtains the address of the relay station X. If the first interface is connected to an open network via the opposite relay station X, the transmitting device may be available directly from the relay station X.
  • the address of the relay station X when the first interface is included in the closed network can be obtained by an inquiry to a network administrator (not shown).
  • a network administrator not shown.
  • the transmission device requests a routing detection frame from the reception device in a situation where only the first interface is used.
  • the receiving device that has received the request transmits a routing detection frame to the transmitting device.
  • An example of a routing detection frame is to use the Record ⁇ Route option of the Internet protocol defined in RFC791. That is, in order to obtain routing information, the feedback receiving means receives a routing information detection frame (corresponding to a routing detection frame) including a packet transmitted from the receiving device and having a function of recording address information of a relay point that passes through. To do.
  • FIG. 13 shows an example of the configuration of the transmission apparatus according to the fourth embodiment
  • FIG. 14 shows an example of the configuration of the reception apparatus.
  • a characteristic part of the transmission apparatus according to the fourth embodiment is a relay address detecting unit 1301.
  • the relay address detecting unit 1301 receives the routing detection frame received via the wireless 1 receiving unit in response to the routing detection frame request transmitted through the wireless 1 transmitting unit, and relay point address information (connected to the first interface) acquired in advance.
  • the IP address of the relay station X is specified based on the possible relay point address information. That is, the routing information between the transmission device and the reception device is compared with the address information of the relay point between the transmission device and the reception device that can be connected to the first interface acquired in advance.
  • a specifying means for specifying the address of the relay point used by one interface is further provided, and the transmitting means designates the address of the specified relay point as a via point, and feeds back to the transmitting device via the first interface. In order to transmit information, information on the address of the identified relay point is transmitted to the receiving device.
  • the receiving apparatus receives the routing detection frame request transmitted from the transmitting apparatus via the wireless 1 receiving means, and based on the received routing detection frame request.
  • the routing detection frame acquired in this way is transmitted to the transmission device through the wireless 1 transmission means.
  • description is abbreviate
  • the protocol used here defines a mechanism for recording the IP address of itself (that node itself) in the data area and transferring it to the next relay point when the relay point is reached.
  • the address of the relay station that has passed so far is recorded in the data area in order.
  • the address group of the relay station X is obtained in advance as network setting information, for example.
  • the address information of the identified relay station X is notified to the receiving device, and the notification of the address information may be performed using either the first interface or the second interface.
  • the receiving device When there is a need for feedback of network information by the receiving device during communication using a plurality of interfaces, specify that the IP address of the relay station X is routed, and then send feedback information to the transmitting device. Send.
  • one of the methods for specifying the address of the relay station X is the Loose Source and Record Route (LSRR) option defined in RFC791.
  • LSRR Loose Source and Record Route
  • the IP address of relay station X notified from the transmission device is set to pass before the IP address of the transmission device.
  • the feedback information is always transmitted to the transmission device via the relay station X using the first interface.
  • the feedback information is transmitted to the transmission device via the first interface by the sequence shown in FIG.
  • the routing information received via the first interface may be specified and used using lower layer information or the like.
  • the receiving device individually obtains the address information of the relay station in the route (for example, using Trace Route defined in RFC1393).
  • the present invention can be effectively implemented even in a network having a large number of hops by making a list by transmitting the address information of relay stations in the route) and sending the list to the transmitting apparatus. That is, the feedback receiving unit receives the routing information acquired by transmitting the frame including the packet for detecting the relay point address from the receiving device.
  • the address information of the relay station X is specified on the transmitting device side. However, the address information of the relay station may be transmitted from the transmitting device to the receiving device and specified on the receiving device side.
  • LSI Large Scale Integration
  • IC Integrated Circuit
  • system LSI super LSI
  • ultra LSI ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection or setting of circuit cells inside the LSI may be used.
  • the transmission data processing method, information processing method, transmission device, and reception device of the present invention estimate the communicable bandwidth in the heterogeneous multi-wireless network at a higher speed and the inevitable fluctuation occurs in the communicable bandwidth
  • the degradation of video quality can be reduced, it is useful for a transmission data processing method, an information processing method, a transmission device, a reception device, and the like when transmitting and receiving data using a network where the available bandwidth is limited is there.

Abstract

　ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ送信可能帯域に不可避な変動が生じた場合でも映像品質の低下を最小限に防ぐことができる送信データ処理方法などを提供する技術が開示され、その技術によれば通信相手の受信装置２００に対してデータ送信を行う送信装置１００によるデータ送信の前段階での送信データ処理方法であって、受信装置へ送信される複数のデータのデータごとに所定の基準に基づいて優先度を付与する優先度付与ステップと、送信装置から受信装置へ送信されたデータに関するフィードバック情報を受信装置から受信するフィードバック受信ステップと、優先度と、受信したフィードバック情報とに基づいて、複数のデータを、受信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスに振り分ける振り分けステップとを有する。

Description

送信データ処理方法、情報処理方法、送信装置、及び受信装置
　本発明は、利用可能な帯域が時間あるいは場所により変動するネットワークを用いてデータを送受信する際の送信データ処理方法、情報処理方法、送信装置、及び受信装置に関する。
　放送のデジタル化に伴い、放送用途に割り当てられた周波数帯において、１次ユーザ（放送、マイクロフォンなど）が利用していない帯域の２次利用を認める、いわゆるTVホワイトスペースの有効活用が注目を集めている。一方、ネットブック、ポータブルAVプレーヤー、タブレットPCなどの爆発的な普及により、Wi-Fi（無線LAN）を用いるユーザが増加している。さらにかつポータブル型Wi-Fiルータ、あるいはWi-Fi機能付スマートフォンの登場により、Wi-Fiアクセスポイント数も急激に増加している。このため、Wi-Fiが利用できる周波数の枯渇が予想されている。
　そこで、TVホワイトスペースで開放される周波数帯においてWi-Fi技術を用いることにより、このWi-Fiの周波数枯渇問題を解決することが検討されている（図１９、下記の非特許文献１を参照）。しかし、この帯域は6-8MHzと従来Wi-Fiが使っていた帯域幅(22MHz,20/40MHz)と比べ狭い上に、数人～数十人のユーザが電波を共有する仕組みになっている。このため、ユーザ数あるいは単位ユーザあたりの伝送する情報量が大きい場合は、利用可能な帯域は制限されてしまう。
　このように、利用可能な帯域が制限されるWi-Fiネットワークを用いて映像伝送のような大容量データの送受信を円滑に行うために、同一周波数帯内の複数帯域を束ねる、あるいは異種無線の帯域と束ねるといったような手段で広帯域を確保するといった試み（ヘテロジニアス型マルチ無線ネットワーク）が行われていた。このヘテロジニアス型マルチ無線ネットワークでパケットを送信する場合の手段として、受信機側で測定されたスループットあるいは遅延量に基づき２つの無線にパケットを振り分けたり、アプリケーションの特性により下位無線を使い分けたりするなど、さまざまな手段が検討されていた。
Microsoft Research ホームページ、http://research.microsoft.com/apps/pubs/default.aspx?id=80952
　しかしながら、従来のヘテロジニアス型マルチ無線ネットワークにおけるパケット分配方式を、高画質ライブ映像伝送のような広帯域、低遅延、高品質の通信を必要とするアプリケーションに用いる場合、Wi-Fiネットワークの帯域の不安定さ及び遅延の大きさによるネットワーク状況のフィードバックの遅れから、ネットワークの変動に対する追従性が悪い。このため、送信可能な帯域を低く見積もって映像ストリームの伝送ビットレートを設定しなければ、ネットワークの何れかのノードで輻輳が発生し、映像品質が損なわれてしまう可能性がある。
　また、帯域不足を生じたときに映像品質が低下するもう１つの要因として、映像ストリームを構成するすべてのパケットを一律に送信することにより帯域不足を生じたとき、パケットロスが発生することがあげられる。特に、低遅延のライブ映像伝送サービスにおいては、ネットワーク遅延量を最小限にするため、データグラムとして扱うことが多く、失われたパケットは再送されない。もし映像再生に必要なパケットが受信できなかった場合は映像の品質が低下するだけでなく、一定期間映像が再生できない等の状況が発生してしまう可能性がある。
　本発明は、かかる点に鑑みてなされたものであり、ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ通信可能帯域に不可避な変動が生じた場合でも映像品質の劣化を低減することができる送信データ処理方法、情報処理方法、送信装置、及び受信装置を提供することを目的とする。
　上記目的を達成するために、本発明によれば、通信相手の受信装置に対してデータ送信を行う送信装置による前記データ送信の前段階での送信データ処理方法であって、前記受信装置へ送信される複数のデータの前記データごとに所定の基準に基づいて優先度を付与する優先度付与ステップと、前記送信装置から前記受信装置へ送信されたデータに関するフィードバック情報を前記受信装置から受信するフィードバック受信ステップと、前記優先度と、受信した前記フィードバック情報とに基づいて、前記複数のデータを、前記受信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスに振り分ける振り分けステップとを有する送信データ処理方法が提供される。この構成により、ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ通信可能帯域に不可避な変動が生じた場合でも映像品質の劣化を低減することができる。
　また、本発明によれば、通信相手の送信装置からデータを受信する受信装置による前記送信装置への情報送信のための情報処理方法であって、前記送信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスからなる無線通信手段を用いて前記送信装置から前記データを受信する受信ステップと、受信した前記データに基づいて、前記データに関するフィードバック情報を取得するフィードバック取得ステップと、取得された前記フィードバック情報を前記第一のインターフェイスを介して前記送信装置へ送信する送信ステップとを有する情報処理方法が提供される。この構成により、ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ通信可能帯域に不可避な変動が生じた場合でも映像品質の劣化を低減することができる。
　また、本発明によれば、通信相手の受信装置に対してデータ送信を行う送信装置であって、前記受信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスからなる無線通信手段と、前記無線通信手段を用いて前記受信装置へ複数のデータを送信する送信手段と、前記送信手段によって前記受信装置へ送信される前記データごとに所定の基準に基づいて優先度を付与する優先度付与手段と、前記送信装置から前記受信装置へ送信されたデータに関するフィードバック情報を前記受信装置から受信するフィードバック受信手段と、前記優先度と、受信した前記フィードバック情報とに基づいて、前記送信手段によって送信される前記複数のデータを前記第一のインターフェイス及び第二のインターフェイスに振り分ける振り分け手段とを備える送信装置が提供される。この構成により、ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ通信可能帯域に不可避な変動が生じた場合でも映像品質の劣化を低減することができる。
　また、本発明によれば、通信相手の送信装置からデータを受信する受信装置であって、前記送信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスからなる無線通信手段と、前記無線通信手段を用いて前記送信装置から前記データを受信する受信手段と、受信した前記データに基づいて、前記データに関するフィードバック情報を取得するフィードバック取得手段と、取得された前記フィードバック情報を前記第一のインターフェイスを介して前記送信装置へ送信する送信手段とを備える受信装置が提供される。この構成により、ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ通信可能帯域に不可避な変動が生じた場合でも映像品質の劣化を低減することができる。
　本発明の送信データ処理方法、情報処理方法、送信装置、及び受信装置は、ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ通信可能帯域に不可避な変動が生じた場合でも映像品質の劣化を低減することができる。
本発明の実施の形態における通信システムの構成の一例を示す図 本発明の実施の形態に係る送信装置の構成の一例を示す構成図 本発明の実施の形態に係る受信装置の構成の一例を示す構成図 本発明の実施の形態におけるインターフェイスの通信品質の判断基準例を示す図 本発明の実施の形態におけるMPEG-4 Part10（H.264）を用いた場合の優先度付与例を示す図 本発明の実施の形態におけるLTEの取得送信パラメータ例を示す図 本発明の実施の形態におけるIEEE802.11の取得送信パラメータ例を示す図 本発明の実施の形態におけるLTEの通信可能帯域及び遅延量を推定した場合を示す図 本発明の実施の形態におけるIEEE802.11の通信可能帯域及び遅延量を推定した場合を示す図 本発明の実施の形態に係る送信装置の動作フローの一例を示すフローチャート 本発明の実施の形態におけるパケットの割り当ての一例を示す図 本発明の実施の形態における通信ボトルネックを推定するためのフローチャート 本発明の実施の形態に係る受信装置の動作フローの一例を示すフローチャート 本発明の実施の形態における通信システムの構成の一例を示す図 本発明の実施の形態における他の通信システムの構成の一例を示す図 本発明の実施の形態に係る送信装置の構成の一例を示す構成図 本発明の実施の形態に係る受信装置の構成の一例を示す構成図 本発明の実施の形態におけるRecord Routeオプションを適用したＩＰパケットを示す図 本発明の実施の形態における中継局の特定方法を説明するための図 本発明の実施の形態におけるLSRRオプションを適用したＩＰパケットの一例を示す図 本発明の実施の形態におけるフィードバック情報の送信シーケンスの一例を示すシーケンスチャート 本発明の従来技術を説明するための図
＜第１の実施の形態＞
　まず、本発明の通信システムの概要について説明する。図１に示すように、本通信システムは送信装置１００、受信装置２００から構成される。送信装置１００と受信装置２００とは、第一のインターフェイス及び第二のインターフェイスを用いて無線接続されている。ここで、第一のインターフェイスと第二のインターフェイスとは、特徴が異なる無線通信手段であり、第一のインターフェイスの方が信頼性が高い。すなわち、第一のインターフェイスが、第二のインターフェイスよりも高い通信品質を有する。インターフェイスの通信品質の判断基準例を図４の（Ａ）に示す。
　送信装置１００、受信装置２００は、ともに第一のインターフェイス及び第二のインターフェイスの通信状況（例えば、実際の通信ビットレート、遅延量など）を測定する機能を有する。受信装置２００は、送信装置１００に通信状況をフィードバックする機能を備えている。
　次に、上記送信装置１００の構成の一例について説明する。図２は、本発明の実施の形態にかかる送信装置１００のブロック図を示すものである。データ優先度付与手段２０１は、映像エンコーダ２０２から取得した映像パケット群を解析し、後述する優先度を付与してパケット振り分け手段２０３に送る。第一のインターフェイスの無線１送信パラメータ取得手段２０４及び第二のインターフェイスの無線２送信パラメータ取得手段２０５は、それぞれ第一のインターフェイスの無線１パラメータ設定手段２０６及び第二のインターフェイスの無線２パラメータ設定手段２０７より、変調方式、フレーム長、ネットワークの混雑度など各無線手段における通信可能帯域を推定するためのパラメータを入手する。すなわち、第一のインターフェイス及び第二のインターフェイスにおける通信パラメータを取得する通信パラメータ取得手段を更に有し、パケット振り分け手段は、後述の無線帯域推定手段にて推定した通信可能帯域情報を更に用いて複数のデータ（複数のパケット）の振り分けを行う。ここで、通信可能帯域とは、ある通信インターフェイスを介して通信できる単位時間あたりの総ビット数を指す。オーバーヘッドとなるヘッダ情報、通信禁止期間などの情報をもとに後述の振り分け手段におけるパケットの振り分け量を設定できれば、どの通信層の情報を用いてもよい。例えば、無線パラメータを用いて通信可能帯域を推定する場合は、物理層あるいはMAC層で測定した情報に上位層のオーバーヘッド量を反映させる形で推定する。また、送信装置から受信装置に到るシステム全体の通信可能帯域を試験用パケットを用いて測定する場合は、IP層の通信可能帯域を推定することができる。
　無線帯域推定手段２０８は、第一のインターフェイスの無線１送信パラメータ取得手段２０４及び第二のインターフェイスの無線２送信パラメータ取得手段２０５より入手した通信パラメータと、第一のインターフェイス経由で入手した受信装置２００側の第一のインターフェイス及び第二のインターフェイスの受信パラメータとから、第一のインターフェイス、第二のインターフェイスに割り当てられるパケット量をパケット振り分け手段２０３に送付する。また、無線帯域推定手段２０８は、第一のインターフェイスと第二のインターフェイスとの合計通信可能帯域情報を映像エンコーダ２０２にフィードバックし、映像エンコードのビットレート目標値の変更を可能とする。すなわち、フィードバック情報に基づき、受信装置との通信に関する通信可能帯域を推定する推定手段を更に有し、振り分け手段は、推定手段の推定結果に基づいて複数のデータの振り分けを行う。
　そして、パケット振り分け手段２０３では、無線帯域推定手段２０８より入手した第一のインターフェイス及び第２のインターフェイスの通信可能帯域情報に基づき、データ優先度付与手段２０１で付与された優先度をもとに、データが第一のインターフェイス及び第２のインターフェイスに振り分けられる。すなわち、振り分け手段は、データに付与された優先度に基づき、複数のデータを第一のインターフェイス及び第二のインターフェイスへ振り分ける。具体的な振り分け方については後述する。第一及び第二のインターフェイスは、パケット振り分け手段２０３にて分配された映像パケットを送信するが、受信装置２００を介して実際の通信パラメータを測定する試験パケットも適宜送信する。
　次に、上記受信装置２００の構成の一例について図３、図１０を参照しながら説明する。図３は、本発明の実施の形態にかかる受信装置２００の構成を示すブロック図である。また、図１０は本発明の実施の形態に係る受信装置２００の動作例を示すフローチャートである。受信装置２００は、送信装置１００から第一のインターフェイス、第２のインターフェイスに分けて送信されたパケットを再び１つの映像ストリームデータとして結合し、映像デコーダ３０１に出力するとともに、受信装置２００側での通信状況を送信装置１００にフィードバックすることができる。
　無線１パラメータ取得手段３０８及び無線２パラメータ取得手段３０９は、無線１受信手段３０３及び無線２受信手段３０４から第一のインターフェイス及び第二のインターフェイスの受信装置２００側の通信パラメータを取得し（ステップＳ１００１）、無線情報処理手段３０７へ送信する（ステップＳ１００２）。各フレーム解析手段（無線１フレーム解析手段３０５及び無線２フレーム解析手段３０６）は、受信手段よりフレームに格納されたパケットを取得する（ステップＳ１００３）。各フレーム解析手段は、取得したパケットが試験パケットか否かを判断し、試験パケットである場合には（ステップＳ１００４　Ｙｅｓ）、取得した試験パケット情報を無線情報処理手段３０７へ出力する（ステップＳ１００５）。
　次に、無線情報処理手段３０７は、試験パケット情報より送信可能帯域、遅延量などを推定するための通信パラメータを算出する（ステップＳ１００６）。フィードバックが必要である場合には（ステップＳ１００７　ＹＥＳ）、無線情報処理手段３０７は、パケット結合手段３０２、第一のインターフェイス及び第二のインターフェイスの無線１受信手段３０３、無線２受信手段３０４より取得した通信パラメータより、画質制御に有効なパラメータを判断し、第一のインターフェイスの送信手段である無線１送信手段３１０から送信装置１００にフィードバックを行う（ステップＳ１００８）。一方、各フレーム解析手段において試験パケットでないと判定された場合には（ステップＳ１００４　Ｎｏ）、パケット結合手段３０２において、第一のインターフェイス及び第二のインターフェイスの無線１受信手段３０３及び無線２受信手段３０４より取得した映像パケットを再び束ねて映像ストリームデータとして映像デコーダ３０１に出力する（ステップＳ１００９、ステップＳ１０１０）。
　次に、送信装置１００における具体的な動作について説明する。
　・データ優先度の付与について
　データ優先度とは、到達先で利用する際に、そのデータのアプリケーションの実行における必要性を客観的な指標で示したものである。例えば、ネットワークを通じて温度変化をセンサー情報を用いて検出する場合、温度変化があった場合のデータはその変化量を知る上で欠かすことができない。しかし、温度変化が無い場合は、変化が無い事実だけが判ればよく、個別データは必ずしも必要でない。この場合、温度変化がある時のデータは、温度変化が無いときのデータよりも優先度が高いと定義できる。
　本発明の実施例のような映像ストリームの場合、映像ストリームを構成するパケットは大別して３種のパケット類に分類される。第一のパケット類は、映像ストリームの構成を表す映像シーケンス及び映像符号化条件を示すパラメータ群で構成され、これらのパケットが失われた場合、次のパラメータ群を受信するまでの間、映像を全く再生できなくなることもある。また、第一のパケット類が映像データよりも先に到着していないと映像の再生ができない。第二のパケット類は、そのパケットのみで少なくとも１枚の画像を再生することができるパケットで構成され、デジタル放送あるいはビデオ会議等に利用されているMPEG-2, MPEG-4, MPEG-4 Part10（H.264とも呼ばれる）ではIフレームと呼ばれるフレーム内圧縮符号化データが相当する。後述の第三のパケット類は、この第二のパケット類が失われた場合再生することができないため、次の第二のパケット類が到着するまで映像を全く再生できなくなることがある。第三のパケット類は、そのパケットのみでは映像を再生することができないパケットで構成され、前記Iフレームを参照して算出された差分値などで構成されている。MPEG-2, MPEG-4,MPEG-4 Part10では、Pフレーム、Bフレームと呼ばれるフレーム間圧縮符号化データが相当する。
　それぞれのパケット類のなかでも、さらに優先度を細かく分けることができる。例えば、第二のパケット類において、Iフレーム中のデータが低解像度の映像を構成するコア部分と、そのコア部分に追加して高解像度の映像を構成するための拡張成分とに分けられる場合、コア部分に高い優先度を与えれば、解像度が粗いなりにも映像が途切れることがなく再生することができる。また、第二のパケット類において、参照先の映像との差分値の大きいフレームのデータに高い優先度を与えれば、同じデータ量でも映像の乱れを少なくすることができる。映像を途切れなく伝送するためには、少なくとも第一のパケット類と第二のパケット類の一部とを失うことなく送信しなければならず、これらのパケット類に一定以上の優先度を付与する必要がある。すなわち、優先度付与手段はデータの必要度に応じて優先度を付与する。
　データ優先度付与手段２０１において、その一定以上の優先度を示すバリュー情報を例えばヘッダ情報あるいは付加ビットとして付与することにより、パケット振り分け手段２０３においてそのパケットを第一のインターフェイス若しくは第二のインターフェイスのいずれに振り分けるべきか判断することが可能となる。
　図４ＢにMPEG-4 Part10（H.264）を用いた場合の優先度付与例を示す。この場合、プライオリティが“１”と記されたパケットを第一のインターフェイス経由で確実に届けることにより、電波状況が悪くなったとしても最低QVGAレベルの映像の再生ができる。さらに、電波情報が回復しプライオリティが“２”以下のパケットも送信できるようになれば、その送信可能パケット量が多くなるほど、映像は、HDレベルの高解像度の滑らかな映像に近づく。例えば第一のインターフェイスに小画面サイズの動画であれば送信できる程度の帯域がある場合において、優先度付与手段が、優先度を付与する際に最も優先度が高いデータとするのは、少なくとも映像シーケンスを表すパラメータと、映像符号化条件を表すパラメータと、フレーム内圧縮符号化データとである。また、小画面サイズの動画を送信できるほどの帯域が無い場合において、優先度付与手段が、優先度を付与する際に最も優先度が高いデータとするのは、少なくとも映像シーケンスを表すパラメータと、映像符号化条件を表すパラメータとである。
　・送信装置側における通信パラメータの取得について
　無線におけるデータ送信の状況を推測するためのパラメータは、通信方式により異なるので一般化して定義することはできない。しかし、通信方式が判っていれば、その通信方式で用いられるパラメータの中から適切なパラメータを指定すれば、その時の通信可能帯域、パケットロス率などを推定することができる。
　例えば、LTE（Long Term Evolution）と呼ばれるセルラー方式の無線の場合、基地局より指定されるMCS（Modulation and Coding Scheme）と呼ばれるパラメータと、PRB（Physical Resource Block）と呼ばれるパラメータとから、おおよその物理層の通信可能帯域を推定することができる。つまり、無線リンクを制御している基地局側から送られたMCS情報をもとに、現在の通信状況において変調方式及び符号化率方式を示すパラメータを取得することと、PRB情報をもとに割り当てられた周波数帯域情報を取得し、これらの情報から自端末の送信可能帯域を推定することができる。また、Wi-Fi方式の場合、IEEE802.11仕様で定義されているNAV(Network Allocation Vector)値と呼ばれるパラメータ、方式(a/b/g/n)、帯域(20MHz/40MHz)などの情報の組み合わせにより、おおよそのビットレートを推定することができる。つまり、無線リンクの理想的なビットレートをベースに、送信禁止期間と自端末が送信可能な期間とから自端末のチャネル占有率を求めることにより、自端末の送信可能帯域を推定できる。
　第一及び第二のインターフェイスの無線１及び無線２パラメータ取得手段３０８、３０９は、無線１及び無線２パラメータ設定手段３１１、３１２から、その通信方式における送信可能帯域の推定に必要な通信パラメータを取得する。このとき、無線１及び無線２パラメータ設定手段３１１、３１２において通信パラメータを変化させる度に無線１及び無線２パラメータ取得手段３０８、３０９にその変化を通知するような仕組みがない場合、無線１及び無線２パラメータ取得手段３０８、３０９は無線１及び無線２パラメータ設定手段３１１、３１２に対して最新の通信パラメータを要求してもよい。図５Ａ及び図５Ｂに、本発明の１つの実施例としてLTE及びIEEE802.11の取得送信パラメータ例を示す。
　・受信装置側における通信パラメータの取得について
　受信装置２００側で取得可能な通信パラメータは、通信パラメータを測定するために映像ストリームに追加されたパケットから取得できる通信パラメータと、無線受信手段である無線１及び無線２受信手段３０３、３０４から送信パラメータと同様な方法で取得できる通信パラメータとの２種類がある。前記の通信パラメータによって通信可能帯域を推定する方法としては、パケットペアを用いる方法、一定の長さを持つパケットを用いる方法などいくつかある。ここではその方法は特定しないが、それぞれの方法に応じたパラメータを、通信可能帯域を推定するための通信パラメータとする必要がある。
　例えば、パケットペアを用いる方法は、送信装置１００側にて２つの試験パケットを２つのペアで送信し、受信装置２００側で受信間隔の変化を測定することにより通信可能帯域の変化を調べるものである。この場合、試験パケットの受信間隔が通信可能帯域を推定するために必要なパラメータとなる。このとき、試験パケットに対し受信装置２００側がデータを正しく受け取ったことを示すAcknowledgeを返答すれば、その間隔の違いを用いて送信装置１００側にて帯域を測定することも可能であるが、無線の信頼性が低い場合はその推定誤差が大きくなってしまう。
　本発明のように、受信間隔データを信頼が高く遅延の小さい第一のインターフェイスを用いて返答すれば、上り回線でのデータ喪失あるいは伝送のゆらぎなどの影響を無視できるため、送信装置１００が把握している送信間隔データとの比較により高精度に帯域推定ができる。また、ネットワークの遅延量あるいはパケットロス率を測るやり方として、IPネットワークにおいてはpingを用いる方法が有力である。これは、送信装置１００側よりEcho Requestを送信すると受信装置２００側よりEcho Replyが返ってくることを利用したもので、Replyが返ってくるまでの時間及び応答率からRTT（Round Trip Time）あるいはパケットロス率を推定するものである。このとき、本発明のように特徴の違う無線方式を用いた場合、それぞれのEcho Requestに対してEcho Replyを送信する際に、信頼性が低く遅延の大きい第二のインターフェイスを用いて送ると、RTT値から片道の遅延量を算出する際の誤差が大きくなってしまったり、上り下り双方でパケットが失われてしまったりする可能性があるので、本来測定したい下り回線のパケットロス率の誤差が大きくなってしまう。
　そこで、第二のインターフェイスでEcho Replyを返すのではなく、第一のインターフェイスと第二のインターフェイスとのEcho Request到達時間の差分量をフィードバックすることにより、信頼性の高い第一のインターフェイスの遅延量をRTTから算出した後に、前記到達時間の差分量を加えることにより、より高精度に第二のインターフェイスの遅延量を推定できる。また、第一のインターフェイスでEcho Requestを受信した後、一定時間第二のインターフェイスがEcho Requestを受信しなかった場合、受信しなかった回数を情報フィードバックすれば、第二のインターフェイスのパケットロス率をより高精度に推定できる。
　受信装置２００から送信装置１００にフィードバックする情報として、少なくとも第一のインターフェイスの通信可能帯域を推定するための通信パラメータと、第二のインターフェイスの遅延量とが判ると、映像再生品質の劣化を防ぐのに有効である。すなわち、フィードバック受信手段は、受信装置側から送信されるフィードバック情報として、少なくとも第一のインターフェイスの受信可能帯域を推定するためのパラメータと、第二のインターフェイスの遅延量を推定するためのパラメータとを受信する。前者は、再生に必須なパケットを送るために必要な帯域を推定するのに必要である。また、第二のインターフェイスを用いて大量のデータを送ったとしても、最終パケットの到達時間が遅くなってしまい、パケット未達、あるいは受信装置側のバッファーのオーバーフローによるパケット喪失により、せっかく送付したパケットを再生に利用できない可能性がある。このため、ネットワークにて許容する範囲の遅延量（例えば、秒３０フレームで映像を送った場合、１０フレーム分を許容できるのであれば、第一のインターフェイスのデータ到達後３００ミリ秒まで）内に送れないデータは破棄した方がよい。これを判断するのに後者も必要となる。
　・通信可能帯域の推定について
　送信装置１００の無線帯域推定手段２０８は、受信装置２００から送られてきた帯域推定に必要な通信パラメータ群で通信可能帯域、例えば前記で示したようなパケットペアの間隔情報、Echo Requestとその差分量、Echo Request受信の有無等から２つの無線方式それぞれの通信可能帯域、遅延量、パケットロス率を推定する。すなわち、フィードバック受信手段は、通信可能帯域、パケットロス率、及び遅延に関するパラメータを受信装置から受信する。図６Ａ、図６Ｂに、本発明の１つの実施例として、LTE及びIEEE802.11の通信可能帯域および遅延量を推定した場合を示す。
　しかしながら、これらのデータは、無線状況の変化に伴い、刻々と変化している。特にLTEあるいはHSPA(High Speed Packet Access)方式の場合、上り回線の方が通信可能帯域が小さくなることが多い。この場合、送信パラメータの変化を測定することにより、おおよその送信可能ビットレートの変化を推定することが可能である。例えば、図５Ａの送信パラメータで、PRB数が1/2になった場合、送信可能帯域もおおよそ1/2になると推測できるため、受信装置２００側からのフィードバックを待つことなく通信可能帯域の推定値を変更することができる。
　・パケットの振り分けについて
　無線帯域推定手段２０８より得られた通信可能帯域情報をもとに、パケット振り分け手段２０３は、パケットに付与された優先度をもとにパケットの配分を決定する。そのシーケンスは以下の通りである。
　（１）第一のインターフェイスに一定の優先度以上のパケットから順番に振り分ける。 最も優先度の高いパケットをすべて送信できない場合は、FEC（Forward Error Correction）などのエラー耐性手段（処理）を施した上で第二のインターフェイスに振り分ける。すなわち、振り分け手段は、優先度が一定以上のデータを、第一のインターフェイスに換えて第二のインターフェイスを用いて送信する場合には、送信するデータに対してエラー訂正をパケットに付与する等のエラー耐性処理を行って第二のインターフェイスに出力する。なお、第二のインターフェイス内でさらに無線状況の改善のためエラー対処を行うこともあり得る。
　（２）残りのパケットを優先度の高い順に第二のインターフェイスに振り分ける。
　（３）どちらのインターフェイスにも割り当てられないパケットを破棄する。
　図７に、あるパケットを振り分け手段が受け取った際に振り分け先のインターフェイスを決めるシーケンスを表すフローチャートの一例を示す。図７に示すように、送信装置１００では、パケットの優先度をチェックし（ステップＳ７０１）、最優先のパケットの振り分けは完了したか否か判断し（ステップＳ７０２）、完了していなければ第一のインターフェイス（第一の通信手段、図２の無線１送信手段）で送信可能か否かを判断し（ステップＳ７０３）、可能であれば第一のインターフェイスでパケットを送信する（ステップＳ７０４）。ステップＳ７０３において送信可能でない場合、エラー訂正をパケットに付与し（ステップＳ７０５）、第二のインターフェイス（第二の通信手段、図２の無線２送信手段）でパケットを送信する（ステップＳ７０６）。
　また、ステップＳ７０２において完了している場合には（ステップＳ７０２　Ｙｅｓ）、優先度がＮのパケットの振り分けが完了したか否か判断し（ステップＳ７０７）、完了していない場合には第一のインターフェイスで送信可能か否かを判断し（ステップＳ７０８）、送信可能である場合には第一のインターフェイスでパケットを送信する（ステップＳ７０９）。ステップＳ７０８において送信可能でない場合には、第二のインターフェイスで送信可能か否かを判断し（ステップＳ７１０）、送信可能である場合には第二のインターフェイスでパケットを送信する（ステップＳ７１１）。送信可能でない場合にはパケットを破棄する（ステップＳ７１２）。ステップＳ７０７において完了している場合にはＮに１を加えてステップＳ７０７の処理を行う。
　また、図８に本発明におけるパケットの割当の一例を示す。優先度１から３までの３種類のパケットに分類したケースである。ケース１では、優先度１のパケットをすべて第一のインターフェイス（第一の無線手段）に、優先度２、３のパケットをすべて第二のインターフェイス（第二の無線手段）に割り当てている。ケース２では、優先度１のパケットをすべて第一のインターフェイスでは送信できないため、一部の優先度１のパケットにエラー訂正パケットを加えた上で第二のインターフェイスに割り当てている。ケース３では、第二のインターフェイスの通信可能帯域が狭くなった場合で、優先度２、３のパケットは送信されず破棄されている。
　以上の本実施の形態により以下の効果が期待できる。受信装置２００側からの通信パラメータが、第二のインターフェイスを使う場合に比較して、より早くより正確に送信装置１００側の無線帯域推定手段２０８に伝えられることにより、無線の状況変化への対応がより早くなり、かつ映像ストリームデータ再生時に必須なデータが失われる可能性が低くなるために、受信装置２００側で映像を再生する際の映像品質が向上する。特に映像の途切れを防止することができる。
＜第２の実施の形態＞
　通信状況によっては、下り回線の通信可能帯域の方が大きい非対称のネットワークであっても受信装置２００側の下り回線の方が通信のボトルネックとなる場合がある。このことは、送信装置１００側の無線手段の送信パラメータから推定した通信可能帯域と、実際に受信した試験パケットから推定した通信可能帯域と比較することにより、どちらがボトルネックかを推定することができる。この場合も、ある特定の試験用パケットの到着を待つことなく、受信装置２００側の受信手段から取得したパラメータのフィードバックにより送信可能帯域の推定値を変更することができる。
　通信ボトルネックを送信装置において推定するためのフローチャートを図９に示す。ここで、ThTは送信装置１００側で取得した無線パラメータより推定した通信可能帯域を、ThRは受信装置２００側で取得した無線パラメータより推定した通信可能帯域を、ThEは試験パケットを用いて推定した通信可能帯域を示す。図９に示すように、ThT、ThR、ThEが入力されると（Ｓ９０１）、If ΔThT>0, then ΔThE>Sを満たすか否か判断される（ステップＳ９０２）。ここで、ΔThT はThT の時間変動の絶対値を示す。ΔThE , ΔThR についても同様である。またSはユーザが定義する有意差のある変動幅を示す。If ΔThT>0, then ΔThE>Sを満たす場合には送信装置１００側がボトルネックであると推定される（ステップＳ９０３）。送信装置の無線パラメータの変動が、試験パケットにより推定された通信可能帯域へ与えた影響が大きいと考えられるからである。また、ステップＳ９０２において満たさないと判断されると、If ΔThR>0, then ΔThE>Sを満たすか否か判断され（ステップＳ９０４）、満たす場合には受信装置２００側がボトルネックであると推定され（ステップＳ９０５）、満たさない場合には無線区間以外にボトルネックがあると推定される（ステップＳ９０６）。
　送信装置１００側の無線伝送手段がボトルネックと判断した場合、送信装置１００側の通信パラメータの変化をベースに送信可能帯域を推定してもよい。また、受信装置２００側の無線伝送手段がボトルネックと判断した場合、受信装置２００側の送信パラメータの変化をベースに送信可能帯域を推定してもよい。すわなち、推定手段は、送信装置側より取得した通信パラメータと受信装置側より取得した通信パラメータとを比較し、通信可能帯域への影響が大きい方の通信パラメータを用いて通信可能帯域を推定する。
　ここで、通信可能帯域への影響が大きいとは、そのインターフェイスの通信状況に変化があったときに、送信装置１００と受信装置２００との間の通信可能帯域が大きく変化するかどうかを示すものである。例えば、送信装置１００と受信装置２００との間に3Mbpsの通信可能帯域があった場合、受信装置側インターフェイスの通信可能帯域が1/2になっても全体の通信可能帯域は3Mbpsのまま変化しないが、送信装置側インターフェイスの通信帯域が1/2になったときに全体の通信可能帯域が1.5Mbpsに変化した場合、送信装置側インターフェイスの方が通信可能帯域への影響が大きいと言える。
＜第３の実施の形態＞
　また、本発明は、同一の無線システムが高信頼性チャネルと大容量チャネルとで構成されている場合でも、高信頼性チャネルを第一のインターフェイス、大容量チャネルを第二のインターフェイスとして利用することもできる。例えば、無線LANのように複数のチャネルから構成される無線方式において、そのうちの１つのチャネルを制御用として占有できる場合、上記制御用チャネルを本発明の第一のインターフェイスとし、残りのチャネルを本発明の第二のインターフェイスとして利用しても、同様の効果が期待できる。
　なお、上記ホワイトスペースはテレビのホワイトスペースに限定されない。具体的には例えば、400MHz程度から6GHz以下の周波数帯域を用いる無線通信システムで、同一帯域に他に優先されるべき無線通信システムが存在する場合、当該システムは「ホワイトスペースを利用したシステム」と称されることがある。また、映像受信側若しくは映像送信側のいずれか一方が、ヘテロ型マルチ無線ではなく単一の無線通信システムを用いている場合にも本発明の各実施の形態は適用できる。その場合、パケット割り当て手段は、ヘテロ型マルチ無線を用いているリンクの情報(映像送信側又は映像受信側)のみを用いて割り当て制御を行う。更に、映像受信側が例えば有線接続されており、送信側がボトルネックとなることが明らかな場合には、受信機側からのパラメータフィードバックを受けずに、送信側のパラメータのみを用いてパケット割り当てを行ってもよい。
　なお、上記各実施の形態では、送受信するデータを映像データを例に説明したが、本発明は映像データのみでなく、データを構成するパケットに異なる重要度が割り当てられる全てのデータに適用可能である。例えば、音声データにおいて人間の声の周波数域の音とそれ以外の周波数域の音とで異なる重要度を割り当てたり、センサーネットワークの出力データにおいて、変化量の多いポイントと変化量の無いポイントとで異なる重要度を割り当てたりするなどの場合がある。
＜第４の実施の形態＞
　第４の実施の形態では、上述したフィードバックのための経路（フィードバック経路）の指定の方法について説明する。
　・フィードバック経路の指定方法
　送信装置が第一のインターフェイス及び第二のインターフェイスを選択することは容易であるが、受信装置からフィードバックする情報を第一のインターフェイスを通じて送信装置へ送信するためには、フィードバック経路を指定する必要がある。図１１に示すように、第一のインターフェイスが対向の中継局Ｘ（中継ノードＸ、中継点Ｘともいう）を介してオープンなネットワークに接続されている場合、第一のインターフェイスの対向にある中継局Ｘのアドレスを指定することにより、第一のインターフェイスを必ず利用してフィードバック情報を送信することができるようになる。
　また、図１２に示すように、第一のインターフェイスが閉じたネットワークに包含され、受信装置から送信装置のアドレスが直接見えない場合でも、この閉じたネットワーク中において外部ネットワークと接続される中継局Ｘのアドレスを指定することにより、第一のインターフェイスを必ず利用してフィードバック情報を送信することができるようになる。
　フィードバック経路指定のための第一のステップとして、送信装置は上記中継局Ｘのアドレスを入手する。第一のインターフェイスが対向の中継局Ｘを介してオープンなネットワークに接続されている場合は、送信装置が中継局Ｘから直接入手できる場合もある。
　また、第一のインターフェイスが閉じたネットワークに包含されている場合における中継局Ｘのアドレスも、不図示のネットワーク管理者への問い合わせにより入手可能である。しかし、この場合、中継局Ｘが複数設定されている場合、送信装置と受信装置との間のルーティングにおいて、複数設定されている中継局Ｘのアドレスのうちのいずれが用いられているか特定できない場合がある。
　このような状況で、実際に使用されている中継局ＸのＩＰアドレスを特定する実施例の一つを以下に示す。図１８に示すように、送信装置は、第一のインターフェイスのみを使用した状況で、受信装置にルーティング検出フレームの要求を行う。要求を受けた受信装置は、ルーティング検出フレームを送信装置に向けて送信する。ルーティング検出フレームの一例として、RFC791で定義されたインターネットプロトコルのRecord Routeオプションを利用することが挙げられる。すなわち、ルーティング情報を取得するため、フィードバック受信手段が、受信装置から送信される、通過する中継点のアドレス情報を記録させる機能を持つパケットを含むルーティング情報検出フレーム（ルーティング検出フレームに相当）を受信する。
　第４の実施の形態に係る送信装置の構成の一例を図１３に、受信装置の構成の一例を図１４にそれぞれ示す。図１３に示すように、第４の実施の形態に係る送信装置の特徴的部分は中継アドレス検出手段１３０１である。中継アドレス検出手段１３０１は、無線１送信手段を通じて送信されたルーティング検出フレーム要求により、無線１受信手段を介して受信したルーティング検出フレームと、あらかじめ取得された中継点アドレス情報（第一のインターフェイスと接続可能な中継点アドレス情報）とに基づいて、中継局ＸのＩＰアドレスを特定する。すなわち、送信装置と受信装置との間のルーティング情報と、あらかじめ取得された第一のインターフェイスと接続可能な、送信装置と受信装置との間の中継点のアドレス情報とを比較することにより、第一のインターフェイスによって利用されている中継点のアドレスを特定する特定手段を更に備え、送信手段が、特定された中継点のアドレスを経由点として指定させ、第一のインターフェイスを介して送信装置へフィードバック情報を送信させるため、特定された中継点のアドレスの情報を受信装置へ送信する。
　また、図１４に示すように、第４の実施の形態に係る受信装置は、送信装置から送信されたルーティング検出フレーム要求を無線１受信手段を介して受信し、受信したルーティング検出フレーム要求に基づいて取得されたルーティング検出フレームを無線１送信手段を通じて送信装置へ送信する。なお、第４の実施の形態に係る送信装置及び受信装置の他の構成要素については、第１の実施の形態で説明したものと同様のため説明を省略する。
　ここで用いられるプロトコルは、図１５に示すように、中継地点に到達すると自分（そのノード自身）のＩＰアドレスをデータ領域に記録して次の中継点に転送するしくみを定義しており、最終の目的アドレスに到達すると、それまでに通過した中継局のアドレスがデータ領域に順番に記録されているものである。
　第一のインターフェイスを利用するすべてのデータは、必ず中継局ＸのＩＰアドレスのいずれかを経由する。そこで、図１３に示す中継アドレス検出手段１３０１を用いてこの記録されたアドレス群と中継局Ｘのアドレス群とを比較することにより、実際に使用されている中継局Ｘのアドレスを特定する。中継局Ｘのアドレス特定方法の一例を図１６に示す。中継局Ｘのアドレス群は、例えばネットワークの設定情報としてあらかじめ入手しておく。
　その後、特定された中継局Ｘのアドレス情報を受信装置に通知するが、このアドレス情報の通知は、第一のインターフェイス、第二のインターフェイスいずれを用いてもよい。複数のインターフェイスを利用した通信を行っている際に、受信装置によってネットワーク情報のフィードバックの必要性が発生したら、中継局ＸのＩＰアドレスを経由することを指定した上で、送信装置にフィードバック情報を送信する。
　この際に、中継局Ｘのアドレスを指定する方法の一つとして、RFC791で定義されたLoose Source and Record Route(LSRR)オプションが挙げられる。図１７に示すように、フィードバック情報を含むＩＰパケットにこのLSRRオプションを適用すると、送信装置より通知された中継局ＸのＩＰアドレスを、送信装置が持つＩＰアドレスよりも前に通過するように設定することにより、中継局Ｘを経由して必ず第一のインターフェイスを利用して送信装置にフィードバック情報を送信する。第４の実施の形態では、図１８に示すシーケンスによって、フィードバック情報を第一のインターフェイス経由で送信装置に送信することを実現している。
　なお、ルーティング情報を取得する際に、下位層の情報などを用いて第一のインターフェイス経由で受信したルーティング情報を特定して利用してもよい。また、受信装置から送信装置に到るまでのルーティング情報を入手する際に、受信装置がルート中にある中継局のアドレス情報を個別に入手する（例えば、RFC1393で定義されているTrace Routeを用いれば、ルート中にある中継局のアドレス情報を入手できる）ことによりリスト化し、そのリストを送信装置に送るようにすれば、ホップ数が大きいネットワークにおいても効果的に本発明を実施できる。すなわち、フィードバック受信手段が、中継点のアドレスを検出するパケットを含むフレームの送信により取得されるルーティング情報を受信装置から受信する。また、第４の実施の形態では、中継局Ｘのアドレス情報を送信装置側で特定したが、送信装置から受信装置に中継局のアドレス情報を送信して受信装置側で特定してもよい。
　以上、本発明の各実施の形態について説明した。
　なお、上記の本発明の各実施の形態の説明で用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続あるいは設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適用などが可能性としてあり得る。
　本発明の送信データ処理方法、情報処理方法、送信装置、及び受信装置は、ヘテロジニアス型マルチ無線ネットワークにおける通信可能帯域の推定をより高速に行い、かつ通信可能帯域に不可避な変動が生じた場合でも映像品質の劣化を低減することができるので、利用可能な帯域が制限されるネットワークを用いてデータを送受信する際の送信データ処理方法、情報処理方法、送信装置、及び受信装置などに有用である。
　

Claims (22)

  1. 　通信相手の受信装置に対してデータ送信を行う送信装置による前記データ送信の前段階での送信データ処理方法であって、
    　前記受信装置へ送信される複数のデータの前記データごとに所定の基準に基づいて優先度を付与する優先度付与ステップと、
    　前記送信装置から前記受信装置へ送信されたデータに関するフィードバック情報を前記受信装置から受信するフィードバック受信ステップと、
    　前記優先度と、受信した前記フィードバック情報とに基づいて、前記複数のデータを、前記受信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスに振り分ける振り分けステップとを、
    　有する送信データ処理方法。
  2. 　通信相手の送信装置からデータを受信する受信装置による前記送信装置への情報送信のための情報処理方法であって、
    　前記送信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスからなる無線通信手段を用いて前記送信装置から前記データを受信する受信ステップと、
    　受信した前記データに基づいて、前記データに関するフィードバック情報を取得するフィードバック取得ステップと、
    　取得された前記フィードバック情報を前記第一のインターフェイスを介して前記送信装置へ送信する送信ステップとを、
    　有する情報処理方法。
  3. 　通信相手の受信装置に対してデータ送信を行う送信装置であって、
    　前記受信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスからなる無線通信手段と、
    　前記無線通信手段を用いて前記受信装置へ複数のデータを送信する送信手段と、
    　前記送信手段によって前記受信装置へ送信される前記データごとに所定の基準に基づいて優先度を付与する優先度付与手段と、
    　前記送信装置から前記受信装置へ送信されたデータに関するフィードバック情報を前記受信装置から受信するフィードバック受信手段と、
    　前記優先度と、受信した前記フィードバック情報とに基づいて、前記送信手段によって送信される前記複数のデータを前記第一のインターフェイス及び第二のインターフェイスに振り分ける振り分け手段とを、
    　備える送信装置。
  4. 　前記第一のインターフェイス及び第二のインターフェイスにおける通信パラメータを取得する通信パラメータ取得手段を更に有し、
    　前記振り分け手段は、取得した前記通信パラメータを更に用いて前記複数のデータの振り分けを行う請求項３に記載の送信装置。
  5. 　前記フィードバック情報に基づき、前記受信装置との通信に関する利用可能帯域を推定する推定手段を更に有し、
    　前記振り分け手段は、前記推定手段の推定結果に基づいて前記複数のデータの振り分けを行う請求項３又は４に記載の送信装置。
  6. 　前記第一のインターフェイスが、前記第二のインターフェイスよりも高い通信品質を有する請求項３に記載の送信装置。
  7. 　前記振り分け手段は、前記データに付与された優先度に基づき、前記複数のデータを前記第一のインターフェイス及び前記第二のインターフェイスへ振り分ける請求項３に記載の送信装置。
  8. 　前記フィードバック受信手段は、通信可能帯域、パケットロス率、及び遅延に関するパラメータを前記受信装置から受信する請求項３に記載の送信装置。
  9. 　前記優先度付与手段は、前記データの必要度に応じて優先度を付与する請求項３に記載の送信装置。
  10. 　前記振り分け手段は、前記優先度が一定以上のデータを、前記第一のインターフェイスに換えて前記第二のインターフェイスを用いて送信する場合には、送信するデータに対してエラー耐性処理を行って第二のインターフェイスに出力する請求項３に記載の送信装置。
  11. 　前記推定手段は、前記送信装置側より取得した通信パラメータと前記受信装置側より取得した通信パラメータとを比較し、通信可能帯域への影響が大きい方の通信パラメータを用いて利用可能帯域を推定する請求項５に記載の送信装置。
  12. 　前記フィードバック受信手段は、前記受信装置側から送信される前記フィードバック情報として、少なくとも第一のインターフェイスの通信可能帯域を推定するためのパラメータと、第二のインターフェイスの遅延量を推定するためのパラメータとを受信する請求項３に記載の送信装置。
  13. 　前記優先度付与手段は、前記優先度を付与する際に、少なくとも映像シーケンスを表すパラメータと、映像符号化条件を表すパラメータと、フレーム内圧縮符号化データと、を最も優先度が高いデータとする請求項３に記載の送信装置。
  14. 　前記優先度付与手段は、前記優先度を付与する際に、少なくとも映像シーケンスを表すパラメータと、映像符号化条件を表すパラメータと、を最も優先度が高いデータとする請求項３に記載の送信装置。
  15. 　前記送信装置と前記受信装置との間のルーティングに関する情報と、あらかじめ取得された前記第一のインターフェイスと接続可能な、前記送信装置と前記受信装置との間の中継点のアドレス情報とを比較することにより、前記第一のインターフェイスによって利用されている中継点のアドレスを特定する特定手段を更に備え、
    　前記送信手段は、特定された前記中継点のアドレスを経由点として指定させ、前記第一のインターフェイスを介して前記送信装置へ前記フィードバック情報を送信させるため、特定された前記中継点のアドレスの情報を前記受信装置へ送信する請求項３に記載の送信装置。
  16. 　前記ルーティングに関する情報を取得するため、前記フィードバック受信手段は、前記受信装置から送信される、通過する中継点のアドレス情報を記録させる機能を持つパケットを含むルーティング情報検出フレームを受信する請求項１５に記載の送信装置。
  17. 　前記フィードバック受信手段は、中継点のアドレスを検出するパケットを含むフレームの送信により取得される前記ルーティングに関する情報を前記受信装置から受信する請求項１５に記載の送信装置。
  18. 　通信相手の送信装置からデータを受信する受信装置であって、
    　前記送信装置との通信に用いられる第一のインターフェイス及び第二のインターフェイスからなる無線通信手段と、
    　前記無線通信手段を用いて前記送信装置から前記データを受信する受信手段と、
    　受信した前記データに基づいて、前記データに関するフィードバック情報を取得するフィードバック取得手段と、
    　取得された前記フィードバック情報を前記第一のインターフェイスを介して前記送信装置へ送信する送信手段とを、
    　備える受信装置。
  19. 　前記第一のインターフェイスが、前記第二のインターフェイスよりも高い通信品質を有する請求項１８に記載の受信装置。
  20. 　前記フィードバック取得手段は、通信可能帯域、パケットロス率、及び遅延に関するパラメータを取得する請求項１８又は１９に記載の受信装置。
  21. 　前記フィードバック取得手段は、前記第一のインターフェイスと前記第二のインターフェイスとにおける、前記送信装置からのパケット到達時間の差分を取得する請求項１８に記載の受信装置。
  22. 　前記フィードバック取得手段は、前記第二のインターフェイスが一定時間内にパケットを受信しなかった回数を取得する請求項１８に記載の受信装置。
PCT/JP2012/001179 2011-02-25 2012-02-22 送信データ処理方法、情報処理方法、送信装置、及び受信装置 WO2012114728A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/813,535 US9078154B2 (en) 2011-02-25 2012-02-22 Transmission data processing method, information processing method, transmission device, and reception device
JP2013500887A JP5923745B2 (ja) 2011-02-25 2012-02-22 送信装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-040735 2011-02-25
JP2011040735 2011-02-25
JP2011-171142 2011-08-04
JP2011171142 2011-08-04

Publications (1)

Publication Number Publication Date
WO2012114728A1 true WO2012114728A1 (ja) 2012-08-30

Family

ID=46720520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/001179 WO2012114728A1 (ja) 2011-02-25 2012-02-22 送信データ処理方法、情報処理方法、送信装置、及び受信装置

Country Status (3)

Country Link
US (1) US9078154B2 (ja)
JP (1) JP5923745B2 (ja)
WO (1) WO2012114728A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015594A (ja) * 2013-07-04 2015-01-22 日本放送協会 映像送信装置、映像受信装置、およびプログラム
JP2016539570A (ja) * 2013-11-08 2016-12-15 ゴーゴー・エルエルシー 多元順方向リンクを使用する輸送機関でのデバイスに対するデータ配信
US9967020B2 (en) 2013-11-08 2018-05-08 Gogo Llc Facilitating communications between on-board electronic devices and terrestrial devices
JP2020017855A (ja) * 2018-07-25 2020-01-30 日本電信電話株式会社 光／ｒｆ無線ハイブリッド通信システム、及び制御方法
JP2020036156A (ja) * 2018-08-29 2020-03-05 Kddi株式会社 映像送信装置、映像送信方法及びコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128579A (ja) * 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd 無線送信システムおよび通信端末装置
JP2005341310A (ja) * 2004-05-27 2005-12-08 Fujitsu Ten Ltd 通信装置
JP2009508374A (ja) * 2005-09-09 2009-02-26 フランス テレコム 複数のインタフェイスを備える端末におけるリソースの最適化された管理方法
JP2009515433A (ja) * 2005-11-02 2009-04-09 ルーセント テクノロジーズ インコーポレーテッド パラレルネットワークインターフェースを介して情報を配信すること

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69927339T2 (de) * 1998-11-30 2006-06-22 Matsushita Electric Industrial Co., Ltd., Kadoma Datenübertragungverfahren
JP3456923B2 (ja) * 1999-05-20 2003-10-14 シャープ株式会社 ホスト機器及び同期通信システム及び通信干渉防止方法及び通信干渉防止プログラムを記録したコンピュータ読み取り可能な記録媒体
AU2002230533A1 (en) * 2000-11-29 2002-06-11 Pulsent Corporation Method and apparatus for a hybrid communication network
JP2003152544A (ja) * 2001-11-12 2003-05-23 Sony Corp データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US20050213538A1 (en) 2002-05-31 2005-09-29 Matsushita Electric Industrial Co., Ltd Data distribution device and transmission method
US8340172B2 (en) * 2004-11-29 2012-12-25 Qualcomm Incorporated Rate control techniques for video encoding using parametric equations
JP2006211274A (ja) * 2005-01-27 2006-08-10 Toshiba Corp 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法
US20060221998A1 (en) * 2005-03-31 2006-10-05 Interdigital Technology Corporation Method and apparatus for performing dynamic link selection
US7474615B2 (en) * 2005-07-11 2009-01-06 Dell Products L.P. Network optimization based on traffic prioritization
US8214516B2 (en) * 2006-01-06 2012-07-03 Google Inc. Dynamic media serving infrastructure
US8589578B2 (en) * 2007-06-29 2013-11-19 Toshiba America Research, Inc. Streaming video over multiple network interfaces
US8717878B2 (en) * 2010-03-25 2014-05-06 Canon Kabushiki Kaisha Providing feedback information when network streaming over multiple physical interfaces

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004128579A (ja) * 2002-09-30 2004-04-22 Matsushita Electric Ind Co Ltd 無線送信システムおよび通信端末装置
JP2005341310A (ja) * 2004-05-27 2005-12-08 Fujitsu Ten Ltd 通信装置
JP2009508374A (ja) * 2005-09-09 2009-02-26 フランス テレコム 複数のインタフェイスを備える端末におけるリソースの最適化された管理方法
JP2009515433A (ja) * 2005-11-02 2009-04-09 ルーセント テクノロジーズ インコーポレーテッド パラレルネットワークインターフェースを介して情報を配信すること

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015015594A (ja) * 2013-07-04 2015-01-22 日本放送協会 映像送信装置、映像受信装置、およびプログラム
JP2016539570A (ja) * 2013-11-08 2016-12-15 ゴーゴー・エルエルシー 多元順方向リンクを使用する輸送機関でのデバイスに対するデータ配信
US9967020B2 (en) 2013-11-08 2018-05-08 Gogo Llc Facilitating communications between on-board electronic devices and terrestrial devices
US9973262B2 (en) 2013-11-08 2018-05-15 Gogo Llc Data delivery to devices on vehicles using multiple forward links
US10205509B2 (en) 2013-11-08 2019-02-12 Gogo Llc Data delivery to devices on vehicles using multiple forward links
JP2020017855A (ja) * 2018-07-25 2020-01-30 日本電信電話株式会社 光／ｒｆ無線ハイブリッド通信システム、及び制御方法
WO2020022320A1 (ja) * 2018-07-25 2020-01-30 日本電信電話株式会社 光／ｒｆ無線ハイブリッド通信システム、及び制御方法
US11212004B2 (en) 2018-07-25 2021-12-28 Nippon Telegraph And Telephone Corporation Optical/RF wireless hybrid communication system and a control method
JP7115102B2 (ja) 2018-07-25 2022-08-09 日本電信電話株式会社 光／ｒｆ無線ハイブリッド通信システム、及び制御方法
JP2020036156A (ja) * 2018-08-29 2020-03-05 Kddi株式会社 映像送信装置、映像送信方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP5923745B2 (ja) 2016-05-25
US9078154B2 (en) 2015-07-07
JPWO2012114728A1 (ja) 2014-07-07
US20130142045A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
US10560865B2 (en) Systems and methods for electronic news gathering
JP4397398B2 (ja) 複数のアクセスポイントを使用したデータのマルチアクセスポイント送信のためのシステムおよび方法
KR101993167B1 (ko) 정체로 유도된 비디오 스케일링
US10455042B2 (en) Transmitting information across a communications network
EP2603039B1 (en) Systems and methods for preserving application identification information on handover in a communication network
US8032130B2 (en) Systems and methods of controlling one or more characteristics of a service
US20130166623A1 (en) Systems and methods for cooperative applications in communication systems
US9906985B2 (en) Method and device for selecting uplink data
KR20120093950A (ko) 단말 장치, 기지국, 통신 제어 방법 및 무선 통신 시스템
JP5923745B2 (ja) 送信装置
WO2016068316A1 (ja) 無線基地局、パケット送信装置、無線端末、制御方法、及びプログラム
US11722913B2 (en) Multichannel communication systems
KR20130047642A (ko) 통신 시스템에서 데이터 송수신 장치 및 방법
KR101472458B1 (ko) Svc 신호의 전송 라우팅 경로 할당 시스템 및 그 방법
JP6433600B2 (ja) 周波数選択性チャネルを介したデータパケットの送信のための時間周波数リソースを配分する方法
US20160373509A1 (en) APPARATUS AND METHOD FOR REPORTING QoS/QoE IN MOBILE ENVIRONMENT
US20200187041A1 (en) Wireless communication method and associated wireless device
WO2016042687A1 (ja) 送信装置及びその制御方法
KR101707416B1 (ko) 무선 랜에서 데이터 방송 서비스를 위한 ＱｏＳ 제어 방법 및 시스템, 이를 위한 액세스 포인트
WO2022151381A1 (zh) 一种通信方法与装置
KR101344832B1 (ko) 무선 멀티홉 네트워크 환경에서 홉 수 및 채널 부하를 고려한 비트레이트 할당방법 및 시스템
KR20160106994A (ko) 무선랜에서의 계층적 비디오 스트리밍 시스템 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12748986

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013500887

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13813535

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12748986

Country of ref document: EP

Kind code of ref document: A1