WO2013183236A1 - 送信装置、受信装置、送信方法および受信方法 - Google Patents

送信装置、受信装置、送信方法および受信方法 Download PDF

Info

Publication number
WO2013183236A1
WO2013183236A1 PCT/JP2013/003175 JP2013003175W WO2013183236A1 WO 2013183236 A1 WO2013183236 A1 WO 2013183236A1 JP 2013003175 W JP2013003175 W JP 2013003175W WO 2013183236 A1 WO2013183236 A1 WO 2013183236A1
Authority
WO
WIPO (PCT)
Prior art keywords
real
transmission
time stream
redundant code
time
Prior art date
Application number
PCT/JP2013/003175
Other languages
English (en)
French (fr)
Inventor
衛一 村本
孝弘 米田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201380019679.2A priority Critical patent/CN104221317B/zh
Priority to JP2014519819A priority patent/JP6380935B2/ja
Priority to US14/400,311 priority patent/US9331815B2/en
Publication of WO2013183236A1 publication Critical patent/WO2013183236A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/08—Arrangements for detecting or preventing errors in the information received by repeating transmission, e.g. Verdan system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1812—Hybrid protocols; Hybrid automatic repeat request [HARQ]
    • H04L1/1819—Hybrid protocols; Hybrid automatic repeat request [HARQ] with retransmission of additional or different redundancy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end
    • H04L1/1874—Buffer management
    • H04L1/1877—Buffer management for semi-reliable protocols, e.g. for less sensitive applications like streaming video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Definitions

  • the present application relates to a transmission device, a reception device, a transmission method, and a reception method for multiplexing and transmitting a plurality of real-time streams such as video and audio via a best effort network such as the Internet.
  • Patent Document 1 discloses a method of assigning a large amount of code to a more complex real-time stream.
  • An object of the present invention is to strongly protect important information when transmitting information through a best effort network such as the Internet.
  • a transmission apparatus is a transmission apparatus that multiplex-transmits a plurality of real-time streams to a reception apparatus via a network in which packet loss occurs, and the transmission quality of each real-time stream set by a user
  • a quality control information holding unit for holding quality control information for controlling the transmission, and setting a retransmission upper limit number for each of the plurality of real-time streams according to transmission quality information indicating the network status and the quality control information
  • a retransmission control unit that retransmits packets of each real-time stream until the upper limit number of retransmissions is reached in accordance with a retransmission request from the receiving device.
  • a transmission method is a transmission method of a transmission device that multiplex-transmits a plurality of real-time streams to a reception device via a network in which packet loss occurs, and each real-time stream set by a user
  • the upper limit number of retransmissions is set for each of the plurality of real-time streams in accordance with the step of holding quality control information for controlling the transmission quality, and the transmission quality information indicating the status of the network and the quality control information
  • the figure which shows an example of a structure of the communication system which concerns on Embodiment 1 of this invention The block diagram which shows the structure of the transmitter which concerns on Embodiment 1 of this invention.
  • the flowchart which shows the flow of the calculation of the redundant code strength based on Embodiment 1 of this invention Diagram showing an example of the relationship between packet loss rate and provisional FEC strength
  • FIG. 1 is a diagram showing an example of a configuration of a communication system according to Embodiment 1 of the present invention.
  • a communication system 100 shown in FIG. 1 is a system capable of simultaneously transmitting and receiving two independent videos by dual-streaming.
  • the communication system 100 mainly includes data generation devices 101 and 102, a transmission device 103, a reception device 104, playback devices 105 and 106, and a network 107.
  • the data generation device 101 converts the video of the speaker captured by the camera and the voice of the speaker collected by the microphone into data, and outputs a real-time stream of the video and audio data to the transmission device 103.
  • the data generation device 102 outputs a real-time stream of document video data stored in the memory to the transmission device 103.
  • the transmission apparatus 103 encodes the real-time stream output from the data generation apparatuses 101 and 102 to form a packet, and transmits the packet to the reception apparatus 104 via the network 107, respectively. Further, the transmission device 103 retransmits the packet in accordance with the request from the reception device 104.
  • the reception device 104 decodes the packet received from the transmission device 103, and outputs real-time video and audio streams to the reproduction devices 105 and 106, respectively.
  • the reception apparatus 104 transmits transmission quality information to the transmission apparatus 103 via the network 107.
  • the transmission quality information is information indicating the status of the network, and is information relating to the packet loss rate or transmission delay of the real-time stream received by the receiving apparatus 104.
  • the information on the packet loss rate or the transmission delay may be information on the packet loss rate or jitter defined in the RFC3550 receiver report (RR).
  • the information regarding the packet loss rate or the transmission delay may be the packet loss rate collected during a specific statistical period by the receiving apparatus 104 or the statistical information of the transmission delay.
  • the information on the transmission delay may be information on a one-way transmission delay for transmitting a packet from the transmission device 103 to the reception device 104, or information on a round-trip delay time between the transmission device 103 and the reception device 104.
  • the information regarding the transmission delay may be the maximum value, the minimum value, the average value, and the variance of the one-way transmission delay, or the statistical information of the round-trip delay.
  • Reproduction devices 105 and 106 reproduce video / audio based on real-time video and audio streams input from reception device 104, respectively.
  • packet loss may occur in the network 107.
  • a real-time stream in which packet loss has occurred is decoded without being recovered by the receiving device 104 and played back by the playback devices 105 and 106, video distortion and skipping occur. Therefore, in the present embodiment, a function for preventing image disturbance and sound skipping due to packet loss is introduced into the transmission device 103 and the reception device 104.
  • FIG. 2 is a block diagram showing a configuration of transmitting apparatus 103 according to the present embodiment.
  • the transmission apparatus 103 includes an encoding unit 201, 202, a quality control information holding unit 203, a recovery strength instruction unit 204, a redundant encoding unit 205, 206, a delay amount instruction unit 207, and a retransmission control unit 208, 209. And a multiplexing unit 210 and a radio unit 211.
  • the encoding unit 201 encodes the real-time stream of video and audio data output from the data generation apparatus 101, and outputs the encoded real-time stream packet to the redundant encoding unit 205.
  • the encoding unit 202 encodes the real-time stream of the material video data output from the data generation device 102 and outputs the encoded real-time stream packet to the redundant encoding unit 206.
  • Video data encoding methods include H264, MPEG4, and the like.
  • Audio data encoding methods include AAC, G.722, and the like.
  • the quality control information holding unit 203 holds information for controlling the transmission quality of each real-time stream set by the user (hereinafter referred to as “quality control information”).
  • FIG. 3 shows an example of quality control information.
  • the quality control information includes a synchronization parameter indicating an allowable range of delay time of other real-time streams with respect to a reference real-time stream (a real-time stream of a speaker's voice), and the strength of protection of each real-time stream. Examples of the protective strength are as follows.
  • the recovery strength instruction unit 204 sets the redundant code strength based on the transmission quality information from the receiving device 104 and the quality control information held by the quality control information holding unit 203. Then, the recovery strength instruction unit 204 outputs the redundant code strength to the redundant encoding units 205 and 206 and the multiplexing unit 210. Details of the control performed by the recovery strength instruction unit 204 will be described later.
  • Redundant encoding sections 205 and 206 generate redundant code packets by FEC for the packets output from encoding sections 201 and 202 based on the redundant code strength output from recovery strength instruction section 204, respectively. . Then, redundant encoding sections 205 and 206 output the packets and redundant code packets output from encoding sections 201 and 202 to retransmission control sections 208 and 209 and multiplexing section 210, respectively.
  • An example of generating redundant code packets performed by the redundant encoding units 205 and 206 will be described later.
  • the delay amount instruction unit 207 determines the upper limit number of retransmissions for each real-time stream packet based on the transmission quality information from the receiving apparatus 104 and the quality control information held by the quality control information holding unit 203. Then, the delay amount instruction unit 207 outputs the retransmission upper limit number to the retransmission control units 208 and 209 and the multiplexing unit 210. Details of the control performed by the delay amount instruction unit 207 will be described later.
  • Retransmission control units 208 and 209 store the packets for a certain period according to the number of retransmission upper limits determined by delay amount instruction unit 207, and output the retransmission packets to multiplexing unit 210 according to the retransmission request from receiving apparatus 104.
  • the multiplexing unit 210 receives the packets output from the redundant encoding units 205 and 206 or the retransmission packets output from the retransmission control units 208 and 209. Further, multiplexing section 210 receives the redundant code strength output from recovery strength instruction section 204 and the upper limit number of retransmissions output from delay amount instruction section 207. Then, multiplexing section 210 multiplexes the input packet or retransmission packet, redundant code strength, and retransmission upper limit count, and outputs the result to radio section 211.
  • the wireless unit 211 performs wireless processing such as up-conversion and amplification on the data output from the multiplexing unit 210 and transmits a wireless signal to the receiving device 104 via the network 107.
  • the wireless unit 211 performs wireless processing such as down-conversion and amplification on the wireless signal received from the receiving device 104.
  • Radio section 211 then outputs the received transmission quality information to recovery strength instruction section 204 and delay amount instruction section 207, and outputs a retransmission request to retransmission control sections 208 and 209.
  • FIG. 4 is a block diagram showing a configuration of receiving apparatus 104 according to the present embodiment.
  • the receiving apparatus 104 includes a radio unit 301, a demultiplexing unit 302, retention period instruction units 303 and 304, buffer units 305 and 306, redundant code decoding units 307 and 308, decoding units 309 and 310, and transmission quality information.
  • the generation unit 311 is mainly configured.
  • the radio unit 301 performs radio processing such as down-conversion and amplification on the radio signal received from the transmission apparatus 103, and outputs a baseband signal to the demultiplexing unit 302.
  • the radio unit 301 performs radio processing such as up-conversion and amplification on the retransmission request output from the buffer units 305 and 306 and the transmission quality information output from the transmission quality information generation unit 311.
  • the wireless unit 301 transmits the wireless signal subjected to wireless processing to the transmission device 103 via the network 107.
  • Separating section 302 separates the signal output from radio section 301, outputs the packet to buffer sections 305 and 306, outputs the maximum number of retransmissions to holding period instruction sections 303 and 304, and redundant code decoding the redundant code strength Output to the units 307 and 308.
  • the holding period instruction units 303 and 304 instruct the buffer units 305 and 306 to hold the packet based on the upper limit number of retransmissions transmitted from the transmission device 103, respectively.
  • the buffer units 305 and 306 hold the packets of the real-time stream transmitted from the transmission apparatus 103 at the times indicated by the holding period instruction units 303 and 304, respectively. Further, when packet loss occurs, the buffer units 305 and 306 transmit a retransmission request to the transmission apparatus 103 via the wireless unit 301 until the upper limit number of retransmissions is reached.
  • Redundant code decoding units 307 and 308 each store packets of real-time streams corresponding to the number of FEC blocks according to the redundant code strength transmitted from transmitting apparatus 103. Then, the redundant code decoding units 307 and 308 execute a process for recovering the lost packet in the network 107 using the redundant code packet, and output the recovered real-time stream to the decoding units 309 and 310, respectively.
  • the decoding units 309 and 310 decode the real-time stream and output it to the playback devices 105 and 106, respectively.
  • the transmission quality information generation unit 311 generates transmission quality information that is information on the packet loss rate of the real-time stream received by the buffer units 305 and 306 or transmission delay, and outputs the transmission quality information to the radio unit 301.
  • FIG. 5 shows an example in which redundant code packets are generated in both the vertical direction and the horizontal direction.
  • six redundant code packets FEC1 to FEC6 are generated (FEC: 100%) for FEC blocks having six data packets DATA1 to DATA6 and having a vertical direction of 2 and a horizontal direction of 3. ).
  • the transmission apparatus 103 transmits 12 packets of DATA1 to DATA6 and FEC1 to FEC6.
  • FIG. 5 shows a case where six packets of DATA2, DATA4, DATA5, DATA6, FEC2, and FEC5 are lost on the communication path.
  • the redundant code decoding units 307 and 308 of the reception device 104 perform processing for recovering the lost packet using the received packet. Specifically, the redundant code decoding units 307 and 308 recover DATA2 by DATA1, DATA3, and FEC1, and FEC5 by FEC3, FEC4, and FEC6, respectively. Redundant code decoding sections 307 and 308 recover DATA4 by DATA1, FEC3, DATA5 by DATA2, FEC4, DATA6 by DATA3, FEC5, and FEC2 by FEC1, FEC6, respectively.
  • FIG. 6 is a flowchart showing the flow of redundant code strength calculation in the recovery strength instruction unit 204.
  • the recovery strength instruction unit 204 first determines the initial value of the minimum FEC block number MinFB.
  • the initial value of the minimum FEC block number MinFB may be “1” (step ST501).
  • the recovery strength instruction unit 204 selects a real-time stream (i) as a reference (step ST502).
  • a method for selecting a real-time stream serving as a reference for example, there is a method of selecting one having a synchronization parameter value of 0 in the quality control information holding unit 203.
  • the recovery strength instruction unit 204 determines the number of FEC blocks FB [i] and the number of redundant code packets PaR [i] of the real-time stream i serving as a reference (step ST503).
  • the number of FEC blocks FB [i] of the real-time stream i and the number of redundant code packets PaR [i] are the packet loss rate PLR [i], the data amount D [ i] and the protection strength ST [i] of the quality control information.
  • the data amount D [i] is the amount of data of a packet constituting one picture, or the amount of data that fits in a specific processing unit of the device. In a device operating in units of 20 ms, when voice packets are transmitted at 10 ms intervals, the data amount D [i] is the data amount for two packets.
  • Equation (1) ⁇ is a sign indicating a power and ⁇ is a positive constant.
  • ⁇ is a positive constant.
  • the recovery strength instruction unit 204 calculates the number PaR [i] of redundant code packets that satisfy the recovery rate ReR [i] and the FEC block from the packet loss rate PLR [i] and the data amount D [i] obtained by the simulation. Find the number FB [i].
  • the recovery strength instruction unit 204 calculates the vertical size and horizontal size of the FEC block using the tables of FIGS. 7, 8, 9, and 10.
  • the recovery strength instruction unit 204 calculates a temporary FEC strength from the packet loss rate PLR [i] using FIG.
  • the recovery strength instruction unit 204 determines the direction in which the redundant code packet is generated, using FIG. In FIG. 8, VFEC indicates only the vertical direction, LFEC indicates only the horizontal direction, and LVFEC indicates both the vertical direction and the horizontal direction.
  • the recovery strength instruction unit 204 acquires information of the sizes FBx [i] and FBy [i] in the horizontal direction and the vertical direction, respectively, using FIGS. 9 and 10.
  • the Y axis represents the data amount D [i]
  • the X axis represents the provisional FEC intensity. For example, when the data amount D [i] is “6” and the temporary FEC intensity is “100”, the horizontal size FBx [i] is “3” from FIG. Also, from FIG. 10, the vertical size FBy [i] is “2”.
  • the recovery strength instruction unit 204 calculates the number of FEC blocks FB [i] by multiplying the horizontal size FBx [i] by the vertical size FBy [i]. In the above example, the number of FEC blocks FB [i] is “6”.
  • the data amount D [i] exceeds the upper limit, the data amount D [i] is divided and applied, and the number of redundant code packets PaR [i] and FEC Determine the number of blocks FB [i].
  • the FEC block FB [i] is selected so as not to be smaller than the minimum FEC block MinFB.
  • the upper limit of the data amount D [i] may be set small when low-delay transmission is required, and may be set large when high tolerance is exhibited.
  • this table may be used after setting the recovery rate ReR [i] small.
  • the recovery rate ReR [i] may be set from 1-10 ⁇ -4 to 1-10 ⁇ -2.
  • the recovery strength instruction unit 204 calculates an accumulation delay amount BT [i], which is an amount for accumulating and delaying packets to form an FEC block in the receiving apparatus 104 (step ST504).
  • the recovery strength instruction unit 204 repeatedly executes steps ST505 to ST510 for the real-time stream j other than the reference real-time stream i.
  • the recovery strength instruction unit 204 calculates the number of FEC blocks FB [j] and the number of redundant code packets PaR [j] for the real-time stream j (step ST506). ).
  • the recovery strength instruction unit 204 calculates the accumulated delay amount BT [j] for the real-time stream j as in step ST504 (step ST507).
  • the recovery strength instruction unit 204 obtains a difference (absolute value) between the accumulation delay amount BT [j] of the real-time stream and the accumulation delay amount BT [j] of the real-time stream serving as a reference. Then, the recovery strength instruction unit 204 determines whether or not the obtained difference falls within the range of the synchronization parameter difference
  • the recovery strength instruction unit 204 determines whether or not the difference between the accumulated delay amount BT [i] of the real-time stream i and the accumulated delay amount BT [j] of the real-time stream j is within 10 ms. judge.
  • step ST508 when the difference between BT [i] and BT [j] is within the synchronization parameter difference range (YES in step ST508), the recovery strength instruction unit 204 transitions to the next process (step ST510). . On the other hand, if not within the range (NO in step ST508), the recovery strength instruction unit 204 proceeds to step ST509.
  • step ST509 the recovery strength instruction unit 204 increases the number of minimum FEC blocks, and proceeds to step ST502.
  • FIG. 11 is a flowchart showing a flow of calculation of the upper limit number of retransmissions in the delay amount instruction unit 207.
  • the delay amount instruction unit 207 temporarily sets the upper limit number of retransmissions for each real-time stream according to the protection strengths ST [i] and ST [j] of the quality control information (steps ST601 to ST603). For example, in FIG. 3, since the protection strength ST [j] of the real-time stream of the material video is the strongest “10”, the delay amount instruction unit 207 sets the maximum number of retransmissions to 3.
  • the delay amount instruction unit 207 determines that the value obtained by multiplying the round-trip delay time RTT between the transmission device 103 and the reception device 104 by the upper limit number of retransmissions is the synchronization parameter difference
  • step ST604 when the value obtained by multiplying the round-trip delay time RTT by the upper limit number of retransmissions is within the range of the difference of the synchronization parameters (YES in step ST604), the delay amount instruction unit 207 ends the process. On the other hand, if it does not fall (NO in step ST604), delay amount instructing section 207 corrects the maximum number of retransmissions and ends the process (step ST605).
  • becomes 200ms.
  • the delay amount instruction unit 207 corrects the upper limit number of retransmissions of the real-time stream of the material video to two so that a value obtained by multiplying the round trip delay time RTT by the upper limit number of retransmissions is within the range of the difference of the synchronization parameters.
  • FIG. 12 is a diagram for explaining the protective effect of the first embodiment of the present invention.
  • FIG. 12 shows the protection effect 706 when the redundant code strength 704 and the retransmission upper limit number 705 are adopted for each of the real-time streams 701, 702, and 703.
  • the material video 703 is very important information for the user to understand the contents of the conference. Therefore, in FIG. 3, the protection strength of the real-time stream of the material video 703 is set to the strongest “10”. The real-time stream of the material video 703 is allowed a delay of 200 ms with respect to the real-time stream of the speaker voice 702.
  • the redundant code strength of the real-time stream of the material video 703 is set to 50%, and the upper limit number of retransmissions is set to 2. As a result, the real-time stream of the material video 703 is transmitted without being completely disturbed.
  • the speaker video 702 is not so important information for the user.
  • the speaker video 702 is information that needs to be transmitted in synchronization with the speaker voice 701. Therefore, in FIG. 3, the protection strength of the real-time stream of the speaker video 702 is set to “2” lower than that of the material video 703. Further, the real time stream of the speaker video 702 is allowed to have a delay of 10 ms with respect to the real time stream of the speaker voice 701.
  • the redundant code strength of the real-time stream of the speaker video is set to 0%, and the maximum number of retransmissions is set to 0.
  • the real time stream of the speaker video 702 is transmitted in synchronization with the real time stream of the speaker voice 701.
  • the real-time stream of the speaker video 702 is apt to be disturbed because a small amount of code is allocated and retransmission is not allowed.
  • a large amount of code is allocated to another important real-time stream by reducing the amount of code of the unimportant speaker video 702 real-time stream. be able to.
  • the delay time can be adjusted while taking into account the amount of synchronization deviation between a plurality of real-time streams.
  • the quality control information holding unit 203 may set synchronization parameters according to the relevance of the real-time stream. For example, an example is a case where a real-time stream of video from a camera and a real-time stream of video from a computer screen are switched and input. At this time, when switching and inputting the real-time stream of the video of the camera, the operation may be performed so that the synchronization parameter with the real-time stream of the audio is set close.
  • the recovery strength instruction unit 204 estimates the available bandwidth from the transmission quality information of each real-time stream, and acquires information on the complexity of each real-time stream from the encoding units 201 and 202. In this case, the recovery strength instruction unit 204 may determine the number of FEC blocks in each real-time stream using information regarding the available bandwidth of each real-time stream and the complexity of each real-time stream. For example, the recovery strength instruction unit 204 uses a QP parameter (QP1, QP2) that determines the amount of quantization at the time of video encoding, and uses more FEC blocks for more complex video or more redundant code packets. May be assigned.
  • QP1 QP2
  • the system configuration of the present embodiment is the same as that shown in FIG. 1 used for the description of the first embodiment. However, as described below, in the present embodiment, the internal configurations of the transmission device and the reception device are different from those of the first embodiment.
  • FIG. 13 is a block diagram showing a configuration of transmitting apparatus 803 according to the present embodiment.
  • the same components as those in FIG. 2 are denoted by the same reference numerals as those in FIG. 2, and detailed description thereof is omitted.
  • the redundant encoding units 205 and 206 generate redundant code packets by FEC for the packets output from the encoding units 201 and 202, respectively, based on the redundant code strength instructed from the receiving device 804.
  • Retransmission control units 208 and 209 each accumulate packets for a certain period according to the number of retransmission upper limits determined by reception device 804, and output retransmission packets to multiplexing unit 210 according to the retransmission request from reception device 804.
  • FIG. 14 is a block diagram showing a configuration of receiving apparatus 804 according to the present embodiment.
  • the same components as those in FIG. 4 are denoted by the same reference numerals as those in FIG. 4, and detailed description thereof is omitted.
  • the transmission quality information generation unit 311 generates transmission quality information and outputs it to the recovery strength instruction unit 904 and the delay amount instruction unit 907.
  • the quality control information holding unit 903 holds quality control information set by the user.
  • the recovery strength instruction unit 904 sets the redundant code strength based on the transmission quality information output from the transmission quality information generation unit 311 and the quality control information held by the quality control information holding unit 903. Then, the strength strength instruction unit 904 outputs the redundant code strength to the redundant code decoding units 307 and 308 and the radio unit 301.
  • Redundant code decoding units 307 and 308 each store packets of real-time streams by the number of FEC blocks according to the redundant code strength output from recovery strength instruction unit 904. Then, the redundant code decoding units 307 and 308 execute processing for recovering a packet lost in the network 107 using the redundant code packet.
  • the delay amount instruction unit 907 determines the upper limit number of retransmissions for each real-time stream packet based on the transmission quality information output from the transmission quality information generation unit 311 and the quality control information held by the quality control information holding unit 903. . Then, the delay amount instruction unit 907 outputs the upper limit number of retransmissions to the retention period instruction units 303 and 304 and the radio unit 301.
  • the retention period instruction units 303 and 304 instruct the buffer units 305 and 306 about the packet retention time based on the maximum number of retransmissions output from the delay amount instruction unit 907, respectively.
  • the radio unit 301 receives the retransmission request output from the buffer units 305 and 306, the information indicating the redundant code strength output from the recovery strength instruction unit 904, and the upper limit number of retransmissions output from the delay amount instruction unit 907. Radio section 301 performs radio processing such as up-conversion and amplification on the input retransmission request, information indicating redundant code strength, and retransmission upper limit count, and transmits a radio signal to transmitting apparatus 803 via network 107. To do.
  • the user on the receiving device side can set the quality of each real-time stream.
  • the present embodiment as in the first embodiment, since a large amount of code can be allocated to an important real-time stream in a limited resource (bandwidth), even when the network situation deteriorates, Important information can be protected.
  • the present embodiment similarly to the first embodiment, it is possible to adjust the delay time while taking into account the amount of synchronization deviation between a plurality of streams.
  • the recovery strength instruction unit and the delay amount instruction unit may be arranged in the transmission device, and the quality control information holding unit may be arranged in the reception device.
  • any of the configuration requirements described in the first and second embodiments can be applied to a terminal that performs bidirectional communication. That is, in Embodiments 1 and 2, the configuration requirements of the transmitting device and the configuration requirements of the receiving device are introduced into each terminal, and the delay time is taken into account for the transmission of a plurality of real-time streams of both, while taking into account the amount of synchronization deviation Can be adjusted.
  • the quality control information holding unit is arranged in one terminal by adopting a mode in which the transmitting apparatus in the first embodiment and the receiving apparatus in the second embodiment are introduced into one terminal. can do.
  • FIG. 15 is a diagram illustrating an example of a configuration of a communication system according to the present embodiment.
  • the data generation apparatus 1001 converts the first spectator's video captured by the camera and the first spectator's voice collected by the microphone into data, generates a real-time stream of video and audio data, and the transmission / reception apparatus 1003. Output to.
  • the data generation device 1002 converts the second spectator's video captured by the camera and the second spectator's audio collected by the microphone into data, generates a real-time stream of video and audio data, and the transmission / reception device 1004. Output to.
  • the transmission / reception device 1003 encodes the real-time stream output from the data generation device 1001 to form a packet, and transmits the packet to the MCU 1006 via the network 1011. Also, the transmission / reception device 1003 decodes the packet received from the MCU 1006 and outputs a video and audio real-time stream to the playback devices 1007 and 1008.
  • the transmission / reception device 1004 encodes the real-time stream output from the data generation device 1002 to form a packet, and transmits the packet to the MCU 1006 via the network 1011. Also, the transmission / reception device 1004 decodes the packet received from the MCU 1006 and outputs a video and audio real-time stream to the playback devices 1009 and 1010.
  • the transmission device 1005 converts, for example, video and audio of a soccer game into data, generates a real-time stream of video and audio data, and transmits the data to the MCU 1006 via the network 1011.
  • the MCU 1006 decodes the packets received from the transmission / reception device 1003, the transmission / reception device 1004, and the transmission device 1005, and synthesizes the video data of the first spectator and the second spectator so that they are displayed on a divided screen. Then, the MCU 1006 re-encodes the real-time stream of the combined video data to form a packet. The MCU 1006 transmits the re-encoded packet to the transmission / reception device 1003 and the transmission / reception device 1004 via the network 1011.
  • Each of the playback devices 1007 and 1009 has a real-time stream of a video obtained by synthesizing videos of the first spectator and the second spectator on a divided screen, and a real-time stream of the audio of the first spectator and the second spectator, respectively. Based on this, video and audio are played back.
  • the playback devices 1008 and 1010 play back video and audio based on real-time streams of video and audio of a soccer game, respectively.
  • the communication system 1000 synthesizes the video and audio of the spectators at the MCU 1006 and redistributes them while sharing the video and audio of the watching target (soccer game) at a plurality of points. Accordingly, the communication system 1000 can distribute both the video and audio of spectators and the video and audio of the watching target via the network 1011.
  • the configuration requirements of the transmission apparatus 103 described in Embodiment 1 are introduced into the MCU 1006.
  • the configuration requirements of the receiving device 104 described in Embodiment 1 are introduced into the transmitting / receiving devices 1003 and 1004.
  • the quality control information holding unit of the MCU 1006 holds the quality control information set by the user shown in FIG.
  • FIG. 17 is a diagram for explaining the effect of the first embodiment of the present invention.
  • FIG. 17 shows the protection effect 1207 when the redundant code strength 1205 and the retransmission upper limit count 1206 are adopted for each real-time stream 1201-1204.
  • video (split screen) and audio (Mix audio) between spectators are played with a delay difference that does not cause a sense of incongruity. Therefore, in the present embodiment, by reducing the redundant code for protecting the images (divided screens) between the spectators, it is possible to allocate more resources (bandwidth) to more important sighting target video and audio information.
  • this Embodiment when information is transmitted via the best effort network such as the Internet, there is no sense of incongruity between the watching target and cheering. Moreover, this Embodiment can share the mode of reaction of spectators, protecting a more important watching target more strongly.
  • the transmission apparatus is a transmission apparatus that multiplex-transmits a plurality of real-time streams to a reception apparatus via a network in which packet loss occurs, and controls the transmission quality of each real-time stream set by the user
  • a quality control information holding unit for holding quality control information for performing transmission, and a delay for setting an upper limit number of retransmissions for each of the plurality of real-time streams according to transmission quality information indicating the network status and the quality control information
  • a retransmission control unit that retransmits packets of each real-time stream until the upper limit number of retransmissions is reached in accordance with a retransmission request from the receiving device.
  • the transmission apparatus includes a recovery strength instruction unit that sets a redundant code strength for each of the plurality of real-time streams according to the transmission quality information and the quality control information, and the redundant code strength. And a redundant encoding unit that determines a redundant code amount of each real-time stream based on the generated redundant code packet and generates a redundant code packet.
  • the quality control information includes the protection strength of the real-time stream, the type of the real-time stream, the priority of the real-time stream, and the relevance between the real-time streams. Including at least one of
  • the receiving apparatus is a receiving apparatus that receives a plurality of real-time streams multiplexed from a transmitting apparatus via a network in which packet loss occurs.
  • the receiving apparatus determines the status of the network from the transmitting apparatus.
  • a reception unit that receives a retransmission upper limit number set according to transmission quality information to be indicated and quality control information for controlling transmission quality of each real-time stream set by the user, based on the retransmission upper limit number , Holding period setting unit for setting the time to hold the packet, and holding the packet of the real-time stream transmitted from the transmission device for the set time, and when packet loss occurs, until the upper limit number of retransmissions is reached
  • a buffer unit for transmitting a retransmission request to the transmission device.
  • the receiving unit receives the redundant code strength set by the transmitting apparatus according to the transmission quality information and the quality control information, and based on the redundant code strength, A packet of each real-time stream is accumulated, and a redundant code decoding unit that executes a process of recovering a lost packet in the network by using a redundant code packet, and generates the transmission quality information and transmits it to the transmission device A transmission quality information generation unit.
  • the receiving apparatus is a receiving apparatus that receives a plurality of real-time streams multiplexed from a transmitting apparatus via a network in which packet loss occurs.
  • a quality control information holding unit for holding quality control information for controlling transmission quality
  • a transmission quality information generating unit for generating transmission quality information indicating the status of the network, the transmission quality information, and the quality control information. Accordingly, a retransmission upper limit count is set for each of the plurality of real-time streams, a delay amount instruction unit that transmits the retransmission upper limit count to the transmission apparatus, and a time for holding a packet based on the retransmission upper limit count is set.
  • a holding period instructing unit a time instructed by the holding period instructing unit, a packet of a real-time stream transmitted from the transmitting device, and a packet loss It is generated, the until a retransmission limit number has, a buffer unit transmits a retransmission request to the transmission device.
  • the receiving apparatus sets a redundant code strength for each of the plurality of real-time streams according to the transmission quality information and the quality control information, and transmits the redundant code strength to the transmitting apparatus.
  • a redundant code decoding unit that accumulates the packets of each real-time stream based on the redundant code strength and performs a process of recovering the lost packet in the network using the redundant code packet And.
  • the quality control information includes the protection strength of the real-time stream, the type of the real-time stream, the priority of the real-time stream, and the relevance between the real-time streams. Including at least one of
  • the transmitting apparatus is a transmitting apparatus that multiplex-transmits a plurality of real-time streams to a receiving apparatus via a network in which packet loss occurs, and the receiving apparatus transmits a transmission indicating the network status.
  • the receiving unit that receives the retransmission information upper limit number set according to the quality information and the quality control information for controlling the transmission quality of each real-time stream set by the user,
  • a retransmission control unit configured to retransmit the packets of each real-time stream until the upper limit number of retransmissions is reached.
  • the receiving unit receives the redundant code strength set by the receiving apparatus according to the transmission quality information and the quality control information, and based on the redundant code strength, A redundant encoding unit that determines a redundant code amount of each real-time stream and generates a redundant code packet.
  • the synchronization parameter and the protection strength are exemplified as the quality control information, but the present invention is not limited to this.
  • other information such as the type of the real-time stream, the priority of the real-time stream, the complexity of the real-time stream, and the degree of association between the real-time streams can be used.
  • the present invention is suitable for application to a transmission device of a system that transmits a plurality of real-time streams in a best effort network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

　ベストエフォートネットワークを介して情報の伝送を行う場合に、重要な情報を強く保護する送信装置。この装置では、品質制御情報保持部（２０３）は、ユーザによって設定される品質制御情報を保持する。遅延量指示部（２０７）は、受信装置（１０４）からの伝送品質情報および品質制御情報保持部（２０３）が保持する品質制御情報に基づいて、各実時間ストリームのパケットの再送上限回数を決定する。再送制御部（２０８）、（２０９）は、それぞれ、遅延量指示部（２０７）が決定した再送上限回数に従ってパケットを一定期間蓄積し、受信装置（１０４）からの再送要求に従って再送パケットを生成する。

Description

送信装置、受信装置、送信方法および受信方法
　本願は、インターネット等のベストエフォートネットワークを介し、映像、音声等の複数の実時間ストリームを多重して送信する送信装置、受信装置、送信方法および受信方法に関する。
　近年、インターネット等のベストエフォートネットワークを介し、映像、音声等の複数の実時間ストリームを端末装置間で送受信する、テレビ会議等のシステムが普及してきている。
　ベストエフォートネットワーク（Best Effort Network)では、環境の変化に応じて利用可能帯域が変動するため、各実時間ストリームの符号量を動的に変化させる必要がある。特許文献１には、より複雑な実時間ストリームに対して多くの符号量を割り当てる方式が開示されている。
　また、ベストエフォートネットワークでは、環境が悪化した場合にパケット損失が発生する。このため、ベストエフォートネットワークでは、FEC（Forward Error Correction）により生成した冗長符号パケットにより、あるいは、パケットの再送により、損失したパケットを回復させる方式が採られている。FECを用いる場合は、多くの符号量を割り当てる程、多くの冗長符号パケットを生成することができるので、パケットの回復強度を高めることができる。
特開平１１－１７７９４５号公報
　ユーザには、重要な実時間ストリーム程、パケットの回復強度を高めたいとの要望がある。
　しかしながら、特許文献１の技術では、ユーザの意思に依らず、各実時間ストリームの符号量が割り当てられているため、ユーザにとって重要な実時間ストリームが十分に保護されない場合がある。
　本発明の目的は、インターネット等のベストエフォートネットワークを介して情報の伝送を行う場合、重要な情報を強く保護することである。
　本発明の一態様に係る送信装置は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定する遅延量指示部と、前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部と、を有する構成を採る。
　本発明の一態様に係る送信方法は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置の送信方法であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持するステップと、前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定するステップと、前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送するステップと、を有する方法を採る。
　本発明では、限られたリソース（帯域）において、ネットワークの状況が悪化した場合でも、重要な情報を保護することができる。
本発明の実施の形態１に係る通信システムの構成の一例を示す図 本発明の実施の形態１に係る送信装置の構成を示すブロック図 本発明の実施の形態１に係る送信装置の品質制御情報保持部が保持する情報の一例を示す図 本発明の実施の形態１に係る受信装置の構成を示すブロック図 本発明の実施の形態１に係る冗長符号パケットの生成の一例を示す図 本発明の実施の形態１に係る冗長符号強度の計算の流れを示すフロー図 パケット損失率と仮FEC強度との関係の一例を示す図 データ量、仮FEC強度と冗長符号パケットを生成する方向との関係の一例を示す図 データ量、仮FEC強度と横方向サイズとの関係の一例を示す図 データ量、仮FEC強度と縦方向サイズとの関係の一例を示す図 本発明の実施の形態１に係る再送バッファ量の計算の流れを示すフロー図 本発明の実施の形態１の効果を説明する図 本発明の実施の形態２に係る送信装置の構成を示すブロック図 本発明の実施の形態２に係る受信装置の構成を示すブロック図 本発明の実施の形態３に係る通信システムの構成の一例を示す図 本発明の実施の形態３に係る送信装置の品質制御情報保持部が保持する情報の一例を示す図 本発明の実施の形態３の効果を説明する図
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　＜システム構成＞
　図１は、本発明の実施の形態１に係る通信システムの構成の一例を示した図である。図１に示す通信システム１００は、デュアルストリーミング（Dual-Streaming）により、独立した２つの映像を同時に送受信することができるシステムである。
　図１に示すように、通信システム１００は、データ生成装置１０１、１０２と、送信装置１０３と、受信装置１０４と、再生装置１０５、１０６と、ネットワーク１０７と、から主に構成される。
　データ生成装置１０１は、カメラで撮像した話者の映像およびマイクで集音した話者の音声をデータに変換し、映像、音声のデータの実時間ストリームを送信装置１０３に出力する。データ生成装置１０２は、メモリに保存された資料映像データの実時間ストリームを送信装置１０３に出力する。
　送信装置１０３は、データ生成装置１０１、１０２から出力された実時間ストリームを符号化してパケットを構成し、ネットワーク１０７を介して、受信装置１０４にパケットをそれぞれ送信する。また、送信装置１０３は、受信装置１０４の要求に従って、パケットの再送を行う。
　受信装置１０４は、送信装置１０３から受信したパケットを復号し、映像、音声の実時間ストリームを再生装置１０５、１０６にそれぞれ出力する。また、受信装置１０４は、ネットワーク１０７を介して送信装置１０３に伝送品質情報を送信する。伝送品質情報とは、ネットワークの状況を示す情報であって、受信装置１０４に受信された実時間ストリームのパケット損失率あるいは伝送遅延に関する情報である。なお、パケット損失率あるいは伝送遅延に関する情報は、RFC3550の受信者レポート（RR）で規定されているパケット損失率、あるいは、ジッタの情報であってもよい。また、パケット損失率あるいは伝送遅延に関する情報は、受信装置１０４で特定の統計期間に集計されたパケット損失率、あるいは、伝送遅延の統計情報であってもよい。伝送遅延に関する情報は、送信装置１０３から受信装置１０４の方向へパケットを伝送する片方向伝送遅延の情報、あるいは、送信装置１０３と受信装置１０４との間の往復遅延時間の情報であってもよい。すなわち、伝送遅延に関する情報は、片方向伝送遅延の最大値、最小値、平均値、分散であってもよいし、往復遅延のそれら統計情報であってもよい。
　再生装置１０５、１０６は、それぞれ、受信装置１０４から入力した映像、音声の実時間ストリームを基に、映像・音声を再生する。
　なお、通信システム１００では、ネットワーク１０７においてパケット損失が発生することがある。このような通信システム１００では、パケット損失が発生した実時間ストリームを受信装置１０４で回復させずに復号し、再生装置１０５、１０６で再生させると、映像の乱れや音飛びが発生する。そこで、本実施の形態では、パケット損失による映像の乱れや音飛びを発生させないための機能を、送信装置１０３、受信装置１０４に導入する。
　＜送信装置の構成＞
　図２は、本実施の形態に係る送信装置１０３の構成を示すブロック図である。送信装置１０３は、符号化部２０１、２０２と、品質制御情報保持部２０３と、回復強度指示部２０４と、冗長符号化部２０５、２０６と、遅延量指示部２０７と、再送制御部２０８、２０９と、多重部２１０と、無線部２１１と、から主に構成される。
　符号化部２０１は、データ生成装置１０１から出力された映像や音声のデータの実時間ストリームを符号化し、符号化後の実時間ストリームのパケットを冗長符号化部２０５に出力する。一方、符号化部２０２は、データ生成装置１０２から出力された資料映像のデータの実時間ストリームを符号化し、符号化後の実時間ストリームのパケットを冗長符号化部２０６に出力する。なお、映像データの符号化方式には、H264、MPEG4等がある。また、音声データの符号化方式には、AAC、G.722等がある。
　品質制御情報保持部２０３は、ユーザによって設定される各実時間ストリームの伝送品質を制御する情報（以下、「品質制御情報」という）を保持する。図３は、品質制御情報の一例を示す。品質制御情報は、基準となる実時間ストリーム（話者の音声の実時間ストリーム）に対する、他の実時間ストリームの遅延時間の許容範囲を示す同期パラメータ、および、各実時間ストリームの保護の強度を示す保護強度等が挙げられる。
　回復強度指示部２０４は、受信装置１０４からの伝送品質情報および品質制御情報保持部２０３が保持する品質制御情報に基づいて冗長符号強度を設定する。そして、回復強度指示部２０４は、冗長符号化部２０５、２０６および多重部２１０に冗長符号強度を出力する。なお、回復強度指示部２０４が実施する制御の詳細については、後述する。
　冗長符号化部２０５、２０６は、それぞれ、回復強度指示部２０４から出力された冗長符号強度に基づいて、符号化部２０１、２０２から出力されたパケットに対して、FECにより冗長符号パケットを生成する。そして、冗長符号化部２０５、２０６は、それぞれ、符号化部２０１、２０２から出力されたパケットおよび冗長符号パケットを、再送制御部２０８、２０９および多重部２１０に出力する。なお、冗長符号化部２０５、２０６が実施する冗長符号パケットの生成例については後述する。
　遅延量指示部２０７は、受信装置１０４からの伝送品質情報および品質制御情報保持部２０３が保持する品質制御情報に基づいて、各実時間ストリームのパケットの再送上限回数を決定する。そして、遅延量指示部２０７は、再送上限回数を、再送制御部２０８、２０９および多重部２１０に出力する。なお、遅延量指示部２０７が実施する制御の詳細については、後述する。
　再送制御部２０８、２０９は、それぞれ、遅延量指示部２０７が決定した再送上限回数に従ってパケットを一定期間蓄積し、受信装置１０４からの再送要求に従って再送パケットを多重部２１０に出力する。
　多重部２１０は、冗長符号化部２０５、２０６から出力されたパケットあるいは再送制御部２０８、２０９から出力された再送パケットを入力する。さらに、多重部２１０は、回復強度指示部２０４から出力された冗長符号強度、および、遅延量指示部２０７から出力された再送上限回数を入力する。そして、多重部２１０は、入力したパケットあるいは再送パケット、冗長符号強度、および、再送上限回数を多重し、無線部２１１に出力する。
　無線部２１１は、多重部２１０から出力されたデータに対して、アップコンバート、増幅等の無線処理を行い、無線信号を、ネットワーク１０７を介して受信装置１０４に送信する。また、無線部２１１は、受信装置１０４から受信した無線信号に対してダウンコンバート、増幅等の無線処理を行う。そして、無線部２１１は、受信した伝送品質情報を回復強度指示部２０４および遅延量指示部２０７に出力し、再送要求を再送制御部２０８、２０９に出力する。
　＜受信装置の構成＞
　図４は、本実施の形態に係る受信装置１０４の構成を示すブロック図である。受信装置１０４は、無線部３０１と、分離部３０２と、保持期間指示部３０３、３０４と、バッファ部３０５、３０６と、冗長符号復号部３０７、３０８と、復号部３０９、３１０と、伝送品質情報生成部３１１と、から主に構成される。
　無線部３０１は、送信装置１０３から受信した無線信号に対してダウンコンバート、増幅等の無線処理を行い、ベースバンドの信号を分離部３０２に出力する。また、無線部３０１は、バッファ部３０５、３０６から出力された再送要求および伝送品質情報生成部３１１から出力された伝送品質情報に対して、アップコンバート、増幅等の無線処理を行う。そして、無線部３０１は、無線処理された無線信号を、ネットワーク１０７を介して送信装置１０３に送信する。
　分離部３０２は、無線部３０１から出力された信号を分離し、パケットをバッファ部３０５、３０６に出力し、再送上限回数を保持期間指示部３０３、３０４に出力し、冗長符号強度を冗長符号復号部３０７、３０８に出力する。
　保持期間指示部３０３、３０４は、それぞれ、送信装置１０３から送信された再送上限回数に基づいて、パケットを保持する時間をバッファ部３０５、３０６に指示する。
　バッファ部３０５、３０６は、それぞれ、保持期間指示部３０３、３０４に指示された時間、送信装置１０３から送信された実時間ストリームのパケットを保持する。また、バッファ部３０５、３０６は、パケット損失が発生した場合、再送上限回数に達するまで、再送要求を、無線部３０１を介して送信装置１０３に送信する。
　冗長符号復号部３０７、３０８は、それぞれ、送信装置１０３から送信された冗長符号強度に応じてFECブロックの数だけ実時間ストリームのパケットを蓄積する。そして、冗長符号復号部３０７、３０８は、それぞれ、冗長符号パケットを用いて、ネットワーク１０７で損失したパケットを回復させる処理を実行し、復号部３０９、３１０に回復後の実時間ストリームを出力する。
　復号部３０９、３１０は、それぞれ、実時間ストリームを復号し、再生装置１０５、１０６に出力する。
　伝送品質情報生成部３１１は、バッファ部３０５、３０６に受信された実時間ストリームのパケット損失率、あるいは、伝送遅延に関する情報である伝送品質情報を生成し、無線部３０１に出力する。
　＜冗長符号パケットの生成例＞
　次に、冗長符号化部２０５、２０６が生成する冗長符号パケットの一例について、図５を用いて説明する。
　図５は、縦方向および横方向の両方向に冗長符号パケットを生成する例を示している。この例では、DATA1乃至DATA6の６つのデータパケットからなり、縦方向が２、横方向が３のFECブロックに対して、FEC1乃至FEC6の６つの冗長符号パケットが生成されている（FEC:100%）。
　この場合、送信装置１０３は、DATA1乃至DATA6、および、FEC1乃至FEC6の１２のパケットを送信する。
　また、図５では、通信路において、DATA2, DATA4, DATA5, DATA6, FEC2, FEC5の６つのパケットが損失した場合を示している。
　この場合、受信装置１０４の冗長符号復号部３０７、３０８は、受信したパケットを用いて、損失したパケットを回復させる処理を行う。具体的には、冗長符号復号部３０７、３０８は、DATA1, DATA3, FEC1によりDATA2を、FEC3, FEC4, FEC6によりFEC5を、それぞれ回復させる。また、冗長符号復号部３０７、３０８は、DATA1, FEC3によりDATA4を、DATA2, FEC4によりDATA5を、DATA3, FEC5によりDATA6を、FEC1, FEC6によりFEC2を、それぞれ回復させる。
　＜冗長符号強度の計算例＞
　次に、送信装置１０３の回復強度指示部２０４の動作の詳細について、図６を用いて説明する。図６は、回復強度指示部２０４における冗長符号強度の計算の流れを示すフロー図である。
　回復強度指示部２０４は、まず、最小FECブロックの数MinFBの初期値を決定する。例えば、最小FECブロックの数MinFBの初期値は「１」としてよい（ステップＳＴ５０１）。
　次に、回復強度指示部２０４は、基準となる実時間ストリーム（iとする）を選択する（ステップＳＴ５０２）。基準となる実時間ストリームの選択方法としては、例えば、品質制御情報保持部２０３の同期パラメータの値が０のものを選択する方法が挙げられる。
　次に、回復強度指示部２０４は、基準となる実時間ストリームiのFECブロックの数FB[i]と、冗長符号パケットの数PaR[i]を決定する（ステップＳＴ５０３）。具体的には、実時間ストリームiのFECブロックの数FB[i]と冗長符号パケットの数PaR[i]は、パケット損失率PLR[i]、冗長符号化を行う処理単位のデータ量D[i]および品質制御情報の保護強度ST[i]から決定する。ここで、データ量D[i]は、例えば、映像ストリームの場合、１ピクチャを構成するパケットのデータ量、あるいは、機器の特定の処理単位に収まるデータ量である。20ms単位で動作する装置において、10ms間隔で音声パケットを送信する場合、データ量D[i]は、２パケット分のデータ量となる。
　次に、ステップＳＴ５０３の具体的な計算手順について説明する。まず、回復強度指示部２０４は、以下の式（１）により、保護強度ST[i]から回復率ReR[i]を決定する。なお、回復強度指示部２０４は、保護強度ST[i]と回復率ReR[i]とを対応付ける表を保持し、その表に基づいて回復率ReR[i]を決定してもよい。
　ReR[i] ＝ 1-10^(-ST[i]*α)・・・式（１）
　ここで、式（１）において、^は、べき乗を示す符号であり、αは正の定数である。例えば、ST[i]＝２、α＝1の場合、回復率ReR[i]＝1-10^(-2*1)＝0.99、つまり、回復率ReR[i]は、99%となる。
　そして、回復強度指示部２０４は、シミュレーションによって得られたパケット損失率PLR[i]、データ量D[i]から、回復率ReR[i]を満たす冗長符号パケットの数PaR[i]とFECブロックの数FB[i]を求める。
　具体的には、回復強度指示部２０４は、FECブロックの縦方向のサイズ、横方向のサイズを図７、図８、図９、図１０の表を用いて算出する。
　まず、回復強度指示部２０４は、図７を用いてパケット損失率PLR[i]から仮FEC強度を算出する。
　次に、回復強度指示部２０４は、図８を用いて、冗長符号パケットを生成する方向を決定する。図８において、VFECは縦方向のみ、LFECは横方向のみ、LVFECは縦方向および横方向の両方向を示す。
　次に、回復強度指示部２０４は、図９、図１０を用いて、それぞれ横方向、縦方向のサイズFBx[i]、FBy[i]の情報を取得する。なお、図８、図９、図１０では、Y軸がデータ量D[i]、X軸が仮FEC強度をそれぞれ示す。例えば、データ量D[i]が「６」で仮FEC強度が「１００」の場合、図９から横方向サイズFBx[i]は、「３」となる。また、図１０から縦方向サイズFBy[i]は、「２」となる。
　最後に、回復強度指示部２０４は、横方向サイズFBx[i]と縦方向サイズFBy[i]を乗算することによりFECブロックの数FB[i]を求める。先の例では、FECブロックの数FB[i]は「６」となる。
　なお、図８、図９、図１０において、データ量D[i]が上限を超える場合には、データ量D[i]を分割して適用し、冗長符号パケットの数PaR[i]およびFECブロックの数FB[i]を決定する。ただし、FECブロックFB[i]は、最小FECブロックMinFBより小さくならないように選択する。
　なお、データ量D[i]の上限は、低遅延伝送を必要とする場合には小さく設定され、高耐性を発揮する場合には大きく設定されるようにしてもよい。また、再送可能な場合、回復率ReR[i]が小さく設定された上で、この表が用いられてもよい。例えば、１回の再送が可能である場合、回復率ReR[i]は、1-10^-4から1-10^-2と設定されてもよい。
　次に、回復強度指示部２０４は、受信装置１０４でFECブロックを構成するためにパケットを蓄積させて、遅延させるための量である蓄積遅延量BT[i]を計算する（ステップＳＴ５０４）。蓄積遅延量BT[i]は、FECブロックの数FB[i]、実時間ストリームの送信レートSR[i]およびパケットサイズS[i]から、蓄積遅延量BT[i]=(FB[i]*S[i])/SR[i]により計算される。
　次に、回復強度指示部２０４は、基準となる実時間ストリームi以外の実時間ストリームjについて、ステップＳＴ５０５からＳＴ５１０を繰り返し実行する。
　具体的には、まず、回復強度指示部２０４は、ステップＳＴ５０３と同様に、実時間ストリームjについて、FECブロックの数FB[j]と冗長符号パケットの数PaR[j]を計算する（ステップＳＴ５０６）。
　次に、回復強度指示部２０４は、ステップＳＴ５０４と同様に実時間ストリームjについて蓄積遅延量BT[j]を計算する（ステップＳＴ５０７）。
　次に、回復強度指示部２０４は、基準となる実時間ストリームの蓄積遅延量BT[i]に対する、実時間ストリームの蓄積遅延量BT[j]との差分（絶対値）を求める。そして、回復強度指示部２０４は、求めた差分が同期パラメータの差|Syt[j]-Sty[i]|の範囲内に収まるか否かを判定する（ステップＳＴ５０８）。例えば、図３において、基準となる話者音声の実時間ストリームと、話者映像の実時間ストリームとの同期パラメータの差は、10msである。この場合、回復強度指示部２０４は、実時間ストリームiの蓄積遅延量BT[i]と、実時間ストリームjの蓄積遅延量BT[j]との差分が、10ms以内に収まっているか否かを判定する。
　次に、BT[i]とBT[j]の差分が同期パラメータの差の範囲に収まっている場合（ステップＳＴ５０８でＹＥＳ）、回復強度指示部２０４は、次の処理に遷移する（ステップＳＴ５１０）。一方、収まっていない場合（ステップＳＴ５０８でＮＯ）、回復強度指示部２０４は、ステップＳＴ５０９に進む。
　ステップＳＴ５０９において、回復強度指示部２０４は、最小FECブロックの数を増やし、ステップＳＴ５０２に進む。
　＜再送上限回数の計算例＞
　次に、送信装置１０３の遅延量指示部２０７の動作の詳細について図１１を用いて説明する。図１１は、遅延量指示部２０７における再送上限回数の計算の流れを示すフロー図である。
　まず、遅延量指示部２０７は、各実時間ストリームについて、品質制御情報の保護強度ST[i]、ST[j]に応じて、再送上限回数を一時的に設定する（ステップＳＴ６０１からＳＴ６０３）。例えば、図３において、資料映像の実時間ストリームの保護強度ST[j]が最強の「１０」であるため、遅延量指示部２０７は、再送上限回数を３回と設定する。
　次に、遅延量指示部２０７は、送信装置１０３と受信装置１０４との間の往復遅延時間RTTに再送上限回数を乗算した値が、同期パラメータの差|Syt[j]-Sty[i]|の範囲内に収まるか否かを判定する（ステップＳＴ６０４）。
　次に、往復遅延時間RTTに再送上限回数を乗算した値が同期パラメータの差の範囲に収まっている場合（ステップＳＴ６０４でＹＥＳ）、遅延量指示部２０７は、処理を終了する。一方、収まっていない場合（ステップＳＴ６０４でＮＯ）、遅延量指示部２０７は、再送上限回数を補正して処理を終了する（ステップＳＴ６０５）。
　例えば、送信装置１０３と受信装置１０４との間の往復遅延時間RTTが100msの場合では、基準となる実時間ストリームに対する、資料映像の実時間ストリームの同期パラメータの差|Syt[i]-Syt[j]|が200msとなる。このため、往復遅延時間RTTが100msの場合では、再送上限回数を３回とすると、同期パラメータの差|Syt[j]-Sty[i]|の範囲を超えてしまう。そこで、遅延量指示部２０７は、往復遅延時間RTTに再送上限回数を乗算した値が同期パラメータの差の範囲に収まるように、資料映像の実時間ストリームの再送上限回数を２回に補正する。
　＜保護効果＞
　図１２は、本発明の実施の形態１の保護効果を説明する図である。図１２には、各実時間ストリーム７０１、７０２、７０３それぞれについて、冗長符号強度７０４、再送上限回数７０５が採用された場合の保護効果７０６が示されている。
　本実施の形態において、資料映像７０３は、ユーザにとって会議の内容を理解するために非常に重要な情報である。したがって、図３において、資料映像７０３の実時間ストリームの保護強度は、最強の「１０」に設定されている。また、資料映像７０３の実時間ストリームは、話者音声７０２の実時間ストリームに対して、200msの遅延が許容されている。
　本実施の形態では、図１２に示すように、これらの情報に従って、資料映像７０３の実時間ストリームの冗長符号強度を５０％に設定し、再送上限回数を２回に設定する。この結果、資料映像７０３の実時間ストリームは、完全に乱れず伝送される。
　また、本実施の形態において、話者映像７０２は、ユーザにとってそれ程重要な情報ではない。ただし、話者映像７０２は、話者音声７０１と同期して送信される必要がある情報である。したがって、図３において、話者映像７０２の実時間ストリームの保護強度は、資料映像７０３よりも低い「２」に設定されている。また、話者映像７０２の実時間ストリームは、話者音声７０１の実時間ストリームに対して、10msの遅延が許容されている。
　本実施の形態では、図１２に示すように、これらの情報に従って、話者映像の実時間ストリームの冗長符号強度を０％に設定し、再送上限回数を０回に設定する。この結果、話者映像７０２の実時間ストリームは、話者音声７０１の実時間ストリームと同期して送信される。なお、話者映像７０２の実時間ストリームは、割り当てられる符号量が少なく、再送が許容されないため乱れやすくなる。しかし、限られたリソース（帯域）において、本実施の形態では、重要ではない話者映像７０２の実時間ストリームの符号量を少なくすることにより、重要な他の実時間ストリームに符号量を多く割り当てることができる。
　このように、本実施の形態では、インターネット等のベストエフォートネットワークを介して情報の伝送を行う場合、重要な情報に割り当てる符号量を多くし、重要な情報の再送上限回数を多くすることができる。これにより、本実施の形態では、重要な情報を強く保護することができる。また、本実施の形態では、複数の実時間ストリーム間の同期ずれ量も考慮しながら遅延時間を調整することができる。
　なお、品質制御情報保持部２０３は、実時間ストリームの関連性に応じて、同期パラメータを設定してもよい。例えば、その一例は、カメラの映像の実時間ストリームとコンピュータ画面の映像の実時間ストリームとを切り替えて入力する場合である。このとき、カメラの映像の実時間ストリームを切り替えて入力する場合は、音声の実時間ストリームとの同期パラメータを近く設定するように動作させてもよい。
　また、回復強度指示部２０４は、各実時間ストリームの伝送品質情報から利用可能な帯域を推定し、符号化部２０１、２０２から各実時間ストリームの複雑さに関する情報を取得する。この場合、回復強度指示部２０４は、各実時間ストリームの利用可能な帯域と各実時間ストリームの複雑さに関する情報を用いて、各実時間ストリームのFECブロックの数を決定してもよい。例えば、回復強度指示部２０４は、映像符号化時に量子化の量を決定するQPパラメータ（QP1,QP2）を利用して、複雑な映像により多くのFECブロックを、あるいは、より多くの冗長符号パケットを、割り当てるようにしてもよい。
　（実施の形態２）
　上記実施の形態１では、品質制御情報保持部、回復強度指示部および遅延量指示部を送信装置に配置する場合について説明した。実施の形態２では、これらを受信装置に配置する場合について説明する。
　本実施の形態のシステム構成は、実施の形態１の説明に用いた図１に示したものと同一である。ただし、下記に示すように、本実施の形態では、送信装置、受信装置の内部構成が実施の形態１と異なる。
　図１３は、本実施の形態に係る送信装置８０３の構成を示すブロック図である。なお、図１３において、図２と共通する構成要素には、図２と同一の符号を付し、詳細な説明を省略する。
　図１３に示す送信装置８０３は、図２に示した送信装置１０３に対して、品質制御情報保持部２０３、回復強度指示部２０４および遅延量指示部２０７を削除する構成を採る。
　冗長符号化部２０５、２０６は、それぞれ、受信装置８０４から指示された冗長符号強度に基づいて、符号化部２０１、２０２から出力されたパケットに対して、FECにより冗長符号パケットを生成する。
　再送制御部２０８、２０９は、それぞれ、受信装置８０４が決定した再送上限回数に従ってパケットを一定期間蓄積し、受信装置８０４からの再送要求に従って再送パケットを多重部２１０に出力する。
　図１４は、本実施の形態に係る受信装置８０４の構成を示すブロック図である。なお、図１４において、図４と共通する構成要素には、図４と同一の符号を付し、詳細な説明を省略する。
　図１４に示す受信装置８０４は、図４に示した受信装置１０４に対して、品質制御情報保持部９０３、回復強度指示部９０４および遅延量指示部９０７を追加する構成を採る。
　伝送品質情報生成部３１１は、伝送品質情報を生成し、回復強度指示部９０４および遅延量指示部９０７に出力する。
　品質制御情報保持部９０３は、ユーザにより設定された品質制御情報を保持する。
　回復強度指示部９０４は、伝送品質情報生成部３１１から出力された伝送品質情報および品質制御情報保持部９０３が保持する品質制御情報に基づいて、冗長符号強度を設定する。そして、復強度指示部９０４は、冗長符号復号部３０７、３０８および無線部３０１に冗長符号強度を出力する。
　冗長符号復号部３０７、３０８は、それぞれ、回復強度指示部９０４から出力された冗長符号強度に応じてFECブロックの数だけ実時間ストリームのパケットを蓄積する。そして、冗長符号復号部３０７、３０８は、冗長符号パケットを用いて、ネットワーク１０７で損失したパケットを回復させる処理を実行する。
　遅延量指示部９０７は、伝送品質情報生成部３１１から出力された伝送品質情報および品質制御情報保持部９０３が保持する品質制御情報に基づいて、各実時間ストリームのパケットの再送上限回数を決定する。そして、遅延量指示部９０７は、保持期間指示部３０３、３０４および無線部３０１に再送上限回数を出力する。
　保持期間指示部３０３、３０４は、それぞれ、遅延量指示部９０７から出力された再送上限回数に基づいて、パケットの保持時間をバッファ部３０５、３０６に指示する。
　無線部３０１は、バッファ部３０５、３０６から出力された再送要求、回復強度指示部９０４から出力された冗長符号強度を指示する情報および遅延量指示部９０７から出力された再送上限回数を入力する。無線部３０１は、入力した再送要求、冗長符号強度を指示する情報および再送上限回数に対して、アップコンバート、増幅等の無線処理を行い、無線信号を、ネットワーク１０７を介して送信装置８０３に送信する。
　このように、本実施の形態では、受信装置側のユーザが、各実時間ストリームの品質を設定することができる。そして、本実施の形態では、実施の形態１と同様に、限られたリソース（帯域）において、重要な実時間ストリームに符号量を多く割り当てることができるので、ネットワークの状況が悪化した場合でも、重要な情報を保護することができる。また、本実施の形態では、実施の形態１と同様に、複数ストリーム間の同期ずれ量も考慮しながら遅延時間を調整することができる。
　なお、本実施の形態では、回復強度指示部および遅延量指示部を送信装置に配置し、品質制御情報保持部を受信装置に配置することもできる。
　また、実施の形態１、２で説明した構成要件は、いずれも双方向の通信を行う端末にも適用することができる。すなわち、実施の形態１、２では、それぞれの端末に送信装置の構成要件と受信装置の構成要件を導入し、双方の複数の実時間ストリームの伝送に対して同期ずれ量も考慮しながら遅延時間を調整することができる。このとき、実施の形態１、２では、実施の形態１の送信装置と実施の形態２の受信装置を一つの端末に導入する形態を採ることにより、品質制御情報保持部を片側の端末に配置することができる。
　（実施の形態３）
　実施の形態３では、複数の実時間ストリームを扱うことができる多地点伝送装置（ＭＣＵ：multi-point control unit）に、本発明を適用する場合について説明する。図１５は、本実施の形態に係る通信システムの構成の一例を示した図である。
　データ生成装置１００１は、カメラで撮像した第１観戦者の映像およびマイクで集音した第１観戦者の音声をデータに変換し、映像、音声のデータの実時間ストリームを生成し、送受信装置１００３に出力する。データ生成装置１００２は、カメラで撮像した第２観戦者の映像およびマイクで集音した第２観戦者の音声をデータに変換し、映像、音声のデータの実時間ストリームを生成し、送受信装置１００４に出力する。
　送受信装置１００３は、データ生成装置１００１から出力された実時間ストリームを符号化してパケットを構成し、ネットワーク１０１１を介してＭＣＵ１００６にパケットを送信する。また、送受信装置１００３は、ＭＣＵ１００６から受信したパケットを復号し、映像、音声の実時間ストリームを再生装置１００７、１００８に出力する。
　送受信装置１００４は、データ生成装置１００２から出力された実時間ストリームを符号化してパケットを構成し、ネットワーク１０１１を介してＭＣＵ１００６にパケットを送信する。また、送受信装置１００４は、ＭＣＵ１００６から受信したパケットを復号し、映像、音声の実時間ストリームを再生装置１００９、１０１０に出力する。
　送信装置１００５は、例えば、サッカーの試合の映像、音声をデータに変換し、映像、音声のデータの実時間ストリームを生成し、ネットワーク１０１１を介してＭＣＵ１００６に送信する。
　ＭＣＵ１００６は、送受信装置１００３、送受信装置１００４および送信装置１００５から受信したパケットを復号し、第１観戦者および第２観戦者の映像データを分割画面で表示されるように合成する。そして、ＭＣＵ１００６は、合成した映像データの実時間ストリームを再び符号化してパケットを構成する。そして、ＭＣＵ１００６は、再び符号化したパケットを、ネットワーク１０１１を介して送受信装置１００３および送受信装置１００４にパケットを送信する。
　再生装置１００７、１００９は、それぞれ、第１観戦者および第２観戦者の映像を分割画面で合成した映像の実時間ストリーム、および、第１観戦者および第２観戦者の音声の実時間ストリームを基に、映像・音声を再生する。再生装置１００８、１０１０は、それぞれ、サッカーの試合の映像、音声の実時間ストリームを基に、映像・音声を再生する。
　このように、通信システム１０００は、観戦対象（サッカーの試合）の映像と音声を複数の地点で共有しながら、複数の観戦者の映像と音声をＭＣＵ１００６で合成し、再配信する。これにより、通信システム１０００は、観戦者同士の映像、音声と観戦対象の映像、音声を、ネットワーク１０１１を介して両方配信することができる。
　このシステム構成において、ＭＣＵ１００６には、実施の形態１で説明した送信装置１０３の構成要件が導入されている。また、送受信装置１００３、１００４には、実施の形態１で説明した受信装置１０４の構成要件が導入されている。
　ＭＣＵ１００６の品質制御情報保持部は、図１６に示す、ユーザによって設定された品質制御情報を保持する。図１６の例では、観戦者同士の映像（分割画面）については保護強度を弱く設定し（St=2）、観戦者同士の音声（Ｍｉｘ音声）の保護強度をやや強く設定している（St=5）。また、観戦対象の映像（サッカー映像）、音声（サッカー音声）の保護強度は、最強に設定している（St=10）。また、観戦者同士の映像（分割画面）と音声（Ｍｉｘ音声）の同期パラメータには、若干の同期ずれを許容するように設定される（Syt=10ms）。そして、観戦者同士の映像（分割画面）と観戦対象の映像（サッカー映像）、音声（サッカー音声）は、若干の同期ずれを許容する設定が行われている（Syt=200ms）。
　図１７は、本発明の実施の形態１の効果を説明する図である。図１７には、各実時間ストリーム１２０１－１２０４それぞれについて、冗長符号強度１２０５、再送上限回数１２０６が採用された場合の保護効果１２０７が示されている。
　本実施の形態では、図１７に示すように、観戦対象の映像（サッカー映像）、音声（サッカー音声）には強い保護が行われるので、これらの実時間ストリームは、完全に乱れず伝送される。
　また、観戦者同士の映像（分割画面）と音声（Ｍｉｘ音声）は、違和感がない程度の遅延差で再生される。したがって、本実施の形態では、観戦者同士の映像（分割画面）を保護する冗長符号を減らすことにより、より重要な観戦対象の映像、音声の情報にリソース（帯域）を多く割り当てることができる。
　このように、本実施の形態は、インターネット等のベストエフォートネットワークを介して情報の伝送を行う場合、観戦対象と歓声のずれに違和感を生じることはない。また、本実施の形態は、より重要な観戦対象をより強く保護しながら観戦者同士の反応の様子を共有することができる。
　本実施の形態の送信装置は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定する遅延量指示部と、前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部と、を有する。
　また、本実施の形態の送信装置は、前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定する回復強度指示部と、前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、をさらに有する。
　また、本実施の形態の送信装置は、前記品質制御情報は、前記実時間ストリームの保護強度、前記実時間ストリームの種別、前記実時間ストリームの優先度、および、前記実時間ストリーム間の関連度の少なくとも一つを含む。
　また、本実施の形態の受信装置は、パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置であって、前記送信装置から、前記ネットワークの状況を示す伝送品質情報と、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報とに応じて設定された再送上限回数を受信する受信部と、前記再送上限回数に基づいて、パケットを保持する時間を設定する保持期間指示部と、前記設定された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するバッファ部と、を有する。
　また、本実施の形態の受信装置は、前記受信部は、前記送信装置が前記伝送品質情報と前記品質制御情報とに応じて設定した冗長符号強度を受信し、前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行する冗長符号復号部と、前記伝送品質情報を生成して前記送信装置に送信する伝送品質情報生成部と、をさらに有する。
　また、本実施の形態の受信装置は、パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置であって、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、前記ネットワークの状況を示す伝送品質情報を生成する伝送品質情報生成部と、前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定し、前記送信装置に前記再送上限回数を送信する遅延量指示部と、前記再送上限回数に基づいて、パケットを保持する時間を設定する保持期間指示部と、前記保持期間指示部に指示された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するバッファ部と、を有する。
　また、本実施の形態の受信装置は、前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定し、前記送信装置に前記冗長符号強度を送信する回復強度指示部と、前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行する冗長符号復号部と、をさらに有する。
　また、本実施の形態の受信装置は、前記品質制御情報は、前記実時間ストリームの保護強度、前記実時間ストリームの種別、前記実時間ストリームの優先度、および、前記実時間ストリーム間の関連度の少なくとも一つを含む。
　また、本実施の形態の送信装置は、パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、前記受信装置が、前記ネットワークの状況を示す伝送品質情報と、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報とに応じて設定した再送上限回数を受信する受信部と、前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部、を有する。
　また、本実施の形態の送信装置は、前記受信部は、前記受信装置が前記伝送品質情報と前記品質制御情報とに応じて設定した冗長符号強度を受信し、前記冗長符号強度に基づいて、前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、をさらに有する。
　なお、上記各実施の形態では、品質制御情報として同期パラメータおよび保護強度を例として挙げたが、本発明はこれに限らない。例えば、各実施の形態では、実時間ストリームの種別、実時間ストリームの優先度、実時間ストリームの複雑度、実時間ストリーム間の関連度等、他の情報を用いることもできる。
　２０１２年６月４日出願の特願２０１２－１２７３２４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本発明は、インターネット等のベストエフォートネットワークで、複数の実時間ストリームを伝送するシステムの送信装置に適用するに好適である。
　１０１、１０２、１００１、１００２　データ生成装置
　１０３、８０３、１００５　送信装置
　１０４、８０４　受信装置
　１０５、１０６、１００７、１００８、１００９、１０１０　再生装置
　２０１、２０２　符号化部
　２０３、９０３　品質制御情報保持部
　２０４、９０４　回復強度指示部
　２０５、２０６　冗長符号化部
　２０７、９０７　遅延量指示部
　２０８、２０９　再送制御部
　２１０　多重部
　２１１、３０１　無線部
　３０２　分離部
　３０３、３０４　保持期間指示部
　３０５、３０６　バッファ部
　３０７、３０８　冗長符号復号部
　３０９、３１０　復号部
　３１１　伝送品質情報生成部
　１００３、１００４　送受信装置
　１００６　ＭＣＵ
 

Claims (14)

  1. 　パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、
    　ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、
    　前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定する遅延量指示部と、
    　前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部と、
    　を有する送信装置。
  2. 　前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定する回復強度指示部と、
    　前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、
    　をさらに有する請求項１記載の送信装置。
  3. 　前記品質制御情報は、前記実時間ストリームの保護強度、前記実時間ストリームの種別、前記実時間ストリームの優先度、および、前記実時間ストリーム間の関連度の少なくとも一つを含む、
    　請求項１に記載の送信装置。
  4. 　パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置であって、
    　前記送信装置から、前記ネットワークの状況を示す伝送品質情報と、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報とに応じて設定された再送上限回数を受信する受信部と、
    　前記再送上限回数に基づいて、パケットを保持する時間を設定する保持期間指示部と、
    　前記設定された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するバッファ部と、
    　を有する受信装置。
  5. 　前記受信部は、前記送信装置が前記伝送品質情報と前記品質制御情報とに応じて設定した冗長符号強度を受信し、
    　前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行する冗長符号復号部と、
    　前記伝送品質情報を生成して前記送信装置に送信する伝送品質情報生成部と、
    　をさらに有する請求項４記載の受信装置。
  6. 　パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置であって、
    　ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持する品質制御情報保持部と、
    　前記ネットワークの状況を示す伝送品質情報を生成する伝送品質情報生成部と、
    　前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定し、前記送信装置に前記再送上限回数を送信する遅延量指示部と、
    　前記再送上限回数に基づいて、パケットを保持する時間を設定する保持期間指示部と、
    　前記保持期間指示部に指示された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するバッファ部と、
    　を有する受信装置。
  7. 　前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定し、前記送信装置に前記冗長符号強度を送信する回復強度指示部と、
    　前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行する冗長符号復号部と、
    　をさらに有する請求項６記載の受信装置。
  8. 　前記品質制御情報は、前記実時間ストリームの保護強度、前記実時間ストリームの種別、前記実時間ストリームの優先度、および、前記実時間ストリーム間の関連度の少なくとも一つを含む、
    　請求項６に記載の受信装置。
  9. 　パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置であって、
    　前記受信装置が、前記ネットワークの状況を示す伝送品質情報と、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報とに応じて設定した再送上限回数を受信する受信部と、
    　前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送する再送制御部、
    　を有する送信装置。
  10. 　前記受信部は、前記受信装置が前記伝送品質情報と前記品質制御情報とに応じて設定した冗長符号強度を受信し、
    　前記冗長符号強度に基づいて、前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成する冗長符号化部と、
    　をさらに有する請求項９記載の送信装置。
  11. 　パケット損失が発生するネットワークを介し、受信装置に複数の実時間ストリームを多重送信する送信装置の送信方法であって、
    　ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報を保持するステップと、
    　前記ネットワークの状況を示す伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に再送上限回数を設定するステップと、
    　前記受信装置からの再送要求に従って、前記再送上限回数に達するまで前記各実時間ストリームのパケットを再送するステップと、
    　を有する送信方法。
  12. 　前記伝送品質情報と前記品質制御情報とに応じて、前記複数の実時間ストリーム毎に冗長符号強度を設定するステップと、
    　前記冗長符号強度に基づいて前記各実時間ストリームの冗長符号量をそれぞれ決定し、冗長符号パケットを生成するステップと、
    　をさらに有する請求項１１記載の送信方法。
  13. 　パケット損失が発生するネットワークを介し、送信装置から多重された複数の実時間ストリームを受信する受信装置の受信方法であって、
    　前記送信装置が、前記ネットワークの状況を示す伝送品質情報と、ユーザが設定した、各実時間ストリームの伝送品質を制御するための品質制御情報とに応じて設定した再送上限回数を受信するステップと、
    　前記再送上限回数に基づいて、パケットを保持する時間を設定するステップと、
    　前記設定された時間、前記送信装置から送信された実時間ストリームのパケットを保持し、パケット損失が発生した場合、再送上限回数に達するまで、前記送信装置に再送要求を送信するステップと、
    　を有する受信方法。
  14. 　前記送信装置が前記伝送品質情報と前記品質制御情報とに応じて設定した冗長符号強度を受信するステップと、
    　前記冗長符号強度に基づいて、前記各実時間ストリームのパケットを蓄積し、冗長符号パケットを用いて、前記ネットワークで損失したパケットを回復させる処理を実行するステップと、
    　前記伝送品質情報を生成して前記送信装置に送信するステップと、
    　をさらに有する請求項１３記載の受信方法。
     
     
PCT/JP2013/003175 2012-06-04 2013-05-20 送信装置、受信装置、送信方法および受信方法 WO2013183236A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380019679.2A CN104221317B (zh) 2012-06-04 2013-05-20 发送装置、接收装置、发送方法及接收方法
JP2014519819A JP6380935B2 (ja) 2012-06-04 2013-05-20 送信装置、受信装置、送信方法および受信方法
US14/400,311 US9331815B2 (en) 2012-06-04 2013-05-20 Transmission device, reception device, transmission method, and reception method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012127324 2012-06-04
JP2012-127324 2012-06-04

Publications (1)

Publication Number Publication Date
WO2013183236A1 true WO2013183236A1 (ja) 2013-12-12

Family

ID=49711644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003175 WO2013183236A1 (ja) 2012-06-04 2013-05-20 送信装置、受信装置、送信方法および受信方法

Country Status (4)

Country Link
US (1) US9331815B2 (ja)
JP (1) JP6380935B2 (ja)
CN (1) CN104221317B (ja)
WO (1) WO2013183236A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013183235A1 (ja) * 2012-06-04 2016-01-28 パナソニックＩｐマネジメント株式会社 送信装置、受信装置、送信方法および受信方法
JP2022515268A (ja) * 2018-12-25 2022-02-17 華為技術有限公司 データ伝送方式及び通信デバイス

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9344218B1 (en) * 2013-08-19 2016-05-17 Zoom Video Communications, Inc. Error resilience for interactive real-time multimedia applications
CN107769887B (zh) * 2016-08-17 2021-02-12 华为技术有限公司 一种数据传输、数据处理方法及装置
JP7241296B2 (ja) * 2018-03-08 2023-03-17 パナソニックＩｐマネジメント株式会社 通信装置、位置推定方法、位置推定プログラム、および通信システム
CN109194998B (zh) * 2018-08-14 2021-05-11 Oppo广东移动通信有限公司 数据传输方法、装置、电子设备及计算机可读介质
KR102162350B1 (ko) * 2019-02-14 2020-10-06 국방과학연구소 다중 통신 제어 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191314A (ja) * 1996-01-10 1997-07-22 Mitsubishi Electric Corp 連続データ伝送方法および連続データ伝送装置
JPH11331108A (ja) * 1998-05-20 1999-11-30 Mitsubishi Electric Corp 多重化送信装置、多重化受信装置および多重化伝送システム
JP2003092564A (ja) * 2001-06-28 2003-03-28 Microsoft Corp ストリームメディアに対する交渉方式の／動的なエラー訂正
JP2006510301A (ja) * 2002-12-13 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｍｄｃ／スケーラブル符号化の切り換え方法
JP2007267176A (ja) * 2006-03-29 2007-10-11 Matsushita Electric Ind Co Ltd 送信装置、送信方法、受信装置及び受信方法
JP2008092116A (ja) * 2006-09-29 2008-04-17 Fujitsu Ltd 無線中継装置、無線中継方法および無線中継プログラム
JP2009212842A (ja) * 2008-03-04 2009-09-17 Kddi Corp 動画伝送装置
JP2010119133A (ja) * 2010-01-28 2010-05-27 Sony Corp パケット送信装置、通信システム及びプログラム
JP2012044252A (ja) * 2010-08-12 2012-03-01 Sony Corp 情報処理装置および方法、並びにプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4019478B2 (ja) 1997-12-11 2007-12-12 ソニー株式会社 多重化装置及び多重化方法
KR100438167B1 (ko) * 2000-11-10 2004-07-01 엘지전자 주식회사 인터넷 전화통신을 위한 음성신호 송수신장치
JP2004260658A (ja) * 2003-02-27 2004-09-16 Matsushita Electric Ind Co Ltd 無線ｌａｎ装置
US7675939B2 (en) * 2004-01-30 2010-03-09 Sony Corporation Transmission apparatus and method, reception apparatus and method, communication system, recording medium, and program
WO2006046586A1 (ja) * 2004-10-28 2006-05-04 Matsushita Electric Industrial Co., Ltd. データ通信装置、データ受信装置、データ送信装置および再送制御方法
JP4513725B2 (ja) * 2005-11-09 2010-07-28 ソニー株式会社 パケット送信装置、通信システム及びプログラム
JP5035065B2 (ja) * 2008-03-27 2012-09-26 富士通株式会社 移動体通信のランダムアクセス手順における再送処理方法、移動局装置及び基地局装置
CN101686106B (zh) * 2008-09-28 2013-04-17 华为技术有限公司 自适应前向纠错的方法、装置和系统
CN104247317B (zh) * 2012-06-04 2018-06-15 松下知识产权经营株式会社 发送装置、接收装置、发送方法及接收方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09191314A (ja) * 1996-01-10 1997-07-22 Mitsubishi Electric Corp 連続データ伝送方法および連続データ伝送装置
JPH11331108A (ja) * 1998-05-20 1999-11-30 Mitsubishi Electric Corp 多重化送信装置、多重化受信装置および多重化伝送システム
JP2003092564A (ja) * 2001-06-28 2003-03-28 Microsoft Corp ストリームメディアに対する交渉方式の／動的なエラー訂正
JP2006510301A (ja) * 2002-12-13 2006-03-23 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Ｍｄｃ／スケーラブル符号化の切り換え方法
JP2007267176A (ja) * 2006-03-29 2007-10-11 Matsushita Electric Ind Co Ltd 送信装置、送信方法、受信装置及び受信方法
JP2008092116A (ja) * 2006-09-29 2008-04-17 Fujitsu Ltd 無線中継装置、無線中継方法および無線中継プログラム
JP2009212842A (ja) * 2008-03-04 2009-09-17 Kddi Corp 動画伝送装置
JP2010119133A (ja) * 2010-01-28 2010-05-27 Sony Corp パケット送信装置、通信システム及びプログラム
JP2012044252A (ja) * 2010-08-12 2012-03-01 Sony Corp 情報処理装置および方法、並びにプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013183235A1 (ja) * 2012-06-04 2016-01-28 パナソニックＩｐマネジメント株式会社 送信装置、受信装置、送信方法および受信方法
JP2022515268A (ja) * 2018-12-25 2022-02-17 華為技術有限公司 データ伝送方式及び通信デバイス
US11496238B2 (en) 2018-12-25 2022-11-08 Huawei Technologies Co., Ltd. Data transmission method and communications device
JP7252344B2 (ja) 2018-12-25 2023-04-04 華為技術有限公司 データ伝送方式及び通信デバイス

Also Published As

Publication number Publication date
US20150100843A1 (en) 2015-04-09
JP6380935B2 (ja) 2018-08-29
CN104221317B (zh) 2018-01-23
JPWO2013183236A1 (ja) 2016-01-28
US9331815B2 (en) 2016-05-03
CN104221317A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
JP6380935B2 (ja) 送信装置、受信装置、送信方法および受信方法
JP4328602B2 (ja) パケットエラー訂正装置及び方法
KR101242663B1 (ko) 패킷 송신 장치, 통신 시스템 및 컴퓨터 판독가능한 기록매체
JP4405875B2 (ja) エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体
JP6278275B2 (ja) 送信装置、受信装置、送信方法および受信方法
KR20180031016A (ko) 전송기측 화상 전화 다운그레이드
US20150103885A1 (en) Real time ip video transmission with high resilience to network errors
JP2010519789A (ja) 逆方向リンクおよび順方向リンクのビデオデータエラーを区別するエラーフィルタ
CN106416154B (zh) 用于在广播和通信系统中发送和接收分组的方法和装置
JP6535718B2 (ja) ストリーミングサービスを提供する方法及び装置
JP2010119133A (ja) パケット送信装置、通信システム及びプログラム
CN102307302B (zh) 一种保持视频图像连续性的方法和装置
CN108429921A (zh) 一种视频编解码方法及装置
KR101953580B1 (ko) 영상회의 시스템에서 데이터 송수신 장치 및 방법
JP2011087091A (ja) 送信装置および送信装置の動作モード制御方法
US10447416B2 (en) Data reception apparatus, data transmission system, data reception method, and data transmission method
JP2005244315A (ja) 映像ストリーミング伝送のネットワーク品質安定化装置
EP1686806A2 (en) Content distribution/reception device, content transmission/reception system, content distribution/reception method, and content distribution/reception program
US20130042278A1 (en) Method and apparatus for providing video service
JPWO2009145294A1 (ja) サーバ装置と通信方法ならびにプログラム
JP4049378B2 (ja) 双方向画像通信システムにおけるサーバ及びその処理方法並びにプログラム
JP2016058909A (ja) 通信システム、通信装置、通信方法及び通信プログラム
JP2009055469A (ja) 送信端末
Lyonnet et al. Architecture Considerations for Video Conferencing in the Internet with Wireless Links

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13801279

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014519819

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14400311

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13801279

Country of ref document: EP

Kind code of ref document: A1