JPWO2020230118A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020230118A5
JPWO2020230118A5 JP2021502460A JP2021502460A JPWO2020230118A5 JP WO2020230118 A5 JPWO2020230118 A5 JP WO2020230118A5 JP 2021502460 A JP2021502460 A JP 2021502460A JP 2021502460 A JP2021502460 A JP 2021502460A JP WO2020230118 A5 JPWO2020230118 A5 JP WO2020230118A5
Authority
JP
Japan
Prior art keywords
video
frame
video data
fine
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021502460A
Other languages
Japanese (ja)
Other versions
JP2022531998A (en
JP7261860B2 (en
Publication date
Application filed filed Critical
Priority claimed from PCT/IL2020/050490 external-priority patent/WO2020230118A1/en
Publication of JP2022531998A publication Critical patent/JP2022531998A/en
Publication of JPWO2020230118A5 publication Critical patent/JPWO2020230118A5/ja
Application granted granted Critical
Publication of JP7261860B2 publication Critical patent/JP7261860B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (29)

ユーザ・データグラム・プロトコル（ＵＤＰ）オーバー・インターネット・プロトコル（ＩＰ）通信リンクを介してビデオを送信する方法であって、前記方法は、
ビデオ・エンコーダによって前記ビデオの各フレームごとに圧縮データのＮ個のパケットのセットを生成するステップであって、Ｎが自然数である、ステップと、
前記ビデオの特定のフレームについてＮ個のパケットの各セットを生成すると、前記ビデオの他のビデオ・フレームの符号化又はパケット化を待つことなしに、前記ＵＤＰオーバーＩＰ通信リンクを介して、単一の符号化されたビデオ・フレームに対応するＮ個のパケットの前記セットの前記送信を直ちに実施するステップと
を含み、
前記ビデオ・フレームの各パケットが、少なくとも、
（ｉ）粗いビデオ・データ・パケット部分と、
（ｉｉ）細かいビデオ・データ・パケット部分と
を含む、方法。 A method of transmitting video over a User Datagram Protocol (UDP) over Internet Protocol (IP) communication link, the method comprising:
generating a set of N packets of compressed data for each frame of said video by a video encoder, wherein N is a natural number;
Upon generating each set of N packets for a particular frame of the video, a single packet is sent over the UDP over IP communication link without waiting for encoding or packetization of other video frames of the video. immediately effecting said transmission of said set of N packets corresponding to encoded video frames of
each packet of said video frame comprising at least:
(i) a coarse video data packet portion;
(ii) a fine video data packet portion; 各パケットの前記粗いビデオ・データ・パケット部分について、バイト単位の固定サイズ（Ｓ２）を維持するステップであって、前記サイズ（Ｓ２）が、前記単一の特定のビデオ・フレームに対応するパケットの前記セットの全体にわたって固定される、ステップと、
各パケットの前記細かいビデオ・データ・パケット部分について、バイト単位の固定サイズ（Ｓ３）を維持するステップであって、前記サイズ（Ｓ３）が、前記単一の特定のビデオ・フレームに対応するパケットの前記セットの前記全体にわたって固定される、ステップと
を含む、請求項１に記載の方法。 maintaining a fixed size ( S2 ) in bytes for said coarse video data packet portion of each packet, said size (S2) of a packet corresponding to said single specific video frame; fixed throughout the set ;
maintaining a fixed size ( S3 ) in bytes for said fine video data packet portion of each packet, said size (S3) of packets corresponding to said single specific video frame; fixed throughout said set. 前記ビデオの異なるフレームについて、利用されるＳ２の値とＳ３の値とを動的に変えるステップ
を含み、
Ｓ２の前記値が、前記ビデオの各フレームのすべてのパケットにわたって固定されたままであるが、前記ビデオの少なくとも１つの他のフレームにおいてＳ２の異なる値に変わり、
Ｓ３の前記値が、前記ビデオの各フレームのすべてのパケットにわたって固定されたままであるが、前記ビデオの少なくとも１つの他のフレームにおいてＳ３の異なる値に変わる、請求項２に記載の方法。 dynamically varying the values of S2 and S3 utilized for different frames of said video;
including
said value of S2 remains fixed across all packets of each frame of said video, but changes to a different value of S2 in at least one other frame of said video;
3. The method of claim 2, wherein the value of S3 remains fixed across all packets of each frame of the video, but changes to a different value of S3 in at least one other frame of the video. 特定のフレームについての細かいビデオ・データという犠牲を払って、前記特定のフレームについての増加された量の粗いビデオ・データを収容するために、前記粗いビデオ・データ・パケット部分の前記サイズを動的に増加させ、それぞれ前記細かいビデオ・データ・パケット部分の前記サイズを動的に低減するステップ
を含む、請求項３に記載の方法。 dynamically adjusting said size of said coarse video data packet portion to accommodate an increased amount of coarse video data for said particular frame at the expense of finer video data for said particular frame; and dynamically reducing said size of each said fine video data packet portion.
4. The method of claim 3 , comprising: ビデオ・フレームごとに送信されるパケットのセットにおいて、
粗いビデオ・データを搬送するための粗いビデオ・データ・パケット部分の第１の数（Ｃ１）を指定するステップと、
前記粗いビデオ・データを搬送する代わりに、前記粗いビデオ・データの前方誤り訂正（ＦＥＣ）コードについての冗長データを搬送するための粗いビデオ・データ・パケット部分の第２の数（Ｃ２）を指定するステップと
を含む、請求項４に記載の方法。 In the set of packets transmitted per video frame,
designating a first number (C1) of coarse video data packet portions for carrying coarse video data;
specifying a second number (C2) of coarse video data packet portions for carrying redundant data for forward error correction (FEC) codes of the coarse video data instead of carrying the coarse video data; 5. The method of claim 4 , comprising the steps of: ビデオ・フレームごとに送信されるパケットのセットにおいて、
細かいビデオ・データを搬送するための細かいビデオ・データ・パケット部分の第１の数（Ｆ１）を指定するステップと、
前記細かいビデオ・データを搬送する代わりに、前記細かいビデオ・データの前方誤り訂正（ＦＥＣ）コードについての冗長データを搬送するための細かいビデオ・データ・パケット部分の第２の数（Ｆ２）を指定するステップと
を含む、請求項５に記載の方法。 In the set of packets transmitted per video frame,
specifying a first number (F1) of fine video data packet portions for carrying fine video data;
specifying a second number (F2) of fine video data packet portions for carrying redundant data for a forward error correction (FEC) code of the fine video data instead of carrying the fine video data; 6. The method of claim 5 , comprising the steps of: Ｃ１の値と、Ｃ２の値と、Ｆ１の値と、Ｆ２の値とを選択するステップ
を含み、
Ｎが、特定のビデオ・フレームについて送信されるパケットの総数であり、
Ｃ１＋Ｃ２＝Ｎであり、
Ｆ１＋Ｆ２＝Ｎであり、
Ｆ１＞Ｃ１である、請求項６に記載の方法。 selecting a value for C1, a value for C2, a value for F1 and a value for F2 ;
including
N is the total number of packets transmitted for a particular video frame;
C1+C2=N, and
F1+F2=N, and
7. The method of claim 6 , wherein F1>C1. Ｎの値と、Ｃ１の値と、Ｃ２の値と、Ｆ１の値と、Ｆ２の値とを選択するステップ
を含み、
Ｎが９であり、
Ｃ１が５であり、Ｃ２が４であり、
Ｆ１が８であり、Ｆ２が１である、請求項７に記載の方法。 selecting a value for N, a value for C1, a value for C2, a value for F1 and a value for F2 ;
including
N is 9,
C1 is 5, C2 is 4,
8. The method of claim 7 , wherein F1 is 8 and F2 is 1. 前記ビデオ・フレームの各パケットが、
（ｉ）ヘッダ・パケット部分と、
（ｉｉ）粗いビデオ・データ・パケット部分と、
（ｉｉｉ）細かいビデオ・データ・パケット部分と
を含み、
前記方法は、
単一の特定のビデオ・フレームに対応するパケットのセット中の各パケットの前記ヘッダ・パケット部分について、バイト単位の固定サイズ（Ｓ１）を維持するステップであって、前記サイズ（Ｓ１）が、パケットの前記セットの全体にわたって固定される、ステップと、
各パケットの前記粗いビデオ・データ・パケット部分について、バイト単位の固定サイズ（Ｓ２）を維持するステップであって、前記サイズ（Ｓ２）が、前記単一の特定のビデオ・フレームに対応するパケットの前記セットの前記全体にわたって固定される、ステップと、
各パケットの前記細かいビデオ・データ・パケット部分について、バイト単位の固定サイズ（Ｓ３）を維持するステップであって、前記サイズ（Ｓ３）が、前記単一の特定のビデオ・フレームに対応するパケットの前記セットの前記全体にわたって固定される、ステップと
を含む、請求項１に記載の方法。 each packet of said video frame comprising:
(i) a header packet portion;
(ii) a coarse video data packet portion;
(iii) a fine video data packet portion;
The method includes:
maintaining a fixed size ( S1 ) in bytes for said header packet portion of each packet in a set of packets corresponding to a single particular video frame, said size (S1) being the size of a packet fixed throughout the set of
maintaining a fixed size ( S2 ) in bytes for said coarse video data packet portion of each packet, said size (S2) of a packet corresponding to said single specific video frame; fixed throughout the set ;
maintaining a fixed size ( S3 ) in bytes for said fine video data packet portion of each packet, said size (S3) of packets corresponding to said single specific video frame; fixed throughout said set. 前記ビデオ・フレームの各パケットが、
（ｉ）ヘッダ・パケット部分と、
（ｉｉ）粗いビデオ・データ・パケット部分と、
（ｉｉｉ）細かいビデオ・データ・パケット部分と
を含み、
前記方法は、
前記ビデオの異なるフレームについて、利用されるＳ１の値と、Ｓ２の値と、Ｓ３の値とを動的に変えるステップ
を含み、
Ｓ１の前記値が、前記ビデオの各フレームのすべてのパケットにわたって固定されたままであるが、前記ビデオの少なくとも１つの他のフレームにおいてＳ１の異なる値に変わり、
Ｓ２の前記値が、前記ビデオの各フレームのすべてのパケットにわたって固定されたままであるが、前記ビデオの少なくとも１つの他のフレームにおいてＳ２の異なる値に変わり、
Ｓ３の前記値が、前記ビデオの各フレームのすべてのパケットにわたって固定されたままであるが、前記ビデオの少なくとも１つの他のフレームにおいてＳ３の異なる値に変わる、請求項１に記載の方法。 each packet of said video frame comprising:
(i) a header packet portion;
(ii) a coarse video data packet portion;
(iii) a fine video data packet portion;
The method includes:
dynamically changing the values of S1 , S2 and S3 used for different frames of said video;
including
said value of S1 remains fixed across all packets of each frame of said video, but changes to a different value of S1 in at least one other frame of said video;
said value of S2 remains fixed across all packets of each frame of said video, but changes to a different value of S2 in at least one other frame of said video;
2. The method of claim 1 , wherein the value of S3 remains fixed across all packets of each frame of the video, but changes to a different value of S3 in at least one other frame of the video. ビデオ・フレームのＮ個のパケットの前記セットにおいて、
ビデオ・ヘッダ・データを搬送するためのビデオ・ヘッダ・データ・パケット部分の第１の数（Ｈ１）を指定するステップと、
前記ビデオ・ヘッダ・データを搬送する代わりに、前記ビデオ・ヘッダ・データの前方誤り訂正（ＦＥＣ）コードについての冗長データを搬送するためのビデオ・ヘッダ・データ・パケット部分の第２の数（Ｈ２）を指定するステップと
を含む、請求項１０に記載の方法。 In said set of N packets of a video frame,
designating a first number ( H1 ) of video header data packet portions for carrying video header data;
A second number of video header data packet portions (H2 ) . Ｎの値と、Ｈ１の値と、Ｈ２の値と、Ｃ１の値と、Ｃ２の値と、Ｆ１の値と、Ｆ２の値とを選択するステップ
を含み、
Ｃ１＜Ｆ１であり、
Ｈ１がＣ１よりも小さいか又はそれに等しい、請求項１１に記載の方法。 selecting a value for N, a value for H1, a value for H2, a value for C1, a value for C2, a value for F1, and a value for F2 ;
including
C1<F1,
12. The method of claim 11 , wherein H1 is less than or equal to C1. Ｎの値と、Ｈ１の値と、Ｈ２の値と、Ｃ１の値と、Ｃ２の値と、Ｆ１の値と、Ｆ２の値とを選択するステップ
を含み、
Ｎが９であり、
Ｈ１が３であり、Ｈ２が４であり、
Ｃ１が５であり、Ｃ２が４であり、
Ｆ１が８であり、Ｆ２が１である、請求項１１に記載の方法。 selecting a value for N, a value for H1, a value for H2, a value for C1, a value for C2, a value for F1, and a value for F2 ;
including
N is 9,
H1 is 3, H2 is 4,
C1 is 5, C2 is 4,
12. The method of claim 11 , wherein F1 is 8 and F2 is 1. 特定のフレームの細かいビデオ・データを搬送するために指定された細かいビデオ・データ・パケット部分の数が、前記特定のフレームについてのすべての前記細かいビデオ・データを搬送するには十分でない場合、細かいビデオ・データの前方誤り訂正（ＦＥＣ）コードの冗長バイトを記憶するために前に指定された少なくとも１つの細かいビデオ・データ・パケット部分に、前記特定のフレームの細かいビデオ・データを記憶するステップ
を含む、請求項６に記載の方法。 If the number of fine video data packet portions designated to carry fine video data for a particular frame is not sufficient to carry all said fine video data for said particular frame, fine storing fine video data for said particular frame in at least one fine video data packet portion previously designated for storing redundant bytes of forward error correction (FEC) code of the video data;
7. The method of claim 6 , comprising: 特定のフレームの細かいビデオ・データを搬送するために指定された細かいビデオ・データ・パケット部分の前記数が、前記特定のフレームについてのすべての前記細かいビデオ・データを搬送するには十分でない場合、Ｆ１の前記値を動的に増加させ、それぞれＦ２の前記値を動的に減少させるステップ
を含む、請求項６に記載の方法。 if said number of fine video data packet portions designated to carry fine video data for a particular frame is not sufficient to carry all said fine video data for said particular frame; dynamically increasing said value of F1 and dynamically decreasing said value of F2 respectively;
7. The method of claim 6 , comprising: 前記ビデオ送信を受信するように動作する受信デバイスにおいて、特定のビデオ・フレームについて受信された受信されたビデオ・ヘッダ部分中の情報に基づいて、前記特定のビデオ・フレームのパケットの前記セットについてＦ１の新しい値とＦ２の新しい値とを決定するステップ
を含む、請求項１５に記載の方法。 At a receiving device operable to receive the video transmission, F1 for the set of packets of the particular video frame based on information in a received video header portion received for the particular video frame. and a new value for F2
16. The method of claim 15 , comprising: 特定のフレームの粗いビデオ・データを搬送するために指定された粗いビデオ・データ・パケット部分の数が、前記特定のフレームについてのすべての前記粗いビデオ・データを搬送するには十分でない場合、前記特定のフレームの細かいビデオ・データを記憶するために前に指定された少なくとも１つのパケット部分に、前記特定のフレームの粗いビデオ・データを記憶するステップ
を含む、請求項５に記載の方法。 if the number of coarse video data packet portions designated to carry coarse video data for a particular frame is not sufficient to carry all of said coarse video data for said particular frame, said storing coarse video data for a particular frame in at least one packet portion previously designated for storing fine video data for the particular frame;
6. The method of claim 5 , comprising: 前記ビデオ送信を受信するように動作する受信デバイスにおいて、特定のビデオ・フレームについて受信された受信されたビデオ・ヘッダ部分中の情報に基づいて、前記特定のビデオ・フレームのパケットの前記セットについてＣ１の新しい値とＣ２の新しい値とを決定するステップ
を含む、請求項５に記載の方法。 At a receiving device operable to receive the video transmission, C1 for the set of packets of the particular video frame based on information in a received video header portion received for the particular video frame. and a new value for C2
6. The method of claim 5 , comprising: 前記ビデオの各フレームについて生成されたパケットの各セットが、
（ｉ）粗いビデオ・データを搬送するために指定されたパケット部分
対
（ｉｉ）粗いビデオ・データの前方誤り訂正（ＦＥＣ）コードを搬送するために指定されたパケット部分
の固定比（Ｒ１）を利用し、
また、
（Ａ）細かいビデオ・データを搬送するために指定されたパケット部分
対
（Ｂ）細かいビデオ・データの前方誤り訂正（ＦＥＣ）コードを搬送するために指定されたパケット部分
の固定比（Ｒ２）を利用し、
また、
（ａ）ビデオ・ヘッダ・データを搬送するために指定されたパケット部分
対
（ｂ）ビデオ・ヘッド・データの前方誤り訂正（ＦＥＣ）コードを搬送するために指定されたパケット部分
の固定比（Ｒ３）を利用する、請求項１に記載の方法。 each set of packets generated for each frame of said video comprising:
A fixed ratio (R1) of (i) the packet portion designated to carry the coarse video data to (ii) the packet portion designated to carry the forward error correction (FEC) code of the coarse video data. make use of
again,
A fixed ratio (R2) of (A) the packet portion designated to carry the fine video data versus (B) the packet portion designated to carry the forward error correction (FEC) code of the fine video data. make use of
again,
(a) a packet portion designated to carry video header data versus (b) a fixed ratio (R3 ) . 前記ビデオの各フレームについて生成されたＮ個のパケットの各セットが、少なくとも、（ｉ）ビデオ・ヘッダ情報を記憶する第１の数（Ｈ１）のビデオ・ヘッダ・パケット部分と、（ｉｉ）前記ビデオ・ヘッダ・ビデオ情報の前方誤り訂正（ＦＥＣ）冗長を記憶する第２の数（Ｈ２）のビデオ・ヘッダ・パケット部分とを含み、
また、あらかじめ定義されたサイズ制約が許容する場合、（Ｉ）粗いビデオ・データを記憶する第１の数（Ｃ１）の粗いビデオ・データ・パケット部分と、（ＩＩ）前記粗いビデオ・データについての前方誤り訂正（ＦＥＣ）冗長を記憶する第２の数（Ｃ２）のパケット部分とをさらに含み、
また、あらかじめ定義されたサイズ制約が許容する場合、（ＩＩＩ）細かいビデオ・データを記憶する第１の数（Ｆ１）の細かいビデオ・データ・パケット部分と、（ＩＶ）前記細かいビデオ・データについての前方誤り訂正（ＦＥＣ）冗長を記憶する第２の数（Ｆ２）のパケット部分とをさらに含む、請求項１に記載の方法。 Each set of N packets generated for each frame of said video comprises at least (i) a first number (H1) of video header packet portions storing video header information; a second number (H2) of video header packet portions storing forward error correction (FEC) redundancy of video header video information;
Also, if predefined size constraints allow, (I) a first number (C1) of coarse video data packet portions for storing coarse video data; a second number (C2) of packet portions storing forward error correction (FEC) redundancy;
(III) a first number (F1) of fine video data packet portions for storing fine video data; and a second number (F2) of packet portions storing forward error correction (FEC) redundancy. ビデオ・フレームごとのＮ個のパケットの前記セットについてのあらかじめ定義されたバイトサイズ制約に基づいて、
特定のビデオ・フレームについて、Ｎ個のパケットの前記セットから、特定のビデオ・フレームの前記細かいビデオ・データについての前方誤り訂正（ＦＥＣ）コードについての前記冗長データの少なくとも一部を除外することを動的に決定するステップ
を含む、請求項２０に記載の方法。 Based on a predefined byte size constraint on the set of N packets per video frame,
For a particular video frame, excluding from the set of N packets at least a portion of the redundant data for a forward error correction (FEC) code for the fine video data of the particular video frame. Dynamic decision steps
21. The method of claim 20 , comprising: ビデオ・フレームごとのＮ個のパケットの前記セットについてのあらかじめ定義されたバイトサイズ制約に基づいて、
特定のビデオ・フレームについて、Ｎ個のパケットの前記セットから、（ｉ）特定のビデオ・フレームの前記細かいビデオ・データについての前方誤り訂正（ＦＥＣ）コードについての前記冗長データの少なくとも一部と、（ｉｉ）前記特定のビデオ・フレームについての前記細かいビデオ・データの少なくとも一部とを除外することを動的に決定するステップ
を含む、請求項２０に記載の方法。 Based on a predefined byte size constraint on the set of N packets per video frame,
for a particular video frame, from the set of N packets: (i) at least a portion of the redundant data for a forward error correction (FEC) code for the fine video data of the particular video frame; (ii) dynamically determining to exclude at least a portion of said fine video data for said particular video frame;
21. The method of claim 20 , comprising: ビデオ・フレームごとのＮ個のパケットの前記セットについてのあらかじめ定義されたバイトサイズ制約に基づいて、
特定のビデオ・フレームについて、Ｎ個のパケットの前記セットから、（ｉ）特定のビデオ・フレームの前記細かいビデオ・データについての前方誤り訂正（ＦＥＣ）コードについての前記冗長データの全体と、（ｉｉ）前記特定のビデオ・フレームについての前記細かいビデオ・データの全体とを除外することを動的に決定するステップ
を含む、請求項２０に記載の方法。 Based on a predefined byte size constraint on the set of N packets per video frame,
For a particular video frame, from said set of N packets, (i) all of said redundant data for forward error correction (FEC) codes for said fine video data of said particular video frame; ) dynamically determining to exclude all of said granular video data for said particular video frame;
21. The method of claim 20 , comprising: 前記ビデオ送信を受信するように動作する受信デバイスにおいて、細かいビデオ・データが送信デバイスによる送信から除外された、前記特定のビデオ・フレームの１つ又は複数のサブフレームを復号するステップ
を含む、請求項２３に記載の方法。 decoding, at a receiving device operable to receive the video transmission, one or more subframes of the particular video frame in which fine video data has been excluded from transmission by the transmitting device ;
24. The method of claim 23 , comprising: 前記ビデオ送信を受信するように動作する受信デバイスにおいて、
特定のビデオ・フレームについて、完全な細かいビデオ・データでなく、部分的な細かいビデオ・データのみを受信するステップと、
前記受信デバイスのＦＥＣデコーダが、前記特定のビデオ・フレームについての前記完全な細かいビデオ・データを再構築するのに十分な情報を有する場合、前記特定のビデオ・フレームについての前記完全な細かいビデオ・データを再構築するステップと、
前記受信デバイスの前記ＦＥＣデコーダが、前記特定のビデオ・フレームについての前記完全な細かいビデオ・データを再構築するのに十分な情報を有しない場合、前記特定のビデオ・フレームの少なくとも１つ又は複数の細かいサブフレームを再構築するステップと
を含む、請求項１に記載の方法。 In a receiving device operable to receive the video transmission,
receiving only partial fine video data instead of full fine video data for a particular video frame;
If the FEC decoder of the receiving device has sufficient information to reconstruct the full fine video data for the particular video frame, reconstructing the data ;
at least one or more of the particular video frames if the FEC decoder of the receiving device does not have sufficient information to reconstruct the complete fine-grained video data for the particular video frame; and reconstructing fine subframes of . 前記ビデオの各フレームの送信を制約する、フレームごとにＮｍａｘ個のパケットの上界値を設定するステップ
を含み、
Ｎｍａｘが、前記ビデオのすべてのフレームについて一様である自然数であり、
前記ビデオの各フレームの圧縮ビデオ・データが、フレームごとに最高Ｎｍａｘ個のパケットを使用することによって送信される、請求項１に記載の方法。 setting an upper bound of Nmax packets per frame, constraining the transmission of each frame of said video;
including
Nmax is a natural number that is uniform for all frames of the video;
2. The method of claim 1 , wherein the compressed video data for each frame of said video is transmitted by using up to Nmax packets per frame. ビデオ・エンコーダにおいて、前記ビデオの特定のフレームについての圧縮ビデオのＫ個のパケットを生成するステップであって、Ｋが、前記ビデオのすべてのフレームにわたって必ずしも固定されるとは限らない自然数である、ステップと、
ＫがＮｍａｘよりも小さいか又はそれに等しい場合、前記フレームについてのすべてのＫ個のパケットを送信するステップと、
ＫがＮｍａｘよりも大きい場合、前記フレームについての前記Ｋ個のパケットのうちの最初のＮｍａｘ個のパケットのみを送信し、前記フレームについての、前記最初のＮｍａｘ個のパケットを越えるパケットの送信を回避するステップと
を含む、請求項２６に記載の方法。 generating, in a video encoder, K packets of compressed video for a particular frame of said video, wherein K is a natural number that is not necessarily fixed across all frames of said video; a step ;
transmitting all K packets for the frame if K is less than or equal to Nmax ;
If K is greater than Nmax, then only transmit the first Nmax of the K packets for the frame and avoid transmitting more than the first Nmax packets for the frame. 27. The method of claim 26, comprising the steps of: ビデオ・フレームごとのＮ個のパケットの前記セットの各パケットが、送信されたサブフレームの前記粗いビデオ・データと前記細かいビデオ・データとのマップとして利用されるビデオ・ヘッダ部分を含み、
前記ビデオ・ヘッダは、前記ビデオ・フレームについての前記前方誤り訂正（ＦＥＣ）コードの一部又はすべてが、前記ＦＥＣコードのあまりにも少ないバイトが受信デバイスに到着したので適切に復号されなかった場合でも、前記ビデオ・フレームの１つ又は複数のサブフレームを復号するために、前記受信デバイスが、到着した前記細かいビデオ・データ及び／又は到着した前記粗いビデオ・データを少なくとも部分的に利用することを可能にする、請求項１に記載の方法。 each packet of the set of N packets per video frame including a video header portion utilized as a map between the coarse video data and the fine video data of transmitted subframes;
The video header may be decoded even if some or all of the forward error correction (FEC) code for the video frame was not properly decoded because too few bytes of the FEC code arrived at the receiving device. , the receiving device at least partially utilizes the arriving fine video data and/or the arriving coarse video data to decode one or more subframes of the video frame. 2. The method of claim 1 , enabling. ユーザ・データグラム・プロトコル（ＵＤＰ）オーバー・インターネット・プロトコル（ＩＰ）通信リンクを介してビデオを送信するシステムであって、前記システムは、1. A system for transmitting video over a User Datagram Protocol (UDP) over Internet Protocol (IP) communication link, said system comprising:
前記ビデオの各フレームごとに圧縮データのＮ個のパケットのセットを生成するためのビデオ・エンコーダであって、Ｎが自然数である、ビデオ・エンコーダと、a video encoder for generating a set of N packets of compressed data for each frame of said video, wherein N is a natural number;
前記ビデオの特定のフレームについてＮ個のパケットの各セットを生成すると、前記ビデオの他のビデオ・フレームの符号化又はパケット化を待つことなしに、前記ＵＤＰオーバーＩＰ通信リンクを介して、単一の符号化されたビデオ・フレームに対応するＮ個のパケットの前記セットの前記送信を直ちに実施するように構成された送信機とUpon generating each set of N packets for a particular frame of the video, a single packet is sent over the UDP over IP communication link without waiting for encoding or packetization of other video frames of the video. a transmitter configured to immediately effect said transmission of said set of N packets corresponding to encoded video frames of
を備え、with
前記ビデオ・フレームの各パケットが、少なくとも、each packet of said video frame comprising at least:
（ｉ）粗いビデオ・データ・パケット部分と、(i) a coarse video data packet portion;
（ｉｉ）細かいビデオ・データ・パケット部分と(ii) a fine video data packet portion;
を含む、システム。system, including
JP2021502460A 2019-05-12 2020-05-03 Systems, devices and methods for robust video transmission utilizing User Datagram Protocol (UDP) Active JP7261860B2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962846669P 2019-05-12 2019-05-12
US62/846,669 2019-05-12
US201962949516P 2019-12-18 2019-12-18
US62/949,516 2019-12-18
PCT/IL2020/050490 WO2020230118A1 (en) 2019-05-12 2020-05-03 System, device, and method for robust video transmission utilizing user datagram protocol (udp)

Publications (3)

Publication Number Publication Date
JP2022531998A JP2022531998A (en) 2022-07-13
JPWO2020230118A5 true JPWO2020230118A5 (en) 2023-01-31
JP7261860B2 JP7261860B2 (en) 2023-04-20

Family

ID=73289467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021502460A Active JP7261860B2 (en) 2019-05-12 2020-05-03 Systems, devices and methods for robust video transmission utilizing User Datagram Protocol (UDP)

Country Status (6)

Country Link
US (1) US11490140B2 (en)
EP (1) EP3834316B1 (en)
JP (1) JP7261860B2 (en)
CN (1) CN112400290B (en)
AU (1) AU2020275509A1 (en)
WO (1) WO2020230118A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11368510B1 (en) * 2021-04-30 2022-06-21 Zoom Video Communications, Inc. Video frame generation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317462B1 (en) 1998-10-22 2001-11-13 Lucent Technologies Inc. Method and apparatus for transmitting MPEG video over the internet
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
JP2000316033A (en) 1999-04-30 2000-11-14 Toshiba Corp Transmission device, reception device, data transmission system and data transmission method
US7093028B1 (en) * 1999-12-15 2006-08-15 Microsoft Corporation User and content aware object-based data stream transmission methods and arrangements
FI120125B (en) 2000-08-21 2009-06-30 Nokia Corp Image Coding
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
JP2005072995A (en) 2003-08-26 2005-03-17 Victor Co Of Japan Ltd Rate converter
US20080123739A1 (en) 2003-09-25 2008-05-29 Amimon Ltd. Wireless Transmission of High Quality Video
JP4100359B2 (en) 2004-03-04 2008-06-11 ソニー株式会社 Signal transmission system, data transmission device, and data reception device
US7623673B2 (en) * 2005-03-30 2009-11-24 Dolby Laboratories Licensing Corporation Versatile watermark transport system
KR100735276B1 (en) * 2005-08-18 2007-07-03 삼성전자주식회사 Method and apparatus for decoding a mpe-fec frame in a dvb-h system
US8102878B2 (en) * 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US20080104659A1 (en) * 2006-10-27 2008-05-01 Matthew James West Prioritized real-time data transmission
US10015486B2 (en) * 2012-10-26 2018-07-03 Intel Corporation Enhanced video decoding with application layer forward error correction
US20160283859A1 (en) * 2015-03-25 2016-09-29 Cisco Technology, Inc. Network traffic classification
US10491651B2 (en) * 2017-05-15 2019-11-26 Omnivision Technologies, Inc. Method and system for streaming low-delay high-definition video with partially reliable transmission

Similar Documents

Publication Publication Date Title
CN106656422B (en) Streaming media transmission method for dynamically adjusting FEC redundancy
US7151754B1 (en) Complete user datagram protocol (CUDP) for wireless multimedia packet networks using improved packet level forward error correction (FEC) coding
US9136983B2 (en) Streaming and buffering using variable FEC overhead and protection periods
US6145109A (en) Forward error correction system for packet based real time media
KR101449710B1 (en) Data communication system, data transmitting apparatus, data transmitting method, and method for determining packet size and redundancy
US9246644B2 (en) Jitter buffer
US20060291475A1 (en) Selective forward error correction
US8855145B2 (en) Jitter buffer
TWI387249B (en) Communication transmitter, communication receiver, packet redundancy method and packet recovery method
KR100908646B1 (en) Assemble Forward Error Correction Frames
US20090276686A1 (en) Method to support forward error correction for real-time audio and video data over internet protocol networks
EP1094630A2 (en) Packet loss control method for real-time multimedia communications
CN108183774A (en) The forward error correction and system of a kind of streaming media
CN101151829A (en) Buffering in streaming delivery
JP2014532371A (en) Coding apparatus and method in data communication system
CN108174234A (en) A kind of flow-medium transmission method and system
US20020159454A1 (en) Method of protecting data packets against errors
US8948213B2 (en) Jitter buffer
CN108696491B (en) Audio data sending processing method and device and audio data receiving processing method and device
US8484540B2 (en) Data transmitting device, control method therefor, and program
US20050076272A1 (en) Unequal error protection using forward error correction based on reed-solomon codes
CN101662339A (en) Method and device for verifying data recovered by forward error correction
JP3880497B2 (en) LAN communication system
JPWO2020230118A5 (en)
Ding et al. Error Resilient Video Transmission over Wireless Networks.