TWI363531B - Data communication system, data transmitting apparatus, data transmitting method, and method for determining packet size and redundancy - Google Patents

Data communication system, data transmitting apparatus, data transmitting method, and method for determining packet size and redundancy Download PDF

Info

Publication number
TWI363531B
TWI363531B TW96145037A TW96145037A TWI363531B TW I363531 B TWI363531 B TW I363531B TW 96145037 A TW96145037 A TW 96145037A TW 96145037 A TW96145037 A TW 96145037A TW I363531 B TWI363531 B TW I363531B
Authority
TW
Taiwan
Prior art keywords
data
packet
packets
size
redundancy
Prior art date
Application number
TW96145037A
Other languages
English (en)
Other versions
TW200835236A (en
Inventor
Yoshinobu Kure
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW200835236A publication Critical patent/TW200835236A/zh
Application granted granted Critical
Publication of TWI363531B publication Critical patent/TWI363531B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/36Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0006Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format
    • H04L1/0007Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission format by modifying the frame length
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0015Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
    • H04L1/0017Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement
    • H04L1/0018Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy where the mode-switching is based on Quality of Service requirement based on latency requirement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0057Block codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)

Description

1363531 九、發明說明: 【發明所屬之技術領域】 本發明係關於一種資料通信系統、一種資料傳輸裝置、 一種資料傳輸方法及一種用於確定一封包大小及冗餘之方 法。特定而言,本發明係關於一種資料通信系統,其中, 當對傳輸資料進行封包化且藉由在預定時間單位内進行冗 餘編碼來處理傳輸資料且將該合成資料自一資料傳輸裝置 傳輸至一資料接收裝置時,藉由依據該傳輸資料在每一預 定時間單位内之資料大小來確定一封包大小,即使在一低 資料速率下亦可獲得足夠之叢發丢失容限而無需增加__延 【先前技術】 近年來,在網際網路上之資料傳輸中,除基於一已使用 之選擇傳輸系統之服務外,亦增加了基於一串流式傳輸系 統之服務。舉例而言,在具有視訊檔案及音訊檔案之多媒 體傳輸中,在選擇傳輸系統令,—資料樓案被臨時地自一 刀配词服益選擇至一接受終端,且隨後播放所選擇之資料 至資料檔案之傳送完全完成,選擇傳輸系 統方可播放該資料檔案。因此,該選擇傳輸系統不適合長 期程播放、即時播访望 播敌4在串流式傳輸系統中,可在將資 料自一傳輸端傳送至—接收端之料,播放所接收之資 料因此將串机式傳輸系統用於諸如網際網路電話 程視訊會議及隨選視訊等網際網路服務。 適於串流式傳輪系統之網際網路技術包括界定於卿 124329.doc 1363531 (網際網路工程任務小組)RFC(請求注解)3550中之RTP(即 時運輸協定在基於RTP之資料傳輸中,藉由給每一封包 添加一時間戳,且基於該時間戳掌握在一傳輸端與一接收 端之間的一時間關係,可在不受封包傳送中延遲波動(抖 動)影響且建立同步之情況下播放資料。 此處,RTP並不能確保即時傳送資料。由於RTp所提供 之運輸服務未覆蓋封包輸送之優先權、設定及管理因而,
存在RTP封包可能具㈣似於其他類型之封包之輪送延遲 及封包丢失之可能性。即絲生此情況,接收端亦可藉由 利用在一預期時間内到達之封包來播放資料。此乃因,即 使視訊或音訊資料具有某資料丟失,亦可在一定程度上播 放資料。 & 接收端直接放棄輸送延遲之封包及出現錯誤之封包。亦 即,存在如下問題:若輸送高品質之資料,可能由於-封 包之丟失及錯誤而無法播放該資料。特定而言,由於據說
有線間隔具有π5或更多之錯誤,且無線間隔具有10、戈 更多錯誤,因而自保持分配媒體之品質之觀點看,直接使 用RTP導致低可靠性。 因此用於根據具有高可靠性資料傳送之 輸控制協⑺解決再傳輸請求及傳輸再傳輸封包之方法。 然而’由於TCP具有一低通過量及一大 錯誤性),因而存在如下可能· /、,、有抗 恥.即使對封包進行再傳輸, 亦可能在-播放時間後才接收到㈣封包。 作為一藉由使用RTP改良眘钮扁& 良資科傳輸可靠性之技術,存在 124329.doc 1363531 所謂之"FEC(前向糾錯)方法"(參見j R〇senberg等,"An RTP Payload Format for Generic Forward Error Correction" 請求注解:2733[在線],1999年12月,IETF網路工作 小組’ [2006年12月18曰搜索],網際網路 URL:http://www.ietf.org/rfc/rfc2733.txt)。在 FEC 方法 中’藉由使用諸如RS(李德-所羅門)碼等糾錯碼來實施冗 餘編碼’將複數個封包用作一 FEC塊。舉例而言,當使用 一(n,k)RS碼時,塊產生(n-k)個冗餘封包,其中让代表原始 資料封包之數量’且n>k。在此情況下,當一傳輸裝置傳 輸總數為η個之封包且一接收裝置接收到該n個封包中之k 個封包時’則RS解碼可恢復k個原始資料封包。 【發明内容】 在相關技術之多媒體資料傳輸中,資料以一依據一 MTU(最大傳輸單元)封包化成一預定大小之形式傳輸。因 此,存在如下問題。 在將資料封包化成一預定大小且使用該FEC方法來對經 封包化之資料實施冗餘編碼之情況下,為獲得足夠之叢發 丟失容限,需要增加包括於一 FEC編碼單元(即所謂之 "FEC塊”)中之原始資料封包之數量,或需要增加該fec塊 中冗餘封包之比例。通常,為減小冗餘封包之額外負擔, 而增加FEC塊中原始資料封包之數量《為增加具有一低資 料傳輸率之傳輸資料(經編碼資料)之FEC塊中所包括之原 始資料封包之數量’需要藉由在複數個時間戳上使用原始 資料封包形成一 FEC塊,從而導致延遲增加。 124329.doc 丄咖531 舉例而言,在傳輸視訊資料之情況下,雖然通常將一個 時間戳添加至每-視訊訊框,但可將兩個連續之視訊訊框 編碼為一FEC塊。在此情況下,即使該FEC塊t之一在前 訊框中具有H —接受終端亦無法在該FEC塊t之所 有封包到達之前實施解碼。因此,需要等待下—訊框中之 封包已到達後’ S可開始解碼。此彡丨起延遲增加。
一延遲而獲得足夠之叢發丟失容限 根據本發明之—實施例,提供—用於經由-網路以一封 包化形式傳輸傳輸資料之資料通信系統,其包括-資料傳 輸裝置及一資料接收裝置。根據本發明之-實施例,提供 網路以—封包化形式傳輸傳輸資料之資料通 p糸統,其包括-資料傳輸裝置及_資料接收裝置。 料傳輸裝置包括··一封包化 ^ 刀 藉由封包化該傳輪資 生資料封包;一編碼部分’其在預定時間單位内對
占蒽之情況係,即使在 由該封包化部分產生之資料封 Μ · - ^ ^ 實&几餘編碼且產生經編 "輸部分’其將由該編碼部分產 塊之每-者傳輸至資 編碼 1猶—貧料大小獲得部分, ,、獲仔該專預定時間單位之每一 大小;及-封包大小確定部分,輸資料之一資料 得部分鞾锃夕+ 其依據藉由該資料大小獲 付Ρ刀獲#之在預S時間單位之每 定該封包化部分所產生《貝枓大小’確 大小。該資料接收裝置心每一者之一封包 收自該資料傳輸裝置傳輸之該::,其藉由接 生竭碼塊之每一者來獲得 124329.doc 丨31 該傳輸資料之資料封包;及一 接收部分所猂化邛分,其分析該資料 資料。_件之傳輪資料之資料封包且重新組態該傳輸 在本發明之該實施例中玄資 料及音訊資料等值岭/ 傳輪裝置對諸如影像資 貝钭荨傳輸資料進行封句扑 ^ 對預定時門置。在該資料傳輸裝置 後,該資㈣於 一訊框)之合成封包實施冗餘編碼 Μ資枓傳輸裝置經由網路將該等 _ 收裝置。該資料接收裝置分析所 二:資料接 傳輸資料。 钱收之封包且重新組態該 料裝置中,獲得每-預定時間單位内傳輸資 資料封包之料大域據”料幻、確定傳㈣料之每一 資料傳’當傳輸資料具有一低 „ . 由減小封包大小’可依據每-預定時間 内之傳輸資料形成具有足夠數量封包之FEC塊。該資 料接收裝置可在預定蚌 ^ , 时施解碼’藉此可獲得叢 赞云矢谷限而不增加一延遲。 :::::之實施例中,舉例而言,可根據依據代表該網 料大+。2、之#訊所確定之傳輸速率來獲得傳輸資料之資 ' 例而s,當該傳輸資料係視訊資料時,藉由以 每秒之訊框數量除一傳輸速率獲得一訊框之資科大小。在 此清况下’控制一用於獲得傳輸資料(經編碼資料)之編碼 器’以使自該其編碼器輸出之資料速率係該傳輸速率。 为Π月之該實施例令’舉例而言,可確定-經編碼塊 内原始資料封包之數量及冗餘封包之數量以滿足如下表達 124329.doc 1363531 式。 {n>k) 代表該資料接收裝置中之封包丢失率,k代表 包數量,n-k代表冗餘封包數量, 封 丟㈣+ * 1代表一目標經編碼塊 或J / 況下,可將該經編媽塊去失率設定至等於 表=目標經編碼塊丢失率Pt。在該情況下可藉 表達式所確定之資料封包數量 数里除母—預定時間單位内所獲
侍之資料大小來確定封包大小。 X 雖然存在諸多滿足該表達式之 原始資料封包數量k及冗 餘封包數里n-k之組合,但(舉例 ^ ^ + , , 選擇一其中原始資料 封匕之額外負擔比例與冗餘封 ,匕之額外負擔比例之總量最 小化之組合。在此情況下,可县丨, _ _ 了最小化該等額外負擔。舉例 而吕’在影像傳輸中,可傳輪_古〇 A 寻和阿品質影像且可最小化一 、,周路頻帶之使用量。 在本發明之該實施例中,當备 咨极 田母—預定時間單位内獲得之 貢料大小大於一臨限值時, 了將該封包大小確定為一最大 得輸單7G大小,且可藉由以最 „ 取入得輸單兀大小除該預定時 間早位内所獲得之資料大 』采確疋原始資料封包數量。此 ’在該實施例中’當該預定時間單位内所獲得之資料大 大於該限值時,可將該原始資料封包數量確定為一 :餘封包之額外負擔比例不達到多於一預定值之值,且可 由乂原始資料封包數量除該預定時間單位内獲得之資料 大小來確定該封包大小。 124329.doc 1363531 當藉由使用用以實施情況分類之臨限值來確定封包大小 及原始資料封包數量時,確定冗餘封包之數量以滿足該表 達式。在該情況下,由於原始資料封包數量係確定,因而 冗餘封包數量係唯一確定。省卻了自複數個資料封包數量 及冗餘封包數量之組合中選擇一個組合之不便。 里 根據本發明之該實施例,在其中已對傳輪資料進行封包 化且在預定時間單位内對合成資料封包進行冗餘編碼後^ 將該等經編碼封包自一資料傳輸裝置傳輸至一資料接收裝 置之情況下,依據每一預定時間單位内傳輸資料之資料大 小來確定一封包大小。因此,即使在一低資料傳輸率下亦 無需增加一延遲即可獲得足夠之叢發丟失容限。 【實施方式】 下文參照該等隨附圖式說明本發明之一實施例。圖i顯 示根據本發明實施例之一資料通信系統1〇〇之組態的實 例。資料通信系統100包括一資料傳輸裝置11〇及一資料接 收裝置120。資料傳輸裝置11〇及資料接收裝置12〇係藉由 一網路(IP網路)130連接。 —貝料傳輸裝置110對諸如視訊資料或音訊資料等傳輸資 料進行封包化、在預定時間單位内對經封包化之資料實施 FEC編碼作為冗餘編碼,且將該合成資料傳輸至資料接收 裝置120。當所接收之一 FEC塊包括一包括一丟失之原始 資料封包時,資料接收裝置12〇藉由實施FEC解碼來恢復 該原始資料封包。 圖2顯示一 RTP封包之組態。一 RTp標頭作為欄位包括: 124329.doc 1363531 版本號(V)、填充(P)、一指示是否存在一擴充標頭之擴充 位元、傳輸資源之數量(由"計數器"指示)、標記資訊(標記 • 位元)、有效負載類型、序列號、時間戳、同步源(傳輸源) • 識別符(SSRC)、及一貢獻源(傳輸源)識別符(CSRC)。 : 在一資料接收側,當使用一 RTP封包時,依據給予一 : RTP標頭之一時間戳來執行對一處理時間之控制,藉此使 得可控制即時影像或音訊播放《舉例而言,關於包括視 訊資料之經編碼資料之RTP封包’在複數個屬於一視訊訊 框之RTP封包中設定—共用時間戳。在—包括於每一訊框 中之以止封包中,將一代表終端之識別旗標儲存於一 標頭中。 圖3顯示資料傳輸裝置11〇之組態之一實例。資料傳輸裝 置11〇包括-編碼器lu、一封包化單元ιΐ2、一脈編碼單 凡113、一 RTP傳輸單元114、一尺代卩通信單元ιΐ5、及一 冗餘及封包大小確定單元116。自資料傳輸裝置ιι〇傳輸至 φ 資料接收裝置120之資料包括視訊資料及音訊資料。然 而在下文中,主要說明用於傳輸視訊資料之組態。 編碼器U1對作為傳輸資料之視訊資料實施諸如MPEG-2(運動圖像專家組_2)、MpEG4或JpEG-2〇〇〇(聯合影像專 家組-2000)等壓縮。封包化單元112藉由對編碼器〖I〗所產 生之經編碼資料進行封包化來產生資料封包。封包化單元 112根據RTP產生資料封包。RTp界定於ΐΕτρ i889 中。封包化單元112執行用於產生各自將經編碼之資料作 為一有效負載之封包的處理。藉由將一RTp封包標頭添加 124329.doc •13· 至有效負载資料,產生—封包β 在根據RTP之資料傳送中, _ 4 在圖2中所示,將一 b#門魏 作為時間資訊添加至該封包肖時間戮 .. 〇 猎由參照該時間戳,f拍神 輸側與接收側之間的一時戳掌握傳 ❺間關係,且接收側可在建立+ 之情況下實施播放,而不受 建同步 響。 又封包傳达之延遲波動(抖動)影 FEC編碼單元⑴在預定相單位㈣由封包化單元ii2 =實施^冗餘編瑪。在此情況下,藉由將該預 疋時間早位内之複數個封包用作—個咖塊原始資料封 包,FEC編碼早凡⑴使用—諸如讀取_所羅門碼等擦除糾 錯碼來實施冗餘編碼。在㈣(舉例而言卜(n,k)rs碼之 清况下’在冗餘編碼之前的狀態下,FEC編褐單元⑴根據 k個原始資料封包產生(n-k)個冗餘封包,其中n>k。 在此情況下,對於一個FEC塊,資料傳輸裝置11〇傳輸n 個封包《若資料接收裝置12〇接收該η個封包中之k個封 包,則資料接收裝置120可藉由實施RS解碼恢復^^固原始資 料封包。 此處,可選擇一個訊框、複數個訊框或一個訊框之整數 为之一作為一預定時間單位。該實施例是在將預定時間單 位作為一個訊框之情況下進行說明。如上文所述,在屬於 一個視訊訊框之複數個RTP封包中,設定一共用時間戳。 圖4顯示FEC編碼單元ι13之一FEC編碼過程之實例。在 一使用者(未顯示一使用者操作單元)指示視訊資料之傳輸 時’在步驟1中’ FEC編碼單元113實施初始化以開始該編 124329.doc •14- 1363531 碼過程。在步驟ST2中,FEC編碼單元113確定該編碼過程 是否完成。當使用者指示視訊資料之傳輸結束時,FEC編 碼單元113確定完成了該编碼過程。 當完成該編碼過程時,在ST3中,FEC編碼單元113實施 終止處理。若FEC編碼單元113已確定未完成該編碼過程, 則FEC編碼單元113繼續至步驟ST4。在步驟ST4中,FEc 編碼單元113確定其是否已自封包化單元112獲得封包。自 封包化單元112供應之封包用作包括於一fec塊中之原始資 料封包。 若FEC編碼單元113尚未自封包化單元n 2獲得原始資料 封包’則FEC編碼單元113返回至步驟ST2。若FEC編碼單 元113已自封包化單元112獲得原始資料封包,則fec編碼 單元113繼續至步驟ST5。在步驟ST5中,FEC編碼單元 自冗餘及封包大小確定單元116獲得冗餘資訊(FEc塊中原 始資料封包之數量及冗餘封包之數量)。稍後說明冗餘及 封包大小確定單元116確定冗餘及封包大小之方法。 在步驟ST6中,FEC單元113藉由實施FEC編碼產生一 FEC塊,且將該FEC塊發送至RTp傳輸單元丨^。此後, FEC編碼單元113返回至步驟ST2。在該示例中,fec編碼 單元113藉由產生與在步驟ST5中獲得之冗餘封包之數量一 樣多之冗餘封包並將其添加至與在步驟ST5中獲得之原始 資料封包之數量-樣多之原&資料料中來產生fec塊。 RTP傳輸單元! 14將_ Ip標帛添加至在fec編碼單元⑴ 中所產生之每一經編碼塊中所包括之每一封包,且隨後將 124329.doc -15· 該合成封包傳輸至網路130。圖5顯示一 IP標頭格式。該IP 標頭包括:一代表IPv4、IPv6或類似内容之版本;一標頭 長度;一儲存優先權資訊之TOS(服務類型)欄位;一封包 長度;一封包識別符;一作為關於一 IP層中之資料片段之 控制資訊之旗標;一代表片段資料之一位置之片段偏移 量;一代表最長至資料破壞之時間資訊的TTL(存活時 間);一用於一上層中之協定(4:IP, TCP:7,UDP:17·..)、一 標頭檢查總和、一傳輸源IP位址及一目的地IP位址。 RTCP通信單元115藉助RTCP(即時運輸控制協定)封包與 資料接收裝置120通信。RTCP界定於IETF RFC 1889中。 圖6顯示一 RTCP封包格式。一 RTCP封包包括一 RTCP標頭 及一 RTCP資料。該RTCP標頭包括版本資訊(V)、填充 (P)、一亞型、一封包類型、長度資訊、一 SSRC/CSRC識 別符及ASCII(美國資訊交換標準碼)中所述之名稱。RTCP 標頭進一步包括應用唯一資訊。 在該實施例中,RTCP通信單元115自資料接收裝置120 接收一包括至少一封包丟失率之RTCP封包作為一 RTCP封 包。如稍後所述,在冗餘及封包大小確定單元116之確定 過程中使用該封包丟失率。 冗餘及封包大小確定單元116確定封包化單元112所產生 之每一資料封包之封包大小,且確定FEC編碼單元113所產 生之FEC塊中原始資料封包之數量及冗餘封包之數量。此 處,原始資料封包之數量與冗餘封包之數量形成冗餘資 訊。RTCP通信單元115確定視訊資料之每一訊框之冗餘及 124329.doc •16- 1363531 封包大小。 除來自RTCP通信單元115之封包丢失資訊外,亦將視訊 資料之每-訊框之資料大小(訊框資料大資 川提供至冗餘及封包大小確定單編碼器⑴^ 一資料大小之獲得部分。
根據該封包丟失率’冗餘及封包大小確定單元ιΐ6叶算 用於滿足在FEC解碼之後獲得之—目標塊丢失率所需之冗 餘及封包大小。舉例而t,當藉由卩代表封包丟失率、藉 由k代表原始封包數量、藉由η_,代表冗餘封包數量、且藉 由Pt代表-目標經編碼塊丢失率時,確定原始封包之數旦 k及冗餘封包之數量n_k以滿足如下表達式⑴。在該示: 丢失^將經編碼塊丟失率設定至等於或小於目標經編碼塊
Pt~l'-L·nCjPj^-p) 7=0 {n>k) ⑴ 畲藉由S。代表藉由自編碼器⑴提供之資次 代表之原始資料大小(訊框資料大小)時 ^所 5* s - 11 ^ 餘及封包大小 …m精由應用表達式⑺計算每一訊樞之一 ’、。。亦即’藉由以原始資料封包之數量 小S。來獲得封包大小^ 以始資枓大
S k ⑵ 可存在滿足表達式⑴之原始資料封包之數量k及冗餘封 I24329.doc -17· 包之數量n-k之組合。茲士 , . θ 錯由減^原始資料封包之數量lc,冗 餘封包之數量n-k需|^ 而要增加,以便冗餘封包之 加。相反,藉由掸鉍; ,,, ^加原始資料封包之數量k,封包大小8
减小,以便諸如封句 P 標頭等額外負擔比例增加。 當藉由Op代表FEC塊中一封白捭5S如t ^ Ύ 封匕標碩額外負擔之比例、— 几餘封包額外負擔之fc(_办丨& _ 。之比例係0r、猎由〇t代表一 量、且藉由Sh代表每一封 、聽〜 (3)、(4)及(5)成立。 Λ 〇t= 〇p + 〇r ρ …⑶ °,(ψ 今·, 冗餘及封包大小確定 及冗餘資料封包之數量 額外負擔總量〇t。在該 例而言,在影像傳輸中 化一網路頻帶之使用量 單元116設定原始資料封包之數量k n-k,以便滿足表達式(丨)且最小化 不例中,可最小化該額外負擔。舉 ’可傳輸咼品質之影像,且可最小 冗餘及封包大小確定單元116向封包化單元ιΐ2報告該封 包大小資訊。冑包化單元112依據所報告之封包大小資訊 封匕化!^外’几餘及封包大小確定單元"6將該冗 餘資訊(原始資料封包之數量及冗餘封包之數量)報告至 FEC編碼單。FEC蝙碼單元ιΐ3依據所報告之冗餘資 I24329.doc •18· 訊實施FEC冗餘編碼。 每一訊框之每一經編碼塊中之封包大小資訊及冗餘資訊 以包括於一 RTP封包標頭中之形式發送至資料接收裝置 120。所發送之資訊用於FEC解碼及傳輸資料之重新組 態。 圖7顯示冗餘及封包大小確定單元116之冗餘及封包大小 碚定過程之一實例。舉例而言,在使用者指示視訊資料之 傳輸起始時,在步驟ST11中,冗餘及封包大小確定單元 1 16實施初始化且開始該冗餘及封包大小確定過程。在步 驟ST12中,冗餘及封包大小確定單元116確定該冗餘及封 包大小確定過程是否完成。舉例而言,當使用者指示視訊 資料之傳輸結束時,冗餘及封包大小確定單元116確定完 成了該冗餘及封包大小確定過程。 當a玄几餘及封包大小確定過程完成時,在步驟ST13中, 冗餘及封包大小確定單元116實施終止處理。若冗餘及封 包大小確定單元116已確定未完成該冗餘及封包大小確定 過私’則几餘及封包大小確定單元116繼續至步驟ST14。 在步驟ST14中,冗餘及封包大小確定單元n6|RTcp通信 單元115獲得封包丟失率資訊,且自編碼器U1獲得一訊框 資料大小(原始資料大小S。)。 在步驟ST15中,冗餘及封包大小確定單元116確定原始 資料封包之數量k、冗餘封包之數量n_k及封包大小Sp,以 便滿足表達式(1)且最小化該額外負擔總量〇t。在步驟 ST16中’几餘及封包大小確定單元116將在步驟ST15中確 124329.doc -19- 1363531 定之封包大小sp之資訊報告至封包化單元ιΐ2,且+ 騾玎15中確定之原始資料封包之數量k及冗餘封包之數二 n-k之資訊報告至FEC編碼單元ιΐ3。隨後,返回步驟 ST12’冗餘及封包大小確定置&衣τ 雏疋早70116為下一訊框實施冗餘 及封包大小碟定過程。 圖8顯示資料接收裝置12〇之組態。資料接收袭置⑶包 括一 RTP接故單元121、—FEC解碼單元122、—解封包化 單元123、一解碼器124及一 RTCP通信單元125。
RTP接收單元121經由、網路13()接收發送自資料傳輸裝置 110之每一 FEC塊之封包,且將所接收之封包臨時儲存在一 内置接收緩衝器中》在該示例中,RTp接收單元121記錄是 否已接收到FEC塊中所包括之封包。 舉例而言,在以下實例中實施記錄。在該實例中,fec 塊blk_id 1包括5個封包,且在該等封包中,僅未接收到第 四個封包。
fec_blk_db_t { unsigned int blk_id; // intpkt_db[BLK_PKT_MAX]; //1 :received,0:not receiver pkt一num; //the number of packet in fec block } fecblkdb; fec_blk_db.blk_id= 1; fec_blk_db.pkt_num=5; 124329.doc 20- fec_blk_db.pkt_db[0] = 1; fec_blk_db.pkt_db[ 1 ] = 1; fec_blk_db.pkt_db[2] = 1; fec_blk_db.pkt_db[3] = 0; fec_blk_db.pkt_db[4] = 1; 在其中儲存於RTP接收單元121之接收緩衝器中之每一 FEC塊之封包中,原始資料封包包括一丟失之情況下,當 可解碼時,實施FEC解碼以恢復包括該丟失之封包。舉例 而言,當使用一(n,K)RS碼時,若接收到一 FEC塊中所包 括之N個封包中之k個封包,則可藉由RS解碼恢復k個原始 資料封包。RTP接收單元121及FEC解碼單元122形成一資 料接收部分。 圖9顯示一封包接收及FEC解碼過程之實例。舉例而 言,在使用者(未顯示使用者操作單元)指示視訊資料之接 收起始時,在步驟ST21中,RTP接收單元121初始化RTP接 收單元121及FEC解碼單元122,且開始該封包接收及FEC 解碼過程。在步驟ST22中,RTP接收單元121確定是否完 成了該封包接收及FEC解碼過程。當(例如)使用者指示該 視訊資料之接收結束時,RTP接收單元121確定完成了該封 包接收及FEC解碼過程。 當RTP接收單元121完成該封包接收及FEC解碼過程時, 在步驟ST23中,RTP接收單元121實施終止處理。若該RTP 接收單元121已確定尚未完成該封包接收及FEC解碼過 程,則RTP接收單元121繼續至步驟ST24。在步驟ST24 124329.doc -21 - 1363531 中,RTP接收單元121在一接收緩衝器中接收封包並更新一 FEC資料庫。如上文所述,FEC資料庫之更新對應於是否 已接收到每一 FEC塊中所包括之封包之記錄。 在步驟ST25中,RTP接收單元121確定是否需要FEC解碼 及FEC解碼是否可行。當一 FEC塊之原始資料封包包括一 丟失時,RTP接收單元121確定需要FEC解碼。此外,在其 中在複數個包括於該FEC塊中之封包中,接收到與可進行 解碼之封包數量一樣多之封包之情況下,RTP接收單元1 2 1 確定可進行解碼。 若無需FEC解碼,或若雖需要FEC解碼,但FEC解碼困 難,則RTP接收單元121返回至步驟ST22。在情況下,不 恢復該FEC塊中該等包括丟失之原始資料封包,且該等原 始資料封包保持包括該丟失。 若需要FEC解碼且FEC解碼可行,則在步驟ST26中, RTP接收單元121藉由使用FEC解碼單元122實施解碼將經 恢復之封包返回至該接收緩衝器。在步驟ST26後,RTP接 收單元121返回至步驟ST22,且為下一 FEC塊實施封包接 收及FEC解碼過程。 解封包化單元123分析RTP接收單元121之接收緩衝器中 所儲存之RTP封包。解封包化單元123藉由對RTP封包中一 標頭及有效負載執行分析而將經編碼之資料重新組態成封 包化前一狀態。解碼器124藉由對經解封包化單元123重新 組態之經編碼資料實施解碼來獲得視訊資料。 RTCP通信單元125藉助RTCP封包與資料傳輸裝置110通 124329.doc -22- 1363531 信。在該實施例中,RTCP通信單元125將包括封包丟失率 資訊之RTCP封包作為RTCP封包傳輸至資料傳輸裝置11〇。 在該情況下’自RTP接收單元121提供該封包丟失率資訊。 下文說明圖1所示之資料通信系統1 〇〇之運作。 將欲傳輸之資料自一資料源(未顯示)提供至資料傳輸裝 置110中之編碼器111(參見圖3)。編碼器lu藉由對該視訊
資料實施壓縮編碼(例如MPEG)來產生經編碼資料。將編 碼ϋ§111所產生之經編碼資料提供至封包化單元112。 將視訊資料之每-訊框之訊框f料大小資訊(原始資料 大小S。)自編碼器111提供至冗餘及封包大小確定單元1丨6。 將資料接收裝置120中之封包丢失率資訊自RTcm信單元 115提供至冗餘及封包大小確定單元116。 依據訊框資料大小之資訊(原始資料大小§。)及封包丢失 率,冗餘及封包大小確定單元116確定—封包大小之資訊
及冗餘資訊(原始資料封包之數 封包大小資訊報告至封包化單 至FEC編碼举元113。 量及冗餘封包之數量)。將 元112。將該冗餘資訊報告 封包化單元112根據咖藉由對該經編竭資料進行封包化 來產生資料封包_封包卜在該情況下,對每_訊框之 經編碼資料進行封包化,針 丫對几餘及封包大小確定單元 116所報告之每一封包大小 -J刀该I編碼資料。在每一訊 框中,封包化單元112產盥冗你 ,、几餘及封包大小確定單元116所 確定之原始資料封包數晋—姐# Α 樣夕之封包(原始資料封包)。 將封包化單元112產生之封 <封包k供至該FEC編碼單元 124329.doc •23· 1363531 U=。FEC鳊喝單元113依據自冗餘及封包大小確定單元116 報。之冗餘資訊肖由對每一訊框實施冗餘編碼來產生FEc ’ 塊。舉例而言’當使用一(n,K)RS碼時,FEC編碼單元113 • 自_處於冗餘編碼前-狀態下之原始資料封包中產生(n_ • k)個冗餘封包。 • 冑咖,瑪單幻13所產生之每一 FEC塊之封包提供至該 RTP傳輸單兀114。每一封包均經由網路I”自RTp傳輸單 兀114傳輸至資料接收裝置〗2〇(參見圖8)。 • ^料接收裝置12G中之RTP接收單元121經㈣路130接收 自貝料傳輸裝置11G傳輸之封包,並將所接收之封包臨時 儲存於該内置接收緩衝器中。在其中在储存於該接收緩衝 器中之每-FEC塊之封包中,原始資料封包包括一丢失之 情況下,當解碼可行時,FEC解碼單元122藉由實施Fa解 碼恢復包括該丟失之封包。 。藉由解封包化單元123分析RTp接收單元ΐ2ι之接收緩衝 _ 器令所儲存之RTP封包。自該等RTp封包中,重新組態處 於封包化前-狀態中之經編碼資料。將經重新組態之經編 - 碼資料提供至解碼器124。解瑪器⑶藉由對該經編碼資料 實施解碼獲得視訊資料。 、將一封包丟失率f訊自RTp接收單元i2i提供至Μα通 信單元125»RTCP通信單元125產生包括封包丢失率資訊 之RTCP封包,並將該等RTCp封包經由網路傳輸至資料 傳輸裝置110。如上文所述,資料傳輸裝置11〇中之冗餘及 封包大小確定單元116使用傳輸至資料傳輸裝置11〇之 124329.doc -24- 1363531 RTCP封包之封包錢率資訊。 2據圖1之資料通信系統’資料傳輸裝置U0依據一 訊”枓大小(原始資料大小S。)確定每一訊框之每一資料 封包之封包大小、。在此情況下,當編碼器出所產生之 =了_輪資料)具有一低資料傳輸率時,藉由減小 二;^可僅依據每一訊框之經編碼資料(傳輸資料)形 成八有足夠封包數量之FEC塊。因此,資料接枚裝置⑶
:對:-訊裡實施解瑪。舉例而言,在其中對每一訊框給 出-時間戮之情況下’可無需增加一延遲即可獲得足夠之 叢發丟失容限。 此外,根據W之資料通信系統⑽,資料傳輸裝置110 中=冗餘及封包大小確定單元116確定該冗餘(原始封包之 數量k及冗餘封包之數量n_k)以滿足表達式⑴且可將資 料接收裝置120之-經編碼塊丟失率設定至等於或小於一 目標經編碼塊丟失率Pt。
根據圖之資料通信系統100,資料傳輪裝置ιι〇中之 冗餘及封包大小確定單元116自複數個滿足表達式⑴之數 量為k之原始資料封包及數量為n_k之冗餘封包之組合中選 擇-使原始資料封包之額外負擔比例〇ρ及冗餘封包二額外 負擔比例or之總量最小化之組合,藉此可使該等額外負 擔最小化。因此,在影像傳輸中,可傳輸一高品質影像且 可最小化一網路頻帶之使用量。 冗餘及封包大小確定單元116可藉由實施一不同於上述 過程(參見圖7所不之流程圖)之過程確定該冗餘(原始資料 124329.doc -25 - 1363531 封包之數量k及冗餘封包之數量n-k)。 舉例而言,冗餘及封包大小確定單元116相依於訊框資 料大小是否大於一臨限值以下述方式確定冗餘及訊框資料 大小(原始資料大小S。)。此處,該臨限值可採用任何值。 下文說明確定臨限值之一個實例。具體而言,在計算出至 少η滿足表達式(1)時,在Sp=MTU(最大傳輸單元)之情況 下’當原始資料大小S。自0逐漸改變時,存在一自〇r>〇 5改 變至OrS0.5之點。因此,將此點處之原始資料大小s。用作 臨限值。 首先,說明其中原始資料大小S。大於該臨限值之情況。 在該情況下,冗餘及封包大小確定單元116確定封包化單 元112所產生之每一資料封包之封包大小%作為一 mtu大 小。此外,冗餘及封包大小確定單元116藉由以經確定之 封包大小(MTU大小)Sp除原始資料大小s。來確定fec編碼 單元113中所產生之FEC塊中原始資料封包之數量k。 冗餘及封包大小確定單元116確定FEC編碼單元113所產 生之FEC塊中冗餘封包之數量n_k以滿足表達式(丨)。 然後,說明其中原始資料大小s。不大於該臨限值之情 況。在該情況下,冗餘及封包大小確定單元116確定fec編 碼單元113中所產生之FEC塊中原始資料封包之數量k作為 一值(k一const),在該值處冗餘封包額外負擔比例丨到達不 多於一預定值。 在該情況下,當k=l時,求得滿足表達式(1)之至少n及 此時之〇r;當k=2時,求得滿足表達式〇)之至少此時之 124329.doc -26 · 1363531 ◦r,及求得當k=3時之值。在此一情況下,當让增加時,〇r 減小。將or到達不多於一預定值之數量k確定為k_c〇nst。 此外,冗餘及封包大小確定單元116確定該FEC編碼單 元113中所產生之該FEC塊中冗餘封包之數量n_k以滿足表 達式(1)。冗餘及封包大小確定單元116藉由以已確定之原 始資料封包數量k來除原始資料大小s。,亦確定封包化單 元112中所產生之每一資料封包之封包大小Sp。 圖10所不之流程圖顯示冗餘及封包大小確定單元116之 一冗餘及封包大小確定過程之一實例。舉例而言,當使用 者指示視訊資料之傳輸起始時,在步驟灯31中,冗餘及封 包大小確定單元116實施初始化且開始該冗餘及封包大小 確定過程。在步驟灯32中’冗餘及封包大小確定單元ιΐ6 確定是否完成該冗餘及封包大小確定過程。當(例如)使用 者指示視訊資料之傳輸結束時,冗餘及封包大小確定單元 116確定完成該冗餘及封包大小確定過程。 當冗餘及封包大小確定單元116完成該冗餘及封包大小 確定過程時,在步㈣33中,冗餘及封包大小確定單元 116實施終止處理。當冗餘及封包大小確定單元116未完成 該冗餘及封包大小確定過程時,賤及封包A小確定單元 116繼續至步驟ST3[在步驟ST34中,冗餘及封包大小確 定單元116自RTCP通信單元115獲得封包丟失率資訊,且 自編碼器111獲得訊柩資料大小(原始資料大小S。)。 在步驟ST35中,几餘及封包大小確定單元確定該原 始資料大小S。是否大於一臨限值。若原始資料大小S。大於 124329.doc •27- 1363531 該臨限值’則冗餘及封包大小破_ 疋早元116繼續至步驟 ST36。在步驟ST36中,冗餘及封包 匕大小確定單元116確定 封包化單元112中所產生之每一資料 為一则大小。 ㈣封包之封包大小Vt 此外,冗餘及封包大小確定單元116藉由以經確定之封 包大小(請大小)Sp除原始資料大小8。來確定該fec編碼 單元⑴中所產生之FEC塊中原始資料封包之數量^在步
驟st财’冗餘及封包大小確定單元ιΐ6確㈣c編碼翠 元U3中所產生之FEC塊中冗餘封包之數量ο,以滿足表 達式(1)。 在步驟ST36後’冗餘及封包大小確定單元116繼續至步 驟ST37。在步驟咖中’冗餘及封包大小確定單元ιΐ6將 該封包大小資訊報告至封包化單元112,且將該冗餘資訊 報告至FEC編碼單元113。此後,返回至步驟st32,冗餘 及封包大小確定單元116實施下匡之冗餘及封包大小 確定過程。
若在步驟ST35辛,原始資料大小|5。不大於該臨限值,則 冗餘及封包大小確定單元116繼續至步驟ST38。在步驟 ST38中,冗餘及封包大小確定單元116將FEC編碼單元113 中所產生之FEC塊中之原始資料封包之數量定為一值 (k—const) ’在該值處,冗餘封包額外負擔比例〇r達到不多 於一預定值。 此外’在步驟ST38中,冗餘及封包大小確定單元116確 定FEC編碼單元113中所產生之FEC塊中之冗餘封包數量n_k 124329.doc -28 - 1363531 以滿足表達式(1)。在步驟ST38中,冗餘及封包大小確定 單元116亦藉由以已確定之原始資料封包之數量k除原始資 料大小S。來確定封包化單元U2中所產生之每一資料封包 之封包大小Sp。 在步驟ST38後,冗餘及封包大小確定單元116繼續至步 驟ST37。在步驟ST37中,冗餘及封包大小確定翠元ιΐ6將 該封包大小資訊報告至封包化單元112,且將該冗餘資訊 報告至FEC編碼單元113。此後,返回步驟灯32,冗餘及 封包大小確定單元116實施下一訊框之冗餘及封包大小確 定過程。 如上文所述’當藉由使用用以實施情況分類之臨限值來 確定冗餘(原始資料封包之數量k及冗餘封包之數量叫及 封包大小Sp’在-使用表達式⑴之階段巾已確㈣始資料 封包之數量k以求得冗餘封包之數量n_k。因此,冗餘封包 之數量n-k係唯-確定。因此,除去自滿足表達式⑴之原 始資料封包之數量k及冗餘封包之數量n_k之複數個組合中 選擇一個組合之不便。 此外’在上述實施例中’資料傳輸裝置i ig中之冗餘及 封包大小確定單元116使用自編碼器⑴提供之每-訊框之 訊框資料大小之資訊(原始資料大小%)。然而,冗餘及封 包大小確定單心6依據—速率控制單元所確定之一傳輸 速率獲得並使用該訊框資料大小(原始資料大小^)。 圖1顯丁^括—速率控制單元之資料傳輸裝ΠΟΑ之組 ϋ實例在圖丨丨中’藉由相同之參考編號表示對應於彼 124329.doc -29- 1363531 等在圖3中所示部分之部分。資料傳輸裝置ii〇a包括一編 碼器ill、—封包化單元112、—FEC編碼單元⑴一⑽ 傳,,_元114、-RTCP通信單元115、一冗餘及封包大小 確定單元116A及一速率控制單元117。 速率控制單元Π7依據自RTCP通信單元115提供之諸如 封包丟失率及RTT(往返時間)等網路資訊確定一傳輸速 RTCP通信單元115藉由與資料接收裝置12〇交換延遲 量測之RTCP封包來量測一RTT。將速率控制單元η?所確 定之傳輸速率資訊報告至編碼器⑴及RTp傳輸單元⑴, 且報告至冗餘及封包大小確定單元n6A。 冗餘及封包大小確定單元U6A依據自速率控制單元Μ 報告之傳輸速率資訊求得訊框資料大小(原始資料大小 =)。冗餘及封包大小確定單元U6A藉由以該系統中提前 確疋之視訊資料之訊框速率除該傳輸速率來求得該訊框資 —大小。在該意義上’冗餘及封包大小確定單元u6A形成 一資料大小獲得部分。 依據自RTCP通信單元115提供之訊柩資料大小(原始資料 大小s。)及封包丢失率’冗餘及封包大小確定單元μα確 =冗餘(原始資料封包之數量k及冗餘封包之數量n_k)及 用L大]sp藉由利用該訊框資料大小(原始資料大小心) Z包丢失率’冗餘及封包大小確定單元116A實施類似於 藉由圖3所示之資料傳 , 谓輸裝置110中之冗餘及封包大小確定 單元116所實施之冗你Β』 、子匕大小確定過程,儘管省卻苴 之一詳細說明。 ’、 124329.doc 1363531 圖11所示之資料傳輸裝置110A之其他特徵及運作類似於 圖3所示之資料傳輸裝置110之彼等特徵及運作。 • 圖12所示之流程圖顯示冗餘及封包大小確定單元116A之 • 一冗餘及封包大小確定過程之一實例。在圖12中,藉由相 • 同之參考编號表示對應於彼等圖7所示之部分之部分,且 • 省卻其之詳細說明。 在圖12所示之冗餘及封包大小確定過程中,代替圖7所 示之冗餘及封包大小確定過程中之步驟ST14,實施ST 14a ® 及 ST14b。 具體而言’若在步驟ST12中,冗餘及封包大小確定單元 116A未完成該冗餘及封包大小確定過程,則冗餘及封包大 小確定單元116繼續至步驟ST14a〇在步驟8Τ1“中冗餘 及封包大小確定單元116A自RTCP通信單元115獲得封包丟 失率資訊,且自速率控制單元117獲得傳輸速率資訊。在 步驟ST14bt,冗餘及封包大小確定單元U6A自該傳輸速 φ 率及該訊框速率求得該訊框資料大小(原始資料大小8 )。 在步驟s⑽後’冗餘及封包大小破定單元u6A繼續至 #驟8丁15用於確定該冗餘(原始資料封包之數量以冗餘封 • &之數量叫及封包大小Sp。豸後之步驟類似於圖7所示流 程圖中之步驟。 ; 圖13所示之流程圖顯示冗餘及封包大小碟定單元_之 冗餘及封包大小確定過程之另一實例。在圖13中,藉 Θ之參考編號表示對應於彼等在圖1G中所示步驟之 且省卻對其之詳細說明。 124329.doc -31 - 1363531 在圖13所示之冗餘及封包大小確定過程中,代替圖1〇所 示之冗餘及封包大小確定過程中之步驟ST34,來實施步驟 ST34a及ST34b。 具體而言’在步驟ST32中,若冗餘及封包大小確定單元 116A未完成該冗餘及封包大小確定過程,則冗餘及封包大 小確疋早元116A繼續至步驟ST34a。在步驟ST34a中,冗 餘及封包大小確定單元116A自RTCP通信單元115獲得封 包丟失率資訊,且自該速率控制單元117獲得傳輸速率資 訊。在步驟ST34b中,冗餘及封包大小確定單元U6A自傳 輸速率及訊框速率求得該訊框資料大小(原始資料大小 S〇)。 在步驟ST34b後,冗餘及封包大小確定單元U6A繼續至 步驟ST35,用於將該原始資料大小s。與該臨限值相比較。 隨後之步驟類似於彼等在圖1〇所示之流程圖中之步驟。 在其中資料接收裝置120無法藉由使用該FEC解碼過程 恢復在一FEC塊中包括一丟失之原始資料封包之情況下, 雖然上文未說明該情況,但資料接收裝置12〇可藉由將一 NACK(否定確認)·κΤ(:Ρ封包傳輸至f料傳輸裝置ιι〇來發 出一再傳輸請求。 熟習此項技術者應瞭解,可視設計要求及其他因素而作 出各種修改、組合、子組合及變更,只要其歸屬於隨附申 請專利範圍及其等效範圍之範疇内即可。 【圖式簡單說明】 圖1係一顯示根據本發明一實施例之一資料通信系統之 124329.doc -32- 1363531 組態之方塊圖; 圖2係一顯示一 RTP封包格式之圖解; 圖3係一顯示一資料傳輸裝置之組態之—實例之方塊 圖; 圖4係一顯示資料傳輸裝置之FEC編碼過程之〆實例之 流程圖; 圖5係一 IP標頭之格式之圖解; 圖6係一RTCP封包之格式之圖解; 圖7係該資料傳輸裝置之冗餘及封包大小確定過程之一 實例之流程圖; 圖8係f料接收裝置之粗態之實例之方塊圖; 圖9係該資料接收裝置之包接收及fec解碼過程之 實例的流程圖; 圖10係該資料傳輸裝置之冗餘及封包大小確定過程之另 一實例之流程圖; 圖u係該資料傳輸裝置之組態之另一實例之方塊圖; 圖12係-顯㈣資料傳輸裝置之冗餘及封包大小確定過 程之另一實例之流程圖;及 圖13係-顯示該資料傳輸|置之冗餘及封包大小確定過 程之進一步實例之流程圖。 【主要元件符號說明】 100 資料傳輪系統 110 資料傳輸裝置 110A 資料傳輸裝置· 124329.doc -33 - 1363531
111 112 113 114 115 116 116A 117 120 121 122 123 124 125 130 編瑪器 封包化單元 FEC編碼單元 RTP傳輸單元 RTCP通信單元 冗餘及封包大小確定單元 冗餘及封包大小確定單元 速率控制單元 資料接收裝置 RTP接收單元 FEC解碼單元 一解封包化單元 解碼器 RTCP通信單元 網路
124329.doc -34-

Claims (1)

1363531 第096145037號專利申請案 十、申請專利範圍:中文申請專利範圍替換本0^ 1 ·種用於經由一網路以一封包化形式將傳^資料傳輸至_ 一資料接收裝置之資料傳輸裝置,該資料傳輸裝置包 括: 封包化部分,其藉由使該傳輸資料封包化來產生資 料封包, -編碼部分’其在預定時間單位内對該封包化部分所 產2該等資料封包實施冗餘編碼且產生經編碼塊; 一貢料傳輸部分’其將該編碼部分所產生之該等經編 碼塊之每一者傳輸至該資料接收裝置; 一資料大小獲得部分,其在該等預定時間單位之每一 者内獲得該傳輸資料之一資料大小; 卞等2 =小確定部分其依據該資料大小獲得部分在 =疋時間單位之每一者内所獲得之該資料大小確定 二二:產”該等資料封包之每-者之-封包 封包吾失率二確疋部分’其依據該資料接收裝置中-... 確定該編碼部分所產生之該等緩編碼 里中令冗1Γ 數量及冗餘封包之數量, 八1f”亥几餘確定部分確 封包之數如下表達;料封包之數量及冗餘 (n>k) 其中p代表該封包丢失率 - 表原始資科封包 經傳輸封包數量,k代 數置n_k代表冗餘封包數量,及Pt代表 124329-1001128.doc 1363531 一目標經編碼塊丟失率,且其中該冗餘確定部分自滿足 該表達式之多個原始資料封包數量及冗餘封包數量之組 合:選擇-其令㈣原始資料封包之額外負擔比例與該 等冗餘封包之額外負擔比例之總量係最小化之組合。 2· ^請求項R資料傳輸裝置,其中該封包大小確°定部分 藉:以該冗餘衫部分所確定之原始#料封包之數量除 該資料大小獲得部分所獲得之該詩大小來確定該 大小。 3. -種用於經由一網路以一封包化形式將傳輸資料傳輸至 —資料接收裝置之資料傳輸裝置,該資料傳輸裝 括: 一封包化部分,其藉由使該傳輸資料封包化來產 料封包, 一編碼部分,其在預定時間單位内對該封包化部分所 產生之該等資料封包實施冗餘編碼且產生經編碼塊; 一資料傳輸部分,其將該編碼部分所產生之該等經編 碼塊之每一者傳輸至該資料接收裝置; 一資料大小獲得部分,其在該等預定時間單位之每— 者内獲得該傳輸資料之一資料大小; 一封包大小蜂定部分,其依據該資料大小獲得部分在 該等預定㈣單m相所獲得线f料大小確定 該封包化部分所產生之該等資料封包之每一者之一封包 大小;及 几餘確疋部分’其確定該編碼部分所產生之該等經 124329-1001128.doc -2- 編碼塊之每一者申原始資料 竹玎巴之數里及冗餘封包之數 量, 其中當該資料大小獲得部分所獲得之該資料大小大於 一臨限值時’該封包大小心部分將該封包大小確定為 一最大傳輸單元大小, 其中該冗餘確定部分碎定原始資料封包之數量及冗餘 封包之數量以滿足如下表達式: n-k (n>k) 其中P代表在該資料接收裝置中一封包丟失率,η代表 經傳輸封包數量,k代表原始資料封包數量,Μ代表冗 餘封包數量’及Pt代表-目標經編碼塊丟失率,且其中 該冗餘確定部分自滿足該表達式之多㈣始資料封/包數 量及冗餘封包數量之組合中選擇一其中該等原始資料封 !:之額外請比例與該等冗餘封包之額外負擔比例之總 里係最小化之組合。 4·如請求項3之資料傳輸裝置,其中該冗餘確定部分藉由 以該=包大小確定部分所確定之該封包大小除該資料大 小獲得部分所獲得之續誉姻_ I t + h <这育枓大小來確定原始資料封包數 量。 5. -種用於經由一網路以一封包化形式將傳輸資料傳輸至 -貢料接收裝置之資料傳輸裝置,該資料 括: 124329-100H28.doc 1363531 一封包化部分’其藉由使該傳輸資料封包化來產生資 料封包, 个度王貢 一編碼部分,其在預定時間單位内對該封包化部分所 產生之該等資料封包實施冗餘編碼且產生經編碼塊; -資料傳輸部分’其將該編碼部分所產生之該等經編 碼塊之每一者傳輸至該資料接收裝置丨 一資料大小獲得部分,其在該㈣定時間單位之每_ 者内獲得該傳輸資料之—資料大小; I封包大小確定部分,其依據該資料大 該等預定時間單位之每-者内所獲得之該資料大,:ί 该封包化部分所產生之核等資料封包之每一者之= 大小;及 g 編碑:::疋:分’其確定該編碼部分所產生之該等經 編碼塊之每一者中肩私 曰 τ㈣錢封包之數量及冗餘封包之數 重, 二中當該資科大小獲得部分所獲得之該資 一臨限值時,該封包大小確定部分將該封包大小確定為 -最大傳輸單元大小, 大】確疋為 :中該几餘確疋部分確定原始資料封包 封包之數量以滿足如下表達式: P,~X~^0nCJpJ^'P)n'J (n>k) 其中P代表在該資枓接收裝置中—封包丟失率,η代表 124329-1001128.doc !36353l 二傳輸封包數m ’ k代表原始資料封包數量,Μ代表冗 餘封G數量’及pt代表__目標經編碼塊丢失率,且其中 ,冗餘心部分自滿^該表達式之多個原始資料封包數 置及几餘封包數里之組合中選擇—其中該等原始資料封 ^之^外負擔比例與該等冗餘封包之額外負擔比例之總 ΐ係最小化之組合。 6. 7. t請求項料傳輸裝置,其中當該資料大小獲得部 为所獲得之該資料大小⑼或小於—臨限值時。 如清求項5之資料傳輪奘著 M , 置’其中該封包大小確定部分 確定部分所確定之原始資料封包數量除該 I枓大小獲得部分所獲得之該資料大小來確定該封包大 二種用於衫_f㈣輸裝置巾—封包 法’該資料傳輸裝置包括:几餘之方 輪資料封包化來產生資料封,化。”刀’其藉由使傳 度玍貧科封包;一編 時間單位内對該封包化部分所產生……、在預疋 冗餘編碼日產生之δ亥荨資料封包實施 餘、、扁馬且產生經編碼塊;及一 編碼部分^生之該等 t & ’其將該 接收裝置,財法包括如下二塊之每-者傳輪至-資料 確定該編碼部分所產 原始資料封包數量及冗餘二,編竭塊之每-者中之 致里及几餘封包數量以滿足如下表達式: n-k Pt-l~^CjPj(^Prj {n>k) n-k 124329-I00II28.doc 1363531 其中P代表該資料接從裝置中—封包丢失率η代表經傳 輸封包數量,k代表原始資料 貝卄封包數夏,n-k代表冗餘封 包數量’且代表一目標蛵 荇!編碼塊丟失率;其中該冗餘 確定部分自滿足該表这今令夕 J 夕個原始資料封包數量及冗 餘封包數量之組合中撰媒 , 甲選擇-其中該等原始資料封包之額 外負擔比例與該等冗餘封包之額外負擔比例之總量係最 小化之組合;及 9. 藉由以該所確定之原始資料封包數量除該傳輸資料之 一資料大小來確定該封包化部分在該等預定時間單位之 每一者中所產生之該等資料封包之每—者之封包大小。 一種詩確^㈣輪裝置中—封包大小及冗餘之方 法’該貧料傳輸裝置包括:—封包化部分,其藉由使傳 輸資料封包化來產生資料封包卜編碼部分,盆在預定 時間單位㈣該封包化部分所產生之該等資料封包實施 几餘編碼且產生經編瑪塊;及_資料傳輸部分,其將該 編碼部分所產生之該等經編碼塊之每—者傳輸至一資料 接收裝置,該方法包括如下步驟·· ^該等預定時間單位之每—者中獲得之該傳輸資料 之一資料大小大於一臨限值時, 將該封包化部分所產生之該等資料封包之每—者之封 包大小確定為一最大傳輸單元大小; 藉由以該所確定之封包大小除在該等預定時間單位之 立母-者㈣得之該傳輸資料之該㈣大小來確定該編碼 β分所產生之該等經編碼塊之每—者中之原始資料封包 124329-1001128.doc • 6 · 1363531 數量;及 確定該編碼部分所產生之該等經編碼塊之每-者中冗 餘封包數量以滿足如下表達式: 干几 n-k Pt~X~^CjPJ^~p)n'j {n>k) 資料接收裝置中-封包丢失率,η代表經傳 輸封匕數篁,k代表原始資料 θ 貝付封包數置,n_k代表冗餘封 包數罝’且Pt代表-目標經編踢塊丟失率;及 當在該等預定時間單位之每一者中 料之該資料大小不大於該臨限值時, 得輸資 確定該編竭部分所產生之該等經編碼塊之每一者中之 冗餘封包數量以滿足如下表達式: 有甲之 Pt~X~^CjPJ^-p)n~J (n>k) 其中P代表該資料接收裝置中 禮私私4机旦 乏°亥封包丟失率,η代表經 傳輸封包數里,k代表原始資料 封包數量,且Pt代表—目^^包數$4代表冗餘 '衣目軚經編碼塊丟失率;复中續冗 餘確定部分自滿足該表達式 ”中^ Λ疋夕個原始資料封包數詈及 冗餘封包數量之組合巾選擇 r 寺原始貧料封句之 額外負擔比例與該等冗餘封包 封以 最小化之組合,及 額外負擔比例之總量係 藉由以在該等預定單位之每— 封句赵旦p/v#楠# h 内所確定之原始資料 封包數里除該傳輸貧料之一資 分所產生之該等資料封包之每_=包確二該封包- 124329-100H28.doc
TW96145037A 2006-12-25 2007-11-27 Data communication system, data transmitting apparatus, data transmitting method, and method for determining packet size and redundancy TWI363531B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006346959A JP4356742B2 (ja) 2006-12-25 2006-12-25 データ通信システム、データ送信装置およびデータ送信方法

Publications (2)

Publication Number Publication Date
TW200835236A TW200835236A (en) 2008-08-16
TWI363531B true TWI363531B (en) 2012-05-01

Family

ID=39542632

Family Applications (1)

Application Number Title Priority Date Filing Date
TW96145037A TWI363531B (en) 2006-12-25 2007-11-27 Data communication system, data transmitting apparatus, data transmitting method, and method for determining packet size and redundancy

Country Status (5)

Country Link
US (2) US8023533B2 (zh)
JP (1) JP4356742B2 (zh)
KR (1) KR101449710B1 (zh)
CN (1) CN101212280B (zh)
TW (1) TWI363531B (zh)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3734774B2 (ja) * 2002-06-21 2006-01-11 株式会社リコー ネットワークファクシミリ装置、及び、ファクシミリ通信方法
US8009696B2 (en) * 2004-08-06 2011-08-30 Ipeak Networks Incorporated System and method for achieving accelerated throughput
US7953114B2 (en) * 2004-08-06 2011-05-31 Ipeak Networks Incorporated System and method for achieving accelerated throughput
US9647952B2 (en) 2004-08-06 2017-05-09 LiveQoS Inc. Network quality as a service
US8437370B2 (en) * 2011-02-04 2013-05-07 LiveQoS Inc. Methods for achieving target loss ratio
US9189307B2 (en) 2004-08-06 2015-11-17 LiveQoS Inc. Method of improving the performance of an access network for coupling user devices to an application server
JP4356742B2 (ja) * 2006-12-25 2009-11-04 ソニー株式会社 データ通信システム、データ送信装置およびデータ送信方法
US20090135735A1 (en) * 2007-11-27 2009-05-28 Tellabs Operations, Inc. Method and apparatus of RTP control protocol (RTCP) processing in real-time transport protocol (RTP) intermediate systems
US20090135724A1 (en) * 2007-11-27 2009-05-28 Tellabs Operations, Inc. Method and apparatus of RTP control protocol (RTCP) processing in real-time transport protocol (RTP) intermediate systems
JP5444647B2 (ja) * 2008-07-01 2014-03-19 富士通株式会社 データ転送装置、データ転送方法及びデータ転送プログラム
JP5035176B2 (ja) * 2008-08-21 2012-09-26 富士通株式会社 伝送システム、伝送装置および伝送方法
US8804821B2 (en) 2008-09-26 2014-08-12 Microsoft Corporation Adaptive video processing of an interactive environment
US8243117B2 (en) * 2008-09-26 2012-08-14 Microsoft Corporation Processing aspects of a video scene
JP4883076B2 (ja) * 2008-12-12 2012-02-22 ソニー株式会社 情報処理装置および方法
JP4702443B2 (ja) 2008-12-17 2011-06-15 ソニー株式会社 通信システム、通信方法、通信装置、およびプログラム
EP2228927A1 (en) * 2009-03-12 2010-09-15 Alcatel Lucent Method for processing distributed data having a chosen type for synchronizing communication nodes of a data packet network, and associated device
US8949444B1 (en) * 2009-07-14 2015-02-03 Juniper Networks, Inc. Flow control scheme for parallel flows
JP5212319B2 (ja) * 2009-09-08 2013-06-19 ブラザー工業株式会社 符号化装置、符号化方法、および符号化プログラム
CN101729320A (zh) * 2009-12-14 2010-06-09 华为技术有限公司 传输控制方法和接入设备及传输系统
JP5515758B2 (ja) * 2010-01-18 2014-06-11 ソニー株式会社 画像処理装置および方法
JP5493910B2 (ja) * 2010-01-25 2014-05-14 ソニー株式会社 無線通信装置、無線通信方法、通信制御装置、およびプログラム
KR20110090596A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 지터 보정 방법 및 장치
JP5397700B2 (ja) * 2010-04-09 2014-01-22 ソニー株式会社 情報処理装置および方法
US10951743B2 (en) 2011-02-04 2021-03-16 Adaptiv Networks Inc. Methods for achieving target loss ratio
JP5744554B2 (ja) * 2011-02-07 2015-07-08 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9590913B2 (en) 2011-02-07 2017-03-07 LiveQoS Inc. System and method for reducing bandwidth usage of a network
US8717900B2 (en) 2011-02-07 2014-05-06 LivQoS Inc. Mechanisms to improve the transmission control protocol performance in wireless networks
JP5655934B2 (ja) * 2011-03-22 2015-01-21 富士通株式会社 並列計算機、通信制御装置および通信制御方法
US8769369B2 (en) 2011-07-08 2014-07-01 Samsung Electronics Co., Ltd. Method for generating forward error correction packet in multimedia system and method and apparatus for transmitting and receiving forward error correction packet
KR101259748B1 (ko) * 2011-09-28 2013-04-30 서울대학교산학협력단 모바일 iptv 서비스 제공 방법 이를 실행하는 시스템
US20140133498A1 (en) * 2012-01-31 2014-05-15 Panasonic Corporation Communication device and communication method
WO2014039080A1 (en) * 2012-09-07 2014-03-13 Heartvista, Inc. Methods for optimal gradient design and fast generic waveform switching
JP2013225761A (ja) * 2012-04-20 2013-10-31 Hitachi Ltd 符号化装置、復号装置、通信システム及び通信制御方法
KR101961736B1 (ko) * 2012-04-23 2019-03-25 삼성전자 주식회사 통신 시스템에서 패킷 송수신 장치 및 방법
KR20130126876A (ko) 2012-04-30 2013-11-21 삼성전자주식회사 통신 시스템에서 패킷 송수신 방법 및 장치
US10511997B2 (en) 2012-07-09 2019-12-17 Telefonaktiebolaget Lm Ericsson (Publ) Method and arrangement for distributing information during broadcast delivery
KR101478662B1 (ko) * 2013-01-15 2015-01-02 서정환 클라이언트의 ip주소를 서버로 전송하는 중계 시스템 및 방법
US9413494B2 (en) * 2013-01-17 2016-08-09 Qualcomm Incorporated FEC-based reliable transport control protocols for multipath streaming
US9055036B2 (en) 2013-02-28 2015-06-09 Motorola Solutions, Inc. Method and apparatus for transmitting a user datagram protocol message that is larger than a defined size
MY177154A (en) 2013-07-18 2020-09-08 Samsung Electronics Co Ltd Apparatus and method for sending/receiving packet in multimedia communication system
US9680650B2 (en) * 2013-08-23 2017-06-13 Qualcomm Incorporated Secure content delivery using hashing of pre-coded packets
US10320520B2 (en) 2013-11-15 2019-06-11 Hitachi, Ltd. Communication device, system and method
GB2521441B (en) * 2013-12-20 2016-04-20 Imagination Tech Ltd Packet loss mitigation
WO2015107898A1 (ja) * 2014-01-20 2015-07-23 日本電気株式会社 送信装置、送信方法およびプログラム記録媒体
US9525611B2 (en) * 2014-01-27 2016-12-20 Imagine Communications Corp. Transmission system implementing delay measurement and control
CN103997434B (zh) * 2014-05-21 2017-12-05 华为技术有限公司 网络传输状况的探测方法和相关设备
CN107769887B (zh) * 2016-08-17 2021-02-12 华为技术有限公司 一种数据传输、数据处理方法及装置
US10212065B2 (en) 2016-10-20 2019-02-19 Gatesair, Inc. Extended time reference generation
US10361817B2 (en) * 2017-01-20 2019-07-23 Dolby Laboratories Licensing Corporation Systems and methods to optimize partitioning of a data segment into data packets for channel encoding
JP6556415B1 (ja) * 2017-08-28 2019-08-07 三菱電機株式会社 無線通信装置、無線通信方法及び無線通信プログラム
CN108810074A (zh) * 2018-04-11 2018-11-13 中国农业银行股份有限公司 数据传输方法、装置及系统、终端
CN110913421B (zh) * 2018-09-18 2021-10-29 大唐移动通信设备有限公司 一种语音包数量的确定方法及装置
KR102162350B1 (ko) * 2019-02-14 2020-10-06 국방과학연구소 다중 통신 제어 장치 및 방법
CN110191488B (zh) * 2019-05-17 2022-07-29 京信网络系统股份有限公司 Volte保障传输的方法、装置及系统
CN110247736B (zh) * 2019-06-27 2022-04-22 北京奇艺世纪科技有限公司 一种数据传输方法及装置
US10998919B2 (en) * 2019-10-02 2021-05-04 Microsoft Technology Licensing, Llc Coded stream processing
CN112333470B (zh) * 2020-10-27 2022-05-27 杭州叙简科技股份有限公司 一种基于视频帧的fec纠错系统
CN115278769A (zh) * 2021-04-30 2022-11-01 华为技术有限公司 数据传输方法、装置、系统及可读存储介质
CN113452480A (zh) * 2021-06-21 2021-09-28 青岛海尔科技有限公司 数据传输方法和装置、数据接收方法和装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001060960A (ja) 1999-06-18 2001-03-06 Sony Corp 伝送方法及び電子機器並びに提供媒体
JP2001086153A (ja) 1999-09-09 2001-03-30 Canon Inc データ通信装置、データ通信システム、データ通信方法及び記憶媒体
US6898758B2 (en) * 2001-06-20 2005-05-24 Koninklijke Philips Electronics N.V. Cross media error protection method and system
US8045935B2 (en) * 2001-12-06 2011-10-25 Pulse-Link, Inc. High data rate transmitter and receiver
KR20030095995A (ko) * 2002-06-14 2003-12-24 마츠시타 덴끼 산교 가부시키가이샤 미디어 전송방법 및 그 송신장치 및 수신장치
US7584404B2 (en) * 2002-12-19 2009-09-01 Intel Corporation Method and apparatus for multimedia communication over packet channels
JP2004215224A (ja) 2002-12-20 2004-07-29 Nippon Telegr & Teleph Corp <Ntt> 符号誤り訂正方法、符号誤り訂正システム、プログラム及びそのプログラムを記録した記録媒体
US20040146299A1 (en) * 2003-01-29 2004-07-29 George Clapp Periodic optical packet switching
US7304959B1 (en) * 2003-04-07 2007-12-04 Novell, Inc. Utility based filtering mechanism for PMTU probing
US20050013249A1 (en) * 2003-07-14 2005-01-20 Hao-Song Kong Redundant packets for streaming video protection
JP4362761B2 (ja) 2003-10-29 2009-11-11 ソニー株式会社 送信装置および方法、記録媒体、並びにプログラム
JP4349114B2 (ja) 2003-12-10 2009-10-21 ソニー株式会社 送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
JP4454320B2 (ja) * 2004-01-09 2010-04-21 富士通株式会社 伝送装置、伝送制御プログラム、及び伝送方法
WO2006038054A1 (en) * 2004-10-06 2006-04-13 Nokia Corporation Packet transmission using error correction of data packets
JP4544528B2 (ja) 2005-07-14 2010-09-15 Kddi株式会社 データ伝送装置
US7430220B2 (en) * 2005-07-29 2008-09-30 International Business Machines Corporation System load based dynamic segmentation for network interface cards
JP4356742B2 (ja) * 2006-12-25 2009-11-04 ソニー株式会社 データ通信システム、データ送信装置およびデータ送信方法

Also Published As

Publication number Publication date
US8023533B2 (en) 2011-09-20
KR20080059508A (ko) 2008-06-30
US20120008644A1 (en) 2012-01-12
JP4356742B2 (ja) 2009-11-04
JP2008160499A (ja) 2008-07-10
US20080151776A1 (en) 2008-06-26
US8711884B2 (en) 2014-04-29
TW200835236A (en) 2008-08-16
KR101449710B1 (ko) 2014-10-13
CN101212280A (zh) 2008-07-02
CN101212280B (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
TWI363531B (en) Data communication system, data transmitting apparatus, data transmitting method, and method for determining packet size and redundancy
US7864805B2 (en) Buffering in streaming delivery
US8140933B2 (en) Buffering packets of a media stream
KR100612003B1 (ko) 통신망에서 비트 스트림 송수신 장치 및 그 방법
JP6893237B2 (ja) データストリーミングの前方誤り訂正
US20050254508A1 (en) Cooperation between packetized data bit-rate adaptation and data packet re-transmission
KR101340762B1 (ko) 지상파 디지털 멀티미디어 방송 서비스의 인터넷 프로토콜패킷 재전송 방법
US11070327B2 (en) Method and apparatus for re-transmitting MMT packet and method and apparatus for requesting MMT packet re-transmission
WO2006027661A1 (en) System and method for using redundant representations in streaming applications
JP4041137B2 (ja) 映像符号化・送信装置,映像符号化・送信方法,映像符号化・送信プログラムおよびその記録媒体
JP5296224B2 (ja) インターネットプロトコルに基づくテレビジョンシステムにおけるテレビジョンデータの伝送中の信頼性を確保する方法およびデバイス
US20090268730A1 (en) Data transmitting apparatus and method and program for controlling transmission rate
CN103428531A (zh) 一种多媒体数据的arq控制方法及系统
KR20130008438A (ko) 멀티미디어 패킷 전송망에서 전방향 오류 정정 제어 방법
CN104025605A (zh) 用于多媒体内容的复用流传输的系统和方法
TW202215853A (zh) 用於適應性位元率多播的修復機制
CN100474923C (zh) 用于实时流式传输服务的mpeg-4编码模式选择方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees