TW201349870A - 支援自適應觀看條件的視訊傳遞的方法和系統 - Google Patents
支援自適應觀看條件的視訊傳遞的方法和系統 Download PDFInfo
- Publication number
- TW201349870A TW201349870A TW102101949A TW102101949A TW201349870A TW 201349870 A TW201349870 A TW 201349870A TW 102101949 A TW102101949 A TW 102101949A TW 102101949 A TW102101949 A TW 102101949A TW 201349870 A TW201349870 A TW 201349870A
- Authority
- TW
- Taiwan
- Prior art keywords
- multimedia content
- screen
- user
- viewing
- rate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000006978 adaptation Effects 0.000 title description 33
- 238000001914 filtration Methods 0.000 claims description 23
- 230000004304 visual acuity Effects 0.000 claims description 18
- 230000002123 temporal effect Effects 0.000 claims description 14
- 238000013139 quantization Methods 0.000 claims description 11
- 238000003331 infrared imaging Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 description 56
- 230000000007 visual effect Effects 0.000 description 48
- 238000004891 communication Methods 0.000 description 45
- 239000012634 fragment Substances 0.000 description 44
- 238000010586 diagram Methods 0.000 description 28
- 230000004438 eyesight Effects 0.000 description 27
- 230000005540 biological transmission Effects 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 22
- 230000009471 action Effects 0.000 description 18
- 230000015654 memory Effects 0.000 description 18
- 230000033458 reproduction Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 238000005286 illumination Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 11
- 230000035945 sensitivity Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000011664 signaling Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 210000001747 pupil Anatomy 0.000 description 7
- 239000000463 material Substances 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000001525 retina Anatomy 0.000 description 5
- 101150014732 asnS gene Proteins 0.000 description 4
- 238000013475 authorization Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000001886 ciliary effect Effects 0.000 description 3
- 230000004456 color vision Effects 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000002207 retinal effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241000700159 Rattus Species 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000012092 media component Substances 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241000760358 Enodes Species 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 208000014733 refractive error Diseases 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000009958 sewing Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/756—Media network packet handling adapting media to device capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/303—Terminal profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Abstract
這裏描述了與多媒體內容的觀看條件自適應相關聯的方法和系統。用於裝置從網路接收多媒體內容的方法可以包括確定觀看參數,向網路傳送針對該多媒體內容的請求,其中該請求可基於該觀看參數,以及從網路接收多媒體內容,其中該多媒體內容可以以根據觀看參數的速率被處理。觀看參數可以包括以下中的至少一者:用戶觀看參數、裝置觀看參數或內容觀看參數。方法也可以包括從網路接收多媒體演示描述(MPD)檔。MPD檔可以包括與多媒體內容的速率有關的資訊,並且與速率有關的該資訊可以包括與觀看參數有關的描述符,其中該描述符可以是必需的或可選的。
Description
通過無線和有線網路的串流(streaming)內容由於網路中可變頻寬可以利用自適應。串流內容供應方可以發佈以多速率及/或解析度編碼的內容。這可以使得用戶端能夠自適應於變化的通道頻寬。MPEG/3GPP DASH標準可以定義用於端對端服務設計的框架,其可以實現通過無線和有線網路的串流服務的有效和高品質傳輸。
這裏描述了與多媒體內容的觀看條件自適應相關聯的方法和系統。用於利用裝置接收來自網路的多媒體內容的方法可以包括確定觀看參數,並向網路傳送對多媒體內容的請求,其中該請求可以基於觀看參數。該方法也可以包括從網路接收多媒體內容,由此該多媒體內容可以以根據觀看參數的速率被處理。裝置可以被配置成從網路接收多媒體內容。裝置可以包括處理器,該處理器被配置成確定觀看參數,並向網路傳送對多媒體內容的請求,其中該請求可以基於觀看參數。處理器也可以被配置成從網路接收多媒體內容,由此該多媒體內容可以以根據觀看參數的速率被處理。該裝置可以例如是無線傳輸/接收單元、串流視訊播放器、視訊聊天應用程式、視訊應用程式或視訊遊戲應用程式。
用於從網路向裝置傳輸多媒體內容的方法可以包括確定觀看參數,確定適於所確定的觀看參數的視訊編碼的特性,並傳送根據所確定的視訊編碼的特性而編碼的視訊內容。
多媒體內容可以是視訊檔。方法可以經由裝置的DASH用戶端被執行。處理器可以是裝置的DASH用戶端的一部分。
速率可以是以下至少一者的函數:多媒體內容的編碼速率、多媒體內容的空間解析度、多媒體內容的時間(temporal)解析度、量化參數、速率控制參數、多媒體內容的目標位元率、多媒體內容的空間濾波或多媒體內容的時間濾波。
觀看參數可以包括以下中的至少一者:用戶觀看參數、裝置觀看參數、或者內容觀看參數。用戶觀看參數可以包括以下至少一者:用戶的存在、用戶相對於裝置螢幕的位置、用戶相對於裝置螢幕的方位(orientation)、用戶相對於裝置螢幕的視角(viewing angle)、用戶距離裝置螢幕的距離、用戶的視覺敏銳度、周圍照明條件、觀看裝置螢幕的用戶數量或用戶的關注點。
裝置觀看參數可以包括以下至少一者:裝置移動性、裝置螢幕尺寸、裝置螢幕解析度、裝置螢幕的像素密度、裝置上顯示多媒體內容的視窗尺寸或裝置上顯示多媒體內容的視窗的位置。
內容觀看參數可以包括以下至少一者:多媒體內容的對比度、多媒體內容的色域(gamut)、三維多媒體內容的存在或多媒體內容的三維內容的深度的範圍。
可以使用以下至少一者來確定觀看參數:裝置螢幕尺寸、裝置螢幕的解析度、裝置螢幕的角度、裝置螢幕的像素密度、裝置螢幕的對比率、用戶接近感測器、前置(front facing)相機、後置(back facing)相機、光感測器、紅外成像裝置、超音速感測器、麥克風、加速度計、羅盤或陀螺儀感測器。
裝置傳送的請求可以確定裝置接收的多媒體內容的速率。網路可以根據該請求確定裝置接收的多媒體內容的速率。例如,請求可以是包括觀看參數的多媒體演示描述(MPD)檔。
方法也可以包括從網路接收清單(manifest)檔(例如,多媒體演示描述(MPD)檔)。處理器也可以被配置成從網路接收多媒體演示描述(MPD)檔。MPD檔可以包括與多媒體內容的速率有關的資訊。與速率有關的資訊可以包括與觀看參數有關的描述符。MPD檔可以指出描述符是必需的還是可選的。必需的描述符可以指出裝置必須滿足描述符的要求來接收以該速率處理的多媒體內容。可選的描述符可以指出裝置可以滿足描述符的要求來接收以該速率處理的多媒體內容。
用於從網路向裝置傳輸多媒體內容的方法可以包括確定觀看參數,確定適於所確定的觀看參數的視訊編碼的特性,並傳送根據所確定的視訊編碼的特性而編碼的視訊內容。
多媒體內容可以是視訊檔。方法可以經由裝置的DASH用戶端被執行。處理器可以是裝置的DASH用戶端的一部分。
速率可以是以下至少一者的函數:多媒體內容的編碼速率、多媒體內容的空間解析度、多媒體內容的時間(temporal)解析度、量化參數、速率控制參數、多媒體內容的目標位元率、多媒體內容的空間濾波或多媒體內容的時間濾波。
觀看參數可以包括以下中的至少一者:用戶觀看參數、裝置觀看參數、或者內容觀看參數。用戶觀看參數可以包括以下至少一者:用戶的存在、用戶相對於裝置螢幕的位置、用戶相對於裝置螢幕的方位(orientation)、用戶相對於裝置螢幕的視角(viewing angle)、用戶距離裝置螢幕的距離、用戶的視覺敏銳度、周圍照明條件、觀看裝置螢幕的用戶數量或用戶的關注點。
裝置觀看參數可以包括以下至少一者:裝置移動性、裝置螢幕尺寸、裝置螢幕解析度、裝置螢幕的像素密度、裝置上顯示多媒體內容的視窗尺寸或裝置上顯示多媒體內容的視窗的位置。
內容觀看參數可以包括以下至少一者:多媒體內容的對比度、多媒體內容的色域(gamut)、三維多媒體內容的存在或多媒體內容的三維內容的深度的範圍。
可以使用以下至少一者來確定觀看參數:裝置螢幕尺寸、裝置螢幕的解析度、裝置螢幕的角度、裝置螢幕的像素密度、裝置螢幕的對比率、用戶接近感測器、前置(front facing)相機、後置(back facing)相機、光感測器、紅外成像裝置、超音速感測器、麥克風、加速度計、羅盤或陀螺儀感測器。
裝置傳送的請求可以確定裝置接收的多媒體內容的速率。網路可以根據該請求確定裝置接收的多媒體內容的速率。例如,請求可以是包括觀看參數的多媒體演示描述(MPD)檔。
方法也可以包括從網路接收清單(manifest)檔(例如,多媒體演示描述(MPD)檔)。處理器也可以被配置成從網路接收多媒體演示描述(MPD)檔。MPD檔可以包括與多媒體內容的速率有關的資訊。與速率有關的資訊可以包括與觀看參數有關的描述符。MPD檔可以指出描述符是必需的還是可選的。必需的描述符可以指出裝置必須滿足描述符的要求來接收以該速率處理的多媒體內容。可選的描述符可以指出裝置可以滿足描述符的要求來接收以該速率處理的多媒體內容。
100...通訊系統
102、102a、102b、102c、102d...無線傳輸/接收單元(WTRU)
103/104/105...無線電存取網路(RAN)
106/107/109...核心網路
108...公共交換電話網路(PSTN)
110...網際網路
112...其他網路
114a、114b、180a、180b、180c、eNB...基地台
115/116/117...空中介面
118...處理器
120...收發器
122...傳輸/接收元件
124...揚聲器/麥克風
126...鍵盤
128...顯示器/觸控板
130...不可移式記憶體
132...可移式記憶體
134...電源
136...全球定位系統(GPS)晶片組
138...其他週邊裝置
140a、140b、140、160a、160b、160c...e節點B
142a、142b...無線電網路控制器(RNC)
144...媒體閘道(MGW)
146...行動交換中心(MSC)
148...服務GPRS支援節點(SGSN)
150...閘道GPRS支持節點(GGSN)
162...移動性管理閘道(MME)
164...服務閘道
166...封包資料網路(PDN)閘道
182...ASN閘道
184...行動IP本地代理(MIP-HA)
186...認證、授權、計費(AAA)伺服器
188...閘道
CDN...從內容分發網路
CFF...臨界閃爍頻率
cpd...循環
CSF...對比度靈敏度函數
DASH...動態自適應HTTP串流
GW...無線網路閘道
IPD...瞳孔間距
Iub、IuCS、IuPS、iur、S1、X2...介面
MPD...多媒體演示描述
QP...量化步長
R1、R3、R6、R8...參考點
UE...使用者裝置
第1A圖顯示了Snellen, Landolt C和“Illiterate E”視覺敏銳度表的示例;
第1B圖顯示了“20/20視力”列中字母E的特性的示例;
第1C圖顯示了從Snellen的E表得到的主要空間頻率的示例;
第2圖顯示了覆蓋有對比靈敏度函數(CSF)的Campbell-Robson的示例;
第3圖顯示了針對灰度(亮度)、紅-綠和藍-黃通道(channel)的CSF曲線的示例比較;
第4圖顯示了按照從中央凹(fovea)起的角度的相對敏銳度(左眼)的示例;
第5圖顯示了圖示從固定點起敏銳度隨角度變化的示例測試;
第6圖顯示了示例DASH高級系統架構的圖;
第7圖顯示了示例DASH用戶端模型的圖;
第8圖顯示了示例DASH媒體演示高級資料模型的圖;
第9圖顯示了流存取點的參數的示例的圖;
第10圖顯示了DASH中配置檔(profile)示例的圖;
第11圖描述了行動視訊串流系統的示例架構;
第12圖描述了以不同位元率編碼的多媒體內容的示例;
第13圖描述了頻寬自適應多媒體串流的示例;
第14圖顯示了行動視訊電話系統的示例架構;
第15圖顯示了行動觀看設定(setup)的參數的示例;
第16圖顯示了觀看距離分佈形狀的示例圖;
第17圖顯示了螢幕對比度與能夠再現的空間頻率的可視範圍之間的關係的示例;
第18圖顯示了在不同觀看情形的聚散度(vergence)和焦距的示例;
第19圖顯示了清楚的雙眼單視區(ZCSBV)的示例;
第20圖顯示了利用預濾波方式的空間頻率的可視範圍的自適應的示例;
第21圖顯示了使用前置相機偵測用戶存在和用戶視角的示例;
第22A圖至第22B圖顯示了藉由使用瞳孔間距(IDP)偵測用戶距離螢幕的距離的示例;
第23圖顯示了用於偵測用戶能夠識別的最小字體大小的介面的示例;
第24圖顯示了用於偵測用戶能夠看到最小空間細節的最長距離的介面的示例;
第25圖顯示了觀看條件自適應串流系統的示例;
第26圖顯示了該系統的示例架構和功能解釋的圖;
第27圖顯示了根據從觀看軸起的傾斜度(tilt)的CFF值的地形圖的示例;
第28圖顯示了具有相同視角α不同交叉角度β的兩個設定(settings)的示例圖;
第29圖顯示了自適應用戶行為和觀看條件的示例串流系統的圖;
第30A圖是可以實施一個或多個揭露的實施方式的示例通訊系統的系統圖;
第30B圖是可以在第30A圖中顯示的通訊系統中使用的示例無線傳輸/接收單元(WTRU)的系統圖;
第30C圖是可以在第30A圖中顯示的通訊系統中使用的示例無線電存取網路和示例核心網路的系統圖;
第30D圖是可以在第30A圖中顯示的通訊系統中使用的另一個示例無線電存取網路和另一個示例核心網路的系統圖;
第30E圖是可以在第30A圖中顯示的通訊系統中使用的另一個示例無線電存取網路和另一個示例核心網路的系統圖。
第1B圖顯示了“20/20視力”列中字母E的特性的示例;
第1C圖顯示了從Snellen的E表得到的主要空間頻率的示例;
第2圖顯示了覆蓋有對比靈敏度函數(CSF)的Campbell-Robson的示例;
第3圖顯示了針對灰度(亮度)、紅-綠和藍-黃通道(channel)的CSF曲線的示例比較;
第4圖顯示了按照從中央凹(fovea)起的角度的相對敏銳度(左眼)的示例;
第5圖顯示了圖示從固定點起敏銳度隨角度變化的示例測試;
第6圖顯示了示例DASH高級系統架構的圖;
第7圖顯示了示例DASH用戶端模型的圖;
第8圖顯示了示例DASH媒體演示高級資料模型的圖;
第9圖顯示了流存取點的參數的示例的圖;
第10圖顯示了DASH中配置檔(profile)示例的圖;
第11圖描述了行動視訊串流系統的示例架構;
第12圖描述了以不同位元率編碼的多媒體內容的示例;
第13圖描述了頻寬自適應多媒體串流的示例;
第14圖顯示了行動視訊電話系統的示例架構;
第15圖顯示了行動觀看設定(setup)的參數的示例;
第16圖顯示了觀看距離分佈形狀的示例圖;
第17圖顯示了螢幕對比度與能夠再現的空間頻率的可視範圍之間的關係的示例;
第18圖顯示了在不同觀看情形的聚散度(vergence)和焦距的示例;
第19圖顯示了清楚的雙眼單視區(ZCSBV)的示例;
第20圖顯示了利用預濾波方式的空間頻率的可視範圍的自適應的示例;
第21圖顯示了使用前置相機偵測用戶存在和用戶視角的示例;
第22A圖至第22B圖顯示了藉由使用瞳孔間距(IDP)偵測用戶距離螢幕的距離的示例;
第23圖顯示了用於偵測用戶能夠識別的最小字體大小的介面的示例;
第24圖顯示了用於偵測用戶能夠看到最小空間細節的最長距離的介面的示例;
第25圖顯示了觀看條件自適應串流系統的示例;
第26圖顯示了該系統的示例架構和功能解釋的圖;
第27圖顯示了根據從觀看軸起的傾斜度(tilt)的CFF值的地形圖的示例;
第28圖顯示了具有相同視角α不同交叉角度β的兩個設定(settings)的示例圖;
第29圖顯示了自適應用戶行為和觀看條件的示例串流系統的圖;
第30A圖是可以實施一個或多個揭露的實施方式的示例通訊系統的系統圖;
第30B圖是可以在第30A圖中顯示的通訊系統中使用的示例無線傳輸/接收單元(WTRU)的系統圖;
第30C圖是可以在第30A圖中顯示的通訊系統中使用的示例無線電存取網路和示例核心網路的系統圖;
第30D圖是可以在第30A圖中顯示的通訊系統中使用的另一個示例無線電存取網路和另一個示例核心網路的系統圖;
第30E圖是可以在第30A圖中顯示的通訊系統中使用的另一個示例無線電存取網路和另一個示例核心網路的系統圖。
下面將參照多幅圖描述示意性實施方式的詳細描述。雖然這些描述提供了可能實施的詳細示例,但是應當理解這些細節是示意性的而非限制本申請的範圍。
視訊傳遞系統可以在視訊將在理想再現設定(例如昏暗的房間、高對比度顯示器、寬視角等)下被觀看這一假設下傳送被編碼的視訊。這可能需要相當大量的頻寬來編碼並攜帶可以在螢幕上呈現的視覺資訊(例如視訊、遊戲等)。這裏描述的實施可以在以下情形(例如移動情形)中被使用:再現設定可能偏離理想再現設定。例如,這裏描述的實施可以提供自適應系統,其藉由例如考慮在觀看者正觀看視覺內容時存在的觀看條件而在遜於理想再現設定的設定中更有效地傳輸和呈現內容。
這裏描述的實施可以利用人視覺的一些現象/特性。視覺敏銳度可以是視覺處理系統的空間解析度的一種測量。其可以藉由使用驗光表來測量,該驗光表例如但不限於第1A圖至第1C圖中顯示的Snellen、Landolt C及/或“Illiterate E”表。例如,術語“20/20-視力”可以用於描述成年人的正常視力。其可以表示閱讀包括字母的列的能力,這些字母被設計使得當從20英尺(例如,大約6米)的距離觀看時,這些字母的最小空間細節(例如,比劃、間隙)構成1分弧度(例如,可視角度的1/60)。第1B圖中顯示了這種示例。“20/20視力”可以表示分辨小到1分弧度(例如,可視角度的1/60)的細節的能力。
空間頻率極限可以被使用。在視覺敏銳度與人視覺系統的空間頻率極限之間可以有關聯。這可以藉由顯示Snellen的E到光柵變換(例如,如第1C圖所示的)來解釋。可以觀察到對於20/20(6/6)列的字母E,在一個循環中可以有2分的弧度。一度中可以有60分,因此一度可以包括30個循環。在20/20(6/6)的字母中,每度可以有30個循環(cpd)。例如,術語“20/20視力”可以對應於分辨高達每度30個循環的空間頻率的能力。
可以使用對比靈敏度函數(CSF)。可以使用高對比度字母(例如,白色背景上的黑色符號)來測量視覺敏銳度。“對比靈敏度函數(CSF)”可以是HVS極限的更完全的特性描述,藉由考慮不同對比度的圖像而得到。CSF可以在覆蓋有Campbell-Robson表時得到最佳理解,其示例如第2圖中所示。參照第2圖,像素的亮度可以沿著水平維度以正弦方式被調變。調變頻率(例如,空間頻率)可以呈對數增長(例如,從左到右頻率基本呈指數增長)。對比度可以從100%呈對數變化到大約0.5%(例如,從底部到頂部)。
如第2圖所示,CSF可以示例對比度/空間頻率空間的可視區的邊界。CSF最左邊的點可以與視覺敏銳度極限(例如在最高對比度的截止頻率)一致。CSF在高頻率單調遞減直到其達到敏銳度極限。CSF可以在低頻率遞減。這可以是由不同的神經生物學現象造成的。CSF的峰值可以接近每度6個循環。可以注意到CSF的形狀可以基於視網膜照度的等級而改變。在低光照的條件下,靈敏度可以被較大程度地降低。
可以使用色覺極限。相對於回應於寬光譜的元件(例如桿細胞(rod)),人類視網膜可以包括少得多的色彩感應元件(例如錐細胞(cone))。這可以非常低的色覺空間解析度外顯自己。第3圖顯示了針對灰階、紅-綠和藍-黃頻道產生的CSF曲線的比較示例。如第3圖所示,藍-黃和紅-綠頻道可以具有較早的衰減,達到大約每度10-15個循環的截止。這可以比亮度的敏銳度極限更低。顏色相關的CSF可以更多受到總體視網膜照度(針對亮度的CSF)的影響。在低光照的條件下,我們可能看不到顏色。這種現象可以稱為暗視覺。
可以使用色覺的角度極限。人可以看到在視野內的窄角度的顏色。這可以與人類視網膜上的視網膜細胞和錐細胞的不對稱分佈有關。
可以使用中央凹視力與周圍視力和相對敏銳度的比較。中央凹中的錐細胞和神經節細胞的高度集中可以導致在該區域中較高的視覺敏銳度能力。標準的視力測試可以評估中央凹區域的敏銳度。中央凹以外的敏銳度急劇下降。第4圖顯示了根據從中央凹起的角度的相對敏銳度的示例圖。
第5圖顯示了圖示從固定點起敏銳度隨角度變化的示例測試。該測試可以示範當集中於中心時,所有字元顯得一樣清晰(sharp)。該測試可以在舒服的觀看距離進行,在該距離,最小與最大字元之間的空間角度可以近似為2度。最小與最大字元之間的線性尺寸之差可以近似為1:8。
這種現象表明圖片的一小部分曾經在任何一個時刻可以全解析度被觀察到。為了估計使用這種現象潛在的節省(saving)的極限,我們可以假設水平和垂直像素密度是一樣的,因此節省可以用區域來近似。螢幕對角大小為D,縱橫比為r,螢幕尺寸可以是:
“高解析度”區域可以包括由角度β(例如近似2°)定義的外正方形(outer square),並可以取決於觀看距離d,可以如下給出:
可以假設低解析度(例如焦點區域的外部)可以以低於焦點區域的解析度被編碼(例如通過因數R)。像素計數比(例如,使用或不使用這種技術)可以是:
其中,D=9.7”、r=9/16、R=8、d=25以及β=20,比率可以近似為15%,這可以節省85%。瓷磚(tile)之間(例如,在空間及/或時間上)的平滑變化可以導致較低的節省,但用戶體驗更好。
這裏可以描述並使用動態自適應HTTP串流(DASH)。DASH可以合併一些用於HTTP串流的方式。例如,MPEG DASH可以是在3GPP版本10中描述的“3GP-DASH”的擴展。DASH可以用於處理無線和有線網路中的可變頻寬。DASH可以由內容提供方和裝置支援。DASH可以在任意存取網路上實現向任意裝置提供多媒體串流服務。
DASH可以被部署為一組HTTP伺服器,其可以分發已經以合適格式準備的直播及/或點播內容。用戶端可以直接從HTTP伺服器及/或從內容分發網路(CDN)存取內容,例如如第6圖中所示。第6圖顯示了示例DASH高級系統架構的圖。CDN可以用於期望大量用戶端的部署,因為它們可以快取內容並可以位於在網路邊緣的用戶端的附近。
在DASH中,用戶端可以通過使用HTTP請求片段並在從內容提供方及/或CDN接收這些片段時將它們接合起來來控制串流會話。用戶端可以監視(例如,連續監視)媒體速率並基於網路條件(例如,封包錯誤率、延遲抖動)和它們自己的狀態(例如,緩衝器充滿度、用戶行為和偏好)調整媒體速率,從而有效地將資訊從網路移動到用戶端。
DSAH標準的設計可以基於情報用戶端模型,例如如第7圖所示。第7圖顯示了示例DASH用戶端模型的圖。第7圖顯示了概念性DASH用戶端模型的邏輯部分的示例。DASH存取引擎可以接收媒體演示描述檔(MPD),構建並發送請求及/或接收片段或片段的部分。DASH存取引擎的輸出可以包括MPEG容器格式(例如,MP4檔格式或MPEG-2傳輸流)的媒體和將媒體的內部時序映射到演示的時間軸(timeline)的時序資訊。媒體的編碼塊與時序資訊的組合足以糾正內容呈現。
DASH施加給編碼的媒體片段的最多約束可以基於以下假設:解碼、後處理及/或重播可以由不知道這些片段是什麼及/或如何傳輸這些片段的媒體引擎來完成。媒體引擎可以僅解碼並播放由DASH存取引擎以塊(chunk)為單位供應的連續媒體檔。例如,存取引擎可以是java腳本,而媒體引擎可以是瀏覽器提供的那些、瀏覽器外掛程式(例如,FlashR或SilverlightR)及/或作業系統。
第8圖顯示了示例DASH媒體演示高級資料模型的圖。在DASH中,多媒體演示的組織可以基於分級的資料模型。媒體演示描述(MPD)可以描述組成DASH媒體演示(例如多媒體內容)的週期的順序。週期可以表示期間一組一致的的媒體內容的編碼版本可用的媒體內容週期。在該週期期間,該組可用位元率、語言及/或字幕不可以改變。
自適應集可以表示一組一個或多個媒體內容分量的可交換編碼版本。例如,針對視訊可以有自適應集,一個用於主音頻,一個用於輔音頻及/或一個用於字幕。自適應集也可以被多工處理,在這種情況中,多工處理的可交換版本可以被描述為單個自適應集。例如,自適應集可以包括一週期的視訊和主音頻。
表示可以描述一個或多個媒體內容分量的可傳輸編碼版本。表示可以包括一個或多個媒體流(例如,一個用於多工處理中的每個媒體內容分量)。自適應集中的任意單個表示可以足以呈現所包含的媒體內容分量。例如,用戶端可以在自適應集中從一種表示切換到另一種表示,例如以適應網路條件及/或其他因素。用戶端可以忽略使用其不支持的編解碼器/配置檔/參數的表示。
片段可以是表示內的內容,其可以按時間被分成固定或可變長度的片段。可以為每個片段提供URL。片段可以是使用單個HTTP請求獲取的最大資料單元。媒體演示描述(MPD)可以是XML文件,其包括供DASH用戶端建構HTTP-URL以存取片段並向使用者提供串流服務的元資料。
用戶端可以使用MPD中的基礎URL來產生針對媒體演示中片段和其他資源的HTTP GET請求。HTTP部分GET請求可以用於藉由使用位元組範圍(例如經由“範圍”HTTP頭)來存取片段的有限部分。基礎URL可以被指定用於在位置不可獲得的情況下允許存取演示,給多媒體流的傳輸提供冗餘,及/或允許用戶端負載平衡和平行下載。
MPD可以是“靜態的”或“動態的”。靜態MPD類型在媒體演示期間不可以改變,且其可以用於點播演示。動態MPD類型可以在媒體演示期間被更新,且其可以用於直播演示。MPD可以被更新以擴展每種表示的片段的列表,引入新週期及/或終止媒體演示。
在DASH中,不同媒體內容分量(例如,視訊、音頻等)的編碼版本可以共用共同的時間軸。媒體內容內的存取單元的演示時間可以被映射到全球共同演示時間軸,其可以被稱為媒體演示時間軸。這可以允許不同媒體分量的同步及/或可以實現相同媒體分量的不同編碼版本(例如表示)的無縫切換。
片段可以包括實際分段的媒體流。它們可以包括關於如何將媒體流映射到媒體演示時間軸以用於切換及/或與其他表示的同步演示的附加資訊。
片段可用性時間軸可以用於用信號向用戶端通知在指定的HTTP URL的片段的可用性時間。例如,這些時間可以以掛鐘時間的形式被提供。在存取在指定的HTTP URL的片段之前,用戶端可以將掛鐘時間與片段可用性時間進行比較。
對於點播內容,一些或所有片段的可用性時間可以是相同的。一旦任意片段可獲得,媒體演示的一些或所有片段在伺服器上可獲得。MPD可以是靜態文件。
對於直播內容,片段的可用性時間可以依據片段在媒體演示時間軸中的位置。片段可以隨產生內容的時間而變得可用。MPD可以被週期性地更新,以反映演示隨時間的變化。例如,用於新片段的片段URL可以被添加到MPD,且不再可用的舊的片段可以從MPD中移除。例如如果使用範本來描述片段URL,則更新MPD可不是必須的。
片段的持續時間可以表示當以正常速度演示時包含在片段中的媒體的持續時間。表示中的一些或所有片段可以具有相同或大致相似的持續時間。片段持續時間針對不同的表示可以不同。DASH演示可以被構建有相對短的片段(例如幾秒)或較長的片段,其包括針對整個表示的單個片段。
短片段可以適合直播內容(例如,通過減少端到端等待時間)並可以允許在片段等級的高切換粒度。短片段可以增加演示中的檔案數量。長片段可以藉由減少演示中的檔案數量來改進暫存性能。它們可以使得用戶端能夠制定靈活的請求大小(例如藉由使用位元組範圍請求)。長片段可能需要使用片段索引且可能不適合直播事件。片段可以或可以不隨時間擴展。片段可以是其整體可用的完整和離散單元。
片段可以進一步被細分為子片段。子片段可以包括多個完整存取單元。“存取單元”可以是具有指派的媒體演示時間的媒體流的單元。如果片段被分為多個子片段,則子片段可以由片段索引來描述。片段索引可以提供該表示中的演示時間範圍以及每個子片段佔用的片段中相應的位元組範圍。用戶端可以提前下載該索引,然後可以使用HTTP部分GET請求發佈對個別子片段的請求。片段索引可以被包含在媒體片段中,例如在檔案的開頭中。也可以在分開的索引片段中提供片段索引資訊。
DASH可以定義初始化片段、媒體片段、索引片段和位元流切換片段。初始化片段可以包括用於存取表示的初始化資訊。初始化片段可以或可以不包括具有指派的演示時間的媒體資料。初始化片段可以由用戶端來處理以初始化媒體引擎,以使被包含的表示的媒體片段演完(play-out)。
媒體片段可以包括及/或封裝在媒體片段內描述的及/或由表示的初始化片段描述的媒體流。媒體片段可以包括多個完整的存取單元。媒體片段可以包括至少一個針對每個包含的媒體流的流存取點(SAP)。
索引片段可以包括可以與媒體片段有關的資訊。索引片段可以包括針對媒體片段的索引資訊。索引片段可以提供用於一個或多個媒體片段的資訊。索引片段可以是媒體格式特定的。可以為支援索引片段的每個媒體格式定義細節。
位元流切換片段可以包括可以被利用以切換到其被指派到的表示的資料。其可以是媒體格式特定的,且可以為允許位元流切換片段的每個媒體格式定義細節。可以為每種表示定義一個位元流切換片段。
用戶端可以在媒體中的任意點在自適應集內從一種表示切換到另一種表示。在任意位置處的切換可以是複雜的,這是由於例如在表示中編碼的依賴性以及其他因素。“重疊”資料的下載可以被避免(例如,來自多種表示的相同時間段的媒體)。在新流中的隨機存取點處,切換可以是最簡單的。
DASH可以定義流存取點(SAP)與編解碼器無關的概念,並識別各種類型的SAP。流存取點類型可以作為自適應集的特性之一被傳輸(例如,可以假定自適應集內的一些或所有片段具有相同SAP類型)。
SAP可以隨機存取一個或多個媒體流的檔案容器。SAP可以是容器中的位置,能夠使用包含在該容器中的從該位置開始向前的資訊、及/或來自該容器的其他部分及/或外部可獲得的可能的初始化資料,開始對已識別的媒體流進行重播。
檔案容器特性可以包括TSAP。TSAP可以是媒體流的存取單元的最早的演示時間,例如由此具有大於或等於TSAP的演示時間的媒體流的一些或所有存取單元可以使用在ISAP開始的位元流中的資料(並且可能地,在ISAP之前沒有資料)而被正確解碼。ISAP可以是在位元流中的最大位置,由此具有大於或等於TSAP的演示時間的媒體流的一些或所有存取單元可以使用在ISAP開始的位元流資料(並且可能地,在ISAP之前沒有資料)而被正確解碼。ISAU可以是在媒體流內按解碼順序最新的存取單元的位元流中的開始位置,由此具有大於或等於TSAP的演示時間的媒體流的一些或所有存取單元可以使用該最新的存取單元和遵循解碼順序的存取單元(並且可能地,早期沒有按解碼順序的存取單元)而被正確解碼。TDEC可以是能夠使用在ISAU開始的位元流中的資料(並且可能地,在ISAU之前沒有資料)而被正確解碼的媒體流的任意存取單元的最早的演示時間。TEPT可以是在位元流中在ISAU開始的媒體流的任意存取單元的最早的演示時間。TPTF可以是在ISAU開始的位元流中按解碼順序的媒體流的第一個存取單元的演示時間。
具有這些參數的流存取點的示例如第9圖中所示。在該示例中,具有三種不同類型的訊框:I、P和B的編碼視訊流的示例被顯示。P訊框可以利用待解碼的先前的I或P訊框,而B訊框可以利用在I及/或P訊框之前或之後的訊框。傳輸、解碼及/或演示順序可以不同。
第9圖顯示了串流存取點的參數的圖。可以提供六種SAP類型。不同SAP類型的使用可以被限制到配置檔(例如,對於一些配置檔,僅SAP類型的子集可以被使用)。
DASH SAP類型可以取決於哪些存取單元是可正確解碼的,及/或它們按演示順序的排列。例如,對於類型1,TEPT= TDEC= TSAP= TPFT。該SAP類型可以對應於所稱的“封閉GoP隨機存取點”。從ISAP開始的存取單元(例如按解碼順序)可以被正確解碼。該結果可以是沒有間隙的正確解碼的存取單元的連續時間序列。按解碼順序的第一個存取單元可以是按演示順序的第一個存取單元。
例如,對於類型2,TEPT= TDEC= TSAP< TPFT。該SAP類型可以對應於所稱的“封閉GoP隨機存取點”,對此,從ISAU開始的媒體流中按解碼順序的第一個存取單元可以不是按演示順序的第一個存取單元。頭兩個訊框可以是向後預測的P訊框(例如,其依照句法可以被編碼為H.264和一些其他編解碼器中僅向前的B訊框),且它們可以需要首先解碼第三個訊框。
例如,對於類型3,TEPT< TDEC= TSAP<= TPTF。該SAP類型可以對應於所稱的“開放GoP隨機存取點”,其中在ISAU之後按解碼順序有一些存取單元,其可能沒有被正確解碼,並具有小於TSAP的演示時間。
例如,對於類型4,TEPT<= TPFT< TDEC= TSAP。該SAP類型可以對應於所稱的“逐漸解碼刷新(GDR)隨機存取點”(例如,或“髒(dirty)”隨機存取),其中從ISAU開始和在ISAU之後按解碼順序有一些存取單元,其可能沒有被正確解碼,並具有小於TSAP的演示時間。
內刷新過程可以是GDR的示例。該內刷新過程可以在N個訊框上被擴展,且可以用內MB來編碼一訊框的部分。對於N個訊框,不重疊部分可以被內編碼。該過程可以被重複直到整個訊框被刷新。
例如,對於類型5,TEPT= TDEC< TSAP。該SAP類型可以對應於這樣的情況:從ISAP開始按解碼順序可以有至少一個存取單元,其可能沒有被正確解碼,並具有大於TDEC的演示時間,且其中TDEC可以是從ISAU開始的任意存取單元的最早演示時間。
例如,對於類型6,TEPT< TDEC< TSAP。該SAP類型可以對應於這樣的情況:從ISAP開始按解碼順序可以有至少一個存取單元,其可能沒有被正確解碼,並具有大於TDEC的演示時間,且其中TDEC可以不是從ISAU開始的任意存取單元的最早演示時間。
DASH的配置檔可以被定義以實現互操作性和特徵使用的信號發送。配置檔可以施加一組特定限制。這些限制可以針對媒體演示描述(MPD)文件的特徵及/或片段格式。限制可以針對片段中的被傳輸的內容,例如但不限於針對媒體內容類型、媒體格式、編解碼器及/或保護格式,及/或針對定量測量,例如但不限於位元率、片段持續時間、片段大小、水準視覺演示大小及/或垂直視覺演示大小。
第10圖顯示了DASH中的六個配置檔的示例的圖。配置檔可以基於用於片段的檔案容器的類型被組織為兩種主要類別:三個配置檔可以使用ISO基礎媒體檔案容器,兩個配置檔可以使用基於MPEG-2傳輸流(TS)的檔案容器,以及一個配置檔可以支援兩種檔案容器類型。任一種容器類型可以與編解碼器無關。
ISO基礎媒體檔案格式點播配置檔可以提供對點播內容的支援。該配置檔可以規定每種表示可以被提供為單個片段,子片段可以在自適應集內的表示間被對準,及/或子片段可以從流存取點開始。該配置檔可以用於支援具有最小量的內容管理的大VoD庫。其可以允許對HTTP伺服器的可縮放且有效的使用,及/或可以簡化無縫切換。
ISO基礎媒體檔案格式直播配置檔可以用於片段的直播編碼和低等待時間傳輸,該片段包括具有相對短的持續時間的ISO檔案格式的單個電影片段(fragment)。當每個電影片段可用時,可以使用範本產生的URL來請求該每個電影片段。在每個片段請求之前請求MPD更新可以不是必須的。在該配置檔中,片段可以被考慮,由此它們可以在片段邊界上被連接。片段可以在媒體資料中被無間隙及/或重疊解碼(decrypt),不管自適應集中表示的自適應切換。該配置檔可以用於分發非直播內容。例如,在直播媒體演示可以被終止的情況下,該直播媒體演示被保持可用,作為點播服務。
ISO基礎媒體檔案格式主配置檔可以是ISO基礎媒體檔案格式點播和直播配置檔的超集合。
MPEG-2 TS主配置檔可以對MPEG-2傳輸流(TS)內容的媒體片段格式施加約束。例如,表示可以被多工處理,由此可以不需要在用戶端處綁定媒體流(例如,音頻和視訊)。片段可以包括整數個MPEG-2 TS封包。推薦索引和片段對準。
MPEG-2 TS簡單配置檔可以是MPEG-2 TS主配置檔的子集。其可以對內容編碼和複用施加限制,例如以允許無縫切換的簡單實施。例如,可以通過保證符合ISO/IEC 13818-1(例如,MPEG-2系統)的媒體引擎可以播放由來自相同自適應集內的任意表示的連續片段連接而產生的任意位元流來實現無縫切換。
全配置檔可以是ISO基礎媒體檔案格式主配置檔和MPEG-2 TS主配置檔的超集合。
在行動裝置的螢幕上呈現的視覺資訊的目的地可以是持有該行動裝置的用戶。但是,用戶的觀看設定可以改變。例如,用戶可以手持行動裝置離自己眼睛很近或距離一臂的距離。這可以影響視角及/或用戶看到螢幕上細節的能力。其他外部因素,例如但不限於照明可以更改並改變用戶的觀看體驗。例如,用戶可以在辦公室中,在戶外陽光直射下,在陰影中,或在完全黑暗的區域。用戶可以正在全神貫注於裝置螢幕上的內容,或其可以忙於別的事情而只是偶爾看看行動裝置的螢幕。裝置(例如行動裝置)可以涉及例如無線傳輸/接收單元、串流視訊播放器、視訊聊天應用程式、視訊應用程式或視訊遊戲應用程式。
可以描述行動裝置的觀看條件的可變性的示例。這些條件可以是對用戶能夠接收視覺資訊的程度的指示。它們可以用於定義“視覺頻道”的容量,其可以用作通訊系統中將視覺資訊傳輸給用戶的最後的鏈路。
視覺資訊到行動裝置的傳輸可以自適應於用戶行為及/或觀看條件,由此傳輸最佳可能的用戶體驗及/或保存無線網路的資源(例如,頻寬、容量等)及/或行動裝置的資源(例如,電力)。可以為行動視訊串流和行動視訊電話提供應用程式。視覺鏈路的特性和影響該鏈路的因素可以被利用,例如觀看設定的參數、照明類型、行動螢幕限制、人類視覺系統的限制等等。
可能有經由視覺內容的傳輸及觀看條件自適應編碼改進的應用程式。例如,這些可以包括但不限於行動視訊串流、行動TV、行動視訊電話、視訊遊戲以及增強現實。這裏描述的應用程式的種類包括但不限於行動視訊串流和視訊電話。行動視訊串流或行動多媒體串流可以是多媒體內容遞增傳輸的技術,其可以允許即時重播和VCR類型導航,而不需等待整個媒體檔案被傳輸。
第11圖顯示了在串流媒體內容被傳輸到行動裝置中涉及的元件和通訊鏈路的示例。內容可以被獲取和編碼,以用於串流分發。例如,這可以經由專用編碼軟體來完成,該軟體可以例如但不限於Real ProducerR、Windows Media EncoderR和Adobe Media EncoderR。 然後內容可以被放置在伺服器上,依據串流技術,該伺服器可以是專用串流伺服器、標準HTTP伺服器等。內容也可以被放置在形成所稱的內容分發網路(CDN)的多個伺服器上,例如以縮放分發能力。串流媒體內容的消費者可以是使用者,其可能正在使用軟體,例如在行動裝置上的串流媒體播放器或網頁瀏覽器。媒體播放器可以發起並維持與伺服器的連接。反過來,伺服器可以向播放器發送編碼的媒體的片段,播放器然後可以將其呈現在螢幕上。
在串流媒體內容的傳輸中可以涉及一些通訊鏈路。這些鏈路包括但不限於(例如,參考第11圖)串流伺服器與無線網路閘道(GW)之間的網際網路連接和路由路徑;使用者裝置(例如UE)與基地台(例如eNB)之間的無線鏈路;以及使用者眼睛與行動裝置顯示器之間的“視覺鏈路”。
頻寬自適應可以被使用。在頻寬自適應串流中,多媒體內容可以以一些不同的位元速率被編碼,其示例如第12圖中所示。第13圖描述了頻寬自適應多媒體串流的示例。以不同速率的視訊內容也可以用不同的空間解析度被編碼。多媒體內容可以被準備,由此以某些時間間隔(例如2-5秒)在不同速率的串流之間的轉變是可能的。如果不同的串流使用不同的空間解析度,則媒體播放器可以縮放視訊以填充螢幕上相同區域,由此不會察覺解析度的變化。
在編碼之後,內容可用於串流伺服器,並可以經請求被傳輸給用戶端。起初,伺服器可以以預設初始位元率對內容進行串流。位元率在串流會話期間基於例如網路中可用的頻寬而改變。速率可以直接在用戶端的請求下改變,或伺服器可以基於來自用戶端的回饋做出決策。
可以用於多媒體內容傳輸的傳輸機制包括但不限於HTTP串流和RTP/RTSP串流。在HTTP串流中,成片段的內容(例如被分成長度為數秒的片段的內容)可以通過HTTP被傳輸。可以以由於重傳導致的可能的延遲的代價來保證片段被傳輸。在RTP/RTSP串流中,內容可以被封包並在UDP上傳輸。這可以以可能的丟失封包作為代價避免重傳延遲。HTTP串流系統的示例是MPEG/3GPP DASHR和AppleR的HLSR。Real NetworksR的HelixR伺服器能夠支持多種HTTP和RTP/RTSP串流協定。
用於行動串流的頻寬自適應可以被使用。當經由無線的方式傳輸串流視訊時,可以預期頻寬波動是由負載和無線鏈路(例如,將用戶裝置連接到基地台(例如,參照第11圖))的其他特性造成的。頻寬自適應邏輯可以在基地台(例如e節點B)上及/或另一個可以位於與無線鏈路很近的位置的伺服器(例如代理)上實施。這可以導致可以實現的自適應的更快回應和粒度。這種伺服器可以例如藉由接收編碼流、可縮放編碼的組合集合及/或藉由實施將在鏈路上發送的資訊的動態代碼轉換來實施自適應。
行動視訊電話可以包括由在不同位置的用戶發起的音頻-視訊信號的接收和傳輸技術。目的可以是在它們之間實現即時通訊。
這裏描述的實施可以例如應用於消費者級視訊通訊/消息發送應用程式、行動視訊會議應用程式、行動視訊電話應用程式等。這樣的系統的架構示例如第14圖所示。行動裝置可以捕獲音頻和視訊資訊,對其進行編碼,及/或透過無線及/或有線鏈路的組合將其傳送到其他裝置。一旦接收到該資訊(例如,經由行動裝置),其可以被解碼並顯示給使用者。視訊和音頻資料可以例如由於該系統的即時屬性而作為RTP/UDP封包被發送。RTP/UDP封包在傳輸期間可能丟失。為了控制品質,行動裝置(例如視訊電話)可以使用回饋協定,例如但不限於RTCP。可以使用標準會話發起協定來放置呼叫,該協定例如但不限於SIP或ITU-T H.323/H.225。
在行動視訊電話應用中的資訊的傳輸中可以涉及一些通訊鏈路。例如,通訊鏈路可以包括但不限於(例如,參考第14圖)無線網路閘道(GW)之間的網際網路連接/路由路徑、用戶裝置(例如UE)與基地台(例如eNB)之間的無線鏈路、使用者與它們的行動裝置的顯示器和相機之間的“視覺鏈路”等。
可以理解網際網路和無線鏈路的特性、行為及/或限制,且視訊電話系統可以使用一些機制來適應它們。這些機制可以包括例如頻寬自適應視訊編碼、回饋的使用、錯誤彈性以及錯誤隱藏技術。這裏描述的實施可以使用“視覺鏈路”的特性和限制因素,例如但不限於改變觀看距離、照明以及用戶對螢幕的注意力,例如以改善視訊傳遞及/或通訊。
“視覺鏈路”(可以是由顯示器和用戶形成的鏈路)的特性可以解釋如下。行動觀看設定的參數的示例如第15圖中所示。例如,顯示了水平片,且假設視野可以由雙眼視覺形成,例如水平上大約120°。視覺參數可以包括但不限於螢幕尺寸、離螢幕的距離、螢幕解析度、螢幕密度(例如,以每英寸的像素為單位)或視角。一些視覺參數可以互相關。例如,視角(例如如第15圖中所示)可以計算為:
視角可以約束用戶能夠獲取的“有用”視覺信息量。在靜止觀看設定中,例如在電影院或臥室中使用的,視角可以較大,例如大約30°及更大。標準(例如,SMPTE EG-18-1994)可以宣稱30°作為用於電影再現的最小可接受視角。在行動設定中,視角由於例如行動螢幕的小尺寸而小得多。為了看得更多,觀看者可以行動電話更靠近自己的眼睛。但是,可能存在一些固有的限制,和人使用不同觀看距離的原因,以及在許多情況中這些距離為什麼不夠短以補償行動螢幕的小尺寸的原因。
觀看距離的範圍可以因人而異。在不同距離看到物體的能力可以取決於被稱為人眼適應的機制。其可以是這樣的過程:經由該過程,人眼的晶狀體的曲率可以改變,由此來自遠處光源的光聚焦在視網膜上。曲率的這種變化可以是由睫狀肌產生的。當睫狀肌放鬆時,眼睛聚焦在無窮遠。藉由施加張力,晶狀體的曲率增加,允許來自較近物體的光聚焦在視網膜上。但是晶狀體不可以無限“擠壓”。晶狀體可以將光聚焦在視網膜上的最短距離被稱為最小明視距離(LDDV)。對於大多數具有正常視力的成年人,LDDV可以大約是25 cm(10”)。這個數字對於年輕人較小,但隨著年齡其可以增加(例如,由於睫狀肌變得較不有效)。
LDDV可以設定對行動裝置的觀看距離的下限。其他固有限制可以是用戶的臂長。該數字可以與用戶的身高有關(例如,對於5英尺9英寸高的人,大約為26”)。可以有其他因素,包括但不限於行動裝置的尺寸/類型、環境及/或可以導致不同人以不同觀看距離手持或放置該裝置的個人舒適感覺。在這些限制內,用戶還可以設法藉由手持螢幕較近或較遠來獲得最佳感知品質。他們的觀看距離的範圍可以大約從7.5’’到23.6’’。平均觀看距離可以大約是12.7’’,且標準偏差可以大約是3’’。這可以意味公平散開分佈。±1σ的範圍可以對應於從9.7’’到15.7’’的距離範圍。範圍±2σ可以意味從6.7”到18.7”的距離範圍。第16圖顯示了該分佈的近似形狀的示例。
可以描述並使用空間密度限制。視覺信息量可以由空間密度來限制。限制可以包括例如行動裝置上的螢幕的空間密度,及/或人類視覺的空間靈敏度極限。
顯示器的空間密度或解析度可以以絕對度量來報告,例如但不限於每英寸的像素(ppi)。角度特性(例如但不限於對應於1°視角的像素數)在這裏可以被使用。當觀看距離已知時,對應於1°視角的像素數可以計算如下:
人類視覺系統(HVS)可以具有其自己的對空間解析度的極限。視覺敏銳度極限可以表明具有正常視力(例如,所謂的“20/20”)的人可以辨識小至1/60度視角的空間細節。這可以意味著為了匹配或超過人類視覺敏銳度極限,螢幕密度和觀看者離螢幕的距離可以使得所產生的角度密度至少是一度視角的60個像素。該極限被超過任意較大角度,提供的回報減少,因為具有正常視力的用戶並不能察覺到。
這裏可以描述觀看設定的示例。表1提供了一些可能的觀看設定的參數的示例。表1可以考慮一些種類的現代行動裝置,包括但不限於膝上型電腦、平板電腦和智慧型電話,以及各種可能的觀看距離。以底線標記的情況可以是視角可以大於或等於30°的情況,其可以被認為是足夠寬以在常規設定中看TV或電影。用雙底線標記的情況可以是再現設定的角度密度可以超過視覺敏銳度極限的情況。
一些行動裝置(例如,智慧型電話)可以具有在非常大範圍波動的視角,例如從下面的5°(sub-5°)到中間的20°(mid-20°)。然而,即使有非常短的觀看距離,它們可能達不到一些再現設定期望的30°。較大的裝置(例如膝上型電腦或平板電腦)可以適應30°且更高的視角。行動螢幕可實現的角度密度可以匹配或超過人類視覺的敏銳度極限。行動顯示技術能夠以觀看者不再能夠接收到並察覺的密度再現視覺內容。例如,觀看距離越大,角度密度越大,且在視覺鏈路中傳輸方(例如顯示器)與接收方(例如人眼)的能力的失衡越大。使用將來的顯示技術,這種失衡會增大。在這些情況下,以螢幕支援的最大空間解析度編碼並傳輸自然視覺內容是越來越浪費的。
可以描述並使用照明效果。除了改變觀看距離和角度,行動觀看體驗還可以受到各種照明環境的影響。這些環境可以隨觀看位置(例如,室內或室外)、一天的時間、季節、地理位置及/或許多其他因素而發生變化。
行動螢幕發出的光可以與從各種週邊源反射的光“混合”。因此,投射到螢幕的圖像的顏色可以變得“被洗掉”。這可以在例如對比度降低、色域降低以及顏色平衡移位方面來被量化。例如,對比率可以藉由分別在白狀態和黑狀態下除以總的顯示亮度來計算。在週邊照明下,來自顯示器的總亮度可以計算如下:
可以是顯示器發出的亮度,和可以是來自直接和散射光源的亮度,以及和可以是行動螢幕的鏡面和漫反射特性。對比度甚至針對中等亮度可能迅速下降。
螢幕對比度下降的結果之一可以是人類觀察者能夠看到的空間頻率的範圍縮小。這可以藉由考慮所謂的人類視力的對比度靈敏度函數(CSF)來解釋。該函數的示例圖如第17圖所示。
當對比度非常高時,可視訊率的範圍可以受到敏銳度界限的限制,例如如第17圖的靠右邊部分所示。如果對比度小,可以定義以一個或的兩個點接觸CSF的下限。右邊的點可以定義最大可視空間頻率。左邊的點可以定義最小可視空間頻率。藉由進一步降低對比度,可視訊率的範圍可以被縮小到例如對應於CSF曲線的峰值。該峰值可以在每度視角3-6個循環之間。其可以遠離敏銳度極限大約5-10倍。
照明例如透過縮小瞳孔可以對視力具有額外效果。在高照明下,瞳孔可以縮小,這可以減小角膜(例如“晶狀體”)缺陷導致的失真。這可以(例如在一定程度上)抵消上述效果。
可以描述並使用螢幕傾斜度。行動螢幕的傾斜度可以指表面的法線與用戶觀看方向(例如觀看軸)之間的角度。例如,如第15圖所示,傾斜度可以是0°。傾斜度可以變化。傾斜角度可以影響例如亮度、對比度、顏色等。例如,iPhone 4R的30度的傾斜度可以導致亮度降低57%,以及對比率下降超過2的因數。
可以描述並使用興趣點。當用戶正看著螢幕時,其眼睛可能正專注在螢幕上的某個區域。在該專注點人的敏銳度可以是最大的(例如,在中央凹中投影圖像),在專注點以外的任意方向敏銳度衰退。例如,僅從固定點起2°內就可以捕獲大約50%的視覺資訊。
可以描述並使用對3D內容的感知深度的效果。關於觀看者距離的資訊可以在3D視訊再現被使用時被利用。例如,3D視訊預備的感知3D深度可以被影響。例如,感知深度可以被表達如下:
其中D可以是感知深度,f可以是距離螢幕的距離,α可以是像素密度,b可以是雙眼之間的基線距離(例如,用戶的IPD),以及d可以是螢幕上物體的視差(disparity)(例如,以像素為單位)。
觀看者距離螢幕的距離可以用於調整視差及/或獲取並顯示另一視圖,以補償深度失真。用於3D觀看的基於觀看者距離的自適應可以藉由考慮人視力的聚散度和焦距、以及相關的“舒適區域”的概念來理解。
第18圖顯示了在不同觀看情形中聚散度和焦距的示例。左邊三行顯示了自然觀看(N),具有光學矯正(例如眼鏡)的自然觀看(G)和立體3D觀看(S)的示例。在自然觀看中,聚散度刺激和焦點刺激可以位於相同的距離,由此可以彼此一致。在具有對折射差錯的光學矯正(例如,眼鏡或隱形眼鏡)的自然觀看中,由於矯正導致的焦度(focal power)連續遞減或遞增,焦距可以與聚散度距離不同。立體觀看可以產生聚散度距離與焦距之間的不一致,這是因為例如聚散度距離依據圖像內容而變化,而焦距可以保持恒定。
第18圖的右側顯示了針對左側示例的六種觀看情況,根據聚散度距離(以屈光度為單位)的焦距(以屈光度為單位)的示例圖。綠線顯示了自然觀看的示例,藍線顯示了具有光學矯正的自然觀看的示例,以及紅線顯示了觀看立體顯示的示例。在軸上指出了近距離和遠距離。
第19圖顯示了清楚的雙眼單視區域(ZCSBV)的示例。焦距和聚散度距離可以分別在縱坐標和橫坐標上繪製(以屈光度為單位)。虛對角線可以表示與自然觀看相關聯的聚散度刺激和焦點刺激的示例。標記有“最小相對聚散度”的線可以表示最小聚散度距離,針對該最小聚散度距離,觀看者可以維持在每個焦距下刺激目標的單個理想對焦的圖像。標記有“最大相對聚散度”的線可以表示最大聚散度距離,針對該最大聚散度距離,觀看者能夠維持單個理想對焦的視覺。
可以提供對觀看條件自適應的實施可以被描述並使用。在用戶手持其行動裝置的方式上可以變化,其可以影響它們能夠獲取的視覺信息量。例如,如表1中所示,行動電話螢幕的不同觀看距離和方位可以導致視角改變,例如,近似從5°到25°。假設行動螢幕的密度高,這可以意味著可視鏈路頻寬的因數5的可變性。周圍的照度可以導致對比率下降幾個量級。對比度的下降可以明顯減少可視空間頻寬(例如,如第20圖所示)。電話螢幕的傾斜度可以導致亮度和對比度下降額外的因數2。
用戶可能正全神貫注於螢幕,或他/她正看別的地方。如果用戶正全神貫注於螢幕,用戶可以得益於最佳可能的傳輸的視訊品質。如果用戶沒有全神貫注於螢幕,那麼品質可以降低,而不會對用戶造成任何不便。用戶可能正僅專注於螢幕的一部分。以空間分隔顯示的細節可能沒有被觀察到(例如,大於例如從該感興趣的區域起2-3度)。
這裏描述的實施可以提供利用一個或多個觀看/視覺參數(例如,如這裏所述的)系統設計的改進。觀看/視覺參數可以用於降低對例如網路的負載、功率使用,並向用戶傳輸最佳可感知品質的視覺資訊。利用觀看/視覺參數的實施在這裏可以被稱為觀看條件自適應。
這裏描述的實施可以在向用戶傳輸內容中被部署在不同點。所利用的視覺參數的有效性可以依據用戶裝置、視力及/或其他特性。例如,正使用低密度螢幕及/或具有好於20/20視力的用戶不能得益於使用觀看距離自適應的實施,但其他技術是有用的。
視訊處理鏈工具可以被提供。觀看條件自適應可以是傳輸視覺資訊及/或在行動螢幕上投射視覺資訊的系統的一部分,例如行動視訊串流、視訊電話應用程式等。該系統可以具有用於交換視訊位元率和品質的措施。該措施可以包括但不限於產生多個速率或可縮放視訊編碼/解碼的能力(例如,用於串流視訊)、動態改變編解碼器/視訊編碼/解碼鏈的參數的能力(例如,在視訊電話應用程式中)等。
編碼的視訊的空間解析度的變化可以是一種實現不同位元率(例如空間頻寬)的方式。這可以例如在編解碼器(例如,如果編解碼器支援解析度的動態變化)中實現,或以預處理及/或後處理邏輯的方式來實現。
預處理器可以降低(例如動態降低)視訊的解析度。後處理器可以被配置成對視訊進行上採樣。在預處理器中可以應用低通濾波。處理鏈的其餘部分可以保持原樣。第20圖中描述了一個示例。例如如果在低對比度狀態(regime)下操作,這種濾波器可以是帶通的。帶通濾波器可以移除不可見的低頻。信號頻寬越低,則編解碼器可以產生的越低。這可以藉由將新目標速率或量化步長(QP)參數傳遞給編碼器來執行。
自適應系統中用於交換視訊位元率和品質的措施可以包括但不限於降低訊框率,切換到“幻燈片顯示”模式等。這些措施可以由自適應邏輯來調用,例如在品質可以被降低而不會導致用戶不便的情況下(例如,當用戶沒有專注於螢幕時)。
可以提供觀看條件自適應實施的速度和粒度。人類視力的自然極限可以允許以某些延遲來執行自適應。例如,一個特性可以被稱為適應延遲。適應延遲可以是人眼將焦點從一個距離改變到另一個距離所花的時間。對成年人來說,適應延遲可以是大約350ms。例如,這可以意味著如果用戶分心(例如正看著行動裝置的螢幕以外的物體)但之後又看回到行動裝置的螢幕,則用戶的眼睛將焦點改回到行動裝置的螢幕要花大約350ms。
單向通訊延遲可以在100-300ms之內(例如,在LTE無線網路中)。這可以例如是針對行動視訊電話應用程式的範圍。延遲可以足以執行這裏所述的實施,以以用戶察覺不到的方式執行觀看條件的改變。如果在基地台處執行實施,這種延遲可以較慢。該系統可以執行將在任意給定時間在空中傳送給WTRU的視訊的代碼轉換或視訊層的選擇(例如,如果以可縮放/分層方式編碼)。視覺再現的空間頻寬可以變化。如果以小增量(例如每倍頻程(octave)3-5步)引入變化,則該變化是注意不到的。
可以描述並使用利用觀看條件自適應的實施。這裏可以描述傳輸系統可以使用的自適應技術。可以使用自適應技術組合的子集,包括但不限於以下中的一者或多者:對用戶存在的偵測和自適應;對螢幕傾斜度的偵測和自適應;對用戶距離螢幕的距離的估計和自適應;對用戶距離螢幕的距離以及借助校準測試的用戶視力的自適應;對照明條件的估計和自適應;以及對用戶興趣/關注點的估計和自適應。
對用戶存在的偵測和自適應。如果用戶不存在,則系統可以降低視訊率,例如降低到最低的“收費(toll)”品質表示,將其轉到幻燈片顯示及/或關掉視訊。可以存在一些能夠用於例如藉由使用專用“用戶接近”感測器,藉由使用電話的前置相機,藉由使用紅外成像裝置,藉由使用超聲感測器,藉由使用來自麥克風輸入,藉由使用動作感測器等來偵測用戶的存在的感測器和技術。
接近感測器可以用於在用戶講電話時關閉螢幕背光。來自該感測器的輸入可以用於停止或調整(例如降低)內容(例如視訊)傳輸的位元率。當使用來自其他感測器的輸入時,該輸入可以被轉換成指示用戶存在的指示符。該指示符可以用於作出關於待傳輸的內容(例如視訊)的速率、品質等的決策。
這裏可以描述可以使用的使用來自前置相機的輸入的偵測邏輯。系統可以從前置相機獲取圖像。面部偵測演算法可以用於找到圖像內面部的位置。例如,系統可以使用Viola-Jones偵測器來偵測面部。如果找到面部,可以確定用戶存在。如果沒有找到面部,可以確定用戶位於前置相機的視野以外,或超出面部識別演算法的範圍。這樣的示例如第21圖中所示。在廣角相機和窄角顯示器的情況中,可以推斷用戶不能看到呈現在螢幕上的內容。如果用戶在範圍之外,則他/她不能感知全螢幕解析度。
這裏可以描述對螢幕傾斜度的偵測和自適應。行動裝置可以包括感測器,其可以用於估計相對於行動裝置螢幕的用戶位置及/或方位。例如,感測器可以包括但不限於電話的前置相機、紅外感測器、超聲感測器、麥克風陣列等。系統可以獲取電話前面的視野的圖像(例如,可見光、IR、基於聲納等)。系統可以偵測人臉的位置。系統可以計算相對於該位置的角度。例如,如果相機被用作感測器,則來自相機(例如前置相機)的圖像可以被捕獲,並被用於偵測人臉。面部偵測技術(例如但不限於Viola-Jones偵測器)可以被使用。如果沒有偵測到面部,則系統可以推斷用戶的觀看方向可以至少遠離相機視角的一半。例如,這可以如第21圖所示。當偵測到使用者的臉時,傾斜度可以計算如下:
可以描述對用戶距離螢幕的距離的估計和自適應。可以存在用於偵測相對於螢幕的用戶距離的感測器和技術。這可以藉由使用例如電話的前置相機、紅外成像、超聲感測器或藉由來自這些感測器的輸入的任意組合來完成。
動作感測器可以用於偵測觀看距離的可能改變。可以使用來自前置相機的輸入來確定觀看距離的改變。例如,人臉部特徵(例如但不限於瞳孔間距(IPD))可以被用作可以用於分析用戶的觀看距離的度量。
該邏輯的示例可以參照第22A圖至第22B圖來解釋。起作用的兩個角度是相機的視角和使用者眼睛之間的角度(a),其中該視角可從電話的說明書中已知。如果圖像被面部偵測器捕獲及/或處理,在該圖像中的使用者眼睛之間的距離(例如,以像素來測量)可以被測量。使用者眼睛之間的角度可以被計算如下:
未知變數可以是用戶的IPD。用戶的IPD可以被估計及/或作為輸入參數被提供給應用(例如,為特定用戶定制)。例如,大多數成年人的IPD可以在50-75mm的範圍內變化。該範圍可以用作估計。如果用戶輸入其精確的IPD作為參數,則系統的性能可以更精確。例如對於自適應邏輯來說,知道(例如僅知道)觀看者距離的下限估計就足夠了。如果有多個觀看者正在看螢幕,則偵測離螢幕最近的觀看者的距離就足夠了。
用於基於用戶的IPD偵測其距離的實施可以包括以下(例如所有或子集):估計及/或輸入用戶的瞳孔間距(IPD)作為參數;獲得相機參數,例如但不限於解析度和相機角度;使用前置相機捕獲圖像;偵測在圖像內人臉的存在及/或位置;測量圖像中用戶眼睛之間的距離(例如,像素級距離);以及基於已知數量計算用戶距離螢幕的距離。
偵測圖像內的面部(例如人臉)可以例如使用Viola-Jones偵測器來實現。偵測器可以計算一些標準圖像特徵(例如IPD)的像素級尺寸。如果在圖像中偵測到多個面部,則可以穩定螢幕到面部中的一者或多者的距離。距離螢幕最近的臉可以被使用。用戶的距離可以被用於(例如,可能與關於照度和視角的資訊結合用於)偵測螢幕上可視空間頻率的範圍。該可視訊率的範圍可以被用於確定空間解析度及/或濾波器參數,例如用於視訊編碼/解碼及/或切換到使用這些參數編碼的串流。
可以描述對用戶離螢幕的距離和借助校準測試的用戶視力的自適應。用於偵測用戶在不同觀看距離察覺視覺細節的能力的技術可以經由一個或多個測試來確定。例如,用戶可以被引導觀看螢幕,並回答一系列問題,例如但不限於如第23圖和第24圖所顯示的。第23圖顯示了可以允許偵測使用者能夠在其最舒適位置看到的最小空間細節的示例問題。使用第24圖的示例問題,使用者可以被指示將相機/螢幕移到其依然能夠看到這些細節的最遠點。當使用者確認這個(例如按下OK),可以拍下使用者的相片,其臉可以被偵測,且IPD可以被計算(例如在像素域中),該IPD可以對應於使用者的觀看距離。這可以偵測當使用者將來位於較短或較長距離時的情形。可以確定一個或多個距離/可視解析度點。例如,藉由要求使用者使用兩個可能的字母大小(例如,參考第24圖中的測試)來確認(例如,按下“OK”),可以獲得兩個距離/可視解析度點,這足以對任意距離進行自適應。
可以描述和使用對照明條件的估計和自適應。可以使用一個或多個感測器來估計照明條件,感測器可以例如但不限於環境光感測器資訊、前置相機、後置相機等。這樣的資訊(例如與關於螢幕的亮度設定的資訊一起)可以被用於估計螢幕的可達到對比度和總照明量。
可以使用關於螢幕傾斜度的資訊來改善估計。估計的總照明可以用於選擇合適的對比度靈敏度曲線。螢幕的對比度可以用於偵測合適對比度靈敏度曲線上的工作範圍。這可以產生螢幕上可視空間頻率的範圍。
前面和背部照明可以以不同方式影響用戶感知。例如,前面照明可以從螢幕被反射。背部照明可以改變瞳孔的擴張。一旦偵測到頻率的範圍及/或用戶離螢幕的距離已知,前面及/或背部照明可以用於確定空間解析度及/或將用於編碼內容及/或切換到使用濾波器參數編碼的流的濾波器參數。
可以描述和使用對觀看者的關注點的估計和自適應。用戶可以感知螢幕的小部分中的畫面細節,該小部分這裏可以稱為“關注點(POA)”。用戶POA以外的螢幕區域中的解析度可以被降低而不會明顯影響用戶。當用戶距離螢幕的距離非常短(例如在較寬視角)時,估計用戶的POA是有用的。例如,用戶的POA可以用於具有內容導出的特徵(saliency)點的基於特徵的編碼中。用戶的POA可以被估計並用於改進用戶體驗。用戶的POA可以用於沒有用該資訊編碼的舊材料的串流中。
例如,用戶的POA可以使用前置相機通過測量瞳孔與來自角膜晶體的反射之間的角度來估計。雖然為了該測試用戶必須靠近,但這可以是在測量相關時的一個時機。
可以使用用戶的POA來實施以下中的一者或多者:支援將畫面分成多個部分或瓷磚的編碼器,其中每個部分/瓷磚可以以多個解析度或層被編碼;具有前置相機的行動裝置和用於估計用戶觀看點的過程;用於計算每個瓷磚的最優解析度的實施;用於針對部分/瓷片向網路確定可以使用哪個解析度的信令實施;以及自適應網路實體。如果該實體不是編碼器/解碼器,則一些層/速率可以從編碼器/解碼器被發送,及/或從從中選擇自適應實體的伺服器被發送。可以例如在網路節點(例如節點B)中執行自適應以減少自適應時間。呈現演算法可以將部分/瓷磚縫合起來。
可以使用電腦視覺及/或電腦圖形技術。例如,Viola-Jones臉部偵測器和眼睛跟蹤器可以用於確定固定點。例如可以使用局部特徵(例如但不限於尺度不變特徵變換(SIFT)特徵)來完成縫合。
第25圖顯示了觀看條件自適應系統的示例。行動串流視訊系統可以整合這裏描述的用於觀看條件自適應的實施中的一者或多者。第11圖可以顯示出串流系統的架構示例。串流用戶端(例如位於WTRU中)使用的元件和邏輯的示例可以在第25圖中顯示。該用戶端可以與串流或HTTP伺服器通訊,該伺服器可以儲存以不同速率及/或空間解析度編碼的多個視訊串流。用戶端裝置可以使用前置相機來估計觀看距離及/或照明等級。例如,這些參數(例如,還有用戶端的可用頻寬視圖)可以用於確定用戶端能夠請求內容(例如視訊串流)時的最佳解析度。
串流伺服器可以對用戶端請求作出反應。例如,串流伺服器可以是現成的速率自適應HTTP及/或RTSP/RTP相容的伺服器。該系統可以使用這裏描述的實施的所有或任意子集。
例如,由於網路中的擁塞和其他可能的損害,在無線和有線網路中的串流可以使用對可變頻寬的自適應。可以使用多媒體內容對一些目標速率的同時編碼。這可以與用戶端應用中的信令和速率切換邏輯耦合。第26圖顯示了該系統的功能的示例架構和解釋的圖。第26圖的示例顯示了基於自適應HTTP的串流系統的操作。
在串流系統中,可以以特定粒度來進行流切換,該粒度可以大約是2-10秒。用戶端可以在編碼的流之間切換的點可以稱為切換點。切換點之間的編碼的內容的部分可以稱為片段。
在串流會話期間,串流用戶端可以計算每個片段的傳輸速率,這可以給用戶端對接收下一個片段可用的網路頻寬的估計。基於該估計,用戶端可以決定哪個下一個編碼/速率將用於下一個片段。用戶端可以使用該模型來自適應改變的網路條件。關於編碼串流的資訊(例如,高級資訊)(例如,可能包括編碼串流的速率)可以被儲存在清單或多媒體演示描述(MPD)檔中。針對流中每個編碼的片段的偏移和時序資訊可以儲存於片段索引檔中。
可以定義編碼的媒體片段、片段索引及/或媒體演示描述(MPD)檔的格式。可以允許串流切換的具有共同屬性的編碼集可以稱為自適應集。自適應集的元素可以稱為表示。自適應集可以包括子表示作為組件。表示和子表示可以包括一個或多個媒體內容組件,例如但不限於音頻、視訊、文本等。
MPEG-DASH自適應集、表示及/或子表示可以共用共同屬性。例如,如果它們包括視訊,則它們可以具有@寬度、@高度、@sar及/或@訊框率屬性。如果它們包括音頻,則它們可以包括@音頻採樣率屬性。屬性可以包括@mime類型和@編解碼器屬性。可以或可以不需要屬性。表示可以具有其自身的唯一屬性,例如但不限於@id、@頻寬、@品質排名等。
可以普遍使用MPEG-DASH串流標準,以例如用於將資訊傳輸到再現裝置,包括但不限於電視機、電腦、平板電腦以及智慧型電話。當使用不同的再現裝置時觀看設定的特性可以不同。例如,當在行動裝置上看視訊時,其小螢幕在以舒適距離拿著時會產生5-10°的視角。當用戶正用手持有裝置時,該距離不再是靜止的,例如其可以隨著用戶的姿勢和對內容的關注而發生變化。第7圖和第8圖顯示了顯示在行動設定中觀看設定參數和觀看距離分佈的圖表。
如這裏所述,表1顯示了不同行動裝置的觀看設定示例。行動觀看可以帶來寬的視角分佈,其對於小型化(small-form-factor)裝置來說可以是小的(5-10°)。視覺內容的有效密度可以超過敏銳度極限。
視覺的時間特性可以被考慮。一個時間特性可以是臨界閃爍頻率(CFF)。第27圖顯示了根據從觀看軸起的傾斜度的CFF值的地形圖的示例。這些測量可以針對右眼被產生。黑色區域可以對應於盲點。從第27圖中可以觀察到在中央(中央凹)區域,CFF可以近似55Hz。對於周邊區域,CFF可以近似85Hz。臨界停閃頻率的偏心率(例如,內圓可以對應於從觀察軸起的30°移位)可以在第27圖中被描述。這表明使用窄角度(例如5-10°)再現,可以在視訊內容編碼中使用較低訊框率(例如,與寬角度再現的情況相反)。
為常規(例如30-40°角度)觀看產生的視訊編碼可以比能夠看到及/或欣賞的窄(例如5-10°)視角再現的行動用戶提供多得多的資訊(例如在空間和時間細節方面)。
為了最佳化窄視角再現的傳輸,內容發佈方可以使用多種技術。例如,內容製作方可以以任意可允許的組合,在空間上及/或時間上下採樣視訊,應用空間或時間預濾波技術,使用編碼器級最佳化(例如但不限於訊框/片和MB級RD決定模式,其可以與可以被調節到特定再現設定的價值函數耦合)等。
可以使用工具執行下採樣,並可以或可以不需要任意其他屬性或信令。例如,DASH MPD格式可以包括@寬度、@高度及/或@訊框率屬性。例如,如果行動裝置本來支援720p解析度,期望的是發送以該空間解析度編碼的視訊資料,而借助預濾波和代碼級最佳化來移除感知冗餘。
例如,其他實施可以用於針對給定的固定視角來最佳化內容(例如視訊)。藉由移除作為自由度之一的視角,每個編碼的有效性可以被改善。
例如,這裏可以揭露另外的屬性,以能夠使用這種以DASH的定制串流。以DASH MDP語法的屬性可以包括但不限於@視角,其可以是指定對觀看以給定表示或自適應集編碼的內容的期望(例如,最佳的)視角的屬性。@最小視角和@最大視角可以是標識觀看距離的範圍/由給定表示或自適應集支援的編碼的範圍的屬性。
DASH可以包括@截止及/或@頻率回應,其可以是指出內容在以給定的截止頻率參數進行編碼之前被低通濾波的屬性。@截止及/或@頻率回應參數可以足以借助空間預濾波實施定制。@視角屬性可以將這樣的決定留給編碼器/解碼器。@最小視角和@最大視角的引入可以允許一個範圍,並可以用在描述和編碼串流中。
可以藉由至少螢幕的物理尺寸(例如,螢幕寬度)和觀看者與螢幕之間的距離的組合來用信號發送視角。例如,視角可以按如下被用信號發送:
螢幕的物理尺寸和觀看者與螢幕之間的距離可以提供觀看設定的特性描述。例如,對於2D圖像/視訊再現,可以使用視角。在3D圖像和視訊的再現中,可以有至少多一個自由度,因此螢幕的物理尺寸和觀看者與螢幕之間的距離的信令可以被使用。這種示例在第28圖中顯示。
第28圖顯示了具有相同視角(α)但不同交叉角度(β和β’)的兩種設定的示例圖。參考第28圖,視角(α)針對兩種設定可以是相同的。交叉角度(β和β’)可以不同。交叉角度的差隨著觀看距離與瞳孔間距(IPD)之間的定額(ration)增加而減小。IPD可以因人而異。例如,成年人典型的IPD的範圍可以大約在50-75mm(1.96-2.95’’)之間。因此,用於3D再現的觀看設定的信令可以說明用戶的IPD。
參照第28圖,可以使用視角(α)和交叉角度(β)。這些參數可以從描述符中得到,該描述符包括屬性,例如但不限於螢幕的物理尺寸、用戶的眼睛與螢幕之間的距離、以及用戶的IPD。描述符還可以被定義,由此它們列出一些參數的任意組合,其中,可以使用子集。例如,描述符可以用參數來定義,該參數例如但不限於螢幕的物理尺寸、用戶的眼睛與螢幕之間的距離及/或視角。這些參數中的任意兩個參數可以用於導出第三個參數。
這裏揭露的觀看設定的參數的任意組合可以被包括,作為以DASH標準的MPD檔中的自適應集、表示及/或子表示的預定義屬性。例如,可以借助DASH MPD檔中的通用描述符來用信號發送觀看設定的參數的任意組合。該信令的示例可以說明如下:
例如,“schemeIdUri”可以提供使用該屬性的規格及/或部署系統的識別字。行為屬性可以指示通用用戶端(例如串流用戶端)可以如何對描述符(例如,其可以與觀看參數有關)做出反應。例如,如果描述符被指定為必須的(例如“必需的”、“必要的”等),則了解及/或能夠使用該描述符(例如觀看參數)的用戶端(例如僅用戶端)可以使用這些表示。如果“行為”被指定為任意的(例如“可選的”、“補充的”等),則用戶端可以使用該表示,即使用戶端沒有了解該描述符(例如,觀看參數)。“值”可以指定該描述符包括一個或多個值。例如,在這裏提供的示例中,值可以指視角。
例如,“schemeIdUri”可以提供使用該屬性的規格及/或部署系統的識別字。例如,如果“行為”被指定為“必需的”,則理解及/或能夠使用該描述符(例如,觀看參數)的用戶端(例如,僅用戶端)可以使用表示。如果“行為”被指定為“可選的”,則用戶端可以使用或可以不使用表示,即使用戶端理解該描述符(例如觀看參數)。“值”可以指定該描述符包括一個或多個值。例如,在這裏提供的示例中,值可以指視角。
可以在自適應集等級定義描述符。可以在表示及/或子表示級定義描述符。URI(例如但不限於“urn:sdo:dash-ext1:viewing-angle”、“urn:sdo:dash- ext1:min-viewing-angle”、和“urn:sdo:dash-ext1:max-viewing-angle”)可以用於識別視角的最小值、最大值及/或期望值。類似的URI可以被定義用於傳輸這種資訊(例如但不限於顯示器尺寸和觀看距離參數組合)的替代方式。
例如可以在DASH串流用戶端中存在使用視覺屬性的數種方式。例如,中度的(median)觀看距離及/或一個或多個視角參數可以被使用。例如,DASH串流應用程式可以使用OS供應的API,以獲得該應用程式在其上執行的裝置的物理參數。該參數可以包括但不限於裝置的移動性(例如,其可以從網路連接的類型中推出)、螢幕的本來的解析度、螢幕或螢幕對角線的像素密度、是否可以以視窗進行呈現(例如視窗尺寸及其位置)等。
在裝置上操作的DASH用戶端也可以推出其尺寸。例如,如果裝置是移動的且其具有5’’或更小的螢幕,則DASH用戶端可以推出裝置是手持裝置。Dash用戶端可以選擇中度的觀看距離特性(例如,見第26圖)。用戶端可以估計視角。使用該估計,用戶端可以選擇自適應集和表示,例如使用@視角(及/或@最小視角、@最大視角或@截止或@頻率回應)值作為可能的目標。
可以使用動態估計的觀看距離及/或視角參數。內容發佈方/發行方可以部署智慧行動串流用戶端應用程式。應用程式可以使用感測器來估計用戶與裝置之間的距離。應用程式可以確定當用戶觀看內容(例如看視訊)時可以存在的視角。
第29圖顯示了自適應用戶的行為和觀看條件的示例串流系統的圖。用戶端可以訂閱達到與其設定(例如,其可以包括這裏描述的視覺特性中的一者或多者)的最佳匹配的串流。例如,基於用戶的行為和觀看條件和一個或多個預編碼的串流,用戶端可以最佳化針對不同視角的內容的傳輸。
MPEG-DASH標準可以提供用於基於HTTP的自適應串流系統的設計的框架。其可以提供一組用於內容特性描述的屬性,使串流用戶端可能能夠做出關於表示和內容呈現的選擇的明智決定(informed decision)。例如,以DASH編碼的視訊能夠由以下中的一者或多者來描述:@編解碼器-使用的編解碼器類型、配置檔和等級;@頻寬-用於編碼片段的目標速率;@寬度、@高度、@sar、@訊框率-視訊解析度、縱橫比、訊框率;以及@品質排名-相對於自適應集中其他編碼的品質排名。
使用一個或多個屬性,DASH用戶端可以確定編解碼器的自適應集及/或表示,以及最佳匹配特定裝置的呈現能力的視訊特性。對可用網路頻寬的調整可以藉由檢查@頻寬屬性及/或在以不同速率編碼的串流之間的切換來實現。
例如,在觀看環境(例如但不限於電影院和起居室)中,可以選擇觀看位置來實現螢幕的寬(例如25-40°)視野。例如,THX建議36°作為電影再現的最佳視角。類似地,SMPTE EG-18-1994建議至少30°寬的視角。當用戶正在行動裝置上(例如智慧型電話或平板電腦)看視訊時,視角可以比上述建議的要小(例如,5-20°)。這可以是由於行動裝置有限的物理尺寸及/或用戶離行動裝置的螢幕的距離。
行動觀看設定的參數示例在第15圖中顯示。例如根據以下算式,這些參數可能互相關連:
下面再現表1。表1提供了一些可能的觀看設定的參數示例。在表1中,靜止觀看設定的特性可以與使用行動裝置示例的可能設定進行比較。
可以計算兩個螢幕方位的視角。所產生的關於螢幕的資訊的空間密度可以被計算。例如,空間密度可以表示為:
例如,如表1中所示,移動環境中的視角可以是小的(例如,對於小型化裝置來說是5-10°)。這可以比看TV的用戶體驗的視角小3-6倍。所產生的空間密度跨過1/60度的視角障礙(可以稱為視覺敏銳度極限)。該實例的示例如表1中所示。在一些情況中,密度可以超過敏銳度極限的兩倍。
為寬角度觀看預備的視訊的精細空間細節可以在或可以不在行動螢幕上可見。一些或所有空間頻率的可視性可以受比例/角度變化的影響。窄視角可以排除可以具有較高時間靈敏度的視覺的週邊區域,潛在地可能實現以低於正常用於寬角度再現的速率的速率呈現視訊。
可以為不同裝置及/或再現設定最佳化串流。例如,假定靜止(例如寬角度)再現的視訊編碼如果用於傳輸給小行動裝置,則其是無效的。例如如果知道使用窄視角設定來進行再現,則可以利用少得多的位元來實現相同的用戶體驗。
一個或多個編解碼器級及/或預處理工具可以用於編碼及/或處理具有窄視角設定的裝置的內容(例如視訊)。工具可以包括但不限於在編碼之前在空間及/或時間上對視訊進行下採樣,空間及/或時間預濾波(例如在編碼之前進行低通濾波),編解碼器級工具的使用(例如,量化、R/D決定邏輯等)等。
這裏描述的實施可以提供允許以下中的一者或多者的屬性:可以在許多裝置上使用的編碼串流及/或MPD檔的產生、需要的較少編碼及/或MPD檔、針對不同再現環境編碼的串流的唯一標識(例如,具有相同位元率及/或解析度但是不同外表的串流)、以及DASH用戶端中的自適應邏輯(例如使用戶端能夠根據再現設定和裝置來選擇合適的表示)。例如,根據這裏描述的實施描述用於觀看編碼的內容的視角的一個或多個屬性可以被添加。
根據這裏描述的實施,以下中的一者或多者可以被添加,例如如表2、3和4所示:
可以基於裝置特性(例如,裝置的觀看特性)來最佳化編碼。例如,在@視角參數的一些不同值記憶體在自適應集及/表示的情況下,用戶端(例如DASH用戶端)可以做出關於使用哪個值的決定。例如,用戶端應用可以(例如使用OS供應的API)獲得該應用在其上操作的裝置的特性。該特性可以包括但不限於裝置的移動性(例如,其可以從網路連接的類型中推斷出)、螢幕的解析度及/或可以用於呈現的螢幕的區域、螢幕及/或螢幕對角線的像素密度等。用戶端可以例如基於裝置的移動性類型和螢幕的尺寸對裝置進行分類(例如,分為智慧型電話、平板電腦、固定裝置)。用戶端可以選擇可以被使用的觀看距離及/或視角。例如,對於智慧型電話來說,可以使用基於已知統計的觀看距離的中位數。類似的資料可以針對其他類型的裝置存在。用戶端可以例如使用對觀看距離及/或視角的估計,及/或使用表示及/或自適應集的@視角屬性的宣稱的值來選擇要使用的自適應集及/或表示。例如,播放器(例如DASH播放器)可以實現對為特定裝置上的最佳觀看採用的串流的選擇。可以需要對內容及/或MPD檔的非自定義(例如每個裝置的)編輯(authoring)。
可以基於動態估計的觀看距離及/或視角參數來最佳化編碼。在@視角參數的一些不同值記憶體在自適應集及/或表示的情況下,DASH用戶端可以藉由使用以下邏輯做出關於使用哪一個的決定:DASH用戶端應用可以使用裝置感測器(例如,用戶接近感測器、IR及/或前置相機)來偵測用戶的存在,且如果用戶存在——偵測其離螢幕的距離;使用獲得的距離,以及螢幕的特性,DASH用戶端可以計算視角;使用視角,以及表示及/或自適應集的@視角屬性的宣稱的值,用戶端然後可以選擇要使用的最合適的自適應集及/或表示。DASH用戶端中的該邏輯的示例圖示在第29圖中被提供。在第29圖顯示的系統中,用戶端還可以在使用者不存在及/或不關注螢幕的情況下做出智慧決定。該決定可以包括但不限於降低視訊品質及/或速率,及/或停止重播。
如這裏所述,實施可以提供與多媒體內容的觀看條件自適應相關聯的方法和系統。例如,裝置(例如行動裝置、個人電腦、視訊會議裝置等)可以從網路(例如網路節點,例如但不限於串流伺服器、HTTP伺服器等)接收多媒體內容(例如視訊)。例如裝置可以確定與用戶、裝置及/或內容相關聯的觀看參數(例如,多個觀看參數)。觀看參數可以包括以下至少其中之一:用戶觀看參數、裝置觀看參數或內容觀看參數。觀看參數可以包括多個觀看參數。
如這裏所述,用戶觀看參數可以包括以下至少其中之一:用戶存在、用戶相對於裝置螢幕的位置、用戶相對於裝置螢幕的方位、用戶相對於裝置螢幕的視角、用戶距離裝置螢幕的距離、用戶的視覺敏銳度、周圍光照條件(例如,周圍光強度)、觀看裝置螢幕的用戶數量、或用戶的關注點。
如這裏所述,裝置觀看參數可以包括以下至少其中之一:裝置的移動性、裝置螢幕尺寸、裝置螢幕解析度、裝置螢幕的像素密度、裝置螢幕的對比度、裝置螢幕的亮度、裝置上顯示多媒體內容的視窗的尺寸、或裝置上顯示多媒體內容的視窗的位置。如這裏所述,內容觀看參數可以包括以下至少其中之一:多媒體內容的對比度、多媒體內容的色域、三維多媒體內容的存在、或多媒體內容的三維內容的深度範圍。
可以由裝置(例如裝置的處理器、位於裝置上的DASH用戶端、位於裝置上的軟體等)確定觀看參數。可以使用以下至少其中之一來確定觀看參數:裝置螢幕尺寸、裝置螢幕解析度、裝置螢幕角度、裝置螢幕的像素密度、裝置螢幕的對比率、用戶接近感測器、前置相機、後置相機、光感測器、紅外成像裝置、超聲感測器、麥克風、加速度計、羅盤或陀螺儀感測器。例如,裝置的感測器(例如,用戶接近感測器、前置相機、後置相機、光感測器、紅外成像裝置、超聲感測器、麥克風、加速度計、羅盤或陀螺儀感測器)可以用於確定觀看參數或可以用於確定用於確定觀看參數的資訊。
裝置可以將對多媒體內容的請求傳送給網路。請求可以基於觀看參數。例如,請求可以包括與觀看參數有關的資訊。網路可以接收並處理請求。網路可以確定用於多媒體內容的速率(例如基於請求)。例如,網路可以基於觀看參數確定用於多媒體內容的速率。例如,速率可以與觀看參數相關聯。裝置可以從網路接收多媒體內容。從網路接收的多媒體內容可以以根據觀看參數的速率被處理。多媒體內容可以被顯示在裝置螢幕上。
可以以多個不同速率來處理多媒體內容。例如,每個速率可以是以下至少其中之一的函數:多媒體內容的編碼速率、多媒體內容的空間解析度、多媒體內容的時間解析度、量化參數、速率控制參數、多媒體內容的目標位元率、多媒體內容的空間濾波、或多媒體內容的時間濾波。每個速率可以與至少一個觀看參數相關聯。因此,多媒體內容可以經由不同速率被定制化到觀看參數。例如,可以根據用戶體驗來定制化多媒體內容。
觀看參數可以動態地改變。例如,根據動態地改變的觀看參數,提供給裝置的多媒體內容的速率可以被動態地改變。例如,多媒體內容的速率可以每個預定的多媒體內容的數量(例如,從一個片段到下一個片段)而改變,可以每個預定的時間段而改變等。例如,可以從網路接收以第一速率處理的多媒體內容的第一片段。第一速率可以基於或不基於觀看參數。觀看參數可以被確定(例如後續的觀看參數或改變的觀看參數)且對多媒體內容的第二片段的請求可以被傳送到網路。以根據觀看參數(例如後續的觀看參數或改變的觀看參數)的第二速率處理的多媒體內容的第二片段可以從網路接收。多媒體內容的後續片段的處理速率可以改變或不改變,例如直到整個多媒體內容已經被傳輸給裝置,或連接取消。
傳送到網路的請求可以確定裝置接收的多媒體內容的速率。例如,請求可以包括裝置請求的多媒體內容的特定速率。網路可以根據請求確定裝置接收的多媒體內容的速率。例如,請求可以是清單檔(例如,多媒體演示描述(MPD)檔)、SEI消息或其他可以例如包括觀看參數的消息。網路可以使用觀看參數來選擇多媒體內容的速率。
清單檔(例如,多媒體演示描述(MPD)檔)、SEI消息或其他消息可以由裝置從網路接收。清單檔(例如,MPD檔)、SEI消息或其他消息可以包括與多媒體內容的速率(例如,所有可用速率)有關的資訊。與速率有關的資訊可以包括與觀看參數相關聯的描述符。清單檔(例如,MPD檔)、SEI消息或其他消息可以指示描述符是必需的還是可選的。必需的描述符可以指示裝置必須滿足描述符的要求來接收以該速率處理的多媒體內容。例如,如果必需的描述符指定“至少36°的視角”的觀看參數,則具有計算出的至少36°的視角(例如,滿足描述符)的裝置(例如僅裝置)可以接收以該速率處理的多媒體內容。可選的描述符可以指示裝置可以滿足描述符的要求,但不是必須滿足描述符的要求來接收以該速率處理的多媒體內容。
這裏描述的實施可以用於視訊會議。例如,第一裝置(例如,第一視訊會議裝置)例如如這裏所述(例如,經由SEI消息、請求、信令、不用任何信令等)確定第二裝置(例如,第二視訊會議裝置)的觀看參數(例如多個觀看參數)。適於觀看參數的視訊編碼的特性可以由第一視訊會議裝置來確定。視訊編碼的特性可以包括處理視訊內容的速率(例如,如這裏所述)。根據確定的視訊編碼的特性編碼的視訊內容可以從第一視訊會議裝置傳送到第二視訊會議裝置。這裏針對視訊會議描述的實施可以用於任意數量的連接的視訊會議裝置/由任意數量的連接的視訊會議裝置使用。
第30A圖是可以在其中實施一個或多個揭露的實施方式的示例通訊系統100的圖。通訊系統100可以是向多個無線使用者提供內容(例如語音、資料、視訊、消息發送、廣播等)的多重存取系統。通訊系統100可使多個無線使用者通過系統資源的共用來存取所述內容,該系統資源包括無線頻寬。例如,通訊系統100可使用一種或多種頻道存取方法,例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)等等。
如第30A圖所示,通訊系統100可以包括無線傳輸/接收單元(WTRU) 102a、102b、102c、及/或102d(一般或統稱為WTRU 102),無線電存取網路(RAN)103/104/105,核心網路106/107/109,公共交換電話網路(PSTN)108,網際網路110和其他網路112,不過應該理解的是揭露的實施方式考慮到了任意數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d中每一個可以是被配置為在無線環境中進行操作及/或通訊的任何類型的裝置。作為示例,WTRU 102a、102b、102c、102d可以被配置為傳送及/或接收無線信號,並且可以包括使用者設備(UE)、行動站、固定或行動用戶單元、傳呼機、蜂巢式電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、隨身型易網機、個人電腦、無線感測器、消費性電子產品等等。
通訊系統100還可以包括基地台114a和基地台114b。每一個基地台114a、114b可以是被配置為與WTRU 102a、102b、102c、102d中的至少其中之一無線對接,以便於存取一個或多個通訊網路(例如核心網路106/107/109、網際網路110及/或網路112)的任何類型的裝置。作為示例,基地台114a、114b可以是基地台收發信台(BTS)、節點B、e節點B、家用節點B、家用e節點B、站點控制器、存取點(AP)、無線路由器等等。雖然基地台114a、114b每個被描述為單一元件,但是應該理解的是基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分,該RAN 103/104/105還可包括其他基地台及/或網路元件(未顯示),例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台114a及/或基地台114b可被配置為在特定地理區域內傳送及/或接收無線信號,該特定地理區域可被稱作社區(未顯示)。該社區可進一步劃分為社區磁區。例如,與基地台114a相關聯的社區可劃分為三個磁區。因而,在一個實施方式中,基地台114a可包括三個收發器,即社區的每個磁區使用一個收發器。在另一個實施方式中,基地台114a可使用多輸入多輸出(MIMO)技術,並因此可針對社區的每個磁區使用多個收發器。
基地台114a、114b可在空中介面115/116/117上與WTRU 102a、102b、102c、102d中的一者或多者進行通訊,該空中介面115/116/117可以是任何適當的無線通訊鏈路(例如,無線電頻率(RF),微波,紅外線(IR),紫外線(UV),可見光等等)。空中介面115/116/117可使用任何適當的無線電存取技術(RAT)來建立。
更具體地,如上所述,通訊系統100可以是多重存取系統,並且可以使用一種或多種頻道存取方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如,RAN 103/104/105中的基地台114a和WTRU 102a、102b、102c可以實施無線電技術,例如通用行動電信系統(UMTS)陸地無線電存取(UTRA),其可以使用寬頻CDMA(WCDMA)建立空中介面115/116/117。WCDMA可以包括通訊協定,例如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)。HSPA可以包括高速下鏈封包存取(HSDPA)及/或高速上鏈封包存取(HSUPA)。
在另一個實施方式中,基地台114a和WTRU 102a、102b、102c可實施無線電技術,例如演進型UMTS陸地無線電存取(E-UTRA),其可以使用長期演進(LTE)及/或高級LTE(LTE-A)來建立空中介面115/116/117。
在其他實施方式中,基地台114a和WTRU 102a、102b、102c可實施無線電技術,例如IEEE 802.16(即,全球互通微波存取(WiMAX)),CDMA2000,CDMA2000 1X,CDMA2000 EV-DO,臨時標準2000(IS-2000),臨時標準95(IS-95),臨時標準856(IS-856),全球行動通訊系統(GSM),用於GSM演進的增強型資料速率(EDGE),GSM EDGE(GERAN)等等。
第30A圖中的基地台114b可以例如是無線路由器、家用節點B、家用e節點B或存取點,並且可以使用任何適當的RAT來便於局部區域中的無線連接,如營業場所、住宅、車輛、校園等等。在一個實施方式中,基地台114b和WTRU 102c、102d可實施如IEEE 802.11的無線電技術來建立無線區域網路(WLAN)。在另一個實施方式中,基地台114b和WTRU 102c、102d可以實施如IEEE 802.15的無線電技術來建立無線個人區域網路(WPAN)。仍然在另一個實施方式中,基地台114b和WTRU 102c、102d可使用基於胞元的RAT(例如,WCDMA,CDMA2000,GSM,LTE,LTE-A等)來建立微微社區或毫微微社區。如第30A圖所示,基地台114b可具有到網際網路110的直接連接。因此,基地台114b可以不必經由核心網路106/107/109存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通訊,該核心網路106/107/109可以是被配置為向WTRU 102a、102b、102c、102d中的一者或多者提供語音、資料、應用及/或網際網路協定上的語音(VoIP)服務的任何類型的網路。例如,核心網路106/107/109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等,及/或執行高級安全功能,例如用戶認證。雖然第30A圖中未顯示,應該理解的是RAN 103/104/105及/或核心網路106/107/109可以與使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN進行直接或間接的通訊。例如,除了連接到正在使用E-UTRA無線電技術的RAN 103/104/105之外,核心網路106/107/109還可以與使用GSM無線電技術的另一個RAN(未顯示)通訊。
核心網路106/107/109還可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通訊協定的互聯電腦網路和裝置的全球系統,該公共通訊協定例如有TCP/IP互連網路協定組中的傳輸控制協定(TCP)、用戶資料報協定(UDP)和網際網路協定(IP)。網路112可以包括被其他服務提供者擁有及/或操作的有線或無線通訊網路。例如,網路112可以包括連接到一個或多個RAN的另一個核心網路,該RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。
通訊系統100中的WTRU 102a、102b、102c、102d的一些或全部可包括多模式能力,例如,WTRU 102a、102b、102c、102d可包括在不同無線鏈路上與不同無線網路進行通訊的多個收發器。例如,第30A圖中顯示的WTRU 102c可被配置為與基地台114a通訊和與基地台114b通訊,該基地台114a可使用基於胞元的無線電技術,該基地台114b可使用IEEE 802無線電技術。
第30B圖是示例WTRU 102的系統圖。如第30B圖所示,WTRU 102可包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132,電源134、全球定位系統(GPS)晶片組136和其他週邊裝置138。應該理解的是,在保持與實施方式一致時,WTRU 102可包括前述元件的任何子組合。此外,實施方式構想了基地台114a和114b及/或基地台114a和114b可以表示的節點可以包括第30B圖中描述的以及這裏描述的元件中的一些或全部,該節點例如但不限於收發站(BTS)、節點B、站點控制器、存取點(AP)、家用節點B、演進型家用節點B(e節點B)、家用演進型節點B(HeNB)、家用演進型節點B閘道以及代理節點,等等。
處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器(DSP)、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式化閘陣列(FPGA)電路、任何其他類型的積體電路(IC)、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理,及/或使WTRU 102能夠在無線環境中進行操作的任何其他功能。處理器118可耦合到收發器120,該收發器120可耦合到傳輸/接收元件122。雖然第30B圖描述了處理器118和收發器120是分開的部件,但應該理解的是處理器118和收發器120可一起集成在在電子封裝或晶片中。
傳輸/接收元件122可被配置為在空中介面115/116/117上將信號傳送到基地台(例如基地台114a),或從該基地台接收信號。例如,在一個實施方式中,傳輸/接收元件122可以是被配置為傳送及/或接收RF信號的天線。在另一個實施方式中,傳輸/接收元件122可以是被配置為傳送及/或接收例如IR、UV或可見光信號的傳輸器/偵測器。仍然在另一個實施方式中,傳輸/接收元件122可被配置為傳送和接收RF和光信號兩者。應該理解的是傳輸/接收元件122可被配置為傳送及/或接收無線信號的任何組合。
此外,雖然傳輸/接收元件122在第30B圖中被描述為單一元件,但是WTRU 102可以包括任意數量的傳輸/接收元件122。更具體地說,WTRU 102可使用MIMO技術。因此,在一個實施方式中,WTRU 102可包括用於在空中介面115/116/117上傳送和接收無線信號的兩個或更多個傳輸/接收元件122(例如,多個天線)。
收發器120可被配置為調變將由傳輸/接收元件122傳送的信號和解調由傳輸/接收元件122接收的信號。如上所述,WTRU 102可具有多模式能力。因此,收發器120可包括使WTRU 102能夠經由多種RAT通訊的多個收發器,該多種RAT例如有UTRA和IEEE 802.11。
WTRU 102的處理器118可耦合到下述裝置,並可從下述裝置接收用戶輸入資料:揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)。處理器118還可輸出用戶資料到揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128。此外,處理器118可從任何類型的適當的記憶體中存取訊號,並可以儲存資料到該記憶體中,該記憶體例如不可移式記憶體130及/或可移式記憶體132。不可移式記憶體130可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或任何其他類型的儲存記憶裝置。可移式記憶體132可包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在其他的實施方式中,處理器118可從物理上沒有位於WTRU 102上(例如在伺服器或家用電腦(未顯示)上)的記憶體中存取資訊、並可以將資料儲存在該記憶體中。
處理器118可從電源134中接收電能,並可被配置為分配及/或控制到WTRU 102中的其他部件的電能。電源134可以是給WTRU 102供電的任何適當的裝置。例如,電源134可包括一個或多個乾電池組(例如,鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion),等等),太陽能電池,燃料電池等等。
處理器118還可耦合到GPS晶片組136,該GPS晶片組136可被配置為提供關於WTRU 102當前位置的位置資訊(例如,經度和緯度)。除來自GPS晶片組136的資訊或作為替代,WTRU 102可在空中介面115/116/117上從基地台(例如基地台114a、114b)接收位置資訊,及/或根據從兩個或多個鄰近基地台接收的信號定時來確定其位置。應該理解的是在保持實施方式的一致性時,WTRU 102可以藉由任何適當的位置確定方法獲得位置資訊。
處理器118還可耦合到其他週邊裝置138,該週邊裝置138可包括一個或多個提供附加特性、功能及/或有線或無線連接的軟體及/或硬體模組。例如,週邊裝置138可包括加速計、電子羅盤、衛星收發器、數位相機(用於圖像或視訊)、通用串列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、電視遊樂器模組、網際網路瀏覽器等等。
第30C圖是根據實施方式的RAN 103和核心網路106的系統圖。如上所述,RAN 103可使用UTRA無線電技術在空中介面115上與WTRU 102a、102b、102c通訊。RAN 103還可與核心網路106通訊。如第30C圖所示,RAN 103可包括節點B 140a、140b、140c,其中每個節點B可包括一個或多個收發器,以用於在空中介面115上與WTRU 102a、102b、102c進行通訊。每個節點B 140a、140b、140c可與RAN 103中的一個特定胞元(未顯示)關聯。RAN 103也可包括RNC 142a、142b。應該理解的是,在與實施方式保持一致時,RAN 103可包括任意數量的節點B和RNC。
如第30C圖所示,節點B 140a、140b可與RNC 142a通訊。此外,節點B 140c可與RNC 142b通訊。節點B 140a、140b、140c可經由Iub介面與各自的RNC 142a、142b通訊。RNC 142a、142b可經由Iur介面相互通訊。每個RNC 142a、142b可被配置為控制與其連接的各自的節點B 140a、140b、140c。另外,每個RNC 142a、142b可被配置為執行或支援其他功能,例如外環功率控制、負載控制、准許控制、封包調度、切換控制、宏分集、安全功能、資料加密等等。
如第30C圖所示的核心網路106可包括媒體閘道(MGW)144、行動交換中心(MSC)146、服務GPRS支援節點(SGSN)148、及/或閘道GPRS支持節點(GGSN)150。雖然每個前述元件被描述為是核心網路106的一部分,但應該理解的是,這些元件中的任何一個元件可由除核心網路操作者以外的實體擁有及/或操作。
RAN 103中的RNC 142a可經由IuCS介面與核心網路106中的MSC 146連接。MSC 146可與MGW 144連接。MSC 146和MGW 144可向WTRU 102a、102b、102c提供到例如PSTN 108的電路交換網路的存取,以便於WTRU 102a、102b、102c與傳統陸線通訊裝置間的通訊。
RAN 103中的RNC 142a還可經由IuPS介面與核心網路106中的SGSN 148連接。SGSN 148可與GGSN 150連接。SGSN 148和GGSN 150可向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取,以便於WTRU 102a、102b、102c與IP賦能的裝置間的通訊。
如上所述,核心網路106還可與網路112連接,網路112可包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
第30D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上所述,RAN 104可使用E-UTRA無線電技術在空中介面116上與WTRU 102a、102b、102c通訊。RAN 104還可與核心網路107通訊。
RAN 104可包括e節點B 160a、160b、160c,但應該理解的是,在與實施方式保持一致時,RAN 104可包括任意數量的e節點B。每個e節點B 160a、160b、160c可包括一個或多個收發器,以用於在空中介面116上與WTRU 102a、102b、102c通訊。在一個實施方式中,e節點B 160a、160b、160c可實施MIMO技術。因此,e節點B 160a例如可使用多個天線向WTRU 102a傳送無線信號,以及從WTRU 102a接收無線信號。
每個e節點B 160a、160b、160c可與一個特定胞元(未顯示)關聯,並且可被配置為處理無線電資源管理決策、切換決策、上鏈及/或下鏈中的用戶調度等等。如第30D圖所示,e節點B 160a、160b、160c可在X2介面上相互通訊。
如第30D圖所示的核心網路107可包括移動性管理閘道(MME)162、服務閘道164、和封包資料網路(PDN)閘道166。雖然每個前述元件被描述為是核心網路107的一部分,應該理解的是,這些元件中的任何一個元件可由除核心網路操作者以外的實體擁有及/或操作。
MME 162可經由S1介面與RAN 104中的每個e節點B 160a、160b、160c連接,並且可以充當控制節點。例如,MME 162可負責對WTRU 102a、102b、102c的用戶進行認證,承載啟動/去啟動,在WTRU 102a、102b、102c的初始附著期間選擇特定服務閘道等等。MME 162還可為RAN 104與其他RAN(未顯示)間的切換提供控制平面功能,所述其他RAN使用其他無線電技術,如GSM或WCDMA。
服務閘道164可經由S1介面與RAN 104中的每個e節點B 160a、160b、160c連接。服務閘道164通常可路由和轉發去往/來自WTRU 102a、102b、102c的用戶資料封包。服務閘道164還可執行其他功能,如在e節點B間切換期間錨定用戶平面、當下鏈數據可用於WTRU 102a、102b、102c時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等等。
服務閘道164還可與PDN閘道166連接,該PDN閘道166可向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取,以便於WTRU 102a、102b、102c與IP賦能的裝置間的通訊。
核心網路107可便於與其他網路的通訊。例如,核心網路107可向WTRU 102a、102b、102c提供到例如PSTN 108的電路交換網路的存取,以便於WTRU 102a、102b、102c與傳統陸線通訊裝置間的通訊。例如,核心網路107可包括IP閘道(例如,IP多媒體子系統(IMS)伺服器),或與IP閘道通訊,該IP閘道充當核心網路107與PSTN 108間的介面。另外,核心網路107可向WTRU 102a、102b、102c提供到網路112的存取,該網路112可包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
第30E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術在空中介面117上與WTRU 102a、102b、102c通訊的存取服務網路(ASN)。下面將進一步討論,WTRU 102a、102b、102c、RAN 105與核心網路109的不同功能實體間的通訊鏈路可定義為參考點。
如第30E圖所示,RAN 105可包括基地台180a、180b、180c和ASN閘道182,但應該理解的是,在保持與實施方式一致時,RAN 105可包括任意數量的基地台和ASN閘道。每個基地台180a、180b、180c可與RAN 105中的特定胞元(未顯示)關聯,並可以包括一個或多個收發器,以用於在空中介面117上與WTRU 102a、102b、102c通訊。在一個實施方式中,基地台180a、180b、180c可實施MIMO技術。因此,基地台180a例如可使用多個天線向WTRU 102a傳送無線信號,以及從WTRU 102a接收無線信號。基地台180a、180b、180c還可提供移動性管理功能,如切換(handoff)觸發、隧道建立、無線電資源管理、業務分類、服務品質(QoS)策略執行等等。ASN閘道182可作為業務聚合點、並可負責傳呼、用戶簡檔快取、至核心網路109的路由等等。
WTRU 102a、102b、102c與RAN 105間的空中介面117可被定義為實施IEEE 802.16規範的R1參考點。另外,每個WTRU 102a、102b、102c可建立與核心網路109的邏輯介面(未顯示)。WTRU 102a、102b、102c與核心網路109之間的邏輯介面可被定義為R2參考點,該R2參考點可用於認證、授權、IP主機配置管理、及/或移動性管理。
每個基地台180a、180b、180c間的通訊鏈路可被定義為R8參考點,該R8參考點包括用於便於WTRU切換和基地台間資料傳輸的協定。基地台180a、180b、180c與ASN閘道182間的通訊鏈路可被定義為R6參考點。R6參考點可包括用於便於基於與每個WTRU 102a、102b、102c關聯的移動性事件的移動性管理的協定。
如第30E圖所示,RAN 105可與核心網路109連接。RAN 105與核心網路109間的通訊鏈路例如可被定義為R3參考點,該R3參考點包括用於便於資料傳輸和移動性管理能力的協定。核心網路109可包括行動IP本地代理(MIP-HA)184、認證、授權、計費(AAA)伺服器186和閘道188。雖然每個前述元件被描述為是核心網路109的一部分,應當理解的是,這些元件中的任何一個元件可由除核心網路操作者以外的實體擁有及/或操作。
MIP-HA可以負責IP位址管理,並可以使WTRU 102a、102b、102c能夠在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取,以便於WTRU 102a、102b、102c與IP賦能的裝置之間的通訊。AAA伺服器186可以負責用戶認證和支援用戶服務。閘道188可以便於與其他網路互通。例如,閘道188可以向WTRU 102a、102b、102c提供到例如PSTN 108的電路交換網路的存取,以便於WTRU 102a、102b、102c與傳統陸線通訊裝置之間的通訊。此外,閘道188可以向WTRU 102a、102b、102c提供到網路112的存取,該網路112可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
儘管未在第30E圖中顯示,應當理解的是,RAN 105可以連接到其他ASN,並且核心網路109可以連接至其他核心網路。RAN 105與其他ASN之間的通訊鏈路可以被定義為R4參考點,其可以包括用於協調在RAN 105與其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路109與其他核心網路之間的通訊鏈路可以被定義為R5參考,其可以包括便於本地核心網路與被拜訪核心網路之間互通的協定。
雖然上面以特定的組合描述了特徵和元素,但是本領域中具有通常知識者可以理解,每個特徵或元素可以單獨使用,或與其他的特徵和元素進行組合使用。此外,這裏描述的方法可以在引入到電腦可讀媒體中並供電腦或處理器操作的電腦程式、軟體或韌體實施。電腦可讀媒體的示例包括電子信號(經由有線或無線連接傳送)和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、緩衝記憶體、半導體記憶體裝置、磁性媒體(例如內部硬碟和可移式磁片),磁光媒體和光學媒體(例如CD光碟或數位通用光碟(DVD))。與軟體關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC或任何主電腦中使用的無線電頻率收發器。
視訊傳遞系統可以在視訊將在理想再現設定(例如昏暗的房間、高對比度顯示器、寬視角等)下被觀看這一假設下傳送被編碼的視訊。這可能需要相當大量的頻寬來編碼並攜帶可以在螢幕上呈現的視覺資訊(例如視訊、遊戲等)。這裏描述的實施可以在以下情形(例如移動情形)中被使用:再現設定可能偏離理想再現設定。例如,這裏描述的實施可以提供自適應系統,其藉由例如考慮在觀看者正觀看視覺內容時存在的觀看條件而在遜於理想再現設定的設定中更有效地傳輸和呈現內容。
這裏描述的實施可以利用人視覺的一些現象/特性。視覺敏銳度可以是視覺處理系統的空間解析度的一種測量。其可以藉由使用驗光表來測量,該驗光表例如但不限於第1A圖至第1C圖中顯示的Snellen、Landolt C及/或“Illiterate E”表。例如,術語“20/20-視力”可以用於描述成年人的正常視力。其可以表示閱讀包括字母的列的能力,這些字母被設計使得當從20英尺(例如,大約6米)的距離觀看時,這些字母的最小空間細節(例如,比劃、間隙)構成1分弧度(例如,可視角度的1/60)。第1B圖中顯示了這種示例。“20/20視力”可以表示分辨小到1分弧度(例如,可視角度的1/60)的細節的能力。
空間頻率極限可以被使用。在視覺敏銳度與人視覺系統的空間頻率極限之間可以有關聯。這可以藉由顯示Snellen的E到光柵變換(例如,如第1C圖所示的)來解釋。可以觀察到對於20/20(6/6)列的字母E,在一個循環中可以有2分的弧度。一度中可以有60分,因此一度可以包括30個循環。在20/20(6/6)的字母中,每度可以有30個循環(cpd)。例如,術語“20/20視力”可以對應於分辨高達每度30個循環的空間頻率的能力。
可以使用對比靈敏度函數(CSF)。可以使用高對比度字母(例如,白色背景上的黑色符號)來測量視覺敏銳度。“對比靈敏度函數(CSF)”可以是HVS極限的更完全的特性描述,藉由考慮不同對比度的圖像而得到。CSF可以在覆蓋有Campbell-Robson表時得到最佳理解,其示例如第2圖中所示。參照第2圖,像素的亮度可以沿著水平維度以正弦方式被調變。調變頻率(例如,空間頻率)可以呈對數增長(例如,從左到右頻率基本呈指數增長)。對比度可以從100%呈對數變化到大約0.5%(例如,從底部到頂部)。
如第2圖所示,CSF可以示例對比度/空間頻率空間的可視區的邊界。CSF最左邊的點可以與視覺敏銳度極限(例如在最高對比度的截止頻率)一致。CSF在高頻率單調遞減直到其達到敏銳度極限。CSF可以在低頻率遞減。這可以是由不同的神經生物學現象造成的。CSF的峰值可以接近每度6個循環。可以注意到CSF的形狀可以基於視網膜照度的等級而改變。在低光照的條件下,靈敏度可以被較大程度地降低。
可以使用色覺極限。相對於回應於寬光譜的元件(例如桿細胞(rod)),人類視網膜可以包括少得多的色彩感應元件(例如錐細胞(cone))。這可以非常低的色覺空間解析度外顯自己。第3圖顯示了針對灰階、紅-綠和藍-黃頻道產生的CSF曲線的比較示例。如第3圖所示,藍-黃和紅-綠頻道可以具有較早的衰減,達到大約每度10-15個循環的截止。這可以比亮度的敏銳度極限更低。顏色相關的CSF可以更多受到總體視網膜照度(針對亮度的CSF)的影響。在低光照的條件下,我們可能看不到顏色。這種現象可以稱為暗視覺。
可以使用色覺的角度極限。人可以看到在視野內的窄角度的顏色。這可以與人類視網膜上的視網膜細胞和錐細胞的不對稱分佈有關。
可以使用中央凹視力與周圍視力和相對敏銳度的比較。中央凹中的錐細胞和神經節細胞的高度集中可以導致在該區域中較高的視覺敏銳度能力。標準的視力測試可以評估中央凹區域的敏銳度。中央凹以外的敏銳度急劇下降。第4圖顯示了根據從中央凹起的角度的相對敏銳度的示例圖。
第5圖顯示了圖示從固定點起敏銳度隨角度變化的示例測試。該測試可以示範當集中於中心時,所有字元顯得一樣清晰(sharp)。該測試可以在舒服的觀看距離進行,在該距離,最小與最大字元之間的空間角度可以近似為2度。最小與最大字元之間的線性尺寸之差可以近似為1:8。
這種現象表明圖片的一小部分曾經在任何一個時刻可以全解析度被觀察到。為了估計使用這種現象潛在的節省(saving)的極限,我們可以假設水平和垂直像素密度是一樣的,因此節省可以用區域來近似。螢幕對角大小為D,縱橫比為r,螢幕尺寸可以是:
“高解析度”區域可以包括由角度β(例如近似2°)定義的外正方形(outer square),並可以取決於觀看距離d,可以如下給出:
可以假設低解析度(例如焦點區域的外部)可以以低於焦點區域的解析度被編碼(例如通過因數R)。像素計數比(例如,使用或不使用這種技術)可以是:
其中,D=9.7”、r=9/16、R=8、d=25以及β=20,比率可以近似為15%,這可以節省85%。瓷磚(tile)之間(例如,在空間及/或時間上)的平滑變化可以導致較低的節省,但用戶體驗更好。
這裏可以描述並使用動態自適應HTTP串流(DASH)。DASH可以合併一些用於HTTP串流的方式。例如,MPEG DASH可以是在3GPP版本10中描述的“3GP-DASH”的擴展。DASH可以用於處理無線和有線網路中的可變頻寬。DASH可以由內容提供方和裝置支援。DASH可以在任意存取網路上實現向任意裝置提供多媒體串流服務。
DASH可以被部署為一組HTTP伺服器,其可以分發已經以合適格式準備的直播及/或點播內容。用戶端可以直接從HTTP伺服器及/或從內容分發網路(CDN)存取內容,例如如第6圖中所示。第6圖顯示了示例DASH高級系統架構的圖。CDN可以用於期望大量用戶端的部署,因為它們可以快取內容並可以位於在網路邊緣的用戶端的附近。
在DASH中,用戶端可以通過使用HTTP請求片段並在從內容提供方及/或CDN接收這些片段時將它們接合起來來控制串流會話。用戶端可以監視(例如,連續監視)媒體速率並基於網路條件(例如,封包錯誤率、延遲抖動)和它們自己的狀態(例如,緩衝器充滿度、用戶行為和偏好)調整媒體速率,從而有效地將資訊從網路移動到用戶端。
DSAH標準的設計可以基於情報用戶端模型,例如如第7圖所示。第7圖顯示了示例DASH用戶端模型的圖。第7圖顯示了概念性DASH用戶端模型的邏輯部分的示例。DASH存取引擎可以接收媒體演示描述檔(MPD),構建並發送請求及/或接收片段或片段的部分。DASH存取引擎的輸出可以包括MPEG容器格式(例如,MP4檔格式或MPEG-2傳輸流)的媒體和將媒體的內部時序映射到演示的時間軸(timeline)的時序資訊。媒體的編碼塊與時序資訊的組合足以糾正內容呈現。
DASH施加給編碼的媒體片段的最多約束可以基於以下假設:解碼、後處理及/或重播可以由不知道這些片段是什麼及/或如何傳輸這些片段的媒體引擎來完成。媒體引擎可以僅解碼並播放由DASH存取引擎以塊(chunk)為單位供應的連續媒體檔。例如,存取引擎可以是java腳本,而媒體引擎可以是瀏覽器提供的那些、瀏覽器外掛程式(例如,FlashR或SilverlightR)及/或作業系統。
第8圖顯示了示例DASH媒體演示高級資料模型的圖。在DASH中,多媒體演示的組織可以基於分級的資料模型。媒體演示描述(MPD)可以描述組成DASH媒體演示(例如多媒體內容)的週期的順序。週期可以表示期間一組一致的的媒體內容的編碼版本可用的媒體內容週期。在該週期期間,該組可用位元率、語言及/或字幕不可以改變。
自適應集可以表示一組一個或多個媒體內容分量的可交換編碼版本。例如,針對視訊可以有自適應集,一個用於主音頻,一個用於輔音頻及/或一個用於字幕。自適應集也可以被多工處理,在這種情況中,多工處理的可交換版本可以被描述為單個自適應集。例如,自適應集可以包括一週期的視訊和主音頻。
表示可以描述一個或多個媒體內容分量的可傳輸編碼版本。表示可以包括一個或多個媒體流(例如,一個用於多工處理中的每個媒體內容分量)。自適應集中的任意單個表示可以足以呈現所包含的媒體內容分量。例如,用戶端可以在自適應集中從一種表示切換到另一種表示,例如以適應網路條件及/或其他因素。用戶端可以忽略使用其不支持的編解碼器/配置檔/參數的表示。
片段可以是表示內的內容,其可以按時間被分成固定或可變長度的片段。可以為每個片段提供URL。片段可以是使用單個HTTP請求獲取的最大資料單元。媒體演示描述(MPD)可以是XML文件,其包括供DASH用戶端建構HTTP-URL以存取片段並向使用者提供串流服務的元資料。
用戶端可以使用MPD中的基礎URL來產生針對媒體演示中片段和其他資源的HTTP GET請求。HTTP部分GET請求可以用於藉由使用位元組範圍(例如經由“範圍”HTTP頭)來存取片段的有限部分。基礎URL可以被指定用於在位置不可獲得的情況下允許存取演示,給多媒體流的傳輸提供冗餘,及/或允許用戶端負載平衡和平行下載。
MPD可以是“靜態的”或“動態的”。靜態MPD類型在媒體演示期間不可以改變,且其可以用於點播演示。動態MPD類型可以在媒體演示期間被更新,且其可以用於直播演示。MPD可以被更新以擴展每種表示的片段的列表,引入新週期及/或終止媒體演示。
在DASH中,不同媒體內容分量(例如,視訊、音頻等)的編碼版本可以共用共同的時間軸。媒體內容內的存取單元的演示時間可以被映射到全球共同演示時間軸,其可以被稱為媒體演示時間軸。這可以允許不同媒體分量的同步及/或可以實現相同媒體分量的不同編碼版本(例如表示)的無縫切換。
片段可以包括實際分段的媒體流。它們可以包括關於如何將媒體流映射到媒體演示時間軸以用於切換及/或與其他表示的同步演示的附加資訊。
片段可用性時間軸可以用於用信號向用戶端通知在指定的HTTP URL的片段的可用性時間。例如,這些時間可以以掛鐘時間的形式被提供。在存取在指定的HTTP URL的片段之前,用戶端可以將掛鐘時間與片段可用性時間進行比較。
對於點播內容,一些或所有片段的可用性時間可以是相同的。一旦任意片段可獲得,媒體演示的一些或所有片段在伺服器上可獲得。MPD可以是靜態文件。
對於直播內容,片段的可用性時間可以依據片段在媒體演示時間軸中的位置。片段可以隨產生內容的時間而變得可用。MPD可以被週期性地更新,以反映演示隨時間的變化。例如,用於新片段的片段URL可以被添加到MPD,且不再可用的舊的片段可以從MPD中移除。例如如果使用範本來描述片段URL,則更新MPD可不是必須的。
片段的持續時間可以表示當以正常速度演示時包含在片段中的媒體的持續時間。表示中的一些或所有片段可以具有相同或大致相似的持續時間。片段持續時間針對不同的表示可以不同。DASH演示可以被構建有相對短的片段(例如幾秒)或較長的片段,其包括針對整個表示的單個片段。
短片段可以適合直播內容(例如,通過減少端到端等待時間)並可以允許在片段等級的高切換粒度。短片段可以增加演示中的檔案數量。長片段可以藉由減少演示中的檔案數量來改進暫存性能。它們可以使得用戶端能夠制定靈活的請求大小(例如藉由使用位元組範圍請求)。長片段可能需要使用片段索引且可能不適合直播事件。片段可以或可以不隨時間擴展。片段可以是其整體可用的完整和離散單元。
片段可以進一步被細分為子片段。子片段可以包括多個完整存取單元。“存取單元”可以是具有指派的媒體演示時間的媒體流的單元。如果片段被分為多個子片段,則子片段可以由片段索引來描述。片段索引可以提供該表示中的演示時間範圍以及每個子片段佔用的片段中相應的位元組範圍。用戶端可以提前下載該索引,然後可以使用HTTP部分GET請求發佈對個別子片段的請求。片段索引可以被包含在媒體片段中,例如在檔案的開頭中。也可以在分開的索引片段中提供片段索引資訊。
DASH可以定義初始化片段、媒體片段、索引片段和位元流切換片段。初始化片段可以包括用於存取表示的初始化資訊。初始化片段可以或可以不包括具有指派的演示時間的媒體資料。初始化片段可以由用戶端來處理以初始化媒體引擎,以使被包含的表示的媒體片段演完(play-out)。
媒體片段可以包括及/或封裝在媒體片段內描述的及/或由表示的初始化片段描述的媒體流。媒體片段可以包括多個完整的存取單元。媒體片段可以包括至少一個針對每個包含的媒體流的流存取點(SAP)。
索引片段可以包括可以與媒體片段有關的資訊。索引片段可以包括針對媒體片段的索引資訊。索引片段可以提供用於一個或多個媒體片段的資訊。索引片段可以是媒體格式特定的。可以為支援索引片段的每個媒體格式定義細節。
位元流切換片段可以包括可以被利用以切換到其被指派到的表示的資料。其可以是媒體格式特定的,且可以為允許位元流切換片段的每個媒體格式定義細節。可以為每種表示定義一個位元流切換片段。
用戶端可以在媒體中的任意點在自適應集內從一種表示切換到另一種表示。在任意位置處的切換可以是複雜的,這是由於例如在表示中編碼的依賴性以及其他因素。“重疊”資料的下載可以被避免(例如,來自多種表示的相同時間段的媒體)。在新流中的隨機存取點處,切換可以是最簡單的。
DASH可以定義流存取點(SAP)與編解碼器無關的概念,並識別各種類型的SAP。流存取點類型可以作為自適應集的特性之一被傳輸(例如,可以假定自適應集內的一些或所有片段具有相同SAP類型)。
SAP可以隨機存取一個或多個媒體流的檔案容器。SAP可以是容器中的位置,能夠使用包含在該容器中的從該位置開始向前的資訊、及/或來自該容器的其他部分及/或外部可獲得的可能的初始化資料,開始對已識別的媒體流進行重播。
檔案容器特性可以包括TSAP。TSAP可以是媒體流的存取單元的最早的演示時間,例如由此具有大於或等於TSAP的演示時間的媒體流的一些或所有存取單元可以使用在ISAP開始的位元流中的資料(並且可能地,在ISAP之前沒有資料)而被正確解碼。ISAP可以是在位元流中的最大位置,由此具有大於或等於TSAP的演示時間的媒體流的一些或所有存取單元可以使用在ISAP開始的位元流資料(並且可能地,在ISAP之前沒有資料)而被正確解碼。ISAU可以是在媒體流內按解碼順序最新的存取單元的位元流中的開始位置,由此具有大於或等於TSAP的演示時間的媒體流的一些或所有存取單元可以使用該最新的存取單元和遵循解碼順序的存取單元(並且可能地,早期沒有按解碼順序的存取單元)而被正確解碼。TDEC可以是能夠使用在ISAU開始的位元流中的資料(並且可能地,在ISAU之前沒有資料)而被正確解碼的媒體流的任意存取單元的最早的演示時間。TEPT可以是在位元流中在ISAU開始的媒體流的任意存取單元的最早的演示時間。TPTF可以是在ISAU開始的位元流中按解碼順序的媒體流的第一個存取單元的演示時間。
具有這些參數的流存取點的示例如第9圖中所示。在該示例中,具有三種不同類型的訊框:I、P和B的編碼視訊流的示例被顯示。P訊框可以利用待解碼的先前的I或P訊框,而B訊框可以利用在I及/或P訊框之前或之後的訊框。傳輸、解碼及/或演示順序可以不同。
第9圖顯示了串流存取點的參數的圖。可以提供六種SAP類型。不同SAP類型的使用可以被限制到配置檔(例如,對於一些配置檔,僅SAP類型的子集可以被使用)。
DASH SAP類型可以取決於哪些存取單元是可正確解碼的,及/或它們按演示順序的排列。例如,對於類型1,TEPT= TDEC= TSAP= TPFT。該SAP類型可以對應於所稱的“封閉GoP隨機存取點”。從ISAP開始的存取單元(例如按解碼順序)可以被正確解碼。該結果可以是沒有間隙的正確解碼的存取單元的連續時間序列。按解碼順序的第一個存取單元可以是按演示順序的第一個存取單元。
例如,對於類型2,TEPT= TDEC= TSAP< TPFT。該SAP類型可以對應於所稱的“封閉GoP隨機存取點”,對此,從ISAU開始的媒體流中按解碼順序的第一個存取單元可以不是按演示順序的第一個存取單元。頭兩個訊框可以是向後預測的P訊框(例如,其依照句法可以被編碼為H.264和一些其他編解碼器中僅向前的B訊框),且它們可以需要首先解碼第三個訊框。
例如,對於類型3,TEPT< TDEC= TSAP<= TPTF。該SAP類型可以對應於所稱的“開放GoP隨機存取點”,其中在ISAU之後按解碼順序有一些存取單元,其可能沒有被正確解碼,並具有小於TSAP的演示時間。
例如,對於類型4,TEPT<= TPFT< TDEC= TSAP。該SAP類型可以對應於所稱的“逐漸解碼刷新(GDR)隨機存取點”(例如,或“髒(dirty)”隨機存取),其中從ISAU開始和在ISAU之後按解碼順序有一些存取單元,其可能沒有被正確解碼,並具有小於TSAP的演示時間。
內刷新過程可以是GDR的示例。該內刷新過程可以在N個訊框上被擴展,且可以用內MB來編碼一訊框的部分。對於N個訊框,不重疊部分可以被內編碼。該過程可以被重複直到整個訊框被刷新。
例如,對於類型5,TEPT= TDEC< TSAP。該SAP類型可以對應於這樣的情況:從ISAP開始按解碼順序可以有至少一個存取單元,其可能沒有被正確解碼,並具有大於TDEC的演示時間,且其中TDEC可以是從ISAU開始的任意存取單元的最早演示時間。
例如,對於類型6,TEPT< TDEC< TSAP。該SAP類型可以對應於這樣的情況:從ISAP開始按解碼順序可以有至少一個存取單元,其可能沒有被正確解碼,並具有大於TDEC的演示時間,且其中TDEC可以不是從ISAU開始的任意存取單元的最早演示時間。
DASH的配置檔可以被定義以實現互操作性和特徵使用的信號發送。配置檔可以施加一組特定限制。這些限制可以針對媒體演示描述(MPD)文件的特徵及/或片段格式。限制可以針對片段中的被傳輸的內容,例如但不限於針對媒體內容類型、媒體格式、編解碼器及/或保護格式,及/或針對定量測量,例如但不限於位元率、片段持續時間、片段大小、水準視覺演示大小及/或垂直視覺演示大小。
第10圖顯示了DASH中的六個配置檔的示例的圖。配置檔可以基於用於片段的檔案容器的類型被組織為兩種主要類別:三個配置檔可以使用ISO基礎媒體檔案容器,兩個配置檔可以使用基於MPEG-2傳輸流(TS)的檔案容器,以及一個配置檔可以支援兩種檔案容器類型。任一種容器類型可以與編解碼器無關。
ISO基礎媒體檔案格式點播配置檔可以提供對點播內容的支援。該配置檔可以規定每種表示可以被提供為單個片段,子片段可以在自適應集內的表示間被對準,及/或子片段可以從流存取點開始。該配置檔可以用於支援具有最小量的內容管理的大VoD庫。其可以允許對HTTP伺服器的可縮放且有效的使用,及/或可以簡化無縫切換。
ISO基礎媒體檔案格式直播配置檔可以用於片段的直播編碼和低等待時間傳輸,該片段包括具有相對短的持續時間的ISO檔案格式的單個電影片段(fragment)。當每個電影片段可用時,可以使用範本產生的URL來請求該每個電影片段。在每個片段請求之前請求MPD更新可以不是必須的。在該配置檔中,片段可以被考慮,由此它們可以在片段邊界上被連接。片段可以在媒體資料中被無間隙及/或重疊解碼(decrypt),不管自適應集中表示的自適應切換。該配置檔可以用於分發非直播內容。例如,在直播媒體演示可以被終止的情況下,該直播媒體演示被保持可用,作為點播服務。
ISO基礎媒體檔案格式主配置檔可以是ISO基礎媒體檔案格式點播和直播配置檔的超集合。
MPEG-2 TS主配置檔可以對MPEG-2傳輸流(TS)內容的媒體片段格式施加約束。例如,表示可以被多工處理,由此可以不需要在用戶端處綁定媒體流(例如,音頻和視訊)。片段可以包括整數個MPEG-2 TS封包。推薦索引和片段對準。
MPEG-2 TS簡單配置檔可以是MPEG-2 TS主配置檔的子集。其可以對內容編碼和複用施加限制,例如以允許無縫切換的簡單實施。例如,可以通過保證符合ISO/IEC 13818-1(例如,MPEG-2系統)的媒體引擎可以播放由來自相同自適應集內的任意表示的連續片段連接而產生的任意位元流來實現無縫切換。
全配置檔可以是ISO基礎媒體檔案格式主配置檔和MPEG-2 TS主配置檔的超集合。
在行動裝置的螢幕上呈現的視覺資訊的目的地可以是持有該行動裝置的用戶。但是,用戶的觀看設定可以改變。例如,用戶可以手持行動裝置離自己眼睛很近或距離一臂的距離。這可以影響視角及/或用戶看到螢幕上細節的能力。其他外部因素,例如但不限於照明可以更改並改變用戶的觀看體驗。例如,用戶可以在辦公室中,在戶外陽光直射下,在陰影中,或在完全黑暗的區域。用戶可以正在全神貫注於裝置螢幕上的內容,或其可以忙於別的事情而只是偶爾看看行動裝置的螢幕。裝置(例如行動裝置)可以涉及例如無線傳輸/接收單元、串流視訊播放器、視訊聊天應用程式、視訊應用程式或視訊遊戲應用程式。
可以描述行動裝置的觀看條件的可變性的示例。這些條件可以是對用戶能夠接收視覺資訊的程度的指示。它們可以用於定義“視覺頻道”的容量,其可以用作通訊系統中將視覺資訊傳輸給用戶的最後的鏈路。
視覺資訊到行動裝置的傳輸可以自適應於用戶行為及/或觀看條件,由此傳輸最佳可能的用戶體驗及/或保存無線網路的資源(例如,頻寬、容量等)及/或行動裝置的資源(例如,電力)。可以為行動視訊串流和行動視訊電話提供應用程式。視覺鏈路的特性和影響該鏈路的因素可以被利用,例如觀看設定的參數、照明類型、行動螢幕限制、人類視覺系統的限制等等。
可能有經由視覺內容的傳輸及觀看條件自適應編碼改進的應用程式。例如,這些可以包括但不限於行動視訊串流、行動TV、行動視訊電話、視訊遊戲以及增強現實。這裏描述的應用程式的種類包括但不限於行動視訊串流和視訊電話。行動視訊串流或行動多媒體串流可以是多媒體內容遞增傳輸的技術,其可以允許即時重播和VCR類型導航,而不需等待整個媒體檔案被傳輸。
第11圖顯示了在串流媒體內容被傳輸到行動裝置中涉及的元件和通訊鏈路的示例。內容可以被獲取和編碼,以用於串流分發。例如,這可以經由專用編碼軟體來完成,該軟體可以例如但不限於Real ProducerR、Windows Media EncoderR和Adobe Media EncoderR。 然後內容可以被放置在伺服器上,依據串流技術,該伺服器可以是專用串流伺服器、標準HTTP伺服器等。內容也可以被放置在形成所稱的內容分發網路(CDN)的多個伺服器上,例如以縮放分發能力。串流媒體內容的消費者可以是使用者,其可能正在使用軟體,例如在行動裝置上的串流媒體播放器或網頁瀏覽器。媒體播放器可以發起並維持與伺服器的連接。反過來,伺服器可以向播放器發送編碼的媒體的片段,播放器然後可以將其呈現在螢幕上。
在串流媒體內容的傳輸中可以涉及一些通訊鏈路。這些鏈路包括但不限於(例如,參考第11圖)串流伺服器與無線網路閘道(GW)之間的網際網路連接和路由路徑;使用者裝置(例如UE)與基地台(例如eNB)之間的無線鏈路;以及使用者眼睛與行動裝置顯示器之間的“視覺鏈路”。
頻寬自適應可以被使用。在頻寬自適應串流中,多媒體內容可以以一些不同的位元速率被編碼,其示例如第12圖中所示。第13圖描述了頻寬自適應多媒體串流的示例。以不同速率的視訊內容也可以用不同的空間解析度被編碼。多媒體內容可以被準備,由此以某些時間間隔(例如2-5秒)在不同速率的串流之間的轉變是可能的。如果不同的串流使用不同的空間解析度,則媒體播放器可以縮放視訊以填充螢幕上相同區域,由此不會察覺解析度的變化。
在編碼之後,內容可用於串流伺服器,並可以經請求被傳輸給用戶端。起初,伺服器可以以預設初始位元率對內容進行串流。位元率在串流會話期間基於例如網路中可用的頻寬而改變。速率可以直接在用戶端的請求下改變,或伺服器可以基於來自用戶端的回饋做出決策。
可以用於多媒體內容傳輸的傳輸機制包括但不限於HTTP串流和RTP/RTSP串流。在HTTP串流中,成片段的內容(例如被分成長度為數秒的片段的內容)可以通過HTTP被傳輸。可以以由於重傳導致的可能的延遲的代價來保證片段被傳輸。在RTP/RTSP串流中,內容可以被封包並在UDP上傳輸。這可以以可能的丟失封包作為代價避免重傳延遲。HTTP串流系統的示例是MPEG/3GPP DASHR和AppleR的HLSR。Real NetworksR的HelixR伺服器能夠支持多種HTTP和RTP/RTSP串流協定。
用於行動串流的頻寬自適應可以被使用。當經由無線的方式傳輸串流視訊時,可以預期頻寬波動是由負載和無線鏈路(例如,將用戶裝置連接到基地台(例如,參照第11圖))的其他特性造成的。頻寬自適應邏輯可以在基地台(例如e節點B)上及/或另一個可以位於與無線鏈路很近的位置的伺服器(例如代理)上實施。這可以導致可以實現的自適應的更快回應和粒度。這種伺服器可以例如藉由接收編碼流、可縮放編碼的組合集合及/或藉由實施將在鏈路上發送的資訊的動態代碼轉換來實施自適應。
行動視訊電話可以包括由在不同位置的用戶發起的音頻-視訊信號的接收和傳輸技術。目的可以是在它們之間實現即時通訊。
這裏描述的實施可以例如應用於消費者級視訊通訊/消息發送應用程式、行動視訊會議應用程式、行動視訊電話應用程式等。這樣的系統的架構示例如第14圖所示。行動裝置可以捕獲音頻和視訊資訊,對其進行編碼,及/或透過無線及/或有線鏈路的組合將其傳送到其他裝置。一旦接收到該資訊(例如,經由行動裝置),其可以被解碼並顯示給使用者。視訊和音頻資料可以例如由於該系統的即時屬性而作為RTP/UDP封包被發送。RTP/UDP封包在傳輸期間可能丟失。為了控制品質,行動裝置(例如視訊電話)可以使用回饋協定,例如但不限於RTCP。可以使用標準會話發起協定來放置呼叫,該協定例如但不限於SIP或ITU-T H.323/H.225。
在行動視訊電話應用中的資訊的傳輸中可以涉及一些通訊鏈路。例如,通訊鏈路可以包括但不限於(例如,參考第14圖)無線網路閘道(GW)之間的網際網路連接/路由路徑、用戶裝置(例如UE)與基地台(例如eNB)之間的無線鏈路、使用者與它們的行動裝置的顯示器和相機之間的“視覺鏈路”等。
可以理解網際網路和無線鏈路的特性、行為及/或限制,且視訊電話系統可以使用一些機制來適應它們。這些機制可以包括例如頻寬自適應視訊編碼、回饋的使用、錯誤彈性以及錯誤隱藏技術。這裏描述的實施可以使用“視覺鏈路”的特性和限制因素,例如但不限於改變觀看距離、照明以及用戶對螢幕的注意力,例如以改善視訊傳遞及/或通訊。
“視覺鏈路”(可以是由顯示器和用戶形成的鏈路)的特性可以解釋如下。行動觀看設定的參數的示例如第15圖中所示。例如,顯示了水平片,且假設視野可以由雙眼視覺形成,例如水平上大約120°。視覺參數可以包括但不限於螢幕尺寸、離螢幕的距離、螢幕解析度、螢幕密度(例如,以每英寸的像素為單位)或視角。一些視覺參數可以互相關。例如,視角(例如如第15圖中所示)可以計算為:
視角可以約束用戶能夠獲取的“有用”視覺信息量。在靜止觀看設定中,例如在電影院或臥室中使用的,視角可以較大,例如大約30°及更大。標準(例如,SMPTE EG-18-1994)可以宣稱30°作為用於電影再現的最小可接受視角。在行動設定中,視角由於例如行動螢幕的小尺寸而小得多。為了看得更多,觀看者可以行動電話更靠近自己的眼睛。但是,可能存在一些固有的限制,和人使用不同觀看距離的原因,以及在許多情況中這些距離為什麼不夠短以補償行動螢幕的小尺寸的原因。
觀看距離的範圍可以因人而異。在不同距離看到物體的能力可以取決於被稱為人眼適應的機制。其可以是這樣的過程:經由該過程,人眼的晶狀體的曲率可以改變,由此來自遠處光源的光聚焦在視網膜上。曲率的這種變化可以是由睫狀肌產生的。當睫狀肌放鬆時,眼睛聚焦在無窮遠。藉由施加張力,晶狀體的曲率增加,允許來自較近物體的光聚焦在視網膜上。但是晶狀體不可以無限“擠壓”。晶狀體可以將光聚焦在視網膜上的最短距離被稱為最小明視距離(LDDV)。對於大多數具有正常視力的成年人,LDDV可以大約是25 cm(10”)。這個數字對於年輕人較小,但隨著年齡其可以增加(例如,由於睫狀肌變得較不有效)。
LDDV可以設定對行動裝置的觀看距離的下限。其他固有限制可以是用戶的臂長。該數字可以與用戶的身高有關(例如,對於5英尺9英寸高的人,大約為26”)。可以有其他因素,包括但不限於行動裝置的尺寸/類型、環境及/或可以導致不同人以不同觀看距離手持或放置該裝置的個人舒適感覺。在這些限制內,用戶還可以設法藉由手持螢幕較近或較遠來獲得最佳感知品質。他們的觀看距離的範圍可以大約從7.5’’到23.6’’。平均觀看距離可以大約是12.7’’,且標準偏差可以大約是3’’。這可以意味公平散開分佈。±1σ的範圍可以對應於從9.7’’到15.7’’的距離範圍。範圍±2σ可以意味從6.7”到18.7”的距離範圍。第16圖顯示了該分佈的近似形狀的示例。
可以描述並使用空間密度限制。視覺信息量可以由空間密度來限制。限制可以包括例如行動裝置上的螢幕的空間密度,及/或人類視覺的空間靈敏度極限。
顯示器的空間密度或解析度可以以絕對度量來報告,例如但不限於每英寸的像素(ppi)。角度特性(例如但不限於對應於1°視角的像素數)在這裏可以被使用。當觀看距離已知時,對應於1°視角的像素數可以計算如下:
人類視覺系統(HVS)可以具有其自己的對空間解析度的極限。視覺敏銳度極限可以表明具有正常視力(例如,所謂的“20/20”)的人可以辨識小至1/60度視角的空間細節。這可以意味著為了匹配或超過人類視覺敏銳度極限,螢幕密度和觀看者離螢幕的距離可以使得所產生的角度密度至少是一度視角的60個像素。該極限被超過任意較大角度,提供的回報減少,因為具有正常視力的用戶並不能察覺到。
這裏可以描述觀看設定的示例。表1提供了一些可能的觀看設定的參數的示例。表1可以考慮一些種類的現代行動裝置,包括但不限於膝上型電腦、平板電腦和智慧型電話,以及各種可能的觀看距離。以底線標記的情況可以是視角可以大於或等於30°的情況,其可以被認為是足夠寬以在常規設定中看TV或電影。用雙底線標記的情況可以是再現設定的角度密度可以超過視覺敏銳度極限的情況。
一些行動裝置(例如,智慧型電話)可以具有在非常大範圍波動的視角,例如從下面的5°(sub-5°)到中間的20°(mid-20°)。然而,即使有非常短的觀看距離,它們可能達不到一些再現設定期望的30°。較大的裝置(例如膝上型電腦或平板電腦)可以適應30°且更高的視角。行動螢幕可實現的角度密度可以匹配或超過人類視覺的敏銳度極限。行動顯示技術能夠以觀看者不再能夠接收到並察覺的密度再現視覺內容。例如,觀看距離越大,角度密度越大,且在視覺鏈路中傳輸方(例如顯示器)與接收方(例如人眼)的能力的失衡越大。使用將來的顯示技術,這種失衡會增大。在這些情況下,以螢幕支援的最大空間解析度編碼並傳輸自然視覺內容是越來越浪費的。
可以描述並使用照明效果。除了改變觀看距離和角度,行動觀看體驗還可以受到各種照明環境的影響。這些環境可以隨觀看位置(例如,室內或室外)、一天的時間、季節、地理位置及/或許多其他因素而發生變化。
行動螢幕發出的光可以與從各種週邊源反射的光“混合”。因此,投射到螢幕的圖像的顏色可以變得“被洗掉”。這可以在例如對比度降低、色域降低以及顏色平衡移位方面來被量化。例如,對比率可以藉由分別在白狀態和黑狀態下除以總的顯示亮度來計算。在週邊照明下,來自顯示器的總亮度可以計算如下:
可以是顯示器發出的亮度,和可以是來自直接和散射光源的亮度,以及和可以是行動螢幕的鏡面和漫反射特性。對比度甚至針對中等亮度可能迅速下降。
螢幕對比度下降的結果之一可以是人類觀察者能夠看到的空間頻率的範圍縮小。這可以藉由考慮所謂的人類視力的對比度靈敏度函數(CSF)來解釋。該函數的示例圖如第17圖所示。
當對比度非常高時,可視訊率的範圍可以受到敏銳度界限的限制,例如如第17圖的靠右邊部分所示。如果對比度小,可以定義以一個或的兩個點接觸CSF的下限。右邊的點可以定義最大可視空間頻率。左邊的點可以定義最小可視空間頻率。藉由進一步降低對比度,可視訊率的範圍可以被縮小到例如對應於CSF曲線的峰值。該峰值可以在每度視角3-6個循環之間。其可以遠離敏銳度極限大約5-10倍。
照明例如透過縮小瞳孔可以對視力具有額外效果。在高照明下,瞳孔可以縮小,這可以減小角膜(例如“晶狀體”)缺陷導致的失真。這可以(例如在一定程度上)抵消上述效果。
可以描述並使用螢幕傾斜度。行動螢幕的傾斜度可以指表面的法線與用戶觀看方向(例如觀看軸)之間的角度。例如,如第15圖所示,傾斜度可以是0°。傾斜度可以變化。傾斜角度可以影響例如亮度、對比度、顏色等。例如,iPhone 4R的30度的傾斜度可以導致亮度降低57%,以及對比率下降超過2的因數。
可以描述並使用興趣點。當用戶正看著螢幕時,其眼睛可能正專注在螢幕上的某個區域。在該專注點人的敏銳度可以是最大的(例如,在中央凹中投影圖像),在專注點以外的任意方向敏銳度衰退。例如,僅從固定點起2°內就可以捕獲大約50%的視覺資訊。
可以描述並使用對3D內容的感知深度的效果。關於觀看者距離的資訊可以在3D視訊再現被使用時被利用。例如,3D視訊預備的感知3D深度可以被影響。例如,感知深度可以被表達如下:
其中D可以是感知深度,f可以是距離螢幕的距離,α可以是像素密度,b可以是雙眼之間的基線距離(例如,用戶的IPD),以及d可以是螢幕上物體的視差(disparity)(例如,以像素為單位)。
觀看者距離螢幕的距離可以用於調整視差及/或獲取並顯示另一視圖,以補償深度失真。用於3D觀看的基於觀看者距離的自適應可以藉由考慮人視力的聚散度和焦距、以及相關的“舒適區域”的概念來理解。
第18圖顯示了在不同觀看情形中聚散度和焦距的示例。左邊三行顯示了自然觀看(N),具有光學矯正(例如眼鏡)的自然觀看(G)和立體3D觀看(S)的示例。在自然觀看中,聚散度刺激和焦點刺激可以位於相同的距離,由此可以彼此一致。在具有對折射差錯的光學矯正(例如,眼鏡或隱形眼鏡)的自然觀看中,由於矯正導致的焦度(focal power)連續遞減或遞增,焦距可以與聚散度距離不同。立體觀看可以產生聚散度距離與焦距之間的不一致,這是因為例如聚散度距離依據圖像內容而變化,而焦距可以保持恒定。
第18圖的右側顯示了針對左側示例的六種觀看情況,根據聚散度距離(以屈光度為單位)的焦距(以屈光度為單位)的示例圖。綠線顯示了自然觀看的示例,藍線顯示了具有光學矯正的自然觀看的示例,以及紅線顯示了觀看立體顯示的示例。在軸上指出了近距離和遠距離。
第19圖顯示了清楚的雙眼單視區域(ZCSBV)的示例。焦距和聚散度距離可以分別在縱坐標和橫坐標上繪製(以屈光度為單位)。虛對角線可以表示與自然觀看相關聯的聚散度刺激和焦點刺激的示例。標記有“最小相對聚散度”的線可以表示最小聚散度距離,針對該最小聚散度距離,觀看者可以維持在每個焦距下刺激目標的單個理想對焦的圖像。標記有“最大相對聚散度”的線可以表示最大聚散度距離,針對該最大聚散度距離,觀看者能夠維持單個理想對焦的視覺。
可以提供對觀看條件自適應的實施可以被描述並使用。在用戶手持其行動裝置的方式上可以變化,其可以影響它們能夠獲取的視覺信息量。例如,如表1中所示,行動電話螢幕的不同觀看距離和方位可以導致視角改變,例如,近似從5°到25°。假設行動螢幕的密度高,這可以意味著可視鏈路頻寬的因數5的可變性。周圍的照度可以導致對比率下降幾個量級。對比度的下降可以明顯減少可視空間頻寬(例如,如第20圖所示)。電話螢幕的傾斜度可以導致亮度和對比度下降額外的因數2。
用戶可能正全神貫注於螢幕,或他/她正看別的地方。如果用戶正全神貫注於螢幕,用戶可以得益於最佳可能的傳輸的視訊品質。如果用戶沒有全神貫注於螢幕,那麼品質可以降低,而不會對用戶造成任何不便。用戶可能正僅專注於螢幕的一部分。以空間分隔顯示的細節可能沒有被觀察到(例如,大於例如從該感興趣的區域起2-3度)。
這裏描述的實施可以提供利用一個或多個觀看/視覺參數(例如,如這裏所述的)系統設計的改進。觀看/視覺參數可以用於降低對例如網路的負載、功率使用,並向用戶傳輸最佳可感知品質的視覺資訊。利用觀看/視覺參數的實施在這裏可以被稱為觀看條件自適應。
這裏描述的實施可以在向用戶傳輸內容中被部署在不同點。所利用的視覺參數的有效性可以依據用戶裝置、視力及/或其他特性。例如,正使用低密度螢幕及/或具有好於20/20視力的用戶不能得益於使用觀看距離自適應的實施,但其他技術是有用的。
視訊處理鏈工具可以被提供。觀看條件自適應可以是傳輸視覺資訊及/或在行動螢幕上投射視覺資訊的系統的一部分,例如行動視訊串流、視訊電話應用程式等。該系統可以具有用於交換視訊位元率和品質的措施。該措施可以包括但不限於產生多個速率或可縮放視訊編碼/解碼的能力(例如,用於串流視訊)、動態改變編解碼器/視訊編碼/解碼鏈的參數的能力(例如,在視訊電話應用程式中)等。
編碼的視訊的空間解析度的變化可以是一種實現不同位元率(例如空間頻寬)的方式。這可以例如在編解碼器(例如,如果編解碼器支援解析度的動態變化)中實現,或以預處理及/或後處理邏輯的方式來實現。
預處理器可以降低(例如動態降低)視訊的解析度。後處理器可以被配置成對視訊進行上採樣。在預處理器中可以應用低通濾波。處理鏈的其餘部分可以保持原樣。第20圖中描述了一個示例。例如如果在低對比度狀態(regime)下操作,這種濾波器可以是帶通的。帶通濾波器可以移除不可見的低頻。信號頻寬越低,則編解碼器可以產生的越低。這可以藉由將新目標速率或量化步長(QP)參數傳遞給編碼器來執行。
自適應系統中用於交換視訊位元率和品質的措施可以包括但不限於降低訊框率,切換到“幻燈片顯示”模式等。這些措施可以由自適應邏輯來調用,例如在品質可以被降低而不會導致用戶不便的情況下(例如,當用戶沒有專注於螢幕時)。
可以提供觀看條件自適應實施的速度和粒度。人類視力的自然極限可以允許以某些延遲來執行自適應。例如,一個特性可以被稱為適應延遲。適應延遲可以是人眼將焦點從一個距離改變到另一個距離所花的時間。對成年人來說,適應延遲可以是大約350ms。例如,這可以意味著如果用戶分心(例如正看著行動裝置的螢幕以外的物體)但之後又看回到行動裝置的螢幕,則用戶的眼睛將焦點改回到行動裝置的螢幕要花大約350ms。
單向通訊延遲可以在100-300ms之內(例如,在LTE無線網路中)。這可以例如是針對行動視訊電話應用程式的範圍。延遲可以足以執行這裏所述的實施,以以用戶察覺不到的方式執行觀看條件的改變。如果在基地台處執行實施,這種延遲可以較慢。該系統可以執行將在任意給定時間在空中傳送給WTRU的視訊的代碼轉換或視訊層的選擇(例如,如果以可縮放/分層方式編碼)。視覺再現的空間頻寬可以變化。如果以小增量(例如每倍頻程(octave)3-5步)引入變化,則該變化是注意不到的。
可以描述並使用利用觀看條件自適應的實施。這裏可以描述傳輸系統可以使用的自適應技術。可以使用自適應技術組合的子集,包括但不限於以下中的一者或多者:對用戶存在的偵測和自適應;對螢幕傾斜度的偵測和自適應;對用戶距離螢幕的距離的估計和自適應;對用戶距離螢幕的距離以及借助校準測試的用戶視力的自適應;對照明條件的估計和自適應;以及對用戶興趣/關注點的估計和自適應。
對用戶存在的偵測和自適應。如果用戶不存在,則系統可以降低視訊率,例如降低到最低的“收費(toll)”品質表示,將其轉到幻燈片顯示及/或關掉視訊。可以存在一些能夠用於例如藉由使用專用“用戶接近”感測器,藉由使用電話的前置相機,藉由使用紅外成像裝置,藉由使用超聲感測器,藉由使用來自麥克風輸入,藉由使用動作感測器等來偵測用戶的存在的感測器和技術。
接近感測器可以用於在用戶講電話時關閉螢幕背光。來自該感測器的輸入可以用於停止或調整(例如降低)內容(例如視訊)傳輸的位元率。當使用來自其他感測器的輸入時,該輸入可以被轉換成指示用戶存在的指示符。該指示符可以用於作出關於待傳輸的內容(例如視訊)的速率、品質等的決策。
這裏可以描述可以使用的使用來自前置相機的輸入的偵測邏輯。系統可以從前置相機獲取圖像。面部偵測演算法可以用於找到圖像內面部的位置。例如,系統可以使用Viola-Jones偵測器來偵測面部。如果找到面部,可以確定用戶存在。如果沒有找到面部,可以確定用戶位於前置相機的視野以外,或超出面部識別演算法的範圍。這樣的示例如第21圖中所示。在廣角相機和窄角顯示器的情況中,可以推斷用戶不能看到呈現在螢幕上的內容。如果用戶在範圍之外,則他/她不能感知全螢幕解析度。
這裏可以描述對螢幕傾斜度的偵測和自適應。行動裝置可以包括感測器,其可以用於估計相對於行動裝置螢幕的用戶位置及/或方位。例如,感測器可以包括但不限於電話的前置相機、紅外感測器、超聲感測器、麥克風陣列等。系統可以獲取電話前面的視野的圖像(例如,可見光、IR、基於聲納等)。系統可以偵測人臉的位置。系統可以計算相對於該位置的角度。例如,如果相機被用作感測器,則來自相機(例如前置相機)的圖像可以被捕獲,並被用於偵測人臉。面部偵測技術(例如但不限於Viola-Jones偵測器)可以被使用。如果沒有偵測到面部,則系統可以推斷用戶的觀看方向可以至少遠離相機視角的一半。例如,這可以如第21圖所示。當偵測到使用者的臉時,傾斜度可以計算如下:
可以描述對用戶距離螢幕的距離的估計和自適應。可以存在用於偵測相對於螢幕的用戶距離的感測器和技術。這可以藉由使用例如電話的前置相機、紅外成像、超聲感測器或藉由來自這些感測器的輸入的任意組合來完成。
動作感測器可以用於偵測觀看距離的可能改變。可以使用來自前置相機的輸入來確定觀看距離的改變。例如,人臉部特徵(例如但不限於瞳孔間距(IPD))可以被用作可以用於分析用戶的觀看距離的度量。
該邏輯的示例可以參照第22A圖至第22B圖來解釋。起作用的兩個角度是相機的視角和使用者眼睛之間的角度(a),其中該視角可從電話的說明書中已知。如果圖像被面部偵測器捕獲及/或處理,在該圖像中的使用者眼睛之間的距離(例如,以像素來測量)可以被測量。使用者眼睛之間的角度可以被計算如下:
未知變數可以是用戶的IPD。用戶的IPD可以被估計及/或作為輸入參數被提供給應用(例如,為特定用戶定制)。例如,大多數成年人的IPD可以在50-75mm的範圍內變化。該範圍可以用作估計。如果用戶輸入其精確的IPD作為參數,則系統的性能可以更精確。例如對於自適應邏輯來說,知道(例如僅知道)觀看者距離的下限估計就足夠了。如果有多個觀看者正在看螢幕,則偵測離螢幕最近的觀看者的距離就足夠了。
用於基於用戶的IPD偵測其距離的實施可以包括以下(例如所有或子集):估計及/或輸入用戶的瞳孔間距(IPD)作為參數;獲得相機參數,例如但不限於解析度和相機角度;使用前置相機捕獲圖像;偵測在圖像內人臉的存在及/或位置;測量圖像中用戶眼睛之間的距離(例如,像素級距離);以及基於已知數量計算用戶距離螢幕的距離。
偵測圖像內的面部(例如人臉)可以例如使用Viola-Jones偵測器來實現。偵測器可以計算一些標準圖像特徵(例如IPD)的像素級尺寸。如果在圖像中偵測到多個面部,則可以穩定螢幕到面部中的一者或多者的距離。距離螢幕最近的臉可以被使用。用戶的距離可以被用於(例如,可能與關於照度和視角的資訊結合用於)偵測螢幕上可視空間頻率的範圍。該可視訊率的範圍可以被用於確定空間解析度及/或濾波器參數,例如用於視訊編碼/解碼及/或切換到使用這些參數編碼的串流。
可以描述對用戶離螢幕的距離和借助校準測試的用戶視力的自適應。用於偵測用戶在不同觀看距離察覺視覺細節的能力的技術可以經由一個或多個測試來確定。例如,用戶可以被引導觀看螢幕,並回答一系列問題,例如但不限於如第23圖和第24圖所顯示的。第23圖顯示了可以允許偵測使用者能夠在其最舒適位置看到的最小空間細節的示例問題。使用第24圖的示例問題,使用者可以被指示將相機/螢幕移到其依然能夠看到這些細節的最遠點。當使用者確認這個(例如按下OK),可以拍下使用者的相片,其臉可以被偵測,且IPD可以被計算(例如在像素域中),該IPD可以對應於使用者的觀看距離。這可以偵測當使用者將來位於較短或較長距離時的情形。可以確定一個或多個距離/可視解析度點。例如,藉由要求使用者使用兩個可能的字母大小(例如,參考第24圖中的測試)來確認(例如,按下“OK”),可以獲得兩個距離/可視解析度點,這足以對任意距離進行自適應。
可以描述和使用對照明條件的估計和自適應。可以使用一個或多個感測器來估計照明條件,感測器可以例如但不限於環境光感測器資訊、前置相機、後置相機等。這樣的資訊(例如與關於螢幕的亮度設定的資訊一起)可以被用於估計螢幕的可達到對比度和總照明量。
可以使用關於螢幕傾斜度的資訊來改善估計。估計的總照明可以用於選擇合適的對比度靈敏度曲線。螢幕的對比度可以用於偵測合適對比度靈敏度曲線上的工作範圍。這可以產生螢幕上可視空間頻率的範圍。
前面和背部照明可以以不同方式影響用戶感知。例如,前面照明可以從螢幕被反射。背部照明可以改變瞳孔的擴張。一旦偵測到頻率的範圍及/或用戶離螢幕的距離已知,前面及/或背部照明可以用於確定空間解析度及/或將用於編碼內容及/或切換到使用濾波器參數編碼的流的濾波器參數。
可以描述和使用對觀看者的關注點的估計和自適應。用戶可以感知螢幕的小部分中的畫面細節,該小部分這裏可以稱為“關注點(POA)”。用戶POA以外的螢幕區域中的解析度可以被降低而不會明顯影響用戶。當用戶距離螢幕的距離非常短(例如在較寬視角)時,估計用戶的POA是有用的。例如,用戶的POA可以用於具有內容導出的特徵(saliency)點的基於特徵的編碼中。用戶的POA可以被估計並用於改進用戶體驗。用戶的POA可以用於沒有用該資訊編碼的舊材料的串流中。
例如,用戶的POA可以使用前置相機通過測量瞳孔與來自角膜晶體的反射之間的角度來估計。雖然為了該測試用戶必須靠近,但這可以是在測量相關時的一個時機。
可以使用用戶的POA來實施以下中的一者或多者:支援將畫面分成多個部分或瓷磚的編碼器,其中每個部分/瓷磚可以以多個解析度或層被編碼;具有前置相機的行動裝置和用於估計用戶觀看點的過程;用於計算每個瓷磚的最優解析度的實施;用於針對部分/瓷片向網路確定可以使用哪個解析度的信令實施;以及自適應網路實體。如果該實體不是編碼器/解碼器,則一些層/速率可以從編碼器/解碼器被發送,及/或從從中選擇自適應實體的伺服器被發送。可以例如在網路節點(例如節點B)中執行自適應以減少自適應時間。呈現演算法可以將部分/瓷磚縫合起來。
可以使用電腦視覺及/或電腦圖形技術。例如,Viola-Jones臉部偵測器和眼睛跟蹤器可以用於確定固定點。例如可以使用局部特徵(例如但不限於尺度不變特徵變換(SIFT)特徵)來完成縫合。
第25圖顯示了觀看條件自適應系統的示例。行動串流視訊系統可以整合這裏描述的用於觀看條件自適應的實施中的一者或多者。第11圖可以顯示出串流系統的架構示例。串流用戶端(例如位於WTRU中)使用的元件和邏輯的示例可以在第25圖中顯示。該用戶端可以與串流或HTTP伺服器通訊,該伺服器可以儲存以不同速率及/或空間解析度編碼的多個視訊串流。用戶端裝置可以使用前置相機來估計觀看距離及/或照明等級。例如,這些參數(例如,還有用戶端的可用頻寬視圖)可以用於確定用戶端能夠請求內容(例如視訊串流)時的最佳解析度。
串流伺服器可以對用戶端請求作出反應。例如,串流伺服器可以是現成的速率自適應HTTP及/或RTSP/RTP相容的伺服器。該系統可以使用這裏描述的實施的所有或任意子集。
例如,由於網路中的擁塞和其他可能的損害,在無線和有線網路中的串流可以使用對可變頻寬的自適應。可以使用多媒體內容對一些目標速率的同時編碼。這可以與用戶端應用中的信令和速率切換邏輯耦合。第26圖顯示了該系統的功能的示例架構和解釋的圖。第26圖的示例顯示了基於自適應HTTP的串流系統的操作。
在串流系統中,可以以特定粒度來進行流切換,該粒度可以大約是2-10秒。用戶端可以在編碼的流之間切換的點可以稱為切換點。切換點之間的編碼的內容的部分可以稱為片段。
在串流會話期間,串流用戶端可以計算每個片段的傳輸速率,這可以給用戶端對接收下一個片段可用的網路頻寬的估計。基於該估計,用戶端可以決定哪個下一個編碼/速率將用於下一個片段。用戶端可以使用該模型來自適應改變的網路條件。關於編碼串流的資訊(例如,高級資訊)(例如,可能包括編碼串流的速率)可以被儲存在清單或多媒體演示描述(MPD)檔中。針對流中每個編碼的片段的偏移和時序資訊可以儲存於片段索引檔中。
可以定義編碼的媒體片段、片段索引及/或媒體演示描述(MPD)檔的格式。可以允許串流切換的具有共同屬性的編碼集可以稱為自適應集。自適應集的元素可以稱為表示。自適應集可以包括子表示作為組件。表示和子表示可以包括一個或多個媒體內容組件,例如但不限於音頻、視訊、文本等。
MPEG-DASH自適應集、表示及/或子表示可以共用共同屬性。例如,如果它們包括視訊,則它們可以具有@寬度、@高度、@sar及/或@訊框率屬性。如果它們包括音頻,則它們可以包括@音頻採樣率屬性。屬性可以包括@mime類型和@編解碼器屬性。可以或可以不需要屬性。表示可以具有其自身的唯一屬性,例如但不限於@id、@頻寬、@品質排名等。
可以普遍使用MPEG-DASH串流標準,以例如用於將資訊傳輸到再現裝置,包括但不限於電視機、電腦、平板電腦以及智慧型電話。當使用不同的再現裝置時觀看設定的特性可以不同。例如,當在行動裝置上看視訊時,其小螢幕在以舒適距離拿著時會產生5-10°的視角。當用戶正用手持有裝置時,該距離不再是靜止的,例如其可以隨著用戶的姿勢和對內容的關注而發生變化。第7圖和第8圖顯示了顯示在行動設定中觀看設定參數和觀看距離分佈的圖表。
如這裏所述,表1顯示了不同行動裝置的觀看設定示例。行動觀看可以帶來寬的視角分佈,其對於小型化(small-form-factor)裝置來說可以是小的(5-10°)。視覺內容的有效密度可以超過敏銳度極限。
視覺的時間特性可以被考慮。一個時間特性可以是臨界閃爍頻率(CFF)。第27圖顯示了根據從觀看軸起的傾斜度的CFF值的地形圖的示例。這些測量可以針對右眼被產生。黑色區域可以對應於盲點。從第27圖中可以觀察到在中央(中央凹)區域,CFF可以近似55Hz。對於周邊區域,CFF可以近似85Hz。臨界停閃頻率的偏心率(例如,內圓可以對應於從觀察軸起的30°移位)可以在第27圖中被描述。這表明使用窄角度(例如5-10°)再現,可以在視訊內容編碼中使用較低訊框率(例如,與寬角度再現的情況相反)。
為常規(例如30-40°角度)觀看產生的視訊編碼可以比能夠看到及/或欣賞的窄(例如5-10°)視角再現的行動用戶提供多得多的資訊(例如在空間和時間細節方面)。
為了最佳化窄視角再現的傳輸,內容發佈方可以使用多種技術。例如,內容製作方可以以任意可允許的組合,在空間上及/或時間上下採樣視訊,應用空間或時間預濾波技術,使用編碼器級最佳化(例如但不限於訊框/片和MB級RD決定模式,其可以與可以被調節到特定再現設定的價值函數耦合)等。
可以使用工具執行下採樣,並可以或可以不需要任意其他屬性或信令。例如,DASH MPD格式可以包括@寬度、@高度及/或@訊框率屬性。例如,如果行動裝置本來支援720p解析度,期望的是發送以該空間解析度編碼的視訊資料,而借助預濾波和代碼級最佳化來移除感知冗餘。
例如,其他實施可以用於針對給定的固定視角來最佳化內容(例如視訊)。藉由移除作為自由度之一的視角,每個編碼的有效性可以被改善。
例如,這裏可以揭露另外的屬性,以能夠使用這種以DASH的定制串流。以DASH MDP語法的屬性可以包括但不限於@視角,其可以是指定對觀看以給定表示或自適應集編碼的內容的期望(例如,最佳的)視角的屬性。@最小視角和@最大視角可以是標識觀看距離的範圍/由給定表示或自適應集支援的編碼的範圍的屬性。
DASH可以包括@截止及/或@頻率回應,其可以是指出內容在以給定的截止頻率參數進行編碼之前被低通濾波的屬性。@截止及/或@頻率回應參數可以足以借助空間預濾波實施定制。@視角屬性可以將這樣的決定留給編碼器/解碼器。@最小視角和@最大視角的引入可以允許一個範圍,並可以用在描述和編碼串流中。
可以藉由至少螢幕的物理尺寸(例如,螢幕寬度)和觀看者與螢幕之間的距離的組合來用信號發送視角。例如,視角可以按如下被用信號發送:
螢幕的物理尺寸和觀看者與螢幕之間的距離可以提供觀看設定的特性描述。例如,對於2D圖像/視訊再現,可以使用視角。在3D圖像和視訊的再現中,可以有至少多一個自由度,因此螢幕的物理尺寸和觀看者與螢幕之間的距離的信令可以被使用。這種示例在第28圖中顯示。
第28圖顯示了具有相同視角(α)但不同交叉角度(β和β’)的兩種設定的示例圖。參考第28圖,視角(α)針對兩種設定可以是相同的。交叉角度(β和β’)可以不同。交叉角度的差隨著觀看距離與瞳孔間距(IPD)之間的定額(ration)增加而減小。IPD可以因人而異。例如,成年人典型的IPD的範圍可以大約在50-75mm(1.96-2.95’’)之間。因此,用於3D再現的觀看設定的信令可以說明用戶的IPD。
參照第28圖,可以使用視角(α)和交叉角度(β)。這些參數可以從描述符中得到,該描述符包括屬性,例如但不限於螢幕的物理尺寸、用戶的眼睛與螢幕之間的距離、以及用戶的IPD。描述符還可以被定義,由此它們列出一些參數的任意組合,其中,可以使用子集。例如,描述符可以用參數來定義,該參數例如但不限於螢幕的物理尺寸、用戶的眼睛與螢幕之間的距離及/或視角。這些參數中的任意兩個參數可以用於導出第三個參數。
這裏揭露的觀看設定的參數的任意組合可以被包括,作為以DASH標準的MPD檔中的自適應集、表示及/或子表示的預定義屬性。例如,可以借助DASH MPD檔中的通用描述符來用信號發送觀看設定的參數的任意組合。該信令的示例可以說明如下:
例如,“schemeIdUri”可以提供使用該屬性的規格及/或部署系統的識別字。行為屬性可以指示通用用戶端(例如串流用戶端)可以如何對描述符(例如,其可以與觀看參數有關)做出反應。例如,如果描述符被指定為必須的(例如“必需的”、“必要的”等),則了解及/或能夠使用該描述符(例如觀看參數)的用戶端(例如僅用戶端)可以使用這些表示。如果“行為”被指定為任意的(例如“可選的”、“補充的”等),則用戶端可以使用該表示,即使用戶端沒有了解該描述符(例如,觀看參數)。“值”可以指定該描述符包括一個或多個值。例如,在這裏提供的示例中,值可以指視角。
例如,“schemeIdUri”可以提供使用該屬性的規格及/或部署系統的識別字。例如,如果“行為”被指定為“必需的”,則理解及/或能夠使用該描述符(例如,觀看參數)的用戶端(例如,僅用戶端)可以使用表示。如果“行為”被指定為“可選的”,則用戶端可以使用或可以不使用表示,即使用戶端理解該描述符(例如觀看參數)。“值”可以指定該描述符包括一個或多個值。例如,在這裏提供的示例中,值可以指視角。
可以在自適應集等級定義描述符。可以在表示及/或子表示級定義描述符。URI(例如但不限於“urn:sdo:dash-ext1:viewing-angle”、“urn:sdo:dash- ext1:min-viewing-angle”、和“urn:sdo:dash-ext1:max-viewing-angle”)可以用於識別視角的最小值、最大值及/或期望值。類似的URI可以被定義用於傳輸這種資訊(例如但不限於顯示器尺寸和觀看距離參數組合)的替代方式。
例如可以在DASH串流用戶端中存在使用視覺屬性的數種方式。例如,中度的(median)觀看距離及/或一個或多個視角參數可以被使用。例如,DASH串流應用程式可以使用OS供應的API,以獲得該應用程式在其上執行的裝置的物理參數。該參數可以包括但不限於裝置的移動性(例如,其可以從網路連接的類型中推出)、螢幕的本來的解析度、螢幕或螢幕對角線的像素密度、是否可以以視窗進行呈現(例如視窗尺寸及其位置)等。
在裝置上操作的DASH用戶端也可以推出其尺寸。例如,如果裝置是移動的且其具有5’’或更小的螢幕,則DASH用戶端可以推出裝置是手持裝置。Dash用戶端可以選擇中度的觀看距離特性(例如,見第26圖)。用戶端可以估計視角。使用該估計,用戶端可以選擇自適應集和表示,例如使用@視角(及/或@最小視角、@最大視角或@截止或@頻率回應)值作為可能的目標。
可以使用動態估計的觀看距離及/或視角參數。內容發佈方/發行方可以部署智慧行動串流用戶端應用程式。應用程式可以使用感測器來估計用戶與裝置之間的距離。應用程式可以確定當用戶觀看內容(例如看視訊)時可以存在的視角。
第29圖顯示了自適應用戶的行為和觀看條件的示例串流系統的圖。用戶端可以訂閱達到與其設定(例如,其可以包括這裏描述的視覺特性中的一者或多者)的最佳匹配的串流。例如,基於用戶的行為和觀看條件和一個或多個預編碼的串流,用戶端可以最佳化針對不同視角的內容的傳輸。
MPEG-DASH標準可以提供用於基於HTTP的自適應串流系統的設計的框架。其可以提供一組用於內容特性描述的屬性,使串流用戶端可能能夠做出關於表示和內容呈現的選擇的明智決定(informed decision)。例如,以DASH編碼的視訊能夠由以下中的一者或多者來描述:@編解碼器-使用的編解碼器類型、配置檔和等級;@頻寬-用於編碼片段的目標速率;@寬度、@高度、@sar、@訊框率-視訊解析度、縱橫比、訊框率;以及@品質排名-相對於自適應集中其他編碼的品質排名。
使用一個或多個屬性,DASH用戶端可以確定編解碼器的自適應集及/或表示,以及最佳匹配特定裝置的呈現能力的視訊特性。對可用網路頻寬的調整可以藉由檢查@頻寬屬性及/或在以不同速率編碼的串流之間的切換來實現。
例如,在觀看環境(例如但不限於電影院和起居室)中,可以選擇觀看位置來實現螢幕的寬(例如25-40°)視野。例如,THX建議36°作為電影再現的最佳視角。類似地,SMPTE EG-18-1994建議至少30°寬的視角。當用戶正在行動裝置上(例如智慧型電話或平板電腦)看視訊時,視角可以比上述建議的要小(例如,5-20°)。這可以是由於行動裝置有限的物理尺寸及/或用戶離行動裝置的螢幕的距離。
行動觀看設定的參數示例在第15圖中顯示。例如根據以下算式,這些參數可能互相關連:
下面再現表1。表1提供了一些可能的觀看設定的參數示例。在表1中,靜止觀看設定的特性可以與使用行動裝置示例的可能設定進行比較。
可以計算兩個螢幕方位的視角。所產生的關於螢幕的資訊的空間密度可以被計算。例如,空間密度可以表示為:
例如,如表1中所示,移動環境中的視角可以是小的(例如,對於小型化裝置來說是5-10°)。這可以比看TV的用戶體驗的視角小3-6倍。所產生的空間密度跨過1/60度的視角障礙(可以稱為視覺敏銳度極限)。該實例的示例如表1中所示。在一些情況中,密度可以超過敏銳度極限的兩倍。
為寬角度觀看預備的視訊的精細空間細節可以在或可以不在行動螢幕上可見。一些或所有空間頻率的可視性可以受比例/角度變化的影響。窄視角可以排除可以具有較高時間靈敏度的視覺的週邊區域,潛在地可能實現以低於正常用於寬角度再現的速率的速率呈現視訊。
可以為不同裝置及/或再現設定最佳化串流。例如,假定靜止(例如寬角度)再現的視訊編碼如果用於傳輸給小行動裝置,則其是無效的。例如如果知道使用窄視角設定來進行再現,則可以利用少得多的位元來實現相同的用戶體驗。
一個或多個編解碼器級及/或預處理工具可以用於編碼及/或處理具有窄視角設定的裝置的內容(例如視訊)。工具可以包括但不限於在編碼之前在空間及/或時間上對視訊進行下採樣,空間及/或時間預濾波(例如在編碼之前進行低通濾波),編解碼器級工具的使用(例如,量化、R/D決定邏輯等)等。
這裏描述的實施可以提供允許以下中的一者或多者的屬性:可以在許多裝置上使用的編碼串流及/或MPD檔的產生、需要的較少編碼及/或MPD檔、針對不同再現環境編碼的串流的唯一標識(例如,具有相同位元率及/或解析度但是不同外表的串流)、以及DASH用戶端中的自適應邏輯(例如使用戶端能夠根據再現設定和裝置來選擇合適的表示)。例如,根據這裏描述的實施描述用於觀看編碼的內容的視角的一個或多個屬性可以被添加。
根據這裏描述的實施,以下中的一者或多者可以被添加,例如如表2、3和4所示:
可以基於裝置特性(例如,裝置的觀看特性)來最佳化編碼。例如,在@視角參數的一些不同值記憶體在自適應集及/表示的情況下,用戶端(例如DASH用戶端)可以做出關於使用哪個值的決定。例如,用戶端應用可以(例如使用OS供應的API)獲得該應用在其上操作的裝置的特性。該特性可以包括但不限於裝置的移動性(例如,其可以從網路連接的類型中推斷出)、螢幕的解析度及/或可以用於呈現的螢幕的區域、螢幕及/或螢幕對角線的像素密度等。用戶端可以例如基於裝置的移動性類型和螢幕的尺寸對裝置進行分類(例如,分為智慧型電話、平板電腦、固定裝置)。用戶端可以選擇可以被使用的觀看距離及/或視角。例如,對於智慧型電話來說,可以使用基於已知統計的觀看距離的中位數。類似的資料可以針對其他類型的裝置存在。用戶端可以例如使用對觀看距離及/或視角的估計,及/或使用表示及/或自適應集的@視角屬性的宣稱的值來選擇要使用的自適應集及/或表示。例如,播放器(例如DASH播放器)可以實現對為特定裝置上的最佳觀看採用的串流的選擇。可以需要對內容及/或MPD檔的非自定義(例如每個裝置的)編輯(authoring)。
可以基於動態估計的觀看距離及/或視角參數來最佳化編碼。在@視角參數的一些不同值記憶體在自適應集及/或表示的情況下,DASH用戶端可以藉由使用以下邏輯做出關於使用哪一個的決定:DASH用戶端應用可以使用裝置感測器(例如,用戶接近感測器、IR及/或前置相機)來偵測用戶的存在,且如果用戶存在——偵測其離螢幕的距離;使用獲得的距離,以及螢幕的特性,DASH用戶端可以計算視角;使用視角,以及表示及/或自適應集的@視角屬性的宣稱的值,用戶端然後可以選擇要使用的最合適的自適應集及/或表示。DASH用戶端中的該邏輯的示例圖示在第29圖中被提供。在第29圖顯示的系統中,用戶端還可以在使用者不存在及/或不關注螢幕的情況下做出智慧決定。該決定可以包括但不限於降低視訊品質及/或速率,及/或停止重播。
如這裏所述,實施可以提供與多媒體內容的觀看條件自適應相關聯的方法和系統。例如,裝置(例如行動裝置、個人電腦、視訊會議裝置等)可以從網路(例如網路節點,例如但不限於串流伺服器、HTTP伺服器等)接收多媒體內容(例如視訊)。例如裝置可以確定與用戶、裝置及/或內容相關聯的觀看參數(例如,多個觀看參數)。觀看參數可以包括以下至少其中之一:用戶觀看參數、裝置觀看參數或內容觀看參數。觀看參數可以包括多個觀看參數。
如這裏所述,用戶觀看參數可以包括以下至少其中之一:用戶存在、用戶相對於裝置螢幕的位置、用戶相對於裝置螢幕的方位、用戶相對於裝置螢幕的視角、用戶距離裝置螢幕的距離、用戶的視覺敏銳度、周圍光照條件(例如,周圍光強度)、觀看裝置螢幕的用戶數量、或用戶的關注點。
如這裏所述,裝置觀看參數可以包括以下至少其中之一:裝置的移動性、裝置螢幕尺寸、裝置螢幕解析度、裝置螢幕的像素密度、裝置螢幕的對比度、裝置螢幕的亮度、裝置上顯示多媒體內容的視窗的尺寸、或裝置上顯示多媒體內容的視窗的位置。如這裏所述,內容觀看參數可以包括以下至少其中之一:多媒體內容的對比度、多媒體內容的色域、三維多媒體內容的存在、或多媒體內容的三維內容的深度範圍。
可以由裝置(例如裝置的處理器、位於裝置上的DASH用戶端、位於裝置上的軟體等)確定觀看參數。可以使用以下至少其中之一來確定觀看參數:裝置螢幕尺寸、裝置螢幕解析度、裝置螢幕角度、裝置螢幕的像素密度、裝置螢幕的對比率、用戶接近感測器、前置相機、後置相機、光感測器、紅外成像裝置、超聲感測器、麥克風、加速度計、羅盤或陀螺儀感測器。例如,裝置的感測器(例如,用戶接近感測器、前置相機、後置相機、光感測器、紅外成像裝置、超聲感測器、麥克風、加速度計、羅盤或陀螺儀感測器)可以用於確定觀看參數或可以用於確定用於確定觀看參數的資訊。
裝置可以將對多媒體內容的請求傳送給網路。請求可以基於觀看參數。例如,請求可以包括與觀看參數有關的資訊。網路可以接收並處理請求。網路可以確定用於多媒體內容的速率(例如基於請求)。例如,網路可以基於觀看參數確定用於多媒體內容的速率。例如,速率可以與觀看參數相關聯。裝置可以從網路接收多媒體內容。從網路接收的多媒體內容可以以根據觀看參數的速率被處理。多媒體內容可以被顯示在裝置螢幕上。
可以以多個不同速率來處理多媒體內容。例如,每個速率可以是以下至少其中之一的函數:多媒體內容的編碼速率、多媒體內容的空間解析度、多媒體內容的時間解析度、量化參數、速率控制參數、多媒體內容的目標位元率、多媒體內容的空間濾波、或多媒體內容的時間濾波。每個速率可以與至少一個觀看參數相關聯。因此,多媒體內容可以經由不同速率被定制化到觀看參數。例如,可以根據用戶體驗來定制化多媒體內容。
觀看參數可以動態地改變。例如,根據動態地改變的觀看參數,提供給裝置的多媒體內容的速率可以被動態地改變。例如,多媒體內容的速率可以每個預定的多媒體內容的數量(例如,從一個片段到下一個片段)而改變,可以每個預定的時間段而改變等。例如,可以從網路接收以第一速率處理的多媒體內容的第一片段。第一速率可以基於或不基於觀看參數。觀看參數可以被確定(例如後續的觀看參數或改變的觀看參數)且對多媒體內容的第二片段的請求可以被傳送到網路。以根據觀看參數(例如後續的觀看參數或改變的觀看參數)的第二速率處理的多媒體內容的第二片段可以從網路接收。多媒體內容的後續片段的處理速率可以改變或不改變,例如直到整個多媒體內容已經被傳輸給裝置,或連接取消。
傳送到網路的請求可以確定裝置接收的多媒體內容的速率。例如,請求可以包括裝置請求的多媒體內容的特定速率。網路可以根據請求確定裝置接收的多媒體內容的速率。例如,請求可以是清單檔(例如,多媒體演示描述(MPD)檔)、SEI消息或其他可以例如包括觀看參數的消息。網路可以使用觀看參數來選擇多媒體內容的速率。
清單檔(例如,多媒體演示描述(MPD)檔)、SEI消息或其他消息可以由裝置從網路接收。清單檔(例如,MPD檔)、SEI消息或其他消息可以包括與多媒體內容的速率(例如,所有可用速率)有關的資訊。與速率有關的資訊可以包括與觀看參數相關聯的描述符。清單檔(例如,MPD檔)、SEI消息或其他消息可以指示描述符是必需的還是可選的。必需的描述符可以指示裝置必須滿足描述符的要求來接收以該速率處理的多媒體內容。例如,如果必需的描述符指定“至少36°的視角”的觀看參數,則具有計算出的至少36°的視角(例如,滿足描述符)的裝置(例如僅裝置)可以接收以該速率處理的多媒體內容。可選的描述符可以指示裝置可以滿足描述符的要求,但不是必須滿足描述符的要求來接收以該速率處理的多媒體內容。
這裏描述的實施可以用於視訊會議。例如,第一裝置(例如,第一視訊會議裝置)例如如這裏所述(例如,經由SEI消息、請求、信令、不用任何信令等)確定第二裝置(例如,第二視訊會議裝置)的觀看參數(例如多個觀看參數)。適於觀看參數的視訊編碼的特性可以由第一視訊會議裝置來確定。視訊編碼的特性可以包括處理視訊內容的速率(例如,如這裏所述)。根據確定的視訊編碼的特性編碼的視訊內容可以從第一視訊會議裝置傳送到第二視訊會議裝置。這裏針對視訊會議描述的實施可以用於任意數量的連接的視訊會議裝置/由任意數量的連接的視訊會議裝置使用。
第30A圖是可以在其中實施一個或多個揭露的實施方式的示例通訊系統100的圖。通訊系統100可以是向多個無線使用者提供內容(例如語音、資料、視訊、消息發送、廣播等)的多重存取系統。通訊系統100可使多個無線使用者通過系統資源的共用來存取所述內容,該系統資源包括無線頻寬。例如,通訊系統100可使用一種或多種頻道存取方法,例如分碼多重存取(CDMA)、分時多重存取(TDMA)、分頻多重存取(FDMA)、正交FDMA(OFDMA)、單載波FDMA(SC-FDMA)等等。
如第30A圖所示,通訊系統100可以包括無線傳輸/接收單元(WTRU) 102a、102b、102c、及/或102d(一般或統稱為WTRU 102),無線電存取網路(RAN)103/104/105,核心網路106/107/109,公共交換電話網路(PSTN)108,網際網路110和其他網路112,不過應該理解的是揭露的實施方式考慮到了任意數量的WTRU、基地台、網路及/或網路元件。WTRU 102a、102b、102c、102d中每一個可以是被配置為在無線環境中進行操作及/或通訊的任何類型的裝置。作為示例,WTRU 102a、102b、102c、102d可以被配置為傳送及/或接收無線信號,並且可以包括使用者設備(UE)、行動站、固定或行動用戶單元、傳呼機、蜂巢式電話、個人數位助理(PDA)、智慧型電話、膝上型電腦、隨身型易網機、個人電腦、無線感測器、消費性電子產品等等。
通訊系統100還可以包括基地台114a和基地台114b。每一個基地台114a、114b可以是被配置為與WTRU 102a、102b、102c、102d中的至少其中之一無線對接,以便於存取一個或多個通訊網路(例如核心網路106/107/109、網際網路110及/或網路112)的任何類型的裝置。作為示例,基地台114a、114b可以是基地台收發信台(BTS)、節點B、e節點B、家用節點B、家用e節點B、站點控制器、存取點(AP)、無線路由器等等。雖然基地台114a、114b每個被描述為單一元件,但是應該理解的是基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分,該RAN 103/104/105還可包括其他基地台及/或網路元件(未顯示),例如基地台控制器(BSC)、無線電網路控制器(RNC)、中繼節點等等。基地台114a及/或基地台114b可被配置為在特定地理區域內傳送及/或接收無線信號,該特定地理區域可被稱作社區(未顯示)。該社區可進一步劃分為社區磁區。例如,與基地台114a相關聯的社區可劃分為三個磁區。因而,在一個實施方式中,基地台114a可包括三個收發器,即社區的每個磁區使用一個收發器。在另一個實施方式中,基地台114a可使用多輸入多輸出(MIMO)技術,並因此可針對社區的每個磁區使用多個收發器。
基地台114a、114b可在空中介面115/116/117上與WTRU 102a、102b、102c、102d中的一者或多者進行通訊,該空中介面115/116/117可以是任何適當的無線通訊鏈路(例如,無線電頻率(RF),微波,紅外線(IR),紫外線(UV),可見光等等)。空中介面115/116/117可使用任何適當的無線電存取技術(RAT)來建立。
更具體地,如上所述,通訊系統100可以是多重存取系統,並且可以使用一種或多種頻道存取方案,例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如,RAN 103/104/105中的基地台114a和WTRU 102a、102b、102c可以實施無線電技術,例如通用行動電信系統(UMTS)陸地無線電存取(UTRA),其可以使用寬頻CDMA(WCDMA)建立空中介面115/116/117。WCDMA可以包括通訊協定,例如高速封包存取(HSPA)及/或演進型HSPA(HSPA+)。HSPA可以包括高速下鏈封包存取(HSDPA)及/或高速上鏈封包存取(HSUPA)。
在另一個實施方式中,基地台114a和WTRU 102a、102b、102c可實施無線電技術,例如演進型UMTS陸地無線電存取(E-UTRA),其可以使用長期演進(LTE)及/或高級LTE(LTE-A)來建立空中介面115/116/117。
在其他實施方式中,基地台114a和WTRU 102a、102b、102c可實施無線電技術,例如IEEE 802.16(即,全球互通微波存取(WiMAX)),CDMA2000,CDMA2000 1X,CDMA2000 EV-DO,臨時標準2000(IS-2000),臨時標準95(IS-95),臨時標準856(IS-856),全球行動通訊系統(GSM),用於GSM演進的增強型資料速率(EDGE),GSM EDGE(GERAN)等等。
第30A圖中的基地台114b可以例如是無線路由器、家用節點B、家用e節點B或存取點,並且可以使用任何適當的RAT來便於局部區域中的無線連接,如營業場所、住宅、車輛、校園等等。在一個實施方式中,基地台114b和WTRU 102c、102d可實施如IEEE 802.11的無線電技術來建立無線區域網路(WLAN)。在另一個實施方式中,基地台114b和WTRU 102c、102d可以實施如IEEE 802.15的無線電技術來建立無線個人區域網路(WPAN)。仍然在另一個實施方式中,基地台114b和WTRU 102c、102d可使用基於胞元的RAT(例如,WCDMA,CDMA2000,GSM,LTE,LTE-A等)來建立微微社區或毫微微社區。如第30A圖所示,基地台114b可具有到網際網路110的直接連接。因此,基地台114b可以不必經由核心網路106/107/109存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通訊,該核心網路106/107/109可以是被配置為向WTRU 102a、102b、102c、102d中的一者或多者提供語音、資料、應用及/或網際網路協定上的語音(VoIP)服務的任何類型的網路。例如,核心網路106/107/109可以提供呼叫控制、計費服務、基於移動位置的服務、預付費呼叫、網際網路連接、視訊分發等,及/或執行高級安全功能,例如用戶認證。雖然第30A圖中未顯示,應該理解的是RAN 103/104/105及/或核心網路106/107/109可以與使用和RAN 103/104/105相同的RAT或不同RAT的其他RAN進行直接或間接的通訊。例如,除了連接到正在使用E-UTRA無線電技術的RAN 103/104/105之外,核心網路106/107/109還可以與使用GSM無線電技術的另一個RAN(未顯示)通訊。
核心網路106/107/109還可以充當WTRU 102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務(POTS)的電路交換電話網路。網際網路110可以包括使用公共通訊協定的互聯電腦網路和裝置的全球系統,該公共通訊協定例如有TCP/IP互連網路協定組中的傳輸控制協定(TCP)、用戶資料報協定(UDP)和網際網路協定(IP)。網路112可以包括被其他服務提供者擁有及/或操作的有線或無線通訊網路。例如,網路112可以包括連接到一個或多個RAN的另一個核心網路,該RAN可以使用和RAN 103/104/105相同的RAT或不同的RAT。
通訊系統100中的WTRU 102a、102b、102c、102d的一些或全部可包括多模式能力,例如,WTRU 102a、102b、102c、102d可包括在不同無線鏈路上與不同無線網路進行通訊的多個收發器。例如,第30A圖中顯示的WTRU 102c可被配置為與基地台114a通訊和與基地台114b通訊,該基地台114a可使用基於胞元的無線電技術,該基地台114b可使用IEEE 802無線電技術。
第30B圖是示例WTRU 102的系統圖。如第30B圖所示,WTRU 102可包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132,電源134、全球定位系統(GPS)晶片組136和其他週邊裝置138。應該理解的是,在保持與實施方式一致時,WTRU 102可包括前述元件的任何子組合。此外,實施方式構想了基地台114a和114b及/或基地台114a和114b可以表示的節點可以包括第30B圖中描述的以及這裏描述的元件中的一些或全部,該節點例如但不限於收發站(BTS)、節點B、站點控制器、存取點(AP)、家用節點B、演進型家用節點B(e節點B)、家用演進型節點B(HeNB)、家用演進型節點B閘道以及代理節點,等等。
處理器118可以是通用處理器、專用處理器、常規處理器、數位信號處理器(DSP)、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路(ASIC)、現場可程式化閘陣列(FPGA)電路、任何其他類型的積體電路(IC)、狀態機等等。處理器118可執行信號編碼、資料處理、功率控制、輸入/輸出處理,及/或使WTRU 102能夠在無線環境中進行操作的任何其他功能。處理器118可耦合到收發器120,該收發器120可耦合到傳輸/接收元件122。雖然第30B圖描述了處理器118和收發器120是分開的部件,但應該理解的是處理器118和收發器120可一起集成在在電子封裝或晶片中。
傳輸/接收元件122可被配置為在空中介面115/116/117上將信號傳送到基地台(例如基地台114a),或從該基地台接收信號。例如,在一個實施方式中,傳輸/接收元件122可以是被配置為傳送及/或接收RF信號的天線。在另一個實施方式中,傳輸/接收元件122可以是被配置為傳送及/或接收例如IR、UV或可見光信號的傳輸器/偵測器。仍然在另一個實施方式中,傳輸/接收元件122可被配置為傳送和接收RF和光信號兩者。應該理解的是傳輸/接收元件122可被配置為傳送及/或接收無線信號的任何組合。
此外,雖然傳輸/接收元件122在第30B圖中被描述為單一元件,但是WTRU 102可以包括任意數量的傳輸/接收元件122。更具體地說,WTRU 102可使用MIMO技術。因此,在一個實施方式中,WTRU 102可包括用於在空中介面115/116/117上傳送和接收無線信號的兩個或更多個傳輸/接收元件122(例如,多個天線)。
收發器120可被配置為調變將由傳輸/接收元件122傳送的信號和解調由傳輸/接收元件122接收的信號。如上所述,WTRU 102可具有多模式能力。因此,收發器120可包括使WTRU 102能夠經由多種RAT通訊的多個收發器,該多種RAT例如有UTRA和IEEE 802.11。
WTRU 102的處理器118可耦合到下述裝置,並可從下述裝置接收用戶輸入資料:揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128(例如液晶顯示器(LCD)顯示單元或有機發光二極體(OLED)顯示單元)。處理器118還可輸出用戶資料到揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128。此外,處理器118可從任何類型的適當的記憶體中存取訊號,並可以儲存資料到該記憶體中,該記憶體例如不可移式記憶體130及/或可移式記憶體132。不可移式記憶體130可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟或任何其他類型的儲存記憶裝置。可移式記憶體132可包括用戶身份模組(SIM)卡、記憶條、安全數位(SD)記憶卡等等。在其他的實施方式中,處理器118可從物理上沒有位於WTRU 102上(例如在伺服器或家用電腦(未顯示)上)的記憶體中存取資訊、並可以將資料儲存在該記憶體中。
處理器118可從電源134中接收電能,並可被配置為分配及/或控制到WTRU 102中的其他部件的電能。電源134可以是給WTRU 102供電的任何適當的裝置。例如,電源134可包括一個或多個乾電池組(例如,鎳鎘(NiCd)、鎳鋅(NiZn)、鎳氫(NiMH)、鋰離子(Li-ion),等等),太陽能電池,燃料電池等等。
處理器118還可耦合到GPS晶片組136,該GPS晶片組136可被配置為提供關於WTRU 102當前位置的位置資訊(例如,經度和緯度)。除來自GPS晶片組136的資訊或作為替代,WTRU 102可在空中介面115/116/117上從基地台(例如基地台114a、114b)接收位置資訊,及/或根據從兩個或多個鄰近基地台接收的信號定時來確定其位置。應該理解的是在保持實施方式的一致性時,WTRU 102可以藉由任何適當的位置確定方法獲得位置資訊。
處理器118還可耦合到其他週邊裝置138,該週邊裝置138可包括一個或多個提供附加特性、功能及/或有線或無線連接的軟體及/或硬體模組。例如,週邊裝置138可包括加速計、電子羅盤、衛星收發器、數位相機(用於圖像或視訊)、通用串列匯流排(USB)埠、振動裝置、電視收發器、免持耳機、藍芽R模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、電視遊樂器模組、網際網路瀏覽器等等。
第30C圖是根據實施方式的RAN 103和核心網路106的系統圖。如上所述,RAN 103可使用UTRA無線電技術在空中介面115上與WTRU 102a、102b、102c通訊。RAN 103還可與核心網路106通訊。如第30C圖所示,RAN 103可包括節點B 140a、140b、140c,其中每個節點B可包括一個或多個收發器,以用於在空中介面115上與WTRU 102a、102b、102c進行通訊。每個節點B 140a、140b、140c可與RAN 103中的一個特定胞元(未顯示)關聯。RAN 103也可包括RNC 142a、142b。應該理解的是,在與實施方式保持一致時,RAN 103可包括任意數量的節點B和RNC。
如第30C圖所示,節點B 140a、140b可與RNC 142a通訊。此外,節點B 140c可與RNC 142b通訊。節點B 140a、140b、140c可經由Iub介面與各自的RNC 142a、142b通訊。RNC 142a、142b可經由Iur介面相互通訊。每個RNC 142a、142b可被配置為控制與其連接的各自的節點B 140a、140b、140c。另外,每個RNC 142a、142b可被配置為執行或支援其他功能,例如外環功率控制、負載控制、准許控制、封包調度、切換控制、宏分集、安全功能、資料加密等等。
如第30C圖所示的核心網路106可包括媒體閘道(MGW)144、行動交換中心(MSC)146、服務GPRS支援節點(SGSN)148、及/或閘道GPRS支持節點(GGSN)150。雖然每個前述元件被描述為是核心網路106的一部分,但應該理解的是,這些元件中的任何一個元件可由除核心網路操作者以外的實體擁有及/或操作。
RAN 103中的RNC 142a可經由IuCS介面與核心網路106中的MSC 146連接。MSC 146可與MGW 144連接。MSC 146和MGW 144可向WTRU 102a、102b、102c提供到例如PSTN 108的電路交換網路的存取,以便於WTRU 102a、102b、102c與傳統陸線通訊裝置間的通訊。
RAN 103中的RNC 142a還可經由IuPS介面與核心網路106中的SGSN 148連接。SGSN 148可與GGSN 150連接。SGSN 148和GGSN 150可向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取,以便於WTRU 102a、102b、102c與IP賦能的裝置間的通訊。
如上所述,核心網路106還可與網路112連接,網路112可包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
第30D圖是根據實施方式的RAN 104和核心網路107的系統圖。如上所述,RAN 104可使用E-UTRA無線電技術在空中介面116上與WTRU 102a、102b、102c通訊。RAN 104還可與核心網路107通訊。
RAN 104可包括e節點B 160a、160b、160c,但應該理解的是,在與實施方式保持一致時,RAN 104可包括任意數量的e節點B。每個e節點B 160a、160b、160c可包括一個或多個收發器,以用於在空中介面116上與WTRU 102a、102b、102c通訊。在一個實施方式中,e節點B 160a、160b、160c可實施MIMO技術。因此,e節點B 160a例如可使用多個天線向WTRU 102a傳送無線信號,以及從WTRU 102a接收無線信號。
每個e節點B 160a、160b、160c可與一個特定胞元(未顯示)關聯,並且可被配置為處理無線電資源管理決策、切換決策、上鏈及/或下鏈中的用戶調度等等。如第30D圖所示,e節點B 160a、160b、160c可在X2介面上相互通訊。
如第30D圖所示的核心網路107可包括移動性管理閘道(MME)162、服務閘道164、和封包資料網路(PDN)閘道166。雖然每個前述元件被描述為是核心網路107的一部分,應該理解的是,這些元件中的任何一個元件可由除核心網路操作者以外的實體擁有及/或操作。
MME 162可經由S1介面與RAN 104中的每個e節點B 160a、160b、160c連接,並且可以充當控制節點。例如,MME 162可負責對WTRU 102a、102b、102c的用戶進行認證,承載啟動/去啟動,在WTRU 102a、102b、102c的初始附著期間選擇特定服務閘道等等。MME 162還可為RAN 104與其他RAN(未顯示)間的切換提供控制平面功能,所述其他RAN使用其他無線電技術,如GSM或WCDMA。
服務閘道164可經由S1介面與RAN 104中的每個e節點B 160a、160b、160c連接。服務閘道164通常可路由和轉發去往/來自WTRU 102a、102b、102c的用戶資料封包。服務閘道164還可執行其他功能,如在e節點B間切換期間錨定用戶平面、當下鏈數據可用於WTRU 102a、102b、102c時觸發傳呼、管理和儲存WTRU 102a、102b、102c的上下文等等。
服務閘道164還可與PDN閘道166連接,該PDN閘道166可向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取,以便於WTRU 102a、102b、102c與IP賦能的裝置間的通訊。
核心網路107可便於與其他網路的通訊。例如,核心網路107可向WTRU 102a、102b、102c提供到例如PSTN 108的電路交換網路的存取,以便於WTRU 102a、102b、102c與傳統陸線通訊裝置間的通訊。例如,核心網路107可包括IP閘道(例如,IP多媒體子系統(IMS)伺服器),或與IP閘道通訊,該IP閘道充當核心網路107與PSTN 108間的介面。另外,核心網路107可向WTRU 102a、102b、102c提供到網路112的存取,該網路112可包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
第30E圖是根據實施方式的RAN 105和核心網路109的系統圖。RAN 105可以是使用IEEE 802.16無線電技術在空中介面117上與WTRU 102a、102b、102c通訊的存取服務網路(ASN)。下面將進一步討論,WTRU 102a、102b、102c、RAN 105與核心網路109的不同功能實體間的通訊鏈路可定義為參考點。
如第30E圖所示,RAN 105可包括基地台180a、180b、180c和ASN閘道182,但應該理解的是,在保持與實施方式一致時,RAN 105可包括任意數量的基地台和ASN閘道。每個基地台180a、180b、180c可與RAN 105中的特定胞元(未顯示)關聯,並可以包括一個或多個收發器,以用於在空中介面117上與WTRU 102a、102b、102c通訊。在一個實施方式中,基地台180a、180b、180c可實施MIMO技術。因此,基地台180a例如可使用多個天線向WTRU 102a傳送無線信號,以及從WTRU 102a接收無線信號。基地台180a、180b、180c還可提供移動性管理功能,如切換(handoff)觸發、隧道建立、無線電資源管理、業務分類、服務品質(QoS)策略執行等等。ASN閘道182可作為業務聚合點、並可負責傳呼、用戶簡檔快取、至核心網路109的路由等等。
WTRU 102a、102b、102c與RAN 105間的空中介面117可被定義為實施IEEE 802.16規範的R1參考點。另外,每個WTRU 102a、102b、102c可建立與核心網路109的邏輯介面(未顯示)。WTRU 102a、102b、102c與核心網路109之間的邏輯介面可被定義為R2參考點,該R2參考點可用於認證、授權、IP主機配置管理、及/或移動性管理。
每個基地台180a、180b、180c間的通訊鏈路可被定義為R8參考點,該R8參考點包括用於便於WTRU切換和基地台間資料傳輸的協定。基地台180a、180b、180c與ASN閘道182間的通訊鏈路可被定義為R6參考點。R6參考點可包括用於便於基於與每個WTRU 102a、102b、102c關聯的移動性事件的移動性管理的協定。
如第30E圖所示,RAN 105可與核心網路109連接。RAN 105與核心網路109間的通訊鏈路例如可被定義為R3參考點,該R3參考點包括用於便於資料傳輸和移動性管理能力的協定。核心網路109可包括行動IP本地代理(MIP-HA)184、認證、授權、計費(AAA)伺服器186和閘道188。雖然每個前述元件被描述為是核心網路109的一部分,應當理解的是,這些元件中的任何一個元件可由除核心網路操作者以外的實體擁有及/或操作。
MIP-HA可以負責IP位址管理,並可以使WTRU 102a、102b、102c能夠在不同ASN及/或不同核心網路之間漫遊。MIP-HA 184可以向WTRU 102a、102b、102c提供到例如網際網路110的封包交換網路的存取,以便於WTRU 102a、102b、102c與IP賦能的裝置之間的通訊。AAA伺服器186可以負責用戶認證和支援用戶服務。閘道188可以便於與其他網路互通。例如,閘道188可以向WTRU 102a、102b、102c提供到例如PSTN 108的電路交換網路的存取,以便於WTRU 102a、102b、102c與傳統陸線通訊裝置之間的通訊。此外,閘道188可以向WTRU 102a、102b、102c提供到網路112的存取,該網路112可以包括由其他服務提供者擁有及/或操作的其他有線或無線網路。
儘管未在第30E圖中顯示,應當理解的是,RAN 105可以連接到其他ASN,並且核心網路109可以連接至其他核心網路。RAN 105與其他ASN之間的通訊鏈路可以被定義為R4參考點,其可以包括用於協調在RAN 105與其他ASN之間的WTRU 102a、102b、102c的移動性的協定。核心網路109與其他核心網路之間的通訊鏈路可以被定義為R5參考,其可以包括便於本地核心網路與被拜訪核心網路之間互通的協定。
雖然上面以特定的組合描述了特徵和元素,但是本領域中具有通常知識者可以理解,每個特徵或元素可以單獨使用,或與其他的特徵和元素進行組合使用。此外,這裏描述的方法可以在引入到電腦可讀媒體中並供電腦或處理器操作的電腦程式、軟體或韌體實施。電腦可讀媒體的示例包括電子信號(經由有線或無線連接傳送)和電腦可讀儲存媒體。電腦可讀儲存媒體的示例包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、暫存器、緩衝記憶體、半導體記憶體裝置、磁性媒體(例如內部硬碟和可移式磁片),磁光媒體和光學媒體(例如CD光碟或數位通用光碟(DVD))。與軟體關聯的處理器可以用於實施在WTRU、UE、終端、基地台、RNC或任何主電腦中使用的無線電頻率收發器。
無。
Claims (62)
- 一種利用一裝置從一網路接收一多媒體內容的方法,該方法包括:
從該網路接收該多媒體內容的一第一片段,該第一片段以一第一速率被處理;
確定一觀看參數;
將對該多媒體內容的一第二片段的一請求傳送給該網路,該請求基於該觀看參數;以及
從該網路接收該多媒體內容的該第二片段,該第二片段根據該觀看參數以一第二速率被處理。 - 如申請專利範圍第1項所述的方法,其中,該觀看參數包括以下至少其中之一:一用戶觀看參數、一裝置觀看參數、或一內容觀看參數。
- 如申請專利範圍第2項所述的方法,其中,該用戶觀看參數包括以下至少其中之一:一用戶的存在、一用戶相對於該裝置的螢幕的位置、一用戶相對於該裝置的螢幕的方位、一用戶相對於該裝置的螢幕的視角、一用戶距離該裝置的螢幕的距離、一用戶的視覺敏銳度、一周圍光照條件、觀看該裝置的螢幕的一用戶數量、或一用戶的關注點。
- 如申請專利範圍第2項所述的方法,其中,該裝置觀看參數包括以下至少其中之一:該裝置的移動性、該裝置的螢幕的尺寸、該裝置的螢幕的解析度、該裝置的螢幕的對比度、該裝置的螢幕的亮度、該裝置的螢幕的像素密度、該裝置上顯示該多媒體內容的視窗的尺寸、或該裝置上顯示該多媒體內容的視窗的一位置。
- 如申請專利範圍第2項所述的方法,其中,該內容觀看參數包括以下至少其中之一:該多媒體內容的對比度、該多媒體內容的色域、三維多媒體內容的存在、或該多媒體內容的三維內容的深度範圍。
- 如申請專利範圍第1項所述的方法,其中,該速率是以下至少其中之一的一函數:該多媒體內容的一編碼速率、該多媒體內容的一空間解析度、該多媒體內容的一時間解析度、量化參數、速率控制參數、該多媒體內容的目標位元率、該多媒體內容的空間濾波、或該多媒體內容的時間濾波。
- 一種被配置成從一網路接收一多媒體內容的裝置,該裝置包括:
一處理器,被配置成:
從該網路接收該多媒體內容的一第一片段,該第一片段以一第一速率被處理;
確定一觀看參數;
將對該多媒體內容的一第二片段的一請求傳送給該網路,該請求基於該觀看參數;以及
從該網路接收該多媒體內容的該第二片段,該第二片段以根據該觀看參數以一第二速率被處理。 - 如申請專利範圍第7項所述的裝置,其中,該觀看參數包括以下至少其中之一:用戶觀看參數、一裝置觀看參數、或內容觀看參數。
- 如申請專利範圍第8項所述的裝置,其中,該用戶觀看參數包括以下至少其中之一:一用戶的存在、一用戶相對於該裝置的螢幕的位置、一用戶相對於該裝置的螢幕的方位、一用戶相對於該裝置的螢幕的視角、一用戶距離該裝置的螢幕的距離、一用戶的視覺敏銳度、一周圍光照條件、觀看該裝置的螢幕的一用戶數量、或一用戶的關注點。
- 如申請專利範圍第8項所述的裝置,其中,該裝置觀看參數包括以下至少其中之一:該裝置的移動性、該裝置的螢幕的尺寸、該裝置的螢幕的解析度、該裝置的螢幕的像素密度、該裝置上顯示該多媒體內容的視窗的尺寸、或該裝置上顯示該多媒體內容的視窗的一位置。
- 如申請專利範圍第8項所述的裝置,其中,該內容觀看參數包括以下至少其中之一:該多媒體內容的對比度、該多媒體內容的色域、三維多媒體內容的存在、或該多媒體內容的三維內容的深度範圍。
- 如申請專利範圍第7項所述的裝置,其中,該速率是以下至少其中之一的一函數:該多媒體內容的一編碼速率、該多媒體內容的一空間解析度、該多媒體內容的一時間解析度、一量化參數、一速率控制參數、該多媒體內容的目標位元率、該多媒體內容的空間濾波、或該多媒體內容的時間濾波。
- 一種利用一裝置從一網路接收一多媒體內容的方法,該方法包括:
確定一觀看參數;
將對該多媒體內容的一請求傳送給該網路,該請求基於該觀看參數;以及
從該網路接收該多媒體內容,該多媒體內容根據該觀看參數以一速率被處理。 - 如申請專利範圍第13項所述的方法,其中,該觀看參數包括以下至少其中之一:一用戶觀看參數、一裝置觀看參數、或一內容觀看參數。
- 如申請專利範圍第14項所述的方法,其中,該用戶觀看參數包括以下至少其中之一:一用戶的存在、一用戶相對於該裝置的螢幕的位置、一用戶相對於該裝置的螢幕的方位、一用戶相對於該裝置的螢幕的視角、一用戶距離該裝置的螢幕的距離、一用戶的視覺敏銳度、一周圍光照條件、觀看該裝置的螢幕的一用戶數量、或一用戶的關注點。
- 如申請專利範圍第14項所述的方法,其中,該裝置觀看參數包括以下至少其中之一:該裝置的移動性、該裝置的螢幕的尺寸、該裝置的螢幕的解析度、該裝置的螢幕的像素密度、該裝置上顯示該多媒體內容的視窗的尺寸、或該裝置上顯示該多媒體內容的視窗的一位置。
- 如申請專利範圍第14項所述的方法,其中,該內容觀看參數包括以下至少其中之一:該多媒體內容的對比度、該多媒體內容的色域、三維多媒體內容的存在、或該多媒體內容的三維內容的深度範圍。
- 如申請專利範圍第13項所述的方法,其中,該速率是以下至少其中之一的一函數:該多媒體內容的一編碼速率、該多媒體內容的一空間解析度、該多媒體內容的一時間解析度、一量化參數、一速率控制參數、該多媒體內容的目標位元率、該多媒體內容的空間濾波、或該多媒體內容的時間濾波。
- 如申請專利範圍第13項所述的方法,其中,使用以下至少其中之一來確定該觀看參數:該裝置的螢幕的一尺寸、該裝置的螢幕的一解析度、該裝置的螢幕的一角度、該裝置的螢幕的一像素密度、該裝置的螢幕的一對比率、一用戶接近感測器、一前置相機、一後置相機、一光感測器、一紅外成像裝置、一超音波感測器、一麥克風、一加速度計、一羅盤或一陀螺儀感測器。
- 如申請專利範圍第13項所述的方法,其中,由該裝置傳送的該請求確定由該裝置接收的多媒體內容的速率。
- 如申請專利範圍第13項所述的方法,其中,該網路根據該請求確定由該裝置接收的該多媒體內容的速率。
- 如申請專利範圍第21項所述的方法,其中,該請求是包括該觀看參數的一多媒體演示描述(MPD)檔。
- 如申請專利範圍第13項所述的方法,該方法更包括:
從該網路接收一多媒體演示描述(MPD)檔,該MPD檔包括與該多媒體內容的速率有關的一資訊。 - 如申請專利範圍第23項所述的方法,其中,與該速率有關的該資訊包括與該觀看參數有關的一描述符,以及其中該MPD檔指出該描述符是必需的還是可選的。
- 如申請專利範圍第24項所述的方法,其中,一必需的描述符指出該裝置必須滿足該描述符的要求來接收以該速率處理的該多媒體內容,以及其中一可選的描述符指出該裝置可以滿足該描述符的該要求來接收以該速率處理的該多媒體內容。
- 如申請專利範圍第13項所述的方法,其中,該多媒體內容包括一視訊檔。
- 如申請專利範圍第13項所述的方法,其中,經由該裝置的一DASH用戶來執行該方法。
- 一種被配置成從一網路接收一多媒體內容的裝置,該裝置包括:
一處理器,被配置成:
確定一觀看參數;
將對該多媒體內容的一請求傳送給該網路,該請求基於該觀看參數;以及
從該網路接收該多媒體內容,該多媒體內容根據該觀看參數以一速率被處理。 - 如申請專利範圍第28項所述的裝置,其中,該觀看參數包括以下至少其中之一:一用戶觀看參數、一裝置觀看參數、或一內容觀看參數。
- 如申請專利範圍第29項所述的裝置,其中,該用戶觀看參數包括以下至少其中之一:一用戶的存在、一用戶相對於該裝置的螢幕的位置、一用戶相對於該裝置的螢幕的方位、一用戶相對於該裝置的螢幕的視角、一用戶距離該裝置的螢幕的距離、一用戶的視覺敏銳度、一周圍光照條件、觀看該裝置的螢幕的一用戶數量、或一用戶的關注點。
- 如申請專利範圍第29項所述的裝置,其中,該裝置觀看參數包括以下至少其中之一:該裝置的移動性、該裝置的螢幕的尺寸、該裝置的螢幕的解析度、該裝置的螢幕的像素密度、該裝置上顯示該多媒體內容的視窗的尺寸、或該裝置上顯示該多媒體內容的視窗的一位置。
- 如申請專利範圍第29項所述的裝置,其中,該內容觀看參數包括以下至少其中之一:該多媒體內容的對比度、該多媒體內容的色域、三維多媒體內容的存在、或該多媒體內容的三維內容的深度範圍。
- 如申請專利範圍第28項所述的裝置,其中,該速率是以下至少其中之一的一函數:該多媒體內容的一編碼速率、該多媒體內容的一空間解析度、該多媒體內容的一時間解析度、一量化參數、一速率控制參數、該多媒體內容的目標位元率、該多媒體內容的空間濾波、或該多媒體內容的時間濾波。
- 如申請專利範圍第28項所述的裝置,其中,使用以下至少其中之一來確定該觀看參數:該裝置的螢幕的一尺寸、該裝置的螢幕的一解析度、該裝置的螢幕的一角度、該裝置的螢幕的一像素密度、該裝置的螢幕的一對比率、一用戶接近感測器、一前置相機、一後置相機、一光感測器、一紅外成像裝置、一超音波感測器、一麥克風、一加速度計、一羅盤或一陀螺儀感測器。
- 如申請專利範圍第28項所述的裝置,其中,由該裝置傳送的該請求確定由該裝置接收的多媒體內容的該速率。
- 如申請專利範圍第28項所述的裝置,其中,該網路根據該請求確定由該裝置接收的該多媒體內容的該速率。
- 如申請專利範圍第36項所述的裝置,其中,該請求是包括該觀看參數的一多媒體演示描述(MPD)檔。
- 如申請專利範圍第28項所述的裝置,其中,該處理器更被配置成:
從該網路接收一多媒體演示描述(MPD)檔,該MPD檔包括與該多媒體內容的該速率有關的一資訊。 - 如申請專利範圍第38項所述的裝置,其中,與該速率有關的該資訊包括與該觀看參數有關的一描述符,以及其中該MPD檔指出該描述符是必需的還是可選的。
- 如申請專利範圍第39項所述的裝置,其中,必需的描述符指出該裝置必須滿足該描述符的要求來接收以該速率處理的該多媒體內容,以及其中可選的描述符指出該裝置可以滿足該描述符的該要求來接收以該速率處理的該多媒體內容。
- 如申請專利範圍第28項所述的裝置,其中,該多媒體內容包括一視訊檔。
- 如申請專利範圍第28項所述的裝置,該處理器是位於該裝置上的一DASH用戶的一部分。
- 一種用於傳送多媒體內容的方法,該方法包括:
從用戶接收一請求,該請求基於該用戶的一觀看參數;
基於該觀看參數確定用於多媒體內容的一速率;以及
將該多媒體內容傳送給該用戶,該多媒體內容以該速率被處理。 - 如申請專利範圍第43項所述的方法,其中,該觀看參數包括以下至少其中之一:一用戶觀看參數、一裝置觀看參數、或一內容觀看參數。
- 如申請專利範圍第44項所述的方法,其中,該用戶觀看參數包括以下至少其中之一:一用戶的存在、一用戶相對於該裝置的螢幕的位置、一用戶相對於該裝置的螢幕的方位、一用戶相對於該裝置的螢幕的視角、一用戶距離該裝置的螢幕的距離、一用戶的視覺敏銳度、一周圍光照條件、觀看該裝置的螢幕的一用戶數量、或一用戶的關注點。
- 如申請專利範圍第44項所述的方法,其中,該裝置觀看參數包括以下至少其中之一:該裝置的移動性、該裝置的螢幕的尺寸、該裝置的螢幕的解析度、該裝置的螢幕的像素密度、該裝置上顯示該多媒體內容的視窗的尺寸、或該裝置上顯示該多媒體內容的視窗的一位置。
- 如申請專利範圍第44項所述的方法,其中,該內容觀看參數包括以下至少其中之一:該多媒體內容的對比度、該多媒體內容的色域、三維多媒體內容的存在、或該多媒體內容的三維內容的深度範圍。
- 如申請專利範圍第43項所述的方法,其中,該速率是以下至少其中之一的一函數:該多媒體內容的一編碼速率、該多媒體內容的一空間解析度、該多媒體內容的一時間解析度、一量化參數、一速率控制參數、該多媒體內容的目標位元率、該多媒體內容的空間濾波、或該多媒體內容的時間濾波。
- 如申請專利範圍第43項所述的方法,其中,使用以下至少其中之一來確定該觀看參數:該裝置的螢幕的一尺寸、該裝置的螢幕的一解析度、該裝置的螢幕的一角度、該裝置的螢幕的一像素密度、該裝置的螢幕的一對比率、一用戶接近感測器、一前置相機、一後置相機、一光感測器、一紅外成像裝置、一超音波感測器、一麥克風、一加速度計、一羅盤或一陀螺儀感測器。
- 如申請專利範圍第43項所述的方法,該方法更包括:
向該用戶傳送一多媒體演示描述(MPD)檔,該MPD檔包括與該多媒體內容的該速率有關的一資訊。 - 如申請專利範圍第50項所述的方法,其中,與該速率有關的該資訊包括與該觀看參數有關的一描述符,以及其中該MPD檔指出該描述符是必需的還是可選的。
- 如申請專利範圍第51項所述的方法,其中,必需的描述符指出該裝置必須滿足該描述符的要求來接收以該速率處理的該多媒體內容,以及其中可選的描述符指出該裝置可以滿足該描述符的該要求來接收以該速率處理的該多媒體內容。
- 一種被配置成向一用戶傳送一多媒體內容的系統,該系統包括:
一處理器,被配置成:
從該用戶接收一請求,該請求基於該用戶的一觀看參數;
基於該觀看參數確定用於多媒體內容的一速率;以及
將該多媒體內容傳送給該用戶,該多媒體內容以該速率被處理。 - 如申請專利範圍第53項所述的系統,其中,該觀看參數包括以下至少其中之一:一用戶觀看參數、一裝置觀看參數、或一內容觀看參數。
- 如申請專利範圍第54項所述的系統,其中,該用戶觀看參數包括以下至少其中之一:一用戶的存在、一用戶相對於該裝置的螢幕的位置、一用戶相對於該裝置的螢幕的方位、一用戶相對於該裝置的螢幕的視角、一用戶距離該裝置的螢幕的距離、一用戶的視覺敏銳度、一周圍光照條件、觀看該裝置的螢幕的一用戶數量、或一用戶的關注點。
- 如申請專利範圍第54項所述的系統,其中,該裝置觀看參數包括以下至少其中之一:該裝置的移動性、該裝置的螢幕的尺寸、該裝置的螢幕的解析度、該裝置的螢幕的像素密度、該裝置上顯示該多媒體內容的視窗的尺寸、或該裝置上顯示該多媒體內容的視窗的一位置。
- 如申請專利範圍第54項所述的系統,其中,該內容觀看參數包括以下至少其中之一:該多媒體內容的對比度、該多媒體內容的色域、三維多媒體內容的存在、或該多媒體內容的三維內容的深度範圍。
- 如申請專利範圍第53項所述的系統,其中,該速率是以下至少其中之一的一函數:該多媒體內容的一編碼速率、該多媒體內容的一空間解析度、該多媒體內容的一時間解析度、量化參數、速率控制參數、該多媒體內容的目標位元率、該多媒體內容的空間濾波、或該多媒體內容的時間濾波。
- 如申請專利範圍第53項所述的系統,其中,使用以下至少其中之一來確定該觀看參數:該裝置的螢幕的一尺寸、該裝置的螢幕的一解析度、該裝置的螢幕的一角度、該裝置的螢幕的一像素密度、該裝置的螢幕的一對比率、一用戶接近感測器、一前置相機、一後置相機、一光感測器、一紅外成像裝置、一超音波感測器、一麥克風、一加速度計、一羅盤或一陀螺儀感測器。
- 如申請專利範圍第53項所述的系統,該系統更包括:
向該用戶傳送一多媒體演示描述(MPD)檔,該MPD檔包括與該多媒體內容的速率有關的一資訊。 - 如申請專利範圍第60項所述的系統,其中,與該速率有關的該資訊包括與該觀看參數有關的一描述符,以及其中該MPD檔指出該描述符是必需的還是可選的。
- 如申請專利範圍第61項所述的系統,其中,必需的描述符指出該裝置必須滿足該描述符的要求來接收以該速率處理的該多媒體內容,以及其中可選的描述符指出該裝置可以滿足該描述符的該要求來接收以該速率處理的該多媒體內容。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261588588P | 2012-01-19 | 2012-01-19 | |
US201261671633P | 2012-07-13 | 2012-07-13 | |
US201261672668P | 2012-07-17 | 2012-07-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201349870A true TW201349870A (zh) | 2013-12-01 |
Family
ID=47739475
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106128966A TW201811029A (zh) | 2012-01-19 | 2013-01-18 | 支元自適應觀看條件的視訊傳遞的方法和系統 |
TW102101949A TW201349870A (zh) | 2012-01-19 | 2013-01-18 | 支援自適應觀看條件的視訊傳遞的方法和系統 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106128966A TW201811029A (zh) | 2012-01-19 | 2013-01-18 | 支元自適應觀看條件的視訊傳遞的方法和系統 |
Country Status (7)
Country | Link |
---|---|
US (2) | US20130195204A1 (zh) |
EP (2) | EP3506644B1 (zh) |
JP (2) | JP6145460B2 (zh) |
KR (4) | KR101944092B1 (zh) |
CN (3) | CN104067628B (zh) |
TW (2) | TW201811029A (zh) |
WO (1) | WO2013109941A2 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI550301B (zh) * | 2015-03-25 | 2016-09-21 | 宏達國際電子股份有限公司 | 定位系統及方法 |
TWI662839B (zh) * | 2016-01-28 | 2019-06-11 | 聯發科技股份有限公司 | 消息交互的方法和提供媒體服務的系統 |
TWI709110B (zh) * | 2018-08-01 | 2020-11-01 | 大陸商Oppo廣東移動通信有限公司 | 攝像頭校準方法和裝置、電子設備 |
Families Citing this family (106)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7657622B1 (en) | 2003-12-23 | 2010-02-02 | At&T Intellectual Property Ii, L.P. | Unified web hosting and content distribution system and method for assuring predetermined performance levels |
US8751800B1 (en) * | 2011-12-12 | 2014-06-10 | Google Inc. | DRM provider interoperability |
WO2013123467A1 (en) | 2012-02-17 | 2013-08-22 | Vid Scale, Inc. | Hierarchical traffic differentiation to handle congestion and/or manage user quality of experience |
CN104429093B (zh) * | 2012-07-09 | 2018-01-05 | 华为技术有限公司 | 超文本传输协议动态自适应流媒体客户端及其会话管理实施方法 |
US9585054B2 (en) | 2012-07-19 | 2017-02-28 | Interdigital Patent Holdings, Inc. | Method and apparatus for detecting and managing user plane congestion |
US20140156865A1 (en) * | 2012-11-30 | 2014-06-05 | Futurewei Technologies, Inc. | Generic Substitution Parameters in DASH |
US10735486B2 (en) * | 2012-12-28 | 2020-08-04 | Qualcomm Incorporated | Device timing adjustments and methods for supporting dash over broadcast |
US9973966B2 (en) | 2013-01-11 | 2018-05-15 | Interdigital Patent Holdings, Inc. | User-plane congestion management |
US9042605B2 (en) * | 2013-02-15 | 2015-05-26 | Google Inc. | Determining a viewing distance for a computing device |
WO2014159962A1 (en) * | 2013-03-14 | 2014-10-02 | Interdigital Patent Holdings, Inc. | Anchor node selection in a distributed mobility management environment |
US9438652B2 (en) | 2013-04-15 | 2016-09-06 | Opentv, Inc. | Tiered content streaming |
GB2513140B (en) * | 2013-04-16 | 2016-05-04 | Canon Kk | Methods, devices, and computer programs for streaming partitioned timed media data |
JP2014212456A (ja) * | 2013-04-18 | 2014-11-13 | ソニー株式会社 | 送信装置、メタファイル送信方法、受信装置および受信処理方法 |
KR102241672B1 (ko) * | 2013-04-30 | 2021-04-16 | 소니 주식회사 | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
WO2015013720A1 (en) * | 2013-07-26 | 2015-01-29 | Futurewei Technologies Inc. | Spatial adaptation in adaptive streaming |
US10182038B2 (en) | 2013-07-29 | 2019-01-15 | Mobitv, Inc. | Efficient common storage of partially encrypted content |
CN105532008A (zh) * | 2013-08-29 | 2016-04-27 | Vid拓展公司 | 用户自适应的视频电话 |
US9807452B2 (en) * | 2013-10-07 | 2017-10-31 | Samsung Electronics Co., Ltd. | Practical delivery of high quality video using dynamic adaptive hypertext transport protocol (HTTP) streaming (DASH) without using HTTP in a broadcast network |
EP3062522A4 (en) * | 2013-10-22 | 2017-07-05 | Sharp Kabushiki Kaisha | Display control device, delivery device, display control method, and display control system |
US9800638B2 (en) * | 2013-11-04 | 2017-10-24 | At&T Intellectual Property I, L.P. | Downstream bandwidth aware adaptive bit rate selection |
US9363333B2 (en) * | 2013-11-27 | 2016-06-07 | At&T Intellectual Property I, Lp | Server-side scheduling for media transmissions |
US9330101B2 (en) | 2013-12-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Using constraints on media file formats to improve performance |
US20150179149A1 (en) * | 2013-12-20 | 2015-06-25 | Qualcomm Incorporated | Dynamic gpu & video resolution control using the retina perception model |
KR20150083429A (ko) * | 2014-01-08 | 2015-07-17 | 한국전자통신연구원 | Dash를 사용하는 비디오 재생을 위한 비트 깊이 표현 방법 |
US20150261425A1 (en) * | 2014-03-14 | 2015-09-17 | Apple Inc. | Optimized presentation of multimedia content |
US9530450B2 (en) * | 2014-03-18 | 2016-12-27 | Vixs Systems, Inc. | Video system with fovea tracking and methods for use therewith |
US10165028B2 (en) * | 2014-03-25 | 2018-12-25 | Intel Corporation | Context-aware streaming of digital content |
US10045050B2 (en) | 2014-04-25 | 2018-08-07 | Vid Scale, Inc. | Perceptual preprocessing filter for viewing-conditions-aware video coding |
US9678345B1 (en) * | 2014-08-15 | 2017-06-13 | Rockwell Collins, Inc. | Dynamic vergence correction in binocular displays |
US10129312B2 (en) * | 2014-09-11 | 2018-11-13 | Microsoft Technology Licensing, Llc | Dynamic video streaming based on viewer activity |
FR3026589A1 (fr) | 2014-09-30 | 2016-04-01 | Orange | Procede et dispositif d'adaptation d'affichage d'un flux video par un client |
JP6365229B2 (ja) * | 2014-10-23 | 2018-08-01 | 株式会社デンソー | 多感覚インタフェースの制御方法および多感覚インタフェース制御装置、多感覚インタフェースシステム |
US9313508B1 (en) | 2014-10-29 | 2016-04-12 | Qualcomm Incorporated | Feeding intra-coded video frame after port reconfiguration in video telephony |
KR102288087B1 (ko) * | 2014-11-25 | 2021-08-10 | 엘지전자 주식회사 | 멀티미디어 디바이스 및 그 제어 방법 |
CN105812850A (zh) * | 2014-12-31 | 2016-07-27 | 乐视网信息技术(北京)股份有限公司 | 一种视频文件播放方法及其系统 |
MY194189A (en) * | 2015-02-11 | 2022-11-18 | Vid Scale Inc | Systems and methods for generalized http headers in dynamic adaptive streaming over http (dash) |
KR102313485B1 (ko) * | 2015-04-22 | 2021-10-15 | 삼성전자주식회사 | 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치 |
EP3288272A4 (en) * | 2015-04-23 | 2018-09-12 | LG Electronics Inc. | Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal |
EP3300375A4 (en) * | 2015-05-18 | 2018-11-21 | LG Electronics Inc. | Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, broadcast signal transmitting method, and broadcast signal receiving method |
JP6616592B2 (ja) * | 2015-05-20 | 2019-12-04 | 日本放送協会 | 符号化装置及びそのプログラム |
CN104935971B (zh) * | 2015-06-02 | 2018-08-07 | 阔地教育科技有限公司 | 一种在线课堂中的视频传输动态调整方法及系统 |
US10200725B2 (en) * | 2015-06-15 | 2019-02-05 | Intel Corporation | Adaptive data streaming based on virtual screen size |
US9872028B2 (en) * | 2015-06-26 | 2018-01-16 | Intel Corporation | Wireless display adaptations and optimizations based on unfiltered and regional feedback |
WO2017054142A1 (zh) * | 2015-09-29 | 2017-04-06 | 华为技术有限公司 | 获取视频数据的方法、装置、系统及计算机可读存储介质 |
BR112018009422A8 (pt) * | 2015-11-09 | 2019-02-26 | Thomson Licensing | método e dispositivo para adaptar o conteúdo de vídeo decodificado às características de um display a partir de fluxos elementares |
JP2017126941A (ja) * | 2016-01-15 | 2017-07-20 | 株式会社サイバーエージェント | コンテンツ配信システム |
KR101798321B1 (ko) * | 2016-02-19 | 2017-11-15 | 서울과학기술대학교 산학협력단 | 자유 시점 방송의 송수신 장치 및 방법 |
KR101718127B1 (ko) * | 2016-02-24 | 2017-03-20 | 광운대학교 산학협력단 | 상황 인지 스트리밍 서비스를 위한 콘텐츠 패키징 시스템 및 스트리밍 방법 |
JP2017157903A (ja) * | 2016-02-29 | 2017-09-07 | 富士ゼロックス株式会社 | 情報処理装置 |
JP2017163287A (ja) | 2016-03-08 | 2017-09-14 | 富士ゼロックス株式会社 | 表示装置 |
US20170279866A1 (en) * | 2016-03-22 | 2017-09-28 | Intel Corporation | Adaptation of streaming data based on the environment at a receiver |
US10382820B2 (en) * | 2016-04-01 | 2019-08-13 | Huawei Technologies Co., Ltd. | Apparatus and method for bandwidth allocation as a function of a sensed characteristic of a user |
US10474745B1 (en) | 2016-04-27 | 2019-11-12 | Google Llc | Systems and methods for a knowledge-based form creation platform |
US11039181B1 (en) | 2016-05-09 | 2021-06-15 | Google Llc | Method and apparatus for secure video manifest/playlist generation and playback |
US11069378B1 (en) | 2016-05-10 | 2021-07-20 | Google Llc | Method and apparatus for frame accurate high resolution video editing in cloud using live video streams |
US10750248B1 (en) | 2016-05-10 | 2020-08-18 | Google Llc | Method and apparatus for server-side content delivery network switching |
US10750216B1 (en) | 2016-05-10 | 2020-08-18 | Google Llc | Method and apparatus for providing peer-to-peer content delivery |
US10771824B1 (en) | 2016-05-10 | 2020-09-08 | Google Llc | System for managing video playback using a server generated manifest/playlist |
US10595054B2 (en) | 2016-05-10 | 2020-03-17 | Google Llc | Method and apparatus for a virtual online video channel |
US10785508B2 (en) | 2016-05-10 | 2020-09-22 | Google Llc | System for measuring video playback events using a server generated manifest/playlist |
US11032588B2 (en) * | 2016-05-16 | 2021-06-08 | Google Llc | Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback |
EP3249929A1 (en) * | 2016-05-25 | 2017-11-29 | Thomson Licensing | Method and network equipment for establishing a manifest |
WO2017205794A1 (en) | 2016-05-26 | 2017-11-30 | Vid Scale, Inc. | Methods and apparatus of viewport adaptive 360 degree video delivery |
KR101713492B1 (ko) * | 2016-06-27 | 2017-03-07 | 가천대학교 산학협력단 | 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치 |
US10373592B2 (en) * | 2016-08-01 | 2019-08-06 | Facebook Technologies, Llc | Adaptive parameters in image regions based on eye tracking information |
GB2552943A (en) | 2016-08-09 | 2018-02-21 | V-Nova Ltd | Adaptive video consumption |
US10148512B2 (en) * | 2016-08-12 | 2018-12-04 | T-Mobile Usa, Inc. | Mobile video optimization |
KR102420290B1 (ko) * | 2016-10-12 | 2022-07-13 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 공간적으로 불균등한 스트리밍 |
CN108093197B (zh) * | 2016-11-21 | 2021-06-15 | 阿里巴巴集团控股有限公司 | 用于信息分享的方法、系统及机器可读介质 |
CN108282449B (zh) | 2017-01-06 | 2020-10-09 | 华为技术有限公司 | 一种应用于虚拟现实技术的流媒体的传输方法和客户端 |
KR101748382B1 (ko) * | 2017-02-03 | 2017-06-16 | 주식회사 헤카스 | 비디오 스트리밍 제공 방법 및 시스템 |
JP6247782B1 (ja) * | 2017-02-15 | 2017-12-13 | パナソニック株式会社 | 端末装置、映像配信システムおよび映像配信方法 |
CN110622483B (zh) | 2017-03-23 | 2022-10-18 | Vid拓展公司 | 改进用于360度自适应流传输的体验的度量和消息 |
US20180310040A1 (en) * | 2017-04-21 | 2018-10-25 | Nokia Technologies Oy | Method and apparatus for view dependent delivery of tile-based video content |
CN108882018B (zh) | 2017-05-09 | 2020-10-20 | 阿里巴巴(中国)有限公司 | 虚拟场景中的视频播放、数据提供方法、客户端及服务器 |
US10623724B2 (en) | 2017-07-19 | 2020-04-14 | International Business Machines Corporation | Adaptive display environment for dynamic applications |
EP3659040A4 (en) * | 2017-07-28 | 2020-12-02 | Dolby Laboratories Licensing Corporation | PROCESS AND SYSTEM FOR PROVIDING MULTIMEDIA CONTENT TO A CUSTOMER |
JP6271072B1 (ja) * | 2017-10-10 | 2018-01-31 | パナソニック株式会社 | 端末装置、映像配信システムおよび映像配信方法 |
JP6277318B1 (ja) * | 2017-10-10 | 2018-02-07 | パナソニック株式会社 | 端末装置、映像配信システムおよび映像配信方法 |
US20190124392A1 (en) * | 2017-10-24 | 2019-04-25 | International Business Machines Corporation | Determining quality issues in advance of a media broadcast |
WO2019117629A1 (ko) * | 2017-12-12 | 2019-06-20 | 가천대학교 산학협력단 | 뷰포트 정보를 이용한 가상 현실 비디오 스트리밍 |
KR101941789B1 (ko) * | 2017-12-13 | 2019-01-24 | 가천대학교 산학협력단 | 뷰포트와 타일 크기에 기초한 가상 현실 비디오 전송 |
CN108200456A (zh) * | 2017-12-29 | 2018-06-22 | 重庆洪深现代视声技术有限公司 | 能够智能切换asi码流设备的遥控装置 |
US11381849B2 (en) * | 2018-03-15 | 2022-07-05 | Comcast Cable Communications, Llc | Systems, methods, and apparatuses for processing video |
US10931977B2 (en) | 2018-03-15 | 2021-02-23 | Comcast Cable Communications, Llc | Systems, methods, and apparatuses for processing video |
CN108600691B (zh) * | 2018-04-02 | 2020-11-03 | 深圳臻迪信息技术有限公司 | 图像采集方法、装置及系统 |
US10664047B2 (en) * | 2018-05-17 | 2020-05-26 | International Business Machines Corporation | Displaying visually aligned content of a mobile device |
US11210965B2 (en) * | 2018-05-17 | 2021-12-28 | Pearson Education, Inc. | Diagnostic analyzer for visual-spatial content |
JP6781239B2 (ja) * | 2018-12-10 | 2020-11-04 | ソフトバンク株式会社 | 表示装置、表示方法及び表示プログラム |
CN109600668B (zh) * | 2019-01-10 | 2021-03-30 | 京东方科技集团股份有限公司 | Vr头戴设备、显示系统及方法 |
EP3915269A1 (en) | 2019-01-24 | 2021-12-01 | PCMS Holdings, Inc. | System and method for adaptive spatial content streaming with multiple levels of detail and degrees of freedom |
CN114424187A (zh) | 2019-08-02 | 2022-04-29 | 杜比实验室特许公司 | 用于自适应性个性化媒体译码和递送的个性化敏感度测量和重放因素 |
CN112533034B (zh) * | 2019-09-17 | 2023-08-25 | 青岛海信宽带多媒体技术有限公司 | 基于hls的视频提供方法、装置、设备、介质及系统 |
CN110662109B (zh) * | 2019-09-29 | 2022-10-18 | 咪咕动漫有限公司 | 一种视频播放方法、电子设备及计算机可读存储介质 |
CN110689485B (zh) * | 2019-10-14 | 2022-11-04 | 中国空气动力研究与发展中心超高速空气动力研究所 | 一种应用于大型压力容器红外无损检测的sift图像拼接方法 |
US11302291B1 (en) * | 2019-11-27 | 2022-04-12 | Amazon Technologies, Inc. | Device agnostic user interface generation |
CN111491119A (zh) * | 2020-04-22 | 2020-08-04 | 上海微阱电子科技有限公司 | 一种支持全局曝光和卷帘曝光的像元结构 |
WO2021230001A1 (ja) * | 2020-05-11 | 2021-11-18 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
US11616589B2 (en) | 2020-06-25 | 2023-03-28 | Sony Interactive Entertainment LLC | Methods and systems for performing and recording live music near live with no latency |
US11563504B2 (en) * | 2020-06-25 | 2023-01-24 | Sony Interactive Entertainment LLC | Methods and systems for performing and recording live music using audio waveform samples |
US11539935B2 (en) * | 2020-12-02 | 2022-12-27 | Meta Platforms Technologies, Llc | Videotelephony with parallax effect |
US11336707B1 (en) | 2020-12-21 | 2022-05-17 | T-Mobile Usa, Inc. | Adaptive content transmission |
JP7325740B2 (ja) * | 2021-03-09 | 2023-08-15 | 学校法人金沢医科大学 | 見え方シミュレーション方法及びプログラム |
WO2023097218A1 (en) * | 2021-11-24 | 2023-06-01 | Phenix Real Time Solutions, Inc. | Eye gaze as a proxy of attention for video streaming services |
US11665215B1 (en) * | 2022-05-05 | 2023-05-30 | At&T Intellectual Property I, L.P. | Content delivery system |
WO2024069534A1 (en) * | 2022-09-30 | 2024-04-04 | Sightful Computers Ltd | Adaptive extended reality content presentation in multiple physical environments |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100320465B1 (ko) | 1999-01-11 | 2002-01-16 | 구자홍 | 홍채 인식 시스템 |
KR100320188B1 (ko) | 1999-03-23 | 2002-01-10 | 구자홍 | 홍채인식 시스템의 위조 판별방법 |
JP2000276123A (ja) * | 1999-03-26 | 2000-10-06 | Canon Inc | 表示装置及びコンピュータ読み取り可能な記憶媒体 |
KR100343223B1 (ko) | 1999-12-07 | 2002-07-10 | 윤종용 | 화자 위치 검출 장치 및 그 방법 |
JP3812272B2 (ja) * | 2000-03-08 | 2006-08-23 | ヤマハ株式会社 | データサーバシステム |
US7027061B1 (en) * | 2000-09-28 | 2006-04-11 | Rockwell Automation Technologies, Inc. | Raster engine with multiple color depth digital display interface |
KR100649303B1 (ko) | 2000-11-16 | 2006-11-24 | 엘지전자 주식회사 | 양쪽 눈의 홍채 이미지 집사 장치 |
US7215797B2 (en) | 2001-02-02 | 2007-05-08 | Lg Electronics Inc. | Iris recognition system |
US7095901B2 (en) | 2001-03-15 | 2006-08-22 | Lg Electronics, Inc. | Apparatus and method for adjusting focus position in iris recognition system |
US7271839B2 (en) | 2001-03-15 | 2007-09-18 | Lg Electronics Inc. | Display device of focal angle and focal distance in iris recognition system |
US20030009542A1 (en) * | 2001-06-14 | 2003-01-09 | Kasal Alpay O. | Digital entertainment solution |
US7284201B2 (en) | 2001-09-20 | 2007-10-16 | Koninklijke Philips Electronics N.V. | User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution |
KR100854890B1 (ko) | 2001-12-28 | 2008-08-28 | 엘지전자 주식회사 | 홍채 인식 시스템의 다중 조명을 이용한 홍채 등록 및인식방법 |
KR100842501B1 (ko) | 2002-02-21 | 2008-07-01 | 엘지전자 주식회사 | 홍채 인식 시스템의 눈위치 표시장치 |
KR20040062247A (ko) | 2003-01-02 | 2004-07-07 | 엘지전자 주식회사 | 홍채 인식 카메라의 구조 및 그 사용 방법 |
MX2007000810A (es) * | 2004-07-20 | 2007-04-02 | Qualcomm Inc | Metodo y aparato para conversion ascendente de velocidad por cuadro asistido de codificador (ea-fruc) para compresion de video. |
DE102004063594A1 (de) * | 2004-12-30 | 2006-07-13 | BSH Bosch und Siemens Hausgeräte GmbH | Verfahren zur Regelung der Hintergrundbeleuchtung eines Displays |
US8015590B2 (en) | 2004-12-30 | 2011-09-06 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals |
CN101133438B (zh) | 2005-03-01 | 2010-05-19 | 松下电器产业株式会社 | 电子显示介质和用于电子显示介质的屏幕控制方法 |
US8701148B2 (en) * | 2005-09-01 | 2014-04-15 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for bandwidth conservation |
US8879635B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
US7714265B2 (en) * | 2005-09-30 | 2010-05-11 | Apple Inc. | Integrated proximity sensor and light sensor |
JP2007110312A (ja) * | 2005-10-12 | 2007-04-26 | Matsushita Electric Ind Co Ltd | 通信システム、テレビ電話システム及び端末 |
US20070091920A1 (en) * | 2005-10-20 | 2007-04-26 | Harris John M | System and method for improving the capacity of a network |
CN1859561B (zh) * | 2005-11-01 | 2010-05-12 | 华为技术有限公司 | 流媒体点播系统及方法 |
JP2007207328A (ja) * | 2006-01-31 | 2007-08-16 | Toshiba Corp | 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法 |
JP4359720B2 (ja) * | 2006-05-12 | 2009-11-04 | 株式会社カシオ日立モバイルコミュニケーションズ | 映像音声再生装置 |
US7850306B2 (en) * | 2008-08-28 | 2010-12-14 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
US20100079508A1 (en) | 2008-09-30 | 2010-04-01 | Andrew Hodge | Electronic devices with gaze detection capabilities |
EP2346227A4 (en) * | 2008-10-08 | 2014-12-24 | Sharp Kk | SYSTEM AND METHOD FOR WIRELESS TRANSMISSION |
CN101742282A (zh) * | 2008-11-24 | 2010-06-16 | 深圳Tcl新技术有限公司 | 一种调整显示设备视频内容参数的方法、系统及设备 |
JP2010176307A (ja) * | 2009-01-28 | 2010-08-12 | Toshiba Corp | 電子装置及び電子装置の制御方法と制御プログラム |
GB2467932A (en) * | 2009-02-19 | 2010-08-25 | Sony Corp | Image processing device and method |
US8510462B2 (en) * | 2009-03-31 | 2013-08-13 | Canon Kabushiki Kaisha | Network streaming of a video media from a media server to a media client |
US8280226B2 (en) * | 2009-04-06 | 2012-10-02 | International Business Machines Corporation | Content recorder multi-angle viewing and playback |
KR101032726B1 (ko) | 2009-09-01 | 2011-05-06 | 엘지이노텍 주식회사 | 눈 상태 검출방법 |
US9124642B2 (en) * | 2009-10-16 | 2015-09-01 | Qualcomm Incorporated | Adaptively streaming multimedia |
KR101626159B1 (ko) | 2009-11-25 | 2016-05-31 | 엘지전자 주식회사 | 사용자 적응형 디스플레이 장치 및 디스플레이 방법 |
US8427476B2 (en) * | 2009-12-14 | 2013-04-23 | Acer Incorporated | System and method for automatically adjusting visual setting of display device |
KR20110069563A (ko) | 2009-12-17 | 2011-06-23 | 엘지전자 주식회사 | 영상표시장치 및 그 동작 방법 |
JP5047261B2 (ja) * | 2009-12-18 | 2012-10-10 | 株式会社東芝 | 録画再生装置、録画再生方法及びプログラム |
EP2526671B1 (en) * | 2010-01-18 | 2016-11-16 | Telefonaktiebolaget LM Ericsson (publ) | Methods and arrangements for http media stream distribution |
RU2012139959A (ru) * | 2010-02-19 | 2014-03-27 | Телефонактиеболагет Л М Эрикссон (Пабл) | Способ и устройство для переключения воспроизведений в потоковой передачи по протоколу передачи гипертекста |
US9313526B2 (en) * | 2010-02-19 | 2016-04-12 | Skype | Data compression for video |
US9596447B2 (en) * | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
US20130125155A1 (en) * | 2010-07-26 | 2013-05-16 | Thomson Licensing | Dynamic adaptation of displayed video quality based on viewers' context |
EP2453386B1 (en) | 2010-11-11 | 2019-03-06 | LG Electronics Inc. | Multimedia device, multiple image sensors having different types and method for controlling the same |
US8849950B2 (en) * | 2011-04-07 | 2014-09-30 | Qualcomm Incorporated | Network streaming of video data using byte range requests |
WO2011100901A2 (zh) * | 2011-04-07 | 2011-08-25 | 华为技术有限公司 | 媒体内容的传输处理方法、装置与系统 |
KR101449748B1 (ko) | 2011-08-18 | 2014-10-13 | 엘지디스플레이 주식회사 | 입체영상 디스플레이장치 및 그 구동 방법 |
-
2013
- 2013-01-18 EP EP19157404.5A patent/EP3506644B1/en active Active
- 2013-01-18 TW TW106128966A patent/TW201811029A/zh unknown
- 2013-01-18 CN CN201380006173.8A patent/CN104067628B/zh active Active
- 2013-01-18 JP JP2014553474A patent/JP6145460B2/ja active Active
- 2013-01-18 CN CN201811360870.4A patent/CN109905728A/zh active Pending
- 2013-01-18 KR KR1020187005121A patent/KR101944092B1/ko active IP Right Grant
- 2013-01-18 US US13/745,580 patent/US20130195204A1/en not_active Abandoned
- 2013-01-18 KR KR1020197023580A patent/KR20190097306A/ko not_active Application Discontinuation
- 2013-01-18 EP EP13705039.9A patent/EP2805523B1/en active Active
- 2013-01-18 KR KR1020147023039A patent/KR101833034B1/ko active IP Right Grant
- 2013-01-18 KR KR1020197002461A patent/KR102011499B1/ko active IP Right Grant
- 2013-01-18 WO PCT/US2013/022223 patent/WO2013109941A2/en active Application Filing
- 2013-01-18 CN CN202210481072.7A patent/CN115086767A/zh active Pending
- 2013-01-18 TW TW102101949A patent/TW201349870A/zh unknown
-
2017
- 2017-05-15 JP JP2017096731A patent/JP2017169227A/ja active Pending
-
2021
- 2021-04-08 US US17/225,191 patent/US11849153B2/en active Active
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI550301B (zh) * | 2015-03-25 | 2016-09-21 | 宏達國際電子股份有限公司 | 定位系統及方法 |
US9706356B2 (en) | 2015-03-25 | 2017-07-11 | Htc Corporation | Positioning system and method |
TWI662839B (zh) * | 2016-01-28 | 2019-06-11 | 聯發科技股份有限公司 | 消息交互的方法和提供媒體服務的系統 |
US11233868B2 (en) | 2016-01-28 | 2022-01-25 | Mediatek Inc. | Method and system for streaming applications using rate pacing and MPD fragmenting |
US11652903B2 (en) | 2016-01-28 | 2023-05-16 | Mediatek Inc. | Method and system for streaming applications using rate pacing and MPD fragmenting |
TWI709110B (zh) * | 2018-08-01 | 2020-11-01 | 大陸商Oppo廣東移動通信有限公司 | 攝像頭校準方法和裝置、電子設備 |
US11158086B2 (en) | 2018-08-01 | 2021-10-26 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Camera calibration method and apparatus, electronic device, and computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
CN104067628B (zh) | 2018-12-04 |
US20130195204A1 (en) | 2013-08-01 |
KR20190097306A (ko) | 2019-08-20 |
EP2805523B1 (en) | 2019-03-27 |
WO2013109941A3 (en) | 2013-09-19 |
TW201811029A (zh) | 2018-03-16 |
KR20140115354A (ko) | 2014-09-30 |
KR101944092B1 (ko) | 2019-01-30 |
JP2015510325A (ja) | 2015-04-02 |
KR20190011337A (ko) | 2019-02-01 |
KR20180021252A (ko) | 2018-02-28 |
US11849153B2 (en) | 2023-12-19 |
EP2805523A2 (en) | 2014-11-26 |
CN115086767A (zh) | 2022-09-20 |
EP3506644A1 (en) | 2019-07-03 |
US20210235126A1 (en) | 2021-07-29 |
WO2013109941A2 (en) | 2013-07-25 |
JP6145460B2 (ja) | 2017-06-14 |
EP3506644B1 (en) | 2020-12-30 |
CN104067628A (zh) | 2014-09-24 |
JP2017169227A (ja) | 2017-09-21 |
CN109905728A (zh) | 2019-06-18 |
KR101833034B1 (ko) | 2018-02-27 |
KR102011499B1 (ko) | 2019-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11849153B2 (en) | Methods and systems for video delivery supporting adaptation to viewing conditions | |
US11356638B2 (en) | User-adaptive video telephony | |
US11849178B2 (en) | Metrics and messages to improve experience for 360-degree adaptive streaming | |
ES2687797T3 (es) | Gestión de algoritmos de adaptación de vídeo | |
US10110956B2 (en) | Viewing conditions estimation for adaptive delivery of visual information in a viewing environment | |
Reznik | User-adaptive mobile video streaming using MPEG-DASH |