TW201724868A - 顯示部分視訊流方法及系統 - Google Patents

顯示部分視訊流方法及系統 Download PDF

Info

Publication number
TW201724868A
TW201724868A TW105125641A TW105125641A TW201724868A TW 201724868 A TW201724868 A TW 201724868A TW 105125641 A TW105125641 A TW 105125641A TW 105125641 A TW105125641 A TW 105125641A TW 201724868 A TW201724868 A TW 201724868A
Authority
TW
Taiwan
Prior art keywords
interest
video
client device
list
stream
Prior art date
Application number
TW105125641A
Other languages
English (en)
Inventor
庫瑪爾 拉馬斯瓦米
傑佛瑞‧艾倫 庫伯
Original Assignee
Ｖｉｄ衡器股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｖｉｄ衡器股份有限公司 filed Critical Ｖｉｄ衡器股份有限公司
Publication of TW201724868A publication Critical patent/TW201724868A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

描述了使視訊用戶端能夠對感興趣區域或物件進行放大而不實質上損失解析度的系統和方法。在示例方法中，伺服器傳送諸如DASH MPD的清單到用戶端裝置。清單識別多個子串流，其中每個子串流表示源視訊的各自的空間部分。清單還包括關聯感興趣的物件與多個空間部分的資訊。為了查看高品質縮放視訊，用戶端請求與感興趣物件相關聯的子串流並且呈現所請求的子串流。在一些實施方式中，呈現點被傳送到用戶端以允許感興趣物件的運動。

Description

顯示部分視訊流方法及系統
相關申請案的交叉引用 本申請案為如下申請案的非臨時申請案，並且在35 U.S.C. §119(e)下從如下申請案中要求權益：2015年8月14日申請且標題為“用於顯示部分視訊串流的方法和系統”美國臨時專利申請序號No. 62/205, 492，該申請案的內容作為引用結合於此。
數位視訊信號通常由其參數表徵：i）解析度（亮度和色度解析度或者水平和垂直像素維度），ii）框率，和iii）動態範圍或位元度（每像素位元）。數位視訊信號的解析度通過8K超高畫質（UHD）從標準畫質（SD）進行了增加。其它數位視訊信號參數也已經從每秒30訊框（fps）增加到高達240 fps，並且位元度已經從8位元增加到10位元。為了經由網路傳送數位視訊信號，MPEG/ITU標準視訊壓縮在壓縮效率上已經經歷了幾代持續改進，包括MPEG2、MPEG4/H.264和HEVC/H.265。在消費者裝置（諸如電視或行動電話）上顯示數位視訊信號的技術也已經相應提高。
在網路連接裝置上請求更高品質數位視訊的消費者面對來自視訊內容傳遞網路的更多頻寬限制。在減弱頻寬限制的影響的努力中，若干方案已經湧現。視訊內容初始以較高解析度、框率和動態範圍獲取。例如，4:2:2、10位元HD視訊內容經常下解析（down-resolve）到4:2:0、8位元以用於分配。數位視訊在伺服器以多種解析度編碼和儲存，並且以變化的解析度的這些版本對於由具有可能變化的能力的用戶端進行的擷取、解碼和呈現（render）是可用的。數位視訊在伺服器以多種解析度被編碼和儲存。適應性位元速率（ABR）還解決了網路擁塞。在ABR中，數位視訊以多種位元速率被編碼（例如選擇相同或多個較低解析度、較低框率等等），並且在伺服器處可用。用戶端裝置基於其計算的可用網路頻寬或者本地計算資源以週期性間隔請求用於消耗的不同位元速率。
此處描述了與顯示數位視訊串流的一部分相關的系統和方法。數位視訊在伺服器處以多種解析度被編碼和儲存，且以變化的解析度的這些版本對於由具有可能變化的能力的用戶端進行的擷取、解碼和呈現是可用的。伺服器使得附加元資料可用，因此用戶端可以請求和接收足夠的資料來解碼和呈現處於高解析度及/或縮放比例的一個或多個感興趣區域或物件，其中針對感興趣區域或物件的空間支援可能隨著時間改變。
在示例方法中，伺服器將諸如DASH MPD之類的清單傳送到用戶端裝置。該清單識別表示源視訊的未縮放版本的至少一個未縮放串流。該清單還識別多個子串流，其中每個子串流表示該源視訊的各自的空間部分。該伺服器還將關聯至少一個感興趣物件與多個該空間部分的資訊傳送到該用戶端裝置。此資訊可以在清單中提供，該伺服器從用戶端裝置接收針對至少一個子串流的請求。作為回應，伺服器將所請求的子串流傳送到該用戶端裝置。該子串流可以用比未縮放串流高的解析度來編碼，從而當用戶端裝置在子串流中表示的感興趣物件上進行放大時，允許更高品質視訊。
藉由在該清單中包括用於每個子串流的語法元素，該關聯至少一個感興趣物件與多個該空間部分的資訊被提供，該語法元素識別與各自的子串流相關聯的至少一個感興趣物件。
在一些實施方式中，該伺服器還將用於該感興趣物件的呈現點（render point）傳送到該用戶端裝置。在感興趣物件包含比整個子串流少的子串流時，呈現點被用於表明子串流的哪些部分將被顯示。例如，呈現點可以表示感興趣矩形區域的一個或多個角的座標，其中感興趣矩形區域比由所有子串流表示的完整區域小。感興趣矩形區域被顯示，而在感興趣矩形區域外部的子串流的部分不被顯示。
呈現參考點可以被傳遞到用戶端裝置。例如，呈現參考點可以作為視訊串流或視訊分段的部分或者作為與視訊串流或視訊分段一起發送的側資訊（side information）在帶內傳送。一個或多個呈現參考點可以在視訊串流中帶內傳送，諸如在未縮放串流中或者在一個或多個子串流中。替代地，呈現參考點可以被規定為在帶外通信（例如作為例諸如DASH MPD的清單中的元資料）。
在一些實施方式中，子串流被編碼用於適應性位元速率（ABR）串流傳輸，例如，具有不同位元速率的至少兩個子串流可用於至少一些空間部分。用戶端可以基於網路條件選擇請求哪個子串流。
在示例用戶端側方法中，視訊用戶端接收清單，其中該清單識別用於表示源視訊的未縮放版本的未縮放串流。該清單還識別多個子串流，其中每個子串流表示源視訊的各自的空間部分。用戶端還接收關聯至少一個感興趣物件與多個空間部分的資訊。用戶端裝置接收對於感興趣物件中的一者的選擇（例如經由諸如遠端控制的使用者介面裝置所輸入的使用者選擇）。用戶端裝置識別與所選擇的感興趣物件相關聯的空間部分，並且擷取用於每個空間部分的代表性子串流。在存在針對空間部分的多於一個代表性子串流（例如具有不同位元速率）的情況下，用戶端裝置可以基於網路條件來選擇擷取哪個代表性子串流。用戶端裝置隨後藉由呈現所擷取的子串流使得顯示感興趣物件的縮放版本。縮放版本的顯示可以由用戶端裝置本身提供（例如在內建的螢幕上），或者用戶端裝置可以傳送未壓縮視訊到外部顯示裝置（諸如電視或監控器）。
現下面參考各種附圖對示例實施方式進行詳細描述。雖然本發明提供了具體的示例實施方式，但應當理解的是這些細節意在示例性並且不限制本發明的範圍。與視訊壓縮相關的系統和方法可以應用在第1A圖至第1C圖中描述的有線和無線通訊系統中。首先，這些有線和無線系統將被描述。
第1A圖為可以在其中實施一個或者多個揭露的實施方式的示例通信系統100的圖。通信系統100可以是將諸如語音、資料、視訊、訊息、廣播等之類的內容提供給多個無線使用者的多重存取系統。通信系統100可以經由系統資源（包括有線和無線頻寬）的共用使得多個有線和無線使用者能夠存取這些內容。例如，通信系統100可以使用一或多個頻道存取方法，例如分碼多重存取（CDMA）、分時多重存取（TDMA）、分頻多重存取（FDMA）、正交FDMA（OFDMA）、單載波FDMA（SC-FDMA）等等。這些通信系統100還可以利用一種或多種有線通信標準（例如，乙太網路、DSL、經由同軸線纜的射頻（RF）、光纖等）。
如第1A圖所示，通信系統100可以包括用戶端裝置102a、102b、102c及/或102d、無線電存取網路（RAN）103/104/105、核心網路106/107/109、公共交換電話網（PSTN）108、網際網路110和其他網路112以及通信鏈路115/116/117和119，但可以理解的是所揭露的實施方式可以涵蓋任意數量的用戶端裝置、基地台、網路及/或網路元件。用戶端裝置 102a、102b、102c、102d中的每一個可以是被配置為在有線或無線通訊中操作及/或通信的任何類型的裝置。作為示例，用戶端裝置 102a被描述為平板電腦、用戶端裝置102b被描述為智慧手機，用戶端裝置102c被描述為電腦以及用戶端裝置102d被描述為電視。
通信系統100還可以包括基地台114a和基地台114b。基地台114a、114b中的每一個可以是被配置為與WTRU 102a、102b、102c、102d中的至少一者無線介接，以便於存取一個或多個通信網路（例如核心網路106/107/109、網際網路110及/或網路112）的任何類型的裝置。例如，基地台114a、114b可以是基地收發站（BTS）、節點B、e節點B、家用節點B、家用e節點B、網站控制器、存取點（AP）、無線路由器以及類似裝置。儘管基地台114a、114b每個均被描述為單一元件，但是可以理解的是基地台114a、114b可以包括任何數量的互連基地台及/或網路元件。
基地台114a可以是RAN 103/104/105的一部分，該RAN 103/104/105還可以包括諸如基地台控制器（BSC）、無線電網路控制器（RNC）、中繼節點之類的其他基地台及/或網路元件（未示出）。基地台114a及/或基地台114b可以被配置為發送及/或接收特定地理區域內的無線信號，該特定地理區域可以被稱作胞元（未示出）。胞元還可以被分割為胞元扇區。例如與基地台114a相關聯的胞元可以被分割為三個扇區。由此，在一種實施方式中，基地台114a可以包括三個收發器，即針對該胞元的每個扇區都有一個收發器。在另一實施方式中，基地台114a可以使用多輸入多輸出（MIMO）技術，並且由此可以使用針對胞元的每個扇區的多個收發器。
基地台114a、114b可以經由空中介面115/116/117或通信鏈路119以與用戶端裝置102a、102b、102c和102d中的一者或多者通信，該通信鏈路119可以是任何合適的有線或無線通訊鏈路（例如射頻（RF）、微波、紅外（IR）、紫外（UV）、可見光等）。空中介面115/116/117可以使用任何合適的無線電存取技術（RAT）來建立。
更為具體地，如前所述，通信系統100可以是多重存取系統、並且可以使用一個或多個頻道存取方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，在RAN 103/104/105中的基地台114a和用戶端裝置 102a、102b、102c可以實施諸如通用行動電信系統（UMTS）陸地無線電存取（UTRA）之類的無線電技術，其可以使用寬頻CDMA（WCDMA）來建立空中介面115/116/117。WCDMA可以包括諸如高速封包存取（HSPA）及/或演進型HSPA（HSPA+）的通信協定。HSPA可以包括高速下鏈封包存取（HSDPA）及/或高速上鏈封包存取（HSUPA）。
在另一實施方式中，基地台114a和用戶端裝置 102a、102b、102c可以實施諸如演進型UMTS陸地無線電存取（E-UTRA）之類的無線電技術，其可以使用長期演進（LTE）及/或高級LTE（LTE-A）來建立空中介面115/116/117。
在其他實施方式中，基地台114a和用戶端裝置 102a、102b、102c可以實施諸如IEEE 802.16（即全球互通微波存取（WiMAX））、CDMA2000、CDMA2000 1x、CDMA2000 EV-DO、臨時標準2000（IS-2000）、臨時標準95（IS-95）、臨時標準856（IS-856）、全球行動通信系統（GSM）、增強型資料速率GSM演進（EDGE）、GSM EDGE（GERAN）之類的無線電技術。
舉例來講，第1A圖中的基地台114b可以是有線路由器、無線路由器、家用節點B、家用e節點B或者存取點，並且可以使用任何合適的有線傳輸標準或RAT，以用於促進在諸如公司、家庭、車輛、校園之類的局部區域的無線連接。在一種實施方式中，基地台114b和用戶端裝置102c、102d可以實施諸如IEEE 802.11之類的無線電技術以建立無線區域網路（WLAN）。在另一實施方式中，基地台114b和用戶端裝置 102c、102d可以實施諸如IEEE 802.15之類的無線電技術以建立無線個人區域網路（WPAN）。在又一實施方式中，基地台114b和用戶端裝置102c、102d可以使用基於蜂巢的RAT（例如WCDMA、CDMA2000、GSM、LTE、LTE-A等）以建立超微型（picocell）胞元和毫微微胞元（femtocell）。在另一實施例中，基地台114b經由通信鏈路119以與用戶端裝置102a、102b、102c和102d通信。如第1A圖所示，基地台114b可以具有至網際網路110的直接連接。由此，基地台114b不必經由核心網路106/107/109要求存取網際網路110。
RAN 103/104/105可以與核心網路106/107/109通信，該核心網路可以是被配置為將語音、資料、應用程式及/或網際網路協定語音（VoIP）服務提供到用戶端裝置 102a、102b、102c、102d中的一者或多者的任何類型的網路。例如，核心網路106/107/109可以提供呼叫控制、帳單服務、基於移動位置的服務、預付費呼叫、網際連接性、視訊分配等及/或執行高階安全性功能，例如使用者驗證。儘管第1A圖中未示出，需要理解的是RAN 103/104/105及/或核心網路106/107/109可以直接或間接地與其他RAN進行通信，這些其他RAT可以使用與RAN 103/104/105相同的RAT或者不同的RAT。例如，除了連接到可以採用E-UTRA無線電技術的RAN 103/104/105，核心網路106/107/109也可以與使用GSM無線電技術的其他RAN（未顯示）通信。
核心網路106/107/109也可以用作用戶端裝置102a、102b、102c、102d存取PSTN 108、網際網路110及/或其他網路112的閘道。PSTN 108可以包括提供普通老式電話服務（POTS）的電路交換電話網路。網際網路110可以包括互連電腦網路的全球系統以及使用公共通信協定的裝置，該公共通信協定例如傳輸控制協定（TCP）/網際網路協定（IP）網際網路協定套件的中的TCP、使用者資料包通訊協定（UDP）和IP。網路112可以包括由其他服務提供方擁有及/或操作的有線及/或無線通訊網路。例如，網路112可以包括連接到一個或多個RAN的另一核心網路，這些RAN可以使用與RAN 103/104/105相同的RAT或者不同的RAT。
通信系統100中的用戶端裝置 102a、102b、102c、102d中的一些或者全部可以包括多模式能力，即用戶端裝置102a、102b、102c、102d可以包括用於經由不同通信鏈路以與不同的有線或無線網路進行通信的多個收發器。例如，第1A圖中顯示的WTRU 102c可以被配置為與使用基於蜂巢的無線電技術的基地台114a進行通信、並且與使用IEEE 802無線電技術的基地台114b進行通信。
第1B圖描述了可以在第1A圖的通信系統中使用的示例用戶端裝置。特別地，第1B圖為示例用戶端裝置102的系統圖。如第1B圖中所示，用戶端裝置102可以包括處理器118、收發器120、傳輸/接收元件122、揚聲器/麥克風124、鍵盤126、顯示器/觸控板128、不可移式記憶體130、可移式記憶體132、電源134、全球定位系統（GPS）晶片組136和其他週邊裝置138。需要理解的是，在保持與以上實施方式一致的同時，用戶端裝置102可以表示用戶端裝置102a、102b、102c和102d的任何一者並且包括上述元件的任何子集。此外，實施方式涵蓋基地台114a和114b及/或基地台114a和114b表示的節點（諸如但不限於收發站（BTS）、節點B、網站控制器、存取點（AP）、家用節點B、演進型家用節點B（e節點B）、家用演進型節點B（HeNB）、家用演進型節點B閘道和代理節點等等）可以包括部分或全部在第1B圖中所描述的以及此處所描述的元素。
處理器118可以是通用處理器、專用處理器、正規處理器、數位訊號處理器（DSP）、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、專用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）電路、其他任何類型的積體電路（IC）、狀態機等。處理器118可以執行信號編碼、資料處理、功率控制、輸入/輸出處理及/或使得用戶端裝置102能夠操作在有線或無線環境中的其他任何功能。處理器118可以耦合到收發器120，該收發器120可以耦合到傳輸/接收元件122。儘管第1B圖中將處理器118和收發器120描述為獨立的元件，但是可以理解的是處理器118和收發器120可以被一起集成到電子封裝或者晶片中。
傳輸/接收元件122可以被配置為經由空中介面115/116/117或通信鏈路119將信號發送到基地台（例如基地台114a）、或者從基地台（例如基地台114a）接收信號。例如，在一種實施方式中，傳輸/接收元件122可以是被配置為發送及/或接收RF信號的天線。在另一實施方式中，傳輸/接收元件122可以是被配置為發送及/或接收例如IR、UV或者可見光信號的發射器/偵測器。在又一實施方式中，傳輸/接收元件122可以被配置為發送和接收RF信號和光信號兩者。在又一實施方式中，傳輸/接收元件可以為諸如乙太網路埠之類的有線通訊埠。需要理解的是傳輸/接收元件122可以被配置為發送及/或接收有線或無線信號的任意組合。
此外，儘管傳輸/接收元件122在第1B圖中被描述為單一元件，但是用戶端裝置102可以包括任何數量的傳輸/接收元件122。更特別地，用戶端裝置102可以使用MIMO技術。由此，在一種實施方式中，WTRU 102可以包括兩個或更多個傳輸/接收元件122（例如多個天線）以用於經由空中介面115/116/117傳輸和接收無線信號。
收發器120可以被配置為對將由傳輸/接收元件122發送的信號進行調變、並且被配置為對由傳輸/接收元件122接收的信號進行解調。如上所述，用戶端裝置102可以具有多模式能力。由此，收發器120可以包括多個收發器以用於使得用戶端裝置 102能夠經由多RAT進行通信，例如UTRA和IEEE 802.11。
用戶端裝置 102的處理器118可以被耦合到揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128（例如，液晶顯示（LCD）單元或者有機發光二極體（OLED）顯示單元）、並且可以從上述裝置接收使用者輸入資料。處理器118還可以向揚聲器/麥克風124、鍵盤126及/或顯示器/觸控板128輸出使用者資料。此外，處理器118可以存取來自任何類型的合適的記憶體中的資訊、以及向任何類型的合適的記憶體中儲存資料，該記憶體例如可以是不可移式記憶體130及/或可移式記憶體132。不可移式記憶體130可以包括隨機存取記憶體（RAM）、可讀記憶體（ROM）、硬碟或者任何其他類型的記憶體儲存裝置。可移式記憶體132可以包括用戶身份模組（SIM）卡、記憶條、安全數位（SD）記憶卡等類似裝置。在其他實施方式中，處理器118可以存取來自實體上未位於用戶端裝置 102上而位於諸如伺服器或者家用電腦（未示出）上的記憶體的資料、以及向上述記憶體中儲存資料。
處理器118可以從電源134接收功率、並且可以被配置為將功率分配給用戶端裝置102中的其他元件及/或對至用戶端裝置102中的其他元件的功率進行控制。電源134可以是任何適用於給WTRU 102加電的裝置。例如，電源134可以包括一個或多個乾電池（鎳鎘（NiCd）、鎳鋅（NiZn）、鎳氫（NiMH）、鋰離子（Li-ion）等）、太陽能電池、燃料電池、牆上插座等。
處理器118還可以耦合到GPS晶片組136，該GPS晶片組136可以被配置為提供關於用戶端裝置102的目前位置的位置資訊（例如經度和緯度）。作為來自GPS晶片組136的資訊的補充或者替代，WTRU 102可以經由空中介面115/116/117從基地台（例如基地台114a，114b）接收位置資訊，及/或基於從兩個或更多個附近基地台接收到的信號的時序來確定其位置。需要理解的是，在與實施方式一致的同時，用戶端裝置102可以用任何合適的位置確定方法來獲取位置資訊。根據實施方式，用戶端裝置102不包括GPS晶片並且不獲取位置資訊。
處理器118還可以耦合到其他週邊裝置138，該週邊裝置138可以包括提供附加特徵、功能性及/或無線或有線連接的一個或多個軟體及/或硬體模組。例如，週邊裝置138可以包括加速度計、電子指南針（e-compass）、衛星收發器、數位相機（用於照片或者視訊）、通用序列匯流排（USB）埠、振動裝置、電視收發器、免持耳機、藍牙®模組、調頻（FM）無線電單元、數位音樂播放器、媒體播放器、視訊遊戲播放器模組、網際網路瀏覽器等等。
第1C圖描述了根據實施方式的示例視訊編碼系統。特別地，第1C圖描述了示例系統160。示例系統160包括完全解析度輸入視訊源162、適應性位元速率編碼器164、串流傳輸伺服器166、網路168和用戶端裝置169。示例系統160可以在第1A圖描述的示例通信系統100的情境中實現。例如，適應性位元速率編碼器164和串流傳輸伺服器168兩者可以為在通信系統100中描述的任何網路中的實體。用戶端裝置169可以為在通信系統100中描述的用戶端裝置102a-d。
根據實施方式，適應性位元速率編碼器或轉碼器164從源162接收未壓縮或壓縮的輸入視訊串流，並且將視訊串流編碼或轉碼為多個表示（representation）165。每個表示在特性上彼此不同，諸如解析度、框率、位元速率等特性上與其他的表示不同。適應性位元速率編碼器164將編碼後的視訊串流165傳送到串流傳輸伺服器166。串流傳輸伺服器166經由網路傳送編碼後的視訊串流到用戶端裝置。傳輸可以經由諸如通信鏈路115/116/117或119之類的任何通信介面發生。
第1D圖提供了不同圖像解析度的描述170。示例圖像解析度從最低解析度到最高解析度列出，包括標準畫質（SD）、完全高畫質（FHD）、4K超高畫質（UHD）和8K UHD，儘管其他解析度也可用。作為幫助理解本揭露內容，這裡通常使用較大矩形（如同每個像素同樣大小）描述較高解析度視訊，儘管應當理解顯示大小與圖像解析度沒有必然關聯。
第1E圖提供了ABR編碼的示意描述。如第1E圖所示，4K UHD源視訊被轉換為具有三種不同解析度的三種其他編碼。例如，源視訊可以被下轉換為串流ABR-1（182），其可以為例如1080p HD視訊；串流ABR-2（184），其例如可以為標準畫質（SD）串流；以及串流ABR-3（186），其可以仍為更低解析度串流（例如在網路擁塞條件下使用）。部分地基於用戶端裝置能力和網路擁塞，每個ABR編碼版本的源視訊被傳送到串流傳輸伺服器以進一步傳輸到用戶端裝置。因此，可用的最高空間解析度不總是被傳遞到用戶端裝置。
第1F圖描述了可以在第1A圖的通信系統100中使用的示例網路實體190。如第1F圖所示，網路實體190包括通信介面192、處理器194和非暫態資料記憶體196，所有這些可以由匯流排，網路或者任何通信路徑198可通訊連結。
通信介面192可包括一個或多個有線通信介面及/或一個或多個無線通訊介面。對於有線通信，通信介面192包括諸如乙太網路介面之類的一個或多個介面，作為示例。對於無線通訊，通信介面192可包括諸如被設計和配置用於一種或多種類型無線（例如LTE）通信的一個或多個天線、一個或多個收發器/晶片之類的元件，及/或相關領域中具有通常知識者視為合適的任何其他元件。進一步對於無線通訊，通信介面192可被配備適於在無線通訊（例如LTE通信、Wi-Fi通信等等）的與用戶端側相對的網路側動作的一範圍及一配置。因此，通信介面192包括用於服務覆蓋區域中的多個行動站、UE或其他存取終端的合適的裝配和電路（可能包括多個收發器）。
處理器194可包括相關領域中具有通常知識者視為合適的任何類型的一個或多個處理器，一些示例包括通用微處理器和專用DSP。
資料記憶體196可採取任何非暫態電腦可讀媒體的形式或者這種媒體的組合，一些示例包括快閃記憶體、唯讀記憶體（ROM）和隨機存取記憶體（RAM）等等，相關領域中具有通常知識者視為合適的任何一種或多種類型的非暫態資料記憶體可以被使用。如第1F圖所示，資料記憶體196包含處理器194可執行的程式指令197，用於執行此處描述的各種網路實體功能的各種組合。
在一些實施方式中，此處描述的網路實體功能由具有與第1F圖的網路實體190結構類似的結構的網路實體執行。在一些實施方式中，一個或多個這種功能由一組網路實體組合執行，其中每個網路實體具有與第1F圖中網路實體190結構類似的結構。在各種不同實施方式中，網路實體190為或者至少包括一個或多個編碼器、一個或多個RAN 103（中的一個或多個實體）、RAN 104（中的一個或多個實體）、RAN 105（中的一個或多個實體）核心網路106（中的一個或多個實體）、核心網路107（中的一個或多個實體）、核心網路109（中的一個或多個實體）、基地台114a、基地台114b、節點B 140a、節點B 140b、節點B 140c、RNC 142a、RNC 142b、MGW 144、MSC 146、SGSN 148、GGSN 150、e節點B 160a、e節點B 160b、e節點B 160c、MME 162、服務閘道164、PDN閘道166、基地台180a、基地台180b、基地台180c、ASN閘道182、MIP‑HA 184、AAA 186和閘道188。而且當然地，其他網路實體及/或網路實體的組合可以在用於執行此處描述的網路實體功能的各種實施方式中使用，前述列表僅為示例方式提供而不是限制方式。
第2圖描述了根據實施方式的示例視訊編碼和分配系統。特別地，第2圖描述了示例系統200。示例系統200包括與在第1C圖的示例ABR系統160中描述的那些元件類似的元件，諸如完全解析度輸入視訊源262、產生傳統ABR串流265的適應性位元速率編碼器264、串流傳輸伺服器266、網路268和用戶端裝置269。此外，系統200還包括縮放編碼編碼器204。縮放編碼編碼器204從完全解析度視訊源262接收以未壓縮或者先前壓縮格式的源視訊串流。縮放編碼編碼器204將源視訊串流編碼或轉碼為多個縮放編碼後的子串流，其中每一個縮放編碼後的子串流編碼表示比整體源視訊的完整區域小的區域的空間部分（例如，分段、片段、四分部或者其他分割）。在實施方式中，使用將視訊串流從一個壓縮格式轉換到另一個壓縮格式的轉碼，解碼過程被執行，從而將視訊帶回以其完全解析度的未壓縮域，此後跟隨用於創建表示不同解析度、位元速率或框率的新的壓縮視訊串流的重新編碼過程。
縮放編碼後的子串流206可以為i）以源視訊串流的解析度和品質或者類似於ABR編碼而被編碼；及/或ii）被編碼為多個解析度。縮放編碼後的子串流206被傳送到串流傳輸伺服器266以用於進一步傳送到用戶端裝置269。在一些實施方式中，ABR編碼器和縮放編碼編碼器為相同的編碼器，被配置為將源視訊編碼為ABR串流和縮放編碼後的子串流。
第3圖描述了根據實施方式的示例編碼解析度。特別地，第3圖描述了編碼300的概況。該概況包括數位源視訊302、ABR編碼器304、縮放編碼編碼器306、ABR串流308-312和縮放編碼後的子串流314-320。數位源視訊302被描述為具有四個四分部（quadrant），左上具有對角交叉線，右上具有垂直和水平線，左下具有對角線，右下以點標出。源數位視訊302的完全解析度為水平3840乘以垂直2160（4K× 2K）。四個四分部以示例方式給出，數位視訊源可以被分割為以任何佈置任何數量的區域，包括不同大小和形狀的分段。數位源視訊302由ABR編碼器304和縮放編碼編碼器306接收。ABR編碼器304將數位源視訊處理為三個不同ABR串流308、310和312。每個ABR串流為不同解析度。例如，ABR串流308以2K× 1K（特別地1920 × 1080）被編碼、具有最高解析度、並且被描述為最大區域。ABR串流312以500×250（特別地480×270）被編碼、具有最低解析度、並且被描述為最小區域。當在示例300中的ABR串流改變解析度時，其他特性，包括但不限於位元速率和每秒的訊框，也可結合其他數位視訊特性由本身來發生改變。縮放編碼後的子串流314、316、318和310每個以2K × 1K解析度（特別地1920 × 1080）被編碼，與數位源視訊302中的相應區域的解析度匹配。
在實施方式中，用戶端裝置經由系統200正串流傳輸數位視訊，並且源視訊正被編碼（或者先前已經被編碼並且儲存在串流傳輸伺服器中），如第3圖所示。用戶端裝置可以接收、可以解碼、並且可以顯示描述以變化的數位視訊參數所編碼的源視訊的任何ABR串流308、310、312。用戶端裝置可以在（例如解碼後的）傳統ABR串流308、310或312的一部分上放大。然而，整個ABR串流經由網路傳送，包括用戶端裝置不顯示的部分（例如當視訊被放大時顯示的邊界之外的部分）。而且，在用戶端裝置上顯示的產生的縮放圖像部分可能出現像素化或者另外顯示較低解析度。然而，使用此處描述的實施方式，用戶端裝置可以藉由請求與由用戶端裝置請求的視訊串流的部分相對應的縮放編碼後的子串流314、316、318和320中的一個或多個而在視訊串流的一部分上進行放大。用戶端裝置可以例如請求查看數位視訊中與對角交叉線區域對應的左上部分。作為回應，串流傳輸伺服器經由網路將縮放編碼後的子串流314傳送到用戶端裝置。由此，由用戶端裝置請求的視訊顯示的部分經由網路被傳送，並且產生的顯示具有比ABR串流的放大版本更高的品質。單獨的視訊照相機或者源視訊不被需要提供高品質視訊串流給用戶端裝置。
為了方便用戶端裝置經由網路接收縮放編碼後的視訊串流，串流傳輸伺服器可以被配置為經由可用串流的設定檔通信檔通知用戶端裝置。例如，設定檔通信檔案可以為清單檔案、對話描述檔案、媒體演示描述（MPD）檔、DASH MPD或用於描述可用串流的另一合適表示。
在一些實施方式中，源視訊為運動事件、運動事件的重播、動作序列、監控安全視訊、電影或電視廣播。
第4A圖描述了根據實施方式的縮放視訊串流的示例。特別地，第4A圖描述了顯示源視訊302的感興趣區域402的過程。感興趣區域402可以包括視訊螢幕中的感興趣物件，其可為靜態物件或運動物件。（此後，術語感興趣物件和感興趣區域在本揭露中可交替使用。）如結合第3圖所描述的，源視訊302利用ABR編碼器304被編碼以產生視訊串流308、310、312，並且進一步利用縮放編碼編碼器306進行編碼以產生視訊串流314、316、318、320。區域404和408表示編碼串流中與源視訊302的感興趣區域相關聯的的部分。顯示406和410表示，與使用縮放編碼（410）相較下，藉由在傳統ABR串流上進行放大（406）在用戶端裝置上顯示的視訊。感興趣區域402重疊以四個不同縮放編碼後的子串流編碼的區域，並且具有原始4K x 2K源視訊的2K x 1K解析度維度。由此，在用戶端裝置上顯示的代表感興趣區域的可用最高解析度為2K x 1K。
ABR編碼器304能夠提供感興趣區域的放大視圖。在此實施方式中，ABR編碼器304產生三個ABR串流308、310和312。ABR串流308具有2K x 1K解析度、並且包括與感興趣區域402對應的區域404。然而，視訊串流中與感興趣區域對應的部分具有接近1K x 500（特別地960 × 540）解析度維度。無論是ABR串流308還是代表區域404的單獨的串流被傳送到用戶端裝置，具有接近1K x 500（特別地960 × 540）解析度維度的最終顯示視訊406比源視訊302中的感興趣區域402的解析度低的解析度，並且顯示的視訊406必須被縮放以用於在用戶端裝置上顯示。
縮放編碼編碼器306也能夠提供感興趣區域的放大視圖。在此實施方式中，縮放編碼編碼器306產生四個縮放編碼後的子串流314、316、318和320。每個縮放編碼後的子串流具有解析度2K x 1K。區域408重疊所有四個縮放編碼後的子串流，並且具有可用的2K x 1K的最大解析度、可用於源視訊302中的感興趣區域402的相同解析度維度。
源視訊302進一步被分割為比描述的四分部更小的部分或片段。例如，可以使用水平8個部分和垂直8個部分的網格、或者使用水平32個部分和垂直16個部分的不同網格、或者分割為部分的一些其他網格以分割源視訊302。片段編碼由諸如H.264、H.265、HEVC等等的視訊編碼標準支援。在感興趣區域不重疊由可用縮放編碼後的視訊子串流覆蓋的區域的實施方式中，不是所有可用縮放編碼後的視訊子串流經由網路傳送到用戶端裝置。用戶端裝置或者網路實體，諸如串流傳輸伺服器，可以確定可用縮放編碼後的視訊子串流的合適子集來傳送到用戶端裝置以覆蓋感興趣區域。例如，如果第4A圖的感興趣區域402為較小大小及/或被移位到左側，並且因此不包括來自源視訊的右上或右下部分的視訊，則僅縮放編碼後的視訊子串流314和316被提供來表示感興趣區域。在此種情況下，僅串流314和316被傳送到用戶端裝置，並且串流318和320 不被傳送到用戶端裝置，以便允許用戶端解碼和顯示感興趣區域402。
第4B圖描述了根據實施方式的視訊縮放的第二示例。特別地，第4B圖描述了放大環境，其中視訊的分段（segment）被分割為多個片段（slice）、瓦片（tile）或其他區域分割。每個片段、瓦片或其他區域分割（此處統稱為片段）可被獨立解碼。每個片段可以用針對在前述示例的替代縮放編碼後的子串流的相同方式、由用戶端單獨請求、擷取和解碼。在第4B圖的示例中，具有4K x 2K解析度維度的源視訊412具有解析度維度為2K x 1K的感興趣區域414。在此實施方式中，源視訊被編碼為十二個片段，六個在左側，六個在右側。分割為片段可以使用本領域中具有通常知識者已知的任何視訊編解碼器（例如支援獨立可解碼部分或片段的任何視訊編解碼器）來執行。此處，感興趣區域重疊八個片段，並且不包括最上面兩個和最下面兩個視訊片段。由此，用戶端裝置可以請求僅接收來自縮放編碼編碼器（例如由其編碼）的總共十二個視訊分段中的八個。由此，用戶端裝置可以在完全解析度2K x 1K中顯示感興趣區域，而不縮放視訊並且不需要接收所有可用縮放編碼後的分段。
縮放編碼後的視訊子串流314、316、318和320或者第4B圖中描述的縮放編碼後的片段可以被進一步編碼為具有不同解析度、每秒的訊框和位元度的其他位元速率，因此使每個縮放編碼後的子串流或分段的多種表示可用於傳送到用戶端裝置。
第5圖描述了根據實施方式的具有感興趣物件的數位視訊的示例。特別地，第5圖描述了示例數位視訊500。數位視訊500包括多個視訊片段502a、502b等。如第5圖所示，使用縮放編碼後的子串流允許使用者瀏覽移動的感興趣物件或區域的縮放版本，使得其在不同時間重疊不同片段。在示例實施方式中，源視訊502具有水平3840乘以垂直2160的解析度維度。每個視訊分段502a、502b等具有接近水平800和垂直333的解析度維度。源視訊500由各種ABR編碼器和縮放編碼編碼器編碼、並且提供編碼後的視訊串流給串流傳輸伺服器以用於進一步經由網路傳送到用戶端裝置。
由足球比賽中足球所描述的感興趣物件在第一時間T1位於位置504a（在片段502c內）。球的位置可以由資料結構(P1,T1)表示，其中P1表示位置504a。在時間T2，感興趣物件進一步向上並且向右（在片段502d內）位於位置504b，其由(P2,T2)表示。在時間T3，感興趣物件進一步向上並且向右（在片段502e內）位於位置504c，其由(P3,T3)表示。回應於表明期望在感興趣物件上進行放大的使用者輸入，用戶端裝置可以首先（針對查看時間段T1）請求片段502c（並且，在一些即時方式中，緊貼相鄰片段）。用戶端裝置在接收到請求的片段時，使得能顯示包括感興趣物件的放大串流。為了繼續提供感興趣區域的放大視圖，用戶端裝置可以隨後（用於查看時間段T2）請求和顯示片段502d（並且在一些即時方式中，緊貼相鄰片段）。隨後，為了繼續追蹤感興趣物件，用戶端裝置可以隨後（針對查看時間段T3）請求和顯示片段502c（並且，在一些實施方式中，緊貼相鄰片段）。
選擇合適片段以在情境（例如具有一些環繞情境）顯示感興趣物件可以在用戶端裝置或者在串流傳輸伺服器處執行。此外，在本揭露中的概念可以應用到跨越多個相鄰片段的較大物件、以不同速度穿越（traverse）片段的物件、多個物件、被分段為較小分段的源視訊串流等等。
呈現參考點或者“呈現點”可以被用於表明與感興趣物件/區域的一個或多個位置相關聯的呈現位置。呈現參考點可以例如指示在時間上的一些點處包含感興趣物件的可呈現區域的位置（例如角或原點）。呈現參考點可以指示可呈現區域的大小或程度。呈現參考點可以定義邊界框，其定義感興趣物件/區域或者包含感興趣物件/區域的可呈現區域的位置和程度。用戶端可以使用呈現參考點資訊以從一個或多個縮放編碼的子串流或者分段中擷取可呈現區域、並且可以在用戶端顯示器上按照縮放的感興趣區域呈現該區域。在第一組視訊分段中，呈現參考點(0,0)在源視訊502的左下角被描述。然而，第二組視訊分段具有呈現參考點(a,b)，並且在片段502f的左下角被描述。呈現參考點可以被傳送到用戶端裝置。例如，呈現參考點可以作為視訊串流或者視訊分段的一部分或者作為與視訊串流或視訊分段一起發送的側資訊在帶內傳送。替代地，呈現參考點可以被規定為在帶外通信（例如作為諸如DASH MPD的清單中的元資料）。隨著物件從(P1, T1)轉換到(P3, T3)，呈現參考點從(0,0)到(a,b)的離散跳躍將在用戶端裝置上顯示時引起在感興趣物件的位置上的突然變化。傳送到用戶端的呈現參考點可以逐訊框為基礎進行更新，其可允許用戶端連續改變擷取的可呈現區域的位置，並且由此感興趣物件可以在用戶端顯示器上被平滑追蹤。替代地，呈現參考點可以在時間上更粗糙地更新，在這種情況中用戶端可以在更新之間插入呈現位置，以便在用戶端顯示器上顯示可呈現區域時平滑追蹤感興趣物件。呈現參考點可以包括兩個參數，由(x,y)代表的垂直距離和水平距離。呈現參考點可以例如作為補充增強資訊（SEI）訊息傳送到用戶端裝置。
在每個後續訊框，呈現參考點可以被更新以反映每個訊框之間的總體物件運動。當呈現參考調整等於感興趣物件的總體運動時，物件將表現出靜止（例如具有相對於顯示區域的固定位置），如同相機正在平移（pan）以保持物件在螢幕上相同點。當感興趣物件的運動被低估時，物件在螢幕上向後跳。相反，當感興趣物件的運動被高估時，物件在訊框之間向前跳。減小物件運動的誤差導致平滑呈現。
在以上場景中，當感興趣物件在(P2,T2)處時，假設視訊顯示器從第一組視訊分段（並且在一些實施方式中，視訊分段包含在第一組視訊分段的空間鄰居中的片段）轉換到第二組視訊分段（並且在一些實施方式中，視訊分段包含在第二組視訊分段的空間鄰居中的分段）。因此，在此實施方式中，用於被傳送的每個訊框的呈現參考點被調整（例如插入）以在從T1到T2的時間上平滑地從(0,0)轉換到(a,b)。平滑轉換可以為線性的（例如每個訊框相等地將呈現參考點移動設定距離）、非線性的（例如靠近時間T1移動呈現參考點較小量，在時間T1-T2之間較大量並且靠近時間T2較大量）、或者以任何其它類似方法。在一些實施方式中，呈現參考點作為兩個座標傳送，諸如(x,y)，並且在其它實施方式中，呈現參考點作為先前訊框的差分傳送。
第6圖描述了使用適應性位元速率編碼來編碼和傳遞到用戶端的內容的示例過程。在步驟602中，源內容從內容源604傳送到編碼器606。源內容為數位視訊的壓縮或未壓縮串流。編碼器606將視訊編碼為具有不同位元速率、不同解析度或其它不同特徵的若干表示608，並且傳送那些表示608到傳輸封裝器610。傳輸封裝器610使用表示608來產生例如持續時間中的幾秒的分段。傳輸封裝610還產生描述可用分段的清單（例如DASH MPD）。產生的清單和分段檔案（統稱616）經由原始伺服器612被分配到一個或多個邊緣串流傳輸伺服器614。後續分段（統稱為617）也被分配到原始伺服器612及/或邊緣串流傳輸伺服器614。
為了查看視訊，用戶端620例如藉由發送HTTP獲取（HTTP GET）請求622來訪問網站伺服器618。網站伺服器618可以發送用於定向或重定向用戶端620到諸如邊緣串流傳輸伺服器614之類的串流傳輸伺服器的回應624。用戶端因此發送請求626至邊緣串流傳輸伺服器。作為回應，邊緣串流傳輸伺服器發送清單（例如DASH MPD）628到用戶端。基於用戶端能力和網路條件，用戶端選擇代表內容的合適表示、並且發佈針對合適分段的請求630（例如記錄內容的第一分段或者直播內容的最近分段）。邊緣串流傳輸伺服器藉由提供請求的分段632到用戶端進行回應。如634處所描述，用戶端可以請求內容的後續分段（其以與分段632相同的位元速率或者不同的位元速率）、並且在636處後續分段被發送到用戶端。
第7圖描述了使用縮放編碼來編碼和傳遞內容到用戶端的示例過程。在步驟702，源內容從內容源704傳送到編碼器706。源內容為數位視訊的壓縮或未壓縮串流。編碼器706以不同位元速率、不同解析度及/或其他不同特徵將視訊編碼為完整螢幕區域的若干表示708並且將那些表示708傳送到傳輸封裝器710。 此外，縮放編碼編碼器將視訊編碼為表示完整視訊圖像的不同區域的若干不同片段串流（例如串流712、714）。每個串流712可表示內容的第一編碼片段區域，每個串流以不同位元速率被編碼，並且每個串流714可表示內容的第二編碼片段區域，每個串流再次以不同位元速率被編碼。依賴於選擇的將內容分為片段的分割，針對其他內容片段的表示不同編碼位元速率的附加片段串流可被包括，儘管未在圖中顯示。
傳輸封裝器710使用表示708、712、714來產生例如持續時間若干秒的分段。傳輸封裝器710還產生描述可用分段的清單（例如DASH MPD），該可用分段包括表示整個螢幕的分段和僅表示螢幕的片段區域的分段。產生的清單和分段檔案（統稱716）經由原始伺服器718被分配到諸如邊緣串流傳輸伺服器720的一個或多個串流傳輸伺服器。
為了查看視訊，用戶端724例如藉由發送HTTP獲取（HTTP GET）請求726來訪問網站伺服器722。網站伺服器722可以發送用於定向或重定向用戶端724到邊緣串流傳輸伺服器720的回應728。用戶端因此發送請求730至邊緣串流傳輸伺服器。作為回應，邊緣串流傳輸伺服器發送清單（例如DASH MPD）732到用戶端。基於用戶端能力和網路條件，用戶端選擇代表正規（未縮放）內容的合適表示、並且發佈針對合適分段的請求734（例如記錄內容的第一分段或者直播內容的最近分段）。邊緣串流傳輸伺服器藉由提供請求的未縮放分段736到用戶端進行回應。除了圖示中顯示的分段736，用戶端可以請求、接收、解析、解碼和顯示附加未縮放分段。
回應於表明感興趣物件或區域的選擇的使用者輸入，用戶端裝置724可以發佈針對與感興趣物件或區域相關聯的一個或多個子串流的請求738。在一些實施方式中，用戶端裝置基於例如諸如呈現點資訊之類的資訊來識別將被請求的串流，該資訊在清單中或者在視訊串流中帶內提供。在其他實施方式中，用戶端裝置識別感興趣物件或區域、並且基於所識別的感興趣物件或區域形成請求、並且識別感興趣物件或區域的合適串流在伺服器側作出。這種伺服器識別的串流或分段可接著回應於請求由伺服器返回到用戶端。
合適的一個或多個片段串流740被發送到用戶端裝置724，用戶端裝置解碼和組合串流740以提供感興趣物件或區域的縮放版本。用戶端可以請求和接收以適合使用ABR技術的用戶端裝置的能力和目前網路條件的一個或多個串流740。
根據實施方式，多於一個感興趣物件被追蹤和顯示。例如，在時間的特定點，第一物件與第一組片段相關聯，使得用戶端必須擷取第一組的片段，以恢復和呈現第一物件的視圖（例如縮放視圖）。在相同時間，第二物件與第二組片段相關聯，使得用戶端必須擷取第二組的分段以恢復和呈現第二物件的視圖（例如縮放視圖）。第一組片段與第二組片段可完全不同、部分重疊或者完全重疊。此外，第一和第二組片段之間的重疊量可能當潛在物件移動時隨時間改變。每個組的呈現點資訊對於每個這種組被獨立編碼並且被包含在不同多個片段或相同的片段中。接收器可以擷取合適的呈現點（該呈現點對應於目前縮放編碼物件）並且由此應用呈現點偏移。
當感興趣的一個或多個物件移動通過螢幕時，可能存在到表示新的縮放視圖的片段組的變化。清單被更新以傳訊這種變化，或者完全新的清單被創建。用戶端裝置可以使用更新的清單資訊來適當地請求表示更新的視圖的片段組。替代地，變化可以在視訊串流中帶內或者在諸如由用戶端擷取的呈現點元資料檔案的側資訊中被傳訊。
針對串流的請求可對應於視訊的特定區域或者對應於物件ID。例如，如果視訊源為英式足球（也稱為足球）比賽，不同物件的示例包括球門框、球或球員。物件可以經由任何手段偵測，包括圖像偵測（例如偵測球門的矩形維度、或者球的圓形、或者制服的號碼等），在源視訊中編碼的空間資訊（例如相機位置與靜止目標位置之間的相關、從足球傳送的感測器資訊等等）或者任何其他類似方法。在此實施方式中，用戶端裝置可以請求接收與諸如球之類的感興趣物件相關聯的縮放編碼的子串流。請求也可以包括用以包括球的情境的大小，使得球包括特定百分比的顯示等等。情境的大小可以規定為呈現區域大小，例如規定為像素上水平維度和垂直維度。網路實體或者用戶端裝置可以確定適當縮放編碼的子串流以框出感興趣物件，並且可以通知串流傳輸伺服器，哪個縮放編碼的子串流將發送到用戶端裝置。用戶端裝置接收縮放編碼的子串流以及合適的呈現資訊以顯示放大的視訊串流。
感興趣的一個或多個物件的空間區域可以在串流傳輸伺服器、用戶端裝置、獨立的網路實體或者以上示例的組合處確定。在一種實施方式中，伺服器側創建任意空間區域，諸如將串流映射到片段以用於編碼。在另一實施方式中，用戶端裝置側藉由例如解碼來自伺服器的多於一個空間內容部分（例如多於一個的片段或視訊片段）並且組合解碼的空間內容部分的部分來創建或者組合任意空間區域，從而創建或者組合期望空間區域。在又一實施方式中，混合伺服器側/播放者側創建任意空間區域。
其他變形可以應用到不同縮放編碼示例，包括以下： ™  縮放編碼區域可以包括框率、亮度解析度和位元度特徵的變形。例如，如第4B圖所示用於每個分段的ABR串流可以使用這種變形來編碼。 ™  用於儲存和傳輸縮放編碼序列的層封裝的各種技術可以被應用。例如縮放編碼的子串流或分段可以使用MPEG-2傳輸串流分段或者使用ISO基礎媒體檔案格式來封裝。 ™  縮放編碼的序列或分段可以用針對特定空間區域的附加位元度來創建。例如，增強的位元度的區域可對應於感興趣區域或物件。 ™  雙向交互作用可以被用於最佳化用戶端側顯示能力。 ™  創建特定效果可以被提供，諸如慢動作和縮放。
第8圖描述了根據實施方式的示例通信過程。特別地，第8圖描述了串流傳輸伺服器802和用戶端裝置804之間的DASH類型交換用以接收縮放編碼後的子串流。用戶端裝置804發送請求808到網站伺服器806以用於串流傳輸服務，網路伺服器在810處定向或重定向用戶端裝置804到邊緣串流傳輸伺服器802。回應於來自用戶端裝置804的請求812，邊緣串流傳輸伺服器發送具有縮放編碼資訊的擴展MPD 814到用戶端裝置804。用戶端裝置解析擴展MPD，以確定哪些感興趣物件/區域可用並且也在步驟816確定針對一個物件而請求的片段。用戶端針對合適的片段發送請求（例如在8請求第一片段並且在820請求第二片段）。所請求的片段可以是可用片段的子集，及/或可以藉由請求包含片段的視訊分段而被請求。邊緣串流傳輸伺服器發送視訊串流的每個請求片段到用戶端裝置（例如在822發送第一片段、在824發送第二片段），並且用戶端裝置在步驟826呈現特定物件的縮放編碼的訊框。在步驟828，用戶端裝置例如藉由在內建的螢幕顯示訊框或者藉由傳送表示訊框的資訊到外部顯示器，以使得能顯示縮放編碼後的訊框。用戶端對於縮放編碼的訊框的組合可以包括接收、解碼及/或呈現針對感興趣物件/區域的請求片段。用戶端可以呈現所請求的片段的像素的子集，如由目前呈現點及/或呈現區域尺寸或針對物件的情境大小指示來確定。DASH類型訊息可以包括附加擴展以支援追蹤具有重疊片段的多個物件。
縮放編碼可以使用MPEG-DASH啟動。MPEG-DASH（ISO/IEC 23009-1:2014）為定義通過網際網路協定（IP）網路的媒體傳遞的適應性串流傳輸協定的ISO標準。用於使用MPEG-DASH執行縮放編碼的示例過程可以執行如下。關於縮放編碼的表示可用以及如何存取內容的確定可以被作出。此資訊使用MPD描述符中的語法被傳訊到DASH用戶端。根據ISO DASH標準的修訂2，MPD可以提供“補充串流”此補充串流可以被用於縮放編碼。空間關係描述符（SRD）語法元素可以描述圖像的空間部分（參見ISO 23009-1 AM2的附錄H）。
在視訊位元串流中提供的物件呈現點被用於呈現針對被追蹤的物件的縮放部分。縮放部分可以例如用統一運動或者內插運動來呈現，如此處描述。一個物件（或多個物件）呈現點可以作為SEI訊息在針對一個或多個片段的使用者資料中發送。例如，SEI訊息可以在諸如AVC/H.264或HEVC/H.265的視訊編碼標準中定義。零個或更多個物件可以在每個片段中用信號發送。
針對物件呈現點的示例片段使用者資料包括以下參數：Object_ID : 範圍 0-255。此語法元素提供用於每個物件的唯一識別符。Object_x_position[n ]: 對於每個物件ID n，物件邊框的x位置。Object_y_position[n]: 對於每個物件 ID n，物件邊框的y位置。Object _x_size_in_slice[n] : 對於每個物件ID n，物件邊框的x維度。Object _y_size_in_slice[n] : 對於每個物件ID n，物件邊框的y維度。
物件邊框表示包含物件的矩形區域。物件邊框也包含將與物件一起呈現的一些量的環繞情境。x，y位置可以表明例如物件邊框的左上角落位置。物件位置和大小可屬於在包含使用者資料的片段中所包含的物件的部分。
第5圖中描述的視訊（以上更詳細描述）可以被用於實現對具有解析度4K或者3840×2160的視訊進行縮放編碼。第9圖中描述了第5圖的視訊，視訊的每個片段（空間部分）被分配從1到30範圍的號碼。4K視訊利用H.264壓縮被編碼為30個獨立H.264片段。每個片段為768×360像素。原本的完全圖像被向下調整到1920×1080、並且被提供作為正規未縮放串流以用於用戶端裝置顯示。此外，三十個分段中每一者以原本的768×360解析度被編碼。編碼器追蹤物件，如圖中所示跨越螢幕移動。片段的子集經由MPD SRD描述符被傳訊到用戶端。對於每個片段，具有SRD描述符的適應性集合被提供。
為了支援追蹤和縮放多於一個的物件，SRD描述符語法可被擴展以允許用戶端裝置確定為了呈現給定物件，需要哪些片段。Object_ID（與片段SEI資訊一致）被包括在SRD中、添加到用於SRD的“值”語法的結束。如果多個物件與片段相關聯，則多個Object_ID可被添加到SRD值語法的結束。當使用OBJECT_ID時，Spatial_Set_ID也在串流中。在SRD中的Spatial_Set_ID參數之後，多達256個Object_ID被包括。以下示出了兩個SupplementalProperty（補充特性） SRD的示例。 示例1：具有1個物件（Object_ID 5）的SRD ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014"                                  value="0,x16,y16,768,360,3840,2160,1,5"/＞ 示例2：具有5個物件（Object_ID 2，4，7，9和14）的SRD ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014"                                  value="0,x16,y16,768,360,3840,2160,1,2,4,7,9,14"/＞
如在這些示例中所描述，SupplementalProperty語法元素被使用以提供視訊的特定空間部分（例如特定片段）和特定感興趣物件之間的關聯。因此，以上示例1提供了編號為16的片段與編號為5的物件之間的關聯，以上示例2提供了編號為16的片段與編號為2、4、7、9和14的物件之間的關聯。為了提供所選擇的物件（例如使用者選擇物件）的縮放視圖，用戶端裝置可以請求與所選擇物件相關聯的所有片段。
根據實施方式，完整SRD示例被描述。在完整SRD中，xM、yM (e.g. x16、y16)是指片段原點的x、y位置。在實際SRD中這些可以為像素值。例如，x16、y16將等於0、1080。
當每個訊框被編碼（例如利用H.164，HEVC等編碼）時，使用者資料項目可以針對每個片段被插入並且被用於提供物件位置資訊。用戶端使用此資訊提供具有在用戶端裝置上正在被追蹤的物件的平滑呈現的圖片。當物件移動經過及/或進入不同片段時，MPD可以用新片段列表被更新以用於用戶端存取。此MPD變化可包括在DASH分段中的序列存取點（SAP）。
以下為具有與單一追蹤物件相關聯的縮放內容片段16、17、18、21、22、23、26、27、28的MPD的示例： ＜?xml version="1.0" encoding="UTF-8"?＞ ＜MPD   xmlns="urn:mpeg:dash:schema:mpd:2011"   type="static"   mediaPresentationDuration="PT10S"   minBufferTime="PT1S"   profiles="urn:mpeg:dash:profile:isoff-on-demand:2011"＞   ＜ProgramInformation＞     ＜Title＞Example of a DASH Media Presentation Description using Spatial Relationship Description to indicate that a video is a zoomed part of another＜/Title＞   ＜/ProgramInformation＞     ＜Period＞     ＜!-- Panorama Video --＞                 ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="main"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,0,0,1920,1080,1920,1080"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="1920" height="1080" bandwidth="1055223" startWithSAP="1"＞                          ＜BaseURL＞ panorama_video.mp4＜/BaseURL＞                          ＜SegmentBase indexRangeExact="true" indexRange="839-990"/＞       ＜/Representation＞     ＜/AdaptationSet＞     ＜!-- Zoomed Video --＞              ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                     ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                     ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x16,y16,768,360,3840,2160,1,1"/＞                     ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                         ＜BaseURL＞ zoomed_video_slice16.mp4＜/BaseURL＞                         ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞     ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x17,y17,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice17.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞       ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x18,y18,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice18.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞       ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x21,y21,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice21.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞       ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x22,y22,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice22.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞       ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x23,y23,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice23.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞   ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x26,y26,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice26.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞     ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x27,y27,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice27.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞   ＜AdaptationSet segmentAlignment="true" subsegmentAlignment="true" subsegmentStartsWithSAP="1"＞                      ＜Role schemeIdUri="urn:mpeg:dash:role:2011" value="supplementary"/＞                      ＜SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" value="0,x28,y28,768,360,3840,2160,1,1"/＞                      ＜Representation mimeType="video/mp4" codecs="avc1.42c033" width="768" height="360" bandwidth="1055223" startWithSAP="1"＞                           ＜BaseURL＞ zoomed_video_slice28.mp4＜/BaseURL＞                           ＜SegmentBase indexRangeExact="true" indexRange="838-989"/＞       ＜/Representation＞     ＜/AdaptationSet＞
雖然本發明的特徵和元素以特定的結合在以上進行了描述，但本領域中具有通常知識者可以理解的是，每個特徵或元素可以單獨使用，或在與本發明的任何其它特徵和元素結合的各種情況下使用。此外，本發明提供的方法可以在由電腦或處理器執行的電腦程式、軟體或韌體中實施，其中該電腦程式、軟體或韌體被包含在電腦可讀儲存媒體中。電腦可讀媒體的實例包括電子信號（經由有線或者無線連接而傳送）和電腦可讀儲存媒體。關於電腦可讀儲存媒體的實例包括但不限於唯讀記憶體（ROM）、隨機存取記憶體（RAM）、暫存器、快取記憶體、半導體記憶裝置、磁性媒體（例如，內部硬碟或抽取式磁碟）、磁光媒體以及CD-ROM光碟和數位多功能光碟（DVD）之類的光學媒體。與軟體有關的處理器可以被用於實施在WTRU、UE、終端、基地台、RNC或者任何主機電腦中使用的射頻收發器。
100‧‧‧通信系統
102、102a、102b、102c、102d、169、269、804‧‧‧用戶端裝置
103/104/105‧‧‧無線電存取網路（RAN）
106/107/109‧‧‧核心網路
108‧‧‧公共交換電話網（PSTN）
110‧‧‧網際網路
112‧‧‧其他網路
115/116/117、119‧‧‧通信鏈路
118、194‧‧‧處理器
120‧‧‧收發器
122‧‧‧傳輸/接收元
124‧‧‧揚聲器/麥克風
126‧‧‧鍵盤
128‧‧‧顯示器/觸控板
130‧‧‧不可移式記憶體
132‧‧‧可移式記憶體
134‧‧‧電源
136‧‧‧全球定位系統（GPS）晶片組
138‧‧‧週邊裝置
160‧‧‧示例系統
162‧‧‧完全解析度輸入視訊源
164、264‧‧‧適應性位元速率編碼器
165‧‧‧視訊串流
166、266‧‧‧串流傳輸伺服器
168、268‧‧‧網路
170‧‧‧描述
182‧‧‧ASN閘道
184‧‧‧MIP‑HA
186‧‧‧AAA
190‧‧‧網路實體
192‧‧‧通信介面
196‧‧‧非暫態資料記憶體
197‧‧‧程式指令
200‧‧‧系統
204、306‧‧‧縮放編碼編碼器
206、314-320‧‧‧縮放編碼後的子串流
262‧‧‧完全解析度視訊源
265‧‧‧傳統ABR串流
300‧‧‧編碼
302‧‧‧數位源視訊
304‧‧‧ABR編碼器
308-312‧‧‧ABR串流
402、414‧‧‧感興趣區域
404、408‧‧‧區域
406、410‧‧‧顯示
412‧‧‧源視訊
500‧‧‧數位視訊
502a、502b、502c、502d、502e、502f、632、736‧‧‧片段
504a、504b、504c‧‧‧位置
602、702、816、826、828‧‧‧步驟
604、704‧‧‧內容源
606、706‧‧‧編碼器
608、708‧‧‧表示
610、710‧‧‧傳輸封裝器
612、718‧‧‧原始伺服器
614、720、802‧‧‧邊緣串流傳輸伺服器
618、722‧‧‧網站伺服器
620、724‧‧‧用戶端
622、626、630、726、730、734、738、808、812‧‧‧請求
624、728‧‧‧回應
628、732‧‧‧清單
712、714、740‧‧‧串流
814‧‧‧擴展MPD
ABR‧‧‧適應性位元速率
FHD‧‧‧完全高畫質
IP‧‧‧網際網路協定
MPD‧‧‧媒體演示描述
SD‧‧‧標準畫質
UHD‧‧‧超高畫質
從以下描述中可以更詳細地理解本發明，這些描述是以實例方式結合附圖而呈現，其中： 第1A圖描述了可以在其中實現一個或多個所揭露的實施方式的示例通信系統的系統圖。 第1B圖描述了可以在第1A圖的通信系統中使用的示例用戶端裝置。 第1C圖描述了示例視訊編碼和分配系統。 第1D圖描述了示例螢幕解析度。 第1E圖示意地描述了ABR編碼。 第1F圖描述了示例網路實體190，該網路實體190可以在第1A圖的通信系統100中使用。 第2圖描述了根據實施方式的示例性視訊編碼系統和分配系統。 第3圖描述了根據實施方式的示例編碼解析度。 第4A圖描述了根據實施方式的視訊縮放操作的示例。 第4B圖描述了根據實施方式的視訊縮放操作的第二示例。 第5圖描述了根據實施方式的具有感興趣物件的數位視訊的示例。 第6圖為根據實施方式的描述編碼和傳遞內容到用戶端的訊息序列圖示。 第7圖為根據實施方式的描述編碼和傳遞內容到用戶端的第二示例的訊息序列圖。 第8圖為根據實施方式的示例通信過程的訊息序列圖。 第9圖描述了具有多個空間部分的視訊，至少一些空間部分具有相關子串流以使得能縮放顯示感興趣物件。
269‧‧‧用戶端裝置
264‧‧‧適應性位元速率編碼器
266‧‧‧串流傳輸伺服器
268‧‧‧網路
200‧‧‧系統
204‧‧‧縮放編碼編碼器
206‧‧‧縮放編碼後的子串流
262‧‧‧完全解析度視訊源
265‧‧‧傳統ABR串流
ABR‧‧‧適應性位元速率
IP‧‧‧網際網路協定

Claims (15)

  1. 一種用於在一網路上串流傳輸一數位視訊的方法，該方法包括： 將一清單傳送到一用戶端裝置，其中該清單至少識別（i）表示一源視訊的一未縮放版本的一未縮放串流，以及（ii）多個子串流，每個子串流表示該源視訊的一各自的空間部分； 將關聯至少一個感興趣物件與多個該空間部分的一資訊傳送到該用戶端裝置； 從該用戶端裝置接收針對該多個子串流中的至少一子串流的一請求；以及 將所請求的子串流傳送到該用戶端裝置。
  2. 如申請專利範圍第1項所述的方法，其中所述關聯該至少一個感興趣物件與多個該空間部分的該資訊在該清單中被提供。
  3. 如申請專利範圍第2項所述的方法，其中在該清單中，所述關聯該至少一個感興趣物件與多個該空間部分的該資訊包括該清單中的用於每個子串流的一語法元素，該語法元素識別與該各自的子串流相關聯的至少一個感興趣物件。
  4. 如申請專利範圍第1項至第3項中任一項所述的方法，更包括將用於該至少一個感興趣物件的一呈現點傳送到該用戶端裝置。
  5. 如申請專利範圍第4項所述的方法，其中該呈現點在該未縮放串流中被傳送。
  6. 如申請專利範圍第1項至第5項中任一項所述的方法，其中該子串流以比該未縮放串流高的一解析度被編碼。
  7. 如申請專利範圍第1項至第5項中任一項所述的方法，其中針對在該清單中表示的該源視訊的該空間部分中的每一空間部分，該清單識別以不同位元速率編碼的至少兩個子串流。
  8. 如申請專利範圍第1項至第7項中任一項所述的方法，其中該清單為一DASH媒體演示描述（MPD）。
  9. 一種視訊用戶端方法，包括，在一視訊用戶端裝置處： 接收一清單，其中該清單至少識別（i）表示一源視訊的一未縮放版本的一未縮放串流，以及（ii）多個子串流，每個子串流表示該源視訊的一各自的空間部分； 接收關聯至少一個感興趣物件與多個該空間部分的一資訊； 回應於選擇該感興趣物件中的一感興趣物件，（i）識別與所選擇的感興趣物件相關聯的該空間部分；以及（ii）擷取針對多個該空間部分中每一者的一代表性子串流；以及 藉由呈現所擷取的子串流，使得顯示該感興趣物件的一縮放版本。
  10. 如申請專利範圍第9項所述的方法，其中該關聯至少一個感興趣物件與多個該空間部分的該資訊在該清單中被接收。
  11. 如申請專利範圍第10項所述的方法，其中在該清單中，所述關聯該至少一個感興趣物件與多個該空間部分的該資訊包括該清單中的用於每個子串流的一語法元素，該語法元素識別與該各自的子串流相關聯的至少一個感興趣物件。
  12. 如申請專利範圍第9項至第11項中任一項所述的方法，更包括接收用於所選擇的感興趣物件的一呈現點，其中該縮放版本包括由該呈現點確定的所擷取的子串流的一區域。
  13. 如申請專利範圍第12項所述的方法，其中該呈現點在該未縮放串流中被接收。
  14. 如申請專利範圍第9項至第13項中任一項所述的方法，其中針對在該清單中表示的該源視訊的多個該空間部分中的每一空間部分，該清單識別以不同位元速率編碼的至少兩個子串流，並且其中該方法包括基於一網路條件選擇該至少兩個子串流中的一者。
  15. 如申請專利範圍第9項至第14項中任一項所述的方法，其中該清單為一DASH媒體演示描述（MPD）。
TW105125641A 2015-08-14 2016-08-11 顯示部分視訊流方法及系統 TW201724868A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201562205492P 2015-08-14 2015-08-14

Publications (1)

Publication Number Publication Date
TW201724868A true TW201724868A (zh) 2017-07-01

Family

ID=56802680

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105125641A TW201724868A (zh) 2015-08-14 2016-08-11 顯示部分視訊流方法及系統

Country Status (2)

Country Link
TW (1) TW201724868A (zh)
WO (1) WO2017030865A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11665219B2 (en) * 2017-07-10 2023-05-30 Qualcomm Incorporated Processing media data using a generic descriptor for file format boxes
US10694239B1 (en) * 2018-12-12 2020-06-23 Sling Media Pvt Ltd Systems, methods, and devices for optimizing streaming bitrate based on multiclient display profiles

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5905957B2 (ja) * 2011-06-08 2016-04-20 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ 空間的にセグメント化されたコンテンツの配信
US9883011B2 (en) * 2012-10-12 2018-01-30 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
EP2824885B1 (en) * 2013-07-12 2019-01-23 Provenance Asset Group LLC A manifest file format supporting panoramic video
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流

Also Published As

Publication number Publication date
WO2017030865A1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
US20210014472A1 (en) Methods and apparatus of viewport adaptive 360 degree video delivery
WO2018049321A1 (en) Method and systems for displaying a portion of a video stream with partial zoom ratios
JP6455741B2 (ja) ビデオの向きの調整（ｃｖｏ）を伴うストリーミング
US9445125B2 (en) Device and method for multimedia communications with picture orientation information
JP2019517212A (ja) バーチャル・リアリティにおける円周魚眼ビデオ
US9674499B2 (en) Compatible three-dimensional video communications
JP2020017998A (ja) 画像符号化装置および方法
WO2020045593A1 (en) Systems and methods for signaling sub-picture timed metadata information
TW201720170A (zh) 用戶變焦編碼內容解譯及表達方法及系統
CN111919452A (zh) 用于发送信号通知相机参数信息的系统和方法
WO2018198487A1 (en) Systems and methods for signaling quality information for regions in virtual reality applications
EP3123714B1 (en) Video orientation negotiation
TW201724868A (zh) 顯示部分視訊流方法及系統
WO2019139014A1 (en) Systems and methods for signaling sub-picture composition information for virtual reality applications
WO2017180439A1 (en) System and method for fast stream switching with crop and upscale in client player
TW202046733A (zh) 點雲適性資料串流方法及裝置
WO2021125185A1 (en) Systems and methods for signaling viewpoint looping information in omnidirectional media
WO2021075407A1 (en) Systems and methods for enabling interactivity for actionable locations in omnidirectional media
WO2021137300A1 (en) Systems and methods for signaling viewpoint switching information in omnidirectional media
US20230421828A1 (en) Systems and methods for signaling content component information in omnidirectional media
WO2019203102A1 (en) Systems and methods for signaling application specific messages in a virtual reality application
WO2018179843A1 (en) Systems and methods for signaling information for virtual reality applications