TW201440493A - 用於管理視訊串流之技術 - Google Patents

用於管理視訊串流之技術 Download PDF

Info

Publication number
TW201440493A
TW201440493A TW103100971A TW103100971A TW201440493A TW 201440493 A TW201440493 A TW 201440493A TW 103100971 A TW103100971 A TW 103100971A TW 103100971 A TW103100971 A TW 103100971A TW 201440493 A TW201440493 A TW 201440493A
Authority
TW
Taiwan
Prior art keywords
video frame
video
quality level
area
region
Prior art date
Application number
TW103100971A
Other languages
English (en)
Other versions
TWI528787B (zh
Inventor
Nathan R Andrysco
Amit Puntambekar
Devadutta Ghat
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201440493A publication Critical patent/TW201440493A/zh
Application granted granted Critical
Publication of TWI528787B publication Critical patent/TWI528787B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一裝置可包括用以儲存一視訊框之一記憶體、一處理器電路、及用於在該處理器上執行之一選擇編碼組件,用以從事該視訊框的選擇性編碼,該選擇性編碼係將該視訊框分類成一主物體區域及一背景區域,及以一第一品質位準編碼該主物體區域及以一背景品質位準編碼該背景區域,該第一品質位準係包含比該背景品質位準更高的品質位準。

Description

用於管理視訊串流之技術 發明領域
此處描述的實施例大致上係有關於管理處理之技術,及更明確言之有關於管理視訊串流之技術。
發明背景
隨著資料儲存能力、處理器能力及通訊基礎結構的改良,通過通訊網路諸如網際網路及行動無線網路的視訊串流已經變成無處不在。諸如運動賽事的現場串流化、視訊會議、及其它即時串流化應用等應用已變得逐漸普及。此外,已記錄內容諸如電影及使用者生成的視訊之視訊串流也已變得愈來愈普及。
大部分此等應用耗用大量頻寬,原因在於需要大量資料來呈現一視訊框,及訊框率可能超過每秒24個訊框。觀察得一項技術趨勢為針對視訊串流的使用要求速度遠超過資料網路諸如網際網路及無線網路中頻寬的成長。此外,透過此等網路的頻寬可能以無法預期的方式起伏波動。
由於頻寬的限制,視訊串流化應用可能遭遇在視訊串流化期間的訊框損耗、緩衝、或抖動。另一方面,若 干今日應用可應答於低頻寬狀況,自動地降低視訊內容的解析度以減低資料率。於全部此等實施例中,視訊串流化應用在視訊串流化期間可能無法傳遞為人所接受的使用者經驗。
鑑於此等及其它考量已經要求有此等改良。
依據本發明之一實施例,係特地提出一種裝置包含儲存一視訊框的一記憶體;一處理器電路;及用以在該處理器電路上執行以從事該視訊框的選擇性編碼之一選擇性編碼組件,該選擇性編碼係將該視訊框分類成一主物體區域及一背景區域,及以一第一品質位準編碼該主物體區域,及以一第二品質位準編碼該背景區域,該第一品質位準係包含比該背景品質位準更高的一品質位準。
100、200、300、400‧‧‧配置
102、402、404、1002、1004、1500‧‧‧裝置
104‧‧‧中央處理單元(CPU)
106‧‧‧圖形處理器
108、1412‧‧‧記憶體
110、502、1014、1016‧‧‧選擇性編碼組件
112、204、304、406‧‧‧視訊內容
114、206‧‧‧選擇性編碼視訊串流
115、302‧‧‧接收裝置、客端
202、1018‧‧‧信號
306、408、410‧‧‧編碼視訊串流、編碼串流化視訊
504‧‧‧物體分類器
506‧‧‧差分編碼器
508、602、702、816、902、1020‧‧‧視訊框
510‧‧‧選擇性編碼視訊框
604、1010、1012‧‧‧視訊
606‧‧‧臉部區域
608、704、706‧‧‧區域
610、612‧‧‧區域內容
614、616‧‧‧編碼視訊部分
618‧‧‧編碼視訊框內容
703、715‧‧‧子框
708、908、910、912、916‧‧‧背景區域
710、712、810、812‧‧‧空白區域
714‧‧‧位元遮罩
720、722‧‧‧選擇性編碼區域
804、806‧‧‧解碼區域
808‧‧‧解碼空白區域
814、914‧‧‧解碼視訊框
903-907、918-926‧‧‧前景區域
1006、1008、1420、1504‧‧‧顯示器
1100、1200‧‧‧邏輯流程
1102-1114、1202-1210‧‧‧方塊
1300、1400、1500‧‧‧系統、平台
1302、1410‧‧‧處理器
1304、1405‧‧‧晶片組
1306、1506‧‧‧輸入/輸出(I/O)裝置
1308‧‧‧動態隨機存取記憶體(DRAM)
1310‧‧‧唯讀記憶體(ROM)
1312‧‧‧匯流排
1314‧‧‧多個其它平台組件
1316‧‧‧無線通訊晶片
1318‧‧‧圖形裝置
1320‧‧‧顯示器電子裝置
1322‧‧‧顯示器背光
1324‧‧‧非依電性記憶體埠(NVMP)
1326、1403、1508‧‧‧天線
1402‧‧‧平台
1414‧‧‧儲存裝置
1415‧‧‧圖形次系統
1416‧‧‧應用程式
1418‧‧‧無線電
1430‧‧‧內容服務裝置
1440‧‧‧內容傳遞裝置
1450‧‧‧導航控制器
1460‧‧‧網路
1502‧‧‧殼體
1512‧‧‧導航特性件
圖1描繪依據多個實施例用以串流化視訊的一種配置。
圖2顯示依據多個實施例用以操作一裝置的一配置。
圖3顯示依據額外實施例用以操作一裝置的一配置。
圖4顯示依據額外實施例用以操作一裝置的另一配置。
圖5描繪一選擇性編碼組件的一個實施例。
圖6A至圖6C描繪依據本實施例選擇性編碼視訊 用以串流化的一個實施例。
圖7A-7E示例說明依據進一步實施例生成一選擇性編碼視訊串流的一個實施例。
圖8A-8C描繪依據多個實施例 選擇性編碼視訊內容之解碼景況。
圖8D描繪在非選擇性編碼後視訊框解碼之一實施例。
圖9A-9D示例說明主物體區域及背景區域之一實施例。
圖10A至10C描繪視訊串流之動態選擇性編碼的一個景況。
圖11描繪第一邏輯流程之一實施例。
圖12描繪第二邏輯流程之一實施例。
圖13示例說明一個系統實施例。
圖14示例說明另一個系統實施例。
圖15示例說明依據本文揭示之一實施例配置的一裝置範例。
較佳實施例之詳細說明
本實施例提出改良視訊串流,及更明確言之,藉在一視訊內部的關注物體之選擇性編碼而提出串流化視訊影像的增強品質。此等關注物體可歸類為物體區域,在一串流化視訊中欲保有其影像品質者,而組成該串流化視訊的視訊框的其它部分可能較不重要,因而可與主物體區域 差異編碼。「品質」及「影像品質」二詞於此處作為同義詞使用,指稱於一視訊框的一部分的編碼前、於編碼期間、及於編碼後,部分的資訊內容或解析度程度。如此,以較高品質編碼的一視訊框的一部分在解碼後,比較一較低品質部分,可保有較多資訊,及可呈現更鮮明的影像。此種選擇性編碼許可該視訊欲以總較低資料率串流化,同時保有該視訊的重要部分之品質,此處稱作為「主物體區域」。更明確言之,該等主物體區域可構成一視訊框的一部分,該部分係相對應於一集合的像素其顯示當呈現在一顯示器上時,由該視訊框所產生的一場景內部的一或多個關注物體或關注區域。於若干實施例中,串流化視訊之部分的選擇性編碼可選用以單純地減低傳輸視訊內容的資料率,即便頻寬係可用以在符合高影像品質的一資料率串流化一視訊框的全部部分時亦復如此。於其它實施例中,於視訊串流化期間的選擇性編碼可根據可用頻寬為不足的決定而予觸發。
可更動以改變影像品質的品質特徵之若干實施例包括:用於一視訊框的一影像部分傳輸的位元率;用於區塊移動補償的一巨集區塊的大小;使用或不使用可變區塊移動補償以編碼一影像框的不同部分;與有損壓縮相反,無損壓縮的使用,及其它特徵。實施例並非限於此一脈絡。如此,於一個景況下,以相對較高影像品質編碼的一主物體區域,比較以相對較低影像品質編碼的具有可相媲美大小的一背景區域,前者可以更多位元編碼。於另一個景況 下,一主物體區域可以無損壓縮編碼,而一背景區域可以有損壓縮編碼。舉例言之,接受有損壓縮的一背景區域的色彩空間可經縮小而只反映一視訊影像的最常用色彩,而一主物體區域的色彩空間在壓縮期間不縮小。
若干實施例涉及由圖形硬體出現的或運用的一臉部檢測引擎,以決定在低頻寬景況期間在一視訊框中的關注區。然後,組成一主物體區域的該關注區以較高品質編碼,及該視訊框的其餘部分以較低品質編碼。如此可涉及根據該編碼部分係將接受較高品質編碼或較低品質編碼,變更前述品質特徵中之一或多者。
本實施例的若干優點但為任何實施例的必要特徵包括改善的使用者經驗,諸如於網路限制情況下於視訊會議設定中,其中頻寬可能限制用以串流化視訊內容的位元率。由本實施例提供的改善的使用者經驗可與在無網路限制情況下同等良好,於該處一視訊串流應用可採用可用的頻寬以比較一視訊框的其餘部分遠更高的品質而編碼臉部的關注物體或區域。其它實施例涉及物體檢測,於該處比較一視訊框的其餘區域,於該視訊的任何物體或區域可以更高的或遠更高的解析度識別與編碼。
作為背景說明,於本技術中,借助於組件,視訊係在一來源與一目的地或接收器間串流化,該等組件包括編解碼器,其編碼及解碼攜載該視訊內容的數位資料。今日編解碼器係設計成以「通用」位準編碼視訊框,於該處編碼性質針對該影像中的全部像素為預先決定。如此,當 可用頻寬限制了該資料串流速率至不足以以一給定品質位準串流化一視訊框的一速率時,該整個視訊框係以較低品質位準編碼以滿足限制頻寬要求。
本實施例藉下述方式可改良前述辦法,提供選擇性編碼,其中排出一視訊框的不同部分之優先順序,使得不同部分的編碼產生被給定較高優先順位的該等部分的品質係高於其它部分。如此,視訊影像的品質並非一致地降級,一使用者被呈現以一視訊影像,比較以較低品質呈現的較不關注的其它部分,選擇性保有可能具有較多資訊或較為該使用者所關注的該影像部分的影像品質。
如後文圖式中詳細說明,本實施例可提升在不同的使用景況包括只引述若干實施例,即時單向視訊串流、即時視訊會議、雙向即時視頻通訊、及預錄內容的串流化的視訊串流經驗。
圖1描繪依據多個實施例用以串流化視訊之一種配置100。一種裝置102係作為串流化視訊內容的來源或發送器。該裝置102係包括用於通用處理的處理器電路,顯示為CPU 104,以及圖形處理器電路顯示為圖形處理器106及記憶體108。該裝置102也包括一選擇性編碼組件110,其操作容後詳述。該裝置102可從一外部來源接收視訊內容112,或該視訊內容可本地儲存於該裝置102,諸如於記憶體108。該視訊內容112可藉選擇性編碼組件110處理,及呈經選擇性編碼視訊串流114輸出而由一接收裝置(圖中未顯示)使用。容後圖式詳述,一接收裝置可為一或多個客端裝置,其係 接收預錄視訊內容,可為從事雙向視訊階段的對等裝置,可為連結至視訊會議的一裝置或多裝置,或可為接收由該裝置102所提供的一即時視訊串流的一或多個裝置。實施例非僅囿限於此種脈絡。
與本實施例符合一致地,一裝置諸如裝置102可經組配以二或多個不同模式串流化視訊。於一個實施例中,當頻寬足夠時,視訊可以標準速率串流化,使得通過整個視訊框,亦即於全部像素,視訊框呈現高品質影像,於該處「高品質」表示呈現在該視訊框中的影像之一第一品質位準。當接收到一觸發事件諸如一訊息或信號指示低頻寬,或做出其它決定頻寬為低或有限時,該裝置102可藉選擇性編碼該視訊而開始串流化視訊,容後詳述。在該選擇性編碼期間,該視訊可以比較標準速率的總體更低資料率(位元率)串流化。此外,該選擇性編碼視訊串流表示主物體區域之部分可以較佳位準接受編碼,因而將與該物體相聯結的一視訊框內像素品質維持在比較該視訊框的其它區域更高的一位準。後述區域係經編碼以於顯示此等區域的像素產生較低品質,使得產生此等後述區域的資料率減低。須注意於後文詳細說明部分中,術語「主物體區域」一詞可用以指稱一視訊框的單一接續區域,或可指稱被歸類為主物體的一視訊框的多個分開區域。同理,一「背景區域」可用以指稱一視訊框的單一接續區域,或可指稱被歸類為在該主物體區域外部的一視訊框的多個分開區域。
圖2顯示符合多個實施例用以操作裝置102的一 配置200。於本配置200中,該裝置102係經組配以接收一信號202,該信號指示該裝置102以選擇性編碼來自該裝置102欲串流化的視訊內容。信號202可為一訊息或資料,該信號於當存在有低頻寬狀況時被觸發,使得來自該裝置102的視訊以一標準位元率被串流化,其中不進行通過該整個視訊框視訊框係以高品質影像呈現。於若干實施例中,選擇性編碼組件110可經組配以當頻寬低於一頻寬臨界值時從事選擇性編碼。應答於該信號202,可載入視訊內容204,以由該選擇性編碼組件110處理,其產生該選擇性編碼視訊串流206。
該選擇性編碼組件110可包含多個硬體元件、軟體元件或兩者的組合。硬體元件之實施例可包括裝置、組件、處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、可現場程式規劃閘陣列(FPGA)、記憶體單元、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體元件之實施例可包括軟體組件、程式規劃、應用程式、電腦程式、應用程式規劃、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式規劃介面(API)、指令集、計算碼、電腦碼、碼節段、電腦碼節段、字碼、數值、符碼或其任一項組合。決定一實施例是否使用硬體元件及/或軟體元件具現可根據任何數目的因素而改變,諸如期望的運算 速率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速度、及如針對給定具現期望的其它設計或效能限制。
圖3顯示符合額外實施例用以操作裝置102的一配置300。於本配置300中,該裝置102係經組配以載入預錄的視訊內容304以供由該選擇性編碼組件110處理,產生該編碼視訊串流306。當一客端或接收裝置302與該裝置102通訊以選擇用於串流化的該視訊內容304時,可產生編碼視訊串流306。於若干變化例中,該裝置102可動態地變更針對該編碼視訊串流306的視訊內容的編碼,使得於該視訊內容304的串流化期間,該編碼視訊串流306的某些部分係非選擇性地編碼,而該編碼視訊串流306的其它部分係選擇性地編碼。舉例言之,視訊內容304可為預錄的電影。在串流化該電影的某些週期期間,頻寬條件可為通過該整個視訊框,編碼視訊串流306係以一致的高品質串流化。於其它週期期間,減少的頻寬條件可能觸發該編碼視訊串流306於各個視訊框的背景部分以減低的品質串流化,而於該視訊框內部的主物體區域保有較高品質。
圖4顯示符合額外實施例用以操作裝置102的一配置400。於本配置400中,該裝置402係經組配以發送編碼串流化視訊408給裝置404,及接收來自裝置404的編碼串流化視訊410。該編碼串流化視訊408可從視訊內容406生成。於某些情況下,編碼串流化視訊408的發射可在編碼串流化視訊410被接收的同時進行。該編碼串流化視訊408特別可 取決於頻寬條件,至少部分地選擇性編碼。於若干實施例中,編碼串流化視訊410也可取決於頻寬條件,至少部分地選擇性編碼。
於多個實施例中,選擇性編碼組件可包括一分類器組件,其係經組配以辨識或認知一視訊框的部分有關含在該等部分的內容,且可根據該識別而分類一視訊框的不同部分。如此,部分可經識別及/或分類有關該等部分呈現一影像的背景或前景彧其它關注區域。描繪人臉的部分可經辨識,描繪人像的部分可經辨識,等等。該選擇性編碼組件也可包括一編碼器引擎,該編碼器引擎係根據來自該分類器組件的輸入而差異地編碼一視訊框的不同部分。
圖5描繪一選擇性編碼組件502的一個實施例,其包括一物體分類器504及差分編碼器506。如圖示例說明,一視訊框508係載入該物體分類器504,其可採用一或多個不同程序以識別與分類該視訊框508的部分。舉例言之,該視訊框可含有一人位在戶外設置。該物體分類器504可識別該視訊框508的一或多區域作為描繪關注物體,諸如一影像或一臉的前景。該物體分類器504可分類該視訊框508的其它部分作為背景。此項資訊可前傳給該差分編碼器506,其例如可將與在該視訊框508中描繪的一臉相聯結的資料與在該視訊框508之背景相聯結的資料以差異方式處理。舉例言之,於準備傳輸該視訊框期間,與臉部相聯結的資料比較施加至背景部分的壓縮可較少進行壓縮。換言之,由表示該壓縮臉部之位元對用以原先呈現該未經壓縮臉部的位 元之一比所界定的一第一比,可高於由呈現壓縮背景部分的位元對用以表示該未經壓縮背景部分的位元之該比所界定的一第二比。
該選擇性編碼組件502的輸出係為一選擇性編碼視訊框510,其可包括二或多個編碼影像部分,於該處該等不同編碼影像部分中之至少二者係差異地編碼。該選擇性編碼視訊框510也可包括位置資訊,該位置資訊識別於該被發射的視訊框中各個編碼影像所屬的位置資訊。須注意一編碼視訊框諸如選擇性編碼視訊框510的二或多個編碼影像部分無需一起發射或以特定順序發射,只要傳輸的資訊識別該編碼影像部分所屬的該視訊框及其於該視訊框內部的位置即可。於某些情況下,該等影像部分可呈分開子框被編碼與傳輸。
於若干實施例中,一視訊框的前景區域可藉物體分類器504分類作為主物體區域,而與背景區域分開。該項分類可藉採用習知技術,探討在一影像內部的時間相似性而自動地執行。於其它實施例中,視訊框的疊加圖形可歸類作為主物體區域。舉例言之,添加疊加圖形至一視訊諸如一串流化運動視訊的習知應用程式可由一選擇性編碼組件用以擷取包括該等疊加圖形的一視訊框的該等區域。於某些情況下,疊加圖形應用程式可直接地生成此項資訊,或可運用習知「訊框差異」法以檢測該視訊框的疊加圖形部分,原因在於在一串連續視訊框內部,該等疊加圖形部分乃相對靜態。
於進一步實施例中,物體分類器504可採用其它習知追蹤辦法,諸如應用程式,或用以分離在傳輸一運動事件的一視訊內部的個體。舉例言之,分離的個體可被指定作為欲以較高品質編碼的主物體區域。
於又其它實施例中,有關一視訊框的哪個部分組成一主物體區域的分類可根據使用者與接受串流化的視訊的互動。更明確言之,物體分類器504可接收指示使用者活動的信號,諸如採用一裝置接收來自該選擇性編碼組件502的視訊的一使用者之即時使用者活動。舉例言之,位在一使用者的視野周邊之一視訊框區域可歸類為背景區域。於特定實施例中,可追蹤使用者眼睛的移動,此項資訊回授給物體分類器以決定即時使用者周邊區域,然後藉差分編碼器506以較低品質編碼。
於更進一步實施例中,該物體分類器504可接收來自一接收裝置的一信號指示該使用者不再觀看藉含有該選擇性編碼組件502之一裝置接受串流化的一視訊。舉例言之,若檢測得該使用者從接收該串流化視訊的一裝置走開,或該使用者已經選擇該裝置上的一不同應用程式,則該物體分類器504可一起停止包括視頻及音頻內容的一「視訊」媒體的視訊框之串流化。取而代之,可只將該「視訊」的音頻部分串流化至該接收裝置。
圖6A至圖6C描繪符合本實施例差分編碼用於串流化視訊的一個實施例。單一視訊框602係顯示於圖6A。該視訊框602係示例說明可呈現在一合宜顯示器上。於一個景 況中,視訊框602可為在一事件的即時串流化期間諸如二或多個位置間的視訊會議被串流化的視訊內容的一部分,或另外,該視訊內容可構成透過網際網路被串流化的即時視訊的一部分。如此,描繪與圖6A顯示者相似的視覺內容之該視訊框602及一串視訊框可從一發送裝置諸如裝置102至一或多個接收裝置串流化。於此種脈絡中,於某些情況下,諸如低頻寬條件,可能變成需要以不足以高品質位準傳輸各個視訊框全體的一資料速率串流化該視訊604,視訊框602構成該視訊604的一部分。據此,該視訊框602可藉一選擇性編碼組件處理,以針對該視訊框602的特定部分可保有較高品質的方式編碼該視訊框。
如圖6B描繪,視訊框602的內容可藉一物體分類器分析,該物體分類器係經組配以從事臉部辨識以識別在一影像中的臉部。於多個實施例中,臉部檢測可在一英特爾(Intel®)(英特爾為英特爾公司的商品名)圖形處理器具現,該圖形處理器包括多個圖形執行單元,諸如16或20個執行單元以具現臉部檢測。實施例非僅限於本脈絡。在諸如視訊會議之情況下,臉部可排定較高品質編碼的優先順序,原因在於與會者的臉可被視為構成欲傳輸影像的重要部分。於一個實施例中,臉部檢測引擎可組成嵌置於圖形組件諸如圖形加速器內的韌體。該臉部檢測引擎可採用以分離一視訊框的被視為描繪臉部的一或多個區域。
於圖6B中,識別單一臉部區域606,其係相對應於該視訊框含有一臉部或臉部的至少一個部分之一部分。 該視訊框602之位在臉部區域606外部的區域608可被視為非臉區域或背景區域。
現在轉向參考圖6C,在該視訊框602內部各區域的座標可經識別使得各區域的內容可差異地編碼。舉例言之,臉部區域606的內容610可輸出作為編碼視訊部分614,而該區域608的內容612可輸出作為編碼視訊部分616。該編碼視訊部分614可經編碼以生成比較該編碼視訊部分616更高品質的一影像。如此從視訊框602生成的該編碼視訊框內容618可如此包括編碼視訊部分614、616、以及其它資訊,諸如在欲藉一接收裝置建構的一視訊框內部各個編碼視訊部分614、616的位置(座標)的識別資訊。
於多個實施例中,生成該編碼視訊框內容的選擇性編碼可藉英特爾圖形處理器具現,該圖形處理器包括一視訊移動估計引擎結合一編碼器以最佳化該選擇性編碼。一視訊移動估計引擎可輔助更快速編碼,及因而可用於欲以較高品質執行編碼的區域,該等區域可能要求更多運算資源。更明確言之,當該編碼器獲悉該臉部區域606時,該編碼器可驅策該視訊移動估計引擎以聚焦在該臉部區域606上而不以聚焦在該區域608上。由於編碼期間該視訊移動估計引擎可能消耗相當高功率,選擇性編碼處理也可能導致更具能量效率的編碼處理。此點的原因在於該視訊移動估計引擎係聚焦在欲以較高品質位準編碼的區域上,該區域可能只占有一視訊框的一小部分,如圖6A-6C之實施例。據此,一視訊框的一大部分可要求藉該視訊估計引擎的遠 更少的處理。
圖7A-7E示例說明依據進一步實施例生成一選擇性編碼視訊串流的一個實施例。於圖7A中,顯示在選擇性編碼前一視訊框702的一表示型態。該視訊框702包括第一隻貓及第二隻貓以及背景部分之描繪。於習知處理期間,該視訊框702可經處理使得該視訊框的全部部分係以類似方式編碼。當藉一選擇性編碼組件在該視訊框702上進行選擇性編碼時,該視訊框702的像素或區域係根據其貢獻給圖7A描繪的影像之資訊內容的重要性或位準分類。如圖7B示例說明,舉例言之,區域704及706被識別為前景區域或主物體區域,分別地描繪第一隻貓及第二隻貓。於本實施例中,區域704及706係彼此分開,使得其個別的像素沒有任一者毗連另一區域的像素。據此,各個區域704、706可分開地編碼。此種編碼可藉採用用以串流化該視訊框702的任何合宜編解碼器執行。因區域704、706被決定為主物體區域,故其編碼係以在傳輸後當解碼時可保有區域704、706的較高品質之方式執行。
此外,該選擇性編碼組件可生成位置資訊,該位置資訊給一解碼器識別在呈現該視訊框702的影像的一解碼視訊框內部各個區域704、706欲定位的區域。於一個具現中,該位置資訊可包括針對各個區域704、706的一左上像素的座標。
於多個實施例中,一選擇性編碼組件可生成發送給一接收裝置的多個編碼子框,其中一第一子框包括該等 主物體區域,及一第二子框包括背景區域。圖7B描繪包括區域704及706的一子框703的一個示例說明。該子框703的位在該區域704、706外側部分可以被視為針對所選用的壓縮演算法為有效的任一種樣式編碼。於若干具現中,該編碼可為一純色。例如,若一影像含有大部分紅色,則可選用純紅以編碼。圖7B中之純黑編碼示例說明係僅供示例說明之用。
轉向參考圖7C,示例說明在區域704、706邊界的背景區域708的識別。如圖示例說明,該背景區域708構成視訊框702之部分,具有空白區域710、712係相對應於個別區域704、706且不含資訊。該背景區域708可送至編碼,編碼的方式為壓縮該背景區域708使得比較編碼區域704、706,傳輸背景影像需要的每個像素之資料較少。如此可能導致當傳輸與解碼時,背景區域708的影像品質較低。
轉向圖7D,顯示相對應於區域704、706,如圖所記在編碼以保有較高影像品質後之代表性選擇性編碼區域720、722。
於圖7E中,顯示一子框715其包括一位元遮罩714,除了前記視訊的選擇性編碼部分外,可生成該位元遮罩及傳輸給一解碼器。該位元遮罩714可用作為一參考以指示一資料訊框中的哪個像素係屬該資料訊框的背景。該選擇性編碼組件隨後壓縮與發送子框715含個別選擇性編碼區域720、722、位元遮罩714供接收。此外,選擇性編碼背景區域(圖中未顯示)可發送以供由接收裝置接收,該接收裝置係 與執行選擇性編碼的一發送裝置通訊。
圖8A-8D描繪依據多個實施例經選擇性編碼的視訊內容之解碼景況。繼續圖7A-7E的實施例,與視訊框702相聯結的視訊內容可接收如下。選擇性編碼區域720、722可由接收裝置的解碼器接收。圖8A描繪相對應於該選擇性編碼區域720的一解碼區域804,及相對應於該選擇性編碼區域722的一解碼區域806。由於該等選擇性編碼區域720、722係以保有較高影像品質之方式編碼,解碼區域804、806可表示比較已解碼背景區域再生原先背景區域708更近的該視訊框702之區域704、706。如圖8B顯示,已解碼背景區域808(顯示具有空白區域810、812)可能具有比原先背景區域708更低的品質。運用連同選擇性編碼區域720、722供給的該等選擇性編碼區域720、722之位置資訊,該解碼器可重建一已解碼視訊框814,如圖8C所示。該已解碼視訊框814包括一較低品質背景區域、具有表示前景或動物的較高品質區域的已解碼背景區域808,亦即解碼區域804、806。如此允許一觀看者瞭解已解碼視訊框814包括較高品質區域,相對應於對該觀看者而言比較其它區域更加關注的物體。
相反地,圖8D示例說明非選擇性編碼及解碼視訊框的一實施例,亦即根據視訊框702的視訊框816。如圖示例說明,通過整個視訊框,影像品質係一致地降級。
雖然描繪選擇性編碼的前述各圖示例說明其中前景區域或主要區域具有規則方塊形狀,但於多個實施例中,此等前景區域或主要區域可具有更複雜的形狀。其中 之一個實施例係示例說明於圖9A-9D。於圖9A中,顯示一視訊框902,描繪在運動事件期間的一例。於圖9B中,一物體分類器具有已識別的前景區域903、904、905、906、907,其各自包括人像而可被視為主物體區域。於圖9C中,示例說明背景區域908、910、912,其係藉前景區域906而彼此分開。值得注意者,雖然前景區域904、906及背景區域可從多個具有規則形狀的像素區塊組裝而組構成,但該等區域具有複雜形狀。
示例說明在選擇性編碼後前景區域903、904、905、906、907各自及背景區域908,其中該前景區域903-907與背景區域908相反係經編碼以保有較高影像品質。
於圖9D中,顯示已解碼視訊框914之一實施例,其係根據該視訊框902的選擇性編碼。如圖示例說明,該已解碼視訊框914具有一背景區域916,係比顯示在視訊框902的該視訊影像之原先前景更模糊。如此有助於在下述情況下保有較高品質的前景區域918、920、922、924、及926,該等情況中需要或期望以比較在接收後的整個視訊框902足夠保有影像品質的資料率更低的資料率傳輸該視訊框902。
於進一步實施例中,用以串流化視訊的選擇性編碼可以下述方式執行,動態地調整物體或被歸類為主物體區域的一視訊框部分。如此,最初被分類為主物體區域用以以相對較高品質選擇性編碼的一視訊框或一串視訊框之區域可被改成背景,於該處以相對較低品質編碼。此外, 最初被視為背景區域用以以相對較低品質選擇性編碼的該串視訊框之其它區域可被改成主物體區域,於該處以相對較高品質編碼。
於若干實施例中,物體的分類從主要改成背景,或反之亦然,可應答於使用者輸入生成。圖10A至10C描繪視訊串流的動態選擇性編碼的一種情況。於本實施例中,兩個不同裝置1002、1004透過視訊串流彼此通訊。該裝置1002包括一選擇性編碼組件1014以串流化選擇性編碼視訊給裝置1004及一顯示器1006以呈現接收自該裝置1004的串流化視訊。同理,該裝置1004包括一選擇性編碼組件1016以串流化選擇性編碼視訊給裝置1002及一顯示器1008以呈現接收自該裝置1002的串流化視訊。於圖10A之情況下,該裝置1002串流化視訊1010給裝置1004。該視訊1010可為由該裝置1002的一使用者即時記錄的視訊,其描繪該裝置1002的使用者及使用者環境。同理,該裝置1004串流化視訊1012給裝置1002,該視訊1012可描繪該裝置1004的使用者及使用者環境。兩者情況下,視訊1010、1012可選擇性地編碼或可非選擇性地編碼,其中一視訊框全部皆係以相同方式編碼。
於若干實施例中,針對來自裝置1004的串流化視訊之選擇性編碼可應答來自該裝置1002的信號調整。舉例言之,該裝置1002的一使用者可接收描繪該裝置1004的使用者之視訊1012。該裝置1002的使用者可採用在顯示器1006上的觸控螢幕介面以選擇該使用者希望以較高品質渲 染的視訊框之像素。
另外,該裝置1002的使用者可採用其它選擇裝置諸如滑鼠,觸控墊,使用者眼睛追蹤以檢測關注區域歷經一段時間,或其它使用者介面與顯示器1006互動以選擇一視訊框之像素。圖10B描繪一信號1018發送給裝置1004的一種景況。該信號1018可指示該視訊1012的一視訊框像素之使用者選擇區域,該裝置1002的該使用者希望以較高品質接收的視訊框之像素。此種對等視訊串流化之一個實施例為其中視訊1010含有裝置1002的使用者臉部,及視訊1012含有裝置1004的使用者臉部,其各自最初可被視為前景物體用以以較高影像品質選擇性編碼。但於某一點,裝置1002的使用者可選擇所接收的視訊1012內部的另一個物體強調。舉例言之,裝置1004的使用者可能想要顯示在(裝置1004)的使用者手中的一物體給裝置1002的使用者。最初,於圖10A之景況下,拍攝裝置1004的使用者手的視訊1012之該區域因以較低資料率選擇性編碼而可能模糊。據此,裝置1004的使用者可藉語音或動作傳訊給裝置1002的使用者期望顯示裝置1004的使用者手中的東西。如此可使得裝置1002的使用者觸摸顯示器1006的相對應於裝置1004的使用者手的該區域。然後具有視訊1012的一視訊框的該擇定物體的位置可前傳給該選擇性編碼組件110。接著,選擇性編碼組件1006對傳輸給裝置1002的視訊框之分類作適當調整,因而以較高品質編碼描繪裝置1004的使用者手的區域。
於某些情況下,例如取決於裝置1002與裝置1004 間之視訊傳輸的頻寬或其它考量,選擇性編碼組件1016可調整視訊1012的視訊框之區域以減低編碼品質以配合另一區域增高的編碼品質。舉例言之,裝置1004的使用者臉可經編碼使得該臉當藉裝置1002解碼時顯示模糊,以便更清晰地傳輸使用者手的影像。
其編碼係與視訊1012的編碼不同的經調整視訊係顯示為視訊1020。於多個實施例中,該視訊1020可接受進一步調整,使得以比較其它區域以相對較高品質編碼的視訊之該主物體區域再度改變。藉此方式,裝置1002的使用者可能經驗一視訊,其中以較高品質呈現的一視訊框之區域在該視訊的串流化期間動態地遷移一或多次。如所記,裝置1002的使用者可指導接收自裝置1004的該視訊之選擇性編碼。
雖然前述實施例當呈現在一顯示器上時可描繪主物體區域與背景區域分開,但於多個實施例中,可採用平滑化程序或演算法在主物體區域與背景區域間之過渡,使得一影像中特性件的解析度徐緩地改變。此等平滑化程序可包括考慮一串視訊框的程序,使得播放經差異編碼區域良好地摻混在一起成為一視訊。
於進一步實施例中,視訊編碼可經進行以以三或多個不同編碼位準編碼一視訊框的不同區域。例如,呈現在一視訊框的人臉可以第一品質位準編碼,而臉部以外的人像也可歸類為二次物體區域,而可以低於第一品質位準的第二品質位準編碼。該視訊框之其它部分可以低於第二 品質位準的第三品質位準呈現。
除了以不同品質編碼一視訊框的不同部分之外,於其它實施例中,被歸類為主物體區域的一視訊框的部分可被指定傳輸至一接收裝置的一較高優先順位。此種一視訊框的擇定部分根據編碼品質而傳輸的優先順位,在其它視訊係不完美地串流化至一接收裝置的情況下,提供保有視訊品質的額外優點。舉例言之,在一編碼視訊框的傳輸期間,若含有經選擇性編碼的主物體區域之資料封包係在含有背景區域之資料封包之前發送,則該等主物體區域也可首先藉一接收裝置的一解碼器解碼。在某些傳輸條件下,若該解碼器需要在含有該編碼視訊框的全部像素之資料封包已經到達接收裝置之前,顯示一接續視訊框,則有較大機會含有主物體區域之像素的資料封包已經到達解碼器,且可顯示使得在一接續視訊框呈現之前,該使用者可覺察該視訊框的主物體區域,即便未接收到該視訊框的背景亦復如此。
此處含括一集合之流程圖,表示執行所揭示架構之新穎面向的方法實施例。雖然為了簡化說明,此處例如以流程圖或流程簡圖形式顯示的該等一或多個方法係以一串列動作顯示與描述,但須瞭解該等方法並不受動作的順序所限,原因在於某些動作可能以與此處所顯示與描述的不同順序出現及/或與其它動作併同發生。舉例言之,熟諳技藝人士將瞭解與理解一方法另外可以一串列交互相關的狀態或事件呈現,諸如於狀態圖呈現。此外,方法中示例 說明的動作並非全部皆為一新穎具現所需。
圖11示例說明第一邏輯流程1100之實施例。於方塊1102,接收一視訊框。於若干具現中,該視訊框可於一裝置中接收以生成即時視訊串流。於其它情況下,該視訊框可為由一裝置所接收用以串流化給另一裝置的預錄的及預先儲存的視訊內容之一部分。
於方塊1104,決定頻寬是否足夠讓該視訊框以第一品質位準非選擇性編碼以供傳輸。該非選擇性編碼可以相對應於第一位元率的第一品質位準編碼整個視訊框。若是,則流程移動至方塊1106,於該處該視訊框係以一致的第一品質位準編碼。接著流程移動至方塊1108,於該處傳輸編碼視訊框。
於方塊1104,若決定頻寬不足夠選擇性編碼,則流程移動至方塊1110。於方塊1110,一或多個區域被分類為在視訊框內部的主物體區域。該等主物體區域可組成該視訊框的一部分,其當呈現在一顯示器上時,係相對應於一集合之像素顯示在由該視訊框所描繪的一場景內部的一或多個物體或區域。然後流程移動至方塊1112。
於方塊1112,一或多個主物體區域的編碼係以第一品質位準執行。於替代實施例中,該等一或多個主物體區域係以與用在非選擇性編碼的該第一品質位準不同的品質位準編碼。該不同的品質位準可高於第一品質位準或可低於第一品質位準。
於方塊1114,在該等主物體區域外側的視訊框之 區域的編碼可以第二品質位準進行,該第二品質位準係低於該第一品質位準。然後,流程前進至方塊1108。
圖12示例說明第二邏輯流程1200之一實施例。於方塊1202,包含多個視訊框的視訊係接收作為串流化視訊傳輸。該視訊可為即時記錄用以串流化的視訊,或可為預先儲存的視訊內容。於方塊1204,該視訊之一或多個視訊框之第一區域的編碼係以第一品質位準執行,及該視訊之一或多個視訊框之背景區域的編碼係以低於第一品質位準的第二品質位準執行。該第一區域可組成該視訊框的一部分,該部分當呈現在一顯示器上時係相對應於一集合之像素,其顯示在由該視訊框所描繪的一場景內部的一或多個物體或區域。該背景區域可組成該視訊框之一部分相對應於顯示由該視訊框所呈現的一場景該第一區域除外之全部其它部分之像素。
於方塊1206,接收到一信號指示一視訊框之與該第一區域不同的一第二區域之選擇。該信號可透過一使用者介面接收,諸如滑鼠、觸控墊、搖桿、觸控螢幕、手勢或眼球辨識、或其它選擇裝置。
然後,流程前進至方塊1208,於該處在第二區域的選擇後,第二區域的編碼係針對一或多個額外視訊框以該第一品質位準執行。接著,流程前進至方塊1210,於該處第一區域的編碼係針對一或多個額外視訊框以該第二品質位準執行。
圖13為系統實施例之略圖,特別,圖13為一略圖 顯示一系統1300,其可包括多個元件。例如,圖13顯示系統(平台)1300可包括一處理器/圖形核心,此處定名處理器1302;一晶片組/平台控制器中樞器(PCH),此處定名晶片組1304;一輸入/輸出(I/O)裝置1306、一隨機存取記憶體(RAM)(諸如動態RAM(DRAM))1308、及一唯讀記憶體(ROM)1310、一顯示器電子裝置1320、顯示器背光1322、及多個其它平台組件1314(例如風扇、橫流鼓風機、散熱座、DTM系統、冷卻系統、殼體、通風口等)。系統1300也可包括無線通訊晶片1316及圖形裝置1318、非依電性記憶體埠(NVMP)1324及天線1326。但實施例非僅囿限於此等元件。
如圖13所示,I/O裝置1306、RAM 1308、及ROM 1310係藉晶片組1304耦接至處理器1302。晶片組1304可藉一匯流排1312耦接至處理器1302。據此,匯流排1312可包括多條線路。
處理器1302可為包含一或多個處理器核心的中央處理單元,且可包括具有任何數目的處理器核心之任何數目的處理器。該處理器1302可包括任何型別的處理單元,諸如CPU、多處理單元、精簡指令集電腦(RISC)、具有管線的一處理器、一複雜指令集電腦(CISC)、數位信號處理器(DSP)等。於若干實施例中,處理器1302可為位在分開的積體電路晶片上的多個分開處理器。於若干實施例中,處理器1302可為具有集積圖形的一處理器;而於其它實施例中,處理器1302可為一圖形核心或多核心。
圖14示例說明依據本文揭示之系統1400之實施 例。於多個實施例中,系統1400可為媒體系統,但系統1400非僅囿限於此種脈絡。舉例言之,系統1400可結合入個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控墊、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置、相機(例如傻瓜相機、超廣角相機、數位單鏡頭反光(DSLR)相機)等。
於多個具現中,系統1400包括耦接至一顯示器1420的一平台1402。平台1402可從內容裝置接收內容,諸如內容服務裝置1430或內容傳遞裝置1440或其它類似的內容來源。包括一或多個導航特性件的導航控制器1450可用以與例如平台1402及/或顯示器1420互動。此等組件各自容後詳述。
於多個具現中,平台1402可包括晶片組1405、處理器1410、記憶體1412、天線1403、儲存裝置1414、圖形次系統1415、應用程式1416及/或無線電1418的任一項組合。晶片組1405可提供處理器1410、記憶體1412、儲存裝置1414、圖形次系統1415、應用程式1416及/或無線電1418間之交互通訊。舉例言之,晶片組1405可包括能夠提供與儲存裝置1414交互通訊的一儲存裝置配接器(圖中未描繪)。
處理器1410可具現為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器、x86指令集可相容性處理器、 多核心處理器、或任何其它微處理器或中央處理單元(CPU)。於多個具現中,處理器1410可為雙核心處理器、雙核心行動處理器等。
記憶體1412可具現為依電性記憶體裝置,諸如但非僅限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。
儲存裝置1414可具現為非依電性儲存裝置,諸如但非僅限於磁碟機、光碟機、磁帶機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池後備同步DRAM(SDRAM)、及/或網路可存取儲存裝置。於多個具現中,儲存裝置1414可包括例如當包括多個硬碟機時增加有價值的數位媒體之儲存效能的保護技術。
圖形次系統1415可執行影像諸如靜像或視訊用於顯示時的處理。圖形次系統1415例如可為圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可用以通訊式耦合圖形次系統1415與顯示器1420。舉例言之,該介面可為高畫質多媒體介面、顯示埠、無線HDMI、及/或無線HD符合技術。圖形次系統1415可整合入處理器1410或晶片組1405。於若干具現中,圖形次系統1415可為通訊式耦接至晶片組1405的孤立裝置。
此處描述的圖形及/或視訊處理技術可在多個硬體架構中具現。舉例言之,圖形及/或視訊功能可整合於一晶片組內部。另外,可使用離散的圖形及/或視訊處理器。至於又另一個具現,圖形及/或視訊功能可由通用處理器提 供,諸如多核心處理器。於進一步實施例中,該等功能可在一消費者電子裝置內具現。
無線電1418可包括可運用多種無線通訊技術的能夠發射與接收信號的一或多個無線電。此等技術可涉及通過一或多個無線網路的通訊。無線網路之實施例包括(但非僅限於)無線區域網路(WLAN)、無線個人區域網路(WPAN)、無線都會區域網路(WMAN)、小區式網路、及衛星網路。於通過此等網路的通訊中,無線電1418可根據一或多個適用標準的任何版本操作。
於多個具現中,顯示器1420可包括任何電視型監視器或顯示器。顯示器1420可包括例如電腦顯示幕、觸控螢幕顯示器、視訊監視器、電視狀裝置及/或電視機。顯示器1420可為數位及/或類比。於多個具現中,顯示器1420可為全像顯示器。又,顯示器1420可為能接收視覺投影的透明表面。此等投影可傳遞各型資訊、影像、及/或物體。舉例言之,此等投影可為行動增強實境(MAR)應用程式的一視覺疊加。在一或多個軟體應用程式1416的控制之下,平台1402可在顯示器1420上顯示使用者介面1422。
於多個具現中,內容服務裝置1430可由任何國家的、國際的及/或獨立的服務或主持,及如此例如透過網際網路可存取至平台1402。內容服務裝置1430可耦接至平台1402及/或顯示器1420。平台1402及/或內容服務裝置1430可耦接至網路1460以通訊(例如發送及/或接收)媒體資訊至及自網路1460。內容傳遞裝置1440也可耦接至平台1402及/ 或顯示器1420。
於多個具現中,內容服務裝置1430可包括有線電視盒、個人電腦、網路、電話、能夠傳遞數位資訊及/或內容的網際網路作動裝置或設施、及透過網路1460或直接地能夠在內容提供者與平台1402及/或顯示器1420間單向地或雙向地通訊內容的任何其它類似裝置。須瞭解該內容可透過網路1460單向地或雙向地在系統1400的組件中之任一者與一內容提供者間通訊。內容之實施例可包括任何媒體資訊,包括例如視訊、音樂、醫療及遊戲資訊。
內容服務裝置1430可接收內容,諸如有線電視節目包括媒體資訊、數位資訊、及/或其它內容。內容提供者之實施例可包括任何有線電視或衛星電視或無線電或網際網路內容提供者。所提出的實施例絕非表示限制依據本文揭示的具現之範圍。
於多個具現中,平台1402可從具有一或多個導航特性件的導航控制器1450接收信號。導航控制器1450的導航特性件例如可用以與使用者介面1422互動。於多個具現中,導航控制器1450可為指標裝置,可為電腦硬體組件(尤其人機介面裝置)其許可一使用者將空間(例如連續的且多維)資料輸入一電腦。許多系統諸如圖形使用者介面(GUI)、及電視機及監視器許可該使用者使用實體手勢控制與提供資料給該電腦或電視。
導航控制器1450的導航特性件之移動可藉顯示在一顯示器(例如顯示器1420)上的一指標、游標、對焦圈、 其它視覺指標而再現在該顯示器上。舉例言之,在軟體應用程式1416的控制之下,位在導航控制器1450上的導航特性件可對映至例如顯示在使用者介面1422上的虛擬導航特性件。於多個實施例中,導航控制器1450可非為分開組件,反而可整合入平台1402及/或顯示器1420。但本文揭示並非限於此處顯示的或描述的元件或脈絡。
於多個具現中,驅動器(圖中未顯示)可包括技術以許可使用者在軟體啟動之後,例如當被作動時,藉觸摸一按鈕而即刻地開關平台1402,例如電視。程式邏輯可允許平台1402串流化內容至媒體配接器或其它內容服務裝置1430或內容傳遞裝置1440,即便當該平台被「關閉」時亦復如此。此外,例如,晶片組1405可包括5.1環繞音效及/或高傳真7.1環繞音效的硬體及/或軟體支援。驅動器可包括集積式圖形平台的圖形驅動器。於多個實施例中,該圖形驅動器可包含一周邊組件互聯(PCI)快速圖形卡。
於多個具現中,顯示於系統1400內的組件中之任一或多者可予整合。舉例言之,平台1402與內容服務裝置1430可整合,或平台1402與內容傳遞裝置1440可整合,或平台1402與內容服務裝置1430、內容傳遞裝置1440可整合。於多個實施例中,平台1402及顯示器1420可為整合單元。例如,顯示器1420與內容服務裝置1430可整合,或顯示器1420與內容傳遞裝置1440可整合。但此等範例並非意圖限制本文揭示。
於多個實施例中,系統1400可具現為無線系統、 有線系統、或兩者的組合。當具現為無線系統時,系統1400可包括適用以透過一無線分享媒體而通訊的組件及介面,諸如一或多個天線、發射器、接收器、收發器、放大器、濾波器、控制邏輯等。無線分享媒體之一實施例可包括無線頻譜部分,諸如RF頻譜等。當具現為有線系統時,系統1400可包括適用以透過一有線通訊媒體而通訊的組件及介面,諸如輸入/輸出(I/O)配接器、連結I/O配接器與相對應有線通訊媒體的實體連接器、網路介面控制器(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通訊媒體之實施例可包括導線、纜線、金屬引線、印刷電路板(PCB)、背板、交換架構、半導體材料、雙絞線、同軸纜線、光纖等。
平台1402可建立一或多個邏輯通道或實體通道以通訊資訊。該資訊可包括媒體資訊及控制資訊。媒體資訊可指表示對一使用者有意義的內容之任何資料。內容的實施例可包括例如來自於語音對話、視訊會議、串流化視訊、電子郵件訊息、語音信箱訊息、文數符號、圖形、影像、視頻、文字等的資料。來自於語音對話的資料例如可為語音資訊、靜默期、背景雜訊、舒緩雜訊、音調等。控制資訊可指表示對自動化系統有意義的指令、指示或控制字元的任何資料。舉例言之,控制資訊可用以安排媒體資訊通過一系統的路徑,或指示一節點以預定方式處理該媒體資訊。但實施例並非限於圖14中顯示的或描述的元件或脈絡。
如前文描述,系統1400可以多種實體樣式或形狀 因數具體實施。圖15示例說明其中可具體實施系統1500的小形狀因數裝置1500的具現。例如於多個實施例中,裝置1500可具體實施為具有無線能力的一行動運算裝置。一行動運算裝置例如可指具有處理系統及行動電源或電源供應器諸如一或多個電池的任何裝置。
如前文描述,行動運算裝置之實施例可包括個人電腦(PC)、膝上型電腦、超膝上型電腦、平板電腦、觸控墊、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理器(PDA)、小區式電話、小區式電話/PDA組合、電視、智慧型裝置(例如智慧型手機、智慧型平板或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置、相機(例如傻瓜相機、超廣角相機、數位單鏡頭反光(DSLR)相機)等。
行動運算裝置之實施例也可包括配置以由個人穿戴的電腦,諸如手腕電腦、手指電腦、戒指電腦、眼鏡電腦、皮帶夾電腦、臂帶電腦、鞋電腦、衣著電腦、及其它可穿戴電腦。於多個實施例中,行動運算裝置可具現為能夠執行電腦應用程式以及語音通訊及/或資料通訊的智慧型電話。雖然若干實施例係以具現為智慧型電話的行動運算裝置舉例描述,但須瞭解其它實施例也可使用其它無線行動運算裝置具現。實施例並非僅限於本脈絡。
如圖15顯示,裝置1500可包括一殼體1502、一顯示器1504、一輸入/輸出(I/O)裝置1506、及一天線1508。裝置1500也可包括導航特性件1512。顯示器1504可包括適用 於行動運算裝置顯示資訊的任何適當顯示器單元。I/O裝置1506可包括將資訊登入一行動運算裝置的任何合宜I/O裝置。I/O裝置1506之實施例可包括文數鍵盤、數字小鍵盤、觸控墊、輸入鍵、按鈕、開關、翹板開關、麥克風、揚聲器、語音辨識裝置及軟體等。資訊也可藉麥克風(圖中未顯示)載入裝置1500。此種資訊可藉一語音辨識裝置(圖中未顯示)數位化。實施例並非僅限於本脈絡。
如先前描述,實施例可使用多種硬體元件、軟體元件、或兩者的組合具現。硬體元件之實施例可包括裝置、邏輯裝置、組件、處理器、微處理器、電路、處理器電路、電路元件(例如電晶體、電阻器、電容器、電感器等)、積體電路、特定應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、可現場程式規劃閘陣列(FPGA)、記憶體單元、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體元件之實施例可包括軟體組件、程式規劃、應用程式、電腦程式、應用程式規劃、系統程式、軟體開發程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函式、方法、程序、軟體介面、應用程式規劃介面(API)、指令集、計算碼、電腦碼、碼節段、電腦碼節段、字碼、數值、符碼或其任一項組合。決定一實施例是否使用硬體元件及/或軟體元件具現可根據任何數目的因素而改變,諸如期望的運算速率、功率位準、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速度、及如針對給定具現期望的其它 設計或效能限制。
下列實施例係有關於進一步實施例。
於實施例1中,一種用於視訊編碼之裝置包含儲存一視訊框的一記憶體;一處理器電路;及用以在該處理器電路上執行以從事該視訊框的選擇性編碼之一選擇性編碼組件,該選擇性編碼係將該視訊框分類成一主物體區域及一背景區域,及於一第一品質位準編碼該主物體區域,及於一第二品質位準編碼該背景區域,該第一品質位準係包含比該背景品質位準更高的一品質位準。
於實施例2中,實施例1之選擇性編碼組件可選擇性地在該處理器上執行以當頻寬下降至低於一頻寬臨界值時可從事選擇性編碼。
於實施例3中,實施例1-2中任一者的選擇性編碼組件可選擇性地在該處理器上執行以針對在該視訊框內部的像素從事一面部辨識程序,及指定由該面部辨識程序所識別的面部區域作為主物體區域。
於實施例4中,實施例1-3中任一者的選擇性編碼組件可選擇性地在該處理器上執行以當接收到指示低頻寬的一信號時,生成一選擇性編碼視訊串流包含多個選擇性編碼視訊框。
於實施例5中,實施例1-4中任一者的選擇性編碼組件可選擇性地在該處理器上執行以接收一使用者擇定像素區域及根據該使用者擇定像素區域,於該第一品質位準選擇性編碼在該視訊框內部的一物體。
於實施例6中,實施例1-5中任一者的選擇性編碼組件可選擇性地在該處理器上執行以生成位置資訊其係識別在針對該主物體區域的一視訊框中之像素座標。
於實施例7中,實施例1-6中任一者的選擇性編碼組件可選擇性地在該處理器上執行以將分類為一主物體區域從於該視訊框與一第一物體相聯結的一第一區域切換成與一第二物體相聯結的一第二區域。
於實施例8中,實施例1-7中任一者的選擇性編碼組件可選擇性地在該處理器上執行以將於該視訊框中之一額外一區域分類為一二次物體區域,及於低於該第一品質位準而高於該背景品質位準的一第二品質位準編碼該二次物體區域。
於實施例9中,實施例1-8中任一者的主物體區域可選擇性地包含該視訊框的二或多個分開區域。
於實施例10中,實施例1-9中任一者的選擇性編碼組件可選擇性地在該處理器上執行以生成一位元遮罩其係識別相對應於該背景區域的該資料訊框之像素。
於實施例11中,實施例1-10中任一者的選擇性編碼組件可選擇性地在該處理器上執行以根據指示使用者活動的信號而從事選擇性編碼。
於實施例12中,包含指令之至少一個電腦可讀取儲存媒體,該等指令當執行時使得一系統應答於接收到一視訊框,選擇性編碼該視訊框,該選擇性編碼係將該視訊框分類成一主物體區域及一背景區域,及於一第一品編碼 該主物體區域,及於一第二品質位準編碼該背景區域,該第一品質位準係包含比該背景品質位準更高的一品質位準。
於實施例13中,實施例12之至少一個電腦可讀取儲存媒體包括指令,該等指令當執行時使得一系統當頻寬下降至低於一頻寬臨界值時從事選擇性編碼。
於實施例14中,實施例12-13中任一者的至少一個電腦可讀取儲存媒體包括指令,該等指令當執行時使得一系統針對在該視訊框內部的像素從事一面部辨識程序,及指定由該面部辨識程序所識別的面部區域作為主物體區域。
於實施例15中,實施例12-14中任一者的至少一個電腦可讀取儲存媒體包括指令,該等指令當執行時使得一系統當接收到指示低頻寬的一信號時,生成一選擇性編碼視訊串流包含多個選擇性編碼視訊框。
於實施例16中,實施例12-15中任一者的至少一個電腦可讀取儲存媒體包括指令,該等指令當執行時使得一系統接收一使用者擇定像素區域及根據該使用者擇定像素區域,於該第一品質位準選擇性編碼在該視訊框內部的一物體。
於實施例17中,實施例12-16中任一者的至少一個電腦可讀取儲存媒體包括指令,該等指令當執行時使得一系統生成位置資訊其係識別在針對該主物體區域的一視訊框中之像素座標。
於實施例18中,實施例12-17中任一者的至少一個電腦可讀取儲存媒體包括指令,該等指令當執行時使得一系統將於該視訊框中之一額外一區域分類為一二次物體區域,及於低於該第一品質位準而高於該背景品質位準的一第二品質位準編碼該二次物體區域。
於實施例19中,一種編碼視訊之方法包括應答於接收到一視訊框,從事該視訊框的選擇性編碼,該選擇性編碼係包含將該視訊框分類成一主物體區域及背景區域;於一第一品質位準編碼該主物體區域;及於低於該第一品質位準的一背景品質位準編碼該視訊框的背景區域。
於實施例20中,實施例19之方法包含當頻寬下降至低於一頻寬臨界值時從事選擇性編碼。
於實施例21中,實施例19-20中任一者之方法包含針對在該視訊框內部的像素從事一面部辨識程序,及指定由該面部辨識程序所識別的面部區域作為主物體區域。
於實施例22中,實施例19-21中任一者之方法包含生成位置資訊其係識別在針對該主物體區域的一視訊框中之像素座標。
於實施例23中,實施例19-22中任一者之方法包含將於該視訊框中之一額外一區域分類為一二次物體區域,及於低於該第一品質位準而高於該背景品質位準的一第二品質位準編碼該二次物體區域。
於實施例24中,一種傳輸編碼視訊之系統包括儲存一視訊框的一記憶體;一處理器;及用以在該處理器上 執行以從事該視訊框的選擇性編碼之一選擇性編碼組件。該選擇性編碼包含將在該視訊框中的一區域分類為一主物體區域,及以比用於該視訊框的背景區域之編碼的一背景品質位準更高的一第一品質位準編碼該主物體區域,該等背景區域包含該主物體區域外部區域;及在該選擇性編碼後傳輸該視訊框的一介面。
於實施例25中,實施例24之選擇性編碼組件可用以在該處理器上執行以當頻寬下降至低於一頻寬臨界值時可從事選擇性編碼。
於實施例26中,實施例24-25中任一者之選擇性編碼組件可用以在該處理器上執行以針對在該視訊框內部的像素從事一面部辨識程序,及指定由該面部辨識程序所識別的面部區域作為主物體區域。
於實施例27中,實施例24-26中任一者之選擇性編碼組件可用以在該處理器上執行以當接收到指示低頻寬的一信號時,生成一選擇性編碼視訊串流包含多個選擇性編碼視訊框。
於實施例28中,實施例24-27中任一者之選擇性編碼組件可用以在該處理器上執行以接收一使用者擇定像素區域及根據該使用者擇定像素區域,於該第一品質位準選擇性編碼在該視訊框內部的一物體。
於實施例29中,實施例24-28中任一者之選擇性編碼組件可用以在該處理器上執行以生成位置資訊其係識別在針對該主物體區域的一視訊框中之像素座標。
於實施例30中,實施例24-29中任一者之選擇性編碼組件可用以在該處理器上執行以將分類為一主物體區域從於該視訊框與一第一物體相聯結的一第一區域切換成與一第二物體相聯結的一第二區域。
於實施例31中,實施例24-30中任一者之選擇性編碼組件可用以在該處理器上執行以將於該視訊框中之一額外一區域分類為一二次物體區域,及於低於該第一品質位準而高於該背景品質位準的一第二品質位準編碼該二次物體區域。
於實施例32中,實施例24-31中任一者之選擇性編碼組件可包含該視訊框的二或多個分開區域。
於實施例33中,實施例24-32中任一者之選擇性編碼組件可用以在該處理器上執行以根據指示使用者活動的信號而從事選擇性編碼。
於若干實施例中,一元件係定義為執行一或多個操作的一特定結構。但須瞭解定義為從事一特定功能的一特定結構之任何元件可表示為從事該特定功能的構件或步驟而未贅述其結構、材料、或動作,及此等構件或步驟係表示涵蓋於詳細說明部分詳加描述的相對應結構、材料、或動作及其相當物。實施例並非限於本脈絡。
有些實施例可使用表示法「一個實施例」或「一實施例」連同其衍生詞描述。此等術語表示連結該實施例描述之一特定特徵、結構、或特性係含括於至少一個實施例。於本說明書中各個位置「於一個實施例中」該片語的 出現並非必要全部皆係指同一個實施例。又復,有些實施例可使用表示法「耦合」及「連結」連同其衍生詞描述。此等術語並非必然意圖為彼此的同義詞。舉例言之,有些實施例可使用術語「連結」及/或「耦合」以指示二或多個元件係彼此直接實體接觸或電氣接觸。但術語「耦合」也可表示二或多個元件並不彼此直接接觸,但仍然彼此協作或互動。
須強調提出摘要說明部分以讓讀者迅速地確定技術揭示內容的本質。但須瞭解提交摘要說明部分並非用以解譯或限制申請專利範圍各項的範圍或意義。此外,於前文詳細說明部分中可知,多項特徵被集結於單一實施例中用以讓揭示內容流暢。此種揭示方法不應解譯為反映出所請求專利的實施例要求比較於申請專利範圍各項中明白地引述者更多特徵。反而如後文申請專利範圍各項反映,本發明之主旨具有比單一揭示實施例的全部特徵更少的特徵。如此,後文申請專利範圍係併入詳細說明部分,而申請專利範圍各項各自表示單一實施例。於隨附之申請專利範圍各項中,術語「包括」及「於其中」係單純地分別用作為個別術語「包含」及「其中」的相當白話英文。此外,術語「第一」、「第二」、「第三」等僅係用作為標示之用,而非對其物體加諸數值要求。
前文描述內容包括所揭示架構之範例。當然不可能描述組成元體及/或方法的每個可覺察的組合,但熟諳技藝人士將瞭解可能有多種進一步組合及置換。因此該新穎 架構意圖涵蓋落入於隨附之申請專利範圍各項的精髓及範圍內之全部此等變更、修改及變異。
100‧‧‧配置
102‧‧‧裝置
104‧‧‧中央處理單元(CPU)
106‧‧‧圖形處理器
108‧‧‧記憶體
110‧‧‧選擇編碼組件
112‧‧‧視訊內容
114‧‧‧選擇性編碼視訊串流
115‧‧‧接收裝置

Claims (23)

  1. 一種裝置,其係包含:儲存一視訊框的一記憶體;一處理器電路;及用以在該處理器電路上執行以從事該視訊框的選擇性編碼之一選擇性編碼組件,該選擇性編碼係將該視訊框分類成一主物體區域及一背景區域,及以一第一品質位準編碼該主物體區域,及以一第二品質位準編碼該背景區域,該第一品質位準係包含比該背景品質位準更高的一品質位準。
  2. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件,當頻寬下降至低於一頻寬臨界值時係從事選擇性編碼。
  3. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件用以針對在該視訊框內部的像素從事一面部辨識程序,及指定由該面部辨識程序所識別的面部區域作為主物體區域。
  4. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件當接收到指示低頻寬的一信號時,用以生成一選擇性編碼視訊串流包含多個選擇性編碼視訊框。
  5. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件係接收一使用者擇定像素區域,及根據該 使用者擇定像素區域,以該第一品質位準選擇性編碼在該視訊框內部的一物體。
  6. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件係生成位置資訊其用以識別在針對該主物體區域的一視訊框中之像素座標。
  7. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件用以將於該視訊框內分類為一主物體區域自相關聯於一第一物體的一第一區域切換成相關聯於一第二物體相聯結的一第二區域。
  8. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件將於該視訊框中之一額外一區域分類為一二次物體區域,及以低於該第一品質位準而高於該背景品質位準的一第二品質位準編碼該二次物體區域。
  9. 如請求項1之裝置,其中該主物體區域係包含該視訊框的二或多個分開區域。
  10. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件用以生成一位元遮罩其係識別相對應於該背景區域的該資料訊框之像素。
  11. 如請求項1之裝置,其中用以在該處理器上執行之該選擇性編碼組件用以根據指示使用者活動的信號而從事選擇性編碼。
  12. 一種包含指令之至少一個電腦可讀取儲存媒體,該等指令當執行時使得一系統應答於一視訊框之接收,選擇性編碼該視訊框,該選擇性編碼用以將該視訊框分類成一 主物體區域及一背景區域,及以一第一品編碼該主物體區域,及以一第二品質位準編碼該背景區域,該第一品質位準係包含比該背景品質位準更高的一品質位準。
  13. 如請求項12之至少一個電腦可讀取儲存媒體,該媒體包含指令,該等指令當執行時使得一系統當頻寬下降至低於一頻寬臨界值時用以從事選擇性編碼。
  14. 如請求項12之至少一個電腦可讀取儲存媒體,該媒體包含指令,該等指令當執行時使得一系統針對在該視訊框內部的像素從事一面部辨識程序,及指定由該面部辨識程序所識別的面部區域作為主物體區域。
  15. 如請求項12之至少一個電腦可讀取儲存媒體,該媒體包含指令,該等指令當執行時使得一系統當接收到指示低頻寬的一信號時,生成一選擇性編碼視訊串流包含多個選擇性編碼視訊框。
  16. 如請求項12之至少一個電腦可讀取儲存媒體,該媒體包含指令,該等指令當執行時使得一系統接收一使用者擇定像素區域,及根據該使用者擇定像素區域,以該第一品質位準選擇性編碼在該視訊框內部的一物體。
  17. 如請求項12之至少一個電腦可讀取儲存媒體,該媒體包含指令,該等指令當執行時使得一系統生成位置資訊,其識別在針對該主物體區域的一視訊框中之像素座標。
  18. 如請求項12之至少一個電腦可讀取儲存媒體,該媒體包含指令,該等指令當執行時使得一系統將於該視訊框中 之一額外一區域分類為一二次物體區域,及以低於該第一品質位準而高於該背景品質位準的一第二品質位準編碼該二次物體區域。
  19. 一種方法,該方法係包含以下步驟:應答於接收到一視訊框,從事該視訊框的選擇性編碼,該選擇性編碼係包含:將該視訊框分類成一主物體區域及背景區域;以一第一品質位準編碼該主物體區域;及以低於該第一品質位準的一背景品質位準編碼該視訊框的背景區域。
  20. 如請求項19之方法,其係包含當頻寬下降至低於一頻寬臨界值時從事選擇性編碼。
  21. 如請求項19之方法,其係包含針對在該視訊框內部的像素從事一面部辨識程序,及指定由該面部辨識程序所識別的面部區域作為主物體區域。
  22. 如請求項19之方法,其係包含生成位置資訊其係識別在針對該主物體區域的一視訊框中之像素座標。
  23. 如請求項19之方法,其係包含將於該視訊框中之一額外一區域分類為一二次物體區域,及以低於該第一品質位準而高於該背景品質位準的一第二品質位準編碼該二次物體區域。
TW103100971A 2013-01-15 2014-01-10 用於管理視訊串流之技術 TWI528787B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361752713P 2013-01-15 2013-01-15
US14/039,773 US20140198838A1 (en) 2013-01-15 2013-09-27 Techniques for managing video streaming

Publications (2)

Publication Number Publication Date
TW201440493A true TW201440493A (zh) 2014-10-16
TWI528787B TWI528787B (zh) 2016-04-01

Family

ID=51165116

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103100971A TWI528787B (zh) 2013-01-15 2014-01-10 用於管理視訊串流之技術

Country Status (2)

Country Link
US (1) US20140198838A1 (zh)
TW (1) TWI528787B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI602429B (zh) * 2015-01-16 2017-10-11 富士通股份有限公司 視訊傳輸方法及視訊傳輸設備
TWI635744B (zh) * 2017-02-17 2018-09-11 晶睿通訊股份有限公司 影像串流處理方法及其影像串流裝置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
US9307191B2 (en) * 2013-11-19 2016-04-05 Microsoft Technology Licensing, Llc Video transmission
US20150181168A1 (en) * 2013-12-20 2015-06-25 DDD IP Ventures, Ltd. Interactive quality improvement for video conferencing
EP3092798A4 (en) * 2014-01-09 2017-08-02 Square Enix Holdings Co., Ltd. Method and system of creating and encoding video game screen images for transmission over a network
US9987743B2 (en) 2014-03-13 2018-06-05 Brain Corporation Trainable modular robotic apparatus and methods
US9533413B2 (en) 2014-03-13 2017-01-03 Brain Corporation Trainable modular robotic apparatus and methods
US9641809B2 (en) 2014-03-25 2017-05-02 Nxp Usa, Inc. Circuit arrangement and method for processing a digital video stream and for detecting a fault in a digital video stream, digital video system and computer readable program product
US20170244937A1 (en) * 2014-06-03 2017-08-24 Gopro, Inc. Apparatus and methods for aerial video acquisition
EP2961182A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
US9826252B2 (en) * 2014-07-29 2017-11-21 Nxp Usa, Inc. Method and video system for freeze-frame detection
JP6525576B2 (ja) * 2014-12-17 2019-06-05 キヤノン株式会社 制御装置、制御システム、制御方法、医用画像撮影装置、医用画像撮影システム、撮影制御方法およびプログラム
CN106034237B (zh) * 2015-03-10 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于编码切换的混合编码方法和系统
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
US10509588B2 (en) * 2015-09-18 2019-12-17 Qualcomm Incorporated System and method for controlling memory frequency using feed-forward compression statistics
US20170094171A1 (en) * 2015-09-28 2017-03-30 Google Inc. Integrated Solutions For Smart Imaging
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
JP2021500764A (ja) * 2017-08-29 2021-01-07 Line株式会社 映像通話の映像品質向上
US11048464B2 (en) * 2018-07-31 2021-06-29 Dell Products, L.P. Synchronization and streaming of workspace contents with audio for collaborative virtual, augmented, and mixed reality (xR) applications
US10412318B1 (en) 2018-10-30 2019-09-10 Motorola Solutions, Inc. Systems and methods for processing a video stream during live video sharing
JP2020080479A (ja) * 2018-11-13 2020-05-28 Necプラットフォームズ株式会社 動画記録再生装置、動画伝送システムおよび方法
EP3691277A1 (en) * 2019-01-30 2020-08-05 Ubimax GmbH Computer-implemented method and system of augmenting a video stream of an environment
US11088861B2 (en) 2019-08-16 2021-08-10 Logitech Europe S.A. Video conference system
US11095467B2 (en) 2019-08-16 2021-08-17 Logitech Europe S.A. Video conference system
US11258982B2 (en) 2019-08-16 2022-02-22 Logitech Europe S.A. Video conference system
US11038704B2 (en) * 2019-08-16 2021-06-15 Logitech Europe S.A. Video conference system
US11558548B2 (en) * 2020-05-04 2023-01-17 Ademco Inc. Systems and methods for encoding regions containing an element of interest in a sequence of images with a high resolution
US11240284B1 (en) * 2020-05-28 2022-02-01 Facebook, Inc. Systems and methods for application- and content-aware real-time video encoding
US11653047B2 (en) * 2021-07-29 2023-05-16 International Business Machines Corporation Context based adaptive resolution modulation countering network latency fluctuation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852669A (en) * 1994-04-06 1998-12-22 Lucent Technologies Inc. Automatic face and facial feature location detection for low bit rate model-assisted H.261 compatible coding of video
US7167519B2 (en) * 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
US8024483B1 (en) * 2004-10-01 2011-09-20 F5 Networks, Inc. Selective compression for network connections
US8693537B2 (en) * 2005-03-01 2014-04-08 Qualcomm Incorporated Region-of-interest coding with background skipping for video telephony
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US8593504B2 (en) * 2011-02-11 2013-11-26 Avaya Inc. Changing bandwidth usage based on user events
WO2014094216A1 (en) * 2012-12-18 2014-06-26 Intel Corporation Multiple region video conference encoding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI602429B (zh) * 2015-01-16 2017-10-11 富士通股份有限公司 視訊傳輸方法及視訊傳輸設備
TWI635744B (zh) * 2017-02-17 2018-09-11 晶睿通訊股份有限公司 影像串流處理方法及其影像串流裝置
US10237582B2 (en) 2017-02-17 2019-03-19 Vivotek Inc. Video stream processing method and video stream device thereof

Also Published As

Publication number Publication date
TWI528787B (zh) 2016-04-01
US20140198838A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
TWI528787B (zh) 用於管理視訊串流之技術
US20190066735A1 (en) Embedding Thumbnail Information Into Video Streams
US10257510B2 (en) Media encoding using changed regions
US8928678B2 (en) Media workload scheduler
US20140003662A1 (en) Reduced image quality for video data background regions
CN106664437B (zh) 一种用于对视频内容进行编码以进行无线传输的计算机实现的方法、系统、设备以及可读介质
JP6109956B2 (ja) ビデオコンテンツを前処理するエンコーダハードウェアの活用
WO2014094216A1 (en) Multiple region video conference encoding
US20140023351A1 (en) Selective post-processing of decoded video frames based on focus point determination
US20220303503A1 (en) Parameters for overlay handling for immersive teleconferencing and telepresence for remote terminals
US10791373B2 (en) Generating 2D video from 360 video
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
US20140330957A1 (en) Widi cloud mode
US9019340B2 (en) Content aware selective adjusting of motion estimation
US20140129225A1 (en) Filtering some portions of a multimedia stream
US11740693B2 (en) Gaze based video stream processing
TWI539795B (zh) 使用變化區域的媒體編碼
US20240107086A1 (en) Multi-layer Foveated Streaming
US10158851B2 (en) Techniques for improved graphics encoding
KR20130140922A (ko) 압축되지 않은 비디오 인터커넥트들 상의 송신을 위한 이미지 데이터의 지각적 무손실 압축

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees