TWI569629B - 用於在壓縮視訊資料中包括感興趣區域指示之技術 - Google Patents
用於在壓縮視訊資料中包括感興趣區域指示之技術 Download PDFInfo
- Publication number
- TWI569629B TWI569629B TW104101500A TW104101500A TWI569629B TW I569629 B TWI569629 B TW I569629B TW 104101500 A TW104101500 A TW 104101500A TW 104101500 A TW104101500 A TW 104101500A TW I569629 B TWI569629 B TW I569629B
- Authority
- TW
- Taiwan
- Prior art keywords
- roi
- image
- indication
- compressed
- compressed video
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/127—Prioritisation of hardware or computational resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Description
本發明係有關於用於在壓縮視訊資料中包括感興趣區域指示之技術。
數位擷取、儲存且觀察運動視訊影像所具之日益增加的色彩深度及解析度現在甚至以突出銳度及色彩再現之期望值的專業人員水平來與基於膠捲之攝影術之品質相匹敵。然而,此等增加亦導致增加的資料大小,從而導致對於儲存裝置之增加的儲存容量要求及對於包括運動視訊之資料之交換之增加的資料傳送速率要求。
各種類型之視訊壓縮已用於儲存及傳輸表示運動視訊之壓縮視訊資料。該等類型之視訊壓縮當中有由瑞士日內瓦的國際標準化組織公佈之廣泛使用之動畫專家組(MPEG)規範之各版本。具體而言,廣泛稱為MPEG 2及MPEG 4(亦稱為H.264)之MPEG之各版本廣泛用於經由衛星、以空中方式及基於電纜之散佈系統並且作為串流傳輸之視訊資料經由網路(例如網際網路)來傳輸運動視訊。當前正在開發的是,在開發者當中稱為高效率視訊編碼
(「HEVC」)或「H.265」的MPEG之新版本,其更新MPEG之各種態樣來更好地解決「高清晰度」電視解析度之普遍採用。
不幸的是,所謂「4K」解析度(例如3840x2160像素)運動視訊之到來表明,資料大小的增加將繼續對運動視訊壓縮演算法能夠被改良以經由壓縮來減小資料大小的速度提出挑戰。因此,正在尋求用以減小資料大小之其他方法。近期感興趣之一種方法係將運動視訊影像之一或多個訊框之一或多個部分指定為感興趣區域(ROI),以使得可更好地最佳化該等訊框之壓縮來至少允許訊框之被認為是不重要的部分被更劇烈地壓縮來進一步減小資料大小。此類訊框之被認為是更重要的其他部分可被不太劇烈地壓縮及/或可被允許用更大色彩深度加以表示。
雖然與運動視訊之產生同時進行的ROI指定已開始有效地用於控制用以壓縮該運動視訊之初始編碼,但是當前必須在解碼及/或重新編碼運動視訊之任何儲存、傳輸或其他處理階段重新導出運動視訊之每一訊框之哪個(哪些)部分是否為ROI。此包括轉碼來改變運動視訊之態樣(例如,改變解析度或色彩深度、裁剪或重調尺寸、添加字幕等)及解碼來解壓縮運動視訊以供觀察。不幸的是,ROI之此重新導出必須使用消耗大量處理資源、儲存資源及/或功率資源之各種演算法,此情形在此類資源中之一或多者(尤其是功率)有限的裝置中將很快變得難以為繼。
依據本發明之一實施例,係特地提出一種裝置,其包含:一壓縮組件,其用以壓縮一運動視訊之一影像來產生表示該運動視訊之壓縮視訊資料,該影像包含一感興趣區域(ROI);以及一擴充組件,其用以用對該影像中該ROI之一邊界之一位置的一指示來擴充該壓縮視訊資料。
100‧‧‧擷取裝置
100a‧‧‧擷取裝置
100b‧‧‧擷取裝置
113‧‧‧影像感測器
117‧‧‧距離感測器
120‧‧‧控制器
130‧‧‧視訊資料
133‧‧‧訊框
140‧‧‧控制常式
142‧‧‧壓縮組件
143‧‧‧擷取組件
147‧‧‧ROI偵測組件
148‧‧‧使用者介面組件
149‧‧‧通訊組件
150‧‧‧處理器組件
160‧‧‧儲存器
170‧‧‧ROI資料
177‧‧‧距離感測器
180‧‧‧顯示器
190‧‧‧介面
230‧‧‧壓縮視訊資料
230a‧‧‧壓縮視訊資料
230b‧‧‧壓縮視訊資料
231‧‧‧壓縮視訊位元串流
232‧‧‧GOP
233‧‧‧壓縮訊框
270‧‧‧訊息資料
271‧‧‧位元串流訊息
272‧‧‧GOP訊息
273‧‧‧訊框訊息
400‧‧‧轉碼裝置
430‧‧‧解壓縮視訊資料
430a‧‧‧解壓縮視訊資料
430b‧‧‧解壓縮視訊資料
440‧‧‧控制常式
449‧‧‧通訊組件
450‧‧‧處理器組件
460‧‧‧儲存器
470‧‧‧ROI資料
470a‧‧‧ROI資料
470b‧‧‧ROI資料
490‧‧‧介面
500‧‧‧控制器
530‧‧‧壓縮視訊資料
540‧‧‧控制常式
542‧‧‧解壓縮組件
544‧‧‧修改組件
545‧‧‧壓縮組件
550‧‧‧處理器組件
560‧‧‧儲存器
700‧‧‧觀察裝置
720‧‧‧控制器
730‧‧‧解壓縮視訊資料
740‧‧‧控制常式
745‧‧‧解壓縮組件
747‧‧‧修改組件
748‧‧‧使用者介面組件
749‧‧‧通訊組件
750‧‧‧處理器組件
760‧‧‧儲存器
770‧‧‧ROI資料
780‧‧‧顯示器
790‧‧‧介面
880‧‧‧運動視訊
883‧‧‧影像
885‧‧‧區塊
887‧‧‧ROI
920‧‧‧鍵盤
925‧‧‧印表機
950‧‧‧處理器組件
955‧‧‧耦接件
960‧‧‧儲存器
961‧‧‧依電性儲存器
962‧‧‧非依電性儲存器
963‧‧‧可移媒體儲存器
965a‧‧‧儲存器控制器
965b‧‧‧儲存器控制器
965c‧‧‧儲存器控制器
969‧‧‧機器可讀儲存媒體
980‧‧‧顯示器
985‧‧‧顯示介面
990‧‧‧介面
995a‧‧‧介面控制器
995b‧‧‧介面控制器
995c‧‧‧介面控制器
999‧‧‧網路
1000‧‧‧影像處理系統
1427‧‧‧擴充組件
2100‧‧‧邏輯流程
2200‧‧‧邏輯流程
2300‧‧‧邏輯流程
3000‧‧‧處理架構
4000‧‧‧系統
4880‧‧‧使用者介面
4900a‧‧‧平台
4900b‧‧‧內容服務裝置
4900c‧‧‧內容傳送裝置
4920‧‧‧導航控制器
4940‧‧‧應用程式
4950‧‧‧處理器組件
4955‧‧‧晶片組
4962‧‧‧儲存器
4969‧‧‧記憶體單元
4980‧‧‧顯示器
4985‧‧‧圖形子系統
4995‧‧‧收發器
4999‧‧‧網路
5000‧‧‧裝置
5427‧‧‧剖析組件
5457‧‧‧擴充組件
5880‧‧‧使用者介面
5905‧‧‧外殼
5920a‧‧‧導航控制器
5920b‧‧‧I/O裝置
5980‧‧‧顯示器
5998‧‧‧天線
7457‧‧‧剖析組件
圖1例示出影像處理系統之實施例。
圖2例示出影像處理系統之替代實施例。
圖3A至圖3B各自例示出擷取影像及判定影像內的ROI之邊界之實例實施例。
圖4例示出修改ROI之邊界之實例實施例。
圖5例示出產生壓縮視訊資料之實例實施例。
圖6例示出產生訊息資料之實例實施例。
圖7例示出修改ROI之邊界之規範的實例實施例。
圖8至圖10各自例示出實施例之一部分。
圖11至圖13各自例示出根據實施例之邏輯流程。
圖14例示出根據實施例之處理架構。
圖15例示出圖形處理系統之另一替代實施例。
圖16例示出裝置之實施例。
各種實施例大體而言係針對用於將感興趣區域(ROI)指示併入於壓縮視訊框之視訊位元串流中之技術,該
等壓縮視訊框以壓縮形式表示運動視訊之影像。更具體而言,將對於運動視訊之影像之至少一子集的ROI指示連同解析度、色彩深度、時間排序及各種壓縮參數之指示一起併入於視訊位元串流中。在一些實施例中,ROI指示可採取訊息的形式,該等訊息經格式化及/或組織來符合用於一或多種廣泛已知並使用的視訊壓縮類型之訊息之規範,以允許該等指示作為訊息包括於指示視訊框及/或其壓縮之各種態樣之其他訊息當中。使ROI指示採取符合此類規範中之一或多者之訊息的格式可允許該等指示以作為此類規範中之一或多者之部分被接受的方式併入於壓縮訊框之視訊位元串流中及/或可允許該等指示作為至少減輕與此類規範中之一或多者之不相容性的任擇特徵被併入。
在一些實施例中,MPEG之一版本或類似類型之壓縮可用來壓縮視訊框。在此類實施例中,可壓縮一系列視訊框來產生壓縮訊框(例如內訊框(I訊框)、預測訊框(P訊框)及/或雙向預測訊框(B訊框)),該等壓縮訊框被組織成圖像群組(GOP)。視訊位元串流可併入一系列眾多GOP,並且該等GOP可按時間次序來組織而每一GOP內的壓縮訊框係按編碼次序來排列。
在各種實施例中,ROI之每一此指示可適用於僅一個壓縮訊框或適用於多個壓縮訊框。在此指示適用於多個壓縮訊框之情況下,此指示所適用的壓縮訊框可單獨加以識別,可識別為自特定識別之壓縮訊框開始的若干壓縮訊框,或可藉由指定壓縮訊框可組織成的一或多個GOP加
以識別。
在各種實施例中,ROI之每一此指示可指定此指示所適用的壓縮訊框所表示的影像中ROI之邊界之位置,此係藉由用離影像之邊緣或轉角的像素數及/或像素區塊數來指定該等位置。在一些實施例中,用像素及區塊兩者來指定ROI之邊界之位置可用來更好地允許對該等壓縮訊框所表示的影像之處理。
在可能有一個以上ROI被指示為存在於壓縮訊框之影像中的實施例中,每一此ROI可與優先等級相關聯,該優先等級指示該ROI之內容相對於同一影像中之一或多個其他ROI之內容的重要程度。此類優先等級可用來控制影像之在該等ROI中每一者內的各部分之壓縮態樣(例如,該等部分中每一者被壓縮的劇烈程度)。此類優先等級可包括較低優先等級,其將影像之一部分指定為相較於並未包括於任何ROI中之其他部分不太重要,並且此類優先等級包括較高優先等級,其將影像之一部分指定為相較於並未包括於任何ROI中之其他部分更重要。ROI與此較低優先等級之關聯可使影像之在該ROI內的部分以更劇烈的方式壓縮,此方式相較於用於並未包括於任何ROI中之其他部分之壓縮可能有更多損失。
在一般參考本文使用之符號及術語的情況下,可用在電腦或電腦之網路上執行之程式程序來呈現以下詳細描述之各部分。熟習此項技術者使用此等程序描述及表示來將其工作之實質最有效地傳達給其他熟習此項技術者。
程序在此且通常係被構思成達到所要的結果之操作之自相一致序列。此等操作為需要物理量之物理調處之操作。通常但不一定,此等量採取能夠被儲存、傳送、組合、比較且以其他方式調處之電氣信號、磁信號或光信號之形式。已經證明,主要出於共同使用之原因,有時將此等信號稱為位元、值、元素、符號、字符、項、數等為便利的。然而,應注意,此等及類似詞全部將與適當物理量相關聯,且僅為應用於該等量之便利標記。
此外,此等調處通常在諸如相加或比較之項中被引用,該等項通常與由人類操作者進行之心理操作相關聯。然而,人類操作者之此能力在形成一或多個實施例之部分之本文所述之操作中的任一操作中為不必要的,或在大多數狀況下為不合意的。實情為,此等操作為機器操作。對於進行各種實施例之操作之有用之機器包括如由根據本文教示撰寫之儲存在內之電腦程式選擇性地啟動或組配之通用數位電腦,且/或包括出於所需目的特別構造之設備。各種實施例亦關於用於進行此等操作之設備或系統。此等設備可出於所需目的特別地構造或可併入通用電腦。各種此等機器之所需結構將自給出的描述顯而易見。
現參考圖式,其中相似元件符號始終用來指相似元件。在以下描述中,出於解釋之目的,闡述許多特定細節以便提供該描述之徹底理解。然而,可為明顯的是,可在無此等特定細節的情況下實踐新穎實施例。在其他情況下,以方塊圖形式展示出熟知的結構及裝置以便促進其描
述。意欲涵蓋申請專利範圍之範疇內之所有修改、等效物及替代方案。
圖1例示出影像處理系統1000之實施例之方塊圖,該影像處理系統併入擷取裝置100、轉碼裝置400及觀察裝置700中之一或多者。在影像處理系統1000中,可由擷取裝置100產生以壓縮形式表示運動視訊880之壓縮視訊資料230。隨後可由轉碼裝置400自擷取裝置100接收壓縮視訊資料230,並且可由轉碼裝置400以各種方式修改運動視訊880之影像來產生以經修改且壓縮的形式表示運動視訊880之壓縮視訊資料530。觀察裝置700可分別自擷取裝置100或轉碼裝置400接收壓縮視訊資料230或壓縮視訊資料530以供視覺呈現。此等裝置100、400及700中每一者可為各種類型之運算裝置中之任一者,包括但不限於桌上型電腦系統、資料輸入終端、膝上型電腦、上網本電腦、平板電腦、手持式個人資料助理、智慧型手機、智慧型眼鏡、智慧型手錶、數位相機、併入衣服中之身體穿戴式運算裝置、整合至車輛中(例如汽車、腳踏車、輪椅等)之運算裝置、伺服器、伺服器叢集、伺服器場等。
如所繪示,此等裝置100、400及/或700經由網路999交換傳遞表示運動視訊880之壓縮及/或未壓縮資料及/或相關資料之信號。然而,此等運算裝置中之一或多者可經由網路999相互交換及/或與其他運算裝置(未展示)交換完全與運動視訊880無關之其他資料。在各種實施例中,網路999可為可能限於在單個建築或其他相對有限的區域內
延伸之單個網路、可能延伸相當大的距離之連接網路之組合,且/或可包括網際網路。因此,網路999可基於藉以交換信號之各種通訊技術(或通訊技術之組合)中任一者,包括但不限於使用電氣及/或光學傳導的電纜纜線之有線技術,及使用紅外線、射頻或其他形式之無線傳輸之無線技術。亦應注意,此資料或者可經由可移儲存器(例如,基於快閃記憶體技術之固態儲存器、光學碟片媒體等)在不同時間至每一運算裝置的直接耦接加以交換。
在各種實施例中,擷取裝置100併入處理器組件150、儲存器160、控制器120、顯示器180、影像感測器113、距離感測器117及用以將擷取裝置100耦接至網路999之介面190中之一或多者。儲存器160儲存控制常式140、視訊資料130、ROI資料170及壓縮視訊資料230中之一或多者。影像感測器113可基於用於擷取場景之影像之各種技術中任一者,包括但不限於電荷耦合裝置(CCD)半導體技術。若存在,則距離感測器117可基於用於至少判定在影像感測器113視野中之至少一個物件距擷取裝置100之距離的各種技術中任一者。在一些實施例中,可使用超聲輸出及接收之組合,其中至少此距離可藉由朝向該物件投射超聲聲波且判定該等聲波在由該物件反射之後返回所需之時間之量來判定。在其他實施例中,可代替超聲聲波以類似方式使用紅外光之射束。熟習此項技術者將想到用以判定物件距擷取裝置100之距離的其他技術。
控制常式140併入可在角色為擷取裝置100之主
要處理器組件的處理器組件150上操作之指令序列來實行用以進行各種功能之邏輯。在執行控制常式140之指令序列中,使處理器組件150擷取構成運動視訊880之一系列影像並且將該等影像壓縮為視訊位元串流之壓縮訊框。在如此進行時,亦使處理器組件150判定該等影像中每一者中是否存在至少一個ROI及每一此ROI之邊界之位置。應注意,運動視訊中的一系列影像當中可能有眾多影像具有一或多個ROI,並且相同的一系列影像中可能有眾多影像不具有任何ROI,其取決於影像中每一者之內容。考慮到當前運動視訊攝影術中使用之相對高的訊框速率,運動視訊之多個連續影像可具有帶有相同邊界(例如,定義相同大小及相同區域並且位於相同位置的邊界)之ROI,此係由於大多數真實世界物件在大多數運動視訊中移動的速度相對低。因此,如將詳細解釋的,ROI可能常常跨運動視訊之多個連續影像「持續」,此係由於物件在許多真實世界運動視訊中傾向於跨多個連續影像保持在同一位置。
運動視訊880之影像的擷取及運動視訊880之該等所擷取影像中每一者中ROI之邊界之存在及/或位置的判定可由接收到用以進行此操作之命令觸發。更具體而言,處理器組件150可等待將命令傳遞至擷取裝置100之信號以操作至少影像感測器113來擷取運動視訊880之影像並且將該等所擷取影像儲存為視訊資料130之訊框。信號可自控制器120接收並且表示擷取裝置100之操作者對控制器120之手動操作。或者,信號可自另一裝置接收,並且可經由網
路999如此接收。除了響應於信號而擷取運動視訊880,處理器組件150亦可分析在影像感測器113視野中的物件及/或由距離感測器117偵測之離該等物件之距離,來導出ROI中之一或多者及/或判定ROI中之一或多者的邊界之位置。
圖3A更詳細繪示擷取構成運動視訊880之一系列影像883中之一個影像883及判定至少所繪示影像883內的ROI 887之位置之實例。在支援自動聚焦之擷取裝置110之實施例中,處理器組件150操作距離感測器117來判定擷取裝置100與在影像感測器113視野中的物件(例如所繪示的樹)之間的距離,該物件將成為影像883。處理器組件150可操作聚焦組件或與影像感測器113相關聯的其他組件來針對此所判定距離調整焦點。
在一些可能的實行方案中,可操作距離感測器117來判定自擷取裝置100至在影像感測器113視野中的最接近於擷取裝置100之物件的距離。在此類實行方案中,距離感測器117可具有用來判定該最接近物件之位置及大小之某種能力,並且處理器組件150可將ROI 887之邊界判定為包圍對該視野擷取之影像883內的該最接近物件之至少一部分。
在其他可能的實行方案中,可操作距離感測器117來判定自擷取裝置100至在影像感測器113視野之中心處之物件的距離,而不考慮擷取裝置100與該視野中之任何其他物件之間的距離。此類實行方案可反映至少大多數所擷取影像883將以操作擷取裝置100之任何人感興趣之物件
為中心之假定。在此類實行方案中,ROI 887之位置可定義為在預設情況下位於視野883之中心處。然而,距離感測器117可具有用來判定該視野之中心處的物件之大小及/或形狀的某種能力,藉此允許處理器組件150判定該物件填充視野之程度,且最終允許處理器組件150判定影像883內的ROI 887之邊界。
因此,在此類實行方案中,距離感測器117除了允許判定離物件之距離以用於諸如自動聚焦之其他功能之外,亦可用作用以判定影像883內的ROI 887之邊界之輔助設備。在調整焦點(無論是否經由使用距離感測器117)後,藉由執行控制常式140,使處理器組件150操作影像感測器113來擷取在影像感測器113視野中之事物之影像883。
圖3B更詳細繪示擷取運動視訊880之影像883及判定影像883內的ROI 887之位置之實例。更具體而言,無論距離感測器117是否存在或是否用來進行諸如自動調整焦點之功能,均可使用可能不利用距離感測器117之其他技術來判定影像883內的ROI 887之位置。
在一些可能實施例中,可使處理器組件150使用一或多個演算法來分析在影像感測器113視野中之物件,以試圖基於一或多個特定類型之物件可能為正操作擷取裝置100之任何人感興趣的之假定來識別該等類型之物件。因此,例如,可使處理器組件150使用臉偵測演算法來搜尋在影像感測器113視野中之臉。在識別視野中之臉之後,可使處理器組件150定義將要對該視野取得之影像883內的ROI
887之邊界以包圍該所識別之臉。
在其他可能實施例中,處理器組件150可接收指示擷取裝置200之操作者對控制器120之手動操作的信號,該手動操作用以手動指示ROI 887之邊界。此手動提供之指示可代替該等邊界之自動判定,可為該等邊界之此自動判定之精化且/或可用以指定額外感興趣區域(未展示)之邊界。
為擷取運動視訊880,處理器組件150重複地操作影像感測器113來擷取一系列影像883。在如此操作影像感測器113中,處理器組件150自影像感測器113接收傳遞所擷取影像883之信號並且將一系列所擷取影像883儲存為視訊資料130之一系列未壓縮訊框。相應地,在包括距離感測器177之實施例中,處理器組件可針對影像883中之每一者之每一擷取重複地操作影像感測器117來判定在影像感測器113視野中的物件之距離、位置及/或大小,以判定所擷取影像883中之每一者是否包括ROI及/或ROI之邊界。處理器組件150將運動視訊880之所擷取影像883中之一或多者中可能存在(無論是否經由距離感測器117之操作判定為存在)的ROI 887之邊界之指示儲存為ROI資料170,以便隨後用於壓縮表示運動視訊880之視訊資料130之未壓縮訊框。
返回至圖1,並且在儲存視訊資料130及隨附ROI資料170之後,處理器組件150使用各種壓縮編碼演算法中任一者來壓縮視訊資料130以產生壓縮視訊資料230。更確切而言,處理器組件150壓縮視訊資料130之未壓縮訊框來
產生壓縮視訊資料230之對應壓縮訊框,該等未壓縮訊框各自表示運動視訊880之影像883中之一者。在一些實施例中,處理器組件150可使用與用於運動視訊壓縮之工業接受標準相關聯之壓縮編碼演算法,該工業接受標準諸如但不限於由ISO/IEC(國際標準化組織及國際電子技術委員會)公佈之MPEG(動畫專家組)之各種化身之H.263或H.264,或由SMPTE(動畫與電視工程師協會)公佈之VC-1。
在如此壓縮視訊資料130中,處理器組件150使用表示為視訊資料130之未壓縮訊框之影像883中之至少一些內的ROI 887之邊界之指示來在產生壓縮視訊資料230之對應的壓縮訊框中改變壓縮程度。換言之,對於包括ROI 887之影像883中之一者,可使處理器組件150將該等影像883在ROI 887內的部分相較於不在ROI 887內的其他部分壓縮不同的程度。例如,影像883在ROI 887內的部分之壓縮之一或多個參數可能不同於同一影像883不在ROI 887內的部分之壓縮之一或多個對應參數。此參數差異可包括色彩深度差異、色彩編碼差異、品質設定差異、量化參數差異、有效地選擇無損壓縮或有損壓縮之參數差異、壓縮比參數差異等中之一或多者。
因此,影像883中之此一者在ROI 887內之像素在壓縮視訊資料230內係以壓縮形式用相較於同一影像883不在該ROI 887內之像素更高的平均每像素位元數來表示。換言之,相較於在同一影像883內之ROI 887中之像素,每一像素平均丟失了與在影像883中之ROI 887外部的像素相關
聯的更多資訊。因此,在稍後時間,當作為觀察運動視訊880之部分來解壓縮壓縮視訊資料230時,影像之在該影像之ROI 887內的部分能夠以更高影像品質顯示(例如,更詳細地顯示且/或以更大色彩深度來顯示等)。
在一些實施例中,ROI 887中之至少一些可與優先等級相關聯,該優先等級指示該ROI之內容相對於影像883不在ROI 887內的部分及/或相對於其他ROI 887之內容的重要程度。處理器組件150在判定ROI 887中之每一者的優先等級中可使用各種演算法中之任一者。藉由實例的方式,處理器組件150可基於物件離擷取裝置113之相對距離來導出優先等級,其中更接近的物件相較於離擷取裝置100更遠的物件與指示更大重要性之優先等級相關聯。或者,或另外,用於至少一些ROI 887之優先等級可經由網路999或經由控制器120之操作自另一運算裝置提供至擷取裝置100。影像883在一或多個ROI 887內或外部的不同部分被壓縮之程度可至少部分基於與該等部分中之每一者相關聯的優先等級,其包括與一或多個ROI 887相關聯的優先等級。影像883在具有指示相對高重要性之優先等級之ROI 887內的部分相較於同一影像在具有指示較低重要性之優先等級之ROI 887內的另一部分或同一影像不在任何ROI 887內的另一部分可壓縮較低的程度。或者,或另外,ROI 887可與實際指示甚至與影像不在任何ROI 887內的部分相比而言相對低之重要性之優先等級相關聯,並且優先等級所指示的此較低重要性可導致在該ROI 887內的部分被壓縮更大
的程度(例如「更劇烈地」),因此丟失更多其細節。本質上,與指示此較低重要性之優先等級相關聯的ROI 887可被認為是「不太感興趣區域」,因此由更劇烈壓縮引起的其細節丟失被認為不重要。如將更詳細解釋的,將一系列影像883之一部分指定為具有與指示較低重要性之優先等級相關聯的ROI 887可在該等影像883與其他影像組合的情況下使用,其中具有較低重要性之ROI 887表示將由不同影像之至少一部分覆疊之區域。
應注意,與工業標準相關聯的壓縮編碼演算法之選擇可導致對於壓縮視訊資料230之特性強加各種要求。具體而言,此工業標準可能包括關於組織以壓縮形式表示影像之資料之各部分之方式的說明(例如,標頭之內容、訊息資料之訊息等)、組織與影像之每一像素相關聯之資料的次序(例如鋸齒狀掃描之特定模式)、對可利用的色彩深度及/或色彩編碼之選擇之限制等。例如,且如圖4中繪示,一些壓縮編碼演算法可能需要將影像883之像素組織成像素之二維區塊885,諸如MPEG之各種版本之典型8x8像素區塊或典型16x16像素「巨集區塊」。此外,此類壓縮編碼演算法中之一些需要每一此區塊885內之所有像素與共同色彩深度、共同色彩編碼及/或其他共同的壓縮相關參數相關聯,使得不可能使用與同一區塊885之其他像素不同的該等參數中之至少一些來壓縮區塊885之像素中的一些。
因此,在ROI 887之邊界不與區塊885中之相鄰區塊之邊界對準的情況下,ROI 887之邊界可由處理器組件
150改變,以與區塊885之邊界對準。在一些實施例中,處理器組件150使ROI 887之邊界中之任何未對準邊界朝向區塊885中之相鄰區塊之邊界中之最接近邊界位移,而不考慮如此做是否增加或減少ROI 887之二維面積。在其他實行方案中,處理器組件150使ROI 887之邊界中之任何未對準邊界向外位移至在ROI 887之原始邊界外部的區塊885中之相鄰區塊之最接近邊界(如圖4中具體繪示),使得ROI 887之二維面積只能增加。可進行此操作以確保在該ROI 887內的物件隨後並未由於該ROI 887之二維面積縮小而自ROI 887移除(全部或部分)。作為替選方案,且假定壓縮編碼演算法之選擇在定義ROI 887之邊界時為已知的,可最初將ROI 887之邊界定義成與區塊885中之相鄰區塊之邊界中之多者對準,以避免在稍後時間必須隨後使ROI 887之邊界位移。
然而,在其他實施例中,改變影像883之ROI 887之邊界以與區塊885中之相鄰區塊之邊界對準的方式可至少部分由與該ROI 887及至少影像883不在該ROI 887內的部分相關聯的相對優先等級來控制。藉由實例的方式,在ROI 887與相較於在該ROI 887外部的部分之優先等級指示較高重要性的優先等級相關聯之情況下,則可使該ROI 887之邊界向外位移以與區塊885中之相鄰區塊之最接近邊界對準,以確保該ROI 887之所有內容係以與其較高重要性一致的方式壓縮。然而,在該ROI 887與相較於在該ROI 887外部的部分之優先等級指示較低重要性的優先等級相關聯之情況下,則可使該ROI 887之邊界向內位移以與區塊885
中之相鄰區塊之最接近邊界對準,以確保在該ROI 887外部的部分之所有內容係以與其較高重要性一致的方式壓縮。
圖5例示出自視訊資料130及ROI資料170產生壓縮視訊資料230之實例實施例。如所繪示,視訊資料130由一系列訊框133構成,該等訊框各自表示運動視訊880之影像883中之一者,且相應地,壓縮視訊資料230由壓縮訊框233構成,該等壓縮訊框各自對應於訊框133中之一者並且表示運動視訊880之影像883中之一者。如亦繪示的,使用需要產生圖像群組(GOP)之壓縮類型(例如MPEG之一版本),使得處理器組件150將視訊資料130之訊框133分成群組。隨後壓縮訊框133之每一此群組來產生由壓縮訊框233構成的GOP 232,該等壓縮訊框對應於訊框133之該群組之該等訊框133。將GOP 232組織成壓縮視訊位元串流231,該壓縮視訊位元串流成為以壓縮形式表示運動視訊880之壓縮視訊資料230之部分。
視訊資料230亦併入訊息資料270,該訊息資料伴隨壓縮視訊位元串流231並且包括壓縮訊框233之壓縮之各種參數的指示,該等參數中之一些係針對壓縮訊框233中之各別壓縮訊框指定的並且該等參數中之一些係針對一或多個完整GOP 232指定的。在處理器組件150壓縮訊框133時,處理器組件150產生該等指示並且將其包括於訊息資料270內來提供壓縮訊框233之後續解壓縮所需的資訊。此資訊可包括色彩深度、色彩空間編碼、量化參數、區塊大小等。處理器組件150可另外包括ROI 887之邊界及/或優先等級之
指示,該等ROI可能包括於由壓縮訊框233表示之影像883中之至少一些中。
如先前所論述,取決於所使用壓縮演算法,每一ROI 887之邊界可能需要改變,以變得與區塊885(例如MPEG巨集區塊)中之相鄰區塊之邊界對準,在此類壓縮演算法中可將影像883中之每一者分成該等區塊。在一些實施例中,ROI 887之邊界之位置的指示可用離影像883之一或多個所選邊緣及/或轉角的像素數來指定ROI 887之邊界之原始未改變位置(例如基於像素之雙軸笛卡兒式坐標系統)。在其他實施例中,ROI 887之邊界之位置的指示可指定被改變以與區塊885中之相鄰區塊之邊界對準的ROI 887之邊界之位置。在如此進行時,可用離影像883之一或多個所選邊緣及/或轉角的像素數或區塊885數來指定ROI 887之邊界。或者,在區塊885具備獨特識別符的情況下,可用ROI 887中之每一者中包括訊框883中之每一者中的區塊885中之哪些區塊來指定ROI 887之邊界。在其他實施例中,ROI 887之邊界之位置的指示可指定ROI 887中之每一者之邊界的原始未改變位置及已改變位置兩者,並且可使用用以指定原始未改變位置之像素數量(例如基於像素之坐標)與用以指定已改變位置之區塊885的數量之組合來如此進行。
應注意,表示運動視訊880之影像883之視訊資料130的訊框133自左至右按擷取裝置100在擷取該等訊框所對應的影像883時可能所依照之時間次序(例如,沿著所繪示「時間」箭頭在最舊至最近的方向上)排列。此外,GOP
232亦可按相同時間次序來組織,主要係由於處理器組件150壓縮該等訊框133之群組之時間次序。然而,GOP 232中之每一者內的壓縮訊框233可按編碼次序來組織,按該編碼次序,壓縮訊框232中被壓縮訊框232中之其他壓縮訊框用作參考訊框之壓縮訊框在壓縮訊框232中之該等其他壓縮訊框前面。如熟習此項技術者所熟知,通常進行此操作來允許以相對穩定的速率進行解壓縮,其中絕不會有如下情況:壓縮訊框232之間的相依性使壓縮訊框232中之一者的解壓縮被延遲,直至進行解壓縮之任何裝置接收到壓縮訊框232中之另一者為止。
圖6相較於圖5略微更詳細地例示出自視訊資料130產生壓縮視訊資料230之單個GOP 232之實例實施例。特定而言,繪示了自視訊資料130之五個對應訊框133產生所繪示GOP 232中之五個壓縮訊框233。亦繪示了可由處理器組件150連同所繪示壓縮訊框233一起產生的訊息資料270之可能訊息之實例集合。如熟習此項技術者所熟知,至少在產生壓縮視訊資料230以符合一或多個視訊壓縮標準(例如MPEG之一或多個版本)的情況下,訊息資料270可包括提供與經產生來表示運動視訊880之整個壓縮位元串流231(包括其所有壓縮訊框233)有關的對各種壓縮態樣等之指示之訊息,諸如所繪示的位元串流訊息271。或者,或另外,訊息資料270可包括提供與整個GOP 232(包括其所有壓縮訊框233)有關的此類指示之訊息,諸如所繪示的GOP訊息272。或者,或另外,訊息資料270亦可包括提供與壓縮
訊框233中之一或多個各別壓縮訊框有關的此類指示之訊息,諸如所繪示的訊框訊息273。應注意,壓縮訊框233之產生之此特定繪示係略微簡化的繪示以促進論述及理解,並且一般預期GOP 232將通常併入更大系列之壓縮訊框233。
如已論述,視訊資料130之訊框133可按時間次序排列(繪示為自左至右自最舊至最近發展),但是對應壓縮訊框233可在GOP 232內按編碼次序組織。如圖6中具體繪示,此可能的次序差異之結果可為,一對壓縮訊框233的次序在GOP 232內相對於其對應的一對訊框133被反轉。由於此次序改變,使包括具有在相同位置之邊界之同一ROI 887並且由訊框133中之三個連續訊框表示的三個時間連續影像883由三個不連續壓縮訊框233表示。更確切而言,前述的使壓縮訊框233中之兩個的位置反轉成編碼次序導致表示不包括ROI 887之影像883之壓縮訊框233被插入三個壓縮訊框233中之兩個之間,該等兩個壓縮訊框表示三個影像883中之包括ROI 887之影像。
如所繪示,ROI資料170可含有對ROI 887存在於由訊框133中之三個連續訊框表示之三個連續影像883中的單個指示177。藉由實例的方式,此單個指示177可指示ROI 887之邊界之位置,可將此等三個訊框133中之最舊訊框(例如此等三個中之最左側訊框)指定為表示包括ROI 887之影像883,並且可包括「持續性值」,該值指示ROI 887存在於由接在三個訊框133中之此最舊訊框後面之數量為兩個的
更多訊框133表示之影像883中。然而,由於此等三個訊框133之連續排列在其於GOP 232內的壓縮訊框233中之對應壓縮訊框的排序中並未保留,因此將此ROI 887指示為存在於由壓縮訊框233中之對應的不連續壓縮訊框表示之影像883中的方式可改變。
在一些實施例中,並且如圖6中繪示,可在訊息資料270內產生一個以上訊框資訊273來指示壓縮訊框233中之哪一個表示包括此ROI 887之影像883。具體而言,可在訊息資料270內產生一個訊框訊息273,其指示此ROI 887存在於由此等三個壓縮訊框233中之最舊壓縮訊框(例如,此等三個中之最左側壓縮訊框)表示之影像883中,並且可包括持續性值,該值指示此同一ROI 887亦存在於由連續地接在三個壓縮訊框233中之此最舊壓縮訊框後面之數量為一個的更多壓縮訊框233表示之影像883中。亦可在訊息資料270內產生另一訊框訊息273,其指示此ROI 887存在於由此等三個壓縮訊框233中之最近壓縮訊框(例如,此等三個中之最右側壓縮訊框)表示之影像883中,並且可包括持續性值,該值指示此同一ROI 887並不存在於由連續地接在三個壓縮訊框233中之此最近壓縮訊框後面之任何壓縮訊框233表示之任何影像883中。此等兩個訊框訊息273中之每一者可在訊息資料270內相互完全獨立地產生,其中任一者並不參考另一者,並且各自獨立地指示此ROI 887之邊界之位置。
在壓縮訊框233中之每一者可使用識別符或藉由
在GOP 232內的相對位置來獨特地識別之其他實施例中,在訊息資料270內可產生單個訊框訊息273,其識別表示三個影像883中包括此ROI 887之一個影像的三個壓縮訊框233中之每一者。因此,此訊框訊息273將根本不使用持續性值。此訊框訊息273亦將指示所有三個此等影像883中之此ROI 887之邊界的位置。
在經由使用MPEG之一版本(諸如H.265(亦稱為HEVC))由視訊資料130產生壓縮位元串流231之實施例中,在訊息資料270中產生的用以指示ROI之訊息271、272及/或273可使用指示此類訊息係輔助增強資訊(SEI)訊息的訊息語法。此類訊息可使用與MPEG之此版本相容的語法,並且此語法可用來指定此訊息之以下參數:nal_unit_type=PREFIX_SEI_NUT(39)
payloadType=region_of_interest 235
payloadSize=variable
用於nal_unit_type之代碼39指示訊息係SEI訊息,代碼235係可被分配來指定ROI訊息之保留的SEI訊息類型代碼之實例,並且代碼「variable」指示訊息大小(以位元為單位)在此訊息之一個例項與另一例項之間可變化。
在此訊息內,可如以下所指示來組織內容,如適合與MPEG之一版本一起使用的語法中所描述:
具有以上語法之此訊息之語義如下:
返回至圖1,在自視訊資料130及ROI資料170產生壓縮視訊資料230(其中包括訊息資料270)之後,處理器組件150將壓縮視訊資料230提供至另一裝置。處理器組件150可藉由操作介面190以經由網路999將壓縮視訊資料230傳輸至另一裝置來進行此操作。在一些實施例中,處理器組件150可經由網路999將壓縮視訊資料230傳輸至轉碼裝置400及/或觀察裝置700。在其他實施例中,處理器組件150可將壓縮視訊資料230儲存於可移媒體(未展示)上,該可移媒體隨後可用來將壓縮視訊資料230傳遞至轉碼裝置400及/或觀察裝置700。
觀察裝置700併入處理器組件750、儲存器760、控制器720及用以將觀察裝置700耦接至網路999之介面790中之一或多者。觀察裝置700亦可併入顯示器780以在上面視覺呈現運動視訊880,或顯示器780可與觀察裝置700實體上分離但可通訊地耦接至觀察裝置700。控制器720可為各種可手動操作之輸入裝置中之任一者,觀察裝置700之操作者可藉由其傳遞命令來選擇觀察裝置700在顯示器780上視覺呈現之事物。例如,控制器720可包括觀察裝置700本身
的外殼所攜載之可手動操作之控制器,及/或可包括無線地耦接至觀察裝置700之遙控器所攜載之可手動操作之控制器。儲存器760儲存壓縮視訊資料230(或壓縮視訊資料530)、控制常式740、解壓縮視訊資料730及ROI資料770中之一或多者。
控制常式740併入可在處理器組件750上操作之指令序列來實行用以進行各種功能之邏輯。在執行控制常式740中,處理器組件750可自擷取裝置100接收壓縮視訊資料230。或者,處理器組件750可自轉碼裝置400接收壓縮視訊資料530,其中壓縮視訊資料530可自對壓縮視訊230所做之修改產生,如將更詳細地解釋。此外,可經由網路999或藉由諸如可移儲存媒體之另一機構接收壓縮視訊資料230或530。在執行控制常式740中,處理器組件750解壓縮所接收的壓縮視訊資料230或530中之任一者。在如此進行時,處理器組件750產生以解壓縮形式表示運動視訊880之解壓縮視訊資料730,並且產生ROI資料770,該ROI資料由存在於由解壓縮視訊資料730之解壓縮訊框表示的影像883內的ROI 887之指示構成。
在一些實施例中,處理器組件750可使用ROI資料770來判定可在影像883中之每一者之哪些部分處應用一或多個影像增強技術。藉由實例的方式,處理器組件750可僅在ROI資料770中指示具有相對高優先等級之ROI 887存在的情況下使用各種平滑化、色彩校正或其他影像增強技術,以作為在為視覺呈現運動視訊880所做之準備中分配有
限的處理資源、儲存資源及/或功率資源的方式。或者,或另外,處理器組件750可使分析每一影像883來識別臉僅限於每一影像883之被指示為存在ROI 887之部分,並且在識別ROI 887內的臉之後,處理器組件750可應用膚色增強演算法。
處理器組件750可監視控制器720來接收控制器720之操作之指示,該操作用以傳遞命令來導致連同運動視訊880一起視覺呈現額外資訊,諸如通道編號、程式描述、小應用程式之文字或圖形等。在如此進行時,處理器組件750可使用任何ROI 887之邊界之位置之指示來判定將此額外資訊視覺呈現於顯示器780上的何處。藉由實例的方式,處理器組件750可試圖避免將此額外資訊之視覺呈現定位於顯示器780上視覺呈現了在ROI資料770中指示為具有相對高優先等級之ROI 887之位置。
轉碼裝置400併入處理器組件450、儲存器460、控制器500及用以將轉碼裝置400耦接至網路999之介面490中之一或多者。儲存器460儲存壓縮視訊資料230及控制常式440中之一或多者。控制器500併入處理器組件550及儲存器560中之一或多者。儲存器560儲存控制常式540、解壓縮視訊資料430、ROI資料470及壓縮視訊資料530中之一或多者。
控制常式440併入可在角色為轉碼裝置400之主要處理器組件的處理器組件450上操作之指令序列來實行用以進行各種功能之邏輯。在執行控制常式440中,處理器
組件450可自擷取裝置100接收壓縮視訊資料230。此外,可經由網路999或藉由諸如可移儲存媒體之另一機構接收壓縮視訊資料230。應注意,在對壓縮視訊資料230進行任何使用(例如其解壓縮、修改、重新壓縮及/或傳輸)之前,可將其在儲存器460中儲存相當長的時間。處理器組件450隨後將壓縮視訊資料230提供至控制器500。
控制常式540併入可在角色為轉碼裝置500之控制器500之控制器處理器組件的處理器組件550上操作之指令序列來實行用以進行各種功能之邏輯。在執行控制常式540中,處理器組件550可解壓縮壓縮視訊資料230。在如此進行時,處理器組件550產生以解壓縮形式表示運動視訊880之解壓縮視訊資料430,並且產生ROI資料470,該ROI資料由存在於由解壓縮視訊資料430之解壓縮訊框表示的影像883內的ROI 887之指示構成。處理器組件550隨後對解壓縮視訊資料430之解壓縮訊框進行各種影像處理操作中之任一者,並且在如此進行時可使用及/或修改ROI資料470中對ROI 887之指示。處理器組件550隨後壓縮視訊資料430之解壓縮訊框來產生壓縮視訊資料530。在如此進行時,處理器組件550將來自ROI資料470之ROI 887之指示作為額外訊息包括於併入於壓縮視訊資料530中的訊息資料中,其方式與先前描述之將此類訊息包括於壓縮視訊資料230之訊息資料270中的方式類似。
如熟習此項技術者所熟知,需要解壓縮運動視訊來進行影像處理然後再次壓縮運動視訊之視訊影像處理操
作通常被稱為「轉碼」操作。處理器組件550可作為此轉碼之部分來進行之可能視訊影像處理操作之實例可包括對影像883重調尺寸或裁剪,藉由添加或移除影像883而在不同訊框速率之間轉換,用額外視覺資訊(例如字幕)擴充影像883中之至少一些,使影像883與來自另一運動視訊之影像複合(例如添加畫中畫插圖)等。在處理器組件550將更多視覺內容(例如字幕文字及/或另一運動視訊之影像插圖)添加至運動視訊880之影像883中之至少一些的實施例中,處理器組件550可使用ROI資料470中對任何ROI 887之邊界之位置的指示來判定在影像883中的何處進行此類添加。藉由實例的方式,處理器組件550可試圖避免將此額外視覺內容定位於影像883中視覺呈現了在ROI資料470中指示為具有相對高優先等級之ROI 887之位置。
在處理器組件550對影像883重調尺寸或裁剪的實施例中,處理器組件550可修改ROI資料470中對任何ROI 887之邊界之位置的指示來反映由於對訊框883進行的此類修改而可在水平維度或垂直維度中之一或兩者中對像素數量進行的改變。藉由實例的方式,並且如圖7中繪示,可裁剪訊框883來減小其寬度,並且此裁剪可為自最初較寬訊框883之中心開始,使得在左右兩端的像素被捨棄。因此,訊框883中任何ROI 887之邊界之位置(該等位置係相對於訊框883之邊緣或轉角來指定)的指示可能需要加以修改來反映該等相對度量中由捨棄像素所引起的所得改變。亦如圖7展示,將ROI 887之邊界之位置用離該等邊界之訊框883之
邊緣或轉角的像素數量指定為不變的以與區塊885中之相鄰區塊之邊界對準可被認為是較佳的。如此進行可更容易地允許在由於裁剪及/或重調尺寸而對區塊885中之相鄰區塊之邊界的位置之可能位移之後,與區塊885中之相鄰區塊之新邊界的後續對準。
圖2例示出視訊處理系統1000之替代實施例之方塊圖,該視訊處理系統包括:代替圖1之單個擷取裝置100的一對擷取裝置100a及100b;及轉碼裝置400之替代實施例。圖2之視訊處理系統1000之替代實施例在許多方面類似於圖1之實施例,且因此,相似元件符號始終用來指相似元件。然而,與圖1之轉碼裝置400不同的是,圖2之轉碼裝置400分別自擷取裝置100a及100b接收兩種壓縮視訊資料230a及230b,而不是僅自擷取裝置100接收壓縮視訊資料230。此外,轉碼裝置400並未併入控制器500,使得與圖1之轉碼裝置400不同的是,在圖2之轉碼裝置400中,處理器組件450執行控制常式540來代替處理器組件550進行此操作。因此,在圖2之視訊處理系統1000之替代實施例中,處理器組件450執行進行轉碼操作,並且該轉碼操作可為,組合由壓縮視訊資料230a及230b中之每一者之壓縮訊框表示的影像之內容來產生壓縮視訊資料530。
更具體而言,在執行控制常式440中,處理器組件450接收壓縮視訊資料230a及230b兩者。處理器組件450隨後解壓縮兩種壓縮視訊資料230a及230b來分別導出解壓縮視訊資料430a及430b並且導出ROI資料470a及470b。處理
器組件450隨後組合由解壓縮視訊資料430a及430b中之每一者之解壓縮訊框表示的影像之至少一部分來產生組合影像,處理器組件450隨後壓縮該等組合影像來產生壓縮視訊資料530。在如此進行時,處理器組件450可使用ROI資料470a及470b中之每一者中對ROI之指示來判定如何組合分別由解壓縮視訊資料430a及430b之解壓縮訊框表示的影像之態樣。藉由實例的方式,處理器組件450可使用ROI資料470a中對由解壓縮視訊資料430a之解壓縮訊框表示的影像中之被指示為具有相對低優先等級之ROI的指示來作為可將由解壓縮視訊資料430b之解壓縮訊框表示的影像之至少部分之插圖定位於何處的指示。或者,或另外,處理器組件450可使用ROI資料470b中對由解壓縮視訊資料430b之解壓縮訊框表示的影像中之被指示為具有相對高優先等級之ROI的指示來作為對由解壓縮視訊資料430b之解壓縮訊框表示的影像之哪些部分應定位於該等插圖內的指示。
在各種實施例中,處理器組件150、450、550及750中之每一者可包括多種可商購獲得之處理器中之任一者。此外,此等處理器組件中之一或多者可包括多個處理器、多執行緒處理器、多核心處理器(多個核心共存於相同晶粒或分離的晶粒上)及/或藉以以某種方式連結多個實體分離的處理器之某其他品種之多處理器架構。
雖然處理器組件150、450、550及750中之每一者可包括多種類型之處理器中之任一者,但設想控制器500(若存在)之處理器組件550可稍微專業化及/或最佳化來
進行與圖形及/或視訊有關的任務。更廣泛而言,設想控制器500體現轉碼裝置400之圖形子系統,以允許使用與處理器組件450及其更緊密相關組件分離且相異的組件來進行與圖形再現、視訊壓縮、影像重調尺寸等有關的任務。
在各種實施例中,儲存器160、460、560及760中每一者可基於多種資訊儲存技術中任一者。此類技術可能包括需要電功率之不間斷提供之依電性技術及/或需要可為可移除或可為不可移除之機器可讀儲存媒體之使用之技術。因此,此等儲存器中每一者可包括多種類型(或類型之組合)之儲存裝置中任一者,包括但不限於唯讀記憶體(ROM)、隨機存取記憶體(RAM)、動態RAM(DRAM)、雙倍資料速率DRAM(DDR-DRAM)、同步DRAM(SDRAM)、靜態RAM(SRAM)、可規劃ROM(PROM)、可抹除可規劃ROM(EPROM)、電氣可抹除可規劃ROM(EEPROM)、快閃記憶體、聚合物記憶體(例如,鐵電聚合物記憶體)、雙向記憶體、相變或鐵電記憶體、矽-氧化矽-氮化矽-氧化矽-矽(SONOS)記憶體、磁卡或光卡、一或多個單獨鐵磁碟片驅動器,組織成一或多個陣列之多個儲存裝置(例如,組織成獨立的碟片陣列之冗餘陣列或RAID陣列之多個鐵磁碟片驅動器)。應注意,雖然此等儲存器中每一者係繪示為單個區塊,但是此等儲存器中之一或多者可包括可基於不同儲存技術之多個儲存裝置。因此,例如,此等繪示之儲存器中每一者中之一或多者可表示程式及/或資料可藉以在一些形式之機器可讀儲存媒體上儲存且傳遞之光驅動器或快
閃記憶卡閱讀器、用以相對長期地局部儲存程式及/或資料之鐵磁碟片驅動器,及允許相對快速存取程式及/或資料之一或多個依電性固態記憶體裝置(例如,SRAM或DRAM)之組合。亦應注意,此等儲存器中每一者可由多個儲存組件組成,該等多個儲存組件基於相同儲存技術,但是可能由於用途之專門化(例如,一些DRAM裝置用作主儲存器,而其他DRAM裝置用作圖形控制器之相異訊框緩沖器)而被分離地維持。
在各種實施例中,介面190、490及790可使用允許此等運算裝置如已描述的耦接至其他裝置的多種發信號技術中任一者。此等介面中每一者包括提供必要功能性中之至少一些之電路系統以允許此耦接。然而,此等介面中每一者亦可至少部分使用由處理器組件中之對應處理器組件執行之指令序列來實行(例如,以實行協定堆疊或其他特徵)。在使用電氣及/或光學傳導的電纜纜線的情況下,此等介面可使用符合各種工業標準中任一者之發信號及/或協定,該等工業標準包括但不限於RS-232C、RS-422、USB、乙太網路(IEEE-802.3)或IEEE-1394。在需要使用無線信號傳輸的情況下,此等介面可使用符合各種工業標準中任一者之發信號及/或協定,該等工業標準包括但不限於IEEE 802.11a、802.11b、802.11g、802.16、802.20(通常被稱為「行動寬頻無線存取」);Bluetooth;ZigBee;或蜂巢式無線電話服務,諸如GSM與通用封包無線服務(GSM/GPRS)、CDMA/1xRTT、全域進化增強資料速率(EDGE)、純進化資
料/進化資料最佳化(EV-DO)、資料及語音進化(EV-DV)、高速下行鏈路封包存取(HSDPA)、高速上行鏈路封包存取(HSUPA)、4G LTE等。
圖8、圖9及圖10各自更詳細例示出圖1或圖2之視訊處理系統1000之實施例的一部分之方塊圖。更具體而言,圖8繪示擷取裝置100之操作環境之態樣,其中處理器組件150在執行控制常式140中擷取運動視訊880,判定ROI 887之邊界並且進行壓縮來產生壓縮視訊資料230。圖9繪示轉碼裝置400之操作環境之態樣,其中處理器組件450及/或550在執行控制常式440及/或540中進行轉碼操作,該轉碼操作需要壓縮視訊資料230之解壓縮、運動視訊880之修改(其中使用及/或修改ROI 8887之指示)及壓縮來產生壓縮視訊資料530。圖10繪示顯示裝置700之操作環境之態樣,其中處理器組件750在執行控制常式740中解壓縮壓縮視訊資料230或530,並且在顯示器780上視覺呈現運動視訊880,同時在如此進行時利用ROI 887之指示。如熟習此項技術者可認識到,控制常式140、440、540及740(包括組成每一控制常式之組件)經選擇為在被選擇來實行處理器組件150、450、550或750中之適用處理器組件之任何類型之處理器上可操作。
在各種實施例中,控制常式140、440、540及740中每一者可包括作業系統、裝置驅動器及/或應用層常式(例如,提供於碟片媒體上之所謂的「軟體套」、自遠端伺服器獲得之「小應用程式」等)中之一或多者。在包括作業系統
的情況下,作業系統可為適用於處理器組件150、450、550或750中任何對應的處理器組件之各種可利用的作業系統中任一者。在包括一或多個裝置驅動器的情況下,該等裝置驅動器可為運算裝置100、400或700或控制器500中之對應裝置的各種其他組件(硬體組件或硬體組件)中任一者提供支援。
控制常式140、440或740可分別包括通訊組件149、449或749,該通訊組件可由處理器組件150、450或750中任何對應的處理器組件執行,以操作介面190、490或790中對應的介面來如已描述經由網路999傳輸且接收信號。在所接收信號當中可能有經由網路999在運算裝置100、400或700中之一或多者之間傳遞壓縮視訊資料230及/或530之信號。如熟習此項技術者將認識到,此等通訊組件中每一者經選擇為可使用被選擇來實行介面190、490或790中對應的介面之任何類型之介面技術來操作。
控制常式140或540可分別包括壓縮組件142或545,該壓縮組件可由處理器組件150、450或550中任何對應的處理器組件執行,以壓縮視訊資料130及ROI資料170來產生壓縮視訊資料230或壓縮解壓縮視訊資料430及ROI資料470來產生壓縮視訊資料530。壓縮組件142或545可分別包括擴充組件1427或5457,其分別用以用訊息擴充併入於壓縮視訊資料230及530內的訊息資料270及570,該等訊息提供運動視訊880之影像883中之至少一些中可能存在的ROI 887之存在、其邊界位置及/或其優先等級之指示。
控制常式540或740可分別包括解壓縮組件542或745,該解壓縮組件可由處理器組件450、550或750中任何對應的處理器組件執行,以解壓縮壓縮視訊資料230來產生解壓縮視訊資料430及ROI資料470或解壓縮壓縮視訊資料530來產生解壓縮視訊資料730及ROI資料770。解壓縮組件542或745可分別包括剖析組件5427或7457,其用以剖析訊息資料270或570之訊息來取出運動視訊880之影像883中之至少一些中可能存在的ROI 887之存在、其邊界位置及/或其優先等級之指示。
控制常式540或740可分別包括修改組件544或747,該修改組件可由處理器組件450、550或750中任何對應的處理器組件執行,以用各種方式中任一者來修改解壓縮視訊資料430或730,同時分別使用及/或修改伴隨的ROI資料470或770。在修改組件544可對由解壓縮視訊資料430之解壓縮訊框表示之影像883進行的修改當中,可能有重調尺寸、裁剪、添加字幕、與來自另一運動視訊之影像組合等。在進行此類修改中,修改組件544可另外修改ROI資料470內對ROI 887之邊界之位置的指示,來反映由對解壓縮視訊資料430之解壓縮訊框進行的裁剪、重調尺寸或其他修改引起的該等ROI 887在運動視訊880之影像883中之位置的改變。在修改組件747可對由解壓縮視訊資料730之解壓縮訊框表示之影像883進行的修改當中,可能有平滑化、膚色調整、添加觀察裝置700之操作者請求的其他視覺資訊等。
控制常式140或740可分別包括使用者介面組件148或748,該使用者介面組件可由處理器組件150或750中任何對應的處理器組件執行,以提供使用者介面來控制運動視訊880之擷取及/或觀察。使用者介面組件148可監視控制器120並且操作顯示器180來提供使用者介面,該使用者介面允許擷取裝置100之操作者指定運動視訊880之影像883中的ROI 887之存在、其邊界位置及/或其優先等級。使用者介面組件748可監視控制器720並且操作顯示器780來提供使用者介面,該使用者介面允許觀察裝置700之操作者控制由修改組件747對運動視訊880在顯示器780上的視覺呈現進行之修改。
控制常式140可包括擷取組件143,該擷取組件可由處理器組件150執行,以操作影像感測器113來擷取運動視訊880,且藉此產生視訊資料130。控制常式140可包括ROI偵測組件147,其用以操作距離感測器117(若存在)來識別在影像感測器113視野中之物件(將針對該物件產生ROI 887)及/或判定在影像感測器113視野中之物件之大小及/或位置來判定ROI 887之邊界位置。
圖11例示出邏輯流程2100之一個實施例。邏輯流程2100可表示由本文所述之一或多個實施例執行之操作中之一些或全部。更具體而言,邏輯流程2100可例示出由處理器組件150在至少執行控制常式140中進行及/或由擷取裝置100之其他組件進行之操作。
在2110中,運算裝置之處理器組件(例如擷取裝
置100之處理器組件150)判定運動視訊之影像中的ROI(例如運動視訊880之影像883中的ROI 887)之優先等級及/或邊界位置。如已論述,ROI之優先等級指示影像在該ROI內之部分相對於同一影像在另一ROI內及/或不在任何ROI內的部分之重要性。此外,優先等級可實際上指示,影像在ROI內之部分具有指示其重要性小於同一影像不在任何ROI內之部分的優先等級,使得ROI可被視為「不太感興趣區域」。如亦已論述,在ROI之指示中可將ROI之邊界之位置指定為離影像之邊緣及/或轉角之像素及/或像素區塊(例如區塊或MPEG巨集區塊)的度量。此外,在用來壓縮視訊資料以產生壓縮視訊資料之壓縮編碼演算法需要將影像之像素分成此類區塊的情況下,可修改ROI之邊界之位置來與該等區塊中相鄰區塊之邊界對準。
在2120中,壓縮作為視訊資料之部分來表示影像之訊框(該視訊資料表示該影像所屬的運動視訊),以作為壓縮該視訊資料來產生壓縮視訊資料之部分(例如,壓縮視訊資料130之訊框133來產生對應訊框233,以作為壓縮視訊資料130來產生壓縮視訊資料230之部分)。如已論述,可產生視訊位元串流以作為壓縮視訊資料之部分,並且壓縮視訊資料亦可包括訊息資料,該訊息資料由用以產生壓縮訊框之訊框壓縮之態樣(諸如色彩深度、量化參數等)的指示構成。
在2130中,用ROI之優先等級及/或邊界位置之指示來擴充壓縮視訊資料。如已論述,此擴充可能需要將提
供關於ROI之此類指示之訊息添加至壓縮視訊資料之訊息資料。
圖12例示出邏輯流程2200之一個實施例。邏輯流程2200可表示由本文所述之一或多個實施例執行之操作中之一些或全部。更具體而言,邏輯流程2200可例示出由處理器組件450或550在至少執行控制常式540中進行及/或分別由轉碼裝置400或控制器500之其他組件進行之操作。
在2210中,運算裝置之處理器組件(例如轉碼裝置400之處理器組件450或控制器500之處理器組件550)解壓縮表示運動視訊之影像之壓縮訊框,以作為解壓縮壓縮視訊資料之部分,該壓縮視訊資料表示運動視訊並且該壓縮訊框為該壓縮視訊資料之部分(例如,表示運動視訊880之壓縮視訊資料230的壓縮訊框233,該壓縮訊框表示影像883)。在如此進行時,處理器組件產生包括對應於壓縮訊框之解壓縮訊框的解壓縮視訊資料(例如解壓縮視訊資料430)。
在2220中,剖析構成壓縮視訊資料之部分的訊息資料來取出影像內存在的ROI之優先等級及/或邊界位置之指示。此外,優先等級指示影像在該ROI內之部分之重要性,並且可將ROI之邊界之位置指定為離影像之邊緣及/或轉角之像素及/或像素區塊(例如區塊或MPEG巨集區塊)的度量。
在2230中,修改由解壓縮視訊資料之解壓縮訊框表示之影像。如已論述,此類修改可包括重調尺寸、裁剪、
添加字幕、與另一運動視訊之訊框之至少一部分組合中之一或多者。如亦已論述,此類修改中之一些(例如裁剪或重調尺寸)可導致對ROI之邊界之位置離影像之邊緣或轉角的像素及/或像素區塊之數量之修改。在2240中,修改ROI之邊界之位置的指示來反映此類經修改的相對位置。
在2250中,壓縮表示現在經修改的影像之解壓縮訊框,以作為壓縮解壓縮視訊資料來產生新的壓縮視訊資料之部分(例如,壓縮解壓縮視訊資料430之解壓縮訊框,以作為產生壓縮視訊資料530之部分)。在2260中,用ROI之優先等級及/或現在經修改的邊界位置之指示來擴充新的壓縮視訊資料。此外,此擴充可能需要將提供關於ROI之此類指示之訊息添加至新的壓縮視訊資料之訊息資料。
圖13例示出邏輯流程2300之一個實施例。邏輯流程2300可表示由本文所述之一或多個實施例執行之操作中之一些或全部。更具體而言,邏輯流程2300可例示出由處理器組件750在至少執行控制常式740中進行及/或分別由觀察裝置700之其他組件進行之操作。
在2310中,運算裝置之處理器組件(例如觀察裝置700之處理器組件750)解壓縮表示運動視訊之影像之壓縮訊框,以作為解壓縮壓縮視訊資料之部分,該壓縮視訊資料表示運動視訊並且該壓縮訊框為該壓縮視訊資料之部分(例如,表示運動視訊880之壓縮視訊資料230或530的壓縮訊框,該壓縮訊框表示影像883)。在如此進行時,處理器組件產生包括對應於壓縮訊框之解壓縮訊框的解壓縮視
訊資料(例如解壓縮視訊資料730)。
在2320中,剖析構成壓縮視訊資料之部分的訊息資料來取出影像內存在的ROI之優先等級及/或邊界位置之指示。此外,優先等級指示影像在該ROI內的部分之重要性,並且可將ROI之邊界之位置指定為離影像之邊緣及/或轉角之像素及/或像素區塊(例如區塊或MPEG巨集區塊)的度量。
在2330中,使用在所取出指示中指定的優先等級及/或邊界位置來修改由解壓縮視訊資料之解壓縮訊框表示之影像。如已論述,此類修改可包括添加另外的視覺資訊及/或使用影像處理來選擇性地增強影像在ROI內的部分之態樣。在2240中,視覺呈現現在經修改的影像以作為在顯示器上視覺呈現運動視訊之部分。
圖14例示出適合於實行先前所述各種實施例之示範性處理架構3000之實施例。更具體而言,處理架構3000(或其變體)可實行為運算裝置100、300或600及/或控制器400中之一或多者之部分。應注意,處理架構3000之組件給予了最後兩個數字對應於早先繪示且描述為運算裝置100、300及600以及控制器400之部分的組件中之至少一些的元件符號之最後兩個數字的元件符號。進行此舉作為使每一裝置之組件相互關聯之輔助手段。
處理架構3000包括數位處理中通常使用之各種元件,包括但不限於一或多個處理器、多核心處理器、共處理器、記憶體單元、晶片組、控制器、周邊設備、介面、
振盪器、定時裝置、視訊卡、音訊卡、多媒體輸入/輸出(I/O)組件、電源等。如本申請案中所使用,「系統」及「組件」等詞意欲代表執行數位處理所在之運算裝置之實體,該實體為硬體、硬體及軟體之組合、軟體或執行中之軟體,該實體之實例由此繪示之示例性處理架構提供。例如,組件可為但不限於為在處理器組件上執行之處理、處理器組件自身、可使用光學及/或磁性儲存媒體之儲存裝置(例如,硬碟片驅動器、陣列中之多個儲存器驅動器等)、軟體物件、可執行指令序列、執行之線程、程式、及/或整個運算裝置(例如,整個電腦)。藉由說明之方式,在伺服器上執行之應用程式及可能兩者皆可為組件。一或多個組件可常駐於處理及/或執行之線程內,且組件可局限於一個運算裝置上且/或分散在兩個或兩個以上運算裝置之間。此外,組件可藉由各種類型之通訊媒體彼此以通訊方式耦接來協調操作。協調可涉及單向資訊交換或雙向資訊交換。例如,組件可以經由通訊媒體傳達之信號之形式傳達資訊。資訊可實行為分配給一或多個信號線之信號。訊息(包括命令、狀態、位址或資料訊息)可為此類信號中之一者或可為多個此類信號,並且可經由多種連接及/或介面中之任一者來連續或大體上並行地傳輸。
如所繪示,在實行處理架構3000中,運算裝置包括至少一處理器組件950、儲存器960、至其他裝置之介面990及耦接件955。如將解釋,取決於實行處理架構3000之運算裝置之各種態樣,包括該運算裝置之預定使用及/或使
用條件,此運算裝置可進一步包括額外組件,諸如但不限於顯示介面985。
耦接件955包括一或多個匯流排、點對點互連體、收發器、緩衝器、接點式交換器及/或其他導體及/或將至少該處理器組件950以通訊方式耦接至儲存器960之邏輯。耦接件955可進一步將處理器組件950耦接至介面990、音訊子系統970及顯示介面985中之一或多者(取決於此等及/或其他組件中之哪些亦存在)。在處理器組件950如此藉由耦接件955耦接的情況下,處理器組件950能夠執行用於實行處理架構3000之前述運算裝置中之任何運算裝置的以上詳細描述之任務中之各種任務。耦接件955可使用藉以光學地且/或電氣地傳遞信號之各種技術或技術之組合中任一者來實行。進一步地,耦接件955中之至少部分可使用符合多種工業標準中任一者之定時及/或協定,該等工業標準包括但不限於加速圖形埠(AGP)、卡片匯流排、延伸工業標準架構(E-ISA)、微通道架構(MCA)、網路用戶匯流排(NuBus)、周邊組件互連(延伸)(PCI-X)、快速週邊組件互連(PCI-E)、個人電腦記憶卡國際協會(PCMCIA)匯流排、HyperTransportTM、快速路徑等。
如先前論述,處理器組件950(對應於處理器組件350、450及650)可包括多種可商購獲得之處理器中任一者,該等處理器使用多種技術中任一者且使用實體上以許多方式中任一者組合之一或多個核心予以實行。
如先前所論述,儲存器960(對應於儲存器360、
460及660)可由基於多種技術或技術之組合中任一者之一或多個相異儲存裝置構成。更具體而言,如所繪示,儲存器960可包括依電性儲存器961(例如,基於一或多個形式之RAM技術之固態儲存器)、非依電性儲存器962(例如,不需要電功率之恆定提供來保留其內容之固態、鐵磁或其他儲存器)及可移媒體儲存器963(例如,可藉以在運算裝置之間傳遞資訊之可移碟片或固態記憶卡儲存器)中之一或多者。將儲存器960繪示成其可包括多個相異類型之儲存器之此繪圖係承認多於一個類型之儲存裝置在運算裝置中之常見使用,其中一個類型提供允許藉由處理器組件950進行的資料之更快速調處之相對快速的讀取及寫入能力(但其可能使用不斷地需要電功率之「依電性」技術),而另一類型提供相對高的密度之非依電性儲存器(但可能提供相對緩慢的讀取及寫入能力)。
考慮到不同儲存裝置之通常不同的特性使用不同的技術,此類不同儲存裝置經由不同儲存器控制器耦接至運算裝置之其他部分亦為常見的,該等不同儲存器控制器經由不同介面耦接至其不同儲存裝置。藉由一實例之方式,在依電性儲存器961存在且係基於RAM技術的情況下,依電性儲存器961可經由儲存器控制器965a以通訊方式耦接至耦接件955,該儲存器控制器提供可能使用列尋址或行位址的通向依電性儲存器961之適當介面,且其中儲存器控制器965a可執行列再新及/或其他維護任務,以幫助保留儲存在依電性儲存器961內之資訊。藉由另一實例之方式,其
中非依電性儲存器962存在且包括一或多個鐵磁碟片驅動器及/或固態碟片驅動器,非依電性儲存器962可經由儲存器控制器965b耦接至耦接件955,該儲存器控制器提供可能使用資訊之區塊及/或磁柱及扇區之尋址的通向非依電性儲存器962之適當介面。藉由另一實例之方式,其中可移媒體儲存器963存在且包括使用機器可讀儲存媒體969之一或多個片段之一或多個光學碟片驅動器及/或固態碟片驅動器,可移媒體儲存器963可經由儲存器控制器965c以通訊方式耦接至耦接件955,該儲存器控制器提供可能使用資訊之區段之尋址的通向可移媒體儲存器963之適當介面,且其中儲存器控制器965c可以特定於延伸機器可讀儲存媒體969之壽命的方式協調讀取操作、抹除操作及寫入操作。
依電性儲存器961或非依電性儲存器962中之一個或另一個可包括以可儲存包含可由處理器組件950執行之指令序列之常式的機器可讀儲存媒體之形式之製品,取決於各自所基於之技術。藉由實例之方式,其中非依電性儲存器962包括基於鐵磁的碟片驅動器(例如,所謂的「硬驅動器」),每一此碟片驅動器通常使用一或多個旋轉磁盤,在該一或多個旋轉磁盤上磁性響應性粒子之塗層經沈積且以各種圖案磁性地定向來以類似於諸如軟式磁片之儲存媒體之方式儲存資訊,諸如指令序列。藉由另一實例之方式,非依電性儲存器962可由固態儲存裝置組組成來以類似於緊密快閃記憶卡之方式儲存資訊,諸如指令序列。再次,不同時間在運算裝置中使用不同類型之儲存裝置來儲
存可執行常式及/或資料為常見的。因此,包含將藉由處理器組件950執行之指令序列的常式最初可儲存在機器可讀儲存媒體969上,且隨後可在將該常式複製到非依電性儲存器962以用於較長期儲存中使用可移媒體儲存器963而無需機器可讀儲存媒體969及/或依電性儲存器961之繼續存在,以在執行該常式時允許藉由處理器組件950進行的更快速存取。
如先前論述,介面990(對應於介面190、390或690)可使用各種發信號技術中任一者,該等發信號技術對應於可使用來將運算裝置以通訊方式耦接至一或多個其他裝置的各種通訊技術中任一者。再次,各種形式之有線發信號或無線發信號中之一者或兩者可使用來允許處理器組件950經由網路(例如,網路999)或網路之互連集合與輸入/輸出裝置(例如,繪示之示例性鍵盤920或印表機925)及/或其他運算裝置交互。承認多個類型之發信號及/或協定之通常極其不同的特性通常必須由任何一個運算裝置支援,而將介面990繪示為包括多個不同介面控制器995a、995b及995c。介面控制器995a可使用各種類型之有線數位串列介面或射頻無線介面中任一者來自諸如繪示之鍵盤920之使用者輸入裝置接收連續傳輸之訊息。介面控制器995b可使用各種基於電纜纜線發信號或無線發信號的定時及/或協定中任一者來經由繪示之網路999(可能為由一或多個鏈路構成之網路、較小網路或可能為網際網路)存取其他運算裝置。介面995c可使用允許串行信號傳輸或並行信號傳輸之
使用的各種電氣傳導的電纜纜線中任一者來將資料傳遞至繪示之印表機925。可經由介面990之一或多個介面控制器以通訊方式耦接的裝置之其他實例包括但不限於麥克風、遠端控制器、觸控筆、讀卡器、指紋閱讀器、虛擬實景互動手套、圖形輸入板、操縱桿、其他鍵盤、視網膜掃描器、觸控螢幕之觸摸輸入組件、軌跡球、各種感測器、相機或相機陣列(用以監視人的移動來接受由該等人經由示意動作及/或臉部表情發信號之命令及/或資料)、雷射印表機、噴墨印表機、機械機器人、銑床等。
在運算裝置以通訊方式耦接至(或可能、實際上併入)顯示器(例如,繪示之示例性顯示器980)的情況下,實行處理架構3000之運算裝置亦可包括顯示介面985。雖然更多一般化類型之介面可使用於以通訊方式耦接至顯示器中,但是在將各種形式之內容視覺上顯示於顯示器上中通常所需之稍微專門化的額外處理,以及所使用之基於電纜纜線之介面之稍微專門化的本性通常使得相異顯示介面之提供為合意的。可由顯示介面985使用於顯示器980之通訊耦接中的有線發信號技術及/或無線發信號技術可使用符合各種工業標準中任一者之發信號及/或協定,包括但不限於各種類比視訊介面、數位視訊介面(DVI)、顯示器埠等中任一者。
圖15例示出系統4000之實施例。在各種實施例中,系統4000可表示適合與本文所述之一或多個實施例一起使用的系統或架構,諸如圖形處理系統1000;運算裝置
100、300或600中之一或多者;及/或邏輯流程2100或2200中之一者或兩者。實施例在此方面不受限制。
如所展示,系統4000可包括多個元件。按一組給定的設計約束或效能約束之需要,一或多個元件可使用一或多個電路、組件、暫存器、處理器、軟體次常式、模組或其任何組合來實行。雖然展示了有限數目個元件並且藉由實例的方式以某種拓撲來展示,但是可瞭解,按給定實行方案的需要,系統4000中可使用任何適合之拓撲中之更多或更少元件。實施例不限於此情況下。
在實施例中,系統4000可為媒體系統,但是系統4000不限於此情況。例如,系統4000可併入於個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦、觸控板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、電視、智慧型裝置(例如智慧型電話、智慧型平板電腦或智慧型電視)、行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置等中。
在實施例中,系統4000包括耦接至顯示器4980之平台4900a。平台4900a可接收來自內容裝置之內容,該內容裝置諸如內容服務裝置4900c或內容傳送裝置4900d或其他類似的內容源。包括一或多個導航特徵之導航控制器4920可用來與例如平台4900a及/或顯示器4980介接。以下更詳細描述此等組件中之每一者。
在實施例中,平台4900a可包括處理器組件4950、晶片組4955、記憶體單元4969、收發器4995、儲存
器4962、應用程式4940及/或圖形子系統4985之任何組合。晶片組4955可提供處理器電路4950、記憶體單元4969、收發器4995、儲存器4962、應用程式4940及/或圖形子系統4985之間的相互通訊。例如,晶片組4955可包括能夠提供與儲存器4962之相互通訊之儲存器配接器(未繪示)。
處理器組件4950可使用任何處理器或邏輯裝置來實行,並且可與處理器組件150、350或650中之一或多者及/或與圖14之處理器組件950相同或類似。
記憶體單元4969可使用能夠儲存資料之任何機器可讀或電腦可讀媒體來實行,並且可與圖14之儲存媒體969相同或類似。
收發器4995可包括能夠使用各種適合之無線通訊技術來傳輸並接收信號之一或多個無線電,並且可與圖14之收發器995b相同或類似。
顯示器4980可包括任何電視型監視器或顯示器,並且可與顯示器380及680或與圖圖14中之顯示器980相同或類似。
儲存器4962可實行為非依電性儲存裝置,並且可與圖14中之非依電性儲存器962相同或類似。
圖形子系統4985可進行影像(諸如靜態影像或視訊影像)之處理以供顯示。圖形子系統4985可為例如圖形處理單元(GPU)或視覺處理單元(VPU)。類比或數位介面可用來可通訊地耦接圖形子系統4985及顯示器4980。例如,介面可為高清晰度多媒體介面、顯示埠、無線HDMI及/或無
線HD相容技術中之任一者。圖形子系統4985可整合於處理器電路4950或晶片組4955中。圖形子系統4985可為可通訊地耦接至晶片組4955之獨立的卡。
本文所述之圖形技術及/或視訊處理技術可在各種硬體架構中實行。例如,圖形功能性及/或視訊功能性可整合於晶片組內。或者,可使用離散的圖形處理器及/或視訊處理器。作為另一實施例,圖形功能及/或視訊功能可由包括多核心處理器之通用處理器來實行。在另一實施例中,該等功能可在消費型電子裝置中實行。
在實施例中,內容服務裝置4900b可由任何國家服務、國際服務及/或獨立服務主控,且因此可由平台4900a經由例如網際網路來存取。內容服務裝置4900b可耦接至平台4900a及/或顯示器4980。平台4900a及/或內容服務裝置4900b可耦接至網路4999來向網路4999並且自網路4999傳達(例如發送及/或接收)媒體資訊。內容傳送裝置4900c亦可耦接至平台4900a及/或顯示器4980。
在實施例中,內容服務裝置4900b可包括有線電視盒、個人電腦、網路、電話、能夠傳送數位資訊及/或內容之具備網際網路功能之裝置或電器,及能夠在內容提供者與平台4900a及顯示器4980之間經由網路4999或直接單向或雙向傳達內容的任何其他類似裝置。應瞭解,可經由網路4999向系統4000中之組件中之任一者及內容提供者並且自系統4000中之組件中之任一者及內容提供者單向或雙向傳達內容。內容之實例可包括任何媒體資訊,包括例如
視訊、音樂、醫療及遊戲資訊等。
內容服務裝置4900b接收諸如有線電視規劃之內容,包括媒體資訊、數位資訊及/或其他內容。內容提供者之實例可包括任何有線或衛星電視或無線電或網際網路內容提供者。所提供的實例不欲限制實施例。
在實施例中,平台4900a可自具有一或多個導航特徵之導航控制器4920接收控制數。導航控制器4920之導航特徵可用來與例如使用者介面4880互動。在實施例中,導航控制器4920可為指向裝置,指向裝置可為允許使用者將空間(例如連續及多維的)資料輸入至電腦中的電腦硬體組件(具體而言為人類介面裝置)。諸如圖形使用者介面(GUI)及電視及監視器之許多系統允許使用者使用身體示意動作來控制電腦或電視並提供資料至電腦或電視。
可在顯示器(例如顯示器4980)上藉由指標、游標、聚焦環或顯示於顯示器上的其他視覺指示符之移動來回應導航控制器4920之導航特徵之移動。例如,在軟體應用程式4940之控制下,可將位於導航控制器4920上之導航特徵對映至顯示於使用者介面4880上之虛擬導航特徵。在實施例中,導航控制器4920可能並非單獨的組件,而是整合於平台4900a及/或顯示器4980中。然而實施例不限於本文展示或描述之元件或情況。
在實施例中,驅動器(未展示)可包括用以允許使用者例如在初始開機之後藉由觸摸按鈕(在啟用時)來立即開啟並關閉例如電視之平台4900a的技術。程式邏輯可允許
平台4900a在該平台「關閉」時將內容串流傳輸至媒體配接器或其他內容服務裝置4900b或內容傳送裝置4900c。另外,晶片組4955可包括對例如5.1環繞聲音訊及/或高清晰度7.1環繞聲音訊之硬體及/或軟體支援。驅動器可包括用於整合式圖形平台之圖形驅動器。在實施例中,圖形驅動器可包括高速周邊組件互連(PCI)圖形卡。
在各種實施例中,可整合系統4000中展示之組件中之任何一或多者。例如,可整合平台4900a及內容服務裝置4900b,或可整合平台4900a及內容傳送裝置4900c,或例如可整合平台4900a、內容服務裝置4900b及內容傳送裝置4900c。在各種實施例中,平台4900a及顯示器4890可為整合式單元。例如,可整合顯示器4980及內容服務裝置4900b,或可整合顯示器4980及內容傳送裝置4900c。此等實例不欲限制實施例。
在各種實施例中,系統4000可實行為無線系統、有線系統或兩者之組合。當實行為無線系統時,系統4000可包括適合於經由無線共用媒體來通訊之組件及介面,諸如一或多個天線、傳輸器、接收器、收發器、放大器、濾波器、控制邏輯等。無線共用媒體之實例可包括無線頻譜之部分,諸如RF頻譜等。當實行為有線系統時,系統4000可包括適合於經由有線通訊媒體來通訊之組件及介面,諸如I/O配接器、用以將I/O配接器與對應有線通訊媒體連接的實體連接器、網路介面卡(NIC)、碟片控制器、視訊控制器、音訊控制器等。有線通訊媒體之實例可包括電線、電纜、
金屬導線、印刷電路板(PCB)、底板、交換光纖、半導體材料、雙絞線、同軸電纜、光纖等。
平台4900a可建立一或多個邏輯或實體通道來傳達資訊。資訊可包括媒體資訊及控制資訊。媒體資訊可指表示意欲發給使用者之任何資料。內容之實例可包括例如來自語音對話、視訊會議、串流傳輸視訊、電子郵件(「email」)訊息、語音郵件訊息、文數字符號、圖形、影像、視訊、文字等之資料。來自語音對話之資料可為例如話音資訊、靜默時段、背景雜音、舒適雜音、鈴聲等。控制資訊可指表示意欲發給自動化系統之命令、指令或控制字之任何資料。例如控制資訊可用來在系統內安排路由傳遞資訊,或命令節點以預定方式處理媒體資訊。然而實施例不限於圖15中展示或描述之元件或情況。
如上所述,系統4000可以不同的實體樣式或外觀尺寸來體現。圖16例示出小外觀尺寸裝置5000之實施例,系統4000可體現於該裝置中。在實施例中,例如,裝置5000可實行為具有無線能力之行動運算裝置。行動運算裝置可指例如具有處理系統及行動電源或電源供應器(諸如一或多個電池)之任何裝置。
如上所述,行動運算裝置之實例可包括個人電腦(PC)、膝上型電腦、超級膝上型電腦、平板電腦、觸控板、可攜式電腦、手持式電腦、掌上型電腦、個人數位助理(PDA)、蜂巢式電話、組合蜂巢式電話/PDA、電視、智慧型裝置(例如智慧型電話、智慧型平板電腦或智慧型電視)、
行動網際網路裝置(MID)、傳訊裝置、資料通訊裝置等。
行動運算裝置之實例亦可包括經配置來由人穿戴之電腦,諸如手腕電腦、手指電腦、環形電腦、眼鏡電腦、皮帶扣電腦、臂章電腦、鞋電腦、衣物電腦及其他可穿戴式電腦。在實施例中,例如,行動運算裝置可實行為能夠執行電腦應用程式以及語音通訊及/或資料通訊之智慧型電話。雖然可藉由實例的方式用實行為智慧型電話之行動運算裝置來描述一些實施例,但是可瞭解,同樣可使用其他無線行動運算裝置來實行其他實施例。實施例不限於此情況下。
如所展示,裝置5000可包括顯示器5980、導航控制器5920a、使用者介面5880、外殼5905、I/O裝置5920b及天線5998。顯示器5980可包括用於顯示適合於行動運算裝置之資訊的任何適合之顯示單元,並且可與圖15中之顯示器4980相同或類似。導航控制器5920可包括可用來與使用者介面5880互動之一或多個導航特徵,並且可與圖15中之導航控制器4920相同或類似。I/O裝置5920b可包括用於將資訊輸入至行動運算裝置中之任何適合之I/O裝置。I/O裝置5920b之實例可包括文數字鍵盤、數字鍵盤、觸控板、輸入鍵、按鈕、開關、搖桿開關、麥克風、揚聲器、語音辨識裝置及軟體等。資訊亦可藉由麥克風輸入至裝置5000中。此資訊可由語音辨識裝置數位化。實施例不限於此情況下。
更一般而言,本文描述並繪示之運算裝置之各種元件可包括各種硬體元件、軟體元件或兩者之組合。硬體
元件之實例可包括裝置、邏輯裝置、組件、處理器、微處理器、電路、處理器組件、電路元件(例如,電晶體、電阻器、電容器、感應器等)、積體電路、特殊應用積體電路(ASIC)、可規劃邏輯裝置(PLD)、數位信號處理器(DSP)、場可規劃閘陣列(FPGA)、記憶體單元、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體元件之實例可包括軟體組件、程式、應用、電腦程式、應用程式、系統程式、軟體開發程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、次常式、函數、方法、程序、軟體介面、應用程式介面(API)、指令集、運算碼、電腦碼、碼段、電腦碼段、字、值、符號或其任何組合。然而,判定實施例是否為使用硬體元件及/或軟體元件予以實行可根據如給定實行方案所要的任何數目之因素變化,該等因素諸如所要的運算速率、功率級、耐熱性、處理週期預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能約束。
一些實施例可使用表達「一個實施例」或「一實施例」連同其衍生表達一起來描述。此等詞意味結合實施例所述之特定特徵、結構或特性包括於至少一實施例中。用語「在一個實施例中」在說明書中之各地方之出現不一定全部參考相同實施例。此外,一些實施例可使用表達「耦接」及「連接」連同其衍生表達一起來描述。此等詞不一定意欲作為彼此之同義詞。例如,一些實施例可使用「連接」及/或「耦接」等詞來描述以指示兩個或兩個以上元件
彼此直接實體接觸或電氣接觸。然而,「耦接」一詞亦可意味兩個或兩個以上元件並未彼此直接接觸,但仍彼此合作或相互作用。此外,可組合來自不同實施例之態樣或元件。
吾人強調,揭露內容之摘要係提供來允許讀者快速查明技術揭露之本性。在理解摘要將不用以解釋或限制申請專利範圍之範疇或意義的情況下提交摘要。另外,在前述詳細描述中,可看出在單個實施例中將各種特徵集中在一起以用於使揭露內容合理化之目的。然而,揭示內容之此方法將並非解釋為反映所主張實施例需要比在每一請求項中明確敘述之特徵更多的特徵之意圖。實情為,如以下申請專利範圍所反映,發明性發明標的可在於少於單個揭露實施例之全部特徵中。因此,由此將以下申請專利範圍併入詳細描述中,其中每一請求項堅持其自己作為分開的實施例。在隨附申請專利範圍中,「包括」及「在......中」等詞分別用作個別「包含」及「其中」等詞之通俗英文等效物。此外,「第一」、「第二」、「第三」等等詞僅用作標記,且並非意欲將數值要求強加於其對象。
以上已描述之內容包括揭露之架構之實例。當然,不可能描述組件及/或方法論之每一想像得到的組合,但是此項技術之一般技術者可認知到許多進一步組合及置換係可能的。因此,新穎架構意欲包括屬於隨附申請專利範圍之精神及範疇內之所有此類改變、修改及變化。詳細揭露內容現轉向提供關於進一步實施例之實例。以下提供之實例不欲為限制。
在實例1中,一用以壓縮運動視訊影像之裝置包括:一壓縮組件,其用以壓縮一運動視訊之一影像來產生表示該運動視訊之壓縮視訊資料,該影像包含一感興趣區域(ROI);以及一擴充組件,其用以用對該影像中該ROI之一邊界之一位置的一指示來擴充該壓縮視訊資料。
在包括實例1之標的之實例2中,該裝置可包括一影像感測器及一擷取組件,該擷取組件用以操作該影像感測器來擷取在該影像感測器之一視野中之至少一物件來作為該影像。
在包括實例1至2中任一者之標的之實例3中,該裝置可包括一ROI偵測組件,該ROI偵測組件用以選擇性地產生該ROI並且基於該物件之身份來導出該ROI之該邊界之位置。
在包括實例1至2中任一者之標的之實例4中,該擴充組件可用該ROI之一優先等級之一指示來擴充該壓縮視訊資料,該優先等級指示該影像在該ROI內的一部分至少與該影像不在該ROI內的另一部分之重要程度相比而言的重要程度。
在包括實例1至4中任一者之標的之實例5中,該裝置可包括一距離感測器及一ROI偵測組件,該ROI偵測組件用以操作該距離感測器來至少基於離該物件之距離來判定該ROI之該邊界之位置或該ROI之該優先等級中之至少一者。
在包括實例1至5中任一者之標的之實例6中,該
裝置可包括可手動操作之控制器及一使用者介面組件,該使用者介面組件用以監視該等控制器以發現一信號,該信號指示操作該等控制器來提供該ROI之該邊界之位置或該ROI之該優先等級中之至少一者。
在包括實例1至6中任一者之標的之實例7中,該裝置可包括:一解壓縮組件,其用以自另一壓縮視訊資料產生表示該運動視訊之解壓縮視訊資料,該另一壓縮視訊資料表示該運動視訊並且係自另一裝置接收到;以及一剖析組件,其用以剖析該另一壓縮視訊資料之一訊息資料來取出一訊息,該訊息包括該ROI之該邊界之位置的指示。
在包括實例1至7中任一者之標的之實例8中,該裝置可包括一修改組件,其用以以修改該ROI相對於該影像之一邊緣或一轉角中之至少一者的位置之方式修改該影像,並且用以修改該ROI之該邊界之位置的指示來反映該影像之位置的修改。
在包括實例1至8中任一者之標的之實例9中,該影像之修改可包括對該影像重調尺寸或裁剪該影像中之至少一者。
在包括實例1至9中任一者之標的之實例10中,該ROI之該邊界之位置的指示可包括以下中之至少一者:離該影像之至少一邊緣或一轉角之像素數量的指示,或離該影像之至少一邊緣或一轉角之像素區塊數量的指示。
在包括實例1至10中任一者之標的之實例11中,該擴充組件可用該ROI之一優先等級之一指示來擴充該壓
縮視訊資料,該優先等級指示該影像在該ROI內的一部分至少與該影像不在任何ROI內的另一部分之重要程度相比而言的重要程度,並且該影像在該ROI內的該部分之重要程度可包括以下中之至少一者:大於該另一部分之重要程度的重要程度,或小於該另一部分之重要程度的重要程度。
在包括實例1至11中任一者之標的之實例12中,該壓縮視訊資料可包括一由該壓縮組件產生之訊息資料,該訊息資料包括至少一個訊息,該至少一個訊息指定該壓縮視訊資料之一表示該影像之壓縮訊框的一壓縮態樣,並且該擴充組件可將另一訊息添加至該訊息資料,該另一訊息包括該ROI之該邊界之位置的指示。
在包括實例1至12中任一者之標的之實例13中,該裝置可包括以下中之至少一者:一顯示器,其用以視覺呈現該影像;或一介面,其用以將該壓縮視訊資料經由一網路傳輸至另一裝置。
在實例14中,一用以解壓縮運動視訊影像之裝置包括:一解壓縮組件,其用以自壓縮視訊資料產生表示一運動視訊之解壓縮視訊資料,該壓縮視訊資料表示該運動視訊並且係自另一裝置接收到;以及一剖析組件,其用以剖析該壓縮視訊資料之一訊息資料來取出一訊息,該訊息包括該運動視訊之一影像中的一ROI之一邊界之一位置的一指示。
在包括實例14之標的之實例15中,該裝置可包括一修改組件,其用以以修改該ROI相對於該影像之一邊緣或
一轉角中之至少一者的位置之方式修改該影像,並且用以修改該ROI之該邊界之位置的指示來反映該影像之位置的修改。
在包括實例14至15中任一者之標的之實例16中,該影像之修改可包括對該影像重調尺寸或裁剪該影像中之至少一者。
在包括實例14至16中任一者之標的之實例17中,該裝置可包括:一壓縮組件,其用以在修改該影像之後壓縮該影像來產生另一壓縮視訊資料,該另一壓縮視訊資料包括一表示在修改該影像之後的該影像之壓縮訊框;以及一擴充組件,其用以用對該ROI之一邊界在修改該邊界之位置之後的位置的一指示來擴充該另一壓縮視訊資料。
在包括實例14至17中任一者之標的之實例18中,該裝置可包括一修改組件,其用以識別該影像在該ROI內的一部分中所繪示之一物件,並且用以基於該物件是否為臉來選擇性地修改該影像在該ROI內的該部分。
在包括實例14至18中任一者之標的之實例19中,該剖析組件可剖析該訊息資料來取出該ROI之一優先等級之一指示,該優先等級指示該影像在該ROI內的一部分至少與該影像不在任何ROI內的另一部分之重要程度相比而言的重要程度,並且該裝置可包括一修改組件,其用以基於該優先等級來選擇性地進行影像處理以增強該影像在該ROI內的該部分。
在包括實例14至19中任一者之標的之實例20
中,該ROI之該邊界之位置的指示可包括以下中之至少一者:離該影像之至少一邊緣或一轉角之像素數量的指示,或離該影像之至少一邊緣或一轉角之像素區塊數量的指示。
在包括實例14至20中任一者之標的之實例21中,該剖析組件用以剖析該訊息資料來取出該ROI之一優先等級之一指示,該優先等級指示該影像在該ROI內的一部分至少與該影像不在任何ROI內的另一部分之重要程度相比而言的重要程度,並且該影像在該ROI內的該部分之重要程度可包括以下中之至少一者:大於該另一部分之重要程度的重要程度,或小於該另一部分之重要程度的重要程度。
在包括實例14至21中任一者之標的之實例22中,該訊息資料可包括另一訊息,該另一訊息指定該壓縮視訊資料之一表示該影像之壓縮訊框的一壓縮態樣。
在包括實例14至22中任一者之標的之實例23中,該裝置可包括以下中之至少一者:一顯示器,其用以視覺呈現該影像;或一介面,其用以經由一網路自另一裝置接收該壓縮視訊資料。
在實例24中,一用於壓縮運動視訊影像之運算實行方法包括:壓縮一運動視訊之一影像來產生表示該運動視訊之壓縮視訊資料,該影像包含一感興趣區域(ROI);以及用對該影像中該ROI之一邊界之一位置的一指示來擴充該壓縮視訊資料。
在包括實例24之標的之實例25中,該方法可包括
擷取在一影像感測器之一視野中之至少一物件來作為該影像。
在包括實例24至25中任一者之標的之實例26中,該方法可包括基於該物件之一身份來選擇性地產生該ROI。
在包括實例24至26中任一者之標的之實例27中,該方法可包括用該ROI之一優先等級之一指示來擴充該壓縮視訊資料,該優先等級指示該影像在該ROI內的一部分至少與該影像不在該ROI內的另一部分之重要程度相比而言的重要程度。
在包括實例24至27中任一者之標的之實例28中,該方法可包括至少基於一擷取裝置離該物件之一距離來判定該ROI之該邊界之位置或該ROI之該優先等級中之至少一者。
在包括實例24至28中任一者之標的之實例29中,該方法可包括監視可手動操作之控制器以發現一信號,該信號指示操作該等控制器來提供該ROI之該邊界之位置或該ROI之該優先等級中之至少一者。
在包括實例24至29中任一者之標的之實例30中,該方法可包括:自一裝置接收表示該運動視訊之另一壓縮視訊資料;自該另一壓縮視訊資料產生表示該運動視訊之解壓縮視訊資料;以及剖析該另一壓縮視訊資料之一訊息資料來取出一訊息,該訊息包括該ROI之該邊界之位置的指示。
在包括實例24至30中任一者之標的之實例31中,該方法可包括:以修改該ROI相對於該影像之一邊緣或一轉角中之至少一者的位置之方式修改該影像;以及修改該ROI之該邊界之位置的指示來反映該影像之位置的修改。
在包括實例24至31中任一者之標的之實例32中,該影像之修改可包括對該影像重調尺寸或裁剪該影像中之至少一者。
在包括實例24至32中任一者之標的之實例33中,該ROI之該邊界之位置的指示可包括以下中之至少一者:離該影像之至少一邊緣或一轉角之像素數量的指示,或離該影像之至少一邊緣或一轉角之像素區塊數量的指示。
在包括實例24至33中任一者之標的之實例34中,該方法可包括用該ROI之一優先等級之一指示來擴充該壓縮視訊資料,該優先等級指示該影像在該ROI內的一部分至少與該影像不在任何ROI內的另一部分之重要程度相比而言的重要程度,並且該影像在該ROI內的該部分之重要程度包括以下中之至少一者:大於該另一部分之重要程度的重要程度,或小於該另一部分之重要程度的重要程度。
在包括實例24至34中任一者之標的之實例35中,該壓縮視訊資料可包括一由該壓縮組件產生之訊息資料,該訊息資料包括至少一個訊息,該至少一個訊息指定該壓縮視訊資料之一表示該影像之壓縮訊框的一壓縮態樣;並且該方法可包括產生該壓縮視訊資料內的該訊息資
料以及將另一訊息添加至該訊息資料,該另一訊息包括該ROI之該邊界之位置的指示。
在包括實例24至35中任一者之標的之實例36中,該方法可包括以下中之至少一者:在一顯示器上視覺呈現該影像;或將該壓縮視訊資料經由一網路傳輸至一裝置。
在實例37中,至少一個機器可讀儲存媒體包括指令,該等指令在由一運算裝置執行時使該運算裝置進行以下操作:壓縮一運動視訊之一影像來產生表示該運動視訊之壓縮視訊資料,該影像包含一感興趣區域(ROI);以及用對該影像中該ROI之一邊界之一位置的一指示來擴充該壓縮視訊資料。
在包括實例37之標的之實例38中,可使該運算裝置擷取在一影像感測器之一視野中之至少一物件來作為該影像。
在包括實例37至38中任一者之標的之實例39中,可使該運算裝置基於該物件之一身份來選擇性地產生該ROI。
在包括實例37至39中任一者之標的之實例40中,可使該運算裝置用該ROI之一優先等級之一指示來擴充該壓縮視訊資料,該優先等級指示該影像在該ROI內的一部分至少與該影像不在該ROI內的另一部分之重要程度相比而言的重要程度。
在包括實例37至40中任一者之標的之實例41
中,可使該運算裝置至少基於一擷取裝置離該物件之一距離來判定該ROI之該邊界之位置或該ROI之該優先等級中之至少一者。
在包括實例37至41中任一者之標的之實例42中,可使該運算裝置監視可手動操作之控制器以發現一信號,該信號指示操作該等控制器來提供該ROI之該邊界之位置或該ROI之該優先等級中之至少一者。
在包括實例37至42中任一者之標的之實例43中,可使該運算裝置進行以下操作:自一裝置接收表示該運動視訊之另一壓縮視訊資料;自該另一壓縮視訊資料產生表示該運動視訊之解壓縮視訊資料;以及剖析該另一壓縮視訊資料之一訊息資料來取出一訊息,該訊息包括該ROI之該邊界之位置的指示。
在包括實例37至43中任一者之標的之實例44中,可使該運算裝置進行以下操作:以修改該ROI相對於該影像之一邊緣或一轉角中之至少一者的位置之方式修改該影像;以及修改該ROI之該邊界之位置的指示來反映該影像之位置的修改。
在包括實例37至44中任一者之標的之實例45中,該影像之修改可包括對該影像重調尺寸或裁剪該影像中之至少一者。
在包括實例37至45中任一者之標的之實例46中,該ROI之該邊界之位置的指示可包括以下中之至少一者:離該影像之至少一邊緣或一轉角之像素數量的指示,
或離該影像之至少一邊緣或一轉角之像素區塊數量的指示。
在包括實例37至46中任一者之標的之實例47中,可使該運算裝置用該ROI之一優先等級之一指示來擴充該壓縮視訊資料,該優先等級指示該影像在該ROI內的一部分至少與該影像不在任何ROI內的另一部分之重要程度相比而言的重要程度,並且該影像在該ROI內的該部分之重要程度可包括以下中之至少一者:大於該另一部分之重要程度的重要程度,或小於該另一部分之重要程度的重要程度。
在包括實例37至47中任一者之標的之實例48中,該壓縮視訊資料可包括一由該壓縮組件產生之訊息資料,該訊息資料包括至少一個訊息,該至少一個訊息指定該壓縮視訊資料之一表示該影像之壓縮訊框的一壓縮態樣;並且可使該運算裝置產生該壓縮視訊資料內的該訊息資料並且將另一訊息添加至該訊息資料,該另一訊息包括該ROI之該邊界之位置的指示。
在包括實例37至48中任一者之標的之實例49中,可使該運算裝置在一顯示器上視覺呈現該影像。
在包括實例37至49中任一者之標的之實例50中,可使該運算裝置將該壓縮視訊資料經由一網路傳輸至一裝置。
在實例51中,至少一個機器可讀儲存媒體可包括指令,該等指令在由一運算裝置執行時使該運算裝置進行以上操作中之任一者。
在實例52中,一用以處理運動視訊感興趣區域之裝置可包括用於進行以上操作中之任一者之構件。
100‧‧‧擷取裝置
113‧‧‧影像感測器
117‧‧‧距離感測器
120‧‧‧控制器
130‧‧‧視訊資料
140‧‧‧控制常式
150‧‧‧處理器組件
160‧‧‧儲存器
170‧‧‧ROI資料
180‧‧‧顯示器
190‧‧‧介面
230‧‧‧壓縮視訊資料
400‧‧‧轉碼裝置
430‧‧‧解壓縮視訊資料
440‧‧‧控制常式
450‧‧‧處理器組件
460‧‧‧儲存器
470‧‧‧ROI資料
490‧‧‧介面
500‧‧‧控制器
530‧‧‧壓縮視訊資料
540‧‧‧控制常式
550‧‧‧處理器組件
560‧‧‧儲存器
700‧‧‧觀察裝置
720‧‧‧控制器
730‧‧‧解壓縮視訊資料
740‧‧‧控制常式
750‧‧‧處理器組件
760‧‧‧儲存器
770‧‧‧ROI資料
780‧‧‧顯示器
790‧‧‧介面
999‧‧‧網路
1000‧‧‧影像處理系統
Claims (25)
- 一種用於將感興趣區域指示併入壓縮視訊資料中之裝置,該裝置包含:一壓縮組件,其用以壓縮一運動視訊之一影像來產生表示該運動視訊之壓縮視訊資料,該影像包含一感興趣區域(ROI);以及一擴充組件,其用以用對該ROI之一優先等級的一指示來擴充該壓縮視訊資料,該優先等級係指示該影像在該ROI內的一部份與該影像不在該ROI內的另一部分之一重要程度相比而言的一重要程度,該重要程度的指示包含一值以指出大於該另一部分之該重要程度的一重要程度、或小於該另一部分之該重要程度的一重要程度之其中一者。
- 如請求項1之裝置,其包含:一影像感測器;以及一擷取組件,其用以操作該影像感測器來擷取在該影像感測器之一視野中之至少一物件來作為該影像。
- 如請求項2之裝置,其包含一ROI偵測組件,該ROI偵測組件用以選擇性地產生該ROI,並且基於該物件之一身份來導出該ROI之一邊界之一位置。
- 如請求項3之裝置,該擴充組件用以用該影像中該ROI之該邊界之一位置的一指示來擴充該壓縮視訊資料。
- 如請求項1之裝置,其包含: 一解壓縮組件,其用以自另一壓縮視訊資料產生表示該運動視訊之解壓縮視訊資料,該另一壓縮視訊資料表示該運動視訊並且係自另一裝置接收到;以及一剖析組件,其用以剖析該另一壓縮視訊資料之一訊息資料來取出一訊息,該訊息包括該ROI之該優先等級的該指示。
- 如請求項5之裝置,其包含一修改組件,該修改組件用以修改該ROI相對於該影像之一邊緣或一轉角中之至少一者的一位置之方式來修改該影像以基於該ROI之該優先等級來向內或向外移動該ROI的一邊界,並且用以修改該ROI之該邊界之該位置的該指示來反映該ROI之該位置的修改。
- 如請求項1之裝置,其包含以下中之至少一者:用以視覺呈現該影像之一顯示器;或用以將該壓縮視訊資料經由一網路傳輸至另一裝置之一介面。
- 一種用於從壓縮視訊資料取出感興趣區域指示之裝置,其包含:一解壓縮組件,其用以自壓縮視訊資料產生表示一運動視訊之解壓縮視訊資料,該壓縮視訊資料表示該運動視訊並且係自另一裝置接收到;以及一剖析組件,其用以剖析該壓縮視訊資料之一訊息資料來取出一訊息,該訊息包括該運動視訊之一影像中的一ROI之優先等級的一指示,該優先等級係指示該影像在該ROI內的一部分與該影像不在任何ROI內的另一 部分之一重要程度相比而言的一重要程度,該重要程度的指示包含一值以指出大於該另一部分之該重要程度的一重要程度、或小於該另一部分之該重要程度的一重要程度之其中一者。
- 如請求項8之裝置,其包含一修改組件,該修改組件用以修改該ROI相對於該影像之一邊緣或一轉角中之至少一者的一位置之方式來修改該影像以基於該ROI之該優先等級來向內或向外移動該ROI的一邊界。
- 如請求項9之裝置,其包含:一壓縮組件,其用以在修改該影像之後壓縮該影像來產生另一壓縮視訊資料,該另一壓縮視訊資料包括一表示在修改該影像之後的該影像之壓縮訊框;以及一擴充組件,其以在修改該ROI之該位置之後的該ROI之該邊界之位置的一指示來擴充該另一壓縮視訊資料。
- 如請求項8之裝置,其包含一修改組件,該修改組件用以識別該影像在該ROI內的一部分中所繪示之一物件,並且用以基於該物件是否為一臉來選擇性地修改該影像在該ROI內的該部分。
- 如請求項8之裝置,該剖析組件用以剖析該訊息資料來取出該ROI之該優先等級之一指示,並且該裝置包含一修改組件,該修改組件用以基於該優先等級來選擇性地進行影像處理以增強該影像在該ROI內的該部分。
- 如請求項8之裝置,該剖析組件用以剖析該訊息資料來 取出該影像中該ROI之一邊界之一位置的一指示。
- 一種用於將感興趣區域指示併入壓縮視訊資料中之電腦實行之方法,其包含:壓縮一運動視訊之一影像來產生表示該運動視訊之壓縮視訊資料,該影像包含一感興趣區域(ROI);以及用對該ROI之一優先等級的一指示來擴充該壓縮視訊資料,該優先等級係指示該影像在該ROI內的一部份與該影像不在該ROI內的另一部分之一重要程度相比而言的一重要程度,該重要程度的指示包含一值以指出大於該另一部分之該重要程度的一重要程度、或小於該另一部分之該重要程度的一重要程度之其中一者。
- 如請求項14之電腦實行之方法,其包含擷取在一影像感測器之一視野中之至少一物件來作為該影像。
- 如請求項15之電腦實行之方法,其包含基於該物件之一身份來選擇性地產生該ROI。
- 如請求項16之電腦實行之方法,其包含用該影像中該ROI之一邊界之一位置的一指示來擴充該壓縮視訊資料。
- 如請求項14之電腦實行之方法,其包含:修改該ROI相對於該影像之一邊緣或一轉角中之至少一者的一位置之方式來修改該影像以基於該ROI之該優先等級來向內或向外移動該ROI的一邊界;以及用該影像中該ROI之該邊界之一位置的一指示來擴 充該壓縮視訊資料。
- 如請求項14之電腦實行之方法,其包含以下中之至少一者:在一顯示器上視覺呈現該影像;或將該壓縮視訊資料經由一網路傳輸至一裝置。
- 一種包含至少一個機器可讀儲存媒體之機器可讀儲存媒體組,其包含指令,該等指令在由一運算裝置執行時使該運算裝置進行以下操作:壓縮一運動視訊之一影像來產生表示該運動視訊之壓縮視訊資料,該影像包含一感興趣區域(ROI);以及用對該ROI之一優先等級的一指示來擴充該壓縮視訊資料,該優先等級係指示該影像在該ROI內的一部份與該影像不在該ROI內的另一部分之一重要程度相比而言的一重要程度,該重要程度的指示包含一值以指出大於該另一部分之該重要程度的一重要程度、或小於該另一部分之該重要程度的一重要程度之其中一者。
- 如請求項20之機器可讀儲存媒體組,使該運算裝置擷取在一影像感測器之一視野中之至少一物件來作為該影像。
- 如請求項21之機器可讀儲存媒體組,使該運算裝置基於該物件之一身份來選擇性地產生該ROI。
- 如請求項22之機器可讀儲存媒體組,使該運算裝置用該影像中該ROI之一邊界之一位置的一指示來擴充該壓縮視訊資料。
- 如請求項23之機器可讀儲存媒體組,該ROI之該邊界之該位置的該指示可包括以下中之至少一者:離該影像之至少一邊緣或一轉角之一像素數量的一指示,或離該影像之至少一邊緣或一轉角之一像素區塊數量的一指示。
- 如請求項20之機器可讀儲存媒體組,該壓縮視訊資料包含一訊息資料包含至少一個訊息,該至少一個訊息指定表示該影像之該壓縮視訊資料之一壓縮訊框的一壓縮態樣,使該運算裝置進行以下操作:產生該壓縮視訊資料內的該訊息資料;以及將包含該ROI之該優先等級的該指示之另一訊息添加至該訊息資料。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/183,026 US20150237351A1 (en) | 2014-02-18 | 2014-02-18 | Techniques for inclusion of region of interest indications in compressed video data |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201534109A TW201534109A (zh) | 2015-09-01 |
TWI569629B true TWI569629B (zh) | 2017-02-01 |
Family
ID=53799296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW104101500A TWI569629B (zh) | 2014-02-18 | 2015-01-16 | 用於在壓縮視訊資料中包括感興趣區域指示之技術 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150237351A1 (zh) |
EP (1) | EP3108655A4 (zh) |
JP (1) | JP6263830B2 (zh) |
CN (1) | CN105917649B (zh) |
BR (1) | BR112016016576A2 (zh) |
TW (1) | TWI569629B (zh) |
WO (1) | WO2015126545A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI729378B (zh) * | 2018-04-17 | 2021-06-01 | 聯發科技股份有限公司 | 視訊編解碼的神經網路方法和裝置 |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20165256L (fi) * | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
JP2017224970A (ja) * | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
US10657674B2 (en) | 2016-06-17 | 2020-05-19 | Immersive Robotics Pty Ltd. | Image compression method and apparatus |
US10499065B2 (en) | 2016-07-21 | 2019-12-03 | Samsung Display Co. Ltd. | System and method for sending video data over a wireless channel |
CN106228614A (zh) * | 2016-07-29 | 2016-12-14 | 宇龙计算机通信科技(深圳)有限公司 | 一种场景再现方法和装置 |
US10848734B1 (en) | 2016-09-26 | 2020-11-24 | Amazon Technologies, Inc. | Image frame encoding based on projection space seam |
US10349055B1 (en) * | 2016-09-26 | 2019-07-09 | Amazon Technologies, Inc. | Image frame encoding based on projection space |
KR102310040B1 (ko) * | 2016-10-12 | 2021-10-06 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 공간적으로 불균등한 스트리밍 |
US10887572B2 (en) | 2016-11-17 | 2021-01-05 | Intel Corporation | Suggested viewport indication for panoramic video |
US11150857B2 (en) | 2017-02-08 | 2021-10-19 | Immersive Robotics Pty Ltd | Antenna control for mobile device communication |
US11532128B2 (en) | 2017-03-23 | 2022-12-20 | Qualcomm Incorporated | Advanced signaling of regions of interest in omnidirectional visual media |
RU2730435C1 (ru) | 2017-04-21 | 2020-08-21 | Зенимакс Медиа Инк. | Системы и способы рендеринга с адаптируемым качеством под управлением кодировщика |
US11042770B2 (en) * | 2017-10-09 | 2021-06-22 | EagleSens Systems Corporation | Artificial intelligence based image data processing method and image sensor |
US10848709B2 (en) * | 2017-10-09 | 2020-11-24 | EagleSens Systems Corporation | Artificial intelligence based image data processing method and image processing device |
EP3714602A4 (en) * | 2017-11-21 | 2021-07-28 | Immersive Robotics Pty Ltd | IMAGE COMPRESSION FOR DIGITAL REALITY |
EP3714598A4 (en) | 2017-11-21 | 2021-03-31 | Immersive Robotics Pty Ltd | SELECTING A FREQUENCY COMPONENT FOR IMAGE COMPRESSION |
EP3598259B1 (en) | 2018-07-19 | 2021-09-01 | Panasonic Intellectual Property Management Co., Ltd. | Information processing method and information processing system |
US10779014B2 (en) | 2018-10-18 | 2020-09-15 | At&T Intellectual Property I, L.P. | Tile scheduler for viewport-adaptive panoramic video streaming |
CN109168032B (zh) * | 2018-11-12 | 2021-08-27 | 广州酷狗计算机科技有限公司 | 视频数据的处理方法、终端、服务器及存储介质 |
US10897627B2 (en) | 2019-01-11 | 2021-01-19 | Western Digital Technologies, Inc. | Non-volatile memory system including a partial decoder and event detector for video streams |
US10936055B2 (en) * | 2019-01-24 | 2021-03-02 | Dell Products, L.P. | Encoding content for virtual, augmented, and mixed reality (xR) applications in connectivity-constrained environments |
US11909964B2 (en) * | 2019-03-08 | 2024-02-20 | Sony Group Corporation | Information processing device, information processing method, and program |
WO2020241269A1 (ja) * | 2019-05-29 | 2020-12-03 | 住友電気工業株式会社 | 映像伝送システム、映像送信装置、映像受信装置、映像配信方法、映像送信方法、映像受信方法およびコンピュータプログラム |
US11064194B2 (en) | 2019-10-31 | 2021-07-13 | Western Digital Technologies, Inc. | Encoding digital videos using controllers of data storage devices |
WO2021102880A1 (en) * | 2019-11-29 | 2021-06-03 | Alibaba Group Holding Limited | Region-of-interest aware adaptive resolution video coding |
US10841645B1 (en) | 2019-12-09 | 2020-11-17 | Western Digital Technologies, Inc. | Storage system and method for video frame segregation to optimize storage |
US10939126B1 (en) * | 2019-12-09 | 2021-03-02 | Guangzhou Zhijing Technology Co., Ltd | Method of adding encoded range-of-interest location, type and adjustable quantization parameters per macroblock to video stream |
US11562018B2 (en) | 2020-02-04 | 2023-01-24 | Western Digital Technologies, Inc. | Storage system and method for optimized surveillance search |
US11526435B2 (en) | 2020-02-04 | 2022-12-13 | Western Digital Technologies, Inc. | Storage system and method for automatic data phasing |
US11328511B2 (en) | 2020-03-13 | 2022-05-10 | Western Digital Technologies, Inc. | Storage system and method for improved playback analysis |
CN113642358B (zh) * | 2020-04-27 | 2023-10-10 | 华为技术有限公司 | 肤色检测方法、装置、终端和存储介质 |
US11481884B2 (en) * | 2020-06-04 | 2022-10-25 | Nuro, Inc. | Image quality enhancement for autonomous vehicle remote operations |
US20230306553A1 (en) * | 2022-03-23 | 2023-09-28 | International Business Machines Corporation | Mitigating compression induced loss of information in transmitted images |
WO2024077798A1 (en) * | 2022-10-11 | 2024-04-18 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image data coding methods and systems |
CN117640932B (zh) * | 2024-01-25 | 2024-04-26 | 陕西通达伟业医疗供应链管理有限公司 | 用于远程医疗的神经内科图像压缩传输方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999049413A1 (en) * | 1998-03-20 | 1999-09-30 | Mitsubishi Electric Corp. | Lossy/lossless region-of-interest image coding |
WO2009003885A2 (en) * | 2007-06-29 | 2009-01-08 | Thomson Licensing | Video indexing method, and video indexing device |
US20130342640A1 (en) * | 2011-04-11 | 2013-12-26 | Qiang Li | Object of interest based image processing |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4656912B2 (ja) * | 2004-10-29 | 2011-03-23 | 三洋電機株式会社 | 画像符号化装置 |
US20070113242A1 (en) * | 2005-11-16 | 2007-05-17 | Fetkovich John E | Selective post-processing of compressed digital video |
JP2009027535A (ja) * | 2007-07-20 | 2009-02-05 | Sanyo Electric Co Ltd | 画像処理装置およびそれを用いた撮像装置 |
US8600189B2 (en) * | 2007-11-12 | 2013-12-03 | Qualcomm Incorporated | Block-based image stabilization |
US8773498B2 (en) * | 2011-09-30 | 2014-07-08 | Polycom, Inc. | Background compression and resolution enhancement technique for video telephony and video conferencing |
WO2013077236A1 (en) * | 2011-11-21 | 2013-05-30 | Canon Kabushiki Kaisha | Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium |
EP2814243A4 (en) * | 2012-06-25 | 2016-04-20 | Sony Corp | Image Decoding Device, Image Decoding Method, Image Coding Device, and Image Coding Method |
JP5343156B1 (ja) * | 2012-06-29 | 2013-11-13 | 株式会社東芝 | 検出装置、検出方法および映像表示装置 |
US10771801B2 (en) * | 2012-09-14 | 2020-09-08 | Texas Instruments Incorporated | Region of interest (ROI) request and inquiry in a video chain |
US10045032B2 (en) * | 2013-01-24 | 2018-08-07 | Intel Corporation | Efficient region of interest detection |
-
2014
- 2014-02-18 US US14/183,026 patent/US20150237351A1/en not_active Abandoned
-
2015
- 2015-01-16 JP JP2016544384A patent/JP6263830B2/ja active Active
- 2015-01-16 TW TW104101500A patent/TWI569629B/zh not_active IP Right Cessation
- 2015-01-16 EP EP15751621.2A patent/EP3108655A4/en not_active Withdrawn
- 2015-01-16 WO PCT/US2015/011712 patent/WO2015126545A1/en active Application Filing
- 2015-01-16 CN CN201580004961.2A patent/CN105917649B/zh active Active
- 2015-01-16 BR BR112016016576A patent/BR112016016576A2/pt not_active Application Discontinuation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999049413A1 (en) * | 1998-03-20 | 1999-09-30 | Mitsubishi Electric Corp. | Lossy/lossless region-of-interest image coding |
WO2009003885A2 (en) * | 2007-06-29 | 2009-01-08 | Thomson Licensing | Video indexing method, and video indexing device |
US20130342640A1 (en) * | 2011-04-11 | 2013-12-26 | Qiang Li | Object of interest based image processing |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI729378B (zh) * | 2018-04-17 | 2021-06-01 | 聯發科技股份有限公司 | 視訊編解碼的神經網路方法和裝置 |
US11470356B2 (en) | 2018-04-17 | 2022-10-11 | Mediatek Inc. | Method and apparatus of neural network for video coding |
Also Published As
Publication number | Publication date |
---|---|
WO2015126545A1 (en) | 2015-08-27 |
CN105917649A (zh) | 2016-08-31 |
JP2017509189A (ja) | 2017-03-30 |
EP3108655A4 (en) | 2017-10-18 |
EP3108655A1 (en) | 2016-12-28 |
US20150237351A1 (en) | 2015-08-20 |
CN105917649B (zh) | 2019-08-27 |
JP6263830B2 (ja) | 2018-01-24 |
TW201534109A (zh) | 2015-09-01 |
BR112016016576A2 (pt) | 2017-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI569629B (zh) | 用於在壓縮視訊資料中包括感興趣區域指示之技術 | |
JP6030230B2 (ja) | パノラマベースの3dビデオコーディング | |
US11671712B2 (en) | Apparatus and methods for image encoding using spatially weighted encoding quality parameters | |
KR102414567B1 (ko) | 비디오 인코딩 및 디코딩을 위한 적응형 전달 함수 | |
CN107771395B (zh) | 生成和发送用于虚拟现实的元数据的方法和装置 | |
TWI528787B (zh) | 用於管理視訊串流之技術 | |
KR101634500B1 (ko) | 미디어 작업부하 스케줄러 | |
JP5985053B2 (ja) | 関心領域ベースの3dビデオコーディング | |
CN106664437B (zh) | 一种用于对视频内容进行编码以进行无线传输的计算机实现的方法、系统、设备以及可读介质 | |
CN112399178A (zh) | 视觉质量优化的视频压缩 | |
US20140092439A1 (en) | Encoding images using a 3d mesh of polygons and corresponding textures | |
JP5976696B2 (ja) | 処理方法及びビデオコーディングシステム | |
TWI513316B (zh) | 轉碼視頻資料之技術 | |
KR101593428B1 (ko) | 섬네일 이미지를 압축 비디오 이미지에 포함시키는 기술 | |
KR20230002318A (ko) | 머신들을 위한 패치 기반 비디오 코딩 | |
WO2017101091A1 (en) | Content based video encoding for wireless display | |
US20130170543A1 (en) | Systems, methods, and computer program products for streaming out of data for video transcoding and other applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |