TWI415472B - 編碼資料流之最佳電源使用 - Google Patents

編碼資料流之最佳電源使用 Download PDF

Info

Publication number
TWI415472B
TWI415472B TW098139725A TW98139725A TWI415472B TW I415472 B TWI415472 B TW I415472B TW 098139725 A TW098139725 A TW 098139725A TW 98139725 A TW98139725 A TW 98139725A TW I415472 B TWI415472 B TW I415472B
Authority
TW
Taiwan
Prior art keywords
encoding
sequence
power
encoding technique
technique
Prior art date
Application number
TW098139725A
Other languages
English (en)
Other versions
TW201028012A (en
Inventor
Shashank Garg
Vinayak Jayaram Pore
Soumenkumar Dey
Manish Jatashanker Pandey
Harikrishna Madadi Reddy
Manindra Nath Parhy
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of TW201028012A publication Critical patent/TW201028012A/zh
Application granted granted Critical
Publication of TWI415472B publication Critical patent/TWI415472B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

編碼資料流之最佳電源使用
本發明是關於訊號處理，尤其是關於編碼資料流的最佳電源使用。
編碼通常指將一序列數位值(例如資料流)從一種格式轉換成另一種格式。編碼通常牽涉到的工作例如壓縮、應用轉換等，如習知技術所熟知的。解碼通常指處理編碼資料，以儘可能接近地復原原始資料流，如習知技術所熟知的。
一般而言，編碼是利用特定的編碼技術執行，而後使用對應的解碼技術來復原原始資料流。編碼技術的界定是藉由處理邏輯(一組界定的數學運算作用於來源資料流之序列數位值)。
由於不同的處理邏輯，不同編碼技術可能需要不同的處理資源，以得到潛在不同的品質(例如由一或更多等級的壓縮、資料損失程度、精確等級等所估量的)。依此，處理資源決定所需的電源量。
當編碼資料流時，通常希望最佳化地使用電源。
根據本發明觀點提供的編碼器，根據對應期間可用的電源量來利用不同的編碼技術。由於使用這樣不同編碼技術的能力，可最佳化地利用電源。
根據本發明另一觀點，更根據對應期間電源量的可用性動態地在編碼技術間切換，來加強最佳化。
於一實施例，各編碼技術估計在對應精確程度(藉此消耗對應程度的電源)的移動向量，以及選擇精確程度以對應可用的電源預算。可針對所需的精確程度，關閉不需要的電路。
參考說明性範例，於下描述本發明數個觀點。然而。熟此技藝者可知本發明可不以一或更多的特定細節或以其他方法、元件、材料等施行。於其他範例中，不詳細顯示熟知的結構、材料、或操作，以免模糊本發明特徵。再者，雖然於此為精簡之故僅說明一些組合，但是所述的特徵/觀點可以各種組合實施。
 範例裝置
圖1為顯示可實施本發明數個觀點之範例裝置100細節的方塊圖。雖然此裝置對應手持攝像機，但是熟此技藝者在讀過本揭露後可知這些特徵可實施於其他裝置。此裝置顯示含有使用者應用110、軟體驅動器120、相機130、視頻編碼器140、中央處理單元(CPU)150、記憶體160、外部介面170、電源管理模組180、及電源供應器190。
雖然分別顯示區塊，但是中央處理單元150執行構成使用者應用110及軟體驅動器120的各種軟體指令。一般而言，中央處理單元150執行記憶體160中的指令，以提供對應的效用。
外部介面170可含有輸入元件(例如鍵盤、指向裝置、觸控螢幕、按鈕、USB輸入等)以及輸出元件(例如顯示器、擴音器)，用這些可提供各種的使用者介面。接收的輸入可經由軟體驅動器120以已知方式提供給使用者應用110。類似地，使用者應用110可經由軟體驅動器亦以已知方式提供輸出資料(供顯示/音頻複製)給外部介面170。
當由中央處理單元150執行時，各使用者應用110提供對應的效用組(例如觀看電影、攝影、播放歌曲等)。以下說明性範例描述關於捕捉壓縮形式的視頻訊號，但是本發明特徵可用於各種其他應用背景。視頻捕捉可因應使用者經由外部介面170提供適當的輸入組來啟動。
電源管理模組180從電源供應器190接收電源，且設計成估計各種元件(例如中央處理單元150、記憶體160)目前的電源需求。電源管理模組180亦可追蹤執行於系統的各使用者應用110(例如編碼、解碼、網際網路瀏覽)的電源需求。基於此類估計(或其他狀況)，電源管理模組180可計算視頻編碼器140的可用電源量。一般而言，所有元件消耗的總電源可能必需比電源供應器190提供的電源程度還少。基於此類通則需求，可計算編碼器140的可用電源。
軟體驅動器120可含有對應的驅動器，以與各元件130/140/150/160/170及180介接。因此，當使用者請求視頻捕捉時，對應的軟體驅動器可在路徑123傳送捕捉請求給相機130。因應於此，軟體驅動器120可在路徑132接收代表一序列捕捉影像/圖框的資料流。可針對編碼傳送資料流給視頻編碼器140。可接收編碼的資料並傳送給中央處理單元150以供進一步處理(例如儲存於第二儲存器或傳送到外部裝置)。
編碼器140編碼從軟體驅動器120接收到的資料。於此類編碼期間，可最佳化地使用電源，如下範例所述。
編碼技術
圖2為顯示於本發明一實施例中編碼技術的流程圖。於下參考圖1說明流程圖僅作為例示。然而，各種特徵可實施於其他環境並針對其他類型資料(例如是音頻)。在不悖離本發明精神及範疇下，熟此技藝者在閱讀所提供的揭示將可知，於其他環境的選替實施例，亦可利用不同的步驟順序實施。流程圖開始於步驟201並控制通到步驟210。
於步驟210中，軟體驅動器120接收輸入資料流以及編碼操作的可用電源量。輸入資料流含有表示感興趣資訊的一序列數位值。於圖1的案例中，數位值可表示相機130所捕捉的一序列框。就任何期間(例如除非爾後改變的期間)而言，電源量可與編碼器140的實施一致。
於步驟220，軟體驅動器120選擇需要比可用電源量還少或相等的訊號處理技術。舉例而言，若可用電源為低的(例如相對於來自電力公司的外部電源供應來源，在目前實例電源來源190對應電池)，可選擇具有較低品質的編碼技術(假設需要消耗較少電源的資源)。
於步驟240，軟體驅動器120利用選擇的訊號處理技術編碼輸入資料流。如可理解的，資源需求由訊號處理技術的實施來決定(藉由對應硬體、軟體、及韌體的組合)。因此，藉由指示電源量，可最佳化使用總共可用的電源。流程圖於步驟299結束。
雖然上述流程圖於單一實例說明關於編碼技術的選擇，但是應理解特徵在適合的特定環境中可重複數次這些特徵。此外，可施行各種方法以實施對應的編碼技術。以下說明顯示此類特徵的範例實施。
範例實施
圖3為顯示本發明實施例中部分編碼器細節之方塊圖。顯示方塊圖含有驅動器130、整數畫素移動估計(integer Pel motion estimation(ME))320、半畫素移動估計330、四分之一畫素移動估計340、以及邏輯區塊380。各區塊於下更詳細說明。
驅動器310可對應軟體驅動器120中的其中一個驅動器，或選替地實施於視頻編碼器140內。一般而言，驅動器310接收可用電源量，以及開啟/關閉所欲的移動估計區塊。此外，驅動器310針對編碼目的可操作的通訊特定估計區塊，而使邏輯區塊380可基於僅來自操作的(未被關閉的)元件的可用資料，來執行剩餘的編碼操作。
邏輯區塊380代表除了區塊320/330/340執行的移動估計外的所有編碼操作(「剩餘操作」)。剩餘操作是根據特定的編碼演算及對應環境中所使用的輸入/輸出格式。應理解邏輯區塊380欲以根據區塊320/330及340哪個是開啟/關閉而可用的不同數目移動估計(以對應的精確性)實施。邏輯區塊380的實施對熟此技藝者而言為顯見的。
整數畫素移動估計320估計兩個連續影像框(或其部分)間的運動達整數畫素值的精確性，如習知所熟知的。舉例而言，整數畫素移動估計320可將第二/中間影像框放在序列中接收的第一/先前框相距一個畫素距離的位置，以及計算差異。
於圖4中的位置圖410A-410H顯示範例性的相對整數畫素位置。將針對各位置(例如範例的8個位置)計算的估計作為輸出提供到邏輯區塊380。整數畫素移動估計320可利用已知技術實施，以及對應地可每個框消耗X電源量，而以所需速度執行移動估計。
半畫素移動估計330估計兩個連續框間的運動達半個畫素距離。舉例而言，半畫素移動估計330可將第二影像框放在序列中接收的對應第一框相距半個畫素距離的位置。
於圖4中的位置圖420A-420H顯示範例性的相對半畫素位置。將針對各位置(例如範例的8個位置)計算的估計作為輸出提供在路徑142。半畫素移動估計330可利用已知技術實施，以及對應地可每個框可消耗Y電源量，而以所需速度執行移動估計。
類似地，四分之一畫素移動估計340估計兩個連續框間的運動達四分之一畫素值的精確性。於圖4中的位置圖430A-430H顯示範例性的相對四分之一畫素位置。四分之一畫素移動估計340可利用已知技術實施，以及對應地可每個框可消耗Z電源量，而以所需速度執行移動估計。
驅動器310基於所接收的電源預算，來控制整數畫素移動估計320、半畫素移動估計330、以及四分之一畫素移動估計340的操作。所接收的電源預算(可用電源量)可指示執行編碼操作/移動估計的可用電源。驅動器亦可維持整數畫素移動估計320、半畫素移動估計330、以及四分之一畫素移動估計340電源需求的細節。
於一實施例，當編碼的可用電源量等於或大於X+Y+Z(X=整數畫素的電源、Y=半畫素的電源、以及Z=四分之一畫素的電源)，驅動器310可開啟整數畫素移動估計320、半畫素移動估計330、以及四分之一畫素移動估計340(第一編碼技術的範例)，針對說明假設忽略邏輯區塊380中的計算。因此，移動估計執行於大量的相對位置(於此案例為24個)。因此，邏輯區塊380可接收24個位置各個的估計值(代表兩個連續框間的匹配程度)，以及對壓縮目前處理的影像框選擇24個位置中最匹配的一個。由於在次畫素程度有更多的位置考慮編碼，因此編碼的框(數位值序列)產生高品質的編碼訊號。
選替地，當編碼的可用電源大於X+Y且少於X+Y+Z時，驅動器310可僅開啟整數畫素移動估計320及半畫素移動估計330(第二編碼技術的範例)。因此，移動估計執行於相對較少量的相對位置(於此案例為16個)。因此，在16個位置中(由邏輯區塊380)選擇最接近的匹配，以編碼框而提供中等品質的編碼訊號。
類似地，當可用電源少於X+Y且大於X時，驅動器310可僅開啟整數畫素移動估計320。因此，移動估計執行於8個相對位置。因此，在8個位置中選擇最接近的匹配，以編碼框而提供低品質的編碼訊號。
於選替實施例中，驅動器310可分別針對X、Y、及Z電源量的可用性，選擇整數畫素移動估計320、半畫素移動估計330、以及四分之一畫素移動估計340中的其中一個。
由上述可知，可最佳化使用電源於潛在地編碼各連續影像框。可動態地調整電源消耗，如以下範例所述。
動態選擇編碼技術
圖5為顯示本發明一實施例基於電源可用性，動態選擇處理(編碼/解碼)技術之狀態圖。所示狀態圖包含狀態：「詢問電源管理模組有關電源預算」510、高品質520、中等品質530、低品質540、以及「低品質及丟框」550。各狀態及對應的轉變於下更詳細說明。
詢問電源管理模組有關電源預算狀態510代表編碼器300的初使狀態。於此狀態，驅動器120/310詢問電源管理模組180有關可用電源，以編碼資料流。驅動器120/310接收可用電源512、513、及514的值，且分別改變編碼器的狀態為高品質520、中等品質530、及低品質540。此改變牽涉到開啟/關閉對應的移動估計區塊，以及其與邏輯區塊380的溝通。
於高品質狀態520、中等品質狀態530、及低品質狀態540各個中，視頻編碼器140操作而分別產生高品質、中等品質、及低品質(低品質有更多的資訊損失)的編碼訊號。舉例而言，參考圖3的描述，電源512、513、及514可分別代表值：X+Y+Z、X+Y、及X。
因此，高品質狀態520代表整數畫素移動估計320、半畫素移動估計330、及四分之一畫素移動估計340被開啟。類似地，中等狀態530及低狀態540分別代表當整數畫素移動估計320及半畫素移動估計330皆開啟的情況，以及當整數畫素移動估計320被開啟的情況。
於「低品質及丟框」550狀態中，視頻編碼器140操作而丟棄框，以減少框率到低於預定值，以執行在可用電源量內的編碼。由於丟框，在編碼鏈中出現的各模組的電源使用可隨著各丟棄框而減少。
然而，丟棄框可能導致編碼器從所需位元率輸出的位元率改變(降低)。此類位元率的降低可藉由調整速率控制參數(RC)來補償，如習知所熟知的。舉例而言，每個框的平均位元組(通常分類為速率控制(RC)參數)表示為位元率/框率，以及編程入視頻編碼器(範例的邏輯區塊380)。
當丟棄框時，編碼器可調整速率控制參數，以維持目標位元率。再者，框的丟棄提供更多的位元預算來編碼框。因此，於一實施例，編碼框的主觀品質不會戲劇性下降。再者，編碼序列的品質可藉由插入I-片/框及/或利用更多內部刷新宏塊而增加。
再者，驅動器310/120可於規律區間接收電源分配(可用性)。於編碼操作期間，由於一或更多使用者應用的開始/終止，可改變分配的電源。因此，驅動器可基於可用電源的降低(電源-)或增加(電源+)，來改變編碼器狀態。轉變532、543、及554代表由於(編碼的)可用電源增加(+)的轉變，而轉變523、534、及545代表由於可用電源降低(-)的轉變。因此，這些轉變是在可用電源的對應增加或減少時造成的。
轉變的選擇可基於環境的特定要求來決定，如習知所知的。舉例而言，在編碼程序期間，若可用電源降低到少於X+Y+Z，則驅動器310可將編碼器操作從高品質切換到中等品質。
編碼技術的電源動態選擇方式是根據上述說明執行，且參考以下H.264編碼器的說明。
H.264編碼器範例
圖6為顯示H.264編碼器於720解析度(影像具有1280x720的尺寸)之編碼技術清單及對應功率需求細節的表單。欄610列出編碼技術，欄620代表編碼資料框所需的時脈週期數，欄630代表達到30fps(框/秒)產量之時脈週期的頻率，以及欄640代表30fps執行對應的編碼技術所需的電源。
於所示範例中，列650代表低品質編碼技術的細節，列660代表中等編碼技術的細節，以及列670代表高品質編碼技術的細節。低、中、高品質編碼技術根據H.264標準實施。為說明更假設332mW為整個視頻編碼程序消耗的固定電源(例如當配合區塊140操作以編碼視頻訊號時，所有區塊130、150、160、170消耗的電源)，而視頻編碼器140在各品質等級消耗遞增的電源。
說明繼續參考具有標準鋰離子4000mWh電池的範例實施例，以及希望裝置(執行任何數量的應用)壽命在單一電池充電是至少5個小時。因此，電源管理模組180限制在任何時間點的最大電源為800mW(4000mWh/5)。
若裝置在開始720p解析度的視頻編碼應用時已執行且消耗400mW，軟體驅動器120詢問(根據狀態510)電源管理模組180，發現僅400mW(轉變513範例)可用，因此設定編碼為中等品質(狀態530)，因為所示中等品質僅需要399mW。
因此，由上述可知，可選擇編碼技術，以對應可用電源，因此電源可最佳化地使用。
此外，雖然說明移動估計區塊320/330/340的關閉/開啟為電源最佳化使用的一種方式，但是其他降低電源消耗的技術(例如僅使部分電路失能、利用需要較少計算的方法，即使僅實施於軟體)亦可用於編碼器，而不悖離本發明範疇及數個觀點，如熟此技藝者可知的。
類似地，雖然提供的說明是參考視頻資料的處理，但是應了解這些特徵可用於決定其他類型的訊號資料(例如音頻)。
結論
雖然已於上描述本發明各種實施例，但應了解其係僅呈現做為範例而非限制。因此，本發明的廣度及範疇不應受限於上述的例示實施例，而應僅由以下申請專利範圍及其均等來界定。
再者，摘要的目的是為了使智慧局及大眾，尤其是對專利及法律術語或用語不熟悉的科學家、工程師、及熟此技藝者，從粗略的檢查快速地決定本發明技術揭露的本質及重點。摘要於任何方面不意欲做為本發明範疇的限制。
100．．．裝置
110．．．使用者應用
120．．．軟體驅動器
123．．．路徑
130．．．相機
132．．．路徑
140．．．視頻編碼器
142．．．路徑
150．．．中央處理單元
160．．．記憶體
170．．．外部介面
180．．．電源管理模組
190．．．電源供應器
300．．．編碼器
310．．．驅動器
320．．．整數畫素移動估計
330．．．半畫素移動估計
340．．．四分之一畫素移動估計
380．．．邏輯區塊
410A-410H．．．位置
420A-420H．．．位置
430A-430H．．．位置
510．．．詢問電源管理模組有關電源預算
512．．．電源
513．．．電源
514．．．電源
520．．．高品質
523．．．轉變
530．．．中等品質
532．．．轉變
534．．．轉變
540．．．低品質
543．．．轉變
545．．．轉變
550．．．低品質及丟框
554．．．轉變
610．．．品質程度
620．．．時脈/框
630．．．每秒30框之頻率
640．．．電源消耗
650．．．低品質編碼技術
660．．．中等編碼技術
670．．．高品質編碼技術
參考簡述於下的伴隨圖式將說明本發明範例性實施例。
圖1為顯示可實施本發明數個觀點之範例裝置細節的方塊圖。
圖2為顯示於本發明實施例中最佳化使用電源方式的流程圖。
圖3為顯示一實施例中視頻編碼器細節之方塊圖。
圖4為顯示本發明實施例中於移動估計例示計算期間相對畫素位置的方塊圖。
圖5為顯示本發明實施例中根據可用電源動態選擇編碼技術之狀態圖。
圖6為顯示本發明實施例中用於不同可用電源量之不同編碼技術表。
於圖式中，類似的參考符號通常表示相同的、功能類似的、及/或結構類似的元件。於圖式中，首次出現的元件由對應參考符號中最左邊的數字表示。

Claims (20)

  1. 一種處理數位資料流之裝置，包含：一編碼器，編碼包含一序列數位值之一資料流；以及一電源管理模組，指示一可用電源量，該電源管理模組設計成在對應時間點指示一序列的可用電源量，其中該編碼器設計成接收該序列的可用電源量，以及因應該接收該序列的可用電源量以選擇一編碼技術編碼該序列數位值之一對應子集，以及若該可用電源量高於一臨界，則選擇一第一編碼技術編碼該資料流，不然則選擇一第二編碼技術編碼；另外其中該序列數位值表示一序列影像框，且該編碼器包含一第一區塊設計成利用一第一解析度估計連續影像框之間的運動，以及一第二區塊設計成利用一第二解析度估計連續影像框之間的運動，其分別執行該第一編碼技術及該第二編碼技術。
  2. 如申請專利範圍第1項所述之裝置，其中該第一編碼技術需要比該第二編碼技術更多的電源以編碼一相同量的數位值，藉此當該可用電源量較多時，選擇需要更多電源的編碼技術。
  3. 如申請專利範圍第2項所述之裝置，其中當選擇該第二編碼技術時，該第一區塊可操作成關閉，以及當選擇該第一編碼技術時，該第一區塊可操作成開啟。
  4. 如申請專利範圍第3項所述之裝置，另外其中該第一解析度大於該第二解析度。
  5. 如申請專利範圍第4項所述之裝置，其中該第一解析度等於該影像框之一畫素的一部分，以及該第二解析度等於該影像框的一個畫素。
  6. 如申請專利範圍第5項所述之裝置，更包含一軟體驅動器，用以接收該可用電源量、用以選擇該第一編碼技術或該第二編碼技術、以及用以關閉該第一區塊及該第二區塊其中之一。
  7. 如申請專利範圍第6項所述之裝置，更包含一中央處理單元(CPU)及一記憶體，該電源管理模組基於從該中央處理單元及該記憶體之電源要求及一電源供應器接收的一電源，計算該可用電源量。
  8. 如申請專利範圍第6項所述之裝置，其中該第二編碼技術更包含：丟棄該中間影像框；以及調整一速率控制參數，而以一所需位元速率提供輸出。
  9. 如申請專利範圍第8項所述之裝置，其中該第二編碼技術更包含插入複數個I-片/框到該序列影像框以補償丟棄該中間影像框。
  10. 如申請專利範圍第9項所述之裝置，其中該插入複數個I-片/框包含利用更多內部刷新宏塊插入複數個I-片/框。
  11. 如申請專利範圍第1項所述之裝置，其中該第一區塊相較於該第二區塊，設計成於較大量的相對位置估計連續 影像框之間的運動。
  12. 一種處理數位資料流之系統，包含：一編碼裝置，配置用以編碼表示一序列影像框的一序列數位值，該編碼裝置包含：一第一區塊，設計成基於一第一編碼技術執行一編碼操作及利用一第一解析度估計連續影像框之間的運動；一第二區塊，設計成基於一第二編碼技術執行該編碼操作及利用一第二解析度估計連續影像框之間的運動；以及一驅動器，配置在對應時間點接收一序列可用電源量，及因應接收該序列可用電源量，選擇該第一編碼技術或該第二編碼技術，以編碼該序列數位值之一對應子集，其中若該可用電源量高於一臨界，則選擇該第一編碼技術編碼該序列數位值之一對應子集，不然則選擇該第二編碼技術編碼該序列數位值之該對應子集，另外其中若利用該第二編碼技術編碼該序列數位值，則該驅動器被配置關閉該第一區塊，若利用該第一編碼技術編碼該序列數位值，則該驅動器關閉該第二區塊。
  13. 如申請專利範圍第12項所述之系統，其中該第一編碼技術需要比該第二編碼技術更多的電源以編碼一相同量的數位值，藉此當該可用電源量較多時，選擇需要更多電源的編碼技術。
  14. 如申請專利範圍第13項所述之系統，其中該第一解析度大於該第二解析度，其中該編碼器設計成接收該序列可用電源量，及因應接收該序列可用電源量，選擇一編碼技術以編碼該序列數位值之一對應子集，其中若該可用電源量高於一臨界，該編碼器選擇一第一編碼技術編碼該資料流，不然則選擇該第二編碼技術編碼，另外其中該序列數位值表示一序列影像框，且該編碼器包含一第一區塊設計成利用一第一解析度估計連續影像框之間的運動，以及一第二區塊設計成利用一第二解析度估計連續影像框之間的運動，其分別執行該第一編碼技術及該第二編碼技術。
  15. 如申請專利範圍第14項所述之系統，其中該第一解析度等於該影像框之一畫素的一部分，以及該第二解析度等於該影像框的一個畫素。
  16. 如申請專利範圍第15項所述之系統，其中該影像框根據H.264標準編碼。
  17. 一種處理一數位資料流的方法，該方法包含：在對應時間點接收一序列的可用電源量；因應該接收，若該可用電源量高於一臨界，則選擇一第一編碼技術，不然則選擇一第二編碼技術；以及根據所選擇的編碼技術編碼該數位資料流，該所選擇的編碼技術使用設計成以一對應精確度執行運動估計的複數個元件其中該資料流包含一序列數位值，另外其中該編碼技術包含根據各所選擇的編碼技 術編碼該序列數位值之一對應子集。
  18. 如申請專利範圍第17項所述之方法，其中該第一編碼技術需要比該第二編碼技術更多的電源以編碼一相同量的數位值，藉此當該可用電源量較多時，該選擇步驟選擇需要更多電源的編碼技術。
  19. 如申請專利範圍第18項所述之方法，其中利用複數元件執行該編碼之一操作，該方法更包含開啟或關閉該複數元件其中之一。
  20. 如申請專利範圍第19項所述之方法，其中該複數元件之一第一元件設計成利用一第一精確度執行運動估計，以及該複數元件之一第二元件設計成利用一第二精確度執行運動估計，該第一精確度大於該第二精確度。
TW098139725A 2008-11-24 2009-11-23 編碼資料流之最佳電源使用 TWI415472B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/277,287 US8442111B2 (en) 2008-11-24 2008-11-24 Optimal power usage in encoding data streams

Publications (2)

Publication Number Publication Date
TW201028012A TW201028012A (en) 2010-07-16
TWI415472B true TWI415472B (zh) 2013-11-11

Family

ID=42196234

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098139725A TWI415472B (zh) 2008-11-24 2009-11-23 編碼資料流之最佳電源使用

Country Status (7)

Country Link
US (1) US8442111B2 (zh)
JP (1) JP5404339B2 (zh)
KR (1) KR101097636B1 (zh)
CN (1) CN101742311A (zh)
DE (1) DE102009046945B9 (zh)
GB (1) GB2465486B (zh)
TW (1) TWI415472B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112008001577T5 (de) * 2007-06-13 2010-04-29 EnterMo Ltd., Ballarat Intelligentes Gehäuse für Handheld-Computer
CN102547272B (zh) * 2010-12-30 2015-03-11 中国移动通信集团公司 一种解码方法、装置及终端
CN104219590A (zh) 2013-06-05 2014-12-17 华为终端有限公司 一种切换编码方式的方法、发送端和接收端
US9735778B1 (en) 2014-08-20 2017-08-15 Altera Corporation Method and apparatuses for optimizing power management on an integrated circuit device
US11054886B2 (en) 2017-04-01 2021-07-06 Intel Corporation Supporting multiple refresh rates in different regions of panel display
US10904535B2 (en) 2017-04-01 2021-01-26 Intel Corporation Video motion processing including static scene determination, occlusion detection, frame rate conversion, and adjusting compression ratio
US10506196B2 (en) 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US10882453B2 (en) 2017-04-01 2021-01-05 Intel Corporation Usage of automotive virtual mirrors
US10506255B2 (en) 2017-04-01 2019-12-10 Intel Corporation MV/mode prediction, ROI-based transmit, metadata capture, and format detection for 360 video
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
US10453221B2 (en) 2017-04-10 2019-10-22 Intel Corporation Region based processing
US10574995B2 (en) 2017-04-10 2020-02-25 Intel Corporation Technology to accelerate scene change detection and achieve adaptive content display
US10638124B2 (en) 2017-04-10 2020-04-28 Intel Corporation Using dynamic vision sensors for motion detection in head mounted displays
US10402932B2 (en) 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment
US10547846B2 (en) 2017-04-17 2020-01-28 Intel Corporation Encoding 3D rendered images by tagging objects
US10456666B2 (en) 2017-04-17 2019-10-29 Intel Corporation Block based camera updates and asynchronous displays
US10623634B2 (en) 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10726792B2 (en) 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
US10979728B2 (en) 2017-04-24 2021-04-13 Intel Corporation Intelligent video frame grouping based on predicted performance
US10908679B2 (en) 2017-04-24 2021-02-02 Intel Corporation Viewing angles influenced by head and body movements
US10475148B2 (en) 2017-04-24 2019-11-12 Intel Corporation Fragmented graphic cores for deep learning using LED displays
US10939038B2 (en) 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
US10525341B2 (en) 2017-04-24 2020-01-07 Intel Corporation Mechanisms for reducing latency and ghosting displays
US10424082B2 (en) 2017-04-24 2019-09-24 Intel Corporation Mixed reality coding with overlays
US10643358B2 (en) 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
US10158833B2 (en) 2017-04-24 2018-12-18 Intel Corporation High dynamic range imager enhancement technology
US10565964B2 (en) 2017-04-24 2020-02-18 Intel Corporation Display bandwidth reduction with multiple resolutions
DE112018005254T5 (de) * 2017-09-18 2020-06-18 Intel IP Corporation Vorrichtung, system und verfahren zur videocodierung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028631A (en) * 1997-09-08 2000-02-22 Hitachi, Ltd. Portable terminal apparatus for multimedia communication
US20080144949A1 (en) * 2005-01-27 2008-06-19 Akihiko Inoue Portable Terminal
TW200840366A (en) * 2007-03-28 2008-10-01 Univ Nat Central Complexity control method of video encoder

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10248063A (ja) * 1997-03-04 1998-09-14 Toshiba Corp 携帯型情報端末装置
JP3269031B2 (ja) * 1997-08-26 2002-03-25 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法、並びに画像符号化装置
US6690835B1 (en) * 1998-03-03 2004-02-10 Interuniversitair Micro-Elektronica Centrum (Imec Vzw) System and method of encoding video frames
JP3928292B2 (ja) * 1999-03-01 2007-06-13 ソニー株式会社 電子機器
JP2001186469A (ja) * 1999-12-27 2001-07-06 Toshiba Corp 画像間欠記録装置及びその記録方法
KR100779498B1 (ko) * 2001-06-15 2007-11-27 엘지전자 주식회사 비디오 코덱의 메모리 액세스 장치 및 방법
JP2003199002A (ja) * 2001-12-27 2003-07-11 Sharp Corp 情報記録装置
JP2003208343A (ja) * 2002-01-10 2003-07-25 Ricoh Co Ltd ファイル作成・閲覧方法、ファイル作成方法、ファイル閲覧方法、ファイル構造及びプログラム
US7039246B2 (en) * 2002-05-03 2006-05-02 Qualcomm Incorporated Video encoding techniques
US7372999B2 (en) * 2002-09-09 2008-05-13 Ricoh Company, Ltd. Image coder and image decoder capable of power-saving control in image compression and decompression
KR20050098269A (ko) * 2003-01-29 2005-10-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 휴대 장치를 위한 비디오 코딩 방법
CN1774929A (zh) * 2003-04-15 2006-05-17 有限会社金泽大学Tlo 动态图像编码或解码处理系统以及动态图像编码或解码处理方法
US7852940B2 (en) * 2005-10-20 2010-12-14 Qualcomm Incorporated Scalable motion estimation for video encoding
KR101208517B1 (ko) * 2006-03-07 2012-12-05 엘지전자 주식회사 Ｏｆｄｍ 또는 ｏｆｄｍａ 통신 시스템에서의 전력 경감방법 및 그 장치
US7925136B2 (en) * 2006-05-25 2011-04-12 Qualcomm Incorporated Method and apparatus for recording information in battery operated devices
KR100800748B1 (ko) * 2006-07-28 2008-02-01 삼성전자주식회사 블루투스를 이용한 동영상 스트림 전송 장치 및 방법
US9883202B2 (en) * 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
TWI339073B (en) * 2006-11-13 2011-03-11 Univ Nat Chiao Tung Video coding method using image data skipping
KR100800815B1 (ko) * 2006-11-21 2008-02-01 삼성전자주식회사 디지털 방송을 수신하는 이동 단말기 및 방법
JP4656529B2 (ja) * 2006-12-22 2011-03-23 日本ビクター株式会社 携帯型記録装置
US8511901B2 (en) * 2007-02-06 2013-08-20 Canon Kabushiki Kaisha Image recording apparatus and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028631A (en) * 1997-09-08 2000-02-22 Hitachi, Ltd. Portable terminal apparatus for multimedia communication
US20080144949A1 (en) * 2005-01-27 2008-06-19 Akihiko Inoue Portable Terminal
TW200840366A (en) * 2007-03-28 2008-10-01 Univ Nat Central Complexity control method of video encoder

Also Published As

Publication number Publication date
GB0920338D0 (en) 2010-01-06
CN101742311A (zh) 2010-06-16
US8442111B2 (en) 2013-05-14
JP5404339B2 (ja) 2014-01-29
KR101097636B1 (ko) 2011-12-22
KR20100058408A (ko) 2010-06-03
DE102009046945B9 (de) 2013-04-04
GB2465486B (en) 2011-07-06
JP2010124468A (ja) 2010-06-03
GB2465486A (en) 2010-05-26
DE102009046945A1 (de) 2010-08-19
DE102009046945B4 (de) 2012-12-13
US20100128777A1 (en) 2010-05-27
TW201028012A (en) 2010-07-16

Similar Documents

Publication Publication Date Title
TWI415472B (zh) 編碼資料流之最佳電源使用
US8687702B2 (en) Remote transmission and display of video data using standard H.264-based video codecs
US8897365B2 (en) Video rate control processor for a video encoding process
CN102986211B (zh) 视频编码中的速率控制
EP3167616B1 (en) Adaptive bitrate streaming for wireless video
CN106961603B (zh) 帧内编码帧码率分配方法和装置
JP2016534654A (ja) ユニバーサルスクリーンコンテンツコーデック
TWI743098B (zh) 用於在顯示串流壓縮中量化參數之適應性計算的裝置及方法
TWI634778B (zh) 用於顯示串流壓縮之複合區域偵測
WO2019109955A1 (zh) 帧间预测方法、装置及终端设备
JP2022097392A (ja) 密度と品質との間のより良好なトレードオフのためのハードウェアへのビデオ符号化プロセスのオフロード
US11109060B2 (en) Image prediction method and apparatus
US10616585B2 (en) Encoding data arrays
TWI735193B (zh) 用於在視訊編碼中的順延後處理的系統及方法
JP2012244437A (ja) 画像処理装置、画像処理方法
WO2018120420A1 (zh) 一种基于模板匹配的预测方法及装置
TW202038628A (zh) 透過階層式搜尋執行移動估算的電子電路以及電子裝置
CN108353178B (zh) 编码和解码方法及相应设备
JP2007517437A (ja) 直接符号化モードでの参照画像ブロックの確定方法
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
Mallikarachchi et al. Decoding-complexity-aware HEVC encoding using a complexity–rate–distortion model
TW201711462A (zh) 影像內插方法以及影像編碼方法
WO2018120290A1 (zh) 一种基于模板匹配的预测方法及装置
GB2479070A (en) Encoder of digital data stream determines encoding technique according to available power
CN103856780A (zh) 视频编码方法、解码方法、编码器及解码器