TW201742469A - 影像處理裝置、影視子系統與影視處理電路 - Google Patents

影像處理裝置、影視子系統與影視處理電路 Download PDF

Info

Publication number
TW201742469A
TW201742469A TW105119345A TW105119345A TW201742469A TW 201742469 A TW201742469 A TW 201742469A TW 105119345 A TW105119345 A TW 105119345A TW 105119345 A TW105119345 A TW 105119345A TW 201742469 A TW201742469 A TW 201742469A
Authority
TW
Taiwan
Prior art keywords
video
resolution
image
data
parameter
Prior art date
Application number
TW105119345A
Other languages
English (en)
Other versions
TWI637631B (zh
Inventor
展鵬 蔡
郭朕逢
Original Assignee
瑞昱新加坡有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱新加坡有限公司 filed Critical 瑞昱新加坡有限公司
Publication of TW201742469A publication Critical patent/TW201742469A/zh
Application granted granted Critical
Publication of TWI637631B publication Critical patent/TWI637631B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明揭露了一影視處理電路，其包含：一影視處理器，用來依據至少一參數及/或至少一指令輸出至少一影像處理參數以及至少一編碼參數，其中該至少一參數與該至少一指令來自該影視處理電路之外的一外部電路；一影像訊號處理器，用來依據該至少一影像處理參數將影像原始資料轉換成低解析度影視資料以及高解析度影視資料；一串流轉換電路，用來將該高解析度影視資料轉換為轉換資料；以及一編碼器，用來依據該至少一編碼參數來編碼該低解析度影視資料與該轉換資料。

Description

影像處理裝置、影視子系統與影視處理電路
本發明是關於影像處理，尤其是關於影像處理裝置、影視子系統、影視處理電路與影像訊框處理方法。
隨著積體電路之設計與製程的進步，原本需藉由多個裝置來執行的眾多功能被整合至單一電子裝置像是一智慧型手機、一平板電腦等等。在眾多功能中，攝影功能（或稱為影像/影視擷取與編碼功能）可能是最受歡迎的功能，通常會被整合至一多功能電子裝置中。然而，由於一多功能電子裝置通常只有一個應用處理器來處理由軟/硬體所執行之不同功能的設定與控制，一攝影功能於發送一或多個中斷訊號（interrupt(s)）或要求（request(s)）至該應用處理器後，常需等待該應用處理器的回應，此等待會減損該攝影功能的效能表現、大量耗費該應用處理器的資源、以及降低使用者體驗。
相關先前技術可見於下列文獻： (1) 電子工程專輯的報導, “Mobile video: ARM vs. DSP vs. hardware”, 公開於下列網址http://www.eetimes.com/document.asp?doc_id=1275550。 (2) 美國專利, “Integrated camera image signal processor and video encoder”, 專利號7,859,574。 (3) 美國專利, “Motion picture encoding device and method, motion picture decoding device and method, motion picture recording device, program, and data structure”, 專利號8,699,569。
鑑於先前技術的問題，本發明之一目的在於提供一影像處理裝置、一影視子系統與一影視處理電路以改善先前技術。
本發明揭露一種影像處理裝置，用來藉由一應用處理器與一影視處理電路來處理影像原始資料，其中該影視處理電路不同於該應用處理器，該影像處理裝置之一實施例包含：一應用處理器；一影視處理電路介面單元；以及一影視處理電路。所述應用處理器用來依據一預設設定或一使用者設定來輸出至少一參數與至少一指令至一影視處理電路介面單元，該影視處理電路介面單元介於該應用處理器與該影視處理電路之間。所述影視處理電路介面單元包含：一共用記憶體，用來儲存該至少一參數；以及一處理器間通訊電路，用來傳遞該至少一指令至該影視處理電路以及向該應用處理器回報該影視處理電路如何處理該至少一指令。所述影視處理電路用來依據該至少一參數存取該共用記憶體以及處理影像原始資料，並用來執行或拒絕執行該至少一指令所指示之一操作。
本發明亦揭露一種影視子系統，該影視子系統之一實施例包含一影視處理電路介面單元以及一影視處理電路。所述影視處理電路介面單元包含：一共用記憶體，用來儲存至少一參數，該至少一參數來自該影視子系統之外的一外部電路；以及一處理器間通訊電路，用來傳遞至少一指令至該影視處理電路以及向該外部電路回報該影視處理電路如何處理該至少一指令，其中該至少一指令來自該外部電路。所述影視處理電路用來依據該至少一參數存取該共用記憶體以及處理影像原始資料，並用來執行或拒絕執行該至少一指令所指示之一操作。
本發明進一步揭露一種影視處理電路，該影視處理電路之一實施例包含：一影視處理器，用來依據至少一參數及/或至少一指令輸出至少一影像處理參數以及至少一編碼參數，其中該至少一參數與該至少一指令來自該影視處理電路之外的一外部電路；一影像訊號處理器，用來依據該至少一影像處理參數將影像原始資料轉換成低解析度影視資料以及高解析度影視資料；一串流轉換電路，用來將該高解析度影視資料轉換為轉換資料；以及一編碼器，用來依據該至少一編碼參數來編碼該低解析度影視資料與該轉換資料。
本發明進一步揭露一種影像訊框處理方法，用來藉由一影像處理裝置處理複數個輸入影像訊框，該影像訊框處理方法之一實施例包含：接收複數個輸入影像訊框；以及處理該複數個輸入影像訊框以產生一第一數量之第一輸出影像訊框以及一第二數量之第二輸出影像訊框，其中該第一輸出影像訊框之解析度不同於該第二輸出影像訊框之解析度，該第一數量不同於該第二數量，該第一輸出影像訊框中的一第一訊框與該第二輸出影像訊框中的一第二訊框是源自於該複數個輸入影像訊框中的同一訊框。
本發明進一步揭露一種影像訊框處理方法，用來藉由一影視處理電路來處理複數個輸入影像訊框，該方法之一實施例包含下列步驟：接收複數個輸入影像訊框；處理該些輸入影像訊框以產生一第一數量之第一輸出影像訊框與一第二數量之第二輸出影像訊框，其中該第一輸出影像訊框之解析度不同於該第二輸出影像訊框之解析度，且該第一數量不同於該第二數量；以及藉由複數個編碼參數之一第一部分與一第二部分來編碼該第一輸出影像訊框之一第一訊框，並藉由該些編碼參數之該第一部分與一第三部分來編碼該第二輸出影像訊框之一第二訊框，其中該些編碼參數之該第二部分不同於該些編碼參數之該第三部分，且該些編碼參數之該第一部分是於編碼該第一輸出影像訊框之一先前訊框時被產生。
有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
以下說明內容之技術用語是參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋是以本說明書之說明或定義為準。另外，在實施為可能的前提下，本說明書所描述之物件或事件間的相對關係，其涵義可包含直接或間接的關係，所謂「間接」是指物件間尚有中間物或物理空間之存在，或指事件間尚有中間事件或時間間隔之存在。再者，以下內容是關於影像處理，對於本領域習見的技術或原理，若不涉及或無甚相關於本發明之技術特徵，本說明書將不予贅述。此外，圖示中元件之形狀、尺寸、比例以及流程之步驟順序等僅為示意，是供本技術領域具有通常知識者瞭解本發明之用，而非對本發明之實施範圍加以限制。
以下說明內容之各實施例分別具有一或多個技術特徵，然此並不意味著使用本發明者必需同時實施任一實施例中的所有技術特徵，或僅能分開實施不同實施例中的一部或全部技術特徵。換句話說，只要實施為可能，本技術領域具有通常知識者可依據本發明之揭露內容，並視自身的需求或設計規範，選擇性地實施任一實施例中部分或全部的技術特徵，或者選擇性地實施複數個實施例中部分或全部的技術特徵之組合，藉此增加本發明實施時的彈性。
請參閱圖1，其顯示本發明之影像處理裝置之一實施例的示意圖。圖1之影像處理裝置100被適當設定，以藉由一應用處理器110與一影視處理電路130來處理影像原始資料，其中該影視處理電路130不同於該應用處理器110，該影像處理裝置100包含：前述應用處理器110；一影視處理電路介面單元120；以及前述影視處理電路130。該應用處理器110用來依據一預設設定或一使用者設定以經由至少一傳輸線（例如一系統匯流排）來輸出至少一參數與至少一指令至該影視處理電路介面單元120，其中該影視處理電路介面單元120位於該應用處理器110與該影視處理電路130之間。
請參閱圖2。該影視處理電路介面單元120包含：一共用記憶體122，用來儲存該至少一參數；以及一處理器間通訊電路124，用來傳遞該至少一指令至該影視處理器132，並向該應用處理器110回報該影視處理電路130如何處理該至少一指令。依據該處理器間通訊電路124之一實施例，該應用處理器110與該影視處理器132相互發送中斷訊號（interrupts），以告知對方該處理器間通訊電路124中的可用資訊。
請參閱圖2，該影視處理電路130之一實施例包含：一影視處理器132；一影像訊號處理器（ISP）134；一串流轉換電路136；以及一編碼器138。所述影視處理器132用來依據前述至少一參數及/或前述至少一指令來輸出至少一影像處理參數與至少一編碼參數。所述ISP 134用來依據輸入至該ISP 134的該影像原始資料來按光柵掃描順序產生影視資料。所述串流轉換電路136用來將該影視資料之一串流從光柵掃描順序轉換成區塊基礎順序。所述編碼器138用來依據該影視資料以及該至少一編碼參數產生編碼資料。
前述應用處理器 110經由該影視處理電路介面單元120告知該影視處理器132關於處理後之影視輸出的條件（requirements of processed video output），並告知該影視處理器132關於一特定群組之訊框之影視處理的開端（start of video processing for a specified group of frames）。
該影視處理器132以每個訊框為準及/或以子訊框的層級為準來控制該ISP 134、該串流轉換電路136以及該編碼器138，以盡力地執行影像處理，從而達到該應用處理器110所設定的處理後之影視輸出的條件。
該影視處理器132經由該影視處理電路介面單元120來告知該應用處理器110關於前述特定群組之訊框之處理的結束。
該應用處理器110衡量關於該處理後之影視輸出的順序的資訊、為下一群組之訊框來調整該處理後之影視輸出的條件、以及告知該影視處理器132關於影視處理的開端。
該應用處理器110使用該共用記憶體122以傳遞關於該處理後之影視輸出的條件的資訊至該影視處理器132，該影視處理器132使用該共用記憶體122以傳遞關於該處理後之影視輸出的資訊至該應用處理器110，應用於或源自於ISP 134與編碼器138之處理資訊與處理結果是儲存於該共用記憶體122中，如此一來該ISP 134與該編碼器138能夠共用資訊，所述資訊的一範例為該ISP 134所偵測到的場景變化，此場景變化資訊可被該編碼器138使用。
基於圖1與圖2之揭露，圖4顯示前述串流轉換電路136的一實施例，其包含一串流緩衝器410以及一區塊基礎壓縮器420。該串流緩衝器410用來將影視資料之一串流從光柵掃描順序轉換為區塊基礎順序。該串流轉換電路136可依該區塊基礎順序串流地輸出該影視資料至該編碼器138。該區塊基礎壓縮器420可藉由減少一區塊中的冗餘資訊以壓縮該區塊基礎影視串流，換言之，該區塊基礎壓縮器420可藉由下列手段的至少其中之一以壓縮該區塊基礎影視串流：減少編碼冗餘資料（coding redundancy）；減少像素間冗餘資料（interpixel redundancy）；以及減少心理視覺冗餘資料（psychovisual redundancy）。所述區塊基礎壓縮影視資料被串流地輸出至一外部記憶體（例如圖4之記憶體430，其一實施例為一雙倍資料傳輸率（DDR）記憶體或是一靜態隨機存取記憶體（SRAM））以供後續的影視處理之用，而前述的壓縮操作可減少對該外部記憶體之頻寬與容量的要求。
基於圖1與圖2之揭露，圖4顯示該影像訊號處理器134之一實施例，其進一步用來依據一影像擷取裝置所擷取的影像來產生複數種解析度的複數張影像。在上述複數張影像中，較低解析度的影像可直接用於或進一步地被處理後以用於短期儲存（例如短期地儲存於揮發性或非揮發性儲存裝置）、傳輸、即時顯示等等；較高解析度的影像可被編碼並儲存於系統中的一長期儲存裝置（例如非揮發性儲存裝置），或可用於其它用途。該ISP 134可直接地按光柵掃描順序將上述較低解析度的影像（圖中標示為LR）串流地輸出至一系統記憶體430。該ISP 134可將前述較高解析度的影像（圖中標示為HR）串流地輸出至該串流轉換電路136，該串流轉換電路136可據以產生區塊基礎壓縮影視資料串流，並接著將該壓縮影視資料串流串流地輸出至該系統記憶體430。該ISP 134可串流地輸出該較高解析度影像（HR）至該串流轉換電路136，該串流轉換電路136再將該區塊基礎影視資料串流串流地輸出至該編碼器138。該編碼器138會將該區塊基礎影視資料串流編碼成一位元串流（bitstream）以符合一特定標準影視壓縮規範，並將該編碼後之單位位元串流寫入該系統記憶體430。
該影視處理器132偕同該編碼器138以將影視編碼成一位元串流以符合一標準影視壓縮規範像是MPEG、MPEG2、H.264、HEVC、VP8、VP9等等。於一實施例中，該影視處理器132對一位元串流標頭（header）進行編碼，再將其寫入該記憶體430，且該編碼器138會產生前述單位位元串流，並將其寫入該系統記憶體430。所述位元串流標頭以及單元位元串流被依序地放在一起，以產生一編碼後之位元串流符合該標準影視壓縮規範。
基於圖1、圖2、與圖5之揭露，該影視處理器132之一實施例能夠用來產生編碼參數以供該編碼器138來編碼一低解析度第(N+1)訊框（於圖5中標示為(N+1)th (LR)），並能用來產生共用編碼參數以供該編碼器138基於該低解析度第(N+1)訊框的編碼結果來編碼一低解析度第(N+2)訊框（於圖5中標示為(N+2)th (LR)），該共用編碼參數可被重複用來編碼一高解析度第(N+2)訊框（於圖5中標示為(N+2)th (HR)），後續的參數產生與利用可仿照上述說明以類推。請注意，除了上述共用編碼參數是用於低解析度與高解析度訊框之編碼外，該編碼器138仍需要不同的編碼參數來分別完成該低解析度與高解析度訊框之編碼。另請注意，圖5之虛線是用來指出何種基礎（例如編碼結果）被採用以供該影視處理器132及/或該編碼器138來執行作業。
進一步而言，該影視處理器132用來於該編碼器138編碼一高解析度第N影像訊框（於圖5中標示為Nth (HR)）之期間內產生前述編碼參數，並用來於該低解析度第(N+1)訊框之編碼與該低解析度第(N+2)訊框之編碼之間的間隔內產生該共用編碼參數，之後，該共用編碼參數被用於該低解析度第(N+2)訊框與該高解析度第(N+2)訊框之編碼，後續的參數產生與利用可仿照上述以類推。簡言之，該影視處理器132可用來產生特定的共用編碼參數以供該編碼器138對源自於同一影像的高解析度訊框與低解析度訊框進行編碼，從而為該影視處理器132節省用於計算編碼參數的資源。
基於圖1、圖2與圖6之揭露，該影視處理器132之一實施例能夠偵測(N+2)th (LR)訊框（亦即低解析度第(N+2)訊框）與(N+1)th (LR)訊框（亦即低解析度第(N+1)訊框）之間的影像擷取的變動，其中該(N+2)th (LR)訊框與該(N+1)th (LR)訊框是由該ISP 134所依序輸出，並儲存於一記憶體（例如圖4之記憶體430），且該記憶體可被該影視處理器132存取。所述變動之偵測結果可被用來計算編碼參數，從而藉由移除或減輕影像擷取之變動的影響以使一編碼後之影視得以穩定。
於另一實施例中，該影視處理器132藉由硬體的幫助來加速前述影像擷取之變動的偵測，由於前述的二相鄰訊框（即該(N+2)th (LR)訊框與該(N+1)th (LR)訊框）均為低解析度訊框，因此對於該影視處理器132而言只需花較少的運算資源即能完成相關分析並產生編碼參數，從而令一編碼後的影視得以穩定。於產生該編碼參數後，該編碼器138即可藉由移除或減輕影像擷取之變動的影響來編碼一低解析度訊框（例如該(N+2)th (LR)訊框）與一高解析度訊框（例如(N+2)th (HR)訊框，亦即高解析度第(N+2)訊框）。請注意，前述的每個序數（例如Nth 及其同類）是一影像訊框的序數，源自於影像擷取順序。另請注意，圖6之虛線是用來指示何種基礎（例如編碼結果）被採用以供該影視處理器132及/或該編碼器138執行作業。
值得注意的是前述影視處理電路介面單元120與影視處理電路130可構成一影視子系統，該影視子系統所屬的電路範圍並不包含該應用處理器110，更明確地說，該影視子系統相較於先前技術較不需要去發送一中斷訊號（interrupt）及/或一要求（request）至該應用處理器110以執行影視處理，這是因為使用了該影視處理電路介面單元120以及因為該影視處理電路之影視處理器132是專用於影視相關軟體處理以及該ISP 134與編碼器138之控制。
本發明進一步揭露一種影像訊框處理方法，用來藉由一影像處理裝置處理複數個輸入影像訊框，該影像訊框處理方法之一實施例包含： 步驟S710：接收複數個輸入影像訊框；以及 步驟S720：處理該複數個輸入影像訊框以產生一第一數量之第一輸出影像訊框以及一第二數量之第二輸出影像訊框，其中該第一輸出影像訊框之解析度不同於（例如高於）該第二輸出影像訊框之解析度，該第一數量不同於（例如少於）該第二數量，該第一輸出影像訊框中的一第一訊框與該第二輸出影像訊框中的一第二訊框是源自於該複數個輸入影像訊框中的同一訊框。 於本實施例中，在圖4中之該影像訊號處理器134係依據一影像擷取裝置所擷取的影像來產生複數種解析度的複數張影像（即，包括有高解析度的第一數量張影像以及低解析度的第二數量張影像）。於本實施例之一範例中，該輸入影像訊框之數量等於該第二數量。於本實施例之一範例中，在圖5的高解析度訊框的數量是少於低解析度訊框的數量；於一較佳範例中，該第一數量為該第二數量的一半；當然，該第一數量與該第二數量的比例也可以是其他數值比例。於本實施例之一範例中，本實施例進一步包含：偵測該第二輸出影像訊框之二相鄰訊框之間的影像擷取的變動，以輸出一變動偵測結果，其中該二相鄰訊框包含該第二訊框；以及依據該變動偵測結果處理該第一與第二訊框。於本實施例之一範例中，產生該第一輸出影像訊框之步驟包含：依據該複數個輸入影像訊框產生一區塊基礎影視串流；以及依據一區塊基礎壓縮演算法壓縮該區塊基礎影視串流。於本實施例之一範例中，於該第一輸出影像訊框之一在先訊框的編碼期間內，複數編碼參數的一第一部分被產生，以供該第一與第二訊框之編碼之用，其中該在先訊框之編碼期間早於該第一與第二訊框之編碼期間。於本實施例之一範例中，本實施例進一步包含一步驟用來依據複數編碼參數之一第一部分與一第二部分編碼該第一訊框，以及包含另一步驟用來依據該複數編碼參數之該第一部分與一第三部分編碼該第二訊框，其中下列特徵的至少其中之一被採用：該第二部分不同於該第三部分；於該第一輸出影像訊框之一在先訊框的編碼期間內，該複數編碼參數的該第一部分被產生；該在先訊框之編碼期間早於該第一與第二訊框之編碼期間；該第一數量為該第二數量的一半；本範例進一步偵測該第二輸出影像訊框之二相鄰訊框之間的影像擷取的變動，並輸出一變動偵測結果，其中該二相鄰訊框包含該第二訊框，以及本範例進一步依據該變動偵測結果處理該第二訊框；該變動偵測結果包含於該複數編碼參數之該第一部分中；以及該第二訊框之編碼期間早於該第一訊框之編碼期間。
由於本領域具有通常知識者能夠藉由前揭裝置實施例的揭露來推知本方法實施例的細節與變化，亦即前揭裝置實施例的技術特徵均可合理地應用於本方法實施例中，因此，在不影響揭露要求與可實施性的前提下，重複及冗餘之說明在此予以節略。
本發明進一步揭露一種影像訊框處理方法，用來藉由一影視處理電路來處理複數個輸入影像訊框，該方法之一實施例包含下列步驟： 步驟S810：接收複數個輸入影像訊框； 步驟S820：處理該些輸入影像訊框以產生一第一數量之第一輸出影像訊框與一第二數量之第二輸出影像訊框，其中該第一輸出影像訊框之解析度不同於（例如高於）該第二輸出影像訊框之解析度，且該第一數量不同於（例如少於）該第二數量；以及 步驟S830：藉由複數個編碼參數之一第一部分與一第二部分來編碼該第一輸出影像訊框之一第一訊框，並藉由該些編碼參數之該第一部分與一第三部分來編碼該第二輸出影像訊框之一第二訊框，其中該些編碼參數之該第二部分不同於該些編碼參數之該第三部分，且該些編碼參數之該第一部分是於編碼該第一輸出影像訊框之一先前訊框時被產生。 於本實施例之一範例中，該在先訊框之編碼期間早於該第一與第二訊框之編碼期間。於本實施例之一範例中，該第一數量為該第二數量的一半。於本實施例之一範例中，該第二訊框之編碼期間早於該第一訊框之編碼期間。於本實施例之一範例中，本實施例進一步包含下列步驟：偵測該第二輸出影像訊框之二相鄰訊框之間的影像擷取的變動，以輸出一變動偵測結果，其中該二相鄰訊框包含該第二訊框；以及依據該變動偵測結果處理該第一與第二訊框。於上一範例中，該變動偵測結果可選擇性地包含於該些編碼參數之該第一部分中。
由於本領域具有通常知識者能夠藉由前揭裝置實施例的揭露來推知本方法實施例的細節與變化，亦即前揭裝置實施例的技術特徵均可合理地應用於本方法實施例中，因此，在不影響揭露要求與可實施性的前提下，重複及冗餘之說明在此予以節略。
綜上所述，本揭露之影像處理裝置、影視子系統與影視處理電路相較於先前技術較不需要發送中斷訊號至一應用處理器，且使用了特定共用編碼參數以對低解析度與高解析度訊框進行編碼，並可偵測低解析度訊框之影像擷取的變動，以及可藉由移除或減輕影像擷取之變動的影響來產生編碼參數以對低解析度與高解析度影視進行編碼，從而產生穩定的影視。簡言之，本揭露之影像處理裝置、影視子系統與影視處理電路改善了攝影功能的效能，耗用較少的應用處理器之資源，並增強了使用者體驗。
雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
100‧‧‧影像處理裝置 110‧‧‧應用處理器 120‧‧‧影視處理電路介面單元 122‧‧‧共用記憶體 124‧‧‧處理器間通訊電路 130‧‧‧影視處理電路 132‧‧‧影視處理器 134‧‧‧影像訊號處理器（ISP） 136‧‧‧串流轉換電路 138‧‧‧編碼器 310‧‧‧系統匯流排 320‧‧‧系統記憶體 410‧‧‧串流緩衝器 420‧‧‧壓縮器 Nth(LR)‧‧‧低解析度第N訊框 Nth(HR)‧‧‧高解析度第N訊框 (N+1)th(LR)‧‧‧低解析度第(N+1)訊框 (N+2)th(LR)‧‧‧低解析度第(N+2)訊框 (N+2)th(HR)‧‧‧高解析度第(N+2)訊框 (N+3)th(LR)‧‧‧低解析度第(N+3)訊框 S710~S720‧‧‧步驟 S810~S830‧‧‧步驟
［圖1］顯示本揭露之影像處理裝置之一實施例的示意圖； ［圖2］顯示圖1之影視處理電路之一實施例的示意圖； ［圖3］顯示本揭露之影像處理裝置之另一實施例的示意圖； ［圖4］顯示本揭露之影像處理裝置之又一實施例的示意圖； ［圖5］依據本揭露之一實施例顯示圖4之影視處理器如何產生編碼參數； ［圖6］依據本揭露之一實施例顯示圖4之影視處理器如何偵測影像訊框之間的影像擷取之變動； ［圖7］顯示本揭露之影像訊框處理方法之一實施例的示意圖；以及 ［圖8］顯示本揭露之影像訊框處理方法之一實施例的示意圖。
100‧‧‧影像處理裝置
110‧‧‧應用處理器
120‧‧‧影視處理電路介面單元
130‧‧‧影視處理電路

Claims (20)

  1. 一種影像處理裝置，用來藉由一應用處理器與一影視處理電路來處理影像原始資料，其中該影視處理電路不同於該應用處理器，該影像處理裝置包含： 該應用處理器，用來依據一預設設定或一使用者設定來輸出至少一參數與至少一指令至一影視處理電路介面單元，該影視處理電路介面單元介於該應用處理器與該影視處理電路之間； 該影視處理電路介面單元，包含： 一共用記憶體，用來儲存該至少一參數；以及 一處理器間通訊電路，用來傳遞該至少一指令至該影視處理電路以及向該應用處理器回報該影視處理電路如何處理該至少一指令；以及 該影視處理電路，用來依據該至少一參數存取該共用記憶體以及處理該影像原始資料，並用來執行或拒絕執行該至少一指令所指示之一操作。
  2. 如申請專利範圍第1項所述之影像處理裝置，其中該影視處理電路包含： 一影視處理器，用來依據該至少一參數及/或該至少一指令輸出至少一影像處理參數以及至少一編碼參數； 一影像訊號處理器，用來依據該影像原始資料以及該至少一影像處理參數產生第一解析度影視資料； 一串流轉換電路，用來將該第一解析度影視資料轉換為轉換資料；以及 一編碼器，用來依據該轉換資料以及該至少一編碼參數產生編碼資料。
  3. 如申請專利範圍第2項所述之影像處理裝置，進一步包含： 一系統匯流排；以及 一系統記憶體，用來經由該系統匯流排接收該轉換資料以及該編碼資料。
  4. 如申請專利範圍第2項所述之影像處理裝置，其中該串流轉換電路包含： 一串流緩衝器，用來依據該第一解析度影視資料輸出緩衝資料；以及 一壓縮器，用來依據該緩衝資料產生該轉換資料。
  5. 如申請專利範圍第2項所述之影像處理裝置，其中該影像訊號處理器進一步用來依據該影像原始資料以及該至少一影像處理參數產生第二解析度影視資料，並用來輸出該第二解析度影視資料至一記憶體以儲存，其中該第二解析度影視資料之解析度低於該第一解析度影視資料之解析度，該記憶體是用來儲存該轉換資料以及該編碼資料，該記憶體是一雙倍資料傳輸率（double data rate, DDR）系統記憶體或一靜態隨機存取記憶體（static random access memory, SRAM）。
  6. 如申請專利範圍第5項所述之影像處理裝置，其中該影像訊號處理器用來於一期間內輸出一第一數量之該第一解析度影視資料的影像訊框，並用來於相同之該期間內輸出一第二數量之該第二解析度影視資料的影像訊框，該第一數量少於該第二數量。
  7. 如申請專利範圍第5項所述之影像處理裝置，其中該影視處理器用來產生至少一第N編碼參數，以供該編碼器先編碼該第二解析度影視資料之一第二解析度第N影像訊框、再編碼該第一解析度影視資料之一第一解析度第N影像訊框，其中該N是一影像訊框的序數，該影像訊框是源自於該影像原始資料。
  8. 如申請專利範圍第5項所述之影像處理器，其中該影視處理器用來偵測該第二解析度影視資料之二相鄰影像訊框的變動（motion），以及用來輸出該至少一編碼參數包含該變動的偵測結果。
  9. 如申請專利範圍第8項所述之影像處理器，其中該二相鄰影像訊框是由一第二解析度第(N-1)影像訊框以及一第二解析度第N影像訊框構成，該編碼器用來依據該至少一編碼參數來編碼該第二解析度影視資料之該第二解析度第N影像訊框以及該第一解析度影視資料之一第一解析度第N影像訊框，該N與該(N-1)的每一個是一影像訊框的序數，該影像訊框是源自於該影像原始資料。
  10. 一種影視子系統，包含： 一影視處理電路介面單元，包含： 一共用記憶體，用來儲存至少一參數，該至少一參數來自該影視子系統之外的一外部電路；以及 一處理器間通訊電路，用來傳遞至少一指令至一影視處理電路以及向該外部電路回報該影視處理電路如何處理該至少一指令，其中該至少一指令來自該外部電路；以及 該影視處理電路，用來依據該至少一參數存取該共用記憶體以及處理影像原始資料，並用來執行或拒絕執行該至少一指令所指示之一操作。
  11. 如申請專利範圍第10項所述之影視子系統，其中該影視處理電路包含： 一影視處理器，用來依據該至少一參數及/或該至少一指令輸出至少一影像處理參數以及至少一編碼參數； 一影像訊號處理器，用來依據該影像原始資料以及該至少一影像處理參數產生第一解析度影視資料； 一串流轉換電路，用來將該第一解析度影視資料轉換為轉換資料；以及 一編碼器，用來依據該轉換資料以及該至少一編碼參數產生編碼資料。
  12. 如申請專利範圍第11項所述之影視子系統，其中該串流轉換電路包含： 一串流緩衝器，用來依據該第一解析度影視資料輸出緩衝資料；以及 一壓縮器，用來依據該緩衝資料產生該轉換資料。
  13. 如申請專利範圍第12項所述之影視子系統，其中該壓縮器依據一區塊基礎壓縮演算法來執行壓縮。
  14. 如申請專利範圍第12項所述之影視子系統，其中該影像訊號處理器進一步用來依據該影像原始資料以及該至少一影像處理參數產生第二解析度影視資料，其中該第二解析度影視資料之解析度低於該第一解析度影視資料之解析度。
  15. 如申請專利範圍第14項所述之影視子系統，其中該影像訊號處理器用來於一期間內輸出一第一數量之該第一解析度影視資料的影像訊框，並用來於相同之該期間內輸出一第二數量之該第二解析度影視資料的影像訊框，該第一數量少於該第二數量。
  16. 如申請專利範圍第14項所述之影視子系統，其中該影視處理器用來產生至少一第N編碼參數，以供該編碼器先編碼該第二解析度影視資料之一第二解析度第N影像訊框、再編碼該第一解析度影視資料之一第一解析度第N影像訊框，其中該N是一影像訊框的序數，該影像訊框是源自於該影像原始資料。
  17. 如申請專利範圍第14項所述之影視子系統，其中該影視處理器用來偵測該第二解析度影視資料之二相鄰影像訊框的變動（motion），以及用來輸出該至少一編碼參數包含該變動的偵測結果。
  18. 如申請專利範圍第17項所述之影視子系統，其中該二相鄰影像訊框是由一第二解析度第(N-1)影像訊框以及一第二解析度第N影像訊框構成，該編碼器用來依據該至少一編碼參數來編碼該第二解析度影視資料之該第二解析度第N影像訊框以及該第一解析度影視資料之一第一解析度第N影像訊框，該N與該(N-1)的每一個是一影像訊框的序數，該影像訊框是源自於該影像原始資料。
  19. 一種影視處理電路，包含： 一影視處理器，用來依據至少一參數及/或至少一指令輸出至少一影像處理參數以及至少一編碼參數，其中該至少一參數與該至少一指令來自該影視處理電路之外的一外部電路； 一影像訊號處理器，用來依據該至少一影像處理參數將影像原始資料轉換成低解析度影視資料以及高解析度影視資料； 一串流轉換電路，用來將該高解析度影視資料轉換為轉換資料；以及 一編碼器，用來依據該至少一編碼參數來編碼該低解析度影視資料與該轉換資料。
  20. 如申請專利範圍第19項所述之影視處理電路，其中該串流轉換電路包含： 一串流緩衝器，用來依據該高解析度影視資料輸出緩衝資料；以及 一壓縮器，用來依據該緩衝資料產生該轉換資料。
TW105119345A 2016-05-18 2016-06-20 影像處理裝置、影視子系統與影視處理電路 TWI637631B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/158,247 US9996894B2 (en) 2016-05-18 2016-05-18 Image processing device, video subsystem and video pipeline
US15/158247 2016-05-18

Publications (2)

Publication Number Publication Date
TW201742469A true TW201742469A (zh) 2017-12-01
TWI637631B TWI637631B (zh) 2018-10-01

Family

ID=58004786

Family Applications (2)

Application Number Title Priority Date Filing Date
TW105121448A TWI590653B (zh) 2016-05-18 2016-06-20 影像訊框處理方法
TW105119345A TWI637631B (zh) 2016-05-18 2016-06-20 影像處理裝置、影視子系統與影視處理電路

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW105121448A TWI590653B (zh) 2016-05-18 2016-06-20 影像訊框處理方法

Country Status (3)

Country Link
US (1) US9996894B2 (zh)
CN (1) CN106412473B (zh)
TW (2) TWI590653B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI674784B (zh) * 2018-05-16 2019-10-11 瑞昱半導體股份有限公司 多媒體管線式裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
KR20220045048A (ko) * 2019-09-21 2022-04-12 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
CN114554115B (zh) 2020-11-25 2024-07-19 中强光电股份有限公司 影像输出装置以及影像输出方法
CN113448623B (zh) * 2021-06-29 2022-12-02 北京紫光展锐通信技术有限公司 图像帧的处理方法、电子设备、芯片和存储介质
CN115695853A (zh) * 2021-07-23 2023-02-03 伊姆西Ip控股有限责任公司 视频处理方法、电子设备和计算机程序产品

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5010401A (en) * 1988-08-11 1991-04-23 Mitsubishi Denki Kabushiki Kaisha Picture coding and decoding apparatus using vector quantization
US5357281A (en) * 1991-11-07 1994-10-18 Canon Kabushiki Kaisha Image processing apparatus and terminal apparatus
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
US7610061B2 (en) * 2003-09-20 2009-10-27 Samsung Electronics Co., Ltd. Communication device and method having a common platform
US7139003B1 (en) * 2003-12-15 2006-11-21 Nvidia Corporation Methods of processing graphics data including reading and writing buffers
US7705884B2 (en) 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US7859574B1 (en) 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
KR100749469B1 (ko) * 2005-09-15 2007-08-14 엠텍비젼 주식회사 복수의 메모리를 포함한 멀티미디어 플랫폼을 구비한 장치및 비휘발성 메모리 공유 방법
JP4689440B2 (ja) * 2005-11-04 2011-05-25 キヤノン株式会社 撮像装置、及び処理方法
JP5248802B2 (ja) 2006-06-16 2013-07-31 カシオ計算機株式会社 動画符号化装置および動画符号化方法と、動画復号化装置および動画復号化方法と、動画記録装置
US8948822B2 (en) * 2008-04-23 2015-02-03 Qualcomm Incorporated Coordinating power management functions in a multi-media device
CN102301413A (zh) * 2009-02-02 2011-12-28 松下电器产业株式会社 影像信号处理装置、影像信号处理系统及影像信号处理方法
US8331703B2 (en) * 2011-02-18 2012-12-11 Arm Limited Parallel image encoding
US9055222B2 (en) 2012-02-24 2015-06-09 Htc Corporation Electronic device and method for image stabilization
US20140037005A1 (en) 2012-08-02 2014-02-06 Penne Y. LEE Transcoding video data
US9549189B2 (en) * 2012-11-06 2017-01-17 Ittiam Systems (P) Ltd. Method for media rate control in a video encoding system
US9386318B2 (en) * 2012-12-12 2016-07-05 Apple Inc. Lossless image compression using differential transfer
CN103150178A (zh) * 2013-02-05 2013-06-12 联发科技（新加坡）私人有限公司 一种开机显示控制方法及处理器芯片
US20140369557A1 (en) 2013-06-14 2014-12-18 Qualcomm Incorporated Systems and Methods for Feature-Based Tracking
KR102136848B1 (ko) 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
US9106887B1 (en) * 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth
KR102146857B1 (ko) * 2014-04-07 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
US9380312B2 (en) * 2014-07-14 2016-06-28 Apple Inc. Encoding blocks in video frames containing text using histograms of gradients
US10158874B2 (en) * 2015-09-30 2018-12-18 Apple Inc. Parallel bypass and regular bin coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI674784B (zh) * 2018-05-16 2019-10-11 瑞昱半導體股份有限公司 多媒體管線式裝置

Also Published As

Publication number Publication date
TWI637631B (zh) 2018-10-01
US20170337655A1 (en) 2017-11-23
CN106412473B (zh) 2020-01-31
CN106412473A (zh) 2017-02-15
TW201811057A (zh) 2018-03-16
TWI590653B (zh) 2017-07-01
US9996894B2 (en) 2018-06-12

Similar Documents

Publication Publication Date Title
TWI590653B (zh) 影像訊框處理方法
JP5295045B2 (ja) 組み込み機器において高解像度画像を提供するための方法及び装置
CN102792689B (zh) 能够进行增量压缩以及对运动估计和元数据的修改以用于将图像呈现给远程显示器
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
TW201501075A (zh) 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法
CN106412588B (zh) 影像帧处理方法
US11930198B2 (en) Image processing method and apparatus, and related assembly
WO2016082285A1 (zh) 一种视频处理装置、方法和终端设备
TWI423682B (zh) 影像處理方法
WO2023024832A1 (zh) 数据处理方法、装置、计算机设备和存储介质
JP2010528516A (ja) 画像を処理する方法およびシステム
JP2004254248A (ja) 動画像変換装置と監視システム
TWI512675B (zh) 影像處理裝置與方法
KR20020070721A (ko) 동영상 전송장치
US8081828B2 (en) Method for transmitting image bit stream and image encoder
KR100899666B1 (ko) 분산 다중 스트리밍 전송 장치
US20140169481A1 (en) Scalable high throughput video encoder
WO2020192499A1 (zh) 一种图像处理方法及设备
CN104219521A (zh) 降低内存需求的影像压缩架构及方法
US9179156B2 (en) Memory controller for video analytics and encoding
CN114040198A (zh) 一种图像数据优化装置及方法
TW201501496A (zh) 視訊編解碼系統及視訊流傳輸方法
WO2023187388A1 (en) Frame buffer usage during a decoding process
JP2015519824A (ja) 費用効率が高く低遅延のビデオストリーム符号化を容易にする機構
Du et al. The implementation of remote digital video monitoring system based on ARM11