TW202246978A - 流再處理系統晶片以及流再處理系統 - Google Patents

流再處理系統晶片以及流再處理系統 Download PDF

Info

Publication number
TW202246978A
TW202246978A TW111107991A TW111107991A TW202246978A TW 202246978 A TW202246978 A TW 202246978A TW 111107991 A TW111107991 A TW 111107991A TW 111107991 A TW111107991 A TW 111107991A TW 202246978 A TW202246978 A TW 202246978A
Authority
TW
Taiwan
Prior art keywords
stream
reprocessing
algorithm
reprocessor
unit
Prior art date
Application number
TW111107991A
Other languages
English (en)
Inventor
楊政燁
邊柱元
全聖浩
鄭憿援
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210084631A external-priority patent/KR20220161108A/ko
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202246978A publication Critical patent/TW202246978A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/7821—Tightly coupled to memory, e.g. computational memory, smart memory, processor in memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3212—Monitoring battery levels, e.g. power saving mode being initiated when battery voltage goes below a certain level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Multi Processors (AREA)
  • Advance Control (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本發明提供一種流再處理系統晶片（SoC）且提供其操作方法。流再處理系統包含：多個處理器，包含中央處理單元（CPU）；記憶體控制器，經組態以接收流；以及流再處理器，經組態以進行再處理流，其中流再處理器包含：控制單元，經組態以判定是否對流進行再處理；再處理單元，經組態以基於自控制單元接收到對流進行再處理的命令來再處理流；以及輸出單元，經組態以將經再處理的流傳輸至記憶體。

Description

流再處理系統晶片以及流再處理系統
本揭露內容是關於一種流再處理系統及其操作方法。更特定而言，本揭露內容是關於一種流再處理器及包含其的系統晶片（system on chip；SoC）。 [相關申請案的交叉引用]
本申請案主張2021年5月28日在韓國智慧財產局申請的韓國專利臨時申請案第10-2021-0068734號及2021年6月29日在韓國智慧財產局申請的韓國專利申請案第10-2021-0084631號的優先權，及由此產生的所有權益，所述申請案的內容以全文引用的方式併入本文中。
待由作為硬體或軟體實施的視訊處理器處理的視訊資料的量逐漸增加。然而，當視訊處理器不具有足以處理視訊資料的資源時，可能降低視訊資料處理的效率。
舉例而言，諸如智慧型電話的可攜式裝置的資源是極有限的，且因此，由攝影機擷取的視訊資料可能未有效地壓縮。因此，可能出現用於儲存經壓縮視訊流的空間不足或影像品質降低的問題。因此，需要經由更高效的視訊資料再處理提高資料處理的效率或經由如上文所描述的有限資源處理的視訊資料的品質。
本揭露內容的態樣提供一種流再處理系統晶片（SoC）、包含其的流再處理系統以及其操作方法，所述流再處理系統晶片藉由使用充足資源再處理未處理視訊資料（例如，尚未藉由應用諸如壓縮視訊資料、改變空間及/或時間解析度以及去除雜訊的視訊資料處理演算法來處理的視訊資料）來改良主觀及/或客觀品質。
然而，本揭露內容的態樣不受本文中所闡述的態樣限制。藉由參考下文給出的本揭露內容的詳細描述，本揭露內容的以上及其他態樣對於本揭露內容所屬技術領域中具有通常知識者而言將變得更顯而易見。
根據本揭露內容的態樣,提供一種流再處理系統晶片，包含：多個處理器，包含中央處理單元（central processing unit；CPU）；記憶體控制器，經組態以接收流；以及流再處理器，經組態以進行再處理流，其中流再處理器包含：控制單元，經組態以判定是否對流進行再處理；再處理單元，經組態以基於自控制單元接收到對流進行再處理的命令來再處理流；以及輸出單元，經組態以將經再處理的流傳輸至記憶體。
根據本揭露內容的態樣，提供一種流再處理系統，包含：攝影機；編解碼器，經組態以藉由壓縮經由攝影機接收到的訊框來產生流；多個處理器，包含中央處理單元，中央處理單元經組態以控制編解碼器；顯示器，經組態以在多個處理器中的至少一者的控制下輸出經由編解碼器壓縮的流；記憶體，經組態以儲存流；以及流再處理器，經組態以再處理流，其中流再處理器包含：控制單元，經組態以判定是否對流進行再處理；再處理單元，基於自控制單元接收到對流進行再處理的命令來再處理流；以及輸出單元，經組態以將經再處理的流傳輸至記憶體。
根據本揭露內容的態樣，提供一種流再處理系統，包含：處理器，經組態以控制流的輸入或輸出中的至少一者；以及記憶體，經組態以儲存流，其中基於經由非即時運行的至少一個編解碼器演算法、超解析度（super-resolution；SR）演算法、訊框率轉換（frame rate conversion；FRC）演算法、影像信號處理（image signal processing；ISP）演算法或去雜訊演算法而判定的流的壓縮程度來再處理流。
根據本揭露內容的態樣，提供一種用於操作流再處理系統的方法，包含：自外部接收流；藉由使用流再處理系統的控制單元判定是否對流進行再處理；藉由使用流再處理系統的再處理單元基於自控制單元接收到的對流進行再處理的命令來再處理流；以及藉由使用流再處理系統的輸出單元將經再處理流傳輸至外部。
根據本揭露內容的態樣，提供一種流再處理系統，包含：流再處理器，經組態以自外部接收流、判定是否對流進行再處理以及基於接收到對流進行再處理的命令來對流進行再處理；顯示器，經組態以顯示更新經再處理流的方法；使用者介面，經組態以提供介面，經由所述介面接收對更新經再處理流的方法的選擇；以及中央處理單元，經組態以基於接收到選擇藉由使用更新經再處理流的方法更新經再處理流。
根據本揭露內容的態樣，提供一種流再處理系統，包含：流再處理器，經組態以自外部接收流、判定是否對流進行再處理以及基於接收到對流進行再處理的命令來對流進行再處理；顯示器，經組態以顯示流再處理器是否將自動對流進行再處理；以及使用者介面，經組態以接收是否自動對流進行再處理的輸入，其中流再處理器進一步經組態以：基於經由使用者介面的自動對流進行再處理的命令的輸入自動對流進行再處理；以及經由使用者介面基於未經由使用者介面接收到自動對流進行再處理的命令來提供關於是否對流進行再處理的訊息。
根據本揭露內容的態樣，提供一種用於操作使用者介面的方法，包含：藉由使用流再處理器自外部接收流、判定是否對流進行再處理以及基於接收到對流進行再處理的命令來對流進行再處理；經由顯示器顯示更新經再處理流的方法；經由使用者介面提供經組態以接收對更新經再處理流的方法的選擇的介面；以及藉由使用中央處理單元基於經由使用者介面接收到的輸入藉由使用更新經再處理流的方法來更新經再處理流。
根據本揭露內容的態樣，提供一種用於操作使用者介面的方法，包含：藉由使用流再處理器自外部接收流、判定是否對流進行再處理以及基於接收到對流進行再處理的命令來對流進行再處理；經由顯示器顯示流再處理器是否將自動對流進行再處理；經由使用者介面提供經組態以接收是否自動對流進行再處理的輸入的介面，其中方法更包含：基於經由使用者介面的自動對流進行再處理的命令的輸入自動對流進行再處理；以及經由使用者介面基於未經由使用者介面接收到自動對流進行再處理的命令來提供關於是否對流進行再處理的訊息。
在下文中，將參考隨附圖式詳細描述本發明概念的實施例。
圖1為用於描述根據一些例示性實施例的包含流再處理系統的電子裝置的說明性視圖。
參考圖1，根據一些例示性實施例的包含流再處理系統的電子裝置1可包含智慧型電話，但不限於此。
舉例而言，根據一些例示性實施例的包含流再處理系統的電子裝置1可作為電視（television；TV）、數位TV（digital TV；DTV）、網際網路協定TV（internet protocol TV；IPTV）、個人電腦（internet protocol TV；IPTV）、桌上型電腦、膝上型電腦、電腦工作站、平板PC、視訊遊戲平台（或視訊遊戲主控台）、伺服器或可攜式電子裝置來實施。
可攜式電子裝置可包含行動電話、智慧型電話、個人數位助理（personal digital assistant；PDA）、企業數位助理（enterprise digital assistant；EDA）、數位靜態攝影機、數位視訊攝影機、可攜式多媒體播放器（portable multimedia player；PMP）、個人導航裝置或可攜式導航裝置（personal navigation device/portable navigation device；PND）、行動網際網路裝置（mobile internet device；MID）、可穿戴電腦、物聯網（internet of things；IoT）裝置、萬物聯網（internet of everything；IoE）裝置或電子書。
流再處理系統可指能夠處理二維（two-dimensional；2D）及/或三維（three-dimensional；3D）圖形資料且顯示所處理資料的各種顯示裝置。
在下文中，將詳細描述根據一些例示性實施例的流再處理系統。
圖2為用於描述根據一些例示性實施例的流再處理系統10的說明性方塊圖。
參考圖2，根據一些例示性實施例的流再處理系統10可包含流再處理系統晶片（SoC）1000（在下文中，為簡化解釋稱為系統晶片）、攝影機2000、顯示器3000以及記憶體4000。在根據一些例示性實施例的流再處理系統10中，可在系統晶片1000的外部安置記憶體4000，但本揭露內容不限於此，且亦可在系統晶片1000中提供記憶體4000。
系統晶片1000可大體上控制流再處理系統10的操作。舉例而言，系統晶片1000、系統晶片1002（參見圖11）以及系統晶片1004（參見圖17）可指能夠對根據待在下文描述的一些例示性實施例的流再處理系統10、流再處理系統20（參見圖11）以及流再處理系統30（參見圖17）進行操作的積體電路（integrated circuits；IC）、主機板、應用程式處理器（application processor；AP）或行動AP。
在下文中，對參考圖2所描述的流再處理系統10的描述亦可適用於圖11的流再處理系統20及圖17的流再處理系統30。另外，對參考圖2所描述的系統晶片1000的描述亦可適用於圖11的系統晶片1002及圖17的系統晶片1004。
系統晶片1000可處理例如自攝影機2000輸出的例如訊框的影像資料以產生流，且可經由顯示器3000顯示經處理流或將經處理流儲存於記憶體4000中。
系統晶片1000可包含編解碼器1100、中央處理單元（CPU）1200、神經處理單元（neural processing unit；NPU）1300、圖形處理單元（graphics processing unit；GPU）1400、數位信號處理器（digital signal processor；DSP）7000、顯示器控制器1500、記憶體控制器1600以及流再處理器1700。
編解碼器1100、中央處理單元1200、神經處理單元1300、圖形處理單元1400、數位信號處理器7000、顯示器控制器1500、記憶體控制器1600以及流再處理器1700可經由匯流排1800彼此交換資料。舉例而言，匯流排1800可作為周邊組件互連（peripheral component interconnect；PCI）匯流排、PCI高速匯流排、進階微控制器匯流排架構（advanced microcontroller bus architecture；AMBA）、進階高效能匯流排（advanced high performance bus；AHB）、進階周邊匯流排（advanced peripheral bus；APB）、進階可擴展介面（advanced extensible interface；AXI）匯流排或其任何組合來實施。
編解碼器1100可對自攝影機2000獲得的訊框或儲存於記憶體4000中的訊框進行編碼或可對儲存於記憶體4000中的流進行解碼。攝影機2000可作為互補金屬氧化物半導體（complementary metal oxide semiconductor；CMOS）影像感測器來實施。
中央處理單元1200、神經處理單元1300、圖形處理單元1400以及數位信號處理器7000可控制系統晶片1000的操作。在下文所描述的系統晶片中，示出為通用硬體的組件不限於中央處理單元1200、神經處理單元1300、圖形處理單元1400以及數位信號處理器7000。
使用者可將輸入提供至系統晶片1000以使得CPU 1200可執行一或多個應用程式（例如，應用程式軟體）。
藉由中央處理單元1200、神經處理單元1300、圖形處理單元1400以及數位信號處理器7000執行的一或多個應用程式可包含例如作業系統（operating system；OS）、文書處理器應用程式、媒體播放器應用程式、視訊遊戲應用程式及/或圖形使用者介面（graphical user interface；GUI）應用程式。
顯示器控制器1500可允許顯示器3000顯示自編解碼器1100、中央處理單元1200、神經處理單元1300、圖形處理單元1400以及數位信號處理器7000輸出的影像資料。顯示器3000可作為監視器、TV監視器、投影裝置、薄膜電晶體液晶顯示器（thin film transistor-liquid crystal display；TFT-LCD）、發光二極體（light emitting diode；LED）顯示器、有機LED（organic LED；OLED）顯示器以及主動矩陣OLED（active-matrix OLED；AMOLED）顯示器或可撓性顯示器來實施，但不限於此。
舉例而言，顯示器控制器1500可經由顯示器串列介面（display serial interface；DSI）將影像資料傳輸至顯示器3000。
記憶體控制器1600可基於自編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400輸出的命令來讀取儲存於記憶體4000中的資料，且將所讀取資料傳輸至編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400。另外，記憶體控制器1600可基於自編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400輸出的命令將自編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400輸出的資料寫入至記憶體4000。
根據一些例示性實施例，記憶體4000可作為揮發性記憶體及/或非揮發性記憶體來實施。揮發性記憶體可作為隨機存取記憶體（random access memory；RAM）、靜態RAM（static RAM；SRAM）、動態RAM（dynamic RAM；DRAM）、同步DRAM（synchronous DRAM；SDRAM）、閘流體RAM（thyristor RAM；T-RAM）、零電容器RAM（zero capacitor RAM；Z-RAM）或雙電晶體（twin transistor；TTRAM）來實施，但不限於此。
非揮發性記憶體可作為電可抹除可程式化唯讀記憶體（electrically erasable programmable read-only memory；EEPROM）、快閃記憶體、磁性RAM（magnetic RAM；MRAM）、自旋轉移力矩MRAM、鐵電RAM（ferroelectric RAM；FeRAM）、相變RAM（phase change RAM；PRAM）或電阻性RAM（resistive RAM；RRAM）來實施。另外，非揮發性記憶體可作為多媒體卡（multimedia card；MMC）、嵌入MMC（embedded MMC；eMMC）、通用快閃儲存器（universal flash storage；UFS）、固態驅動器（solid state drive；SSD）、USB快閃驅動器或硬碟驅動器（hard disk drive；HDD）來實施，但不限於此。
流再處理器1700可經由匯流排1800與其他組件（例如，顯示器控制器1500、記憶體控制器1600、編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）交換流。
流再處理器1700可經組態為專屬硬體（例如，能夠僅根據製造商的設計意圖操作的諸如編解碼器1100的硬體）。
替代地，流再處理器1700可經組態為可使用通用硬體（例如，中央處理單元1200、神經處理單元1300、圖形處理單元1400及/或數位信號處理器7000）的資源的軟體。作為實例，當製造系統晶片1000時，流再處理器1700可為已包含於系統晶片1000中的應用程式。作為另一實例，流再處理器1700可以使用者可自流再處理系統10的外部（例如，圖17的伺服器6000）下載的應用程式的形式組態。
將參考圖3更詳細地描述流再處理器1700。
圖3為用於描述根據一些例示性實施例的流再處理器的說明性方塊圖。
參考圖2及圖3，流再處理器1700包含輸入單元1710、控制單元1720、再處理單元1730以及輸出單元1740。對流再處理器1700的描述亦可適用於圖15的流再處理器1702。
輸入單元1710可自除流再處理器1700以外的組件（例如，顯示器控制器1500、記憶體控制器1600、編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）接收流。
輸入單元1710可將流傳輸至控制單元1720。在此情況下，控制單元1720可判定是否對流進行再處理。將參考圖4更詳細地描述流控制單元1720。
圖4為用於描述根據一些例示性實施例的在流再處理器中的控制單元的說明性方塊圖。
參考圖2至圖4，控制單元1720包含資源檢查器1722、閒置狀態檢查器1724以及流檢查器1726。
資源檢查器1722判定流再處理器1700是否有充足資源（例如，電池的充電狀態（state of charge；SoC）為一定百分比或更高）以再處理經由輸入單元1710接收到的流，或流再處理系統10是否已經由電力電纜連接至電源。
藉由資源檢查器1722判定的資源不受電池的充電狀態限制。作為實例，資源檢查器1722可判定流再處理系統10是否已經由電力電纜連接至電源以對流再處理器1700供應穩定電力以進行再處理操作。作為另一實例，當流再處理系統10未連接至電力電纜時，資源檢查器1722可判定電池的充電狀態是否指示已確保流再處理器1700的充足電池電力以進行再處理操作。作為另一實例，即使流再處理系統10連接至電力電纜或電池的充電狀態是充足的，資源檢查器1722亦可藉由週期性地檢查消耗流再處理系統10的資源的後台應用程式的所利用資源來判定是否已確保流再處理器1700足以進行再處理操作的資源。
閒置狀態檢查器1724可判定包含流再處理系統10的電子裝置是否處於電子裝置可由使用者操作但使用者目前未使用電子裝置的備用狀態。
作為實例，閒置狀態檢查器1724判定顯示器3000是否已關閉，且基於顯示器3000已關閉的判定來判定包含流再處理系統10的電子裝置處於使用者未正使用包含流再處理系統10的電子裝置的閒置狀態。
作為另一實例，即使顯示器3000開啟，當判定不存在在包含流再處理系統10的電子裝置中操作的應用程式時，閒置狀態檢查器1724亦可判定包含流再處理系統10的電子裝置處於使用者未正使用包含流再處理系統10的電子裝置的閒置狀態。
流檢查器1726判定是否需要再處理經由輸入單元1710接收到的流。
作為實例，流檢查器1726可經由包含於流再處理系統10中的預判定演算法檢查是否已充分有效地（例如，一定壓縮速率或更高）壓縮了接收到的流，且當已充分有效地壓縮了接收到的流時判定不需要再處理接收到的流。
作為另一實例，流檢查器1726可檢查接收到的流的主觀影像品質（例如，由個人感知的影像品質）是否經由包含於流再處理系統10中的預判定演算法判定為更高的影像品質，且當接收到的流的主觀影像品質經判定為足夠高的影像品質時判定不需要再處理接收到的流。
當經由資源檢查器1722判定電池的充電狀態足夠、經由閒置狀態檢查器1724判定未正使用電子裝置（例如，顯示器3000已關閉）以及經由流檢查器1726判定需要再處理流時，控制單元1720將用於再處理流的命令傳輸至再處理單元1730。
資源檢查器1722、閒置狀態檢查器1724以及流檢查器1726中的每一者的操作次序不受限制。舉例而言，所有資源檢查器1722、閒置狀態檢查器1724以及流檢查器1726可同步操作。替代地，資源檢查器1722、閒置狀態檢查器1724以及流檢查器1726可以此次序或任何另一次序依序操作。
在經由控制單元1720將初始流再處理命令傳輸至再處理單元1730之後，控制單元1720可週期性地操作資源檢查器1722、閒置狀態檢查器1724以及流檢查器1726中的所有或一些，且當操作的檢查器1722、檢查器1724、檢查器1726的一或多個條件不滿足時，傳輸停止再處理操作的命令以將再處理操作的中間階段儲存於記憶體4000中，及/或以再啟動再處理單元1730的再處理操作。
上文所描述的控制單元1720的組件為實例，且亦可省略控制單元1720中的資源檢查器1722、閒置狀態檢查器1724以及流檢查器1726中的至少一些。另外，控制單元1720的組件不限於上文所描述的組件，且可將與流的再處理（例如，判定是否對流進行再處理的操作）相關的任何組件添加至控制單元1720。
再次參考圖2及圖3，自控制單元1720接收流再處理命令的再處理單元1730可對流進行再處理。將參考圖5更詳細地描述再處理單元1730。
圖5為用於描述根據一些例示性實施例的在流再處理器中的再處理單元的說明性方塊圖。
參考圖2、圖3以及圖5，再處理單元1730包含演算法儲存單元1732及資源利用單元1734。
演算法儲存單元1732儲存由再處理單元1730利用以對流進行再處理的演算法。
作為實例，演算法儲存單元1732可包含能夠對經由輸入單元1710輸入的流進行解碼及編碼的編解碼器演算法。特定而言，演算法儲存單元1732可儲存非即時進行再處理以產生高成本、高壓縮以及高品質再處理流的編解碼器。舉例而言，演算法儲存單元1732可包含編解碼器，其包含多遍次編碼（multi pass coding）演算法、率失真最佳化（rate distortion optimization；RDO）演算法、圖像群組（group of pictures；GOP）演算法及/或標準變化演算法。
作為另一實例，演算法儲存單元1732可包含：超解析度（SR）演算法，改良經由輸入單元1710輸入的視訊流的空間解析度；訊框率轉換（FRC）演算法，改良視訊流的時間解析度（例如，訊框/秒（frame per second；FPS））；影像信號處理（ISP）演算法，改良重建構影像的主觀影像品質；亮度/對比度校正演算法；及/或去雜訊演算法。
作為另一實例，演算法儲存單元1732可包含改良視訊流的壓縮速率及/或主觀影像品質的深度學習演算法。
資源利用單元1734可利用再處理單元1730再處理來自通用硬體（例如，中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）的流所需的資源。
舉例而言，假定再處理單元1730基於深度學習藉由使用儲存於演算法儲存單元1732中的超解析度演算法或訊框率轉換演算法來再處理流。在此情況下，再處理單元1730可提取演算法儲存單元1732的超解析度演算法或訊框率轉換演算法，且經由資源利用單元1734藉由利用神經處理單元的資源對流進行再處理。
經由再處理單元1730再處理的流在再處理之前可具有比流更小的大小。替代地，經由再處理單元1730再處理的流的格式可不同於再處理之前的流的格式。替代地，經由再處理單元1730再處理的流與再處理之前的流相比可具有改良的主觀影像品質。
返回參考圖2及圖3，將經由再處理單元1730再處理的流傳輸至輸出單元1740。可經由匯流排1800將傳輸至輸出單元1740的流傳輸至除流再處理器1700以外的組件（例如，顯示器控制器1500、記憶體控制器1600、編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）。
將參考以下流程圖詳細地描述上文所描述的操作。
圖6為用於描述根據一些例示性實施例的用於操作流再處理器的方法的說明性流程圖。
參考圖3及圖6，根據一些例示性實施例的流再處理器1700經由輸入單元1710接收流（S100）。接著，流再處理器1700可判定是否經由控制單元1720對流進行再處理（S200）。將參考圖7詳細地描述是否對流進行再處理的判定（S200）。
圖7為用於描述根據一些例示性實施例的在流再處理器中的控制單元的操作的說明性流程圖。
參考圖2、圖3、圖4以及圖7，控制單元1720經由資源檢查器1722判定流再處理系統10是否已確保流再處理器1700的資源足以再處理經由輸入單元1710接收到的流（S210）。當判定尚未確保流再處理器1700的足夠資源（在S210處否）時，不對流進行再處理。
另一方面，當判定已確保流再處理器1700的足夠資源（在S210處是）時，控制單元1720經由流檢查器1726判定是否需要再處理流（S220）。當判定不需要再處理流（在S220處否）時，不對流進行再處理。
另一方面，當判定需要再處理流的再處理（在S220處是）時，控制單元1720經由閒置狀態檢查器1724判定包含流再處理系統10的電子裝置是否處於閒置狀態（例如，判定顯示器是否已關閉）（S230）。當包含流再處理系統10的電子裝置未處於閒置狀態（例如，當顯示器尚未關閉時）（在S230處否）時，不對流進行再處理。
另一方面，當包含流再處理系統10的電子裝置處於閒置狀態（例如，當顯示器已關閉時）（在S230處是）時，控制單元1720將流再處理命令發送至再處理單元1730（S240）以允許再處理單元1730對流進行再處理。
圖7的控制單元1720的操作僅為實例，且資源檢查器1722的操作（S210）、流檢查器1726的操作（S220）以及閒置狀態檢查器1724的操作（S230）的次序不限於圖7中所示出的次序且可不同地改變。舉例而言，可同步進行三個操作S210至操作S230。替代地，可同步進行三個操作S210至操作S230中的僅至少一些。另外，當存在判定是否在傳輸初始流再處理命令之後進行再處理的額外操作（例如，週期性地操作資源檢查器1722、閒置狀態檢查器1724以及流檢查器1726中的所有或一些以停止或再啟動再處理操作，如上文參考圖4所描述）時，可將對應操作添加至圖7的流程圖。
再次參考圖2、圖3以及圖6，當經由控制單元1720判定不對流進行再處理（在S200處否）時，不對流進行再處理（S300）。
另一方面，當再處理單元1730自控制單元1720接收到流再處理命令（在S200處是）時，再處理單元1730對流進行再處理（S400）。將參考圖9詳細地描述藉由再處理單元1730對流進行再處理的過程（S400）。
圖8為用於描述根據一些例示性實施例的在流再處理器中的控制單元的操作的另一說明性流程圖。
參考圖2、圖3、圖4以及圖8，不同於根據一些例示性實施例的圖7的流再處理器中的控制器的操作，多個步驟S210、步驟S220以及步驟S230可同時操作。
更詳細而言，控制單元1720藉由使用資源檢查器1722判定流再處理系統10是否已確保流再處理器1700的資源足以再處理經由輸入單元1710接收到的流（S210）。當判定不存在流再處理器1700的足夠資源（在S210處否）時，不對流進行再處理。
另一方面，當判定存在流再處理器1700的足夠資源（在S210處是）時，控制單元1720將流再處理命令傳輸至再處理單元1730（S240）以允許再處理單元1730對流進行再處理。
另外，控制單元1720藉由使用流檢查器1726判定是否需要再處理流（S220）。當判定不需要再處理流（在S220處否）時，不對流進行再處理。
另一方面，當判定需要再處理流（在S220處是）時，控制單元1720將流再處理命令傳輸至再處理單元1730（S240）以允許再處理單元1730對流進行再處理。
另外，控制單元1720藉由使用閒置狀態檢查器1724判定包含流再處理系統10的電子裝置是否處於閒置狀態（例如，顯示器是否已關閉）（S230）。當包含流再處理系統10的電子裝置未處於閒置狀態（例如，當顯示器尚未關閉時）（在S230處否）時，不對流進行再處理。
另一方面，當包含流再處理系統10的電子裝置處於閒置狀態（例如，當顯示器已關閉時）（在S230處是）時，控制單元1720將流再處理命令發送至再處理單元1730（S240）以允許再處理單元1730對流進行再處理。
亦即，控制單元1720可將流再處理命令傳輸至再處理單元1730（S240）以控制或允許再處理單元1730對流進行再處理，即使僅滿足多個步驟S210、步驟S220以及步驟S230中的任何一者亦是如此。
圖9為用於描述根據一些例示性實施例的在流再處理器中的再處理單元的操作的說明性流程圖。
參考圖2、圖3、圖5以及圖9，再處理單元1730提取及利用來自儲存於演算法儲存單元1732中的演算法的與對流進行再處理相關的演算法（S410）。在此情況下，對所利用演算法的詳細描述與參考圖5所描述的詳細描述相同，且因此省略。
再處理單元1730可經由資源利用單元1734利用通用硬體（例如，中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）的資源執行與對流進行再處理相關的演算法（S420）。對此操作的描述與參考圖5所描述的描述相同，且因此省略。
再處理單元1730的自演算法儲存單元1732提取演算法的操作（S410）及再處理單元1730的利用經由資源利用單元1734的資源的操作（S420）的次序不限於此。舉例而言，提取演算法的操作（S410）及利用硬體的資源的操作（S420）亦可同步進行。
再次參考圖2、圖3以及圖6，可將經由再處理單元1730再處理的流經由輸出單元1740傳輸至除流再處理器1700以外的組件（例如，顯示器控制器1500、記憶體控制器1600、編解碼器1100、中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）。
圖10為用於描述根據一些例示性實施例的穿過流再處理系統的流的資料大小及品質的變化的說明性圖表。
參考圖2、圖3以及圖10，在通用硬體（例如，中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）的資源未用於再處理流且用有限資源再處理流的情況下，流壓縮效率較低，使得資料大小可增加且流的品質亦可降低，如圖10的圖表（a）及圖表（b）中所示出。另一方面，根據一些例示性實施例，藉由利用如在流再處理器1700中的通用硬體（例如，中央處理單元1200、神經處理單元1300及/或圖形處理單元1400）的充足資源來對流進行再處理，且因此改良流壓縮效率。因此，可以較小資料大小再處理流且亦可改良流的品質，如圖10的圖表（c）及圖表（d）中所示出。
在下文中，將描述根據一些例示性實施例的另一流再處理系統。為簡化解釋，省略與上文已描述的內容交疊的描述。
圖11為用於描述根據一些例示性實施例的另一流再處理系統20的說明性方塊圖。
參考圖11，與圖2的系統晶片1000相比，流再處理系統包含系統晶片1002，其中可進一步添加使用者介面5000。
使用者介面5000可處理自流再處理系統20的使用者接收到的使用者輸入，且將經處理的使用者輸入傳輸至匯流排1800。舉例而言，使用者介面5000可作為能夠處理語音信號的介面及/或能夠處理使用者的觸控輸入的介面來實施。舉例而言，當使用者介面5000為能夠處理觸控輸入的介面（例如，觸控螢幕或觸控螢幕控制器）時，使用者介面5000可處理經由顯示器3000接收到的觸控輸入。
流再處理系統20的使用者可經由使用者介面5000參與根據一些例示性實施例的流再處理器1700的操作。此將參考圖12至圖14詳細地描述。
圖12至圖14為用於描述根據一些例示性實施例的流再處理系統的操作的說明性流程圖。
首先，參考圖11及圖12，流再處理系統20判定是否經由使用者介面5000自使用者接收到流再處理命令（S1100）。當流再處理系統20尚未自使用者接收到流再處理命令（在S1100處否）時，流再處理系統20不進行流再處理操作（S1300）。
另一方面，當流再處理系統20已經由使用者介面5000自使用者接收到流再處理命令（在S1100處是）時，流再處理系統20可進行根據一些例示性實施例的流再處理操作S1200、流再處理操作S1400、流再處理操作S1500以及流再處理操作S1600。根據一些例示性實施例的流再處理操作S1200、流再處理操作S1400、流再處理操作S1500以及流再處理操作S1600類似於根據參考圖6所描述的一些例示性實施例的流再處理操作S100、流再處理操作S200、流再處理操作S400以及流再處理操作S500，且因此省略其描述。
作為另一實例，參考圖11及圖13，流再處理系統20進行操作S2100、操作S2200以及操作S2300。流再處理系統20的操作S2100、操作S2200以及操作S2300類似於圖6的操作S100、操作S200以及操作S300，且因此省略其描述。
當藉由流再處理器1700的控制單元判定用於流的再處理條件已滿足（在S2200處是）時，流再處理器1700可經由使用者介面5000將關於是否進行流再處理操作的訊息發送至流再處理系統20的使用者（S2400）。
接著，流再處理器1700檢查流再處理系統20是否已自使用者接收到流再處理操作進行命令（S2500）。
當流再處理系統20尚未自使用者接收到流再處理操作進行命令（在S2500處否）時，流再處理系統20不進行流再處理操作（S2300）。
另一方面，當流再處理系統20已自使用者接收到流再處理操作進行命令（在S2500處是）時，流再處理系統20進行流再處理操作S2600及流再處理操作S2700。流再處理系統20的流再處理操作S2600及流再處理操作S2700類似於圖6的操作S400及操作S500，且因此省略其描述。
作為另一實例，參考圖11及圖14，流再處理系統20進行操作S3100。流再處理系統20的操作S3100類似於圖6的操作S100，且因此省略其描述。
流再處理器1700可經由使用者介面5000將關於是否進行流再處理操作的訊息發送至流再處理系統20的使用者（S3400）。
接著，流再處理器1700檢查流再處理系統20是否已自使用者接收到流再處理操作進行命令（S3500）。
當流再處理系統20尚未自使用者接收到流再處理操作進行命令（在S3500處否）時，流再處理系統20不進行流再處理操作（S3300）。
另一方面，當流再處理系統20已自使用者接收到流再處理操作進行命令（在S3500處是）時，流再處理系統20進行流再處理操作S3200、流再處理操作S3300、流再處理操作S3600以及流再處理操作S3700。流再處理系統20的流再處理操作S3200、流再處理操作S3300、流再處理操作S3600以及流再處理操作S3700類似於圖6的操作S200、操作S300、操作S400以及操作S500，且因此省略其描述。
圖15為用於描述根據一些例示性實施例的另一流再處理器的說明性方塊圖。
參考圖11及圖15，根據一些例示性實施例的流再處理器1702可經組態為軟體。
在此情況下，除圖3的流再處理器1700的組件之外，流再處理器1702可更包含更新單元1750。
更新單元1750可檢查是否更新流再處理器1702，當檢查流再處理器1702的更新資訊時經由使用者介面5000自流再處理系統20的使用者接收關於是否進行更新的確認，且更新與流再處理器1702相關的軟體（例如，應用程式軟體、演算法軟體、韌體等）。
將參考圖16的流程圖詳細地描述用於此態樣的操作。
圖16為用於描述根據一些例示性實施例的另一流再處理器的操作的說明性流程圖。
參考圖11、圖15以及圖16，已檢查流再處理器1702的軟體更新的更新單元1750經由使用者介面5000將關於是否進行流再處理器1702的軟體更新的訊息發送至流再處理系統20的使用者（S4100）。舉例而言，更新單元1750可基於判定存在待作出的更新而將S4100處的訊息發送至流再處理器1702。
接著，流再處理器1702檢查是否已自使用者接收到流再處理器1702的軟體更新進行命令（S4200）。
當流再處理器1702尚未自使用者接收到流再處理器1702的軟體更新進行命令（在S4200處否）時，流再處理器1702不進行流再處理器1702的更新（S4300）。
另一方面，當流再處理器1702已自使用者接收到流再處理器1702的軟體更新進行命令（在S4200處是）時，流再處理器1702進行流再處理器1702的更新（S4400）。
圖17為用於描述根據一些例示性實施例的另一流再處理系統的說明性方塊圖。
參考圖17，與圖11的系統晶片1002相比，在系統晶片1004中，可將網路通信介面1900進一步添加至系統晶片1004。另外，與圖11的流再處理系統20相比，在流再處理系統30中，可將伺服器6000進一步添加至流再處理系統30。
網路通信介面1900可支援在系統晶片1004與伺服器6000之間建立直接（例如，有線）通信通道或無線通信通道，且經由建立的通信通道進行通信。
網路通信介面1900可包含可獨立於中央處理單元1200（例如，AP）操作的一或多個通信處理器且支援直接（例如，有線）通信或無線通信。
根據一些例示性實施例，網路通信介面1900可包含無線通信模組（例如，蜂巢式通信模組、短程無線通信模組或全球導航衛星系統（global navigation satellite system；GNSS））或有線通信模組（例如，局部區域網路（local area network；LAN）通信模組或電源線通信（power line communication；PLC）模組）。
此等通信模組中的對應一者可經由網路（例如，諸如藍牙（Bluetooth） TM標準、無線保真度（wireless-fidelity；Wi-Fi）直連或紅外資料協會（infrared data association；IrDA）的短程通信網路）或另一網路（例如，諸如蜂巢式網路、網際網路或電腦網路（例如，LAN或廣域網路（wide area network；WAN））的遠程通信網路）與伺服器6000通信。
此等各種類型的通信模組可作為單一組件（例如，單一積體晶片（integrated chip；IC））來實施或可作為彼此分離的多個組件（例如，多個IC）來實施。
網路通信介面1900可使用儲存於用戶識別模組中的用戶資訊（例如，國際行動用戶識別碼（international mobile subscriber identity；IMSI））來識別及鑑別通信網路中的電子裝置。
根據一些例示性實施例，可經由耦接至網路通信介面1900的網路將系統晶片1004的命令或資料傳輸至伺服器6000或自伺服器6000接收系統晶片1004的命令或資料。
伺服器6000可為與系統晶片1004相同的裝置類型或為與系統晶片1004不同的裝置類型。根據一些例示性實施例，待在系統晶片1004上執行的操作中的所有或一些可在伺服器6000上執行。
舉例而言，當系統晶片1004請求伺服器6000進行功能或服務時，可藉由伺服器6000來進行功能或服務，且伺服器6000可將進行功能或服務的結果傳輸至系統晶片1004。為此目的，可使用例如雲端計算、分佈式計算及/或主從式計算技術。亦即，控制資料的輸入/輸出的處理器及儲存資料的記憶體可包含於伺服器6000自身中。
舉例而言，能夠進行包含流再處理器1700的功能的流再處理系統的應用程式軟體可儲存於伺服器6000中且根據使用者的請求下載至系統晶片1004中。另外，舉例而言，待由流再處理器1700再處理的流可儲存於伺服器6000中，且流再處理器1700可自伺服器6000接收流且對接收到的流進行再處理。
將參考圖18至圖22的流程圖詳細地描述根據一些例示性實施例的流再處理系統30的操作。
圖18至圖22為用於描述根據一些例示性實施例的流再處理系統的操作的說明性流程圖。
首先，參考圖17及圖18，流再處理系統30的使用者可經由伺服器6000將包含流再處理器1700的功能的流再處理應用程式軟體下載至系統晶片1004中（S5100）。
流再處理系統30的後續操作S5200、操作S5300、操作S5400、操作S5500以及操作S5600類似於圖6的流再處理系統10的操作S100、操作S200、操作S300、操作S400以及操作S500，且因此省略交疊描述。
作為另一實例，參考圖17及圖19，流再處理系統30的流再處理器1700可自伺服器6000接收待再處理的流（S6100）。
流再處理系統30的後續操作S6200、操作S6300、操作S6400以及操作S6500類似於圖6的流再處理系統10的操作S200、操作S300、操作S400以及操作S500，且因此省略交疊描述。
作為另一實例，參考圖17及圖20，基於上文參考圖2至圖19所描述的內容，經由流再處理器1700進行流的再處理（S7000）。
接著，經由顯示器3000顯示更新經再處理流的方法（S7100）。
接著，根據一些例示性實施例的流再處理系統30的使用者可經由使用者介面5000選擇更新顯示於顯示器3000上的經再處理流的方法（S7200）。
舉例而言，當使用者介面5000為能夠處理語音信號的介面時，使用者可經由語音信號選擇更新經再處理流的方法。替代地，當使用者介面5000作為能夠處理使用者的觸控輸入的介面來實施時，使用者可經由顯示器3000上的觸控操作來選擇更新經再處理流的方法（S7300）。
更新經由根據一些例示性實施例的流再處理器1700再處理的流的方法可為例如在再處理之前刪除儲存於流再處理器1700的外部（例如，記憶體4000及/或伺服器6000）中的流，且接著將經再處理流儲存於外部（例如，記憶體4000及/或伺服器6000）中的方法。
替代地，更新經由根據一些例示性實施例的流再處理器1700再處理的流的方法可為例如在再處理之前保持儲存於外部（例如，記憶體4000及/或伺服器6000）中的流，且另外將經再處理流儲存於外部（例如，記憶體4000及/或伺服器6000）中的方法。
作為另一實例，參考圖17及圖21，根據一些例示性實施例的流再處理系統30的使用者可預先選擇上文參考圖2至19所描述的流再處理器1700是否自動進行流再處理操作。
更詳細而言，經由顯示器3000顯示是否經由流再處理器1700自動對由來自外部（例如，記憶體4000及/或伺服器6000）的由流再處理系統30的使用者產生的流進行再處理（S8000）。
當使用者未經由使用者介面5000發送自動對由使用者產生的流進行再處理的命令（在S8000處否）時,不論何時接收到由使用者產生的流，流再處理系統30每次均經由使用者介面5000發送關於是否經由流再處理器1700對流進行流再處理操作的訊息（S8100）。
另一方面，當使用者經由使用者介面5000發送自動對由使用者產生的流進行再處理的命令（在S8000處是）時，流再處理器1700可自動對由使用者產生的流進行上文參考圖2至圖19所描述的流再處理操作（S8200）。
作為另一實例，參考圖17及圖22，根據一些例示性實施例的流再處理系統30的使用者可選擇是否使用經由上文參考圖2至19所描述的流再處理器1700對其進行再處理的流。
首先，基於上文參考圖2至圖19所描述的內容由流再處理器1700進行流的再處理（S9000）。
接著，經由顯示器3000顯示經由流再處理器1700再處理的流（S9100）。
接著，當使用者經由使用者介面5000准許經由流再處理器1700使用經再處理流（在S9200處是）時，用經再處理流替換現有流（S9300）。舉例而言，可自記憶體4000或伺服器6000刪除現有流且經再處理流可儲存於記憶體4000或伺服器6000中。
當使用者經由使用者介面5000判定不使用經由流再處理器1700再處理的流（在S9200處否）時，可刪除經再處理流且現有流可保留於記憶體4000或伺服器6000中（S9400）。
由圖式中的方塊表示的組件、元件、模組或單元（在本段落中統稱為「組件」）中的至少一者可體現為根據實例實施例的執行上文所描述的各別功能的硬體、軟體及/或韌體結構的各種編號。根據實例實施例，此等組件中的至少一者可使用可經由一或多個微處理器或其他控制設備的控制執行各別功能的諸如記憶體、處理器、邏輯電路、查找表等的直接電路結構。此外，此等組件中的至少一者具體而言可由模組、程式或含有一或多個用於進行特定邏輯功能的可執行指令的編碼的一部分來體現，且由一或多個微處理器或其他控制設備來執行。此外，此等組件中的至少一者可包含諸如進行各別功能的中央處理單元（CPU）、微處理器或類似者的處理器或可由所述處理器實施。此等組件中的兩者或大於兩者可組合成進行經組合的兩個或大於兩個組件的所有操作或功能的一個單一組件。此外，此等組件中的至少一者的功能的至少部分可由此等組件中的另一者進行。上文例示性實施例的功能性態樣可以在一或多個處理器上執行的演算法實施。此外，由區塊或處理步驟表示的組件可採用用於電子組態、信號處理及/或控制、資料處理以及類似者的任何數目個相關技術領域技術。
雖然已參考本發明概念的例示性實施例特定地展示及描述本發明概念，但所屬技術領域中具有通常知識者應理解，可在不脫離如藉由以下申請專利範圍及其等效物界定的本發明概念的精神及範圍的情況下，在其中作出形式及細節的各種改變。應理解，例示性實施例在所有態樣中均為說明性而非限制性的。
1:電子裝置 10、20、30:流再處理系統 1000、1002、1004:系統晶片 1100:編解碼器 1200:中央處理單元 1300:神經處理單元 1400:圖形處理單元 1500:顯示器控制器 1600:記憶體控制器 1700、1702:流再處理器 1710:輸入單元 1720:控制單元 1722:資源檢查器 1724:閒置狀態檢查器 1726:流檢查器 1730:再處理單元 1732:演算法儲存單元 1734:資源利用單元 1740:輸出單元 1750:更新單元 1800:匯流排 1900:網路通信介面 2000:攝影機 3000:顯示器 4000:記憶體 5000:使用者介面 6000:伺服器 7000:數位信號處理器 S100、S200、S210、S220、S230、S240、S300、S400、S410、S420、S500、S1100、S1200、S1300、S1400、S1500、S1600、S2100、S2200、S2300、S2400、S2500、S2600、S2700、S3100、S3200、S3300、S3400、S3500、S3600、S3700、S4100、S4200、S4300、S4400、S5100、S5200、S5300、S5400、S5500、S5600、S6100、S6200、S6300、S6400、S6500、S7000、S7100、S7200、S7300、S8000、S8100、S8200、S9000、S9100、S9200、S9300、S9400:操作
本揭露內容的以上及其他態樣及特徵將藉由參考圖式詳細描述其例示性實施例變得更顯而易見，其中： 圖1為用於描述根據一些例示性實施例的包含流再處理系統的電子裝置的說明性視圖。 圖2為用於描述根據一些例示性實施例的流再處理系統的說明性方塊圖。 圖3為用於描述根據一些例示性實施例的流再處理器的說明性方塊圖。 圖4為用於描述根據一些例示性實施例的在流再處理器中的控制單元的說明性方塊圖。 圖5為用於描述根據一些例示性實施例的在流再處理器中的再處理單元的說明性方塊圖。 圖6為用於描述根據一些例示性實施例的用於操作流再處理器的方法的說明性流程圖。 圖7為用於描述根據一些例示性實施例的在流再處理器中的控制單元的操作的說明性流程圖。 圖8為用於描述根據一些例示性實施例的在流再處理器中的控制單元的操作的說明性流程圖。 圖9為用於描述根據一些例示性實施例的在流再處理器中的再處理單元的操作的說明性流程圖。 圖10為用於描述根據一些例示性實施例的穿過流再處理系統的流的資料大小及品質的變化的說明性圖表。 圖11為用於描述根據一些例示性實施例的流再處理系統的說明性方塊圖。 圖12至圖14為用於描述根據一些例示性實施例的流再處理系統的操作的說明性流程圖。 圖15為用於描述根據一些例示性實施例的流再處理器的說明性方塊圖。 圖16為用於描述根據一些例示性實施例的流再處理器的操作的說明性流程圖。 圖17為用於描述根據一些例示性實施例的流再處理系統的說明性方塊圖。 圖18至圖22為用於描述根據一些例示性實施例的流再處理系統的操作的說明性流程圖。
10:流再處理系統
1000:系統晶片
1100:編解碼器
1200:中央處理單元
1300:神經處理單元
1400:圖形處理單元
1500:顯示器控制器
1600:記憶體控制器
1700:流再處理器
1800:匯流排
2000:攝影機
3000:顯示器
4000:記憶體
7000:數位信號處理器

Claims (20)

  1. 一種流再處理系統晶片，包括： 多個處理器，包含中央處理單元（CPU）； 記憶體控制器，經組態以接收流；以及 流再處理器，經組態以進行再處理所述流， 其中所述流再處理器包含： 控制單元，經組態以判定是否對所述流進行所述再處理； 再處理單元，經組態以基於自所述控制單元接收到對所述流進行所述再處理的命令來再處理所述流；以及 輸出單元，經組態以將經再處理的所述流傳輸至記憶體。
  2. 如請求項1所述的流再處理系統晶片，其中所述控制單元包含： 資源檢查器，經組態以判定電池的充電狀態（SoC）是否足以對所述流進行所述再處理；以及 流檢查器，經組態以判定是否需要再處理所述流，且 其中所述控制單元經組態以基於判定所述電池的所述充電狀態是充足的及判定需要再處理所述流中的至少一者將對所述流進行所述再處理的所述命令傳輸至所述再處理單元。
  3. 如請求項1所述的流再處理系統晶片，更包括經組態以自外部接收流再處理命令的使用者介面， 其中所述控制單元經組態以基於所述流再處理命令來判定是否對所述流進行所述再處理。
  4. 如請求項1所述的流再處理系統晶片，其中所述流再處理器經組態為軟體。
  5. 如請求項4所述的流再處理系統晶片，其中所述流再處理器更包含更新單元，且 其中所述更新單元經組態以判定是否更新所述流再處理器及基於更新所述流再處理器的判定來更新所述流再處理器。
  6. 如請求項1所述的流再處理系統晶片，更包括經組態以經由網路與外部通信的網路通信介面， 其中所述流再處理器作為應用程式經由所述網路通信介面下載。
  7. 如請求項1所述的流再處理系統晶片，其中所述再處理單元包含經組態以儲存用於再處理所述流的演算法的演算法儲存單元。
  8. 如請求項7所述的流再處理系統晶片，其中所述演算法包含編解碼器演算法、超解析度（SR）演算法、訊框率轉換（FRC）演算法、影像信號處理（ISP）演算法或去雜訊演算法中的至少一者。
  9. 如請求項7所述的流再處理系統晶片，其中所述演算法包含多通編碼演算法、率失真最佳化（RDO）演算法、圖像群組（GOP）演算法或標準變化演算法中的至少一者。
  10. 如請求項1所述的流再處理系統晶片，其中所述再處理單元包含經組態以利用所述多個處理器中的至少一者的資源的資源利用單元。
  11. 一種流再處理系統，包括： 攝影機； 編解碼器，經組態以藉由壓縮經由所述攝影機接收到的訊框來產生流； 多個處理器，包含中央處理單元，所述中央處理單元經組態以控制所述編解碼器； 顯示器，經組態以在所述多個處理器中的至少一者的控制下輸出經由所述編解碼器壓縮的所述流； 記憶體，經組態以儲存所述流；以及 流再處理器，經組態以再處理所述流， 其中所述流再處理器包含： 控制單元，經組態以判定是否對所述流進行所述再處理； 再處理單元，基於自所述控制單元接收到對所述流進行所述再處理的命令來再處理所述流；以及 輸出單元，經組態以將經再處理的所述流傳輸至所述記憶體。
  12. 如請求項11所述的流再處理系統，其中所述控制單元包含： 資源檢查器，經組態以判定電池的充電狀態（SoC）是否足以對所述流進行所述再處理； 閒置狀態檢查器，經組態以判定所述顯示器是否已關閉；以及 流檢查器，經組態以判定是否需要再處理所述流，且 其中所述控制單元經組態以基於判定所述電池的所述充電狀態是充足的、判定所述顯示器已關閉或判定需要再處理所述流中的至少一者將對所述流進行所述再處理的所述命令傳輸至所述再處理單元。
  13. 如請求項11所述的流再處理系統，更包括經組態以自外部接收流再處理命令的使用者介面， 其中所述控制單元經組態以基於所述流再處理命令來判定是否對所述流進行所述再處理。
  14. 如請求項11所述的流再處理系統，其中所述流再處理器經組態為軟體。
  15. 如請求項11所述的流再處理系統，更包括： 伺服器；以及 網路通信介面，經組態以經由網路與所述伺服器通信， 其中所述流再處理器作為應用程式自所述伺服器下載。
  16. 如請求項11所述的流再處理系統，其中所述再處理單元包含經組態以儲存用於再處理所述流的演算法的演算法儲存單元。
  17. 如請求項16所述的流再處理系統，其中所述演算法包含編解碼器演算法、超解析度（SR）演算法、訊框率轉換（FRC）演算法、影像信號處理（ISP）演算法或去雜訊演算法中的至少一者。
  18. 如請求項16所述的流再處理系統，其中所述演算法包含多通編碼演算法、率失真最佳化（RDO）演算法、圖像群組（GOP）演算法或標準變化演算法中的至少一者。
  19. 如請求項11所述的流再處理系統，其中所述再處理單元包含經組態以利用所述多個處理器中的至少一者的資源的資源利用單元。
  20. 一種流再處理系統，包括： 處理器，經組態以控制流的輸入或輸出中的至少一者；以及 記憶體，經組態以儲存所述流， 其中基於經由非即時運行的至少一個編解碼器演算法、超解析度（SR）演算法、訊框率轉換（FRC）演算法、影像信號處理（ISP）演算法或去雜訊演算法而判定的所述流的壓縮程度來再處理所述流。
TW111107991A 2021-05-28 2022-03-04 流再處理系統晶片以及流再處理系統 TW202246978A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0068734 2021-05-28
KR20210068734 2021-05-28
KR1020210084631A KR20220161108A (ko) 2021-05-28 2021-06-29 스트림 재처리 시스템과 그 동작 방법
KR10-2021-0084631 2021-06-29

Publications (1)

Publication Number Publication Date
TW202246978A true TW202246978A (zh) 2022-12-01

Family

ID=80119024

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111107991A TW202246978A (zh) 2021-05-28 2022-03-04 流再處理系統晶片以及流再處理系統

Country Status (4)

Country Link
US (1) US11726949B2 (zh)
EP (1) EP4096229A1 (zh)
CN (1) CN115408331A (zh)
TW (1) TW202246978A (zh)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8249426B2 (en) 2004-12-13 2012-08-21 Muvee Technologies Pte Ltd Method of automatically editing media recordings
US20080120676A1 (en) * 2006-11-22 2008-05-22 Horizon Semiconductors Ltd. Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream
US9271003B2 (en) 2011-04-15 2016-02-23 Opera Software Ireland Limited Real-time audio or video transcoding
WO2014011622A2 (en) 2012-07-09 2014-01-16 Vid Scale, Inc. Power aware video decoding and streaming
KR101951171B1 (ko) * 2012-08-09 2019-02-25 삼성전자 주식회사 멀티미디어 프로세싱 시스템 및 그 동작 방법
US9122824B2 (en) 2012-12-14 2015-09-01 Fujitsu Limited System-on-chip design structure and method
KR102071860B1 (ko) 2013-01-21 2020-01-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 상이한 재생 디바이스들에 걸친 라우드니스 및 동적 범위의 최적화
GB2529857B (en) 2014-09-04 2017-11-01 Samsung Electronics Co Ltd Method and apparatus for battery charge monitoring
WO2016036155A1 (en) 2014-09-04 2016-03-10 Samsung Electronics Co., Ltd. Method of providing user with battery power notification in mobile device and mobile device therefor
KR102274747B1 (ko) * 2014-11-24 2021-07-07 삼성전자주식회사 코덱과 이를 포함하는 시스템 온 칩, 및 상기 시스템 온 칩을 포함하는 데이터 처리 시스템
EP4340378A3 (en) 2014-12-31 2024-05-01 DISH Technologies L.L.C. Automated video content processing
US20170374361A1 (en) * 2015-01-28 2017-12-28 Beamr Imaging Ltd. Method and System Of Controlling A Video Content System
US20160234496A1 (en) * 2015-02-09 2016-08-11 Qualcomm Incorporated Near visually lossless video recompression
US10244175B2 (en) 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
US10826963B2 (en) 2016-12-31 2020-11-03 DISH Technologies L.L.C. Reducing latency for streaming video
US10778979B2 (en) 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
KR102095518B1 (ko) 2018-10-11 2020-03-31 옥임식 영상의 고해상도 변환을 위한 리마스터링 시스템 및 그 방법

Also Published As

Publication number Publication date
EP4096229A1 (en) 2022-11-30
US20220382708A1 (en) 2022-12-01
CN115408331A (zh) 2022-11-29
US11726949B2 (en) 2023-08-15

Similar Documents

Publication Publication Date Title
US10096304B2 (en) Display controller for improving display noise, semiconductor integrated circuit device including the same and method of operating the display controller
JP5632891B2 (ja) インライン画像回転
US10528998B2 (en) Systems and methods for presenting information related to products or services being shown on a second display device on a first display device using augmented reality technology
US9881680B2 (en) Multi-host power controller (MHPC) of a flash-memory-based storage device
JP6335335B2 (ja) タイルベースのレンダリングｇｐｕアーキテクチャのための任意のタイル形状を有する適応可能なパーティションメカニズム
CN110036628B (zh) 动态配置用于图像产生的存储器带宽
US9632953B2 (en) Providing input/output virtualization (IOV) by mapping transfer requests to shared transfer requests lists by IOV host controllers
TWI712003B (zh) 處理即時影像的影像處理電路與方法以及包含上述電路、方法的裝置
US10043234B2 (en) System and method for frame buffer decompression and/or compression
US20150332495A1 (en) Graphics processing method and graphics processing apparatus
US20140253598A1 (en) Generating scaled images simultaneously using an original image
TWI406531B (zh) 圖像系統及其多重使用者電腦系統
CN112309341B (zh) 用于混合图像数据的层的电子设备
US20200388016A1 (en) Image signal processor, operating method thereof, and image processing system including the image signal processor
US10346209B2 (en) Data processing system for effectively managing shared resources
TW202246978A (zh) 流再處理系統晶片以及流再處理系統
US20210200255A1 (en) Higher graphics processing unit clocks for low power consuming operations
US9646570B2 (en) Mechanism for facilitating improved copying of graphics data on computing devices
TWI720882B (zh) 視訊記錄裝置及其方法
KR20220161108A (ko) 스트림 재처리 시스템과 그 동작 방법
Shiu et al. System design challenges for future consumer devices: From glass to Chromebooks
US12014414B2 (en) Systems and methods to present information using three dimensional renditions
US11375142B1 (en) Asymmetric exposure time adjustments for multi-frame high dynamic range imaging in low light conditions
CN115150604A (zh) 色调映射电路、图像感测装置及其操作方法
KR20210142382A (ko) 그리드 게인 계산 회로, 이미지 센싱 장치 및 그 동작방법