TW202301137A - 影像訊號處理器以及影像處理系統 - Google Patents

影像訊號處理器以及影像處理系統 Download PDF

Info

Publication number
TW202301137A
TW202301137A TW111107646A TW111107646A TW202301137A TW 202301137 A TW202301137 A TW 202301137A TW 111107646 A TW111107646 A TW 111107646A TW 111107646 A TW111107646 A TW 111107646A TW 202301137 A TW202301137 A TW 202301137A
Authority
TW
Taiwan
Prior art keywords
interrupt
image
log
output
circuit
Prior art date
Application number
TW111107646A
Other languages
English (en)
Inventor
黃鎭佑
姜好泯
安財郁
李瑞勳
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202301137A publication Critical patent/TW202301137A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/20Handling requests for interconnection or transfer for access to input/output bus
    • G06F13/24Handling requests for interconnection or transfer for access to input/output bus using interrupt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4812Task transfer initiation or dispatching by interrupt, e.g. masked
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一種影像訊號處理器包括命令佇列電路、影像處理引擎及中斷控制電路。命令佇列電路儲存多個命令且依序逐個提供所述多個命令。所述多個命令中的每一命令包括與多個影像單元中的每一影像單元對應的中斷控制值。所述多個命令是自控制處理器接收。所述影像處理引擎接收所述多個影像單元且基於自命令佇列電路依序提供的所述多個命令依序處理所述多個影像單元。所述中斷控制電路自命令佇列電路接收中斷控制值,基於中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號,且基於輸出中斷事件訊號產生中斷訊號。

Description

執行中斷控制的圖像信號處理器和圖像處理系統
示例性實施例大體而言是有關於半導體積體電路,且更具體而言是有關於一種執行中斷控制的影像訊號處理器和影像處理系統。 [相關申請案的交叉參考]
本美國非臨時申請案基於35 USC § 119主張優先於在2021年6月17日在韓國智慧財產局(Korean Intellectual Property Office,KIPO)提出申請的韓國專利申請案第10-2021-0078615號,所述韓國專利申請案的揭露內容全文併入本案供參考。
例如照相機或智慧型電話等成像裝置中所包括的影像訊號處理器可執行影像處理,例如將自影像感測器提供的影像資料的資料格式轉換成例如紅-綠-藍(red-green-blue,RGB)或YUV等資料格式或者自影像資料移除雜訊並調整亮度。影像訊號處理器可以訊框為單位處理自影像感測器輸出的影像資料。最近的成像裝置可支援以較高訊框速率提供影像的操作模式,例如慢動作模式或超慢動作模式,且影像感測器可以較高訊框速率產生影像資料並輸出影像資料。
一些示例性實施例可提供一種能夠更高效地處理較高訊框速率的影像資料的影像訊號處理器及影像處理系統。
一些示例性實施例可提供一種能夠更高效地執行中斷控制的影像訊號處理器及影像處理系統。
根據示例性實施例,一種影像訊號處理器包括命令佇列電路、影像處理引擎及中斷控制電路。所述命令佇列電路儲存多個命令且依序逐個提供所述多個命令。所述多個命令中的每一命令包括與多個影像單元中的每一影像單元對應的中斷控制值。所述多個命令是自控制處理器接收。所述影像處理引擎接收所述多個影像單元且基於自所述命令佇列電路依序提供的所述多個命令依序處理所述多個影像單元。所述中斷控制電路自所述命令佇列電路接收所述中斷控制值,基於所述中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號,且基於所述輸出中斷事件訊號產生中斷訊號。
根據示例性實施例,一種影像處理系統包括:控制處理器,被配置成基於中斷訊號產生多個命令且執行中斷服務常式,所述多個命令中的每一命令包括與多個影像單元中的每一影像單元對應的中斷控制值;以及影像訊號處理器,被配置成處理所述多個影像單元且產生所述中斷訊號。所述影像訊號處理器包括命令佇列電路、影像處理引擎及中斷控制電路。
根據示例性實施例,一種影像訊號處理器包括:命令佇列電路,被配置成儲存多個命令且依序逐個提供所述多個命令,所述多個命令中的每一命令包括與多個影像單元中的每一影像單元對應的中斷控制值及影像單元辨識符,所述多個命令是自控制處理器接收;影像處理引擎,被配置成接收所述多個影像單元且基於自所述命令佇列電路依序提供的所述多個命令依序處理所述多個影像單元;以及中斷控制電路,被配置成自所述命令佇列電路接收所述中斷控制值及所述影像單元辨識符,基於所述中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號及一或多個日誌中斷事件訊號,基於所述輸出中斷事件訊號產生中斷訊號,基於所述日誌中斷事件訊號儲存包括所述影像單元辨識符及所述日誌中斷事件訊號的啟用的中斷日誌資訊。
根據示例性實施例的影像訊號處理器及影像處理系統可藉由以下方式來更高效地執行影像訊號處理器與控制處理器之間的通訊及/或增強影像訊號處理器及影像處理系統的效能:預先將與所述多個影像單元對應的所述多個命令儲存於命令佇列電路中且基於所儲存的命令執行影像處理。
可藉由基於命令中所包括的中斷控制值確定用於為每一影像單元產生中斷訊號的條件來進一步增強效能。此外,可藉由基於中斷控制值確定欲被監控的日誌中斷事件訊號且儲存包括影像單元辨識符的中斷日誌資訊來更高效地執行錯誤的復原過程。
在下文中將參照附圖更全面地闡述各種示例性實施例,在附圖中示出一些示例性實施例。在圖式中,相同的編號通篇指代相同的元件。可省略重複的說明。
圖1是示出根據示例性實施例的系統的方塊圖。
圖1所示系統1000可被實施為捕獲影像並顯示所捕獲的影像或基於所捕獲的影像執行操作的電子裝置。系統1000可被實施為例如個人電腦(personal computer,PC)、物聯網(Internet of things,IoT)裝置及/或可攜式電子裝置。可攜式電子裝置的實例可包括膝上型電腦、行動電話、智慧型電話、平板PC、個人數位助理(personal digital assistant,PDA)、企業數位助理(enterprise digital assistant,EDA)、數位相機(digital still camera)、數位視訊攝影機(digital audio camera)、音訊裝置、可攜式多媒體播放機(portable multimedia player,PMP)、可攜式導航裝置(portable navigation device,PND)、動態影像專家組壓縮標準(Moving Picture Experts Group-1,MPEG-1)音訊層3(MPEG-1 audio layer 3,MP3)播放機、手持遊戲機(handheld game console)、電子書(electronic book,e-book)、可穿戴裝置等。另外,系統1000可裝備於例如以下電子裝置中:無人機(drone)或先進駕駛輔助系統(advanced drivers assistance system,ADAS)及/或作為車輛、家具、製造設施及各種量測機器中的組件而提供的電子裝置。
參照圖1,系統1000可包括影像感測器1100及影像處理系統1200。系統1000可更包括其他元件,例如顯示器及使用者介面。影像處理系統1200可包括影像訊號處理器100、控制處理器200及/或記憶體裝置300。影像訊號處理器100、控制處理器200及記憶體裝置300可被實施為單個半導體晶片或多個半導體晶片。舉例而言,影像訊號處理器100與控制處理器200可被整合至一個半導體晶片中。
影像感測器1100可將經由光學透鏡LS輸入且與物體對應的光學訊號轉換成電性訊號,且可基於電性訊號產生影像資料IDT並輸出影像資料IDT。影像感測器1100可包括例如包括二維排列的多個畫素的畫素陣列以及讀出電路,且畫素陣列可將所接收的光學訊號轉換成電性訊號。畫素陣列可使用例如光學至電性轉換裝置(例如電荷耦合裝置CCD或互補金屬氧化物半導體(complementary metal oxide semiconductor,CMOS))來實施,且另外,可使用其他各種種類的光學至電性轉換裝置來實施。讀出電路可基於自畫素陣列提供的電性訊號產生原始資料且可輸出所產生的原始資料或者已對其執行預處理(例如移除不良畫素)的原始資料作為影像資料IDT。影像感測器1100可被實施為包括畫素陣列及讀出電路的半導體晶片或封裝。
影像訊號處理器100可對自影像感測器1100提供的影像資料IDT執行影像處理。舉例而言,影像訊號處理器100可執行例如以下影像處理以用於增強影像品質:對影像資料IDT的資料格式進行轉換(例如,將具有拜爾型樣(Bayer pattern)的影像資料轉換成YUV格式或RGB格式)、移除雜訊、調整亮度及調整銳度的影像處理。影像訊號處理器100可對影像處理系統1200的硬體進行配置。
影像訊號處理器100可包括影像訊號處理核心(image signal processing core)110(在下文中被稱為ISP核心)、命令佇列電路CQC 400及/或中斷控制電路ICC 500。如以下將參照圖5闡述。
ISP核心110可以影像單元為單位對自影像感測器1100輸出的影像資料IDT執行影像處理。如以下將參照圖5闡述,影像單元可為影像訊框、影像條帶(image strip)或影像拼合片(image tile)。在本揭露中,基於影像訊框闡述示例性實施例,且將理解,示例性實施例可應用於各種類型的影像單元。在下文中,影像訊框可被簡稱為訊框。
藉由影像處理產生的處理資料PDT(例如,藉由影像處理產生的經影像處理的訊框(在下文中被稱為經轉換影像資料))及/或結果資料(統計資料、直方圖等))可儲存於記憶體裝置300中。
命令佇列電路400可接收並儲存來自控制處理器200的多個命令CMD,且依序逐個提供所述多個命令CMD。每一命令CMD可包括與多個影像單元中的每一影像單元對應的中斷控制值。在一些示例性實施例中,如以下將參照圖13闡述,命令佇列電路400可基於命令CMD的優先權來確定提供次序。
ISP核心110可被稱為影像處理引擎。影像處理引擎110可接收包括所述多個影像單元的影像資料IDT,且基於自命令佇列電路400依序提供的所述多個命令CMD依序處理所述多個影像單元。
如此一來,根據示例性實施例的影像訊號處理器100及影像處理系統1200可藉由以下方式來更高效地執行影像訊號處理器100與控制處理器200之間的通訊且增強影像訊號處理器100及影像處理系統1200的效能:預先將與所述多個影像單元對應的所述多個命令CMD儲存於命令佇列電路400中且基於所儲存的命令CMD執行影像處理。
中斷控制電路500可自命令佇列電路400接收中斷控制值且基於中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號。中斷控制電路500可基於輸出中斷事件訊號產生中斷訊號INT。將參照圖6至圖14進一步闡述中斷控制電路500的配置及操作的示例性實施例。
控制處理器200可控制影像訊號處理器100執行影像處理。控制處理器200可包括例如以下處理電路系統以例如對影像處理系統1200的軟體進行配置:硬體,包括邏輯電路;硬體/軟體組合,例如執行軟體的處理器;或其組合。控制處理器200可為中央處理單元(central processing unit,CPU)、微處理器、高階精簡指令集計算(Reduced instruction set computing,RISC)機器(Advanced RISC Machine,ARM)處理器、X86處理器、無內部互鎖流水級微處理器(microprocessor without interlocked pipeline stages,MIPS)處理器、圖形處理單元(graphics processing unit,GPU)、通用GPU及/或被配置成執行儲存於記憶體中的指令的另一處理器。控制處理器200可處理或執行資料以及包括影像訊號處理器100的執行演算法的指令代碼(或程式),以產生用於控制影像訊號處理器100的控制訊號CONS。
命令CMD可被認為包括於控制訊號CONS中或者與控制訊號CONS有所不同。控制訊號CONS可包括關於欲被應用於影像處理的影像品質的各種資訊、用於影像訊號處理器100的操作的設定值、其中儲存處理資料PDT的記憶體裝置300的位址等。一些資訊可包括於命令CMD中。
在與命令CMD對應的影像單元被輸入至影像處理引擎110之前,控制處理器200可將命令傳送至影像訊號處理器100,且在影像處理引擎110執行影像單元的影像處理之前,命令佇列電路400可預先儲存命令CMD。控制處理器200可基於自影像訊號處理器100提供的中斷訊號INT來執行中斷服務常式ISR。
記憶體裝置300可儲存自影像訊號處理器100接收的處理資料PDT且可將處理資料PDT提供至影像訊號處理器100、控制處理器200或系統1000。
記憶體裝置300可被實施為揮發性記憶體或非揮發性記憶體。揮發性記憶體的實例可包括動態隨機存取記憶體(dynamic random access memory,DRAM)、靜態隨機存取記憶體(static random access memory,SRAM)等,且非揮發性記憶體的實例可包括唯讀記憶體(read only memory,ROM)、可程式化ROM(programmable ROM,PROM)、電性可程式化ROM(electrically programmable ROM,EPROM)、電性可抹除可程式化ROM(electrically erasable and programmable ROM,EEPROM)、快閃記憶體、相變RAM(phase-change RAM,PRAM)、磁性RAM(magnetic RAM,MRAM)、電阻式RAM(resistive RAM,RRAM)、鐵電RAM(ferroelectric RAM,FRAM)等。
圖2是示出根據示例性實施例的影像訊號處理器的方塊圖。圖2詳細示出圖1所示影像訊號處理器100,且圖2中亦示出控制處理器200及記憶體裝置300。
參照圖2,影像訊號處理器100可包括ISP引擎110、命令佇列電路CQC 400、中斷控制電路ICC 500及/或直接記憶體存取(direct memory access,DMA)控制器130。ISP引擎110可包括控制器111及/或多個智慧財產(intellectual property,IP)區塊112。在圖2中,所述多個IP區塊112被示出為包括第一IP區塊11至第三IP區塊13(例如,IP_B1、IP_B2及IP_B3),但並非僅限於此且可包括二或更多個IP區塊。
控制器111可自控制處理器200接收控制訊號CONS且可基於控制訊號CONS控制影像訊號處理器100的整體操作。控制訊號CONS可包括命令CMD及各種設定資訊。控制器111可向所述多個IP區塊112或DMA控制器130提供設定資訊。
被設定為影像處理區塊的所述多個IP區塊112(例如,第一IP區塊11至第三IP區塊13)可執行影像處理,且第一IP區塊11至第三IP區塊13可執行不同的影像處理。在一些示例性實施例中,第一IP區塊11可對影像資料IDT的資料格式進行轉換,第二IP區塊12可調整亮度,且第三IP區塊13可調整對比度。第一IP區塊11至第三IP區塊13可依序對訊框執行影像處理。基於由第一IP區塊11至第三IP區塊13中的每一者進行的影像處理而獲得的影像處理完成訊框及/或結果資料(例如,經轉換影像資料)可儲存於記憶體裝置300中。所述多個IP區塊112可自控制器111及/或命令佇列電路400接收與經處理訊框對應的設定值且可基於設定值對對應的訊框執行影像處理。
DMA控制器130可將自第一IP區塊11至第三IP區塊13中的至少一者接收的處理資料PDT儲存於記憶體裝置300中。處理資料PDT可包括基於影像處理的結果資料及/或經轉換影像資料。在一些示例性實施例中,DMA控制器130可自控制器111及/或命令佇列電路400接收位址(或位址暫存器值)且可將處理資料PDT儲存於記憶體裝置300的與所述位址對應的儲存區域中。
命令佇列電路400可接收並儲存來自控制處理器200的多個命令CMD且依序逐個提供所述多個命令CMD。影像處理引擎110可接收包括所述多個影像單元(例如,影像訊框)的影像資料IDT且基於自命令佇列電路400依序提供的所述多個命令CMD依序處理所述多個影像單元。
中斷控制電路500可自命令佇列電路400接收中斷控制值且基於中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號。中斷控制電路500可基於輸出中斷事件訊號產生中斷訊號INT。另外,中斷控制電路500可基於中斷控制值及影像單元辨識符來產生中斷日誌資訊並儲存中斷日誌資訊。將參照圖6至圖14進一步闡述中斷控制電路500的配置及操作的示例性實施例。
圖3是示出根據示例性實施例的控制影像訊號處理器中的中斷的方法的流程圖。
參照圖1至圖3,影像訊號處理器100中的命令佇列電路400可接收並儲存包括與各多個影像單元對應的中斷控制值的多個命令CMD(S100)。所述多個命令可自控制處理器接收。
影像訊號處理器100中的ISP引擎110可基於自命令佇列電路500依序提供的所述多個命令CMD依序處理所述多個影像單元(S200)。
影像訊號處理器100中的中斷控制電路500可基於中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號及一或多個日誌中斷事件訊號(S300)。
中斷控制電路500可基於輸出中斷事件訊號產生中斷訊號INT(S400)。另外,中斷控制電路500可儲存關於日誌中斷事件訊號的啟用的中斷日誌資訊(S500)。
將參照圖6至圖14闡述確定輸出中斷事件訊號及日誌中斷事件訊號、產生中斷訊號INT並儲存中斷日誌資訊的示例性實施例。
圖4是示出根據示例性實施例的由影像訊號處理器接收的命令的示例性實施例的圖。
參照圖4,自控制處理器200傳送至影像訊號處理器100的命令CMD可包括至少中斷控制值ICV及影像單元辨識符UID。中斷控制值ICV及影像單元辨識符UID中的每一者可包括多個位元。
圖4僅示出用於闡述示例性實施例的資訊。各種資訊可包括於命令CMD中。控制處理器200可將命令CMD產生為包括多個欄位的封包。影像訊號處理器100可對呈封包形式的命令CMD進行剖析且將經解析的資訊儲存於命令佇列電路400中。
圖5是示出根據示例性實施例的由影像訊號處理器處理的影像單元的圖。
參照圖5,影像訊框IFM可包括排列成列及行的矩陣的多個畫素資料PX。圖1中的影像感測器1100可以影像訊框IFM為單位向影像訊號處理器100提供影像資料IDT。
影像訊號處理器100可以影像訊框IFM、影像條帶ISTR或影像拼合片ITL為單位對影像訊框IFM執行影像處理。換言之,本揭露中所提及的影像單元可為影像訊框IFM、影像條帶ISTR或影像拼合片ITL。儘管在圖1中未示出,然而影像訊號處理器100可包括儲存至少一個影像訊框IFM的訊框緩衝器且可依序處理自訊框緩衝器依序提供的多個影像單元。
圖6是示出根據示例性實施例的影像訊號處理器中所包括的中斷控制電路的示例性實施例的方塊圖。
參照圖6,中斷控制電路500可包括決策位元產生器600、輸出中斷控制電路OICC 700及/或日誌中斷控制電路LICC 800。
決策位元產生器600可包括輸出決策位元產生器ODBG 610及/或日誌決策位元產生器LDBG 620。輸出決策位元產生器610可基於中斷控制值ICV產生指示多個中斷事件訊號IEV之中的輸出中斷事件訊號的多個輸出決策位元ODB。日誌決策位元產生器620可基於中斷控制值ICV產生指示所述多個中斷事件訊號IEV之中的日誌中斷事件訊號的多個日誌決策位元LDB。
舉例而言,每一命令CMD中的中斷控制值ICV可包括p個位元,且所述多個中斷事件訊號IEV的數目可為n。輸出決策位元產生器610可基於中斷控制值ICV的所述p個位元之中的q個位元來產生所述n個輸出決策位元ODB。日誌決策位元產生器620可基於中斷控制值ICV的所述p個位元之中的r個位元來產生所述n個日誌決策位元LDB。所述n個輸出決策位元ODB及所述n個日誌決策位元LDB可一對一地對應於所述n個中斷事件訊號IEV。輸出決策位元ODB的每一位元值(0或1)可指示對應的中斷事件訊號是否被確定為輸出中斷事件訊號且日誌決策位元LDB的每一位元值(0或1)可指示對應的中斷事件訊號是否被確定為日誌中斷事件訊號。
在一些示例性實施例中,中斷控制值ICV的所述p個位元可被分組成與所述q個位元及所述r個位元對應的兩個群組。換言之,p等於q+r。在一些示例性實施例中,所述q個位元中的一些位元可與所述r個位元重疊。換言之,q+r可小於p。
在一些示例性實施例中,除中斷控制值ICV的所述r個位元之外,日誌決策位元產生器620可基於外部中斷控制值EICV的s個位元來確定所述多個日誌決策位元LDB。外部中斷控制值EICV可不包括於命令CMD中且可自控制處理器200即時(on the fly)提供。
如上所述,每一命令CMD可包括中斷控制值ICV及與每一影像單元對應的影像單元辨識符UID。據以,決策位元產生器600可基於與每一影像單元對應的中斷控制值ICV而針對當前由ISP引擎110處理的每一影像單元產生所述多個輸出決策位元ODB及所述多個日誌決策位元LDB。換言之,決策位元產生器600可針對當前被處理的每一影像單元確定輸出中斷事件訊號及日誌中斷事件訊號。
在一些示例性實施例中,日誌決策位元產生器620可接收所述多個中斷事件訊號IEV的至少一部分。在對應的影像被處理時,日誌決策位元產生器620可基於所接收的中斷事件訊號的啟用來改變日誌決策位元LDB的值。
如以下將參照圖7闡述,輸出中斷控制電路700可基於所述多個中斷事件訊號IEV及所述多個輸出決策位元ODB產生中斷訊號INT。如以下將參照圖8闡述,日誌中斷控制電路800可基於所述多個中斷事件訊號IEV及所述多個日誌決策位元LDB來儲存中斷日誌資訊ILINF。在一些示例性實施例中,日誌決策位元產生器620可基於所接收的中斷事件訊號的啟用來控制中斷日誌資訊ILINF的儲存。
圖7是示出圖6所示中斷控制電路中所包括的輸出中斷控制電路的示例性實施例的圖。
參照圖7,輸出中斷控制電路700可包括輸出中斷累積電路720及/或中斷產生器740。
輸出中斷累積電路720可基於所述多個中斷事件訊號IEV(即,第一中斷事件訊號IEV0至第n中斷事件訊號IEVn-1)及所述多個輸出決策位元(即,第一輸出決策位元A0至第n輸出決策位元An-1)來產生多個輸出狀態位元(即,指示輸出中斷事件訊號的啟用的第一輸出狀態位元B0至第n輸出狀態位元Bn-1)。中斷產生器740可基於第一輸出狀態位元B0至第n輸出狀態位元Bn-1產生中斷訊號INT。
輸出中斷累積電路720可包括輸出決策暫存器電路721、輸出比較電路722及/或輸出狀態暫存器電路723。
輸出決策暫存器電路721可儲存自決策位元產生器600提供的第一輸出決策位元A0至輸出決策位元An-1。輸出比較電路722可藉由對第一輸出決策位元A0至第n輸出決策位元An-1中的每一者與第一中斷事件訊號IEV0至第n中斷事件訊號IEVn-1中的每一者進行比較來產生第一輸出狀態位元B0至第n輸出狀態位元Bn-1中的每一者。輸出狀態暫存器電路723可儲存第一輸出狀態位元B0至第n輸出狀態位元Bn-1。輸出狀態暫存器電路723可基於自控制處理器200提供的外部重置訊號ECLR而被重置。
在一些示例性實施例中,中斷產生器740可自控制處理器200接收中斷賦能值。舉例而言,中斷賦能值可包括多個中斷賦能位元IEB(即,第一中斷賦能位元C0至第n中斷賦能位元Cn-1)。
中斷產生器740可基於第一中斷賦能位元C0至第n中斷賦能位元Cn-1確定輸出中斷事件訊號之中的一或多個賦能中斷事件訊號且基於賦能中斷事件訊號產生中斷訊號INT。
在一些示例性實施例中,中斷產生器740可包括賦能暫存器電路741及/或賦能比較電路742。
賦能暫存器電路741可儲存自控制處理器200提供的第一中斷賦能位元C0至第n中斷賦能位元Cn-1。賦能比較電路742可藉由對第一輸出狀態位元B0至第n輸出狀態位元Bn-1中的每一者與第一中斷賦能位元C0至第n中斷賦能位元Cn-1中的每一者進行比較來產生中斷訊號INT。
在一些示例性實施例中,如圖7中所示,輸出比較電路722可包括n個與閘(AND gate)。在一些示例性實施例中,在第一輸出決策位元A0至第n輸出決策位元An-1之中,與輸出中斷事件訊號對應的輸出決策位元可被設定成1,且其他輸出決策位元可被設定成0。與具有值1的輸出決策位元對應的中斷事件訊號可被確定為輸出中斷事件訊號。與具有值0的輸出決策位元對應的與閘可輸出值0,而不論對應的中斷事件訊號的邏輯位準如何(即,不論對應的中斷事件訊號的啟用如何)。換言之,與具有值0的輸出決策位元對應的與閘可執行掩蔽功能。在一些示例性實施例中,所有第一輸出狀態位元B0至第n輸出狀態位元Bn-1可被初始化成具有值0。
在一些示例性實施例中,如圖7中所示,賦能比較電路742可包括n個與閘及一個或閘(OR gate)。在一些示例性實施例中,在第一中斷賦能位元C0至第n中斷賦能位元Cn-1之中,與賦能中斷事件訊號對應的中斷賦能位元可被設定成1,且其他賦能決策位元可被設定成0。與具有值0的中斷賦能位元對應的與閘可輸出值0,而不論對應的輸出狀態位元的值如何。換言之,與具有值0的中斷賦能位元對應的與閘可執行掩蔽功能。或閘可對所述n個與閘的輸出執行或邏輯運算,以產生中斷訊號INT。
因此,當賦能中斷事件訊號中的至少一者被啟用時,輸出中斷控制電路700可啟用中斷訊號INT,而不論第一中斷事件訊號IEV0至第n中斷事件訊號IEVn-1之中的除賦能中斷事件訊號之外的其他中斷事件訊號的啟用如何。
在一些示例性實施例中,控制處理器200可不提供中斷賦能位元C0至Cn-1,且可省略賦能暫存器電路741。在一些示例性實施例中,可省略賦能比較電路742中的所述n個與閘。在一些示例性實施例中,或閘可對第一輸出狀態位元B0至第n輸出狀態位元Bn-1執行或邏輯運算,以產生中斷訊號INT。
圖8是示出圖6所示中斷控制電路中所包括的日誌中斷控制電路的示例性實施例的圖。
參照圖8,日誌中斷控制電路800可包括日誌中斷累積電路820及/或日誌儲存器840。
日誌中斷累積電路820可基於所述多個中斷事件訊號IEV(即,第一中斷事件訊號IEV0至第n中斷事件訊號IEVn-1)及所述多個日誌決策位元(即,第一日誌決策位元E0至第n日誌決策位元En-1)來產生多個日誌狀態位元(即,指示日誌中斷事件訊號的啟用的第一日誌狀態位元F0至第n日誌狀態位元Fn-1)。日誌儲存器840可儲存包括第一日誌狀態位元F0至第n日誌狀態位元Fn-1的中斷日誌資訊ILINF。如以下將闡述,日誌儲存器840可自命令佇列電路400接收影像單元辨識符UID且針對每一影像單元儲存包括單元影像辨識符UID的單元中斷資訊ILINF。
當儲存賦能訊號STEN被啟用時,日誌儲存器840可儲存與自日誌中斷累積電路820提供的一組第一日誌狀態位元F0至第n日誌狀態位元Fn-1及自命令佇列電路400提供的影像單元辨識符UID對應的單元中斷資訊作為中斷日誌資訊ILINF。在一些示例性實施例中,儲存賦能訊號STEN可自圖6中的決策位元產生器600得到證明。
日誌中斷累積電路820可包括日誌決策暫存器電路821、日誌比較電路822及/或日誌狀態暫存器電路823。
日誌決策暫存器電路821可儲存自決策位元產生器600提供的第一日誌決策位元E0至日誌決策位元En-1。日誌比較電路822可藉由對第一日誌決策位元E0至第n日誌決策位元En-1中的每一者與第一中斷事件訊號IEV0至第n中斷事件訊號IEVn-1中的每一者進行比較來產生第一日誌狀態位元F0至第n日誌狀態位元Fn-1中的每一者。日誌狀態暫存器電路823可儲存第一日誌狀態位元F0至第n日誌狀態位元Fn-1。日誌狀態暫存器電路823可基於重置訊號CLR而被重置。重置訊號CLR可在影像訊號處理器100中產生且可基於完成每一影像單元的影像處理的定時而被啟用。
在一些示例性實施例中,如圖8中所示,日誌比較電路822可包括n個與閘。在一些示例性實施例中,在第一日誌決策位元E0至第n日誌決策位元En-1之中,與日誌中斷事件訊號對應的日誌決策位元可被設定成1,且其他日誌決策位元可被設定成0。與具有值1的日誌決策位元對應的中斷事件訊號可被確定為日誌中斷事件訊號。與具有值0的日誌決策位元對應的與閘可輸出值0,而不論對應的中斷事件訊號的邏輯位準如何(即,不論對應的中斷事件訊號的啟用如何)。換言之,與具有值0的日誌決策位元對應的與閘可執行掩蔽功能。在一些示例性實施例中,所有第一日誌狀態位元F0至第n日誌狀態位元Fn-1可被初始化成具有值0。
圖9是示出根據示例性實施例的影像處理系統的操作的示例性實施例的時序圖,且圖10是示出根據圖9所示操作的中斷日誌資訊的圖。
在下文中,為便於例示及說明,基於所述多個中斷事件訊號IEV之中的第一中斷事件訊號IEV0至第四中斷事件訊號IEV3來闡述示例性實施例。
舉例而言,如圖8及圖10中所示,第一中斷事件訊號IEV0可在訊框開始事件發生時被啟用,第二中斷事件訊號IEV1可在訊框結束事件發生時被啟用,第三中斷事件訊號IEV2可在第一錯誤ERR1發生時被啟用,且第四中斷事件訊號IEV3可在第二錯誤ERR2發生時被啟用。
參照圖9,影像訊號處理器(image signal processor,ISP)可分別在第一處理週期TP0至第四處理週期TP3期間依序處理第一訊框IFM0至第四訊框IFM3。
如上所述,與第一訊框IFM0至第四訊框IFM3對應的第一命令CMD0至第四命令CMD3可在對應的訊框的影像處理開始之前作為控制訊號CONS自控制處理器200提供且被儲存於命令佇列電路400中。
圖9示出分別與第一訊框IFM0至第四訊框IFM3對應的輸出決策位元ODB、日誌決策位元LDB及影像單元辨識符UID的示例值。
如圖9中所示,訊框開始事件INT_S0至INT_S3及訊框結束事件INT_E0至INT_E3可分別發生於時間點t1至t8處。可根據所述多個輸出決策位元ODB的值來確定輸出中斷事件訊號,且可根據所述多個中斷事件訊號IEV之中的所述多個日誌決策位元LDB的值來確定日誌中斷事件訊號。
舉例而言,在第一處理週期TP0期間,與第一訊框IFM0對應的第一輸出決策位元至第四輸出決策位元的值「A3A2A1A0」可被確定為「0101」。換言之,與訊框開始事件對應的第一輸出決策位元A0及與第一錯誤ERR1對應的第三輸出決策位元A2可具有值1,且與訊框結束事件對應的第二輸出決策位元A1及與第二錯誤ERR2對應的第四輸出決策位元A3可具有值0。據以,第一中斷事件訊號IEV0及第三中斷事件訊號IVE2可對應於輸出中斷事件訊號。在圖9中,有助於中斷訊號INT的啟用的中斷事件使用黑色箭頭表示,且不影響中斷訊號INT的啟用(即,被掩蔽)的中斷事件使用白色箭頭表示。
舉例而言,在處理第三訊框IFM2時,可能會發生第一錯誤ERR1且可能會在時間點tr處發生第一錯誤事件INT_ERR1。儘管中斷事件INT_S0及INT_ERR1在時間點t1及tr處發生,然而根據控制處理器200的操作狀態可能會導致延遲,且中斷服務常式可能在時間點t1’及tr’處被執行。
如圖9中所示,儲存賦能訊號STEN可在與第一處理週期TP0至第四處理週期TP3的結束對應的時間點處被啟用。基於儲存賦能訊號STEN的啟用,與每一影像單元(例如,每一訊框)對應的單元中斷資訊可儲存於日誌儲存器840中,如圖10中所示。在與每一影像單元對應的單元中斷資訊被儲存之後,重置訊號CLR被啟用以將日誌狀態位元初始化成值0。
圖10示出與圖9中的時間點tr’對應的輸出狀態位元B0至B3、日誌狀態位元F0至F3及第一單元中斷資訊UINF1至第三單元中斷資訊UNIF2。如上所述,輸出狀態位元F0至F3儲存於輸出狀態暫存器電路723中,日誌狀態位元F0至F0可儲存於日誌狀態暫存器電路823中,且包括第一單元中斷資訊UNIF0至第三單元中斷資訊UINF2的中斷日誌資訊可儲存於日誌儲存器840中的多個儲存單元51至53中。
如圖10中所示,第一單元中斷資訊UINF1至第三單元中斷資訊UNIF2中的每一者可包括分別與第一訊框IFM0至第三訊框IFM2對應的影像單元辨識符UID以及日誌狀態位元F0至F3的值。
由於控制處理器200無法確定第一錯誤ERR1何時發生,因此若僅考慮輸出狀態位元B0至B0,則控制處理器200可丟棄第一訊框IFM0至第三訊框IFM2。相比之下,由於控制處理器200可確定在處理第三訊框IFM2時發生第一錯誤ERR1,因此若考慮中斷日誌資訊ILINF,則控制處理器200可僅丟棄第三訊框IFM2。
可藉由確定所述多個輸出決策位元ODB(例如(舉例而言),分別用於第一處理週期TP0至第四處理週期TP3中的每一者的第一輸出決策位元A0至第四輸出決策位元A3)來更高效地實施需要較高訊框速率(例如120每秒訊框數(frames per second,fps)、240每秒訊框數、480每秒訊框數等)的影像處理的各種操作模式(包括快速讀出(fast readout,FRO)模式)。
在傳統方案中,執行FRO模式使得中斷產生由N個訊框為單位來控制。在傳統的FRO模式中,影像訊號處理器包括對所述N個訊框進行計數的計數器,且藉由固定型樣的邏輯電路,在所述N個訊框中的第一訊框中容許訊框開始中斷,且在所述N個訊框中的最末訊框中容許訊框結束事件。在一些示例性實施例中,需要N組配置暫存器,此會增加系統開銷,且由於相同的設定值被應用於所述N個訊框,因此經處理資料的影像品質可能會劣化。另外,為在FRO模式與正常模式之間轉換,必須暫停影像訊號處理器的操作,且因此難以更高效地使用中斷歷史功能或中斷日誌功能。
即使在例如60每秒訊框數及120每秒訊框數等正常訊框速率的影像處理中,應用處理器(application processor,AP)中的中斷延遲偏差亦會增加。本技術可僅確定在檢查影像訊號處理器的中斷狀態時的時間點的累積錯誤,但不可分析錯誤的內容。
在不具有中斷歷史功能的情況下,無法確定經處理訊框之中哪一訊框具有錯誤且因此必須丟棄所有經處理訊框。另外,處置中斷的處理器對單位時間內可處理的最大中斷數目具有控制界限。需要同時處理的影像感測器的訊框速率及數目不斷增加。
根據示例性實施例,控制處理器200的軟體控制可被預留為儲存於命令佇列電路400中的命令CMD,且因此可更高效地控制中斷的記錄。FRO模式可被整合至較高訊框速率的正常模式中,且因此可使用系統開銷更高效地控制中斷的頻率。另外,中斷日誌對於所有操作模式、所有類型的影像單元(例如,影像訊框、影像條帶、影像拼合片等)皆是可能的且因此即使對中斷的處置被延遲,丟棄率亦可被降低。
圖11是示出根據示例性實施例的影像處理系統的操作的示例性實施例的時序圖,且圖12是示出根據圖11所示操作的中斷日誌資訊的圖。可省略與圖9及圖10重複的說明。
在圖9及圖10所示實例中,儲存賦能訊號STEN可在與第一處理週期TP0至第四處理週期TP3的結束對應的時間點t2、t4、t6及t8處被啟用。據以,日誌儲存器840可儲存第一訊框IFM0至第四訊框IFM3中所有訊框的單元中斷資訊。
相比之下,在圖11及圖12所示實例中,儲存賦能訊號STEN可僅在發生第一錯誤ERR1時在與第三處理週期TP2的結束對應的時間點t6處被啟用。因此,如圖12中所示,日誌儲存器840可僅儲存與第三訊框IFM2對應的單元中斷資訊UINF0。
如此一來,根據示例性實施例,中斷控制電路500可基於所述多個中斷事件訊號IEV之中的日誌中斷事件訊號的一部分的啟用來判斷是否儲存單元中斷資訊。
圖13是示出圖6所示中斷控制電路中所包括的命令佇列電路的示例性實施例的圖,圖14是示出根據示例性實施例的影像處理系統的操作的示例性實施例的時序圖,且圖15是示出根據圖14所示操作的中斷日誌資訊的圖。可省略與圖9及圖10重複的說明。
參照圖13,命令佇列電路400可包括儲存相對較高優先權的命令的第一命令佇列CQA、儲存相對低的優先權的命令的第二佇列CQB及仲裁器410。
參照圖14,影像訊號處理器(ISP)可在第一處理週期TP0至第五處理週期TP4期間分別處理與低優先權對應的第一流的第一訊框IFM0_A至第四訊框IFM3_A及與較高優先權對應的第二流的訊框IFM0_B。
如上所述,與第一訊框IFM0_A至第四訊框IFM3_A對應的第一命令CMD0至第四命令CMD3可在對應的訊框的影像處理開始之前作為控制訊號CONS自控制處理器200提供且被儲存於命令佇列電路400中。圖13的左部部分示出命令佇列電路400在時間點t1處的狀態,使得第一命令CMD0_A至第四命令CMD3_A儲存於第一佇列CQA中。
舉例而言,可在時間點ta處自控制處理器200接收與第二訊框的訊框IFM0_B對應的第五命令CMD0_B且將第五命令CMD0_B儲存於命令佇列電路400中。圖13的右部部分示出命令佇列電路400在時間點t5處的狀態,使得第三訊框CMD2_A及第四訊框CMD3_A儲存於第一佇列CQA中且使得第五命令CMD0_B儲存於第二佇列CQB中。
命令佇列電路400的仲裁器410可在低優先權的第三命令CMD2_A之前提供較高優先權的第五命令CMD_B。因此,具有較高優先權的第二流的訊框IFM)_B可在第三處理週期TP2期間被處理,且然後第一訊框的第三訊框IFM2_A及第四訊框IFM3_A可在第四處理週期TP3及第五處理週期TP4期間被依序處理,如圖14中所示。
如圖14中所示,訊框開始事件INT_S0至INT_S4及訊框結束事件INT_E0至INT_E4可分別發生於時間點t1至t10處。可根據所述多個輸出決策位元ODB的值來確定輸出中斷事件訊號,且可根據所述多個中斷事件訊號IEV之中的所述多個日誌決策位元LDB的值來確定日誌中斷事件訊號。
舉例而言,在第三處理週期TP2期間,與第二流的訊框IFM0_B對應的第一輸出決策位元至第四輸出決策位元的值「A3A2A1A0」可被確定為「0111」。換言之,與訊框開始事件對應的第一輸出決策位元A0、與訊框結束事件對應的第二輸出決策位元A1及與第一錯誤ERR1對應的第三輸出決策位元A2可具有值1,且與第二錯誤ERR2對應的第四輸出決策位元A3可具有值0。據以,第一中斷事件訊號IEV0至第三中斷事件訊號IEV2可對應於第三處理週期TP2期間的輸出中斷事件訊號。在圖14中,有助於中斷訊號INT的啟用的中斷事件使用黑色箭頭表示,且不影響中斷訊號INT的啟用的中斷事件(即,被掩蔽)使用白色箭頭表示。
舉例而言,在處理第三訊框IFM2_A時,可能會發生第一錯誤ERR1且可能會在時間點tr處發生第一錯誤事件INT_ERR1。儘管中斷事件INT_S2、INT_E2及INT_ERR1發生於時間點t5、t6及tr處,然而根據控制處理器200的操作狀態可能會導致延遲且中斷服務常式可能會在時間點t1’及t5’處被執行。
如圖14中所示,儲存賦能訊號STEN可在與第一處理週期TP0至第五處理週期TP4的結束對應的時間點處被啟用。基於儲存賦能訊號STEN的啟用,與每一影像單元(例如,每一訊框)對應的單元中斷資訊可儲存於日誌儲存器840中,如圖15中所示。在與每一影像單元對應的單元中斷資訊被儲存之後,重置訊號CLR被啟用以將日誌狀態位元初始化成值0。
圖15示出與圖14中的時間點t5’對應的第一單元中斷資訊UINF1至第四單元中斷資訊UNIF3。包括第一單元中斷資訊UNIF0至第四單元中斷資訊UINF3的中斷日誌資訊可儲存於日誌儲存器840中的多個儲存單元51至54中。
如圖15中所示,第一單元中斷資訊UINF1至第四單元中斷資訊UNIF3中的每一者可包括分別與第一流的第一訊框IFM0_A至第三訊框IFM2_A及第二流的訊框IFM0_B對應的影像單元辨識符UID以及日誌狀態位元F0至F3的值。
由於控制處理器200無法確定第一錯誤ERR1何時發生,因此若僅考慮輸出狀態位元B0至B0,則控制處理器200可丟棄訊框IFM0_A至IFM2_A及IFM0_B。相比之下,由於控制處理器200可確定在處理第三訊框IFM2_A時發生第一錯誤ERR1,因此控制處理器200可參照中斷日誌資訊ILINF僅丟棄第一流的第三訊框IFM2_A。
可藉由確定所述多個輸出決策位元ODB(例如(舉例而言),分別用於第一處理週期TP0至第四處理週期TP3中的每一者的第一輸出決策位元A0至第四輸出決策位元A3)來更高效地實施需要較高訊框速率(例如120每秒訊框數、240每秒訊框數、480每秒訊框數等)的影像處理的各種操作模式(包括快速讀出(FRO)模式)。
如此一來,根據示例性實施例,即使在多流處理的情形中,亦可輕易地解釋中斷歷史且可更高效地使用有限的儲存空間。
圖16是示出根據示例性實施例的影像訊號處理器的方塊圖。
圖16所示影像訊號處理器100c可包括ISP引擎110c、FRO電路120、第一DMA控制器140及/或第二DMA控制器150。ISP引擎110c可包括控制器111c、多個IP區塊112c及/或後處理區塊113c。
圖16所示影像訊號處理器100c的配置及操作相似於圖2所示影像訊號處理器100的配置及操作。因此,將主要闡述不同之處。
參照圖16,ISP引擎110c中所包括的後處理區塊113c可對由各多個IP區塊112c產生的經轉換影像資料執行後處理。舉例而言,後處理區塊113c可包括定標器(scaler)、聯合照相編碼專家群(joint photographic coding experts group,JPEG)電路等。
各所述多個IP區塊112c可將經轉換影像資料直接發射至後處理區塊113c,或者可經由第一DMA控制器140將經轉換影像資料儲存於記憶體裝置300中。
後處理區塊113c可自各所述多個IP區塊112c接收經轉換影像資料,或者可經由第二DMA控制器150接收儲存於記憶體裝置300中的經轉換影像資料。後處理區塊113c可經由第二DMA控制器150將經後處理影像資料IDT′儲存於記憶體裝置300中,或者可將經後處理影像資料IDT′輸出至影像處理裝置(圖1所示1000)中所包括的其他元件(例如,顯示器)。
圖17及圖18是示出根據示例性實施例的影像處理系統的方塊圖。
參照圖17,影像處理系統20可包括主處理器210、ROM 220、RAM 230、影像訊號處理器(ISP)240、非揮發性記憶體介面250、照相機介面260、記憶體介面270及/或顯示器介面280。影像處理系統20的元件(例如,主處理器210、ROM 220、RAM 230、影像訊號處理器240、非揮發性記憶體介面250、照相機介面260、記憶體介面270及顯示器介面280)可經由系統匯流排290發射或接收資料。在一些示例性實施例中,影像處理系統20可被實施為系統晶片(system-on chip,SoC)。在一些示例性實施例中,影像處理系統20可為應用處理器。
主處理器210可控制影像處理系統20的整體操作。主處理器210可使用例如CPU、微處理器、ARM處理器、X86處理器或MIPS處理器來實施。根據一些示例性實施例,主處理器210可使用包括二或更多個獨立處理器(或核心)的一個計算組件(例如,多核心處理器)來實施。主處理器210可處理或執行各自儲存於ROM 220或RAM 230中的資料及指令代碼(或程式)。
ROM 220可儲存連續使用的程式及/或資料。ROM 220可被實施為EPROM或EEPROM。
RAM 230可臨時儲存程式、資料及/或指令。根據一些示例性實施例,RAM 230可被實施為DRAM或SRAM。RAM 230可臨時儲存經由介面250至280輸入/輸出的或者藉由影像訊號處理器240的影像處理產生的影像資料。
非揮發性記憶體介面250可對自非揮發性記憶體裝置255輸入的資料或者輸出至非揮發性記憶體裝置255的資料進行介接。非揮發性記憶體裝置255可使用例如記憶體卡(例如,多媒體卡(multi-media card,MMC)、嵌入式多媒體卡(embedded multi-media card,eMMC)、安全數位(secure digital,SD)卡或微型SD卡)來實施。
照相機介面260可對自設置於影像處理系統20之外的照相機265輸入的影像資料(例如,原始影像資料)進行介接。照相機265可產生與使用多個光感測裝置捕獲的影像對應的資料。經由照相機介面260接收的影像資料可被提供至影像訊號處理器240,或者可經由記憶體介面270被儲存於記憶體275中。
記憶體介面270可對自記憶體275輸入的資料或者輸出至記憶體275的資料進行介接。根據一些示例性實施例,記憶體275可被實施為揮發性記憶體(例如DRAM或SRAM)或者非揮發性記憶體(例如ReRAM、PRAM或反及閘(NAND)快閃)。
顯示器介面280可對輸出至顯示器裝置285的資料(例如,影像資料)進行介接。顯示器裝置285可經由例如液晶顯示器(liquid crystal display,LCD)或主動矩陣有機發光二極體(active matrix organic light emitting diode,AMOLED)等顯示器輸出基於影像資料的影像訊號。
影像訊號處理器240可對自照相機265提供的影像資料執行影像處理,以產生經轉換影像資料且可將經轉換影像資料儲存於記憶體275中,或者可對經轉換影像資料進行定標,以向顯示器裝置285提供經定標的影像。
參照圖1至圖16闡述的控制處理器及影像訊號處理器可分別應用於圖17所示主處理器210及影像訊號處理器240。在較高速度操作模式下,主處理器210可向影像訊號處理器240傳送多個命令,且影像訊號處理器240可基於每一命令中所包括的中斷控制值及影像單元辨識符來產生中斷訊號。因此,即使在較高速度操作模式下,影像訊號處理器240亦可更高效地正常執行影像處理且控制中斷。
參照圖18,影像處理系統30可包括CPU 310、ROM 320、後處理區塊330、感測器介面340、ISP核心350、包括如上所述的命令佇列電路CQC及中斷控制電路ICC的電路360及/或DMA控制器370。CPU 310、ROM 320、後處理區塊330、感測器介面340、ISP核心350、FRO電路360及/或DMA控制器370可經由系統匯流排380發射或接收資料。
CPU 310可控制影像處理系統30的整體操作,且可處理或執行儲存於ROM 320中的程式,以控制影像處理操作。
ROM 320可儲存包括影像處理演算法的資料及/或指令代碼(例如,程式)。
後處理區塊330可對ISP核心350產生的經轉換影像資料執行後處理(例如,調整資料的大小或壓縮資料)。經後處理影像資料可經由DMA控制器370儲存於記憶體375中。
在一些示例性實施例中,影像處理系統30可更包括顯示器介面,且可經由顯示器介面將經後處理影像資料提供至顯示器裝置。作為另一選擇,儲存於記憶體375中的影像資料可經由DMA控制器370讀取,且可經由顯示器介面提供至顯示器裝置。
感測器介面340可與影像感測器345進行通訊,且可自影像感測器345接收影像資料(例如,原始影像資料)。
圖19是示出根據示例性實施例的系統的方塊圖。
參照圖19,根據一些示例性實施例的影像處理裝置2000可包括應用處理器(AP)2100、影像感測器2200、顯示器裝置2400、工作記憶體2500、儲存器2600、使用者介面2700及/或無線收發器2800,且應用處理器2100可包括影像訊號處理器(ISP)2300。圖1所示影像訊號處理器100可被應用為影像訊號處理器2300。在一些示例性實施例中,影像訊號處理器100可被實施為獨立於應用處理器2100的單獨的積體電路。
應用處理器2100可控制影像處理裝置2000的整體操作,且可作為驅動應用程式及作業系統(operating system,OS)的SoC來提供。
應用處理器2100可控制影像訊號處理器2300的操作且可將由影像訊號處理器2300產生的經轉換影像資料提供至顯示器裝置2400或儲存於儲存器2600中。
影像感測器2200可基於所接收光訊號產生影像資料(例如,原始影像資料)且可將影像資料提供至影像訊號處理器2300。
以上參照圖1至圖16闡述的影像訊號處理器100可應用於影像訊號處理器2300。影像訊號處理器2300可自AP 2100中的處理器接收多個命令,且執行與所述多個命令對應的多個影像單元的影像處理且執行如上所述的中斷控制。
工作記憶體2500可被實施為揮發性記憶體(例如DRAM或SRAM)或者非揮發性電阻式記憶體(例如FeRAM、RRAM或PRAM)。工作記憶體2500可儲存各自由應用處理器2100處理或執行的程式及/或資料。
儲存器2600可被實施為非揮發性記憶體裝置(例如反及閘快閃或電阻式記憶體)且例如可被提供為記憶體卡(例如,MMC、eMMC、SD或微型SD)。儲存器2600可儲存與用於控制影像訊號處理器2300的影像處理操作的執行演算法對應的資料及/或程式,且當執行影像處理操作時,資料及/或程式可被加載至工作記憶體2500中。在一些示例性實施例中,儲存器2600可儲存由影像訊號處理器2300產生的影像資料(例如,經轉換影像資料或經後處理影像資料)。
使用者介面2700可使用用於接收使用者輸入的各種裝置(例如鍵盤、簾幕式鍵面板(curtain key panel)、觸控面板、指紋感測器及麥克風)來實施。使用者介面2700可接收使用者輸入且可向應用處理器2100提供與所接收的使用者輸入對應的訊號。
無線收發器2800可包括收發器2810、數據機(modem)2820及天線2830。
如上所述,根據示例性實施例的影像訊號處理器及影像處理系統可藉由以下方式來更高效地執行影像訊號處理器與控制處理器之間的通訊及/或增強影像訊號處理器及影像處理系統的效能:預先將與所述多個影像單元對應的所述多個命令儲存於命令佇列電路中且基於所儲存的命令執行影像處理。
可藉由基於命令中所包括的中斷控制值確定用於為每一影像單元產生中斷訊號的條件來進一步增強效能。此外,可藉由基於中斷控制值確定欲監控的日誌中斷事件訊號並儲存包括影像單元辨識符的中斷日誌資訊來更高效地執行錯誤的復原過程。
示例性實施例可應用於任何電子裝置及系統。舉例而言,本發明概念可應用於例如以下系統:記憶體卡、固態驅動機(solid state drive,SSD)、嵌入式多媒體卡(eMMC)、通用快閃儲存器(universal flash storage,UFS)、行動電話、智慧型電話、個人數位助理(PDA)、可攜式多媒體播放機(PMP)、數位照相機、攝錄像機(camcorder)、個人電腦(PC)、伺服器電腦、工作站、膝上型電腦、數位電視、機上盒(set-top box)、可攜式遊戲機、導航系統、可穿戴裝置、物聯網(IoT)裝置、萬物聯網(internet of everything,IoE)裝置、電子書、虛擬實境(virtual reality,VR)裝置、擴增實境(augmented reality,AR)裝置等。
以上揭露的元件中的一或多者可包括或實施於例如以下一或多個處理電路系統中:硬體,包括邏輯電路;硬體/軟體組合,例如執行軟體的處理器;或其組合。舉例而言,更具體而言,處理電路系統可包括但不限於中央處理單元(CPU)、算術邏輯單元(arithmetic logic unit,ALU)、數位訊號處理器、微型電腦、現場可程式化閘陣列(field programmable gate array,FPGA)、系統晶片(SoC)、可程式化邏輯單元、微處理器、特殊應用積體電路(application-specific integrated circuit,ASIC)等。
前述內容是示例性實施例的例示且不應被視為對其的限制。儘管已闡述幾個示例性實施例,然而熟習此項技術者將容易地理解,在示例性實施例中,在本質上不背離本發明概念的條件下可進行許多修改。
11、IP_B1:第一IP區塊 12、IP_B2:第二IP區塊 13、IP_B3:第三IP區塊 20、30、1200:影像處理系統 51、52、53、54:儲存單元 100、100c、240、2300:影像訊號處理器(ISP) 110:影像訊號處理(ISP)核心/影像處理引擎/ISP引擎 110c:ISP引擎 111、111c:控制器 112、112c:智慧財產(IP)區塊 113c、330:後處理區塊 120:FRO電路 130:直接記憶體存取(DMA)控制器 140:第一DMA控制器 150:第二DMA控制器 200:控制處理器 210:主處理器 220、320:唯讀記憶體(ROM) 230:隨機存取記憶體(RAM) 250:非揮發性記憶體介面/介面 255:非揮發性記憶體裝置 260:照相機介面/介面 265:照相機 270:記憶體介面/介面 275、375:記憶體 280:顯示器介面/介面 285、2400:顯示器裝置 290:系統匯流排 300:記憶體裝置 310:中央處理單元(CPU) 340:感測器介面 345、1100、2200:影像感測器 350:ISP核心 360:FRO電路/電路 370:DMA控制器 380:系統匯流排 400、CQC:命令佇列電路 410:仲裁器 500、ICC:中斷控制電路 600:決策位元產生器 610、ODBG:輸出決策位元產生器 620、LDBG:日誌決策位元產生器 700、OICC:輸出中斷控制電路 720:輸出中斷累積電路 721:輸出決策暫存器電路 722:輸出比較電路 723:輸出狀態暫存器電路 740:中斷產生器 741:賦能暫存器電路 742:賦能比較電路 800、LICC:日誌中斷控制電路 820:日誌中斷累積電路 821:日誌決策暫存器電路 822:日誌比較電路 823:日誌狀態暫存器電路 840:日誌儲存器 1000:系統 2000:影像處理裝置 2100:應用處理器(AP) 2500:工作記憶體 2600:儲存器 2700:使用者介面 2800:無線收發器 2810:收發器 2820:數據機 2830:天線 A0:第一輸出決策位元 A1:第二輸出決策位元 A2:第三輸出決策位元 A3:第四輸出決策位元 An-2:第n-1輸出決策位元 An-1:第n輸出決策位元 B0:第一輸出狀態位元/輸出狀態位元 B1:第二輸出狀態位元/輸出狀態位元 B2:第三輸出狀態位元/輸出狀態位元 B3:第四輸出狀態位元/輸出狀態位元 Bn-2:第n-1輸出狀態位元 Bn-1:第n輸出狀態位元 C0:第一中斷賦能位元/中斷賦能位元 C1:第二中斷賦能位元/中斷賦能位元 C2:第三中斷賦能位元/中斷賦能位元 C3:第四中斷賦能位元/中斷賦能位元 Cn-2:第n-1中斷賦能位元/中斷賦能位元 Cn-1:第n中斷賦能位元/中斷賦能位元 CLR:重置訊號 CMD:命令 CMD0、CMD0_A:第一命令 CMD1、CMD1_A:第二命令 CMD2、CMD2_A:第三命令 CMD3、CMD3_A:第四命令 CMD0_B:第五命令 CONS:控制訊號 CQA:第一佇列/第一命令佇列 CQB:第二佇列 E0:第一日誌決策位元 E1:第二日誌決策位元 E2:第三日誌決策位元 E3:第四日誌決策位元 En-2:第n-1日誌決策位元 En-1:第n日誌決策位元 ECLR:外部重置訊號 EICV:外部中斷控制值 ERR1:第一錯誤 ERR2:第二錯誤 F0:第一日誌狀態位元/日誌狀態位元 F1:第二日誌狀態位元/日誌狀態位元 F2:第三日誌狀態位元/日誌狀態位元 F3:第四日誌狀態位元/日誌狀態位元 Fn-2:第n-1日誌狀態位元 Fn-1:第n日誌狀態位元 ICV:中斷控制值 IDT:影像資料 IDT′:經後處理影像資料 IEB:中斷賦能位元 IEV:中斷事件訊號 IEV0:第一中斷事件訊號 IEV1:第二中斷事件訊號 IEV2:第三中斷事件訊號 IEV3:第四中斷事件訊號 IEVn-2:第n-1中斷事件訊號 IEVn-1:第n中斷事件訊號 IFM:影像訊框 IFM0:第一訊框 IFM0_A:第一訊框/訊框 IFM0_B:訊框 IFM1:第二訊框 IFM1_A:第二訊框/訊框 IFM2:第三訊框 IFM2_A:第三訊框/訊框 IFM3、IFM3_A:第四訊框 ILINF:中斷日誌資訊/單元中斷資訊 INT:中斷訊號 INT_E0、INT_E1、INT_E3、INT_E4:訊框結束事件 INT_E2:訊框結束事件/中斷事件 INT_ERR1:第一錯誤事件/中斷事件 INT_S0、INT_S2:訊框開始事件/中斷事件 INT_S1、INT_S3、INT_S4:訊框開始事件 ISTR:影像條帶 ITL:影像拼合片 LDB:日誌決策位元 LS:光學透鏡 ODB:輸出決策位元 PDT:處理資料 PX:畫素資料 S100、S200、S300、S400、S500:步驟 STEN:儲存賦能訊號 TP0:第一處理週期 TP1:第二處理週期 TP2:第三處理週期 TP3:第四處理週期 TP4:第五處理週期 t1、t1’、t2、t3、t4、t5、t5’、t6、t7、t8、t9、t10、ta、tr、tr’:時間點 UID:影像單元辨識符/單元影像辨識符 UINF0:第一單元中斷資訊/單元中斷資訊 UINF1:第二單元中斷資訊 UINF2:第三單元中斷資訊 UINF3:第四單元中斷資訊
結合附圖閱讀以下詳細說明,將更清楚地理解本揭露的示例性實施例。 圖1是示出根據示例性實施例的系統的方塊圖。 圖2是示出根據示例性實施例的影像訊號處理器的方塊圖。 圖3是示出根據示例性實施例的控制影像訊號處理器中的中斷的方法的流程圖。 圖4是示出根據示例性實施例的由影像訊號處理器接收的命令的示例性實施例的圖。 圖5是示出根據示例性實施例的由影像訊號處理器處理的影像單元的圖。 圖6是示出根據示例性實施例的影像訊號處理器中所包括的中斷控制電路的示例性實施例的方塊圖。 圖7是示出圖6所示中斷控制電路中所包括的輸出中斷控制電路的示例性實施例的圖。 圖8是示出圖6所示中斷控制電路中所包括的日誌中斷控制電路的示例性實施例的圖。 圖9是示出根據示例性實施例的影像處理系統的操作的示例性實施例的時序圖。 圖10是示出根據圖9所示操作的中斷日誌資訊的圖。 圖11是示出根據示例性實施例的影像處理系統的操作的示例性實施例的時序圖。 圖12是示出根據圖11所示操作的中斷日誌資訊的圖。 圖13是示出圖6所示中斷控制電路中所包括的命令佇列電路的示例性實施例的圖。 圖14是示出根據示例性實施例的影像處理系統的操作的示例性實施例的時序圖。 圖15是示出根據圖14所示操作的中斷日誌資訊的圖。 圖16是示出根據示例性實施例的影像訊號處理器的方塊圖。 圖17及圖18是示出根據示例性實施例的影像處理系統的方塊圖。 圖19是示出根據示例性實施例的系統的方塊圖。
100:影像訊號處理器(ISP)
110:影像訊號處理(ISP)核心/影像處理引擎/ISP引擎
200:控制處理器
300:記憶體裝置
400、CQC:命令佇列電路
500、ICC:中斷控制電路
1000:系統
1100:影像感測器
1200:影像處理系統
CMD:命令
CONS:控制訊號
IDT:影像資料
INT:中斷訊號
LS:光學透鏡
PDT:處理資料

Claims (10)

  1. 一種影像訊號處理器,包括: 命令佇列電路,被配置成儲存多個命令且依序逐個提供所述多個命令,所述多個命令中的每一命令包括與多個影像單元中的每一影像單元對應的中斷控制值,所述多個命令是自控制處理器接收; 影像處理引擎,被配置成接收所述多個影像單元且基於自所述命令佇列電路依序提供的所述多個命令依序處理所述多個影像單元;以及 中斷控制電路,被配置成自所述命令佇列電路接收所述中斷控制值,基於所述中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號,且基於所述多個輸出中斷事件訊號產生中斷訊號。
  2. 如請求項1所述的影像訊號處理器,其中所述中斷控制電路被配置成基於每一命令中所包括的所述中斷控制值來針對每一影像單元確定所述多個輸出中斷事件訊號。
  3. 如請求項1所述的影像訊號處理器,其中所述中斷控制電路被配置成; 基於所述中斷控制值確定所述多個中斷事件訊號之中的一或多個日誌中斷事件訊號;以及 儲存關於所述多個日誌中斷事件訊號的啟用的中斷日誌資訊,且 其中所述中斷控制電路被配置成在每一影像單元被處理成儲存與每一影像單元對應的單元中斷資訊時累積所述多個日誌中斷事件訊號的啟用。
  4. 如請求項3所述的影像訊號處理器,其中每一命令更包括指示每一影像單元的影像單元辨識符,且 其中所述中斷控制電路被配置成: 自所述命令佇列電路接收所述影像單元辨識符;以及 儲存包括所述單元影像辨識符的所述單元中斷資訊。
  5. 如請求項1所述的影像訊號處理器,其中所述中斷控制電路包括: 決策位元產生器,被配置成基於所述中斷控制值產生指示所述多個輸出中斷事件訊號的多個輸出決策位元; 輸出中斷累積電路,被配置成基於所述多個中斷事件訊號及所述多個輸出決策位元來產生指示所述多個輸出中斷事件訊號的啟用的多個輸出狀態位元;以及 中斷產生器,被配置成基於所述多個輸出狀態位元產生所述中斷訊號。
  6. 如請求項5所述的影像訊號處理器,其中所述輸出中斷累積電路包括: 輸出決策暫存器電路,被配置成儲存自所述決策位元產生器提供的所述多個輸出決策位元; 輸出比較電路,被配置成藉由對各所述多個輸出決策位元與各所述多個中斷事件訊號進行比較來產生各所述多個輸出狀態位元;以及 輸出狀態暫存器電路,被配置成儲存所述多個輸出狀態位元。
  7. 如請求項5所述的影像訊號處理器,其中所述決策位元產生器被配置成基於所述中斷控制值進一步產生指示所述多個中斷事件訊號之中的一或多個日誌中斷事件訊號的多個日誌決策位元,且 其中所述中斷控制電路更包括: 日誌中斷累積電路,被配置成基於所述多個中斷事件訊號及所述多個日誌決策位元來產生指示所述多個日誌中斷事件訊號的啟用的多個日誌狀態位元;以及 日誌儲存器,被配置成儲存包括所述多個日誌狀態位元的中斷日誌資訊。
  8. 如請求項7所述的影像訊號處理器,其中每一命令更包括指示每一影像單元的影像單元辨識符,且 其中所述日誌儲存器被配置成: 自所述命令佇列電路接收所述影像單元辨識符;以及 針對每一影像單元儲存包括所述單元影像辨識符的單元中斷資訊。
  9. 如請求項7所述的影像訊號處理器,其中所述日誌中斷累積電路包括: 日誌決策暫存器電路,被配置成儲存自所述決策位元產生器提供的所述多個日誌決策位元; 日誌比較電路,被配置成藉由對各所述多個日誌決策位元與各所述多個中斷事件訊號進行比較來產生各多個日誌狀態位元;以及 日誌狀態暫存器電路,被配置成儲存所述多個日誌狀態位元。
  10. 一種影像處理系統,包括: 控制處理器,被配置成基於中斷訊號產生多個命令且執行中斷服務常式,所述多個命令中的每一命令包括與多個影像單元中的每一影像單元對應的中斷控制值;以及 影像訊號處理器,被配置成處理所述多個影像單元且產生所述中斷訊號,所述影像訊號處理器包括: 命令佇列電路,被配置成儲存所述多個命令且依序逐個提供所述多個命令,每一命令包括與每一影像單元對應的中斷控制值; 影像處理引擎,被配置成接收所述多個影像單元且基於自所述命令佇列電路依序提供的所述多個命令依序處理所述多個影像單元;以及 中斷控制電路,被配置成自所述命令佇列電路接收所述中斷控制值,基於所述中斷控制值確定多個中斷事件訊號之中的一或多個輸出中斷事件訊號,且基於所述多個輸出中斷事件訊號產生中斷訊號。
TW111107646A 2021-06-17 2022-03-03 影像訊號處理器以及影像處理系統 TW202301137A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0078615 2021-06-17
KR1020210078615A KR20220168742A (ko) 2021-06-17 2021-06-17 인터럽트 제어를 수행하는 이미지 신호 프로세서 및 이미지 처리 시스템

Publications (1)

Publication Number Publication Date
TW202301137A true TW202301137A (zh) 2023-01-01

Family

ID=84489693

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111107646A TW202301137A (zh) 2021-06-17 2022-03-03 影像訊號處理器以及影像處理系統

Country Status (3)

Country Link
US (1) US11924537B2 (zh)
KR (1) KR20220168742A (zh)
TW (1) TW202301137A (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218052B2 (en) 2003-03-07 2012-07-10 Iconix Video, Inc. High frame rate high definition imaging system and method
US7533201B2 (en) 2006-12-26 2009-05-12 Intel Corporation Queue management mechanism in network processor wherein packets stored at memory device corresponds to addresses stored in plurity of queues within queue management
US8692873B2 (en) 2009-01-15 2014-04-08 Alverix, Inc. Video-frame data receiver with low frame capture rate
US8629913B2 (en) 2010-09-30 2014-01-14 Apple Inc. Overflow control techniques for image signal processing
US9043521B2 (en) * 2012-11-13 2015-05-26 Intel Corporation Technique for communicating interrupts in a computer system
JP6203515B2 (ja) 2013-03-29 2017-09-27 株式会社メガチップス 画像処理装置
JP2014230159A (ja) 2013-05-23 2014-12-08 株式会社メガチップス 画像処理装置
KR102442921B1 (ko) * 2017-12-11 2022-09-13 삼성전자주식회사 디지털 시그널 프로세서(dsp)의 태스크 관리 효율을 높일 수 있는 전자 장치
JP6733106B2 (ja) * 2018-06-12 2020-07-29 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、移動体、決定方法、及びプログラム
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
US11109017B2 (en) 2018-09-12 2021-08-31 Semiconductor Components Industries, Llc Systems and methods for fault detection in image sensor processors
KR20200141338A (ko) 2019-06-10 2020-12-18 삼성전자주식회사 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템

Also Published As

Publication number Publication date
US11924537B2 (en) 2024-03-05
KR20220168742A (ko) 2022-12-26
US20220408001A1 (en) 2022-12-22

Similar Documents

Publication Publication Date Title
US20200234124A1 (en) Winograd transform convolution operations for neural networks
US7714870B2 (en) Apparatus and method for selectable hardware accelerators in a data driven architecture
JP4344383B2 (ja) データ駆動型アーキテクチャを有する画像信号プロセッサでの使用のためのメモリコマンドハンドラ
TWI757637B (zh) 影像信號處理器、其操作方法以及應用處理器
US20110242115A1 (en) Method for performing image signal processing with aid of a graphics processing unit, and associated apparatus
TW201519650A (zh) 串流中捲動快門補償
US20110173416A1 (en) Data processing device and parallel processing unit
US11538142B2 (en) Image signal processor, operating method thereof, and image processing system including the image signal processor
US10877811B1 (en) Scheduler for vector processing operator allocation
US20200210351A1 (en) Image processing accelerator
US11775809B2 (en) Image processing apparatus, imaging apparatus, image processing method, non-transitory computer-readable storage medium
TW202301137A (zh) 影像訊號處理器以及影像處理系統
TWI681361B (zh) 應用程式處理器、系統以及資料處理系統
CN111746400B (zh) 倒车冷启动影像快速显示方法、计算机装置及计算机可读存储介质
US8134562B2 (en) Method for assisting in data calculation by using display card
US11216307B1 (en) Scheduler for vector processing operator readiness
US20040103229A1 (en) Bus management techniques
CN111027682A (zh) 神经网络处理器、电子设备及数据处理方法
WO2022241701A1 (zh) 一种图像处理方法及装置
JP5358315B2 (ja) 並列計算装置
US20240111686A1 (en) Application processor, system-on-a-chip and method of operation thereof
JP2011022877A (ja) 情報処理装置および方法
JP2001111912A (ja) 割り込み処理方法及びプロセッサ装置