TWI757637B - 影像信號處理器、其操作方法以及應用處理器 - Google Patents

影像信號處理器、其操作方法以及應用處理器 Download PDF

Info

Publication number
TWI757637B
TWI757637B TW108133887A TW108133887A TWI757637B TW I757637 B TWI757637 B TW I757637B TW 108133887 A TW108133887 A TW 108133887A TW 108133887 A TW108133887 A TW 108133887A TW I757637 B TWI757637 B TW I757637B
Authority
TW
Taiwan
Prior art keywords
image
images
sub
converted
signal processor
Prior art date
Application number
TW108133887A
Other languages
English (en)
Other versions
TW202013310A (zh
Inventor
金東壎
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202013310A publication Critical patent/TW202013310A/zh
Application granted granted Critical
Publication of TWI757637B publication Critical patent/TWI757637B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/606—Rotation of whole images or parts thereof by memory addressing or mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/42—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of patterns using a display memory without fixed position correspondence between the display memory contents and the display position on the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/122—Tiling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

一種影像信號處理器、其操作方法以及應用處理器。用於基於原始影像產生經轉換的影像的影像信號處理器包括處理電路系統，所述處理電路系統被配置成：將與所接收影像的多條線對應的資料儲存在線緩衝器中；通過基於至少一個濾波器對儲存在所述線緩衝器中的所述資料進行濾波來實行影像處理操作；以及將所述原始影像劃分成多個子影像並從其中儲存有所述原始影像的記憶體請求所述多個子影像，以使得由所述線緩衝器依序接收所述多個子影像，所述多個子影像中的每一者的寬度小於所述線緩衝器的寬度，且所述多個子影像彼此平行。

Description

影像信號處理器、其操作方法以及應用處理器
本發明概念涉及一種影像信號處理技術，且更具體來說，涉及一種影像信號處理器、一種操作所述影像信號處理器的方法以及包括所述影像信號處理器的應用處理器（AP），所述影像信號處理器被配置成對從影像感測器接收的原始影像資料進行影像處理。 [相關申請案的交叉參考]
本申請主張在2018年9月21日在韓國智慧財產權局提出申請的韓國專利申請第10-2018-0114379號的權利，所述韓國專利申請的公開內容全部併入本申請供參考。
成像裝置（例如相機及智慧型電話）中所包括的影像信號處理器可對由影像感測器提供的原始影像進行影像處理並產生經轉換的影像，例如RGB影像和/或YUV影像。可基於壓縮技術（例如聯合影像專家組（joint photographic experts group，JPEG）、運動影像專家組（moving picture experts group，MPEG）及H.264）來對經轉換的影像進行壓縮，並將經轉換的影像儲存在記憶體中和/或在顯示裝置上顯示經轉換的影像。影像信號處理器可包括線緩衝器。影像信號處理器可將原始影像的多條線儲存在線緩衝器中並以所述多條所儲存的線為單位元來實行影像處理操作。
近年來，原始影像的大小可隨著影像感測器的解析度的增大而增大。由於線緩衝器的面積佔據影像信號處理器的面積的很大一部分，因此當線緩衝器的大小增大以對原始影像進行影像處理時，影像信號處理器的面積（例如，硬體大小、寬度）可增大。因此，需要（或期望）一種對由高解析度影像感測器提供的原始影像進行處理而不會使線緩衝器的大小增大的方法。
本發明概念的示例性實施例提供一種影像信號處理器、一種操作所述影像信號處理器的方法以及一種包括所述影像信號處理器的應用處理器（application processor，AP），所述影像信號處理器可對由高解析度影像感測器提供的原始影像進行影像處理而不會增大線緩衝器的大小。
根據本發明概念的一些示例性實施例，提供一種用於基於由影像感測器提供的原始影像產生經轉換的影像的影像信號處理器。所述影像信號處理器包括處理電路系統，所述處理電路系統被配置成：將與所接收影像的多條線對應的資料儲存在線緩衝器中；通過基於至少一個濾波器對儲存在所述線緩衝器中的所述資料進行濾波來實行影像處理操作；以及將所述原始影像劃分成多個子影像並從其中儲存有所述原始影像的第一記憶體請求所述多個子影像，以使得由所述線緩衝器依序接收所述多個子影像，所述多個子影像中的每一者的寬度小於所述線緩衝器的寬度，且所述多個子影像彼此平行。
根據本發明概念的一些示例性實施例，提供一種操作影像信號處理器的方法，所述影像信號處理器被配置成對由影像感測器產生的原始影像進行影像處理。所述影像信號處理器包括具有比所述原始影像的寬度小的大小的線緩衝器以及至少一個濾波器。所述方法包括：將所述原始影像劃分成多個條紋影像，所述多個條紋影像中的每一者在第一方向上的大小小於所述線緩衝器的所述大小，且所述多個條紋影像彼此平行；使用所述線緩衝器及所述至少一個濾波器依序對所述多個條紋影像進行影像處理以產生多個經轉換的條紋影像；以及將所述多個經轉換的條紋影像合併成具有與所述原始影像相同大小的經轉換的影像。
根據本發明概念的一些示例性實施例，提供一種應用處理器，所述應用處理器包括：影像信號處理器，被配置成對由影像感測器產生的原始影像進行影像處理並產生經轉換的影像；以及影像壓縮編碼器，被配置成對所述經轉換的影像進行壓縮。在第二操作模式中，所述影像信號處理器被配置成將所述原始影像劃分成多個子影像，依序對所述多個子影像進行影像處理並產生多個經轉換的子影像。
圖1是根據一些示例性實施例的影像處理系統100的方塊圖。
影像處理系統100可嵌入在電子裝置中和/或被實施為電子裝置。舉例來說，電子裝置可被實施為個人電腦（personal computer，PC）、物聯網（Internet of Things，IoT）裝置和/或可攜電子裝置。可攜電子裝置可為膝上型電腦、行動電話、智慧型電話、平板個人電腦、個人數位助理（personal digital assistant，PDA）、企業數位助理（enterprise digital assistant，EDA）、數位照相機、數位攝像機、音訊裝置、可攜多媒體播放機（portable multimedia player，PMP）、個人導航裝置（personal navigation device，PND）、運動影像專家組-1音訊3（MPEG-1 audio 3，MP3）播放機、掌上型遊戲機、電子書（electronic book，e-book）和/或可穿戴裝置。
參照圖1，影像處理系統100可包括影像感測器110、影像信號處理器（image signal processor，ISP）120、記憶體130及顯示裝置140。
影像感測器110可將通過光學透鏡入射的物體OBJECT的光學信號轉換成電信號或影像（例如，影像資料）。影像感測器110可包括例如包括以二維方式排列的多個像素的像素陣列以及感測電路。像素陣列可將所接收的光學信號轉換成電信號。舉例來說，像素陣列可被實施為光電轉換元件，例如電荷耦合裝置（charge-coupled device，CCD）或互補金屬氧化物半導體（complementary metal-oxide-semiconductor，CMOS）元件。另外，像素陣列可被實施為各種光電轉換元件。感測電路可將由像素陣列提供的電信號轉換成影像資料並輸出影像資料作為原始影像RDT。舉例來說，影像感測器110可被實施為包括像素陣列及感測電路的半導體晶片。
影像信號處理器120可對由影像感測器110提供的原始影像RDT進行影像處理並產生經轉換的影像CDT。舉例來說，影像信號處理器120可基於設定白平衡、參數和/或顏色空間中的一者或多者對原始影像RDT進行影像處理。舉例來說，經轉換的影像CDT可為顏色空間影像，例如RGB影像和/或YUV影像。經轉換的影像CDT的大小（例如，解析度）可等於原始影像RDT的大小（例如，解析度）。經轉換的影像CDT可儲存在記憶體130中。記憶體130可為：揮發性記憶體，例如動態隨機存取記憶體（dynamic random access memory，DRAM）和/或靜態隨機存取記憶體（static RAM，SRAM）；或非揮發性記憶體，例如相變隨機存取記憶體（phase-change RAM，PRAM）、電阻式隨機存取記憶體（resistive RAM，ReRAM）和/或快閃記憶體。儲存在記憶體130中的經轉換的影像CDT接著可由影像處理系統100使用和/或儲存在儲存裝置（未示出）中。
另外，影像信號處理器120可減小或增大經轉換的影像CDT的大小並產生經按比例縮放的影像SDT。舉例來說，影像信號處理器120可對經轉換的影像CDT的大小（例如，解析度）進行按比例縮放以使得經按比例縮放的影像SDT對應於顯示裝置140的解析度。舉例來說，影像信號處理器120可將經按比例縮放的影像SDT輸出到顯示裝置140以進行顯示。
影像信號處理器120可包括線緩衝器LB，線緩衝器LB被配置成儲存與從影像感測器110接收的影像（例如，原始影像RDT）的多條線對應的資料。影像信號處理器120可使用線緩衝器LB實行影像處理操作。影像信號處理器120可臨時將與原始影像RDT的多條線對應的資料儲存在線緩衝器LB中並對與所述多條線對應的資料實行影像處理操作（例如，濾波操作）。舉例來說，影像信號處理器120可將原始影像RDT的N條線（其中N是等於或大於2的整數）的資料儲存在線緩衝器LB中並對所述N條線的資料實行影像處理操作。當完成對所述N條線的資料的影像處理操作時，影像信號處理器120可將原始影像RDT的至少一條下一條線的資料儲存在線緩衝器LB中，對臨時儲存在線緩衝器LB中的線資料進行更新並對經更新的線資料實行影像處理操作。
在一些示例性實施例中，當輸入影像（例如，由影像感測器110提供的原始影像RDT）的寬度大於線緩衝器LB的大小（例如，寬度）時，影像信號處理器120可在行方向上將輸入影像劃分成多個子影像並依序對所述多個子影像進行影像處理。舉例來說，所述多個子影像可被稱為多個行影像或多個垂直條紋影像。
影像信號處理器120可接收所述多個子影像中的一個子影像（例如，第一子影像），將所接收的子影像儲存在線緩衝器LB中，並對所儲存的子影像進行影像處理。當完成對儲存在線緩衝器LB中的子影像的影像處理時，影像信號處理器120可接收另一子影像（例如，第二子影像），將所接收的子影像儲存在線緩衝器LB中並對所儲存的子影像進行影像處理。以下將參照圖2詳細闡述影像信號處理器120的影像劃分方法，所述影像劃分方法包括影像劃分操作及影像重新配置操作。
圖2是示出根據一些示例性實施例的影像劃分方法的圖。舉例來說，圖2所示影像劃分方法可由圖1所示影像處理系統100中的影像信號處理器120來實行。
參照圖2，由影像感測器110產生的原始影像RDT可包括在第一方向（例如，X軸方向）上排列成列且在與第一方向垂直的第二方向（例如，Y軸方向）上排列成行的多條像素資料PX。之後，原始影像RDT在第一方向上的資料長度可被定義為原始影像RDT的寬度W，且原始影像RDT在第二方向上的資料長度可被定義為原始影像RDT的高度H。舉例來說，當原始影像RDT的大小（例如，解析度）包括4000個位元的寬度W以及3000個位元的高度H時，原始影像RDT可包括3000條線，且3000條線中的每一者可包括4000條像素資料PX，但是示例性實施例並非僅限於此。
線緩衝器LB可儲存與所接收的輸入影像的多條線對應的資料，且線緩衝器LB的大小LS（或寬度）可指代所述多條線中的一者中所包括的像素資料PX的條數。
如以上參照圖1所述，影像信號處理器120可將與原始影像RDT的多條線對應的資料（被稱為線資料）臨時儲存在線緩衝器LB中並對所儲存的線資料進行影像處理。當原始影像RDT的寬度W小於或等於線緩衝器LB的大小LS時，原始影像RDT可以多條線為單位儲存在線緩衝器LB中。因此，影像信號處理器120可對原始影像RDT進行影像處理。然而，當原始影像RDT的寬度W大於線緩衝器LB的大小LS時，原始影像RDT不會以多條線為單位儲存在線緩衝器LB中。因此，當原始影像RDT的寬度W大於線緩衝器的大小LS時，影像信號處理器120可能不可對原始影像RDT進行影像處理。
然而，在根據一些示例性實施例的影像處理系統100中，當原始影像RDT的寬度W大於線緩衝器LB的大小LS時，原始影像RDT可在第一方向（例如，X軸方向）上劃分成多個子影像，且影像信號處理器120可依序接收所述多個經劃分的子影像作為輸入影像並以多條線為單位將輸入影像儲存在線緩衝器LB中。因此，即使當原始影像RDT的寬度W大於線緩衝器LB的大小LS時，影像信號處理器120仍可依序對所接收的輸入影像（例如，所述多個子影像）進行影像處理並對原始影像RDT進行影像處理。
如圖2所示，原始影像RDT可在第二方向（例如，Y軸方向）（即，行方向）上劃分成具有相同長度的多個子影像（例如，第一子影像SP1及第二子影像SP2）。舉例來說，影像信號處理器120可將原始影像RDT劃分成所述多個子影像。第一子影像SP1及第二子影像SP2的高度可等於原始影像RDT的高度，且第一子影像SP1及第二子影像SP2的寬度可小於線緩衝器LB的大小LS。第一子影像SP1可與第二子影像SP2部分地交疊（或反之亦然）以實現邊界處理操作來防止（限制或減小）第一子影像SP1與第二子影像SP2之間的邊界處的影像發生明顯改變。在一些示例性實施例中，可基於用於影像信號處理器120的至少一個濾波器的大小而確定交疊區OR（例如，其中第一子影像SP1與第二子影像SP2彼此部分地交疊的區域）的寬度。
儘管圖2示出其中原始影像RDT被劃分成兩個子影像（即，第一子影像SP1及第二子影像SP2）的示例性實施例，然而本發明概念並非僅限於此，且根據一些其他示例性實施例，原始影像RDT可被劃分成至少三個子影像。在一些示例性實施例中，原始影像RDT要劃分成的子影像的數目可基於原始影像RDT的寬度W、線緩衝器LB的大小LS以及交疊區OR的寬度來確定。
影像信號處理器120可依序接收所述多個子影像作為輸入影像，並依序對所接收的子影像進行影像處理以產生多個經轉換的子影像作為輸出影像。舉例來說，影像信號處理器120可接收第一子影像SP1並對第一子影像SP1進行影像處理以產生第一經轉換的子影像SPc1，且接著接收第二子影像SP2並對第二子影像SP2進行影像處理以產生第二經轉換的子影像SPc2。由影像信號處理器120依序接收的輸入影像（例如，第一子影像SP1及第二子影像SP2）可以所述多條線為單位儲存在線緩衝器LB中，並以儲存在線緩衝器LB中的所述多條線為單位進行影像處理以產生輸出影像（例如，第一經轉換的子影像SPc1及第二經轉換的子影像SPc2）。
可因影像處理操作而依序產生的所述多個經轉換的子影像（例如，第一經轉換的子影像SPc1及第二經轉換的子影像SPc2）可儲存在記憶體130中以對經轉換的影像CDT進行重新配置。第一經轉換的子影像SPc1及第二經轉換的子影像SPc2二者可包括經轉換的交疊區ORc。在儲存第一經轉換的子影像SPc1之後，當儲存第二經轉換的子影像SPc2時，影像信號處理器120可以第二經轉換的子影像SPc2中所包括的經轉換的交疊區ORc的資料來對第一經轉換的子影像SPc1中所包括的經轉換的交疊區ORc的資料進行重寫。因此，影像信號處理器120可將所述多個經轉換的子影像合併在一起以產生經轉換的影像CDT。經轉換的影像CDT的大小（例如，解析度）可等於原始影像RDT的大小。
如上所述，依據根據一些示例性實施例的影像劃分方法，當由影像感測器110提供的原始影像RDT的寬度W大於影像信號處理器120中所包括的線緩衝器LB的大小LS時，影像信號處理器120可將原始影像RDT劃分成具有比線緩衝器LB的大小LS小的寬度的多個子影像並依序對所述多個子影像進行影像處理。另外，影像信號處理器120可將因影像處理操作產生的多個經轉換的子影像儲存在記憶體130中並對所述多個經轉換的子影像進行合併以產生具有與原始影像RDT相同大小的經轉換的影像CDT。因此，即使由影像感測器110提供的原始影像RDT的大小（例如，寬度W）增大，以使得原始影像RDT的寬度W大於線緩衝器LB的大小LS，影像信號處理器120仍可對具有增大的大小的原始影像RDT進行影像處理而不增大線緩衝器LB的大小LS，且由此，不會增大影像信號處理器120的面積（例如，硬體大小、寬度）。
圖3是根據一些示例性實施例的影像信號處理器120的示意性方塊圖。
參照圖3，影像信號處理器120可包括至少一個線緩衝器LB、處理引擎PE（也被稱為影像處理引擎）、按比例縮放器SL及輸入/輸出（input/output，I/O）管理器IOM。儘管線緩衝器LB及處理引擎PE在圖3中被示出為單獨的組件，然而本發明概念並非僅限於此。在一些其他示例性實施例中，線緩衝器LB可包括在處理引擎PE中。
線緩衝器LB、處理引擎PE及按比例縮放器SL可被實施為硬體。舉例來說，線緩衝器LB、處理引擎PE及按比例縮放器SL可使用例如但不限於以下處理電路系統來實施：一個或多個處理器、一個或多個中央處理器（Central Processing Unit，CPU）、一個或多個控制器、一個或多個算數邏輯單元（arithmetic logic unit，ALU）、一個或多個數位信號處理器（digital signal processor，DSP）、一個或多個微電腦、一個或多個現場可程式閘陣列（field programmable gate array，FPGA）、一個或多個系統晶片（System-on-Chip，SoC）、一個或多個可程式邏輯單元（programmable logic unit，PLU）、一個或多個微處理器、一個或多個應用專用積體電路（Application Specific Integrated Circuit，ASIC）或能夠對指令作出反應並以界定的方式執行指令的任何其他一或多種裝置。線緩衝器LB可以多條線為單位儲存影像信號處理器120的輸入影像。在一些示例性實施例中，基於隊列方法，線緩衝器LB可輸出先前儲存的線並儲存輸入影像的新的線。
處理引擎PE可基於至少一個濾波器對儲存在線緩衝器LB中的資料（例如，輸入影像的多條線）進行濾波並對輸入影像實行影像處理操作。處理引擎PE可包括多個影像處理塊，且至少一個影像處理塊可對線緩衝器LB進行存取並基於所述至少一個濾波器實行濾波操作。舉例來說，所述多個影像處理塊可實行例如以下功能：不良像素校正、透鏡陰影補償、白平衡、去噪、去馬賽克、銳化、顏色補償和/或顏色空間轉換。處理引擎PE可輸出經轉換的影像和/或多個經轉換的子影像。在其中原始影像的寬度小於或等於線緩衝器LB的大小的一些示例性實施例中，處理引擎PE可（例如，以多條線為單位）對原始影像進行影像處理並產生經轉換的影像。在其中原始影像的寬度大於線緩衝器LB的大小的一些其他示例性實施例中，處理引擎PE可（例如，以線緩衝器LB接收到所述多個子影像的次序）依序對原始影像所劃分成的多個子影像進行影像處理並產生多個經轉換的子影像。經轉換的影像和/或所述多個經轉換的子影像可儲存在記憶體（指代圖1所示記憶體130）中。
按比例縮放器SL可對經轉換的影像的大小進行按比例縮放。舉例來說，按比例縮放器SL可增大或減小由處理引擎PE輸出的經轉換影像的大小並產生經按比例縮放的影像。另外，按比例縮放器SL可接收儲存在記憶體（指代圖1所示記憶體130）中的經轉換的影像並對經轉換的影像的大小進行按比例縮放。
輸入/輸出管理器IOM可管理影像信號處理器120的輸入影像及輸出影像。在一些示例性實施例中，由影像感測器（指代圖1所示影像感測器110）提供的原始影像RDT可儲存在記憶體（例如，圖1所示記憶體130和/或影像感測器110的嵌入式記憶體）中。輸入/輸出管理器IOM可將儲存在記憶體中的原始影像RDT劃分成多個子影像以使得至少兩個相鄰的子影像彼此部分地交疊，並依序從其中儲存有原始影像RDT的記憶體（例如，圖1所示記憶體130和/或影像感測器110的嵌入式記憶體）請求所述多個子影像。舉例來說，輸入/輸出管理器IOM可基於線緩衝器LB的大小以及原始影像RDT的寬度W而確定原始影像RDT要劃分成的子影像的數目、所述多個子影像中的每一者的寬度以及交疊區OR的寬度，且輸入/輸出管理器IOM可將讀取命令以及指定寬度小於線緩衝器LB的大小LS的所述多個子影像中的每一者的位址傳送到記憶體130。因此，線緩衝器LB可依序接收到所述多個子影像。另外，輸入/輸出管理器IOM可將所述多個經轉換的子影像依序（例如，以其中因處理引擎PE對所述多個子影像實行影像處理操作而產生所述多個經轉換的子影像的次序）儲存在記憶體（例如，圖1所示記憶體130）中並將所述多個經轉換的子影像合併成具有與原始影像相同大小（例如，解析度）的經轉換的影像。
輸入/輸出管理器IOM可確定原始影像RDT要劃分成的子影像的數目、子影像中的每一者的寬度以及彼此部分地交疊的兩個相鄰的子影像之間的交疊區OR的寬度。輸入/輸出管理器IOM可基於用於處理引擎PE的所述至少一個濾波器的大小來確定交疊區OR的寬度。輸入/輸出管理器IOM可基於原始影像RDT的寬度W、線緩衝器LB的大小LS以及交疊區OR的寬度而確定原始影像RDT要劃分成的子影像的數目以及子影像中的每一者的寬度。
另外，當所述多個經轉換的子影像儲存在記憶體130中時，輸入/輸出管理器IOM可指定其中要儲存所述多個經轉換的子影像中的每一者的區的位址以使得儲存在記憶體（例如，圖1所示記憶體130）上的所述多個經轉換的子影像構成經轉換的影像。
輸入/輸出管理器IOM可被實施為硬體或軟體（或韌體）與硬體的組合。在一些示例性實施例中，當輸入/輸出管理器IOM被實施為軟體（或韌體）與硬體的組合時，輸入/輸出管理器IOM可與影像信號處理器120中所包括的可執行軟體（或韌體）的處理器（例如，微處理器）相組合地實施為其中將上述功能程式設計及載入在影像信號處理器120中所包括的記憶體中或儲存在唯讀記憶體（read-only memory，ROM）中的原始程式碼以使得可實施輸入/輸出管理器IOM的功能。在一些其他示例性實施例中，當輸入/輸出管理器IOM被實施為硬體時，輸入/輸出管理器IOM可包括邏輯電路及暫存器並基於暫存器設定管理輸入影像及輸出影像。實施輸入/輸出管理器IOM的硬體或軟體（或韌體）與硬體的組合以及實施線緩衝器LB的硬體、處理引擎PE及按比例縮放器SL可被統稱為影像信號處理器120的處理電路系統。
圖4A及圖4B是示出根據一些示例性實施例的影像信號處理器的操作的圖。
參照圖4A，原始影像RDT可被劃分成多個子影像，例如，第一子影像SP1、第二子影像SP2及第三子影像SP3。第一子影像SP1可與第二子影像SP2部分地交疊（或反之亦然）。舉例來說，第一交疊區OR1可在第一子影像SP1與第二子影像SP2之間共用。第二子影像SP2可與第三子影像SP3部分地交疊（或反之亦然）。舉例來說，第二交疊區OR2可在第二子影像SP2與第三子影像SP3之間共用。
影像信號處理器120可依序接收第一子影像SP1、第二子影像SP2及第三子影像SP3。舉例來說，可首先接收到第一子影像SP1並對第一子影像SP1進行影像處理，其次可接收到第二子影像SP2並對第二子影像SP2進行影像處理，且第三可接收到第三子影像SP3並對第三子影像SP3進行影像處理。
影像信號處理器120可接收第一子影像SP1並對第一子影像SP1進行影像處理且產生第一經轉換的子影像SPc1。影像信號處理器120可以多條線將第一子影像SP1儲存在線緩衝器LB中，且基於至少一個濾波器對儲存在線緩衝器LB中的所述多條線進行濾波以產生第一經轉換的子影像SPc1。舉例來說，具有預定（或期望）大小的濾波器FT可在水平方向上滑動儲存在線緩衝器LB中的第一子影像SP1的多條線（例如，線資料）並對所述多條線進行濾波。舉例來說，濾波器FT可具有K*K的解析度（例如，大小）（其中K是等於或大於2的整數）。
輸入影像（例如，第一子影像SP1）的其他線可以隊列方式依序儲存在線緩衝器LB中以使得可對線資料進行更新且可對經更新的線資料進行濾波。因此，第一子影像SP1可在圖4A所示方向上轉換。影像信號處理器120可將第一經轉換的子影像SPc1儲存在記憶體130中。
接著，影像信號處理器120可接收第二子影像SP2並對第二子影像SP2進行影像處理，產生第二經轉換的子影像SPc2，並將第二經轉換的子影像SPc2儲存在記憶體130中。當第二經轉換的子影像SPc2儲存在記憶體130中時，影像信號處理器120可接收第三子影像SP3並對第三子影像SP3進行影像處理，產生第三經轉換的子影像SPc3，並將第三經轉換的子影像SPc3儲存在記憶體130中。
參照圖4B，可將多個經轉換的子影像（例如，第一經轉換的子影像SPc1、第二經轉換的子影像SPc2及第三經轉換的子影像SPc3）依序儲存在記憶體130中。首先，影像信號處理器120可產生第一經轉換的子影像SPc1並將第一經轉換的子影像SPc1儲存在記憶體130中。接著，影像信號處理器120可產生第二經轉換的子影像SPc2並將第二經轉換的子影像SPc2儲存在記憶體130中。第一經轉換的子影像SPc1及第二經轉換的子影像SPc2二者可包括第一經轉換的交疊區ORc1。在儲存第一經轉換的子影像SPc1之後，當儲存第二經轉換的子影像SPc2時，影像信號處理器120可以第二經轉換的子影像SPc2中所包括的第一經轉換的交疊區ORc1的資料來對第一經轉換的子影像SPc1中所包括的第一經轉換的交疊區ORc1的資料進行重寫。
之後，影像信號處理器120可產生第三經轉換的子影像SPc3並將第三經轉換的子影像SPc3儲存在記憶體130中。第二經轉換的子影像SPc2及第三經轉換的子影像SPc3二者可包括第二經轉換的交疊區ORc2。在儲存第二經轉換的子影像SPc2之後，當儲存第三經轉換的子影像SPc3時，影像信號處理器120可以第三經轉換的子影像SPc3中所包括的第二經轉換的交疊區ORc2的資料來對第二經轉換的子影像SPc2中所包括的第二經轉換的交疊區ORc2的資料進行重寫。
因此，影像信號處理器120可將第一經轉換的子影像SPc1、第二經轉換的子影像SPc2及第三經轉換的子影像SPc3合併在一起以產生具有與原始影像RDT相同大小（例如，解析度）的經轉換的影像CDT。因此，即使由影像感測器110提供的原始影像RDT的大小（例如，寬度W）增大，以使得原始影像RDT的大小大於線緩衝器LB的大小，影像信號處理器120仍可對具有增大的大小的原始影像RDT進行影像處理而不會增大線緩衝器LB的大小LS，且由此，不會增大影像信號處理器120的面積（例如，硬體大小、寬度）。
圖5示出其中根據一些示例性實施例原始影像RDT被劃分成多個子影像的實例。舉例來說，假設原始影像RDT被劃分成第一子影像SP1、第二子影像SP2及第三子影像SP3。
參照圖5，原始影像RDT可被劃分成第一子影像SP1、第二子影像SP2及第三子影像SP3。在一些示例性實施例中，第一子影像SP1的寬度W1、第二子影像SP2的寬度W2及第三子影像SP3的寬度W3可彼此相等。在第一子影像SP1與第二子影像SP2之間共用的第一交疊區OR1的寬度WO1可等於在第二子影像SP2與第三子影像SP3之間共用的第二交疊區OR2的寬度WO2。在一些其他示例性實施例中，第一子影像SP1的寬度W1可等於第二子影像SP2的寬度W2，且第三子影像SP3的寬度W3可不同於第一子影像SP1的寬度W1及第二子影像SP2的寬度W2。然而，第一交疊區OR1的寬度WO1可等於第二交疊區OR2的寬度WO2。
第一交疊區OR1的寬度WO1及第二交疊區OR2的寬度WO2可基於用於影像信號處理器（指代圖4A所示影像信號處理器120）的濾波器（指代圖4A所示濾波器FT）的大小來確定。第一子影像SP1的寬度W1、第二子影像SP2的寬度W2及第三子影像SP3的寬度W3可基於原始影像RDT的寬度W、線緩衝器LB的大小LS以及第一交疊區OR1的寬度WO1及第二交疊區OR2的寬度WO2來確定。
圖6示出其中根據一些示例性實施例確定多個子影像之間的交疊區的寬度的實例。
參照圖6，影像信號處理器（指代圖4A所示影像信號處理器120）可包括有限脈衝響應（finite impulse response，FIR）濾波器。影像信號處理器120可基於FIR濾波器的大小而確定在兩個相鄰的子影像（例如，SP1與SP2、SP2與SP3）之間共用的交疊區（例如，OR1、OR2）的寬度（例如，WO1、WO2）。FIR濾波器可為其中橫坐標表示頻率範圍且縱坐標表示功率增益的高斯濾波器。當對目標像素資料PX_T應用FIR濾波器時，可使用與目標像素資料PX_T相鄰的像素資料PXs。如圖6所示，當對目標像素資料PX_T進行濾波時，可對位於目標像素資料PX_T兩側上的像素資料PXs應用FIR濾波器。舉例來說，假設對目標像素資料PX_T的每一側上的六條像素資料PXs應用FIR濾波器，則交疊區可包括至少12條像素資料PXs。因此，交疊區的寬度可被確定成至少12個位元。
再次參照圖5，子影像的數目可為可變的。在一些示例性實施例中，影像信號處理器（指代圖1所示影像信號處理器120）可基於原始影像RDT的寬度W、線緩衝器（指代圖4A所示線緩衝器LB）的大小以及交疊區（例如，OR1和/或OR2）的寬度（例如，WO1和/或WO2）將子影像的數目設定為最小值。舉例來說，當原始影像RDT的寬度W是6000個位元且線緩衝器LB的大小是3000個位元時，影像信號處理器120可慮及交疊區的寬度而將原始影像RDT劃分成三個子影像。當影像信號處理器120將子影像的數目設定為二時，所述兩個子影像中的每一者的寬度可為3000個位元或小於3000個位元。在此種情形中，可不存在交疊區。也就是說，在上述實例中，子影像的數目的最小值可被確定成三。因此，影像信號處理器120可慮及交疊區的寬度而將原始影像RDT劃分成至少三個子影像。
圖7是根據一些示例性實施例的影像處理系統100a的方塊圖。
參照圖7，影像處理系統100a可包括影像感測器110、系統晶片（SoC）20a、記憶體130及顯示裝置140。SoC 20a可包括影像信號處理器120、第一介面21及第二介面22，且還可包括其他功能塊（未示出）。在一些示例性實施例中，SoC 20a可被實施為應用處理器（AP）。
SoC 20a可經由第一介面21從影像感測器110接收原始影像RDT。舉例來說，第一介面21可被實施為例如以下介面技術：串列介面、移動顯示數位介面（mobile display digital interface，MDDI）、集成間電路（inter-integrated circuit，I2C）介面、串列週邊介面（serial peripheral interface，SPI）、微控制器單元（micro controller unit，MCU）介面、移動行業處理器介面（mobile industry processor interface，MIPI）、嵌入式顯示埠（embedded display port，eDP）介面、D-超小型（D-subminiature，D-sub）、光學介面和/或高清晰度多媒體介面（high-definition multimedia interface，HDMI）。另外，第一介面21可被實施為各種串列或平行介面技術中的一者。
第一介面21可將所接收的原始影像RDT儲存在記憶體130中和/或將所接收的原始影像RDT提供到影像信號處理器120。舉例來說，當影像處理系統100a以第一操作模式操作時第一介面21可將原始影像RDT提供到影像信號處理器120，且當影像處理系統100a以第二操作模式操作時，第一介面21可將原始影像RDT儲存在記憶體130中。舉例來說，第一操作模式可為影像預覽模式，而第二操作模式可為影像捕獲模式。當影像處理系統100a以第一操作模式（例如，影像預覽模式）操作時，由影像感測器110提供的原始影像RDT的寬度可等於或小於影像信號處理器120中所包括的線緩衝器（指代圖3所示線緩衝器LB）的大小（例如，寬度）。當影像處理系統100a以第二操作模式（例如，影像捕獲模式）操作時，由影像感測器110提供的原始影像RDT的寬度可大於影像信號處理器120中所包括的線緩衝器（指代圖3所示線緩衝器LB）的大小。
在第一操作模式（例如，影像預覽模式）中，影像信號處理器120可對從第一介面21接收的原始影像RDT進行影像處理，產生經轉換的影像CDT，對經轉換的影像CDT的大小進行按比例縮放並產生經按比例縮放的影像SDT。影像信號處理器120可將經按比例縮放的影像SDT提供到第二介面22，且第二介面22可將經按比例縮放的影像SDT輸出到顯示裝置140。第二介面22可被實施為上述關於第一介面21的各種介面技術中的任意者。
在第二操作模式（例如，影像捕獲模式）中，如以上參照圖2所述，影像信號處理器120可將儲存在記憶體130中的原始影像RDT劃分成多個子影像，從記憶體130依序接收所述多個子影像，依序對所述多個子影像進行影像處理並依序產生多個經轉換的子影像。影像信號處理器120可以其中因影像處理操作而依序產生所述多個經轉換的子影像的次序來將所述多個經轉換的子影像依序儲存在記憶體130中。所述多個經轉換的子影像可被合併以產生經轉換的影像CDT。經轉換的影像CDT可具有與原始影像RDT相同的大小（例如，解析度）。
在一些示例性實施例中，影像信號處理器120可從記憶體130讀取經轉換的影像CDT，對經轉換的影像CDT的大小進行按比例縮放並產生經按比例縮放的影像SDT。舉例來說，影像信號處理器120可基於顯示裝置140的解析度而減小經轉換的影像CDT的大小。影像信號處理器120可將經按比例縮放的影像SDT提供到第二介面22，且第二介面22可將經按比例縮放的影像SDT輸出到顯示裝置140。
第一操作模式（例如，影像預覽模式）可需要對具有小的大小（例如，具有小於或等於影像信號處理器120中所包括的線緩衝器LB的大小的寬度）的原始影像RDT實行即時影像處理操作。相比之下，第二操作模式（例如，影像捕獲模式）可需要對具有大的大小（例如，具有大於影像信號處理器120中所包括的線緩衝器LB的大小的寬度）的原始影像實行影像處理操作。因此，在第一操作模式中，影像感測器110可輸出具有小的大小的原始影像RDT，且影像信號處理器120可同時對具有小的大小的原始影像RDT進行影像處理。相比之下，在第二操作模式中，影像感測器110可輸出具有大的大小的原始影像，且影像信號處理器120可將原始影像劃分成多個子影像並依序對所述多個子影像進行影像處理。由於在第二操作模式（例如，影像捕獲模式）中不需要進行即時影像處理操作，因此即使與第一操作模式（例如，影像預覽模式）中的影像處理時間相比影像處理時間因影像劃分操作而在某種程度上增加，在第二操作模式中影像處理時間增加對影像處理系統100a的操作速度的影響仍可忽略不計。
圖8A及圖8B示出圖7所示影像處理系統100a的影像處理過程。
圖8A示出第一操作模式中的操作，且圖8B示出第二操作模式中的操作。圖8A及圖8B所示具體數值僅用於例示簡明起見，且並非旨在對本發明概念進行限制。
參照圖8A，影像感測器110的解析度可為48百萬位元組（megabyte，MB）或小於48MB。在第一操作模式中（例如，在影像預覽模式中），影像感測器110可輸出具有12MB的大小（即，影像感測器110的最大大小的1/4）的原始影像RDTa。如以上參照圖7所述，在第一操作模式中，原始影像RDTa可被傳送到影像信號處理器120。
影像信號處理器120可包括處理引擎PE及按比例縮放器SL。處理引擎PE可包括線緩衝器（未示出）。處理引擎PE可對原始影像RDTa進行影像處理並產生經轉換的影像CDTa。經轉換的影像CDTa的大小可為12MB，其等於原始影像RDTa的大小。經轉換的影像CDTa可被提供到按比例縮放器SL。在一些示例性實施例中，經轉換的影像CDTa也可儲存在記憶體130中。按比例縮放器SL可對經轉換的影像CDTa進行按比例縮放（例如，以減小經轉換的影像CDTa的大小）以使得經轉換的影像CDTa可顯示在顯示裝置140上。舉例來說，按比例縮放器SL可對12MB經轉換的影像CDTa進行按比例縮放並產生2MB經按比例縮放的影像SDTa。影像信號處理器120可將經按比例縮放的影像SDTa輸出到顯示裝置140。顯示裝置140可顯示經按比例縮放的影像SDTa。
參照圖8B，在第二操作模式中（例如，在影像捕獲模式中），影像感測器110可輸出完整大小的原始影像RDTb（例如，48MB原始影像RDTb）。原始影像RDTb可儲存在記憶體130中。原始影像RDTb的寬度可大於影像信號處理器120中所包括的線緩衝器的大小。影像信號處理器120可將原始影像RDTb劃分成多個子影像SP，從記憶體130依序接收所述多個子影像SP，並依序對所述多個子影像SP進行影像處理以產生多個經轉換的子影像SPc。舉例來說，影像信號處理器120可將原始影像RDTb劃分成分別具有約24MB的大小的兩個子影像SP。子影像SP的寬度可小於影像信號處理器120中所包括的線緩衝器的大小。處理引擎PE可對從記憶體130依序接收的所述兩個子影像SP進行影像處理以產生所述兩個經轉換的子影像SPc。所述兩個經轉換的子影像SPc可儲存在記憶體130中併合並在一起以構成48MB經轉換的影像CDTb。
影像處理系統100a可包括壓縮編碼器23。舉例來說，壓縮編碼器23可包括在SoC（指代圖7所示SoC 20a）中。壓縮編碼器23可從記憶體130接收經轉換的影像CDTb，對經轉換的影像CDTb進行編碼並輸出經編碼的影像EDT（例如，經壓縮的影像）。在一些示例性實施例中，壓縮編碼器23可為JPEG模組。JPEG模組可對經轉換的影像CDTb進行編碼並輸出JPEG格式影像。舉例來說，JPEG格式影像可儲存在包括非揮發性記憶體的記憶體中。
在一些示例性實施例中，當用戶旨在看到所捕獲的影像時，影像信號處理器120可減小經轉換的影像CDTb的大小並產生經按比例縮放的影像SDTb以在顯示裝置140上顯示。
影像信號處理器120可包括被配置成對影像的大小進行按比例縮放的按比例縮放器SL。按比例縮放器SL可從記憶體130接收經轉換的影像CDTb並減小經轉換的影像CDTb的大小。舉例來說，按比例縮放器SL可將48MB經轉換的影像CDTb按比例縮放成2MB經按比例縮放的影像SDTb。影像信號處理器120可將經按比例縮放的影像SDTb輸出到顯示裝置140。顯示裝置140可顯示經按比例縮放的影像SDTb。
圖9是根據一些示例性實施例的影像處理系統100b的實例的方塊圖。
參照圖9，影像處理系統100b可包括影像感測器110b、SoC 20b、記憶體130及顯示裝置140。SoC 20b可包括影像信號處理器120、第一介面21及第二介面22，且還可包括其他功能塊（未示出）。
圖9所示影像處理系統100b的操作可相似於圖7所示影像處理系統100a的操作。因此，將省略其重複說明，且將闡述圖9所示影像處理系統100b的操作與圖7所示影像處理系統100a的操作之間的不同之處。
當影像處理系統100b以第二操作模式（例如，影像捕獲模式）操作時，由影像感測器110b提供的原始影像RDT的寬度可大於影像信號處理器120中所包括的線緩衝器的大小。在此種情形中，影像感測器110b可將原始影像RDT劃分成多個子影像SP並將所述多個子影像SP依序輸出到SoC 20b。第一介面21可從影像感測器110b依序接收所述多個子影像SP並將所述多個子影像SP傳送到影像信號處理器120。影像信號處理器120可從影像感測器110b依序接收所述多個子影像SP，依序對所述多個子影像SP進行影像處理，並將因影像處理操作而依序產生的多個經轉換的影像SPc儲存在記憶體130中。影像信號處理器120可將所述多個經轉換的影像SPc合併在一起以構成具有與原始影像RDT相同大小的經轉換的影像CDT。
如上所述，在第二操作模式中，影像感測器110b可將原始影像RDT劃分成所述多個子影像SP並將所述多個子影像SP依序輸出到SoC 20b。因此，可省略在將原始影像RDT儲存在記憶體130中之後將所述多個子影像SP從記憶體130提供到影像信號處理器120的操作。
圖10是圖9所示影像處理系統100b的詳細方塊圖。
參照圖10，影像感測器110b可包括像素陣列111、類比數位轉換器（analog-to-digital converter，ADC）112、列驅動器113、時序產生器114、斜坡信號產生器115、控制暫存器116及緩衝器117。
像素陣列111可包括排列成矩陣形式的多個像素且可使用所述多個像素中的每一者將光學影像信號轉換成電像素信號。
列驅動器113可通過時序產生器114的控制來以列單位對像素陣列111進行驅動。列驅動器113可對由時序產生器114產生的列控制信號（例如，位址信號）進行解碼並回應於經解碼的列控制信號來選擇像素陣列111中所包括的列線中的至少一條列線。像素陣列111可將像素信號從基於由列驅動器113提供的列控制信號選擇的列輸出到ADC 112。
ADC 112可將從像素陣列111接收的像素信號與由斜坡信號產生器115提供的斜坡信號進行比較，產生結果信號，對結果信號進行計數並將經計數的結果信號轉換成數位信號。ADC 112可將經轉換的信號作為原始影像RDT輸出到緩衝器117。
時序產生器114可通過控制暫存器116的控制對列驅動器113、ADC 112及斜坡信號產生器115的操作進行控制。
控制暫存器116可控制時序產生器114、斜坡信號產生器115及緩衝器117中的每一者的操作。控制暫存器116可通過影像信號處理器120中所包括的感測器控制器122的控制來操作。
緩衝器117可臨時儲存從ADC 112接收的原始影像RDT並將原始影像RDT輸出到SoC 20b。在第二操作模式（例如，影像捕獲模式）中，緩衝器117可通過控制暫存器116的控制將原始影像RDT劃分成多個子影像（例如，第一子影像SP1及第二子影像SP2）並將所述多個子影像依序輸出到SoC 20b。
影像信號處理器120可包括處理引擎121及感測器控制器122。儘管圖中未示出，然而影像信號處理器120還可包括其他元件，例如線緩衝器及按比例縮放器。處理引擎121可對通過第一介面21從緩衝器117接收的原始影像RDT進行影像處理。在第二操作模式（例如，影像捕獲模式）中，處理引擎121可對依序接收的所述多個子影像SP（例如，第一子影像SP1及第二子影像SP2）進行影像處理，產生多個經轉換的子影像SPc（例如，第一經轉換的子影像SPc1及第二經轉換的子影像SPc2），並將所述多個經轉換的子影像SPc儲存在記憶體130中。儲存在記憶體130中的所述多個經轉換的子影像SPc可被合併以產生具有與原始影像RDT相同大小的經轉換的影像CDT。
感測器控制器122可對控制暫存器116進行控制以使得影像感測器110b的緩衝器117可將所述多個子影像SP依序輸出到SoC 20b。在一些示例性實施例中，感測器控制器122可將指示用於將原始影像RDT劃分成所述多個子影像SP的資訊（例如，子影像SP的數目、所述多個子影像SP的寬度以及在兩個相鄰的子影像之間共用的交疊區的寬度）的控制信號輸出到控制暫存器116。在一些示例性實施例中，當完成對所接收的子影像的成像處理時，處理引擎121可將完成信號傳送到感測器控制器122，且感測器控制器122可回應於完成信號輸出用於請求影像感測器110b的緩衝器117的控制信號以將另一所接收的子影像（例如，以接收到所述多個子影像的次序將下一子影像）傳送到控制暫存器116。
圖11是根據一些示例性實施例的影像信號處理器（指代圖1所示影像信號處理器120）的操作的流程圖。
參照圖11，影像信號處理器120可以第一操作模式操作（S10）。包括影像信號處理器120的影像處理系統（指代圖1所示影像處理系統100）（例如，相機及智慧型電話）可以第一操作模式（例如，影像預覽模式）正常地操作。當接收到用於請求影像捕獲操作的使用者輸入時，可對影像處理系統100的操作模式進行轉換以使得影像處理系統100可以第二操作模式（例如，影像捕獲模式）操作。因此，影像信號處理器120可首先以第一操作模式操作。
影像信號處理器120可以第一操作模式對從影像感測器接收的原始影像實行單影像處理操作（S20）。舉例來說，原始影像的寬度可小於或等於影像信號處理器120中所包括的線緩衝器。影像信號處理器120可以多條線為單位將原始影像儲存在線緩衝器中並以所述多條線為單位來對原始影像實行影像處理操作。影像信號處理器120可對因影像處理操作產生的經轉換的影像的大小進行按比例縮放並將經按比例縮放的影像提供到顯示裝置。經按比例縮放的影像可在顯示裝置上顯示。
影像信號處理器120可接收第二操作模式轉換信號（S30）。回應於用於請求影像捕獲操作的使用者輸入，可將影像處理系統100的操作模式轉換成第二操作模式（例如，影像捕獲模式）。影像信號處理器120可從影像處理系統100接收用於請求將操作模式轉換成第二操作模式的第二操作模式轉換信號。
當操作模式轉換成第二操作模式時，影像信號處理器120可以第二操作模式對從影像感測器接收的原始影像實行影像劃分操作（S40）。影像信號處理器120可在行方向上將原始影像劃分成多個子影像並依序對所述多個子影像進行影像處理。以下將參照圖12進一步詳細闡述第二操作模式中的影像劃分操作。
在操作S40中，當完成對原始影像的影像劃分操作時，可將經轉換的影像儲存在記憶體中。之後，可將影像處理系統100的操作模式轉換成第一操作模式（S50）。影像信號處理器120可回應於操作模式轉換信號或自動地（例如，回應於影像劃分操作的完成）轉換成第一操作模式（例如，影像預覽模式）。在一些示例性實施例中，在影像處理系統100中可執行第二操作模式作為背景操作。
圖12是根據一些示例性實施例的影像信號處理器的操作的流程圖。圖12示出其中影像信號處理器（指代圖1所示影像信號處理器120）以第二操作模式（例如，影像捕獲模式）操作的示例性實施例。
在第二操作模式中，從影像感測器（指代圖1所示影像感測器110）接收的原始影像的寬度可大於影像信號處理器120中所包括的線緩衝器的大小。
參照圖12，影像信號處理器120可在行方向上將從影像感測器110接收的原始影像劃分成多個子影像（S41）。舉例來說，子影像也可被稱為行影像和/或垂直條紋影像。影像信號處理器120可基於原始影像的寬度、線緩衝器的大小以及在影像信號處理器120中使用的濾波器的大小而確定參數（例如子影像的數目、所述多個子影像中的每一者的寬度以及在兩個相鄰的子影像之間共用的交疊區的寬度）以對所述多個子影像進行影像處理。影像信號處理器120可基於所確定的參數而將原始影像劃分成所述多個子影像。
影像信號處理器120可依序接收所述多個子影像並對所述多個子影像進行影像處理（S42）。原始影像可儲存在影像感測器110的內部記憶體中或由影像感測器110輸出並儲存在影像處理系統（指代圖1所示影像處理系統100）中所包括的記憶體（指代圖1所示記憶體130）（例如，DRAM）中。舉例來說，影像信號處理器120可從其中儲存有原始影像的記憶體130接收子影像（例如，第一子影像），且當完成對所接收的子影像（例如，第一子影像）的影像處理操作時接收另一子影像（例如，第二子影像）。影像信號處理器120可以多條線為單位將所接收的子影像儲存在線緩衝器中並以所述多條線為單位來實行影像處理操作。
影像信號處理器120可將因對所述多個子影像進行的影像處理操作產生的多個經轉換的子影像合併成經轉換的影像（S43）。影像信號處理器120可以所述多個經轉換的子影像產生的次序將依序產生的所述多個經轉換的子影像儲存在記憶體130中。影像信號處理器120可確定其中要儲存所述多個經轉換的子影像的記憶體130的區的位址以對所述多個經轉換的子影像進行合併，並將所述多個經轉換的子影像儲存在與所述位址對應的記憶體130的區中。因此，可對所述多個經轉換的子影像進行合併以對具有與原始影像相同大小的一個經轉換的影像進行重新配置。
圖13是根據一些示例性實施例的應用處理器（AP）200的方塊圖。
參照圖13，AP 200可包括可通過匯流排290在彼此之間傳送及接收資料的主處理器210、隨機存取記憶體（random access memory，RAM)220、壓縮編碼器230、影像信號處理器240、非揮發性儲存介面250、相機介面260、儲存介面270及顯示介面280。
主處理器210可控制AP 200的總體操作。主處理器210可被實施為例如中央處理器（CPU）和/或微處理器（microprocessor，MP）。在一些示例性實施例中，主處理器210可被實施為具有至少兩個獨立的處理器（或核心）的一個計算元件（例如，多核心處理器）。主處理器210可對資料進行處理和/或執行儲存在RAM 220中（和/或儲存在ROM中）的程式。
RAM 220可臨時儲存程式、資料和/或指令。在一些示例性實施例中，RAM 220可被實施為DRAM或SRAM。RAM 220可臨時儲存可通過非揮發性儲存介面250、相機介面260、儲存介面270及顯示介面280輸入和/或輸出和/或由影像信號處理器240和/或主處理器210產生的影像。
在一些示例性實施例中，AP 200還可包括ROM（未示出）。ROM可儲存連續使用的程式和/或資料。舉例來說，ROM可被實施為可抹除可程式化ROM（erasable programmable ROM，EPROM）或電子可抹除可程式化ROM（electrically erasable programmable ROM，EEPROM）。
非揮發性儲存介面250可與從非揮發性記憶體裝置255輸入的資料和/或輸出到非揮發性記憶體裝置255的資料介面。非揮發性記憶體裝置255可被實施為例如儲存卡（例如，多媒體卡（multimedia card，MMC）、嵌入式MMC（embedded MMC，eMMC）、安全數位（secure digital，SD）卡和/或微SD卡）。
相機介面260可與從位於AP 200外部的相機265輸入的資料（例如，原始影像）介面。相機265可產生使用多個感光元件捕獲的影像的資料。通過相機介面260接收的原始影像可通過儲存介面270被提供到影像信號處理器240和/或儲存在記憶體130中。
儲存介面270可與從位於AP 200外部的記憶體130輸入的資料和/或輸出到位於AP 200外部的記憶體130的資料介面。在一些示例性實施例中，記憶體130可被實施為：揮發性記憶體，例如DRAM和/或SRAM；或非揮發性記憶體，例如ReRAM、PRAM和/或與非快閃記憶體裝置。
顯示介面280可與輸出到顯示裝置140的資料（例如，影像（例如經轉換的影像和/或經按比例縮放的影像））介面。舉例來說，顯示裝置140可顯示影像或影像的資料且可被實施為液晶顯示器（liquid crystal display，LCD）和/或有源矩陣有機發光二極體（active-matrix organic light emitting diode，AMOLED）顯示器。
壓縮編碼器230可對影像進行編碼並輸出經編碼的影像（即，經壓縮的影像）。壓縮編碼器230可對由影像信號處理器240輸出的經轉換的影像和/或儲存在記憶體130中的經轉換的影像進行編碼。在一些示例性實施例中，壓縮編碼器230可為JPEG模組，JPEG模組可輸出JPEG格式影像。JPEG格式影像可儲存在非揮發性記憶體裝置255中。
影像信號處理器240可對由相機254提供的影像（例如，原始影像）進行影像處理，產生經轉換的影像，並將經轉換的影像儲存在記憶體130中。作為另外一種選擇或另外地，影像信號處理器240可對經轉換的影像進行按比例縮放，產生經按比例縮放的影像並將經按比例縮放的影像輸出到顯示裝置140。
當影像信號處理器240以第二操作模式（例如，影像捕獲模式）操作時，當原始影像的寬度大於影像信號處理器240中所包括的線緩衝器的大小時，影像信號處理器240可將原始影像劃分成多個子影像並依序對所述多個子影像進行影像處理，如以上參照圖1到圖12所述。因此，即使原始影像的大小（例如，寬度）隨著相機265的解析度的增大而增大以大於影像信號處理器240中所包括的線緩衝器的大小，影像信號處理器240仍可通過對所述多個子影像依序實行影像處理操作來對原始影像進行影像處理，而不會增大線緩衝器的面積（例如，硬體大小、寬度）。
圖14是根據一些示例性實施例的可攜端子1000的方塊圖。參照圖14，可攜端子1000可包括影像處理器1100、無線收發器1200、音訊處理器1300、非揮發性記憶體裝置1500、使用者介面1600及控制器1700。
影像處理器1100可包括透鏡1110、影像感測器1120、顯示裝置1130、記憶體1140及影像信號處理器1710。在一些示例性實施例中，如圖14所示，影像信號處理器1710可被實施為控制器1700的一部分。
影像信號處理器1710可對從影像感測器1120接收的影像（例如，原始影像）進行影像處理，產生經轉換的影像，並將經轉換的影像儲存在記憶體1140中。作為另外一種選擇或另外地，影像信號處理器1710可對經轉換的影像進行按比例縮放，並將經按比例縮放的影像提供到顯示裝置1130。當影像信號處理器1710以第二操作模式（例如，影像捕獲模式）操作時，當從影像感測器1120接收的影像（例如，原始影像）的寬度大於影像信號處理器1710中所包括的線緩衝器的大小時，影像信號處理器1710可將原始影像劃分成多個子影像，依序對所述多個子影像進行影像處理，依序產生多個經轉換的子影像，並將所述多個經轉換的子影像合併在一起以產生具有與原始影像相同大小的經轉換的影像，如以上參照圖1到圖12所述。經轉換的影像可儲存在記憶體130中和/或在顯示裝置140上顯示。
無線收發器1200可包括天線1210、收發器1220及數據機1230。音訊處理器1300可包括音訊處理器1310、麥克風1320及揚聲器1330。非揮發性記憶體裝置1500可被實施為儲存卡（例如，MMC、eMMC、SD和/或微SD）。
使用者介面1600可被實施為能夠接收使用者輸入的各種裝置中的一者，例如鍵盤、簾幕式鍵面板（curtain key panel）、觸摸面板、指紋感測器及麥克風。使用者介面1600可接收使用者輸入並將與所接收的使用者輸入對應的信號提供到控制器1700。
控制器1700可控制可攜端子1000的總體操作並被實施為被配置成驅動應用程式和/或作業系統的SoC。由SoC驅動的作業系統的內核可包括輸入/輸出（I/O）排程器以及被配置成控制非揮發性記憶體裝置1500的裝置驅動器。
在以上說明及圖式中公開了本發明概念的一些示例性實施例。儘管使用了具體用語，然而所述具體用語僅用於說明意義而並非用於限制目的。所屬領域中的普通技術人員應理解，在不背離由發明申請專利範圍界定的本發明概念的精神及範圍的條件下，可對所公開的示例性實施例作出形式及細節上的各種改變。
20a、20b:系統晶片（SoC） 21:第一介面 22:第二介面 23、230:壓縮編碼器 100、100a、100b:影像處理系統 110、110b、1120:影像感測器 111:像素陣列 112:類比數位轉換器（ADC） 113:列驅動器 114:時序產生器 115:斜坡信號產生器 116:控制暫存器 117:緩衝器 120、240、1710:影像信號處理器 121、PE:處理引擎 122:感測器控制器 130、1140:記憶體 140、1130:顯示裝置 200:應用處理器（AP） 210:主處理器 220:隨機存取記憶體（RAM) 250:非揮發性儲存介面 255、1500:非揮發性記憶體裝置 260:相機介面 265:相機 270:儲存介面 280:顯示介面 290:匯流排 1000:可攜端子 1100:影像處理器 1110:透鏡 1200:無線收發器 1210:天線 1220:收發器 1230:數據機 1300、1310:音訊處理器 1320:麥克風 1330:揚聲器 1600:使用者介面 1700:控制器 CDT、CDTa、CDTb:經轉換的影像 EDT:經編碼的影像 FT:濾波器 H:高度 IOM:輸入/輸出管理器 LB:線緩衝器 LS:大小 OR:交疊區 OR1:第一交疊區 OR2:第二交疊區 ORc:經轉換的交疊區 ORc1:第一經轉換的交疊區 ORc2:第二經轉換的交疊區 PX、PXs:像素資料 PX_T:目標像素資料 RDT、RDTa、RDTb:原始影像 S10、S20、S30、S40、S41、S42、S43、S50:操作 SDT、SDTa、SDTb:經按比例縮放的影像 SL:按比例縮放器 SP:子影像 SP1:第一子影像 SP2:第二子影像 SP3:第三子影像 SPc:經轉換的子影像 SPc1:第一經轉換的子影像 SPc2:第二經轉換的子影像 SPc3:第三經轉換的子影像 W、W1、W2、W3、WO1、WO2:寬度 X、Y:軸方向
結合附圖閱讀以下詳細說明，將會更清楚地理解本發明概念的示例性實施例，在附圖中： 圖1是根據一些示例性實施例的影像處理系統的方塊圖。 圖2是根據一些示例性實施例的影像劃分方法的圖。 圖3是根據一些示例性實施例的影像信號處理器的示意性方塊圖。 圖4A及圖4B是示出根據一些示例性實施例的影像信號處理器的操作的圖。 圖5示出其中根據一些示例性實施例原始影像被劃分成多個子影像的實例。 圖6示出其中根據一些示例性實施例確定多個子影像之間的交疊區的寬度的實例。 圖7是根據一些示例性實施例的影像處理系統的方塊圖。 圖8A及圖8B示出圖7所示影像處理系統的影像處理過程。 圖9是根據一些示例性實施例的影像處理系統的方塊圖。 圖10是圖9所示影像處理系統的詳細方塊圖。 圖11是根據一些示例性實施例的影像信號處理器的操作的流程圖。 圖12是根據一些示例性實施例的影像信號處理器的操作的流程圖。 圖13是根據一些示例性實施例的應用處理器（AP）的方塊圖。 圖14是根據一些示例性實施例的可攜端子的方塊圖。
100:影像處理系統
110:影像感測器
120:影像信號處理器
130:記憶體
140:顯示裝置
CDT:經轉換的影像
LB:線緩衝器
RDT:原始影像
SDT:經按比例縮放的影像

Claims (24)

  1. 一種用於基於由影像感測器提供的原始影像產生經轉換的影像的影像信號處理器，所述影像信號處理器包括：處理電路系統，被配置以：將與所接收影像的多條線對應的資料儲存在線緩衝器中；通過基於至少一個濾波器對儲存在所述線緩衝器中的所述資料進行濾波來實行影像處理操作；回應所述原始影像的寬度大於所述線緩衝器的大小，基於所述原始影像的所述寬度、交疊區的寬度以及所述線緩衝器的所述大小來確定子影像的數目，所述交疊區為兩個相鄰的子影像之間共用的區域；以及將所述原始影像劃分成等於所確定子影像的數目的多個子影像並從其中儲存有所述原始影像的第一記憶體請求所述多個子影像，以使得由所述線緩衝器依序接收所述多個子影像，所述多個子影像中的每一者的寬度小於所述線緩衝器的寬度，且所述多個子影像彼此平行。
  2. 如申請專利範圍第1項所述的影像信號處理器，所述處理電路系統被配置以將所述原始影像劃分成所述多個子影像以使得至少兩個相鄰的子影像彼此部分地交疊。
  3. 如申請專利範圍第2項所述的影像信號處理器，所述處理電路系統被配置以基於所述至少一個濾波器的大小而確定所述交疊區的所述寬度。
  4. 如申請專利範圍第3項所述的影像信號處理器，所述至少一個濾波器包括有限脈衝響應濾波器。
  5. 如申請專利範圍第3項所述的影像信號處理器，所述處理電路系統被配置以基於所述原始影像的所述寬度、所述線緩衝器的所述寬度以及所述交疊區的所述寬度而確定所述多個子影像中的每一者的所述寬度。
  6. 如申請專利範圍第1項所述的影像信號處理器，所述處理電路系統被配置以：以所述線緩衝器接收到所述多個子影像的次序來依序對所述多個子影像進行影像處理並產生多個經轉換的子影像；以及以所述多個經轉換的子影像產生的次序將所述多個經轉換的子影像依序儲存在所述第一記憶體或第二記憶體中的至少一者中並將所述多個經轉換的子影像合併成所述經轉換的影像，所述經轉換的影像具有與所述原始影像相同的大小。
  7. 如申請專利範圍第6項所述的影像信號處理器，所述處理電路系統被配置以確定要儲存所述多個經轉換的子影像的區的位址，以使得儲存在所述第一記憶體或所述第二記憶體中的所述至少一者中的所述多個經轉換的子影像構成所述經轉換的影像。
  8. 如申請專利範圍第1項所述的影像信號處理器，所述處理電路系統還被配置以基於顯示裝置的解析度對所述經轉換的影像的大小進行轉換。
  9. 如申請專利範圍第8項所述的影像信號處理器， 由所述影像感測器提供的所述原始影像的寬度在第一操作模式中等於或小於所述線緩衝器的所述寬度，且由所述影像感測器提供的所述原始影像的所述寬度在第二操作模式中大於所述線緩衝器的所述寬度。
  10. 如申請專利範圍第9項所述的影像信號處理器，在所述第一操作模式中，所述處理電路系統被配置以對所述原始影像進行影像處理以產生所述經轉換的影像，並對所述經轉換的影像進行按比例縮放以產生經按比例縮放的影像。
  11. 如申請專利範圍第1項所述的影像信號處理器，所述第一記憶體被配置以儲存從所述影像感測器接收的所述原始影像並回應於對所述多個子影像的所述請求而向所述線緩衝器依序提供所述原始影像的所述多個子影像。
  12. 如申請專利範圍第1項所述的影像信號處理器，所述處理電路系統被實施為硬體或被實施為軟體或韌體與硬體的組合，所述硬體包括至少一個處理器，且所述軟體或韌體包括由所述至少一個處理器執行的原始程式碼。
  13. 一種操作影像信號處理器的方法，所述影像信號處理器被配置以對由影像感測器產生的原始影像進行影像處理，所述影像信號處理器包括具有比所述原始影像的寬度小的大小的線緩衝器以及至少一個濾波器，所述方法包括：將所述原始影像劃分成多個條紋影像，所述多個條紋影像中的每一者在第一方向上的大小小於所述線緩衝器的所述大小，且 所述多個條紋影像彼此平行；使用所述線緩衝器及所述至少一個濾波器依序對所述多個條紋影像進行影像處理以產生多個經轉換的條紋影像；以及將所述多個經轉換的條紋影像合併成具有與所述原始影像相同大小的經轉換的影像。
  14. 如申請專利範圍第13項所述的方法，所述多個條紋影像中的兩個相鄰的條紋影像彼此部分地交疊。
  15. 如申請專利範圍第14項所述的方法，在所述兩個相鄰的條紋影像之間共用的交疊區的寬度是基於所述至少一個濾波器的大小而確定的。
  16. 如申請專利範圍第13項所述的方法，所述原始影像要劃分成的所述多個條紋影像的數目是基於所述線緩衝器的所述大小以及所述至少一個濾波器的大小而確定的。
  17. 如申請專利範圍第13項所述的方法，所述依序對所述多個條紋影像進行影像處理包括：以線為單位從其中儲存有所述原始影像的所述影像信號處理器的外部記憶體依序接收所述多個條紋影像中的第一條紋影像，所述依序接收所述第一條紋影像是由所述線緩衝器實行的；對儲存在所述線緩衝器中的所述第一條紋影像的資料進行濾波並產生經轉換的第一條紋影像，所述濾波及所述產生是由所述至少一個濾波器實行的；在完成所述產生所述經轉換的第一條紋影像後以線為單位從 所述外部記憶體依序接收所述多個條紋影像中的第二條紋影像，所述依序接收所述第二條紋影像是由所述線緩衝器實行的；以及對儲存在所述線緩衝器中的所述第二條紋影像的資料進行濾波並產生經轉換的第二條紋影像，所述濾波及所述產生是由所述至少一個濾波器實行的。
  18. 一種應用處理器，包括：影像信號處理器，被配置以對由影像感測器產生的原始影像進行影像處理並產生經轉換的影像；以及影像壓縮編碼器，被配置以對所述經轉換的影像進行壓縮，其中，在第二操作模式中，所述影像信號處理器被配置以將所述原始影像劃分成多個子影像，依序對所述多個子影像進行影像處理並產生多個經轉換的子影像。
  19. 如申請專利範圍第18項所述的應用處理器，在所述第二操作模式中，所述影像信號處理器被配置以從外部記憶體接收所述原始影像，所述原始影像以子影像為單位儲存在所述外部記憶體中。
  20. 如申請專利範圍第19項所述的應用處理器，在所述第二操作模式中，所述影像信號處理器被配置以將所述多個經轉換的子影像一同合併成所述經轉換的影像，所述經轉換的影像具有與所述原始影像相同的大小。
  21. 如申請專利範圍第18項所述的應用處理器，所述影像信號處理器包括被配置以儲存線資料的線緩衝器， 且在所述第二操作模式中，所述原始影像的寬度大於所述線緩衝器的大小。
  22. 如申請專利範圍第18項所述的應用處理器，所述影像壓縮編碼器被配置以將經壓縮的影像儲存在非揮發性記憶體中。
  23. 如申請專利範圍第18項所述的應用處理器，在第一操作模式中，所述影像信號處理器被配置以從所述影像感測器接收所述原始影像，對所述原始影像進行影像處理以產生所述經轉換的影像，對所述經轉換的影像進行按比例縮放以減小所述經轉換的影像的大小並產生經按比例縮放的影像，並將具有所述減小的大小的所述經按比例縮放的影像提供到顯示裝置。
  24. 如申請專利範圍第18項所述的應用處理器，還包括介面電路，所述介面電路被配置以從所述影像感測器接收所述原始影像，在所述第二操作模式中將所述原始影像儲存在外部記憶體中，且在第一操作模式中將所述原始影像傳送到所述影像信號處理器。
TW108133887A 2018-09-21 2019-09-19 影像信號處理器、其操作方法以及應用處理器 TWI757637B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0114379 2018-09-21
KR1020180114379A KR102637732B1 (ko) 2018-09-21 2018-09-21 이미지 신호 프로세서, 상기 이미지 신호 프로세서의 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 애플리케이션 프로세서

Publications (2)

Publication Number Publication Date
TW202013310A TW202013310A (zh) 2020-04-01
TWI757637B true TWI757637B (zh) 2022-03-11

Family

ID=69725105

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108133887A TWI757637B (zh) 2018-09-21 2019-09-19 影像信號處理器、其操作方法以及應用處理器

Country Status (6)

Country Link
US (2) US11189001B2 (zh)
KR (1) KR102637732B1 (zh)
CN (1) CN110944110B (zh)
DE (1) DE102019119746A1 (zh)
SG (1) SG10201908664TA (zh)
TW (1) TWI757637B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110865859B (zh) * 2019-10-29 2021-10-22 维沃移动通信有限公司 图片显示方法、装置、电子设备及介质
WO2022067489A1 (zh) * 2020-09-29 2022-04-07 深圳市大疆创新科技有限公司 图像处理方法、装置及图像采集设备
CN112714264B (zh) * 2020-11-13 2023-03-24 长沙湘计海盾科技有限公司 一种基于FPGA的HDM转eDP的接口转换装置及接口转换方法
CN113709494B (zh) * 2021-06-23 2024-04-09 珠海全志科技股份有限公司 用于超分重建的图像解压缩方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150070530A1 (en) * 2013-09-09 2015-03-12 Olympus Corporation Imaging apparatus
TW201537980A (zh) * 2014-03-20 2015-10-01 Sony Corp 攝像元件、控制方法及攝像裝置
US20150296193A1 (en) * 2012-05-31 2015-10-15 Apple Inc. Systems and methods for rgb image processing
US9681055B2 (en) * 2012-05-24 2017-06-13 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
TW201729409A (zh) * 2015-12-15 2017-08-16 三星電子股份有限公司 影像感測器以及形成影像感測器的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6370381A (ja) 1986-09-12 1988-03-30 インターナショナル・ビジネス・マシーンズ・コーポレーション イメ−ジ・デ−タの回転方法
US5079639A (en) * 1989-02-10 1992-01-07 Casio Computer Co., Ltd. Hand-held, manually sweepable image data processing apparatus
US6327000B1 (en) * 1999-04-02 2001-12-04 Teralogic, Inc. Efficient image scaling for scan rate conversion
US6496192B1 (en) 1999-08-05 2002-12-17 Matsushita Electric Industrial Co., Ltd. Modular architecture for image transposition memory using synchronous DRAM
US6801674B1 (en) 2001-08-30 2004-10-05 Xilinx, Inc. Real-time image resizing and rotation with line buffers
JP4219887B2 (ja) * 2004-12-28 2009-02-04 富士通マイクロエレクトロニクス株式会社 画像処理装置及び画像処理方法
US7307635B1 (en) 2005-02-02 2007-12-11 Neomagic Corp. Display rotation using a small line buffer and optimized memory access
US7595805B2 (en) 2006-04-11 2009-09-29 Qualcomm Incorporated Techniques to facilitate use of small line buffers for processing of small or large images
US9202444B2 (en) 2007-11-30 2015-12-01 Red Hat, Inc. Generating translated display image based on rotation of a display device
US20100073491A1 (en) 2008-09-22 2010-03-25 Anthony Huggett Dual buffer system for image processing
US8736695B2 (en) * 2010-11-12 2014-05-27 Qualcomm Incorporated Parallel image processing using multiple processors
JP2013236358A (ja) * 2012-03-14 2013-11-21 Sharp Corp 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
SG11201408612TA (en) * 2012-06-29 2015-01-29 Fraunhofer Ges Forschung Video data stream concept
US9350899B2 (en) 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images
GB2516221A (en) * 2013-07-01 2015-01-21 Barco Nv Method and processor for streaming video processing
US9336579B2 (en) 2014-03-07 2016-05-10 Qualcomm Incorporated System and method of performing multi-level integration
US10366471B2 (en) * 2015-12-02 2019-07-30 Texas Instruments Incorporated Universal and adaptive de-mosaicing (CFA) system
KR102460906B1 (ko) * 2016-02-17 2022-11-01 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
US20170372452A1 (en) 2016-06-22 2017-12-28 Qualcomm Incorporated Image rotation method and apparatus
WO2019100270A1 (zh) * 2017-11-22 2019-05-31 深圳市大疆创新科技有限公司 图像噪声标定方法及装置、图像降噪方法及装置、图像处理装置
US11228746B2 (en) * 2018-02-20 2022-01-18 Gopro, Inc. Multiple tone control
WO2020033524A1 (en) * 2018-08-07 2020-02-13 BlinkAI Technologies, Inc. Artificial intelligence techniques for image enhancement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9681055B2 (en) * 2012-05-24 2017-06-13 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
US20150296193A1 (en) * 2012-05-31 2015-10-15 Apple Inc. Systems and methods for rgb image processing
US20150070530A1 (en) * 2013-09-09 2015-03-12 Olympus Corporation Imaging apparatus
TW201537980A (zh) * 2014-03-20 2015-10-01 Sony Corp 攝像元件、控制方法及攝像裝置
TW201729409A (zh) * 2015-12-15 2017-08-16 三星電子股份有限公司 影像感測器以及形成影像感測器的方法

Also Published As

Publication number Publication date
CN110944110B (zh) 2022-05-13
US20220084159A1 (en) 2022-03-17
TW202013310A (zh) 2020-04-01
US11189001B2 (en) 2021-11-30
CN110944110A (zh) 2020-03-31
DE102019119746A1 (de) 2020-03-26
KR102637732B1 (ko) 2024-02-19
KR20200034504A (ko) 2020-03-31
SG10201908664TA (en) 2020-04-29
US20200098079A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
TWI757637B (zh) 影像信號處理器、其操作方法以及應用處理器
JP2006054887A (ja) スケーリング可能な解像度を備えたカメラ
US8798386B2 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
JP2002328881A (ja) 画像処理装置および画像処理方法並びに携帯用映像機器
TW201724029A (zh) 以全異比例縮放爲基礎之影像處理裝置、影像處理之方法、以及包括其之電子系統
US11683466B2 (en) Application processor, electronic device including the same and operation method of the electronic device
US11223762B2 (en) Device and method for processing high-resolution image
US11710213B2 (en) Application processor including reconfigurable scaler and devices including the processor
US20110242115A1 (en) Method for performing image signal processing with aid of a graphics processing unit, and associated apparatus
KR20220066917A (ko) 이미지 디워핑 시스템
US7864182B2 (en) Dynamic tile sizing in an image pipeline
US10445851B2 (en) Image processing apparatus and method
US11538142B2 (en) Image signal processor, operating method thereof, and image processing system including the image signal processor
US20230283916A1 (en) Imaging apparatus, operation method of imaging apparatus, and program
JP2008172410A (ja) 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US11216307B1 (en) Scheduler for vector processing operator readiness
CN109391788B (zh) 用于处理图像信号的系统
US20150326808A1 (en) Device and method for processing images
US20230153948A1 (en) Image signal processor, operating method of the image signal processor, and application processor including the image signal processor
JP6350151B2 (ja) 画像処理装置及び画像処理方法
TW202301137A (zh) 影像訊號處理器以及影像處理系統
KR20210071791A (ko) 고해상도 이미지를 처리하기 위한 장치 및 방법
JP6123691B2 (ja) 画像処理装置、画像処理方法及び撮像装置