TW202315385A - 影像信號處理器、影像感測裝置以及用於感測影像的方法 - Google Patents
影像信號處理器、影像感測裝置以及用於感測影像的方法 Download PDFInfo
- Publication number
- TW202315385A TW202315385A TW111132266A TW111132266A TW202315385A TW 202315385 A TW202315385 A TW 202315385A TW 111132266 A TW111132266 A TW 111132266A TW 111132266 A TW111132266 A TW 111132266A TW 202315385 A TW202315385 A TW 202315385A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- image signal
- statistical data
- signal
- statistics
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000012545 processing Methods 0.000 claims abstract description 100
- 238000007781 pre-processing Methods 0.000 claims abstract description 61
- 238000012937 correction Methods 0.000 claims description 50
- 238000012805 post-processing Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 40
- 238000011156 evaluation Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 20
- 238000003705 background correction Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000002950 deficient Effects 0.000 description 5
- PBGKNXWGYQPUJK-UHFFFAOYSA-N 4-chloro-2-nitroaniline Chemical compound NC1=CC=C(Cl)C=C1[N+]([O-])=O PBGKNXWGYQPUJK-UHFFFAOYSA-N 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 102220418944 c.46C>A Human genes 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 102200090745 rs137852499 Human genes 0.000 description 3
- 102220050188 rs146793243 Human genes 0.000 description 3
- 102200056307 rs74315287 Human genes 0.000 description 3
- 102200096289 rs763944821 Human genes 0.000 description 3
- 102220098139 rs878852992 Human genes 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Storing Facsimile Image Data (AREA)
Abstract
本發明提供一種影像信號處理器,包含:統計資料產生單元,用於接收來自外部裝置的影像信號;影像處理單元,用於接收影像信號;以及直接記憶體存取(DMA)模組,連接至統計資料產生單元及影像處理單元。統計資料產生單元對影像信號執行第一影像預處理且基於經受第一影像預處理的影像信號而產生第一統計資料。DMA模組將第一統計資料儲存於其中且將經儲存第一統計資料提供至影像處理單元。影像處理單元對影像信號執行第二影像預處理且基於第一統計資料而對影像信號執行影像處理。
Description
本揭露是關於一種影像信號處理器、一種影像感測裝置、一種影像感測方法以及一種電子裝置。
相關申請案的交叉參考
本申請案主張2021年9月17日向韓國智慧財產局申請的韓國專利申請案第10-2021-0124794號的優先權及自其獲利的所有權利,所述申請案的全部內容以引用的方式併入本文中。
影像感測裝置為將光學資訊轉換為電信號的半導體裝置中的一者。影像感測裝置可包含基於電荷耦接裝置(charge-coupled device;CCD)的影像感測裝置及基於互補金屬氧化物半導體(complementary metal-oxide semiconductor;CMOS)的影像感測裝置。
CMOS影像感測器可縮寫為CMOS影像感測器(CMOS image sensor;CIS)。CIS可包含以二維方式配置的多個像素。像素中的每一者可包含例如光電二極體(photodiode;PD)。光電二極體可用以在此處將入射光轉換為電信號。
隨著電腦工業及通信工業的最近發展,在各種領域中具有經改良效能的影像感測器(諸如數位攝影機、攝錄影機、智慧型電話、遊戲裝置、安全攝影機、醫學微攝影機以及機器人)的需求增加。
本揭露的技術目的為提供一種具有減少的功率消耗的影像信號處理器。
本揭露的技術目的為提供一種具有減少的功率消耗的影像感測裝置。
本揭露的技術目的為提供一種具有減少的功率消耗的影像感測方法。
本揭露的技術目的為提供一種具有減少的功率消耗的電子裝置。
根據本揭露的目的不限於上文提及的目的。未提及的根據本揭露的其他目的及優勢可基於以下描述而理解,且可基於根據本揭露的實施例而更清楚地理解。此外,將容易理解的是,根據本揭露的目的及優勢可使用申請專利範圍中所繪示的構件及其組合來實現。
根據本揭露的態樣,提供一種影像信號處理器,具有:統計資料產生單元,用於接收來自外部裝置的影像信號;影像處理單元,用於接收影像信號;以及直接記憶體存取(direct memory access;DMA)模組,連接至統計資料產生單元及影像處理單元。統計資料產生單元對影像信號執行第一影像預處理且基於經受第一影像預處理的影像信號而產生第一統計資料。DMA模組將第一統計資料儲存於其中且將經儲存第一統計資料提供至影像處理單元。影像處理單元對影像信號執行第二影像預處理且基於第一統計資料而對影像信號執行影像處理。
根據本揭露的態樣,提供一種影像感測裝置,具有:第一攝影機模組,包含產生第一影像信號的第一影像感測器;第二攝影機模組,包含產生第二影像信號的第二影像感測器。統計資料產生單元經組態以接收第一影像信號及第二影像信號,基於第一影像信號而產生第一統計資料,且基於第二影像信號而產生第二統計資料。影像處理單元經組態以選擇第一影像信號及第二影像信號中的一者且基於第一統計資料及第二統計資料而對第一影像信號及第二影像信號中的經選擇者執行影像處理。
根據本揭露的態樣,提供一種用於感測影像的方法,方法包含:(1)藉由影像感測器針對第一時段輸出第一訊框的影像信號,(2)藉由影像信號處理器接收第一訊框的影像信號,(3)藉由影像信號處理器針對部分重疊第一時段的第二時段基於第一訊框的影像信號而產生第一統計資料,以及(4)藉由影像信號處理器針對在第一時段及第二時段之後且不與第二時段重疊的第三時段基於第一統計資料而對第一訊框的影像信號執行影像處理。
根據本揭露的態樣,提供一種具有攝影機模組的電子裝置,包含:(1)影像感測器,用於回應於接收光而產生影像信號,以及(2)統計資料產生單元,用於基於影像信號而產生統計資料。連接至攝影機模組的應用程式處理器包含影像處理單元,經組態以接收來自攝影機模組的影像信號及統計資料且基於統計資料而對影像信號執行影像處理。
其他實施例的特定細節包含於實施方式及圖式中。
將參考隨附圖式描述根據本揭露的技術想法的實施例。
圖1為根據一些實施例的影像感測裝置的方塊圖。
參考圖1,影像感測裝置1可包含影像感測器100及影像信號處理器400。
影像感測器100可使用光感測感測目標的影像,且可基於經感測影像而產生像素信號SIG_PX。在一些實施例中,所產生像素信號SIG_PX可為例如數位信號。然而,根據本揭露的技術想法的實施例不限於此。
可將像素信號SIG_PX提供至影像信號處理器400以供其處理。影像信號處理器400可接收自影像感測器100的緩衝器1170輸出的像素信號SIG_PX,且處理接收到的像素信號SIG_PX以用於顯示其。
在一些實施例中,影像信號處理器400可對自影像感測器100輸出的像素信號SIG_PX執行數位像素合併。就此而言,自影像感測器100輸出的像素信號SIG_PX可為來自不經受類比像素合併的像素陣列PA的原始影像信號,或可為經受類比像素合併的像素信號SIG_PX。
在一些實施例中,影像感測器100及影像信號處理器400可如所繪示彼此分開地安置。舉例而言,影像感測器100可安裝於第一晶片上,而影像信號處理器400可安裝於第二晶片上。在此情況下,影像感測器100及影像信號處理器400可經由預界定介面彼此通信。然而,實施例不限於此。影像感測器100及影像信號處理器400可實施於一個封裝中,例如多晶片封裝(multi-chip package;MCP)。
影像感測器100可包含控制暫存器區塊1110、時序產生器1120、列驅動器1130、像素陣列PA、讀出電路1150、斜坡信號產生器1160以及緩衝器1170。
控制暫存器區塊1110可控制影像感測器100的整體操作。特定而言,控制暫存器區塊1110可將操作信號直接傳輸至時序產生器1120、斜坡信號產生器1160以及緩衝器1170。
時序產生器1120可產生作為影像感測器100的各種組件的操作時序的參考的信號。由時序產生器1120產生的操作時序參考信號可傳輸至列驅動器1130、讀出電路1150、斜坡信號產生器1160以及類似者。
斜坡信號產生器1160可產生及傳輸用於讀出電路1150的斜坡信號。舉例而言,讀出電路1150可包含相關重取樣器(correlated double sampler;CDS)、比較器等。斜坡信號產生器1160可產生及傳輸用於相關重取樣器(CDS)、比較器以及類似者的斜坡信號。
緩衝器1170可包含例如鎖存單元。緩衝器1170可在其中暫時儲存待提供至外部組件的像素信號SIG_PX,且可將像素信號SIG_PX傳輸至外部記憶體或外部裝置。緩衝器1170可包含諸如DRAM或SRAM的記憶體。
像素陣列PA可感測外部影像。像素陣列PA可包含多個像素(或單元像素)。列驅動器1130可選擇性地激活像素陣列PA的一列。
讀出電路1150可對自像素陣列PA提供的像素信號進行取樣,比較經取樣信號與斜坡信號,且接著基於比較結果將類比影像信號(資料)轉換為數位影像信號(資料)。
圖2為示出根據一些實施例的影像感測器的概念佈局的圖。
參考圖2,根據此實施例的影像感測器100可包含如豎直堆疊的上部晶片200及下部晶片300。在上部晶片200中,多個像素可以二維陣列結構配置。亦即,上部晶片200可包含像素陣列PA。下部晶片300可包含邏輯區域(logic area;LC)及記憶體區域。下部晶片300可安置於上部晶片200下方且可電連接至上部晶片200。下部晶片300可接收自上部晶片200傳輸的像素信號,且將接收到的像素信號傳輸至下部晶片300的邏輯區域LC。
邏輯元件可安置於下部晶片300的邏輯區域LC中。邏輯元件可包含電路以用於處理來自像素的像素信號。舉例而言,邏輯元件可包含圖1的控制暫存器區塊1110、時序產生器1120、列驅動器1130、讀出電路1150以及斜坡信號產生器1160。
圖3為根據一些實施例的影像感測器的俯視圖。圖4為用於示出圖3的像素陣列的圖。
參考圖3,像素陣列PA可安置於影像感測器100的頂面中。詳言之,像素陣列PA可安置於影像感測器100的上部晶片200的頂面中。像素陣列PA可接收入射光。就此而言,像素陣列PA可包含安置於每一像素中的每一光電二極體PD及每一微透鏡ML。光電二極體PD可安置於包含於像素陣列PA中的基板中。光電二極體PD可充當光電轉換器且可將入射於像素陣列PA上的光轉換為電荷。微透鏡ML可按每光電二極體PD安置。亦即,微透鏡ML可按每像素陣列PA中的每一像素安置且可接收光。穿過微透鏡ML的光可傳輸至光電二極體PD。在此圖式中,像素陣列PA的像素繪示為在第一方向X及第二方向Y上有規律地配置。然而,本揭露的實施例不限於此。
參考圖4,像素陣列PA可包含第一綠色像素G1至第八綠色像素G8、第一藍色像素B1至第四藍色像素B4以及第一紅色像素R1至第四紅色像素R4。像素陣列PA的多個像素可以RGB拜耳(Bayer)圖案配置。舉例而言,包含第一綠色像素G1至第八綠色像素G8的綠色像素可環繞包含第一藍色像素B1至第四藍色像素B4的藍色像素及包含第一紅色像素R1至第四紅色像素R4的紅色像素。如上文所描述,可有規律地配置像素陣列PA的多個像素。然而,本揭露的實施例不限於此。像素陣列PA的像素可以RGB四元(tetra)圖案或RGB九元(nona)圖案配置。
第一綠色像素G1至第八綠色像素G8可分別輸出第一綠色像素信號至第八綠色像素信號。第一藍色像素B1至第四藍色像素B4可分別輸出第一藍色像素信號至第四藍色像素信號。第一紅色像素R1至第四紅色像素R4可分別輸出第一紅色像素信號至第四紅色像素信號。亦即,自像素陣列PA輸出的一個訊框的影像信號或像素信號SIG_PX可包含第一綠色像素信號至第八綠色像素信號、第一藍色像素信號至第四藍色像素信號以及第一紅色像素信號至第四紅色像素信號。
圖5為根據一些實施例的影像感測裝置的方塊圖。
參考圖5,影像感測裝置1可包含影像感測器100、介面裝置I/F,以及影像信號處理器400。
如上文所描述,影像感測器100可基於感測目標的感測結果而產生及輸出影像信號IMGS。就此而言,影像信號IMGS可包含關於一個訊框的影像的資訊。輸出影像信號IMGS可傳輸至介面裝置I/F。介面裝置I/F可將影像信號IMGS提供至影像信號處理器400。
影像信號處理器400可包含統計資料產生單元410、影像處理單元440以及直接記憶體存取模組(DMA模組)450。就此而言,影像信號處理器400可藉由諸如CPU或ASIC的處理器實施。包含於影像信號處理器400中的統計資料產生單元410、影像處理單元440以及DMA模組450可藉由處理器實施但不限於硬體。
統計資料產生單元410可基於影像信號IMGS而產生統計資料STD。就此而言,統計資料產生單元410可以在運作中(on the fly;OTF)方式接收影像信號IMGS。統計資料產生單元410的統計資料STD產生操作可對應於統計資料產生管線。亦即,實施統計資料產生單元410的處理器可實施統計資料產生管線。統計資料產生管線可對應於僅產生統計資料而不執行影像信號處理的管線。統計資料產生單元410可將所產生的統計資料STD提供至DMA模組450。
在一些實施例中,統計資料STD可以用於控制影像感測裝置1及影像處理單元440的影像處理。亦即,統計資料STD可用於控制影像感測器100的操作。舉例而言,DMA模組450可基於統計資料STD而產生控制信號CTRL。控制信號CTRL可傳輸至影像感測器100。包含影像感測器100的攝影機模組可基於控制信號CTRL而操作。此外,統計資料STD可暫時儲存於DMA模組450中。經儲存統計資料STD可傳輸至影像處理單元440。影像處理單元440可使用統計資料STD對影像信號IMGS執行影像處理。
圖6及圖7為產生圖5的模組的統計資料的方塊圖。圖8為根據一些實施例的產生模組的統計資料的操作方法的流程圖。
參考圖6,統計資料產生單元410可包含不良像素校正模組411、透鏡陰影校正模組412、白平衡校正模組413、AF統計資料產生模組414、AE統計資料產生模組415、AWB統計資料產生模組416、按比例縮小器417以及LTM統計資料產生模組418。就此而言,包含於統計資料產生單元410中的組件可藉由處理器實施且不限於硬體。
在一些實施例中,影像預處理單元PPU可包含不良像素校正模組411、透鏡陰影校正模組412以及白平衡校正模組413。統計資料產生單元STU可包含AF統計資料產生模組414、AE統計資料產生模組415、AWB統計資料產生模組416以及LTM統計資料產生模組418。就此而言,影像預處理單元PPU可充當對影像信號IMGS執行影像預處理的單元。統計資料產生單元STU可充當用於使用影像信號IMGS產生統計資料STD的單元。如稍後將描述,影像預處理單元PPU可不同於包含於影像處理單元440中的影像預處理單元441。
參考圖6及圖8,在S500中,統計資料產生單元410可對影像信號IMGS執行不良像素校正及透鏡陰影校正。不良像素校正模組411可接收影像信號IMGS且可對影像信號IMGS執行不良像素校正。就此而言,不良像素校正模組411可基於儲存於影像感測裝置1的記憶體中的不良像素資訊而對影像信號IMGS執行不良像素校正。因此,不良像素校正模組411可輸出已校正不良像素的影像信號IMGS。
隨後,透鏡陰影校正模組412可對已執行不良像素修正的影像信號IMGS執行陰影校正。透鏡陰影校正可校正透鏡的黑暗部分。透鏡陰影校正模組412可基於影像感測器100的透鏡資訊而對影像信號IMGS執行透鏡陰影校正且可輸出經校正影像信號IMGS'。
在S501中,統計資料產生單元410可基於經校正影像信號IMGS'而產生統計資料STD。舉例而言,統計資料產生單元410可基於經校正影像信號IMGS'而產生AF統計資料AF STD、AE統計資料AE STD以及AWB統計資料AWB STD。
AF統計資料產生模組414可產生AF統計資料AF STD。AF統計資料AF STD可包含關於經校正影像信號IMGS'的自動聚焦資訊。就此而言,AF統計資料產生模組414可基於具有一個訊框的經校正影像信號IMGS'而產生AF統計資料AF STD。
AE統計資料產生模組415可產生AE統計資料AE STD。AF統計資料AF STD可包含關於經校正影像信號IMGS'的自動曝光資訊。就此而言,AE統計資料產生模組415可基於具有一個訊框的經校正影像信號IMGS'而產生AE統計資料AE STD。
AWB統計資料產生模組416可產生AWB統計資料AWB STD。AWB統計資料AWB STD可包含關於經校正影像信號IMGS'的自動白平衡資訊。就此而言,AWB統計資料產生模組416可基於具有一個訊框的經校正影像信號IMGS'而產生AWB統計資料AWB STD。
使用以上製程產生的AF統計資料AF STD、AE統計資料AE STD以及AWB統計資料AWB STD可自統計資料產生單元410輸出且傳遞至DMA模組450。AF統計資料AF STD可以用於包含影像感測器100的攝影機模組的自動聚焦調整。AE統計資料AE STD可以用於包含影像感測器100的攝影機模組的自動曝光控制。AWB統計資料AWB STD可以用於包含影像感測器100的攝影機模組的自動白平衡調整。此外,AF統計資料AF STD、AE統計資料AE STD以及AWB統計資料AWB STD可以用於影像預處理及影像後處理。AF統計資料AF STD、AE統計資料AE STD以及AWB統計資料AWB STD可使用具有一個訊框的影像信號IMGS的所有資訊產生。
白平衡校正模組413可對經校正影像信號IMGS'執行白平衡校正。白平衡校正意謂調整經校正影像信號IMGS'的整體亮度及色溫。白平衡校正模組413可輸出已執行白平衡校正的經校正影像信號IMGS'。
在S502中,按比例縮小器417可按比例縮小自白平衡校正模組413接收到的經校正影像信號IMGS'以產生經校正影像信號IMGS''就此而言,按比例縮小器417可經由數位像素合併或內插減小經校正影像信號IMGS'的資料容量。當經校正影像信號IMGS''的資料容量減小時,可進一步減小在後續製程中供統計資料產生單元410使用的功率。亦即,影像信號處理器400的功率消耗可藉由按比例縮小器417減少。
在S503中,統計資料產生單元410可基於經校正影像信號IMGS'而產生統計資料STD。舉例而言,LTM統計資料產生模組418可基於經校正影像信號IMGS''而產生LTM統計資料LTM STD。LTM統計資料LTM STD可充當用於局部色調映射的統計資料。LTM統計資料LTM STD可基於具有一個訊框的經校正影像信號IMGS''而產生。
總而言之,統計資料產生單元410可基於影像信號IMGS而產生統計資料STD。就此而言,統計資料STD可包含如上文所描述的AF統計資料AF STD、AE統計資料AE STD、AWB統計資料AWB STD以及LTM統計資料LTM STD。然而,本揭露的實施例不限於此。統計資料STD可包含與運動量測相關的運動量測統計資料、與面部識別相關的面部識別統計資料以及類似者。
參考圖7,統計資料產生單元410可包含雜訊降低模組420、色彩轉換矩陣模組421以及伽馬校正模組422。雜訊降低模組420、色彩轉換矩陣模組421以及伽馬校正模組422可對經校正影像信號IMGS''執行校正以產生經校正影像信號IMGS'''。然而,本揭露的實施例不限於此。統計資料產生單元410可不包含雜訊降低模組420、色彩轉換矩陣模組421以及伽馬校正模組422。此外,統計資料產生單元410可僅包含如參考圖6描述的不良像素校正模組411、AF統計資料產生模組414、AE統計資料產生模組415、AWB統計資料產生模組416以及LTM統計資料產生模組418。亦即,統計資料產生單元410可僅使用最小數目個組件產生統計資料STD,且因此可減小影像感測裝置1的功率消耗。
此外,統計資料產生單元410可充當統計資料產生管線。亦即,統計資料產生單元410可僅產生統計資料STD且可不執行影像處理。當統計資料產生單元410僅執行統計資料STD的產生時,可減小影像感測裝置1的功率消耗。
返回參考圖5,自統計資料產生單元410產生的統計資料STD可傳輸至DMA模組450。暫時儲存於DMA模組450中的統計資料STD可提供至影像處理單元440。亦即,統計資料STD可經由DMA模組450以記憶體至記憶體(memory to memory;M2M)方式傳送。
影像處理單元440可包含影像預處理單元441及影像後處理單元442。影像預處理單元441及影像後處理單元442可對影像信號IMGS執行不同影像處理。就此而言,影像處理單元440可使用統計資料STD執行影像處理。此外,影像處理單元440可充當影像處理管線。影像處理單元440可僅執行影像處理且可不執行統計資料產生。
圖9為圖5的影像處理模組的方塊圖。
參考圖9,影像預處理單元441可包含不良像素校正模組441a、陰影校正模組441b、AE評估值計算器441c以及AWB評估值計算器441d。影像預處理單元441可自DMA模組450及影像感測器100接收影像信號IMGS、經校正影像信號IMGS'''、AF統計資料AF STD、AE統計資料AE STD、AWB統計資料AWB STD以及LTM統計資料LTM STD。影像預處理單元441可基於AF統計資料AF STD、AE統計資料AE STD、AWB統計資料AWB STD以及LTM統計資料LTM STD而對影像信號IMGS以及經校正影像信號IMGS'''執行影像預處理。
不良像素校正模組441a可經由內插校正影像信號IMGS的不良像素。陰影校正模組441b可校正由於在影像周圍發生的發光度的省略而導致的影像的發光度的差異。就此而言,不良像素修正模組441a的操作及陰影校正模組441b的操作可分別與圖6中的不良像素修正模組411及透鏡陰影校正模組412的操作相同。亦即,可獨立地執行統計資料產生單元410及影像預處理單元441的不良像素校正。此外,可獨立地執行統計資料產生單元410及影像預處理單元441的透鏡陰影校正。此外,可在不同時間執行統計資料產生單元410及影像預處理單元441的不良像素校正。此外,可在不同時間執行統計資料產生單元410及影像預處理單元441的透鏡陰影校正。
AE評估值計算器441c可基於經校正影像信號IMGS而計算AE評估值。舉例而言,AE評估值計算器441c可藉由整合由影像感測器100感測的發光度值來計算指示亮度的AE評估值。亦即,AE評估值計算器441c可使用AE統計資料AE STD計算AE評估值。舉例而言,AE評估值可包含由影像感測器100感測的發光度值。
AWB評估值計算器441d可基於經校正影像信號IMGS而使用特定演算法計算AWB評估值。舉例而言,AWB評估值可包含用於白平衡校正處理的白平衡增益。舉例而言,AWB評估值可包含由影像感測器100感測的色溫值。就此而言,色溫值意謂經感測光的色彩表示為溫度。舉例而言,紅色的色溫值可為大約2000度K。藍光的色溫值可為大約10000度K。然而,根據本揭露的技術想法的實施例不限於此。亦即,AWB評估值計算器441d可使用AWB統計資料AWB STD計算評估值。
已藉由影像預處理單元441的組件校正的影像信號IMGS、AE評估值以及AWB評估值可暫時儲存於DMA模組450中或可直接傳輸至影像後處理單元442。
影像後處理單元442可對已由影像預處理單元441執行影像預處理的影像信號IMGS執行影像後處理。影像後處理單元442可包含解馬賽克模組442a、邊緣加重模組442b、伽馬校正模組442c以及白平衡補償模組442d。
解馬賽克模組442a可對影像信號IMGS執行解馬賽克處理(拜耳色彩內插處理)。邊緣加重模組442b可對影像信號IMGS執行邊緣加重處理。伽馬校正模組442c可對影像信號IMGS執行伽馬校正(例如補償)。白平衡補償模組442d可使用自影像預處理單元441產生的AWB評估值對影像信號IMGS執行色彩校正處理。
影像後處理單元442可輸出由於包含於其中的組件的校正操作引起的輸出影像信號OIMGS。輸出影像信號OIMGS可傳輸至外部顯示裝置。顯示裝置可顯示輸出影像信號OIMGS。所顯示輸出影像信號OIMGS可包含靜態影像或視訊。
圖10為根據一些實施例的DMA模組及影像預處理模組的方塊圖。圖11為圖10的DMA模組及影像預處理模組的操作方法的流程圖。
參考圖10及圖11,DMA模組450可包含記憶體451及控制器452。DMA模組450可連接至所有影像感測器100、統計資料產生單元410以及影像處理單元440。
在S510中,DMA模組450可在其中緩衝統計資料STD。DMA模組450可存自統計資料產生單元410接收AF統計資料AF STD、AE統計資料AE STD、AWB統計資料AWB STD以及LTM統計資料LTM STD且在記憶體451中緩衝接收到的資料。就此而言,記憶體451可為包含DRAM、SRAM等的揮發性記憶體。
控制器452可控制影像信號處理器400的整體操作及影像感測器100的操作。舉例而言,在S511中,控制器452可基於統計資料STD而產生控制信號CTRL。亦即,控制器452可將基於AF統計資料AF STD、AE統計資料AE STD、AWB統計資料AWB STD以及LTM統計資料LTM STD而產生的控制信號CTRL提供至包含影像感測器100的攝影機模組。
在S512中,包含影像感測器100的攝影機模組可基於控制信號CTRL而控制影像感測器100。亦即,可基於統計資料STD而回饋影像感測器100的操作。
在S513中,DMA模組450可將統計資料STD提供至影像預處理單元441。舉例而言,DMA模組450可將儲存於記憶體451中的AF統計資料AF STD、AE統計資料AE STD、AWB統計資料AWB STD以及LTM統計資料LTM STD提供至影像預處理單元441。
在S514中,影像預處理單元441可基於統計資料STD而執行不良像素校正。不良像素校正模組441a可基於統計資料STD而對影像信號IMGS執行不良像素校正。就此而言,影像預處理單元441的不良像素校正可獨立於統計資料產生單元410的不良像素校正模組411的不良像素校正。此外,影像預處理單元441的不良像素校正可在統計資料產生單元410的不良像素校正之後執行。
圖12至圖14為示出根據一些實施例的影像感測裝置隨著時間推移的操作的圖。
參考圖12,影像感測器100可自第一時間t1開始操作第一時段T1。影像感測器100可針對第一時段T1輸出一個訊框的影像信號IMGS。統計資料管線可自第二時間t2開始操作第二時段T2。亦即,統計資料產生單元410可針對第二時段T2產生及輸出關於一個訊框的影像信號IMGS的統計資料STD。就此而言,第一時段T1及第二時段T2可彼此部分地重疊。
影像預處理管線可自第三時間t3開始操作第三時段T3。影像預處理單元441可基於第三時段T3內的統計資料STD而對影像信號IMGS執行影像預處理。就此而言,第三時段T3不重疊第一時段T1及第二時段T2且可為至其的後續時段。由於統計資料STD需要一個訊框的所有資料,因此統計資料STD可在第二時段T2已過去之後輸出。因此,影像預處理單元441可使用所產生的統計資料STD執行影像預處理。
影像後處理管線可自第四時間t4開始操作第四時段T4。影像後處理單元442可基於第四時段T4內的統計資料STD而對影像信號IMSG執行影像後處理。就此而言,第四時段T4可部分重疊第三時段T3且可不重疊第二時段T2。因此,可產生輸出影像信號OIMGS。
編碼器可自第五時間t5開始操作第五時段T5。顯示裝置可操作第六時段T6。亦即,輸出影像信號OIMGS可經編碼且接著在第五時段T5及第六時段T6內顯示。
參考圖13,影像預處理管線可自第三時間t3'開始操作第三時段T3'。就此而言,第三時段T3'可部分重疊第一時段T1及第二時段T2。在此情況下,影像預處理單元441可執行影像預處理而不使用統計資料STD。
影像後處理管線可自第四時間t4'開始操作第四時段T4'。就此而言,第四時段T4'可不重疊第一時段T1及第二時段T2。影像後處理單元442可使用第二時段T2內產生的統計資料STD執行影像後處理。隨後,輸出影像信號OIMGS可經編碼且接著在接著第五時間t5'的第五時段T5'及第六時段T6'內顯示。
參考圖14,影像預處理管線可自第三時間t3''開始操作第三時段T3''。影像後處理管線可自第四時間t4''開始操作第四時段T4''。就此而言,第一時段T1內產生的影像信號IMGS及第二時段T2內產生的統計資料STD可對應於第二訊框的影像,而在第三時段T3''及第四時段T4''內執行影像處理的影像信號IMGS可對應於第一訊框的影像。就此而言,第二訊框的影像可在第一訊框的影像之後。隨後,輸出影像信號OIMGS可經編碼且接著在接著第五時間t5''的第五時段T5''及第六時段T6''內顯示。
在下文中,將參考圖15描述根據一些實施例的統計資料產生單元410。
圖15為根據一些實施例的產生模組的統計資料的方塊圖。為方便描述起見,簡單描述組件與如使用圖1至圖14所描述的彼等組件複製或省略其描述。
參考圖15,統計資料產生單元410可包含按比例縮小器419。按比例縮小器419可按比例縮小自影像感測器100輸出的影像信號IMGS。亦即,由按比例縮小器419產生的經校正影像信號IMGS2可具有比影像信號IMGS的資料容量更小的資料容量。亦即,統計資料產生單元410可使用具有較小資料容量的經校正影像信號IMGS2產生統計資料STD。因此,僅可處理較小量的資料,使得可減少統計資料產生單元410的功率消耗。
不良像素校正模組411及透鏡陰影校正模組412可基於經校正影像信號IMGS2而產生經校正影像信號IMGS2'。經校正影像信號IMGS2'可藉由按比例縮小器417進一步按比例縮小。隨後,按比例縮小器417可輸出經校正影像信號IMGS2''。
在下文中,將參考圖16及圖17A至圖17C描述根據一些實施例的影像感測裝置1。
圖16為包含像素合併模組的影像感測裝置的方塊圖。圖17A至圖17C為用於示出圖16中的像素合併模組的操作的圖。為便於說明起見,簡單描述組件與如使用圖1至圖14所描述的彼等組件複製或省略其描述。
參考圖16,影像感測裝置1的影像信號處理器400可更包含像素合併模組460。像素合併模組460可對自影像感測器100輸出的影像信號IMGS執行像素合併以產生經像素合併影像信號IMGS_B。經像素合併影像信號IMGS_B可傳輸至統計資料產生單元410及DMA模組450。
參考圖17A,影像信號IMGS_T可為四圖案的影像信號。舉例而言,輸出影像信號IMSG_T的像素陣列PA可具有四圖案。第一綠色像素信號G1S至第四綠色像素信號G4S可構成第一綠色像素群信號。第一紅色像素信號R1S至第四紅色像素信號R4S可構成第一紅色像素群信號。第一藍色像素信號B1S至第四藍色像素信號B4S可構成第一藍色像素群信號。第五綠色像素信號G5S至第八綠色像素信號G8S可構成第二綠色像素群信號。
自像素合併模組460輸出的經像素合併影像信號IMGS_T_B可為拜耳圖案的影像信號。經像素合併影像信號IMGS_T_B可包含第一綠色像素信號G1S'、第一紅色像素信號R1S'、第一藍色像素信號B1S'以及第二綠色像素信號G2S'。就此而言,第一綠色像素信號G1S'可具有第一綠色像素信號G1S至第四綠色像素信號G4S的平均值。第一紅色像素信號R1S'可具有第一紅色像素信號R1S至第四紅色像素信號R4S的平均值。第一藍色像素信號B1S'可具有第一藍色像素信號B1S至第四藍色像素信號B4S的平均值。第二綠色像素信號G2S'可具有第五綠色像素信號G5S至第八綠色像素信號G8S的平均值。
因此,自像素合併模組460輸出的經像素合併影像信號IMGS_T_B可具有比影像信號IMGS_T的資料容量更小的資料容量。因此,可減小藉由影像信號處理器400的統計資料產生單元410消耗的功率。
參考圖17B,影像信號IMGS_N可為九圖案的影像信號。舉例而言,輸出影像信號IMGS_N的像素陣列PA可具有九圖案。第一綠色像素信號G1S至第九綠色像素信號G9S可構成第一綠色像素群信號。第一紅色像素信號R1S至第九紅色像素信號R9S可構成第一紅色像素群信號。第一藍色像素信號B1S至第九藍色像素信號B9S可構成第一藍色像素群信號。第十綠色像素信號G10S至第十八綠色像素信號G18S可構成第二綠色像素群信號。
自像素合併模組460輸出的像素合併影像信號IMGS_N_B可為拜耳圖案的影像信號。經像素合併影像信號IMGS_N_B可包含第一綠色像素信號G1S''、第一紅色像素信號R1S''、第一藍色像素信號B1S''以及第二綠色像素信號G2S''。就此而言,第一綠色像素信號G1S''可具有第一綠色像素信號G1S至第九綠色像素信號G9S的平均值。第一紅色像素信號R1S''可具有第一紅色像素信號R1S至第九紅色像素信號R9S的平均值。第一藍色像素信號B1S''可具有第一藍色像素信號B1S至第九藍色像素信號B9S的平均值。第二綠色像素信號G2S''可具有第十綠色像素信號G10S至第十八綠色像素信號G18S的平均值。
參考圖17C,影像信號IMGS_HD可為十六元(hexadeca)圖案的影像信號。舉例而言,輸出影像信號IMGS_HD的像素陣列PA可具有十六圖案。第一綠色像素信號G1S至第十六綠色像素信號G16S可構成第一綠色像素群信號。第一紅色像素信號R1S至第十六紅色像素信號R16S可構成第一紅色像素群信號。第一藍色像素信號B1S至第十六藍色像素信號B16S可構成第一藍色像素群信號。第十七綠色像素信號G17S至第三十二綠色像素信號G32S可構成第二綠色像素群信號。
自像素合併模組460輸出的經像素合併影像信號IMGS_HD_B可為拜耳圖案的影像信號。經像素合併影像信號IMGS_HD_B可包含第一綠色像素信號G1S'''、第一紅色像素信號R1S'''、第一藍色像素信號B1S'''以及第二綠色像素信號G2S'''。就此而言,第一綠色像素信號G1S'''可具有第一綠色像素信號G1S至第十六綠色像素信號G16S的平均值。第一紅色像素信號R1S'''可具有第一紅色像素信號R1S至第十六紅色像素信號R16S的平均值。第一藍色像素信號B1S''可具有第一藍色像素信號B1S至第十六藍色像素信號B16S的平均值。第二綠色像素信號G2S''可具有第十七綠色像素信號G17S至第三十二綠色像素信號G32S的平均值。
在下文中,將參考圖18及圖19描述根據一些實施例的影像感測裝置1b。
圖18為包含多個影像感測器的影像感測裝置的方塊圖。圖19為圖18的影像感測裝置的操作方法的流程圖。為便於說明起見,簡單描述組件與如使用圖1至圖14所描述的彼等組件複製或省略其描述。
參考圖18及圖19,影像感測裝置1b可包含第一影像感測器100a及第二影像感測器100b。就此而言,第一影像感測器100a及第二影像感測器100b可為不同的單獨影像感測器。安置第一影像感測器100a的攝影機模組及安置第二影像感測器100b的攝影機模組可彼此分隔且可獨立地操作。第一影像感測器100a及第二影像感測器100b兩者可經由介面裝置I/F連接至影像信號處理器400。
在S520中,第一影像感測器100a及第二影像感測器100b可分別產生第一影像信號IMGS1及第二影像信號IMGS2。所產生的第一影像信號IMGS1及所產生的第二影像信號IMGS2可傳輸至影像信號處理器400。在S521中,統計資料產生單元410可基於第一影像信號IMGS1而產生第一統計資料STD1且可基於第二影像信號IMGS2而產生第二統計資料STD2。亦即,統計資料產生單元410可同時產生第一統計資料STD1及第二統計資料STD2。所產生的第一統計資料STD1及第二統計資料STD2兩者可轉送至DMA模組450。DMA模組450可分別基於第一統計資料STD1及第二統計資料STD2而產生第一控制信號CTRL1及第二控制信號CTRL2。第一控制信號CTRL1可傳輸至第一影像感測器100a,而第二控制信號CTRL2可傳輸至第二影像感測器100b。此外,第一統計資料STD1及第二統計資料STD2可經由DMA模組450傳輸至影像處理單元440。
在S522中,影像信號處理器400可選擇第一影像感測器100a。當影像信號處理器400選擇第一影像感測器100a時,多工器470可僅將接收到的第一影像信號IMGS1及接收到的第二影像信號IMGS2當中的接收到的第一影像信號IMGS1提供至影像處理單元440。因此,在S523中,影像處理單元440可基於第一統計資料STD1及第二統計資料STD2而對第一影像信號IMGS1執行影像處理。亦即,可不在此時對第二影像信號IMGS2執行影像處理。
在S524中,影像信號處理器400可選擇第二影像感測器100b。當影像信號處理器400選擇第二影像感測器100b時,多工器470可僅將接收到的第一影像信號IMGS1及接收到的第二影像信號IMGS2當中的接收到的第二影像信號IMGS2提供至影像處理單元440。因此,在S525中,影像處理單元440可基於第一統計資料STD1及第二統計資料STD2而對第二影像信號IMGS2執行影像處理。亦即,可不在此時對第一影像信號IMGS1執行影像處理。
當對第一影像信號IMGS1及第二影像信號IMGS1中的一者執行影像處理時,可連續產生第一統計資料STD1及第二統計資料STD2。由於統計資料產生單元410不執行影像處理且僅產生統計資料STD,因此可進一步減少影像信號處理器400的功率消耗。此外,當已切換攝影機模組時,可快速對如由多工器470選擇的第一影像信號IMGS1及第二影像信號IMGS2中的一者執行影像處理,此僅是由於產生第一統計資料STD1及第二統計資料STD2兩者。
在下文中,參考圖20至圖22,將描述根據一些其他實施例的電子裝置600、電子裝置600'以及電子裝置600''。
圖20為根據一些實施例的電子裝置的圖。圖21為根據一些實施例的電子裝置的圖。圖22為根據一些實施例的電子裝置的圖。為便於說明起見,簡單描述組件與如使用圖1至圖14所描述的彼等組件複製或省略其描述。
參考圖20,電子裝置600可包含攝影機模組610及應用程式處理器620。應用程式處理器620可處理及顯示自攝影機模組610輸出的影像信號且可控制攝影機模組610。
攝影機模組610可包含影像感測器100。應用程式處理器620可包含影像信號處理器400。影像感測器100可安置於攝影機模組610中。影像感測器100可產生影像信號IMGS且將影像信號提供至應用程式處理器620。
影像信號處理器400可安置於應用程式處理器620中。影像信號處理器400可基於自攝影機模組610接收到的影像信號IMGS而產生統計資料STD且對影像信號IMGS執行影像處理。亦即,應用程式處理器620可執行統計資料STD產生及影像處理兩者。
參考圖21,電子裝置600'可包含攝影機模組610及應用程式處理器620。攝影機模組610可包含影像感測器100及影像信號處理器400兩者。亦即,影像感測器100及影像信號處理器400兩者可安置於攝影機模組610中。
影像信號處理器400可基於自影像感測器100輸出的影像信號IMGS而產生統計資料STD且使用統計資料STD對影像信號IMGS執行影像處理。亦即,攝影機模組610可執行統計資料STD產生及影像處理兩者。
參考圖22,電子裝置600''可包含攝影機模組610及應用程式處理器620。攝影機模組610可包含影像感測器100及統計資料產生單元410。應用程式處理器620可包含影像處理單元440。亦即,統計資料產生單元410及影像處理單元440可安置於不同組件中。
包含於攝影機模組610中的統計資料產生單元410可基於影像信號IMGS而產生統計資料STD。攝影機模組610可將影像信號IMGS及統計資料STD提供至應用程式處理器620。包含於應用程式處理器620中的影像處理單元440可基於統計資料STD而對影像信號IMGS執行影像處理。亦即,攝影機模組610可產生統計資料STD,而應用程式處理器620可對影像信號IMGS執行影像處理。
在下文中,將參考圖23描述根據一些其他實施例的影像感測器100''。
圖23為示出根據一些實施例的影像感測器的概念佈局的圖。為便於說明起見,簡單描述組件與如使用圖1至圖22所描述的彼等組件複製或省略其描述。
參考圖23,影像感測器100''可包含上部晶片200、下部晶片300以及記憶體晶片300'。就此而言,上部晶片200、下部晶片300以及記憶體晶片300'可沿著第三方向Z依序堆疊。記憶體晶片300'可安置於下部晶片300之下。記憶體晶片300'可包含記憶體裝置。舉例而言,記憶體晶片300'可包含諸如DRAM及SRAM的揮發性記憶體裝置。記憶體晶片300'可自上部晶片200及下部晶片300接收信號且使用存記憶體裝置處理信號。亦即,包含記憶體晶片300'的影像感測器100''可實施為三層堆疊影像感測器。
在下文中,將參考圖24及圖25描述根據一些其他實施例的電子裝置2000。
圖24為用於示出根據一些實施例的包含多攝影機模組的電子裝置的方塊圖。圖25為圖24的攝影機模組的細節方塊圖。為便於說明起見,簡單描述組件與如使用圖1至圖23所描述的彼等組件複製或省略其描述。
參考圖24,電子裝置2000可包含攝影機模組群組2100、應用程式處理器2200、功率管理積體電路(power management integrated circuit;PMIC)2300、外部記憶體2400以及顯示器2500。
攝影機模組群組2100可包含多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c。儘管圖式繪示配置三個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c的實施例,但實施例不限於此。在一些實施例中,攝影機模組群組2100可經修改以包含僅兩個攝影機模組。此外,在一些實施例中,攝影機模組群組2100可經修改以包含n個攝影機模組(n為4或大於4的自然數)。
就此而言,三個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者可為包含如參考18圖所描述的影像感測器100a及影像感測器100b的攝影機模組。
在下文中,參考圖25,將更詳細地描述攝影機模組2100b的詳細組態。然而,以下描述可同樣適用於根據實施例的其他攝影機模組2100a及攝影機模組2100c。
參考圖25,攝影機模組2100b可包含稜鏡2105、光學路徑摺疊元件(下文中,「optical path folding element;OPFE」)2110、致動器2130、影像感測裝置2140以及儲存裝置2150。
稜鏡2105可包含由反射材料製成的反射面2107,且因此,可修改自外部入射的光L的路徑。
在一些實施例中,稜鏡2105可改變光L的路徑,使得在第一方向X上入射至其的光在垂直於第一方向X的第二方向Y上自其輸出。此外,稜鏡2105可在A方向上圍繞中心軸2106旋轉反射材料的反射面2107或可在B方向上旋轉中心軸2106,使得在第一方向X上入射至其上的光在垂直於第一方向X的第二方向上自其輸出。就此而言,OPFE 2110可在正交於由第一方向X及第二方向Y界定的平面的第三方向Z移動。
在一些實施例中,如所繪示,稜鏡2105在A方向上的最大值旋轉角度可在正(+)A方向上小於或等於15度且可在負(-)A方向大於15度。然而,本揭露的實施例不限於此。
在一些實施例中,稜鏡2105可在正(+)B方向或負(-)B方向上移動大約20度,或10度與20度之間或15度與20度之間的範圍。就此而言,稜鏡2105可在正(+)B方向及負(-)B方向上移動相同角度。替代地,稜鏡2105可分別在正(+)B方向及負(-)B方向上移動的角度可在其間具有約1度的差。
在一些實施例中,稜鏡2105可在第三方向上移動由光反射材料製成的反射面2107,所述第三方向例如平行於中心軸線2106的延伸方向的Z方向。
OPFE 2110可包含m個光學透鏡(m為自然數)的群組。m個光學透鏡的群組可在第二方向Y上移動以改變攝影機模組2100b的光學變焦比率。舉例而言,攝影機模組2100b的基本光學變焦比率可為Z。當包含於OPFE 2110中的m個光學透鏡移動時,攝影機模組2100b的光學變焦比率可改變為等於或高於3Z或5Z的光學變焦比率。
致動器2130可將OPFE 2110或光學透鏡移動至特定位置。舉例而言,致動器2130可調整光學透鏡的位置,使得影像感測器2142位於光學透鏡的焦距處以用於準確感測。
影像感測裝置2140可包含影像感測器2142、控制邏輯2144以及記憶體2146。影像感測器2142可使用經由光學透鏡提供的光L對感測目標的影像進行感測。在一些實施例中,影像感測器2142可包含如上文所描述的影像感測器100、影像感測器100a或影像感測器100b。影像感測器2142可輸出影像信號IMGS。
控制邏輯2144可控制攝影機模組2100b的所有操作。舉例而言,控制邏輯2144可基於經由控制信號線CSLb提供的控制信號而控制攝影機模組2100b的操作。
記憶體2146可在其中儲存攝影機模組2100b的操作所需的資訊,諸如校準資料2147。校準資料2147可包含在攝影機模組2100b使用自外部提供的光L產生影像資料時所需的資訊。校準資料2147可包含例如關於旋轉度的資訊、關於焦距的資訊、關於光軸的資訊以及類似者,如上文所描述。當攝影機模組2100b以其中焦距基於光學透鏡的位置而變化的多狀態攝影機形式實施時,校準資料2147可包含基於光學透鏡的每位置(或每狀態)的焦距值及關於自動聚焦的資訊。
儲存裝置2150可在其中儲存經由影像感測器2142感測的影像資料。儲存裝置2150可安置於影像感測裝置2140外部,且可實施為堆疊於構成影像感測裝置2140的感測器晶片上。在一些實施例中,儲存裝置2150可實施為電可擦除可程式化唯讀記憶體(Electrically Erasable Programmable Read-Only Memory;EEPROM)。然而,本揭露的實施例不限於此。
一起參考圖24及圖25,在一些實施例中,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者可包含每一致動器2130。因此,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者可包含基於包含於其中的致動器2130的操作的相同或不同校準資料2147。
在一些實施例中,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c當中的一個攝影機模組(例如,2100b)可為如上文所描述的呈包含稜鏡2105及OPFE 2110的摺疊透鏡形式的攝影機模組,而剩餘攝影機模組(例如,2100a及2100c)中的每一者可為不包含稜鏡2105及OPFE 2110的豎直型攝影機模組。然而,實施例不限於此。
在一些實施方案中,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c當中的一個攝影機模組(例如,2100c)可為例如使用紅外線(Infrared Ray;IR)提取深度資訊的豎直形式的深度攝影機。在此情況下,應用程式處理器1200可合併自深度攝影機提供的影像資料及自另一攝影機模組(例如,2100a或2100b)提供的影像資料以產生三維深度影像(3D深度影像)。
在一些實施例中,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的至少兩者(例如,2100a及2100b)可具有不同視野(Field of View;FOV)。在此情況下,例如多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的至少兩者(例如,2100a及2100b)的光學透鏡可彼此不同。然而,本揭露不限於此。
此外,在實施方案中,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c的FOV可彼此不同。在此情況下,分別包含於多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的光學透鏡亦可彼此不同。然而,本揭露不限於此。
在一些實施例中,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c可彼此實體上分離。亦即,可採用可將個別影像感測器2142安置於多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者中的方案,而非將影像感測器2142的感測區域劃分成對應於多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c的多個子區域的方案。
返回參考圖24,應用程式處理器2200可包含影像處理裝置2210、記憶體控制器2220以及內部記憶體2230。可將應用程式處理器2200實施為與多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c分離。舉例而言,應用程式處理器2200以及多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c可實施為彼此分離的單獨半導體晶片。
影像處理裝置2210可包含多個子影像處理器2212a、子影像處理器2212b以及子影像處理器2212c、影像產生器2214以及攝影機模組控制器2216。
子影像處理器2212a、子影像處理器2212b以及子影像處理器2212c的數目可對應於攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c的數目。
可經由彼此分離的影像信號線ISLa、影像信號線ISLb以及影像信號線ISLc中的每一者將自攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者產生的影像資料提供至子影像處理器2212a、子影像處理器2212b以及子影像處理器2212c中的每一者。舉例而言,可經由影像信號線ISLa將自攝影機模組2100a產生的影像資料傳輸至子影像處理器2212a。可經由影像信號線ISLb將自攝影機模組2100b產生的影像資料傳輸至子影像處理器2212b。可經由影像信號線ISLc將自攝影機模組2100c產生的影像資料傳輸至子影像處理器2212c。影像資料傳輸可例如使用基於行動行業處理器介面(Mobile Industry Processor Interface;MIPI)的攝影機串列介面(camera serial interface;CSI)執行。然而,本揭露的實施例不限於此。
在一個實例中,一個子影像處理器可對應於多個攝影機模組。舉例而言,子影像處理器2212a及子影像處理器2212c可並不如所繪示彼此分開地實施但可整合於一個子影像處理器中。可經由例如多工器的選擇元件選擇自攝影機模組2100a及攝影機模組2100c提供的影像資料,且接著可將所述影像資料提供至經整合子影像處理器。
提供至子影像處理器2212a、子影像處理器2212b以及子影像處理器2212c中的每一者的影像資料可提供至影像產生器2214。影像產生器2214可使用自子影像處理器2212a、子影像處理器2212b以及子影像處理器2212c中的每一者提供的影像資料且基於影像產生資訊或模式信號而產生輸出影像。
特定言之,影像產生器2214可合併自具有不同FOV的攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c且基於影像產生資訊或模式信號而產生的影像資料的至少一部分,且因此可產生輸出影像作為合併結果。此外,影像產生器2214可選擇自具有不同FOV的攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c且基於影像產生資訊或模式信號而產生的影像資料中的一者,且因此可產生輸出影像作為經選擇資料。
在一些實施例中,影像產生資訊可包含變焦信號或變焦因數。此外,在一些實施例中,模式信號可為例如基於由使用者選擇的模式的信號。
當影像產生資訊為變焦信號或變焦因數,且攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c具有不同FOV時,影像產生器2214可基於變焦信號的類型而執行不同操作。舉例而言,當變焦信號為第一信號時,影像產生器可將自攝影機模組2100a輸出的影像資料與自攝影機模組2100c輸出的影像資料彼此合併,且使用經合併影像資料產生輸出影像;且自攝影機模組2100b輸出的影像資料不用於合併操作。當變焦信號為不同於第一信號的第二信號時,影像產生器2214可不執行此類影像資料合併操作,但可選擇自攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c輸出的影像資料中的一者且可產生經選擇資料作為輸出影像。然而,實施例不限於此。用於處理影像資料的方案可按需要修改。
在一些實施例中,影像產生器2214可自多個子影像處理器2212a、子影像處理器2212b以及子影像處理器2212c中的至少一者接收具有不同曝光時間的多個影像資料,且可對接收到的多個影像資料執行高動態範圍(high dynamic range;HDR)處理,由此產生具有增加的動態範圍的經合併影像資料。
攝影機模組控制器2216可將控制信號提供至攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者。可經由彼此分離的控制信號線CSLa、控制信號線CSLb以及控制信號線CSLc中的對應一者將自攝影機模組控制器2216產生的控制信號提供至攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的對應一者。
可基於包含變焦信號或模式信號的影像產生資訊將多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的一者指定為主攝影機(例如,2100b),而可將剩餘攝影機模組(例如,2100a及2100c)中的每一者指定為從屬攝影機。此指定資訊可包含於控制信號中且可經由彼此分離的控制信號線CSLa、控制信號線CSLb以及控制信號線CSLc中的對應一者將指定資訊提供至攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的對應一者。
充當主攝影機或從屬攝影機的攝影機模組可基於變焦因數或操作模式信號而變化。舉例而言,當攝影機模組2100a的FOV大於攝影機模組2100c的FOV,且變焦因數指示低變焦比率時,攝影機模組2100c可充當主攝影機,而攝影機模組2100a可充當從屬攝影機。相反,當變焦因數指示高變焦比率時,攝影機模組2100a可充當主攝影機,而攝影機模組2100c可充當從屬攝影機。
在一些實施例中,自攝影機模組控制器2216提供至攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者的控制信號可包含同步啟用信號。舉例而言,當攝影機模組2100b為主攝影機且攝影機模組2100a及攝影機模組2100c中的每一者為從屬攝影機時,攝影機模組控制器2216可將同步啟用信號傳輸至攝影機模組2100b。已接收此類同步啟用信號之後,攝影機模組2100b可基於所提供同步啟用信號而產生同步信號,且可經由同步信號線SSL將所產生同步信號提供至攝影機模組2100a及攝影機模組2100c。當使用同步信號使攝影機模組2100b及攝影機模組2100a以及攝影機模組2100c彼此同步時,攝影機模組2100b及攝影機模組2100a以及攝影機模組2100c可將影像資料傳輸至應用程式處理器2200。
在一些實施例中,自攝影機模組控制器2216提供至多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者的控制信號可根據模式信號包含模式資訊。基於此模式資訊,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c可相對於感測速度在第一操作模式或第二操作模式下操作。
在第一操作模式中,多個攝影機模組2100a、2100b以及2100c可以第一速率產生影像信號(例如,可以第一訊框率產生影像信號),可以高於第一速率的第二速率編碼影像信號(例如,可以高於第一訊框率的第二訊框率編碼影像信號),且可將經編碼影像信號傳輸至應用程式處理器2200。就此而言,第二速率可低於或等於第一速率的30倍。
應用程式處理器2200可將接收到的影像信號(亦即經編碼影像信號)儲存於其中提供的記憶體2230或應用程式處理器2200外部的儲存裝置2400中,接著自記憶體2230或儲存裝置2400讀取及解碼經編碼影像信號,且接著顯示基於經解碼影像信號而產生的影像資料。舉例而言,影像處理裝置2210的多個輔助處理器2212a、輔助處理器2212b以及輔助處理器2212c當中的對應輔助處理器可執行解碼,且可對經解碼影像信號執行影像處理。舉例而言,基於經解碼影像信號而產生的影像資料可顯示於顯示器2500上。
在第二操作模式中,多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c可以低於第一速率的第三速度產生影像信號(例如,以低於第一訊框率的第三訊框率產生影像信號),且將影像信號傳輸至應用程式處理器2200。提供至應用程式處理器2200的影像信號可為未經編碼信號。應用程式處理器2200可對接收到的影像信號執行影像處理,或可將影像信號儲存於記憶體2230或儲存裝置2400中。
PMIC 2300可將功率(例如,電源電壓)供應至多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c中的每一者。舉例而言,PMIC 2300可在應用程式處理器2200的控制下經由第一功率信號線PSLa將第一功率供應至攝影機模組2100a,經由第二功率信號線PSLb將第二功率供應至攝影機模組2100b,且經由第三功率信號線PSLc將第三功率供應至攝影機模組2100c。
PMIC 2300可回應於來自應用程式處理器2200的功率控制信號PCON而產生對應於多個攝影機模組2100a、2100b以及2100c中的每一者的功率,且調整功率位準。功率控制信號PCON可包含多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c的基於操作模式的功率調整信號。舉例而言,操作模式可包含低功率模式。就此而言,功率控制信號PCON可包含關於在低功率模式下操作的攝影機模組的資訊及關於設定功率位準的資訊。分別提供至多個攝影機模組2100a、攝影機模組2100b以及攝影機模組2100c的功率的位準可彼此相同或不同。此外,功率的位準可動態地變化。
在下文中,將參考圖26描述根據另一實施例的包含電子控制單元710及獲取裝置(例如偵測器)730的載具700。
圖26為根據一些實施例的包含攝影機模組的載具的圖。為便於說明起見,簡單描述組件與如使用圖1至圖23所描述的彼等組件複製或省略其描述。
參考圖26,載具700可包含多個電子控制單元(electronic control units;ECU)710及儲存裝置720。
多個電子控制單元710中的每一者可電、機械以及以通信方式連接至設置於載具700中的多個裝置當中的至少一個裝置,且可基於一個功能執行命令而控制至少一個裝置的操作。
就此而言,多個裝置可包含獲取執行至少一個功能所需的資訊的獲取裝置730,及執行至少一個功能的驅動單元740。
舉例而言,獲取裝置730可包含各種偵測器及影像獲取裝置。驅動單元740可包含空氣調節裝置的葉片及壓縮器、通風裝置的葉片、功率裝置的引擎及電動機、操縱裝置的電動機、制動裝置的電動機及閥門,以及門或尾閘門的打開/關閉裝置。就此而言,獲取裝置730可包含如上文參考圖1至圖23所描述的影像感測器100或影像感測裝置1。此外,獲取裝置730可包含多個影像感測器100a及影像感測器100b。
多個電子控制單元710可使用例如乙太網、低電壓差動信號(low voltage differential signal;LVD)通信以及本端互連網路(Local Interconnect Network;LIN)通信中的至少一者與獲取裝置730及驅動單元740通信。
多個電子控制單元710判定是否有必要基於經由獲取裝置730獲得的資訊而執行功能,且接著當判定有必要執行功能時控制執行功能的驅動單元740的操作。就此而言,多個電子控制單元710可基於所獲得的資訊而控制操作量。就此而言,多個電子控制單元710可將所獲取的影像儲存於儲存裝置720中或讀取儲存於儲存裝置720中的資訊且使用經讀取資訊。
多個電子控制單元710可基於經由輸入單元750輸入的功能執行命令而控制執行功能的驅動單元740的操作。多個電子控制單元710可識別對應於經由輸入單元750輸入的資訊的設定量且可基於所識別設定量而控制執行功能的驅動單元740的操作。
每一電子控制單元710可獨立地控制一個功能或可結合另一電子控制單元控制一個功能。
舉例而言,當如使用距離偵測器偵測到的載具至障礙物的距離在參考距離內時,用於避免碰撞裝置的電子控制單元可經由揚聲器輸出關於與障礙物碰撞的警告聲音。
用於自動駕駛控制裝置的電子控制單元可與用於載具終端的電子控制單元、用於影像獲取裝置的電子控制單元以及用於避免碰撞裝置的電子控制單元相關聯,可接收導航資訊、道路影像資訊以及至障礙物的距離資訊,且可基於用於自動駕駛的接收到的資訊而控制功率裝置、制動裝置以及操縱裝置。
連接性控制單元(connectivity control unit;CCU)760可電、機械以及以通信方式連接至多個電子控制單元710中的每一者,且可與多個電子控制單元710中的每一者通信。
亦即,連接性控制裝置760可與設置於載具內部的多個電子控制單元710直接通信,可與外部伺服器通信,且可經由介面與外部終端通信。
就此而言,連接性控制裝置760可與多個電子控制單元710通信,且可使用天線(未繪示)及RF通信與伺服器810通信。
此外,連接性控制裝置760可經由無線通信與伺服器810通信。就此而言,連接性控制裝置760與伺服器810之間的無線通信可包含各種無線通信方案,諸如Wifi、無線寬頻、全球行動通信系統(global System for Mobile Communication;GSM)、分碼多重存取(Code Division Multiple Access;CDMA)、寬頻分碼多重存取(Wideband Code Division Multiple Access;WCDMA)、全球行動電信系統(universal mobile telecommunications system;UMTS)、分時多重存取(Time Division Multiple Access;TDMA)、長期演進(Long Term Evolution;LTE)等。
在下文中,將參考圖27及圖28描述根據另一實施例的行動電子裝置3000。
圖27為根據一些實施例的包含多個攝影機模組的行動電子裝置的圖。圖28為用於示出圖27的行動電子裝置的方塊圖。為便於說明起見,簡單描述組件與如使用圖1至圖23所描述的彼等組件複製或省略其描述。
參考圖27,行動電子裝置3000可包含可摺疊殼體3110、顯示裝置3130、第一攝影機模組3200以及第二攝影機模組3300。就此而言,可摺疊殼體3110可包含沿著摺疊軸3120相對於彼此可摺疊的第一殼體3010及第二殼體3020。第一殼體3010及第二殼體3020可以摺疊狀態面朝彼此。
當行動電子裝置3000不處於摺疊狀態時,第一殼體3010及第二殼體3020可構成平面結構。此時,顯示裝置3130可構成平面結構。然而,當行動電子裝置3000處於摺疊狀態時,第一殼體3010及第二殼體3020可面朝彼此。
參考圖28,第一攝影機模組3200可包含第一影像感測器100a且第二攝影機模組3300可包含第二影像感測器100b。影像信號處理器400可基於來自第一攝影機模組3200的第一影像信號IMGS1及來自第二攝影機模組3300的第二影像信號IMGS2而產生統計資料STD。
由於在領域中為傳統的,因此可就進行所描述的一或多個功能的區塊而言描述及示出實施例。本文中可稱為單元或模組或其類似者的此等區塊藉由以下各者實體地實施,且可視情況由韌體及/或軟體來驅動:諸如邏輯閘的類比電路及/或數位電路、積體電路、微處理器、微控制器、記憶體電路、被動電子組件、主動電子組件、光學組件、固線式電路以及類似者。電路可例如在一或多個半導體晶片中體現,或體現於諸如印刷電路板及類似者的基底支撐件上。構成區塊的電路可藉由專用硬體或藉由處理器(例如,一或多個程式化微處理器及相關聯電路系統)或藉由專用硬體的組合來實施以執行區塊的一些功能;且由處理器實施以執行區塊的其他功能。在不脫離本揭露的範疇的情況下,實施例的每一區塊可經實體分離成兩個或大於兩個互動區塊及離散區塊。同樣,在不脫離本揭露的範疇的情況下,實施例的區塊可實體地組合成更複雜區塊。實施例的態樣可經由儲存於非暫時性儲存媒體內且由處理器執行的指令實現。
儘管已參考隨附圖式更詳細地描述本揭露的實施例,但本揭露未必限於此等實施例。本揭露可在不脫離本揭露的技術想法的範疇內以各種經修改方式實施。因此,本揭露中所揭露的實施例並不意欲限制本揭露的技術想法,而是描述本揭露。本揭露的技術想法的範疇不受實施例限制。因此,應理解,如上文所描述的實施例在所有態樣中均為說明性及非限制性的。本揭露的保護範疇應由申請專利範圍解釋,且在本揭露的範疇內的所有技術想法應解釋為包含於本揭露的範疇內。
1、1b:影像感測裝置
100、100''、2142:影像感測器
100a:第一影像感測器
100b:第二影像感測器
200:上部晶片
300:下部晶片
300':記憶體晶片
400:影像信號處理器
410:統計資料產生單元
411:不良像素校正模組
412:透鏡陰影校正模組
413:白平衡校正模組
414:AF統計資料產生模組
415:AE統計資料產生模組
416:AWB統計資料產生模組
417、419:按比例縮小器
418:LTM統計資料產生模組
420:雜訊降低模組
421:色彩轉換矩陣模組
422:伽馬校正
440:影像處理單元
441:影像預處理單元
441a:不良像素校正模組
441b:陰影校正模組
441c:AE評估值計算器
441d:AWB評估值計算器
442:影像後處理單元
442a:解馬賽克模組
442b:邊緣加重模組
442c:伽馬校正模組
442d:白平衡補償模組
450:DMA模組
451:記憶體
452:控制器
460:像素合併模組
470:多工器
600、600' 600''、2000:電子裝置
610、2100a、2100b、2100c:攝影機模組
620、2200:應用程式處理器
700:載具
710:電子控制單元
720、2150:儲存裝置
730:獲取裝置
740:驅動單元
750:輸入單元
760:連接性控制單元
810:伺服器
1110:控制暫存器區塊
1120:實現產生器
1130:列驅動器
1150:讀出電路
1160:斜坡信號產生器
1170:緩衝器
2100:攝影機模組群組
2105:稜鏡
2106:中心抽
2107:反射面
2110:光學路徑摺疊元件
2130:制動器
2140:影像感測裝置
2144:控制邏輯
2146:記憶體
2147:校準資料
2210:影像處理裝置
2212a、2212b、2212c:子影像處理器
2214:影像產生器
2216:攝影機模組控制器
2220:記憶體控制器
2230:內部記憶體
2300:功率管理積體電路
2400:外部記憶體
2500:顯示器
3000:行動電子裝置
3010:第一殼體
3020:第二殼體
3110:可摺疊殼體
3120:摺疊軸
3130:顯示裝置
3200:第一攝影機模組
3300:第二攝影機模組
AE STD:AE統計資料
AF STD:AF統計資料
AWB STD:AWB統計資料
B1:第一藍色像素
B1S、B1S'、B1S''、 B1S''':第一藍色像素信號
B4:第四藍色像素
B4S:第四藍色像素信號
B9S:第九藍色像素信號
B16S:第十六藍色像素信號
CSLa、CSLb、CSLc:控制信號線
CTRL:控制信號
CTRL1:第一控制信號
CTRL2:第二控制信號
G1:第一綠色像素
G1S、G1S'、G1S''、G1S''':第一綠色像素信號
G2S'、G2S''、G2S''':第二綠色像素信號
G4S:第四綠色像素信號
G5S:第五綠色像素信號
G8:第八綠色像素
G8S:第八綠色像素信號
G9S:第九綠色像素信號
G10S:第十綠色像素信號
G16S:第十六綠色像素信號
G17S:第十七綠色像素信號
G18S:第十八綠色像素信號
G32S:第三十二綠色像素信號
I/F:介面裝置
IMGS、IMGS_HD、IMGS_N、IMGS_T:影像信號
IMGS'、IMGS''、IMGS'''、IMGS2、IMGS2'、IMGS2'':經校正影像信號
IMGS1:第一影像信號
IMGS2:第二影像信號
IMGS_B、IMGS_HD_B、IMGS_N_B、IMGS_T_B:經像素合併影像信號
ISLa、ISLb、ISLc:影像信號線
L:光
LC:邏輯區域
LTM STD:LTM統計資料
ML:微透鏡
OIMGS:輸出影像信號
PA:像素陣列
PCON:功率控制信號
PD:光電二極體
PSLa:第一功率信號線
PSLb:第二功率信號線
PSLc:第三功率信號線
PPU:影像預處理單元
R1:第一紅色像素
R1S、R1S'、R1S''、R1S''':第一紅色像素信號
R4:第四紅色像素
R4S:第四紅色像素信號
R9S:第九紅色像素信號
R16S:第十六紅色像素信號
S500、S501、S502、S503、S510、S511、S512、S513、S514、S520、S521、S522、S523、S524、S525:步驟
SIG_PX:像素信號
SSL:同步信號線
STD:統計資料
STD1:第一統計資料
STD2:第二統計資料
t1:第一時間
T1:第一時段
t2:第二時間
T2:第二時段
t3、t3'、t3'':第三時間
T3、T3'、T3'':第三時段
t4、t4'、t4'':第四時間
T4、T4'、T4'':第四時段
t5、t5':第五時間
T5、T5'、t5''、T5'':第五時段
T6、T6'、T6'':第六時段
X:第一方向
Y:第二方向
Z:第三方向
本揭露的上述及其他態樣及特徵藉由參考附圖而詳細描述其例示性實施例將變得更顯而易見,其中:
圖1為根據一些實施例的影像感測裝置的方塊圖。
圖2為示出根據一些實施例的影像感測器的概念佈局的圖。
圖3為根據一些實施例的影像感測器的俯視圖。
圖4為用於示出圖3的像素陣列的圖。
圖5為根據一些實施例的影像感測裝置的方塊圖。
圖6及圖7為產生圖5的模組的統計資料的方塊圖。
圖8為根據一些實施例的產生模組的統計資料的操作方法的流程圖。
圖9為圖5的影像處理模組的方塊圖。
圖10為根據一些實施例的DMA模組及影像預處理模組的方塊圖。
圖11為圖10的DMA模組及影像預處理模組的操作方法的流程圖。
圖12至圖14為示出根據一些實施例的影像感測裝置隨著時間推移的操作的圖。
圖15為根據一些實施例的產生模組的統計資料的方塊圖。
圖16為包含像素合併模組的影像感測裝置的方塊圖。
圖17A至圖17C為用於示出圖16中的像素合併模組的操作的圖。
圖18為包含多個影像感測器的影像感測裝置的方塊圖。
圖19為圖18的影像感測裝置的操作方法的流程圖。
圖20為根據一些實施例的電子裝置的圖。
圖21為根據一些實施例的電子裝置的圖。
圖22為根據一些實施例的電子裝置的圖。
圖23為示出根據一些實施例的影像感測器的概念佈局的圖。
圖24為用於示出根據一些實施例的包含多攝影機模組的電子裝置的方塊圖。
圖25為圖24的攝影機模組的細節方塊圖。
圖26為根據一些實施例的包含攝影機模組的載具的圖。
圖27為根據一些實施例的包含多個攝影機模組的行動電子裝置的圖。
圖28為用於示出圖27的行動電子裝置的方塊圖。
1:影響感測裝置
100:影響感測器
400:影響信號處理器
410:統計資料產生單元
440:影響處理單元
441:影響預處理單元
442:影響後處理單元
450:DMA模組
CTRL:控制信號
I/F:介面裝置
IMGS:影像信號
STD:統計資料
Claims (20)
- 一種影像信號處理器,包括: 統計資料產生單元,用於接收來自外部裝置的影像信號; 影像處理單元,用於接收所述影像信號;以及 直接記憶體存取(DMA)模組,連接至所述統計資料產生單元及所述影像處理單元,其中: 所述統計資料產生單元對所述影像信號執行第一影像預處理且基於經受所述第一影像預處理的所述影像信號而產生第一統計資料, 所述直接記憶體存取模組將所述第一統計資料儲存於其中且將經儲存的所述第一統計資料提供至所述影像處理單元,且 所述影像處理單元對所述影像信號執行第二影像預處理且基於所述第一統計資料而對所述影像信號執行影像處理。
- 如請求項1所述的影像信號處理器,其中: 所述第一統計資料包含以下中的至少一者:關於自動聚焦的統計資料、關於自動曝光的統計資料、關於自動白平衡的統計資料、關於局部色調映射的統計資料、關於運動量測資料的統計資料以及關於面部識別的統計資料,且 所述直接記憶體存取模組將所述第一統計資料提供至所述外部裝置。
- 如請求項1所述的影像信號處理器,其中: 所述統計資料產生單元對經受所述第一影像預處理的所述影像信號執行按比例縮小,由此產生經校正影像信號,且 所述經校正影像信號的資料容量小於經受所述第一影像預處理的所述影像信號的資料容量。
- 如請求項1所述的影像信號處理器,其中: 所述統計資料產生單元在執行所述第一影像預處理之前對所述影像信號執行按比例縮小以產生按比例縮小影像信號, 所述統計資料產生單元對所述按比例縮小影像信號執行所述第一影像預處理,且 所述按比例縮小影像信號的資料容量小於所述影像信號的資料容量。
- 如請求項1所述的影像信號處理器,其中: 所述影像信號處理器更包括像素合併模組,經組態以: 接收來自所述外部裝置的所述影像信號; 對所述影像信號執行像素合併以產生經像素合併影像信號;以及 將所述經像素合併影像信號提供至所述統計資料產生單元,且 所述經像素合併影像信號的資料容量小於傳輸至所述影像處理單元的所述影像信號的資料容量。
- 如請求項5所述的影像信號處理器,其中: 所述影像信號具有四元圖案、九元圖案以及十六元圖案中的一者,且 所述經像素合併影像信號具有拜耳(Bayer)圖案。
- 如請求項1所述的影像信號處理器,其中所述第一影像預處理與所述第二影像預處理一致。
- 如請求項1所述的影像信號處理器,其中所述統計資料產生單元對第一訊框的影像信號的操作不與所述影像處理單元對所述第一訊框的所述影像信號的操作同時執行。
- 如請求項8所述的影像信號處理器,其中在所述第一訊框之後,所述統計資料產生單元對第二訊框的影像信號的操作與所述影像處理單元對所述第一訊框的所述影像信號的操作同時執行。
- 一種影像感測裝置,包括: 第一攝影機模組,包含產生第一影像信號的第一影像感測器; 第二攝影機模組,包含產生第二影像信號的第二影像感測器; 統計資料產生單元,經組態以接收所述第一影像信號及所述第二影像信號,基於所述第一影像信號而產生第一統計資料,且基於所述第二影像信號而產生第二統計資料;以及 影像處理單元,經組態以選擇所述第一影像信號及所述第二影像信號中的一者且基於所述第一統計資料及所述第二統計資料而對所述第一影像信號及所述第二影像信號中經選擇的所述一者執行影像處理。
- 如請求項10所述的影像感測裝置,其中所述影像處理單元在對所述第一影像信號執行影像處理時不對所述第二影像信號執行影像處理。
- 如請求項10所述的影像感測裝置,其中所述第一攝影機模組基於所述第一統計資料而控制,且所述第二攝影機模組基於所述第二統計資料而控制。
- 如請求項10所述的影像感測裝置,其中: 所述影像處理單元包含不同的第一子影像處理單元及第二子影像處理單元, 所述第一子影像處理單元對所述第一影像信號執行影像處理, 所述第二子影像處理單元對所述第二影像信號執行影像處理,且 當操作所述第一子影像處理單元時,所述第二子影像處理單元不操作。
- 如請求項10所述的影像感測裝置,其中: 所述影像處理單元包含影像預處理單元及不同於所述影像預處理單元的影像後處理單元,且 所述影像預處理單元基於所述第一統計資料及所述第二統計資料而執行不良像素校正。
- 如請求項10所述的影像感測裝置,其中: 所述統計資料產生單元在產生所述第一統計資料及所述第二統計資料之前對所述第一影像信號及所述第二影像信號執行按比例縮小以產生第一按比例縮小影像信號及第二按比例縮小影像信號, 所述統計資料產生單元基於所述第一按比例縮小影像信號而產生所述第一統計資料且基於所述第二按比例縮小影像信號而產生所述第二統計資料, 所述第一按比例縮小影像信號的資料容量小於所述第一影像信號的資料容量,且 所述第二按比例縮小影像信號的資料容量小於所述第二影像信號的資料容量。
- 一種用於感測影像的方法,所述方法包括: 在第一時段的期間藉由影像感測器輸出第一訊框的影像信號; 藉由影像信號處理器接收所述第一訊框的所述影像信號, 藉由所述影像信號處理器在部分重疊所述第一時段的第二時段的期間基於所述第一訊框的所述影像信號而產生第一統計資料;以及 藉由所述影像信號處理器在所述第一時段及所述第二時段之後且不與所述第二時段重疊的第三時段的期間基於所述第一統計資料而對所述第一訊框的所述影像信號執行影像處理。
- 如請求項16所述的方法,更包括: 藉由所述影像信號處理器在所述第三時段的期間對所述第一訊框的所述影像信號執行影像預處理;以及 藉由所述影像信號處理器在與所述第三時段部分重疊的第四時段的期間對所述第一訊框的所述影像信號執行影像後處理。
- 如請求項16所述的方法,更包括: 藉由所述影像信號處理器在部分重疊所述第二時段的第四時段的期間對所述第一訊框的所述影像信號執行影像預處理;以及 藉由所述影像信號處理器在所述第三時段的期間對所述第一訊框的所述影像信號執行影像後處理。
- 如請求項16所述的方法,其中所述第一統計資料的產生包含對所述第一訊框的所述影像信號執行按比例縮小以產生按比例縮小影像信號且基於所述按比例縮小影像信號而產生所述第一統計資料。
- 如請求項16所述的方法,更包括基於所述第一統計資料而控制所述影像感測器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2021-0124794 | 2021-09-17 | ||
KR1020210124794A KR20230041327A (ko) | 2021-09-17 | 2021-09-17 | 이미지 신호 프로세서, 이미지 센싱 장치, 이미지 센싱 방법 및 전자 장치 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202315385A true TW202315385A (zh) | 2023-04-01 |
Family
ID=85523630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111132266A TW202315385A (zh) | 2021-09-17 | 2022-08-26 | 影像信號處理器、影像感測裝置以及用於感測影像的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230108491A1 (zh) |
KR (1) | KR20230041327A (zh) |
CN (1) | CN115834794A (zh) |
TW (1) | TW202315385A (zh) |
-
2021
- 2021-09-17 KR KR1020210124794A patent/KR20230041327A/ko unknown
-
2022
- 2022-03-07 US US17/688,195 patent/US20230108491A1/en active Pending
- 2022-08-26 TW TW111132266A patent/TW202315385A/zh unknown
- 2022-09-15 CN CN202211121754.3A patent/CN115834794A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230041327A (ko) | 2023-03-24 |
CN115834794A (zh) | 2023-03-21 |
US20230108491A1 (en) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102480600B1 (ko) | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 | |
US9967453B2 (en) | Method of operating image signal processor and method of operating imaging system including the same | |
US8154610B2 (en) | Image sensor with built-in ISP and dual camera system | |
US11889240B2 (en) | Image device and operation method of image device | |
CN104023173A (zh) | 固体摄像装置以及摄像机模块 | |
US10986315B2 (en) | Pixel array included in image sensor, image sensor including the same and electronic system including the same | |
US11412197B2 (en) | Electronic device including image sensor | |
KR102412020B1 (ko) | 이미지 센서의 파라미터 제어 방법 | |
US20220385841A1 (en) | Image sensor including image signal processor and operating method of the image sensor | |
TW202315385A (zh) | 影像信號處理器、影像感測裝置以及用於感測影像的方法 | |
JP2019140648A (ja) | 撮像装置及び撮像装置の制御方法 | |
US20230169629A1 (en) | Image signal processor, method for operating image signal processor and image sensing device | |
US20240005448A1 (en) | Imaging device and image processing method | |
US20230300481A1 (en) | Image sensing device and image processing method of the same | |
US11722795B2 (en) | Image processing device for noise reduction using dual conversion gain and operation method thereof | |
TWI835535B (zh) | 影像感測裝置 | |
US11974059B2 (en) | Image sensor, method of sensing image, and electronic device including the same with different resolutions | |
US11601612B2 (en) | Imaging device and method of operating the same | |
US11528440B2 (en) | Digital pixel sensor and analog digital converter | |
US20230353891A1 (en) | Method of binning image sensor, and image sensor performing the same | |
US20220394219A1 (en) | Image device, image sensor, and operation method of image sensor | |
WO2023040540A1 (zh) | 图像处理芯片、应用处理芯片、电子设备和图像处理方法 | |
US20220247949A1 (en) | Image sensor and electronic device including the same | |
US20230199345A1 (en) | Image sensing device, method for sensing image, and electronic device | |
US20230008501A1 (en) | Image sensor and operating method thereof |