TW202203639A - 影像感測設備及其影像像素合併方法 - Google Patents

影像感測設備及其影像像素合併方法 Download PDF

Info

Publication number
TW202203639A
TW202203639A TW110108247A TW110108247A TW202203639A TW 202203639 A TW202203639 A TW 202203639A TW 110108247 A TW110108247 A TW 110108247A TW 110108247 A TW110108247 A TW 110108247A TW 202203639 A TW202203639 A TW 202203639A
Authority
TW
Taiwan
Prior art keywords
image
pixel
sub
kernel
pixels
Prior art date
Application number
TW110108247A
Other languages
English (en)
Inventor
姜熙
張璨煐
崔祐碩
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200097290A external-priority patent/KR20210114313A/ko
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202203639A publication Critical patent/TW202203639A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Abstract

本發明提供一種包含影像感測器及數位信號處理器的影像感測設備，影像感測器包含：像素陣列，組態成輸出具有拜耳圖案的原始影像；以及類比端，組態成對與第一綠色像素、紅色像素、藍色像素以及第二綠色像素相對應的多個子內核中的每一者的相同行中包含的相同顏色的像素組執行類比像素合併處理且輸出不同顏色的中位值，數位信號處理器組態成對多個子內核中的每一者的不同行中包含的不同顏色的中位值執行數位像素合併處理且輸出經像素合併影像。

Description

影像感測設備及其影像像素合併方法
本揭露的實例實施例是關於一種影像感測設備及其影像像素合併方法。
影像感測設備可用於行動裝置或電子裝置，諸如智慧型手機、平板個人電腦（personal computer；PC）、數位攝影機或類似物。通常，影像感測設備組態成具有二維整合的像素且將與入射光的亮度相對應的電信號轉換為數位信號並輸出數位信號。此處，影像感測設備可包含拜耳（Bayer）圖案，且可提供與入射在拜耳圖案上的光的亮度相對應的拜耳影像資料。
每一影像感測設備中的像素數目（亦即，影像感測設備的解析度）已根據技術發展而增大，且像素解析度的增大可導致待處理的資料量增加。因此，影像感測設備執行像素合併。像素合併儲存不僅包含使用影像感測設備的所有像素的資訊來創建影像，且亦包含將每一組相鄰像素的資訊併入至整合資訊的單個片段中並藉由使用整合資訊創建需要待處理的目標影像。
一或多個實例實施例提供一種影像像素合併方法，其能夠減少或減輕鋸齒狀雜訊及任何假色缺陷且藉此輸出具有改良品質的經像素合併影像。
一或多個實例實施例亦提供一種影像感測設備，其能夠減少或減輕鋸齒狀雜訊及任何假色缺陷且藉此輸出具有改良品質的經像素合併影像。
然而，實施例不限於本文所闡述的彼等實施例。藉由參考下文給出的本揭露的實施方式，以上及其他實例實施例對於在本揭露涉及的領域具有普通知識者將變得更顯而易見。
根據實例實施例的一態樣，提供一種包含影像感測器及數位信號處理器的影像感測設備，所述影像感測器包含：像素陣列，組態成輸出具有拜耳圖案的原始影像；以及類比端，組態成對與第一綠色像素、紅色像素、藍色像素以及第二綠色像素相對應的多個子內核中的每一者的相同行中包含的相同顏色的像素組執行類比像素合併處理且輸出不同顏色的中位值，所述數位信號處理器組態成對多個子內核中的每一者的不同行中包含的不同顏色的中位值執行數位像素合併處理且輸出經像素合併影像。
根據實例實施例的另一態樣，提供一種影像感測設備的影像像素合併方法，所述方法包含：自像素陣列接收拜耳圖案的原始影像；基於對具有相對於不同顏色的不對稱配置的單元內核的原始影像執行類比像素合併處理而輸出每一內核的中位值；以及基於對中位值中的至少一者執行數位像素合併處理而輸出經像素合併影像。
根據實例實施例的另一態樣，提供一種包含影像感測器及數位信號處理器的影像感測設備，所述影像感測器包含像素陣列及類比端，其中所述像素陣列組態成輸出拜耳圖案的原始影像，其中所述類比端組態成對來自原始影像的方形單元內核中的每一者的每一顏色的設置在對角線方向上的第一像素及第二像素執行類比像素合併處理且輸出對應顏色的中位值，且其中所述數位信號處理器組態成基於對中位值及來自單元內核中的每一者的設置在對應顏色的拐角處的第三像素執行數位像素合併處理而獲得及輸出經像素合併像素值，且產生包含經像素合併像素值的經像素合併影像。
下文中將參考隨附圖式描述實例實施例。
本文中所揭露的單元及模組以及隨附圖式中示出的功能區塊可各自實施為組態成執行特定功能的硬體、軟體或其組合。
圖1為根據實例實施例的影像感測設備的方塊圖。
參考圖1，影像感測設備1可包含顯示單元300、數位信號處理器（digital signal processor；DSP）150以及影像感測器200。
影像感測器200包含像素陣列210、列驅動器220、相關二重取樣（correlated double sampling；CDS）區塊230、類比數位轉換器（analog-to-digital converter；ADC）240、斜坡發生器260、定時信號發生器270、控制暫存器區塊280以及緩衝器290。
影像感測器200可在DSP 150控制下感測對象400（其經由透鏡500捕獲），且DSP 150可輸出影像，所述影像藉由影像感測器200感測且輸出至顯示單元300。
在實例實施例中，影像感測器200可自像素陣列210接收原始影像，可經由ADC 240及緩衝器290對原始影像執行類比像素合併，且可將所得類比像素合併影像輸出至DSP 150。
顯示單元300的實例可包含可輸出或顯示影像的各種類型的裝置。舉例而言，顯示單元300可以是電腦、行動通信裝置或另一影像輸出端子。
DSP 150包含攝影機控制器110、影像信號處理器（image signal processor；ISP）100以及介面（I/F）120。
攝影機控制器110可控制控制暫存器區塊280的操作。攝影機控制器110可藉由使用內置積體電路（inter-integrated circuit；I2C）來控制影像感測器200的操作，尤其是控制暫存器區塊280的操作，但實施例不限於此。
ISP 100可自緩衝器290接收影像資料，可處理接收到的影像資料以使其看起來對使用者有利，且可經由I/F 120將處理的影像資料輸出至顯示單元300。
ISP 100可對由影像感測器200輸出的影像執行數位像素合併。ISP 100可將所得數位像素合併影像輸出顯示單元300作為最終像素合併影像。由影像感測器200輸出的影像可以是來自像素陣列210的原始影像或可以是類比像素合併影像。
參考圖1，ISP 100示出為位於DSP 150中。然而，實施例不限於此。舉例而言，根據其他實例實施例，ISP 100可包含在影像感測器200中。另外，在其他實例實施例中，影像感測器200及ISP 100可實施為單個封裝，諸如多晶片封裝（multi-chip package；MCP）。
像素陣列210可實施為多個光偵測裝置（諸如光電二極體或固定光電二極體）的陣列。經由CDS區塊230及ADC 240自像素陣列210輸出的原始影像資料可以是呈拜耳格式組態的拜耳影像資料。
拜耳影像資料可藉由ISP 100處理成紅綠藍（red-green-blue；RGB）格式資料，且可接著輸出至顯示單元300。
如本文中所使用，術語「像素」或「像素值」可指經由形成拜耳濾色片的每一像素元件自光信號輸出或獲取的資訊或值。如本文中所使用，術語「原始影像」可指基於將經歷影像信號處理的單元原始像素（尤其由影像感測器感測的像素值）的影像。如本文中所使用，術語「經像素合併影像」可指藉由使用預定方法處理原始影像而獲得的後處理影像。
在以下描述中，假設原始影像具有一拜耳圖案，在所述拜耳圖案中，具有在其中交替地配置的Gr像素及R像素的列與具有在其中交替地配置的Gr像素及B像素的列交替地配置，如圖2中所示出。此處，R像素是指紅色像素，B像素是指藍色像素，且Gr像素及Gb像素兩者是指綠色像素。特定言之，具有紅色像素的列中包含的綠色像素被稱作Gr，且具有藍色像素的列中包含的綠色像素被稱作Gb。
經像素合併影像為縮小的影像，且經像素合併影像的每一像素可由R'、G'（例如Gr'或Gb'）或B'指代。經像素合併影像亦可具有一拜耳圖案，在所述拜耳圖案中，具有在其中交替地配置的Gr'像素及R'像素的列與具有在其中交替地配置的Gr'像素及B'像素的列交替地配置。
圖2及圖3分別示出根據實例實施例的用於解釋影像像素合併方法的原始拜耳影像及經像素合併拜耳影像。
圖2及圖3的影像像素合併方法可以(4n+4)×(4n+4)內核作為單位執行。圖2及圖3示出其中n=1的實例，亦即，內核大小為8×8。
參考圖2，原始影像可具有一拜耳圖案，在所述拜耳圖案中，具有在其中交替地配置的Gr像素及R像素的列與具有交替地配置的B像素及Gb像素的列交替地配置。
可以各自包含子內核的內核K作為單位執行影像像素合併。圖2及圖3的影像像素合併方法在下文中將描述為對內核大小為8×8的原始影像執行，但實施例不限於此。亦即，圖2及圖3的影像像素合併方法亦可適用於具有各種其他內核大小的原始影像。
內核K可包含用於不同顏色的多個子內核K1至子內核K4，且子內核K1至子內核K4可彼此不對稱地配置。特定言之，屬於相同列的Gr子內核K1及R子內核K2可彼此不對稱，且屬於相同列的B子內核K3及Gb子內核K4可彼此不對稱。另外，屬於相同行的Gr子內核K1及B子內核K3可彼此不對稱，且屬於相同行的R子內核K2及Gb子內核K4可彼此不對稱。
影像感測設備1可藉由像素合併不同子內核的不同顏色的原始影像來產生經像素合併影像。亦即，像素合併來自子內核K1的Gr像素，可像素合併來自子內核K2的R像素，可像素合併來自子內核K3的B像素，且可像素合併來自子內核K4的Gb像素。
特定言之，參考圖2及圖3，可像素合併來自原始影像的六個Gr像素、四個R像素、九個B像素以及六個Gb像素，藉此產生具有Gr'像素、R'像素、B'像素以及Gb'像素的經像素合併影像。Gr'像素、R'像素、B'像素以及Gb'像素可如以下等式（1）中所示。 ＜等式1＞ Gr'=(Gr1+Gr2+Gr3+Gr4+Gr5+Gr6)/6 R'=(R1+R2+R3+R4)/4 B'=(B1+B2+B3+B4+B5+B6+B7+B8+B9)/9 Gb'=(Gb1+Gb2+Gb3+Gb4+Gb5+Gb6)/6
經像素合併影像的每一像素可在與每一子內核的重心相對應的位置處產生。舉例而言，在內核K的左上角的座標是(0, 0)時，Gr'像素在(2, 1)（其是子內核K1的中心）處產生，R'像素在(6, 1)（其是子內核K2的中心）處產生，B'在(2, 5)（其是子內核K3的中心）處產生，且Gb'像素在(6, 5)（其是子內核K4的中心）處產生。
參考圖3，在經像素合併影像中，Gr'像素、R'像素、B'像素以及Gb'像素之間的距離，例如，Gr'像素與R'像素之間的距離、B'像素與Gb'像素之間的距離、Gr'像素與B'像素之間的距離以及R'像素與Gb'像素之間的距離可皆相同。
藉由使得像素合併操作中使用的輸入像素的數目對於不同顏色通道在一個子內核與另一子內核間不同，經像素合併影像的像素之間的距離可與原始影像的像素之間的距離維持均勻比率。因此，經像素合併影像可相對於任何假色缺陷及混疊為穩固的。
圖2及圖3的影像像素合併方法可由ISP 100執行。
如圖3至圖6中所示出，經像素合併影像的Gr'像素、R'像素、B'像素以及Gb'像素中的每一者可藉由以下獲得：對屬於相同行的原始像素執行類比像素合併以獲得中位值，且經由數位像素合併將來自不同行的中位值相加並對其求平均。可由像素陣列210的包含CDS 230、ADC 240以及緩衝器290的輸出端執行類比像素合併。
像素陣列210的輸出端（230、240以及290）（藉由其執行類比像素合併）在下文中將被稱為類比端。數位像素合併可由ISP 100執行，且可包含將儲存在緩衝器290中的中位值相加並對其求平均，且藉此將經像素合併像素值輸出至I/F 120。
圖4A及圖4B示出作為拜耳圖案的根據實例實施例的像素陣列。圖5為圖4A的像素陣列的電路圖。圖6為示出根據本揭露的一些實施例的影像像素合併方法的流程圖。
圖2的子內核K1可如圖4A或圖4B中所示出實施。參考圖4A及圖4B，ADC 240及電流源可連接至像素陣列的每一行。
子內核K1可對應於像素陣列的一部分。圖4A及圖4B示出包含五行像素及三列像素（亦即，總共15個像素）的子內核K1，但實施例不限於此。舉例而言，子內核K1可以各種其他方式實施。
圖4A及圖4B的像素陣列中的每一者包含多個單元內核，且單元內核中的每一者可包含四個像素，例如Gr像素、R像素、B像素以及Gb像素。圖5示出每一像素包含光電二極體、轉移電晶體、重設電晶體、選擇電晶體以及驅動電晶體的實例。列方向選擇信號Sel施加至選擇電晶體的閘極，且行方向選擇信號Col施加至選擇電晶體的汲極。在實例實施例中，如圖4A中所示出，像素陣列的不同行可連接至不同ADC及不同電流源。根據另一實例實施例，如圖4B中所示出，像素陣列的所有行可經由切換器連接至相同共同ADC及相同共同電流源。舉例而言，共同ADC及共同電流源可連接至像素陣列，使得其可根據拜耳圖案配置而切換且因此可由相同顏色的像素共同地共用。根據另一實例實施例，共同ADC及共同電流源可連接至像素陣列，使得其可針對影像像素合併而切換且因此可在逐單元內核的基礎上共同地共用。
每一像素可包含四個電晶體及至少一個光電二極體，如圖5中所示出。然而，實施例不限於此。舉例而言，每一像素可包含三個電晶體及至少一個光電二極體，或每一像素可包含五個電晶體及至少一個光電二極體。圖5示出像素陣列中的每一像素包含四個電晶體及一個光電二極體，且像素陣列的不同行連接至不同ADC及不同電流源，但實施例不限於此。舉例而言，圖5的像素陣列中的每一像素可包含四個電晶體及一個光電二極體，且圖5的像素陣列的至少兩個行可連接至相同共同ADC及相同共同電流源。
影像感測設備1可以內核作為單位執行影像像素合併。在實例實施例中，參考圖4A及圖6，回應於原始影像經輸入（S10），以子內核作為單位執行影像像素合併。接著，藉由對屬於每一子內核的相同行的像素組執行類比像素合併來計算中位值（S20），且可經由數位像素合併將來自對應子內核的不同行的中位值相加（S30）。相加結果可作為經像素合併影像的像素值輸出（S40）。
參考圖4B及圖6，回應於原始影像經輸入（S10），以子內核作為單位執行影像像素合併。接著，藉由經由ADC及電流源對屬於相同列但屬於不同行的相同顏色的像素組執行類比像素合併來計算中位值（S20），所述ADC及電流源共同地連接至相同顏色的像素所屬於的至少兩個行。之後，可經由數位像素合併將屬於至少兩個行中的一者但屬於不同列的相同顏色的像素值與中位值相加（S30），且相加結果作為經像素合併影像的像素值輸出（S40）。
影像感測設備1可使用子內核K1的六個Gr像素產生經像素合併影像的Gr'像素。影像感測設備1可自每一單元內核的相同位置選擇一個顏色像素。舉例而言，每一單元內核可為2×2像素陣列，(0, 0)處的像素（例如Gr像素）選自包含(0, 0)、(1, 0)、(0, 1)以及(1, 1)的單元內核，且(2, 0)處的Gr像素選自包含(2, 0)、(2, 1)、(3, 0)以及(3, 1)的單元內核。
影像感測設備1可自每一單元內核選擇一個像素，且可藉由開啟Sel[0]及Sel[2]以及開啟Col[0]、Col[2]以及Col[4]來分別激活(0, 0)、(0, 2)、(2, 0)、(2, 2)、(4, 0)以及(4, 2)處的Gr1像素、Gr2像素、Gr3像素、Gr4像素、Gr5像素以及Gr6像素。
為了根據等式（1）得出Gr'像素的值，影像感測設備1可輸出三個中位Gr值，例如Gr1+Gr4、Gr2+Gr5以及Gr3+Gr6，所述三個中位Gr值是在包含ADC及電流源的類比端處藉由將(0, 0)及(0, 2)處的像素的值、(2, 0)及(2, 2)處的像素的值以及(4, 0)及(4, 2)處的像素的值分別相加而獲得的。影像感測設備1可接著在數位端處將三個中位Gr值相加且將相加結果除以輸入像素的數目（亦即，6），且可將除法結果作為Gr'像素的值輸出。
影像感測設備1可以用於得出Gr'像素的值相同的方式根據子內核K2、子內核K3以及子內核K4得出R'像素、B'像素以及Gb'像素的值。舉例而言，影像感測設備1可輸出兩個中位R值，例如R1+R3及R2+R4，所述兩個中位R值是在包含ADC及電流源的類比端處藉由將(5, 0)及(5, 2)處的像素的值以及(7, 0)及(7, 2)處的像素的值分別相加而獲得的。影像感測設備1可接著在數位端處將兩個中位R值相加且將相加結果除以輸入像素的數目（亦即，4），且可將除法結果作為R'像素的值輸出。
為了根據等式（1）得出B'像素的值，影像感測設備1可輸出三個中位B值，例如B1+B4+B7、B2+B5+B8以及B3+B6+B9，所述三個中位B值是在類比端處將(0, 3)、(0, 5)以及(0, 7)處的像素的值、(2, 3)、(2, 5)以及(2, 7)處的像素的值以及(4, 3)、(4, 5)以及(4, 7)處的像素的值分別相加而獲得的。影像感測設備1可接著在數位端處將三個中位B值相加且將相加結果除以輸入像素的數目（亦即，9），且可將除法結果作為B'像素的值輸出。
為了根據等式（1）得出Gb'像素的值，影像感測設備1可輸出兩個中位Gb值，亦即，Gb1+Gb3+Gb5及Gb2+Gb4+Gb6，所述兩個中位Gb值是在包含ADC及電流源的類比端處藉由將(5, 3)、(5, 5)以及(5, 7)處的像素的值以及(7, 3)、(7, 5)以及(7, 7)處的像素的值分別相加而獲得的。影像感測設備1可接著在數位端處將兩個中位Gb值相加且將相加結果除以輸入像素的數目（亦即，6），且可將除法結果作為Gb'像素的值輸出。
圖7及圖8分別示出根據實例實施例的用於解釋影像像素合併方法的原始拜耳影像及經像素合併拜耳影像。
圖7及圖8的影像像素合併方法可以(4n+4)×(4n+4)內核作為單位執行。圖7及圖8示出n=2且影像像素合併以12×12內核作為單位執行的實例。
參考圖7及圖8，在內核K具有12×12的大小的情況下，內核K可劃分成7×5個子內核K1、5×5個子內核K2、7×7個子內核K3以及5×7個子內核K4。
亦即，內核K中的每一對水平或豎直相鄰的子內核可滿足以下等式（2）。 ＜等式2＞ L=M+N（其中M及N為最接近的奇數）
參考等式（2），L、M以及N為自然數且分別表示內核K的在第一方向上的長度L、內核K的第一子內核的在第一方向上的長度M以及內核K的第二子內核的在第一方向上的長度N。
若內核K具有12×12的大小，則L=12，且M及N可為5及7，合計為12。因此，內核K可劃分成具有五個或七個像素的長度的子內核。在圖7及圖8的實例中，內核K可劃分成在水平方向上具有七個或五個像素的長度及在豎直方向上具有五個及七個像素的長度的子內核。替代地，內核K可劃分成在水平方向上具有五個或七個像素的長度且在豎直方向上具有七個或五個像素的長度的子內核。然而，可像素合併來自在水平方向上及在豎直方向上具有不同長度的子內核（諸如子內核K1及子內核K4）的Gr像素及Gb像素。
參考圖8的經像素合併影像，Gr'像素、R'像素、B'像素以及Gb'像素可分別位於子內核K1、子內核K2、子內核K3以及子內核K4中，特定言之，分別在(3, 2)、(9, 2)、(3, 8)以及(9, 8)處。
經像素合併影像的Gr'像素、R'像素、B'像素以及Gb'像素可由影像感測設備1的ISP 100輸出。經像素合併影像的Gr'像素、R'像素、B'像素以及Gb'像素中的每一者可藉由以下獲得：對屬於相同行的原始像素組執行類比像素合併以獲得中位值，且經由數位像素合併將來自不同行的中位值相加並對其求平均。可在像素陣列210的輸出端處執行類比像素合併，且所得中位值可儲存在緩衝器290中。數位像素合併可由ISP 100執行，且可包含將儲存在緩衝器290中的中位值相加並對其求平均，以及將所得像素合併像素值輸出至I/F 120。
因此，經像素合併影像的Gr'像素、R'像素、B'像素以及Gb'像素可分別在內核K1、內核K2、內核K3以及內核K4的重心處位於水平方向或豎直方向上的相同軸上。因此，經像素合併影像的Gr'像素、R'像素、B'像素以及Gb'像素可能不引起鋸齒狀假影且可相對於假色缺陷更加穩固。
圖9A、圖9B以及圖9C示出根據本揭露的一些實施例的影像像素合併方法。圖10為示出圖9的影像像素合併方法的流程圖。
圖9A、圖9B以及圖9C示出對大小為4×4的內核執行影像像素合併的實例，但實施例不限於此，且影像像素合併亦可適用於各種其他內核大小。
參考圖9A的原始4×4單元內核影像，對(2, 0)及(0, 2)處的Gr像素執行第一像素合併處理，所述(2, 0)及(0, 2)處的Gr像素位於相對於彼此的第一對角線方向上。因此，由第一像素合併處理獲得的中位Gr值配置在點A1處，亦即，(1, 1)處。參考圖9B的中間4×4單元內核影像，對(1, 1)處的中位Gr值及(0, 0)處的Gr像素執行第二像素合併處理，所述(0, 0)處的Gr像素位於相對於(1, 1)處的中位Gr值的第二對角線方向上。此處，作為與第一對角線方向垂直相交的方向的第二對角線方向可以是自點A1至點A2的方向。參考圖9C的像素合併4×4單元內核影像，由第二像素合併處理獲得的Gr'像素配置在點A1與點A2之間的中間點
Figure 02_image001
處。
類似地，再次參考圖9A的原始4×4單元內核影像，對(1, 0)及(3, 2)處的R像素執行第一像素合併處理，所述(1, 0)及(3, 2)處的R像素位於相對於彼此的第二對角線方向上。因此，由第一像素合併處理獲得的中位R值配置在點B1處，亦即，(2, 1)處。參考圖9B的中間4×4單元內核影像，對(2, 1)處的中位R值及(3, 0)處的R像素執行第二像素合併處理，所述(3, 0)處的R像素位於相對於(2, 1)處的中位R值的第一對角線方向上。此處，作為與第二對角線方向垂直相交的方向的第一對角線方向可以是自點B1至點B2的方向。參考圖9C的像素合併4×4單元內核影像，由第二像素合併處理獲得的R'像素配置在點B1與點B2之間的中間點
Figure 02_image003
處。
類似地，再次參考圖9A的原始4×4單元內核影像，對(0, 1)及(2, 3)處的B像素執行第一像素合併處理，所述(0, 1)及(2, 3)處的B像素位於相對於彼此的第一方向上。因此，由第一像素合併處理獲得的中位B值配置在點C1處，亦即，(1, 2)處。參考圖9B的中間4×4單元內核影像，對(1, 2)處的中位B值及(0, 3)處的B像素執行第二像素合併處理，所述(0, 3)處的B像素位於相對於(1, 2)處的中位B值的第二方向上。此處，作為與第二對角線方向垂直相交的方向的第二對角線方向可以是自點C1至點C2的方向。參考圖9C的像素合併4×4單元內核影像，由第二像素合併處理獲得的B'像素配置在點C1與點C2之間的中間點
Figure 02_image005
處。
類似地，再次參考圖9A的原始4×4單元內核影像，對(1, 3)及(3, 1)處的Gb像素執行第一像素合併處理，所述(1, 3)及(3, 1)處的Gb像素位於相對於彼此的第二對角線方向上。因此，由第一像素合併處理獲得的中位Gb值配置在點D1處，亦即，(2, 2)處。參考圖9B的中間4×4單元內核影像，對(2, 2)處的中位Gb值及(3, 3)處的Gb像素執行第二像素合併處理，所述(3, 3)處的Gb像素位於相對於(2, 2)處的中位Gb值的第一對角線方向上。此處，作為與第二對角線方向垂直相交的方向的第一對角線方向可以是自點D1至點D2的方向。參考圖9C的像素合併4×4單元內核影像，由第二像素合併處理獲得的Gb'像素的重心配置在點D1與點D2之間的中間點
Figure 02_image007
處。
在2×2像素合併影像中，重心彼此重疊的四個像素（例如，由第二像素合併處理獲得的Gr像素、R像素、B像素以及Gb像素）可分別位於(0, 0)、(1, 0)、(0, 1)以及(1, 1)處，(2, 0)、(3, 0)、(2, 1)以及(3, 1)處，(0, 2)、(1, 2)、(0, 3)以及(1, 3)，以及(2, 2)、(3, 2)、(2, 3)以及(3, 3)處。
圖9A至圖9C示出2×2像素合併。由於2×2像素合併，原始影像的每一單元內核可自4×4轉變至2×2或自8×8轉變至4×4。亦即，2×2像素合併可將2n×2n內核像素合併為n×n內核，其中n為大於0的整數。
參考圖10，影像感測設備1可接收原始影像（S20）且可在第一方向上或在第一對角線方向上對原始影像執行第一像素合併處理（S21），藉此獲得中位值。此處，第一對角線方向可以是來自不同列的相同顏色的像素之間的方向。
影像感測設備1可對由第一像素合併處理獲得的中位值以及對應於由第一像素合併處理獲得的中位值的拐角處的原始像素執行第二像素合併處理（S22）。可在第二方向上或在第二對角線方向上執行第二像素合併處理。作為由第一像素合併處理獲得的中位值與對應於由第一像素合併處理獲得的中位值的拐角處的原始像素之間的方向的第二對角線方向可以是與第一對角線方向相交的方向。在實例實施例中，第一像素合併處理亦可為對角線像素合併處理，且第二像素合併處理亦可為拐角像素合併處理。第二像素合併處理的結果可輸出為經像素合併影像（S23）。
第一像素合併處理及第二像素合併處理可皆由圖1的ISP 100執行。然而，實施例不限於此。舉例而言，第一像素合併處理可由影像感測器200執行，且第二像素合併處理可由ISP 100執行，在此情況下，第一像素合併處理可由ADC 240或緩衝器290執行。
圖11示出根據實例實施例的影像感測器。圖12為圖11的像素陣列的電路圖。圖13及圖14示出根據實例實施例的用於解釋影像像素合併方法的圖11的影像感測器。
在一些實施例中，類比端可執行上文參考圖8及圖9A至圖9C所描述的影像像素合併方法。類比端可包含ADC 240及電流源。
類比端可共同地連接至相同行的像素所屬於的至少兩個行。舉例而言，類比端可連接至像素陣列的至少兩個相鄰的偶數行或奇數行。參考圖11，ADC 240可連接在像素陣列的兩個相鄰偶數行之間，且類比端可在第一對角線方向上執行第一像素合併處理。ADC 240可連接在像素陣列的兩個相鄰奇數行之間，且類比端可在第一對角線方向上執行第一像素合併處理。
參考圖11，像素陣列可包含具有16個像素的多個單元內核，例如多個4×4單元內核。以單元內核中作為單位驅動像素陣列。圖12示出每一像素包含光電二極體、轉移電晶體、重設電晶體、選擇電晶體以及驅動電晶體的實例。列方向選擇信號Sel施加至選擇電晶體的閘極，且行方向選擇信號Col施加至選擇電晶體的汲極。
如圖12中所示出，每一像素可包含四個電晶體及至少一個光電二極體，每一像素可包含三個電晶體及至少一個光電二極體，或每一像素可包含五個電晶體及至少一個光電二極體。
參考圖11、圖12以及圖13，對單元內核K1的子單元內核KS1執行Gr像素像素合併。特定言之，藉由開啟單元內核K1中的Sel[1]、Sel[5]、Col[0]以及Col[2]接收在圖13中由符號☆標記的在第一對角線方向上的兩個Gr像素，且藉由開啟Sel[0]及Col[0]接收Sel[0]及Col[0]處的Gr像素。ADC 240共同地連接至Col[0]及Col[2]，且類比端對在圖13中由符號☆標記的在第一對角線方向上的兩個Gr像素執行第一像素合併處理，且藉此輸出中位Gr值。中位Gr值的重心可位於Sel[2]及Col[1]處。ISP 100對Sel[0]及Col[0]處的Gr像素的值以及Sel[2]及Col[1]處的中位Gr值執行第二像素合併處理，且藉此輸出經像素合併Gr'像素。
參考圖11、圖12以及圖14，對單元內核K1的子單元內核KS2執行Gb像素像素合併。特定言之，藉由開啟子單元內核KS2中的Sel[3]、Sel[6]、Col[1]以及Col[3]接收由圖14的符號☆標記的在第一對角線方向上的兩個Gb像素，且藉由開啟Sel[7]及Col[3]接收Sel[7]及Col[3]處的Gb像素。ADC 240共同地連接至Col[1]及Col[3]，且類比端對由圖14的符號☆標記的在第一對角線方向上的兩個Gb像素執行第一像素合併處理，且藉此輸出中位Gb值。中位Gb值的重心可位於Sel[5]及Col[2]處。ISP 100對Sel[7]及Col[3]處的Gb像素的值以及Sel[5]及Col[2]處的中位Gb值執行第二像素合併處理，且藉此輸出經像素合併Gb'像素。以此方式，亦可自原始影像輸出經像素合併R'像素及經像素合併B'像素。
參考圖11，執行B像素像素合併。特定言之，藉由開啟像素陣列中的Sel[2]、Sel[7]、Col[0]以及Col[2]接收第一對角線方向上的兩個B像素，且藉由開啟Sel[6]及Col[0]接收Sel[6]及Col[0]處的B像素。ADC 240共同地連接至Col[0]及Col[2]，且類比端對第一對角線方向上的兩個B像素執行第一像素合併處理且藉此輸出中位B值。ISP 100對Sel[6]及Col[0]處的B像素的值以及中位B值執行第二像素合併處理，且藉此輸出經像素合併B'像素。
參考圖11，執行R像素像素合併。特定言之，藉由開啟像素陣列中的Sel[1]、Sel[4]、Col[1]以及Col[3]接收在圖14中由符號☆標記的在第一對角線方向上的兩個R像素，且藉由開啟Sel[0]及Col[3]接收Sel[0]及Col[3]處的R像素。ADC 240共同地連接至Col[0]及Col[2]，且類比端對第一對角線方向上的兩個R像素執行第一像素合併處理且藉此輸出中位R值。ISP 100對Sel[0]及Col[3]處的R像素的值以及中位R值執行第二像素合併處理，且藉此輸出經像素合併R'像素。
圖15及圖16示出根據本揭露的一些實施例的用於解釋影像像素合併方法的拜耳影像。
影像感測設備1可對原始影像執行2N×2N像素合併。亦即，可藉由重複2×2像素合併N次來執行影像像素合併。圖15及圖16示出藉由執行2×2像素合併兩次來執行4×4像素合併。
參考圖15，可以內核Ka作為單位執行初級2×2像素合併處理。特定言之，原始影像可包含多個內核Ka。影像感測設備1可對多個內核Ka中的每一者執行初級2×2像素合併處理。
在初級2×2像素合併處理中，藉由執行對角線像素合併將中位值配置在圖15的左側內核中的由符號○標記的位置處，且藉由執行拐角像素合併將經像素合併像素配置在圖15中的右側內核中的由符號○標記的位置處。經像素合併像素可位於內核Kb的重心處。因此，由於對每一內核Ka的Gr像素、R像素、B像素以及Gb像素執行初級2×2像素合併處理，故由初級2×2像素合併處理獲得的Gr'像素、R'像素、B'像素以及Gb'像素可配置在對應內核Ka的整個各別內核Kb中，如圖16中的左側內核中所示出。
參考圖16，可對由以內核Ka的2×2陣列作為單位的初級2×2像素合併處理獲得的經像素合併影像執行二級2×2像素合併處理。
在二級2×2像素合併處理中，藉由執行對角線像素合併將中位值配置在圖16中的左側內核中的由符號○標記的位置處，且藉由對中位值執行拐角像素合併將經像素合併像素配置在圖16中的右側內核中的由符號○標記的位置處。由二級像素合併處理獲得的經像素合併像素可配置在內核Ka的重心處。因此，由於對Gr'像素、R'像素、B'像素以及Gb'像素執行二級2×2像素合併處理，故由二級2×2像素合併處理獲得的Gr像素、R像素、B像素以及Gb像素配置在其整個各別內核Ka中。
即使藉由執行2×2像素合併兩次來執行4×4像素合併，經像素合併像素仍可均一地配置在內核的重心處。相應地，可實際上減少假色缺陷或鋸齒狀雜訊。
圖15及圖16的實例實施例例示性地解釋4×4像素合併，但實施例不限於此。舉例而言，根據一實例實施例，可藉由執行2×2像素合併N次來執行2N×2N像素合併，其中N為自然數。
圖17為圖1的影像感測設備的透視圖。
參考圖17，影像感測器700可實施為多個層的堆疊。像素陣列210可實施於第一層1上，且影像感測器200的其餘部分（諸如邏輯電路LOGIC）可實施於第二層2上。邏輯電路LOGIC可包含影像感測器200的所有元件（除像素陣列210之外）。舉例而言，像素陣列區及邏輯電路區可堆疊在晶圓級上。
第一層1可包含含有多個像素PX的感測區域SA以及設置於感測區域SA的外圍上的第一襯墊區域PA1。多個上部襯墊PAD1可包含於第一襯墊區域PA1中，且可經由通孔連接至邏輯電路LOGIC及第二層2的第二襯墊區域PA2中的襯墊PAD21及襯墊PAD22。
在實例實施例中，襯墊PAD21及襯墊PAD22可以是輸入I/F襯墊，且襯墊PAD23可以是輸出I/F襯墊。
圖18為根據實例實施例的包含多攝影機模組的電子裝置的方塊圖。圖19為圖18的多攝影機模組的詳細方塊圖。
參考圖18，電子裝置1000可包含攝影機模組群組1100（例如攝影機總成群組）、應用程式處理器1200、功率管理積體電路（power management integrated circuit；PMIC）1300以及外部記憶體1400。
攝影機模組群組1100可包含多個攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c，例如多個攝影機總成。圖18示出包含三個攝影機模組的攝影機模組群組1100，但實施例不限於此。舉例而言，攝影機模組群組1100可包含兩個攝影機模組，或攝影機模組群組1100可包含n個攝影機模組，其中n為4或大於4的自然數。
在下文中將參考圖19描述攝影機模組1100b的結構。以下描述可直接適用於攝影機模組群組1100中的其他攝影機模組，例如攝影機模組1100a及攝影機模組1100c。
參考圖19，攝影機模組1100b可包含稜鏡1105、光學路徑摺疊元件（optical path folding element；OPFE）1110、致動器1130、影像感測設備1140以及儲存單元1150。
稜鏡1105可包含光反射材料的反射表面1107，且因此可改變自外部入射的光L的路徑。
在實例實施例中，稜鏡1105可將在第一方向X上入射的光L的路徑改變至第二方向Y，所述第二方向Y垂直於第一方向X。另外，稜鏡1105可藉由使光L自反射表面1107的中心軸線1106在A方向或B方向上旋轉來將在第一方向X上入射的光L的路徑改變至第二方向Y。在此情況下，OPFE 1110可在第三方向Z上移動，所述第三方向Z垂直於第一方向X及第二方向Y。
在實例實施例中，稜鏡1105的最大旋轉角在正A方向上可為15度或小於15度，且在負A方向上為15度或大於15度，但實施例不限於此。
在實例實施例中，稜鏡1105可在正B方向或負B方向上以約20°、約10°至20°或約15°至約20°的角度移動。稜鏡1105在正B方向及負B方向上移動的角度可相同，或可幾乎相似（差為約1°）。
在實例實施例中，稜鏡1105可在第三方向Z上移動，所述第三方向Z平行於反射表面1107的中心軸線1106延伸的方向。
OPFE 1110可包含例如一組m個光學透鏡，其中m為自然數。m個光學透鏡可在第二方向Y上移動以改變攝影機模組1100b的光學變焦比。舉例而言，若攝影機模組1100b的預設光學變焦比為Z，則藉由移動OPFE 1110的m個光學透鏡，攝影機模組1100b的光學變焦比可改變為3Z或5Z或大於5Z。
致動器1130可將OPFE 1110或光學透鏡移動至特定位置。舉例而言，致動器1130可調整光學透鏡的位置，使得影像感測器1142可位於光學透鏡的焦距處以進行精確感測。
影像感測設備1140可包含影像感測器1142、控制邏輯1144以及記憶體1146。影像感測器1142可使用經由光學透鏡提供至目標對象的光L感測目標對象的影像。控制邏輯1144可控制攝影機模組1100b的通用操作。舉例而言，控制邏輯1144可根據經由控制信號線CSLb提供的控制信號控制攝影機模組1100b的操作。
記憶體1146可儲存攝影機模組1100b的操作所需的資訊，諸如校準資料1147。校準資料1147可包含使用光L產生影像資料所需的資訊。校準資料1147可包含例如旋轉度資訊、焦距資訊以及光軸資訊。在攝影機模組1100b實施為焦距根據光學透鏡的位置而改變的多狀態攝影機的情況下，校準資料1147可包含光學透鏡的不同位置或不同狀態的焦距及自動對焦資訊。
儲存單元1150可儲存由影像感測器1142感測的影像資料。儲存單元1150可安置於影像感測設備1140的外部上，且可實施為堆疊在形成影像感測設備1140的感測器晶片上。在實例實施例中，儲存單元1150可實施為電可抹除可程式化唯讀記憶體（electrically erasable programmable read-only memory；EEPROM），但實施例不限於此。
參考圖18及圖19，在實例實施例中，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可包含致動器1130。取決於致動器1130的操作，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可包含相同校準資料1147或不同校準資料1147。
在實例實施例中，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的一者（例如攝影機模組1100b）可以是包含稜鏡1105及OPFE 1110的摺疊透鏡型攝影機模組，且其他攝影機模組（例如攝影機模組1100a及攝影機模組1100c）可以是不包含稜鏡1105及OPFE 1110的豎直攝影機模組。然而，實施例不限於此。
在實例實施例中，攝影機模組1100c可以是例如能夠使用紅外（IR）光獲取深度資訊的深度攝影機。在此情況下，應用程式處理器1200可藉由合併由攝影機模組1100c提供的影像資料及由其他攝影機模組（例如攝影機模組1100a及攝影機模組1100b）提供的影像資料來產生三維（three-dimensional；3D）深度影像。
在實例實施例中，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的至少兩者可具有不同視場。在此情況下，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的至少兩者（例如攝影機模組1100a及攝影機模組1100b）可具有不同光學透鏡，但實施例不限於此。
在實例實施例中，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可具有不同視場。在此情況下，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可具有不同光學透鏡，但實施例不限於此。
在實例實施例中，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可安置為彼此實體上分隔開。舉例而言，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可能不一起共用單個影像感測器1142的感測區域，但攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中可安置獨立影像感測器1142。
再次參考圖18，應用程式處理器1200可包含影像處理器1210、記憶體控制器1220以及內部記憶體1230。應用程式處理器1200可與攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c分離實施。舉例而言，應用程式處理器1200及攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可作為單獨半導體晶片實施。
影像處理器1210可包含多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c、影像發生器1214以及攝影機模組控制器1216。
影像處理器1210可包含與數個攝影機模組相對應的數個子影像處理器，例如分別與攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c相對應的多個子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c。
由攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c產生的影像資料可經由彼此分隔開的影像信號線ISLa、影像信號線ISLb以及影像信號線ISLc提供至子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c，舉例而言，由攝影機模組1100a產生的影像資料可經由影像信號線ISLa提供至子影像處理器1212a，由攝影機模組1100b產生的影像資料可經由影像信號線ISLb提供至子影像處理器1212b，且由攝影機模組1100c產生的影像資料可經由影像信號線ISLc提供至子影像處理器1212c。影像資料的傳輸可經由例如基於行動產業處理器介面（mobile industry processor interface；MIPI）的攝影機串列介面（camera serial interface；CIS）執行，但實施例不限於此。
在實例實施例中，單個子影像處理器可安置為對應於多個攝影機模組。舉例而言，子影像處理器1212a及子影像處理器1212c可併入至單個整合的子影像處理器中，且由攝影機模組1100a提供的影像資料或由攝影機模組1100c提供的影像資料可由選擇元件（例如多工器）選擇，且可接著提供至整合的子影像處理器。
提供至子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的每一者的影像資料可提供至影像發生器1214。影像發生器1214可根據影像產生資訊或模式信號使用自子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的每一者提供至其的影像資料來產生輸出影像。
舉例而言，影像發生器1214可根據影像產生資訊或模式信號藉由合併由具有不同視場的攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c提供的影像資料中之至少一些來產生輸出影像。另外，影像發生器1214可根據影像產生資訊或模式信號藉由選擇由具有不同視場的攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c產生的影像資料中的一者來產生輸出影像。
在實例實施例中，影像產生資訊可包含變焦信號或變焦因子。在實例實施例中，模式信號可以是例如基於由使用者選擇的模式的信號。
在影像產生資訊為變焦信號或變焦因子且攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c具有不同視場的情況下，影像發生器1214可取決於變焦信號的類型執行不同操作。舉例而言，在變焦信號為第一信號時，由攝影機模組1100a提供的影像資料及由攝影機模組1100c提供的影像資料可合併在一起，且可使用合併的影像資料及由攝影機模組1100b提供的影像資料產生輸出影像。在變焦信號為不同於第一信號的第二信號時，可選擇由攝影機模組1100a提供的影像資料、由攝影機模組1100b提供的影像資料以及由攝影機模組1100c提供的影像資料中的一者，且可使用所選擇的影像資料產生輸出影像。然而，實施例不限於此實例。處理影像資料的方法可根據需要而不同。
在實例實施例中，影像發生器1214可自子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中的至少一者接收具有不同暴露時間的多個影像資料，且可對多個影像資料執行高動態範圍處理，藉此產生具有增強的動態範圍的合併影像資料。
攝影機模組群組1100可包含圖1的影像感測設備200。
圖1的ISP 100可在圖19的攝影機模組群組1100內部、在圖18的子影像處理器1212a、子影像處理器1212b以及子影像處理器1212c中或在圖18的影像發生器1214中實施。
攝影機模組控制器1216可將控制信號提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。由攝影機模組控制器1216提供的控制信號可經由彼此分隔開的控制信號線CSLa、控制信號線CSLb以及控制信號線CSLc提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。
可根據模式信號或包含變焦信號的影像產生資訊將攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的一者（例如攝影機模組1100b）指定為主控攝影機，且可將其他攝影機模組（亦即，攝影機模組1100a及攝影機模組1100c）指定為從屬攝影機。此類型的資訊可包含於控制信號中，且可接著經由彼此分隔開的控制信號線CSLa、控制信號線CSLb以及控制信號線CSLc提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。
根據變焦因子或模式信號，可改變主控攝影機模組及從屬攝影機模組。舉例而言，在攝影機模組1100a比攝影機模組1100b具有更寬的視場但變焦比率的變焦因子更小時，攝影機模組1100b可操作為主控裝置，且攝影機模組1100a可操作為從屬裝置。在攝影機模組1100a的變焦比率比攝影機模組1100b具有更大變焦因子時，攝影機模組1100a可操作為主控裝置，且攝影機模組1100b可操作為從屬裝置。
在實例實施例中，自攝影機模組控制器1216提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的控制信號可包含同步啟用信號。舉例而言，若攝影機模組1100b為主控攝影機且攝影機模組1100a及攝影機模組1100c為從屬攝影機，則攝影機模組控制器1216可將同步啟用信號傳輸至攝影機模組1100b。攝影機模組1100b可接收同步啟用信號，可基於所述同步啟用信號產生同步信號，且可經由同步信號線SSL將同步信號提供至攝影機模組1100a及攝影機模組1100c。攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可與同步信號同步地將影像資料傳輸至應用程式處理器1200。
在實例實施例中，自攝影機模組控制器1216提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的控制信號可包含與提供至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的模式信號相對應的模式資訊。根據模式資訊，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可在第一操作模式及第二操作模式中的一者中操作，所述第一操作模式及所述第二操作模式與感測速度相關聯。
在第一操作模式中，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可在第一速度下產生影像信號，例如產生第一圖框率的影像信號，可在高於第一速度的第二速度下編碼影像信號，例如在高於第一圖框率的第二圖框率下編碼影像信號，且可將編碼影像信號傳輸至應用程式處理器1200。此處，第二速度可能比第一速度小30倍。
應用程式處理器1200可將接收到的影像信號（例如編碼影像信號）儲存在內部記憶體1230中或外部記憶體1400中，可自內部記憶體1230或外部記憶體1400讀取及解碼編碼影像信號，且可顯示基於解碼影像信號產生的影像資料。舉例而言，編碼影像信號的解碼可由影像處理設備1210的子處理器1212a、子處理器1212b以及子處理器1212c執行，且可對解碼影像信號執行影像處理。
在第二操作模式中，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c可在低於第一速度的第三速度下產生影像信號，例如產生第三圖框率（其低於第一圖框率）的影像信號，且可將影像信號傳輸至應用程式處理器1200。傳輸至應用程式處理器1200的影像信號可以是非編碼信號。應用程式處理器1200可對自攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c接收到的影像信號執行影像處理，或可將接收到的影像信號儲存在內部記憶體1230或外部記憶體1400中。
PMIC 1300可將功率（例如電源電壓）供應至攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c。舉例而言，PMIC 1300可在應用程式處理器1200的控制下經由功率信號線PSLa將第一功率供應至攝影機模組1100a，經由功率信號線PSLb將第二功率供應至攝影機模組1100b且經由功率信號線PSLc將第三功率供應至攝影機模組1100c。
PMIC 1300可產生與攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c中的每一者相對應的功率，且回應於來自應用程式處理器1200的功率控制信號PCON而控制功率的位準。功率控制信號PCON可包含攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的不同操作模式的功率控制信號。舉例而言，攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的操作模式可包含低功率模式，在低功率模式的情況下，功率控制信號PCON可包含指示哪一攝影機模組將在低功率模式下操作的資訊以及指示將設定的功率位準的資訊。所有攝影機模組1100a、攝影機模組1100b以及攝影機模組1100c的所提供功率位準可能相同，或一個攝影機模組的功率位準與另一攝影機模組的功率位準可能不同。另外，所提供功率位準可動態地改變。
雖然已參考本揭露的各種實例實施例示出及描述本揭露，但本領域的技術人員應理解，可在不脫離如由隨附申請專利範圍及其等效物定義的精神及範疇的情況下在本文中作出形式及細節的各種改變。
1、1140:影像感測設備 100:影像信號處理器 110:攝影機控制器 120:介面 150:數位信號處理器 200、700、1142:影像感測器 210:像素陣列 220:列驅動器 230:相關二重取樣區塊 240:類比數位轉換器 260:斜坡發生器 270:定時信號發生器 280:控制暫存器區塊 290:緩衝器 300:顯示單元 400:對象 500:透鏡 1000:電子裝置 1100:攝影機模組群組 1100a、1100b、1100c:攝影機模組 1105:稜鏡 1106:中心軸線 1107:反射表面 1110:光學路徑摺疊元件 1130:致動器 1144:控制邏輯 1146:記憶體 1147:校準資料 1150:儲存單元 1200:應用程式處理器 1210:影像處理器 1212a、1212b、1212c:子影像處理器 1214:影像發生器 1216:攝影機模組控制器 1220:記憶體控制器 1230:內部記憶體 1300:功率管理積體電路 1400:外部記憶體 A、B:方向 A1、A2、B1、B2、C1、C2、D1、D2:點 CSLa、CSLb、CSLc:控制信號線 ISLa、ISLb、ISLc:影像信號線 K、Ka、Kb:內核 K1、K2、K3、K4:子內核 KS1、KS2:子單元內核 L:光 LOGIC:邏輯電路 PA1:第一襯墊區域 PA2:第二襯墊區域 PAD1:上部襯墊 PAD21、PAD22、PAD23:襯墊 PCON:功率控制信號 PSLa、PSLb、PSLc:功率信號線 PX:像素 S10、S20、S21、S22、S23、S30、S40:步驟 SA:感測區域 SSL:同步信號線 X:第一方向 Y:第二方向 Z:第三方向
Figure 02_image009
、
Figure 02_image011
、
Figure 02_image013
、
Figure 02_image015
:中間點
以上及/或其他態樣將藉由參考隨附圖式來詳細地描述實例實施例而變得更顯而易見，在隨附圖式中： 圖1為根據實例實施例的影像感測設備的方塊圖。 圖2及圖3分別示出根據實例實施例的用於解釋影像像素合併方法的原始拜耳影像及經像素合併拜耳影像。 圖4A及圖4B示出作為拜耳圖案的根據實例實施例的像素陣列。 圖5為圖4A的像素陣列的電路圖。 圖6為示出根據實例實施例的影像像素合併方法的流程圖。 圖7及圖8分別示出根據實例實施例的用於解釋影像像素合併方法的原始拜耳影像及經像素合併拜耳影像。 圖9A、圖9B以及圖9C示出根據實例實施例的影像像素合併方法。 圖10為示出圖9的影像像素合併方法的流程圖。 圖11示出根據實例實施例的影像感測器。 圖12為圖11的像素陣列的電路圖。 圖13及圖14示出根據實例實施例的用於解釋影像像素合併方法的圖11的影像感測器。 圖15及圖16示出根據實例實施例的用於解釋影像像素合併方法的拜耳影像。 圖17為圖1的影像感測設備的透視圖。 圖18為根據實例實施例的包含多攝影機模組的電子裝置的方塊圖。 圖19為圖18的多攝影機模組的詳細方塊圖。
S10、S20、S30、S40:步驟

Claims (20)

  1. 一種影像感測設備，包括： 影像感測器，包括： 像素陣列，組態成輸出具有拜耳圖案的原始影像；以及 類比端，組態成對與第一綠色像素、紅色像素、藍色像素以及第二綠色像素相對應的多個子內核中的每一者的相同行中包含的相同顏色的像素組執行類比像素合併處理，且輸出不同顏色的中位值；以及 數位信號處理器，組態成對所述多個子內核中的每一者的不同行中包含的所述不同顏色的所述中位值執行數位像素合併處理，且輸出經像素合併影像。
  2. 如請求項1所述的影像感測設備，其中以單元內核中作為單位對所述原始影像執行所述類比像素合併處理及所述數位像素合併處理，每一單元內核包含所述多個子內核，且 其中所述多個子內核配置成使得同一行中包含的子內核彼此不對稱地配置。
  3. 如請求項2所述的影像感測設備，其中第一子內核在第一方向上的長度與第二子內核在所述第一方向上的長度的總和等於單元內核在所述第一方向上的長度，且 其中所述第一子內核的所述長度及所述第二子內核的所述長度是最接近的奇數。
  4. 如請求項1所述的影像感測設備，其中所述類比端包括： 類比數位轉換器，連接至所述像素陣列的多個行；以及 緩衝器，連接至所述類比數位轉換器且組態成儲存所述中位值，且 其中所述類比數位轉換器組態成將自同一行中包含的相同顏色的至少兩個像素接收到的值的總和數位化且將所述數位化的結果輸出為所述中位值中的一者。
  5. 如請求項1所述的影像感測設備，其中所述數位像素合併處理更包括：對與預定顏色相對應的子內核的不同行中包含的中位值進行求和；將求和結果除以與所述預定顏色相對應的所述子內核中包含的所述預定顏色的像素的數目；以及將除法結果輸出為所述預定顏色的所述經像素合併影像的像素值。
  6. 如請求項5所述的影像感測設備，其中所述預定顏色的像素的重心與對應於所述預定顏色的所述子內核的重心重合。
  7. 一種影像感測設備的影像像素合併方法，所述影像像素合併方法包括： 自像素陣列接收拜耳圖案的原始影像； 基於對具有相對於不同顏色的不對稱配置的單元內核的所述原始影像執行類比像素合併處理而輸出每一內核的中位值；以及 基於對所述中位值中的至少一者執行數位像素合併處理而輸出經像素合併影像。
  8. 如請求項7所述影像像素合併方法，其中所述原始影像包括多個單元內核， 其中所述多個單元內核中的每一者包括： 第一綠色子內核及紅色子內核，設置為在列方向上彼此相鄰且在所述列方向上具有不同長度，以及 藍色子內核及第二綠色子內核，設置為在行方向上與所述第一綠色子內核及所述紅色子內核相鄰且設置為在所述列方向上彼此相鄰，所述藍色子內核及所述第二綠色子內核在所述列方向上具有不同長度， 其中所述第一綠色子內核及所述藍色子內核在所述行方向上具有不同長度，且 其中所述紅色子內核及所述第二綠色子內核在所述行方向上具有不同長度。
  9. 如請求項8所述影像像素合併方法，其中第一子內核在所述行方向或所述列方向上的長度與第二子內核在所述行方向或所述列方向上的長度的總和與所述單元內核在所述行方向或所述列方向上的長度相同，所述第一子內核及所述第二子內核在所述行方向或所述列方向上彼此相鄰，且 其中所述第一子內核的所述長度及所述第二子內核的所述長度是最接近的奇數。
  10. 如請求項8所述影像像素合併方法，其中所述類比像素合併處理更包括對自多個子內核之中的與第一顏色相對應的第一子內核中的同一行中包含的至少兩個第一顏色像素接收到的像素值進行求和，以及輸出第一中位值，且 所述數位像素合併處理更包括：對所述第一子內核的不同行中包含的第一中位值進行求和；將求和結果除以所述第一子內核中包含的第一顏色像素的數目；以及將除法結果輸出為所述第一顏色的所述經像素合併影像的像素值。
  11. 如請求項7所述影像像素合併方法，其中所述類比像素合併處理更包括對在單元內核中在第一對角線方向上彼此設置的相同顏色的第一像素及第二像素進行求和，以及將求和結果輸出為中位值，且 其中所述數位像素合併處理更包括對所述中位值及與所述第一像素及所述第二像素相同顏色的第三像素進行求和且輸出為所述第一像素、所述第二像素以及所述第三像素的顏色的所述經像素合併影像的像素值。
  12. 如請求項11所述影像像素合併方法，其中所述原始影像包括多個所述單元內核，且 其中所述多個單元內核中的每一者在行方向及列方向上具有(4n+4)像素的長度，其中n為自然數。
  13. 如請求項11所述影像像素合併方法，其中所述第三像素及所述中位值設置在垂直於所述第一對角線方向的第二對角線方向上。
  14. 如請求項11所述影像像素合併方法，其中經像素合併像素的重心設置在所述第一像素、所述第二像素以及所述第三像素之間的重心處。
  15. 如請求項11所述影像像素合併方法，其中所述經像素合併影像是藉由對所述原始影像執行所述類比像素合併處理且執行所述數位像素合併處理至少兩次而獲得的影像。
  16. 一種影像感測設備，包括： 影像感測器，包括： 像素陣列，組態成輸出拜耳圖案的原始影像，以及 類比端，組態成對來自所述原始影像的方形單元內核中的每一者的每一顏色的設置在對角線方向上的第一像素及第二像素執行類比像素合併處理，且輸出對應顏色的中位值；以及 數位信號處理器，組態成基於對所述中位值及來自單元內核中的每一者的設置在所述對應顏色的拐角處的第三像素執行數位像素合併處理而獲得及輸出經像素合併像素值，且產生包含所述經像素合併像素值的經像素合併影像。
  17. 如請求項16所述的影像感測設備，其中所述類比端包括： 多個類比數位轉換器，由所述像素陣列中的兩個相鄰的奇數行及兩個相鄰的偶數行共用，以及 緩衝器，連接至所述多個類比數位轉換器且組態成儲存所述中位值。
  18. 如請求項16所述的影像感測設備，其中多個單元內核中的每一者在行方向及列方向上具有(4n+4)像素的長度，其中n為自然數。
  19. 如請求項16所述的影像感測設備，其中經像素合併像素的重心設置在所述第一像素、所述第二像素以及所述第三像素之間的重心處。
  20. 如請求項16所述的影像感測設備，其中所述經像素合併影像是藉由執行所述類比像素合併處理及所述數位像素合併處理兩者至少一次而獲得的影像。
TW110108247A 2020-03-10 2021-03-09 影像感測設備及其影像像素合併方法 TW202203639A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200029370 2020-03-10
KR10-2020-0029370 2020-03-10
KR10-2020-0097290 2020-08-04
KR1020200097290A KR20210114313A (ko) 2020-03-10 2020-08-04 이미지 비닝 방법 및 그 이미지 센싱 장치

Publications (1)

Publication Number Publication Date
TW202203639A true TW202203639A (zh) 2022-01-16

Family

ID=77569672

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110108247A TW202203639A (zh) 2020-03-10 2021-03-09 影像感測設備及其影像像素合併方法

Country Status (3)

Country Link
US (2) US11350045B2 (zh)
CN (1) CN113382214A (zh)
TW (1) TW202203639A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11778337B2 (en) * 2021-11-09 2023-10-03 Samsung Electronics Co., Ltd. Image sensor and method for sensing image

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744912B2 (en) * 1996-11-29 2004-06-01 Varian Medical Systems Technologies, Inc. Multiple mode digital X-ray imaging system
US7154075B2 (en) * 2003-11-13 2006-12-26 Micron Technology, Inc. Method and apparatus for pixel signal binning and interpolation in column circuits of a sensor circuit
JP2009531928A (ja) * 2006-03-27 2009-09-03 エヌエックスピー ビー ヴィ カラービデオ信号を生成するための方法及び装置
US7768562B2 (en) * 2006-10-10 2010-08-03 Micron Technology, Inc. Method, apparatus and system providing imager vertical binning and scaling using column parallel sigma-delta digital conversion
JP2008098971A (ja) 2006-10-12 2008-04-24 Matsushita Electric Ind Co Ltd 固体撮像装置
US7929807B2 (en) 2007-02-27 2011-04-19 Phase One A/S Colour binning of a digital image to reduce the image resolution
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US7884871B2 (en) * 2007-06-15 2011-02-08 Aptina Imaging Corporation Images with high speed digital frame transfer and frame processing
JP5241355B2 (ja) * 2008-07-10 2013-07-17 キヤノン株式会社 撮像装置とその制御方法
EP2471267A1 (en) 2009-08-27 2012-07-04 Robert Bosch GmbH Method for binning of a subset of colour-pixels and system
JP2011097541A (ja) * 2009-11-02 2011-05-12 Sony Corp 固体撮像素子、カメラシステム、固体撮像素子の読み出し方法、およびプログラム
KR101758090B1 (ko) * 2010-12-06 2017-07-17 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 카메라 시스템
US8780238B2 (en) * 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels
JP2012175600A (ja) 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
JP5845140B2 (ja) * 2011-06-29 2016-01-20 キヤノン株式会社 撮像素子及び撮像装置
JP6099009B2 (ja) 2012-02-16 2017-03-22 パナソニックＩｐマネジメント株式会社 撮像素子および撮像装置
KR20150099716A (ko) * 2012-12-25 2015-09-01 소니 주식회사 고체 촬상 소자 및 그 구동 방법, 및 전자 기기
KR101488074B1 (ko) 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
US9596423B1 (en) * 2013-11-21 2017-03-14 Apple Inc. Charge summing in an image sensor
KR102178335B1 (ko) * 2014-01-02 2020-11-12 삼성전자주식회사 이미지 센서의 비닝 방법 및 이미지 센서
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
JP6598496B2 (ja) * 2015-04-22 2019-10-30 キヤノン株式会社 撮像装置及び信号処理方法
DE102016212797A1 (de) * 2016-07-13 2018-01-18 Robert Bosch Gmbh Lichtsensormodul, Verfahren zum Betreiben eines Lichtsensormoduls und Verfahren zum Herstellen eines Lichtsensormoduls
US10334189B1 (en) * 2018-06-06 2019-06-25 Smartsens Technology (Cayman) Co., Ltd. HDR pixel array with double diagonal binning

Also Published As

Publication number Publication date
US11350045B2 (en) 2022-05-31
US11700460B2 (en) 2023-07-11
US20210289150A1 (en) 2021-09-16
US20220294999A1 (en) 2022-09-15
CN113382214A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
US11825216B2 (en) Image sensor
JP2022000945A (ja) イメージセンシング装置およびそれを含む電子装置
CN113852769A (zh) 图像传感器及其合并方法
US11178372B1 (en) Image signal processor, image signal processing method and electronic device thereof
US11700460B2 (en) Image sensing apparatus and image binning method thereof
TW202205845A (zh) 用於減少影像資訊損失的畫素陣列以及包含其的影像感測器
US11743606B2 (en) Pixel array reducing loss of image information and image sensor including same
KR20220122008A (ko) 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치
CN113573071A (zh) 图像压缩方法、编码器和包括编码器的相机模块
KR20210114313A (ko) 이미지 비닝 방법 및 그 이미지 센싱 장치
US11758288B2 (en) Device for improving image resolution in camera system having lens that permits distortion and operation method thereof
TW202226816A (zh) 影像感測器、包括所述影像感測器的影像感測裝置以及操作方法
US20230300481A1 (en) Image sensing device and image processing method of the same
US20230005980A1 (en) Image sensor
KR20220161110A (ko) 이미지 센서 및 이미지 신호 처리 방법
TW202209887A (zh) 影像壓縮方法、編碼器和電子裝置
JP2022183072A (ja) イメージセンサおよびイメージ信号処理方法
KR20230034877A (ko) 이미징 장치 및 이미지 처리 방법
KR20210099490A (ko) 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
KR20230014551A (ko) 이미지 센서, 이미지 처리 장치 및 이미지 처리 방법
KR20230047839A (ko) 영상 정보 손실을 감소하는 픽셀 어레이 및 이를 포함하는 이미지 센서
TW202224172A (zh) 包括相位檢測像素的像素陣列和包括所述像素陣列的影像感測器
CN116095525A (zh) 图像传感器、应用处理器和图像感测装置
KR20230067491A (ko) 이미지 센서, 어플리케이션 프로세서 및 이미지 센싱 장치
KR20220009849A (ko) 포화 픽셀을 이용하는 이미지 압축 방법, 인코더, 및 전자 장치