TWI795796B - 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器 - Google Patents

固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器 Download PDF

Info

Publication number
TWI795796B
TWI795796B TW110119848A TW110119848A TWI795796B TW I795796 B TWI795796 B TW I795796B TW 110119848 A TW110119848 A TW 110119848A TW 110119848 A TW110119848 A TW 110119848A TW I795796 B TWI795796 B TW I795796B
Authority
TW
Taiwan
Prior art keywords
pixel
correction
pixel unit
pixels
sensitivity
Prior art date
Application number
TW110119848A
Other languages
English (en)
Other versions
TW202226824A (zh
Inventor
田中俊介
野房勇希
山本伸
鶴田雅明
Original Assignee
大陸商廣東京之映科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商廣東京之映科技有限公司 filed Critical 大陸商廣東京之映科技有限公司
Publication of TW202226824A publication Critical patent/TW202226824A/zh
Application granted granted Critical
Publication of TWI795796B publication Critical patent/TWI795796B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/672—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction between adjacent sensors or output registers for reading a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Abstract

本發明係提供一種能夠修正在廣泛的區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度之畫質的固體攝像裝置、固體攝像裝置的信號處理方法以及電子機器。修正電路710係對於修正對象之畫素單元PU中之在修正時要參照之各畫素的畫素信號所對應的靈敏度值Pi，以及鄰接於修正對象之畫素單元PU之至少一個同色之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pi，以加權係數Wi進行加權，且將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的總數n而算出修正係數μ。

Description

固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
本發明係關於一種固體攝像裝置、固體攝像裝置的信號處理方法以及電子機器，尤其關於可供進行畫素之靈敏度等之修正的固體攝像裝置、固體攝像裝置的信號處理方法以及電子機器。
已有一種CMOS(Complementary Metal Oxide Semiconductor，互補性金屬氧化半導體)被作為固體攝像裝置(影像感測器(image sensor))而提供於實際使用上，該固體攝像裝置係使用了檢測光而產生電荷的光電轉換元件。
CMOS影像感測器一般係使用紅(R)、綠(G)、藍(B)的三原色濾光器(filter)或藍綠(cyan)、深紅(magenta)、黃(yellow)、綠(green)的四色補色濾光器來拍攝彩色畫像。
一般而言，在CMOS影像感測器中，畫素(pixel，像素)係個別地具備有彩色濾光器。作為濾光器來說，包含主要使紅色光穿透的 紅(R)濾光器、主要使綠色光穿透的綠(Gr、Gb)濾光器及主要使藍色光穿透的藍(B)濾光器。
包含各彩色濾光器的畫素單元經正方排列而形成一個畫素群，複數個畫素群經排列成二維狀而形成畫素部(畫素陣列(array))。
作為此彩色濾光器排列來說，已有一種貝爾(Bayer)排列被廣為所知。此外，例如針對各畫素形成有微透鏡(microlens)。
此外，亦已提出了一種藉由複數個同色畫素形成貝爾排列之各畫素單元而成的CMOS影像感測器，以謀求高靈敏度化或高動態範圍(dynamic range)化(例如參照專利文獻1、2)。
此種CMOS影像感測器已被廣泛地應用作為數位攝像機(digital camera)、攝錄影機(video camera)、監視攝像機、醫療用內視鏡、個人電腦(Personal Computer，PC)、行動電話等行動終端裝置(行動(mobile)機器)等各種電子機器的一部分。
尤其近年來搭載在行動電話等行動終端裝置(行動機器)上之影像感測器的小型化、多畫素化不斷進展，像素大小亦以打破1μm的大小逐漸成為主流。
為了維持多畫素化形成的高解析度化，而且抑制畫素間距縮小所導致之靈敏度或動態範圍的降低，一般係採用將鄰接的複數個同色畫素例如按各4畫素配置，在要追求解析度之際讀取個別的畫素信號，而在需要高靈敏度或動態範圍性能的情況下則將同色之畫素的信號予以加總進行讀取的方法。
再者，此CMOS影像感測器係以例如鄰接於畫素單元的複數個同色畫素共享一個微透鏡。
在以複數個畫素共享一個微透鏡的固體攝像裝置(CMOS影像感測器)中，能夠在畫素中存在有距離資訊，且具有PDAF(Phase Detection Auto Focus，相位檢測自動對焦)功能。
另一方面，在此CMOS影像感測器中，由於在畫素陣列中以同色形成有PDAF(相位檢測自動對焦)畫素，故在通常的攝影模式中，必須修正此等PDAF畫素的靈敏度等。
為了進行此修正，例如，已提出一種利用與鄰接之同色畫素之平均值之差的修正方法(例如參照專利文獻3、4)。
[先前技術文獻]
[專利文獻]
專利文獻1：日本特開平11-298800號公報
專利文獻2：日本特許第5471117號
專利文獻3：日本特許第6369233號
專利文獻4：美國US9918031B2
然而，依據上述專利文獻3及4所記載之利用與鄰接之同色畫素之平均值之差的修正方法，由於要成為修正對象之畫素的範圍被限定 在同一畫素單元內的同色畫素，修正方法亦受到限制，故對於在更廣範圍所產生之顏色不均等的靈敏度不均，或因為複數種要因所產生的靈敏度不均係難以進行正確的修正。
以下將針對專利文獻3及4所記載之利用與鄰接之同色畫素之平均值之差的修正方法進一步地探究。
圖1係顯示採用了利用與鄰接之同色畫素之平均值之差之修正方法之被形成作為RGB感測器之固體攝像裝置(CMOS影像感測器)之畫素陣列之畫素群之一例的圖。
圖1的畫素群1係由Gr畫素的畫素單元PU1、R畫素的畫素單元PU2、B畫素的畫素單元PU3及Gb畫素的畫素單元PU4進行了貝爾排列而成。
畫素單元PU1係配置有鄰接的複數個例如2×2之同色(Gr)的4畫素PXGrA、PXGrB、PXGrC、PXGrD。在畫素單元PU1中，對應4畫素PXGrA、PXGrB、PXGrC、PXGrD配置有一個微透鏡MCL1。
畫素單元PU2係配置有鄰接的複數個例如2×2之同色(R)的4畫素PXRA、PXRB、PXRC、PXRD。在畫素單元PU2中，對應4畫素PXRA、PXRB、PXRC、PXRD配置有一個微透鏡MCL2。
畫素單元PU3係配置有鄰接的複數個例如2×2之同色(B)的4畫素PXBA、PXBB、PXBC、PXBD。在畫素單元PU4中，對應4畫素PXBA、PXBB、PXBC、PXBD配置有一個微透鏡MCL3。
畫素單元PU4係配置有鄰接的複數個例如2×2之同色(Gb)的4畫素PXGbA、PXGbB、PXGbC、PXGbD。在畫素單元PU4中，對應4畫素PXGbA、PXGbB、PXGbC、PXGbD配置有一個微透鏡MCL4。
例如，當要修正圖1之畫素群1之Gr畫素中之像素PXGrA的靈敏度時，若將畫素單元PU1之4畫素PXGrA、PXGrB、PXGrC、PXGrD的靈敏度設為Pa至Pd，且將朝傾斜方向鄰接於畫素單元PU1之畫素單元PU4的4畫素PXGbA、PXGbB、PXGbC、PXGbD的靈敏度設為Pe至Ph，則修正係數Sa係依下式被設作為靈敏度Pa與畫素單元之靈敏度之平均值的比來給定。
[式1]Sa=Pa/((Pa+Pb+Pc+Pd)/4)
如此，在習知的修正方法中，係成為使用同一畫素單元內之同色畫素之平均值而進行的靈敏度修正。
例如，當因為局部性的靈敏度參差不齊及擴及更大範圍之其他要因之靈敏度參差不齊的複合要因而產生了靈敏度參差不齊時，無法將例如圖1中鄰接的Gb畫素PXGbA、PXGbB、PXGbC、PXGbD的靈敏度值Pe至Ph作為修正的參考。
因此，習知的修正方法，有時會發生靈敏度修正不足的情形。例如，由於若要修正靈敏度係僅是參照畫素單元之畫素的靈敏度，故會難以修正遍及複數個畫素單元或畫素群的例如條紋等的缺陷。
此外，如上所述，行動電話等行動終端裝置(行動機器)等的攝像機模組，為了謀求小型化、薄型化，會有要將模組的高度降低的需求。
為了回應此需求，入射至所搭載之影像感測器之畫角周邊部之光線的角度會有變大的傾向。
當無法將畫角周邊部之傾斜入射光予以效率良好地導入至光電轉換區域(photodiode，光電二極體)的情形下，將會在畫角周邊部與畫角中央部出現極大的靈敏度差異，而有可能會產生被稱為是暗影(shading)之畫素特性的劣化。
然而，在習知的修正方法中，由於無法將因為朝向透鏡端部所產生之單調的暗影所引起之靈敏度降低和個別之畫素的參差不齊予以個別地修正，故難以進行正確的靈敏度修正。
本發明係提供一種能夠修正在廣泛的區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度之畫質的固體攝像裝置、固體攝像裝置的信號處理方法以及電子機器。
本發明係提供一種能夠修正在廣泛的區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度之畫質，更能夠以高精確度修正局部性之區域的靈敏度不均的固體攝像裝置、固體攝像裝置的信號處理方法以及電子機器。
本發明之第一型態之固體攝像裝置係具有：畫素部，係配置有複數個畫素單元，該畫素單元係包含進行光電轉換之複數個同色畫素； 及修正電路，係將成為修正對象之前述畫素單元之畫素的靈敏度以與所取得的修正係數產生關聯的方式進行修正；前述修正電路係對於前述修正對象之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於前述修正對象之畫素單元之至少一個畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數進行加權而求得加權靈敏度值的加權平均，並藉此取得前述修正係數。
本發明的第二型態係一種固體攝像裝置的信號處理方法，該固體攝像裝置係具有：畫素部，係配置有複數個畫素單元，該畫素單元係包含進行光電轉換之複數個同色畫素；及修正電路，係將成為修正對象之前述畫素單元之畫素的靈敏度以與所取得的修正係數產生關聯的方式進行修正；前述修正電路係對於前述修正對象之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於前述修正對象之畫素單元之至少一個畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值以加權係數進行加權，且藉由經過加權所得之加權靈敏度值的加權平均而取得前述修正係數。
本發明之第三型態的電子機器係具有：固體攝像裝置；及光學系統，係將被攝體像成像於前述固體攝像裝置；前述固體攝像裝置係包含：畫素部，係配置有複數個畫素單元，該畫素單元係包含進行光電轉換之複數個同色畫素；及修正電路，係將成為修正對象之前述畫素單元之畫素的靈敏度以與所取得的修正係數產生關聯的方式進行修正；前述修正電路係對於前述修正對象之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於前述修正對象之畫素單元之至少一個畫 素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值以加權係數進行加權而求得加權靈敏度值的加權平均，並藉此取得前述修正係數。
依據本發明，能夠修正在廣泛的區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度的畫質。
依據本發明，能夠修正在廣泛的區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度之畫質，更能夠以高精確度修正局部性之區域的靈敏度不均。
10:固體攝像裝置
12:記憶體
20:畫素部
30:垂直掃描電路
40:讀取電路
50:水平掃描電路
60:時序控制電路
70:信號處理電路
200:畫素陣列
710:修正電路
720:記憶體
800:電子機器
810:CMOS影像感測器
820:光學系統
830:信號處理電路(PRC)
AJPU,AJPU1至AJPU4:鄰接畫素單元
CTPU:修正對象畫素單元
CTW1:第一加權係數
CRA:關聯區域
FD:浮游擴散層
LSGN:垂直信號線
MCL:微透鏡
Mo:模式值
P,P1至P20:靈敏度值
PD:光電二極體
PU:畫素單元
PX:畫素
PXG:畫素群
RST11-Tr:重設電晶體
Sa:修正係數
SEL11-Tr:選擇電晶體
SF-Tr:源極隨耦器電晶體
TG11-Tr:轉送電晶體
VDD:電源線
VSL:畫素信號
W,Wi:加權係數
圖1係顯示採用了利用與鄰接之同色畫素之平均值之差之修正方法之被形成作為RGB感測器之固體攝像裝置(CMOS影像感測器)之畫素陣列之畫素群之一例的圖。
圖2係顯示本發明之第一實施型態之固體攝像裝置之構成例的方塊圖。
圖3係顯示本發明之第一實施型態之畫素部中之畫素陣列之形成例的圖。
圖4係抽出本發明之第一實施型態之形成畫素陣列之畫素群之一例予以顯示的圖。
圖5係顯示本發明之第一實施型態之固體攝像裝置之畫素群之4個畫素共享一個浮游擴散層(floating diffusion)之畫素單元之一例的電路圖。
圖6係顯示本發明之第一實施型態之修正電路取得修正係數之修正對象畫素單元，以及包含鄰接於修正對象畫素單元之鄰接畫素單元之畫素陣列上之修正關聯區域之一例的圖。
圖7係用以說明本發明之第一實施型態之修正係數取得處理之第一具體例的圖。
圖8係用以說明本發明之第一實施型態之修正係數取得處理之第二具體例的圖。
圖9係用以說明本發明之第一實施型態之修正係數取得處理之第三具體例的圖。
圖10係用以說明本發明之第二實施型態之修正係數取得處理的圖。
圖11係用以說明本發明之第三實施型態之修正係數取得處理之第一具體例的圖。
圖12係用以說明本發明之第三實施型態之修正係數取得處理之第二具體例的圖。
圖13係用以說明本發明之第三實施型態之修正係數取得處理之第三具體例的圖。
圖14係用以說明本發明之第四實施型態之修正係數取得處理的圖。
圖15係用以說明本發明之第五實施型態之修正係數取得處理的圖。
圖16係用以說明本發明之第六實施型態之修正係數取得處理的圖。
圖17係用以說明本發明之第七實施型態之修正係數取得處理的圖。
圖18係用以說明本發明之第八實施型態之修正係數取得處理的圖。
圖19係用以說明本發明之第九實施型態之修正係數取得處理的圖。
圖20係顯示應用本發明之實施型態之固體攝像裝置之電子機器之構成之一例的圖。
以下將本發明的實施型態與圖式建立關聯進行說明。
(第一實施型態)
圖2係顯示本發明之第一實施型態之固體攝像裝置之構成例的方塊圖。
在本實施型態中，固體攝像裝置10係例如藉由CMOS影像感測器而構成。
如圖2所示，此固體攝像裝置10係具有包含畫素陣列的畫素部20、垂直掃描電路(行掃描電路)30、讀取電路(縱列(column)讀取電路)40、水平掃描電路(列掃描電路)50、時序(timing)控制電路60及信號處理電路70作為主要構成要素。
在本第一實施型態中，如後所詳述，固體攝像裝置10係在畫素部20配置有複數個畫素單元(PU)，該畫素單元(PU)係包含進行光電轉換之複數個同色畫素(PX)，且在信號處理電路70具有將成為靈敏度之修正對象之畫素單元(PU)之畫素PX的靈敏度以與所取得的修正係數μ產生關聯的方式進行修正的修正電路710。
在本第一實施型態中，修正電路710係對於修正對象之畫素單元(PU)中之在修正時要參照之各畫素PX之畫素信號所對應的靈敏度值，以及鄰接於修正對象之畫素單元之至少一個同色之畫素單元中之在修 正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數Wi進行加權，且藉由經加權所得之加權靈敏度值的加權平均而取得修正係數μ。
在本第一實施型態中，修正電路710係對於修正對象之畫素單元(PU)中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於修正對象之畫素單元之至少一個同色之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數Wi進行加權，且將加權後得出之靈敏度值的總和除以在修正時要參照之畫素的總數而取得(算出)修正係數μ。
藉此，本第一實施型態的固體攝像裝置10係構成為能夠修正在廣泛的區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度之畫質。
以下，在說明了固體攝像裝置10之畫素部20中包含複數個同色畫素(在本例中係同色的4畫素)之畫素單元等具體的構成、配置等以及各部之構成和功能的概要之後，針對畫素之靈敏度的修正方法進行詳述。
(畫素部20之畫素陣列200、畫素群PXG、畫素單元PU的構成)
圖3係顯示本發明之第一實施型態之畫素部中之畫素陣列之形成例的圖。
圖4係抽出本發明之第一實施型態之形成畫素陣列之畫素群之一例予以顯示的圖。
畫素部20係由包含光電二極體(光電轉換部)和畫素內放大器(amplifier)的複數個畫素PX排列成二維行列狀(矩陣狀)而形成有畫素陣列200。
畫素PX基本上係以包含光電二極體和複數個畫素電晶體(transistor)之方式構成。作為複數個畫素電晶體來說，係例如包含轉送電晶體、重設(reset)電晶體、具有放大功能的源極隨耦器電晶體(source follower transistor)、選擇電晶體。
然而，在本第一實施型態中，如圖4所示，係採用了以畫素單元的4個同色畫素共享一個浮游擴散層FD(Floating Diffusion)的4畫素共享構成。具體而言，如後所詳述，係以4個色像素共享了浮游擴散層FD11、重設電晶體RST11-Tr、源極隨耦器電晶體SF11-Tr和選擇電晶體SEL11-Tr。
此外，被共享的浮游擴散層FD係例如在修正任意之畫素的靈敏度值之際，作為從在修正時要參照之相同畫素單元PU之複數個畫素讀取之畫素信號的加法運算部而產生作用。
本第一實施型態的畫素陣列200，如後所說明，係以將鄰接的複數個(在本第一實施型態中係4個)同色畫素作成m×m(m係二以上的整數，在本第一實施型態中係2×2)的正方排列而形成畫素單元PU，且藉由鄰接的4個畫素單元PU而形成畫素群PXG，且由複數個畫素群PXG排列成矩陣狀之方式構成。
在圖3之例中，為了簡化圖式，係顯示了由9個畫素群PXG11、PXG12、PXG13、PXG21、PXG22、PXG23、PXG31、PXG32、PXG33配置成3×3之矩陣狀而成的畫素陣列200。
(畫素群PXG及畫素單元PU的構成)
圖3及圖4的畫素群PXG11係由Gr畫素的畫素單元PU111、R畫素的畫素單元PU112、B畫素的畫素單元PU113及Gb畫素的畫素單元PU114進行了貝爾排列而成。
畫素群PXG12係由Gr畫素的畫素單元PU121、R畫素的畫素單元PU122、B畫素的畫素單元PU123及Gb畫素的畫素單元PU124進行了貝爾排列而成。
畫素群PXG13係由Gr畫素的畫素單元PU131、R畫素的畫素單元PU132、B畫素的畫素單元PU133及Gb畫素的畫素單元PU134進行了貝爾排列而成。
畫素群PXG21係由Gr畫素的畫素單元PU211、R畫素的畫素單元PU212、B畫素的畫素單元PU213及Gb畫素的畫素單元PU214進行了貝爾排列而成。
畫素群PXG22係由Gr畫素的畫素單元PU221、R畫素的畫素單元PU222、B畫素的畫素單元PU223及Gb畫素的畫素單元PU224進行了貝爾排列而成。
畫素群PXG23係由Gr畫素的畫素單元PU231、R畫素的畫素單元PU232、B畫素的畫素單元PU233及Gb畫素的畫素單元PU234進行了貝爾排列而成。
畫素群PXG31係由Gr畫素的畫素單元PU311、R畫素的畫素單元PU312、B畫素的畫素單元PU313及Gb畫素的畫素單元PU314進行了貝爾排列而成。
畫素群PXG32係由Gr畫素的畫素單元PU321、R畫素的畫素單元PU322、B畫素的畫素單元PU323及Gb畫素的畫素單元PU324進行了貝爾排列而成。
畫素群PXG33係由Gr畫素的畫素單元PU331、R畫素的畫素單元PU332、B畫素的畫素單元PU333及Gb畫素的畫素單元PU334進行了貝爾排列而成。
如此，畫素群PXG11、PXG12、PXG13、PXG21、PXG22、PXG23、PXG31、PXG32、PXG33係具有相同的構成，以反復之方式排列成矩陣狀。
構成畫素群的畫素單元亦具有畫素群共通的構成。因此，在此，係說明形成畫素群PXG11之畫素單元PU111、PU112、PU113、PU114進行說明作為代表例。
畫素單元PU111係配置有鄰接的複數個例如2×2之同色(Gr)的4畫素PXGr-A、PXGr-B、PXGr-C、PXGr-D。在畫素單元PU111中，係對應4畫素PXGr-A、PXGr-B、PXGr-C、PXGr-D配置有一個微透鏡MCL111。
畫素單元PU112係配置有鄰接的複數個例如2×2之同色(R)的4畫素PXR-A、PXR-B、PXR-C、PXR-D。在畫素單元PU112中，係對應4畫素PXR-A、PXR-B、PXR-C、PXR-D配置有一個微透鏡MCL112。
畫素單元PU113係配置有鄰接的複數個例如2×2之同色(B)的4畫素PXB-A、PXB-B、PXB-C、PXB-D。在畫素單元PU113中， 係對應4畫素PXB-A、PXB-B、PXB-C、PXB-D配置有一個微透鏡MCL113。
畫素單元PU114係配置有鄰接的複數個例如2×2之同色(Gb)的4畫素PXGb-A、PXGb-B、PXGb-C、PXGb-D。在畫素單元PU114中，係對應4畫素PXGb-A、PXGb-B、PXGb-C、PXGb-D配置有一個微透鏡MCL114。
其他畫素群PXG12、PXG13、PXG21、PXG22、PXG23、PXG31、PXG32、PXG33亦具有與上述之畫素群PXG11相同的構成。
再者，如後所詳述，在本第一實施型態中，修正電路710係對於修正對象之畫素單元(PU)中之在修正時要參照之各畫素PX之畫素信號所對應的靈敏度值，以及再將鄰接於修正對象之畫素單元之至少一個同色的畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數Wi進行加權，且藉由經加權所得之加權靈敏度值的加權平均而取得修正係數μ。
如後所詳述，修正係數μ係將經加權後的各靈敏度值除以(進行除法)要參照之畫素的總和來獲得。
在此，與圖3的畫素陣列建立關聯，針對鄰接於修正對象之Gr或Gb畫素之畫素單元(PU)的至少一個同色(Gr或Gb)之畫素單元(PU)的複數例進行說明。
例如，當要修正畫素群PXG11之畫素單元PU114之4個Gb畫素中之任一個Gb畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫素單元PU114之同色的畫素單元，係相對於修正對象之畫素單元 PU114為斜左上方的畫素單元PU111、斜右上方的畫素單元PU121、斜左下方的畫素單元PU211及斜右下方的畫素單元PU221的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU114之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU111、PU121、PU211、PU221中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
當要修正畫素群PXG12之畫素單元PU124之4個Gb畫素中之任一個Gb畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫素單元PU124之同色的畫素單元，係相對於修正對象之畫素單元PU114為斜左上方的畫素單元PU121、斜右上方的畫素單元PU131、斜左下方的畫素單元PU221及斜右下方的畫素單元PU231的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU214之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU121、PU131、PU221、PU231中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
當要修正畫素群PXG22之畫素單元PU221之4個Gr畫素中之任一個Gr畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫素單元PU221之同色的畫素單元，係相對於修正對象之畫素單元PU221為斜左上方的畫素單元PU114、斜右上方的畫素單元PU124、斜左下方的畫素單元PU214及斜右下方的畫素單元PU224的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU221之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU114、 PU124、PU214、PU224中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
當要修正畫素群PXG23之畫素單元PU231之4個Gr畫素中之任一個Gr畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫素單元PU231之同色的畫素單元，係相對於修正對象之畫素單元PU221為斜左上方的畫素單元PU124、斜右上方的畫素單元PU134、斜左下方的畫素單元PU224及斜右下方的畫素單元PU234的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU221之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU124、PU134、PU224、PU234中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
當要修正畫素群PXG21之畫素單元PU214之4個Gb畫素中之任一個Gb畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫素單元PU214之同色的畫素單元，係相對於修正對象之畫素單元PU214為斜左上方的畫素單元PU211、斜右上方的畫素單元PU221、斜左下方的畫素單元PU311及斜右下方的畫素單元PU321的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU214之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU211、PU221、PU311、PU321中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
當要修正畫素群PXG22之畫素單元PU224之4個Gb畫素中之任一個Gb畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫 素單元PU224之同色的畫素單元，係相對於修正對象之畫素單元PU224為斜左上方的畫素單元PU221、斜右上方的畫素單元PU231、斜左下方的畫素單元PU321及斜右下方的畫素單元PU331的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU224之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU221、PU231、PU321、PU331中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
當要修正畫素群PXG32之畫素單元PU321之4個Gr畫素中之任一個Gr畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫素單元PU321之同色的畫素單元，係相對於修正對象之畫素單元PU321為斜左上方的畫素單元PU214、斜右上方的畫素單元PU224、斜左下方的畫素單元PU314及斜右下方的畫素單元PU324的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU321之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU214、PU224、PU314、PU324中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
當要修正畫素群PXG33之畫素單元PU331之4個Gr畫素中之任一個Gr畫素的靈敏度(或色差信號位準)時，鄰接於修正對象之畫素單元PU331之同色的畫素單元，係相對於修正對象之畫素單元PU331為斜左上方的畫素單元PU224、斜右上方的畫素單元PU234、斜左下方的畫素單元PU324及斜右下方的畫素單元PU334的4個。
基本上，修正係參照包含修正對象之畫素之畫素單元PU321之各畫素PX的讀取值(畫素信號所對應的靈敏度值)，還參照畫素單元PU324、PU234、PU324、PU334中的至少一個畫素單元之各畫素的讀取值(畫素信號所對應的靈敏度值)。
如上所述，在本第一實施型態中，如圖4所示，係採用了以畫素單元的4個同色畫素共享一個浮游擴散層FD的4畫素共享構成。
在此，針對以畫素單元的4個同色畫素共享一個浮游擴散層FD的4畫素共享的一構成例進行說明。
(畫素單元的4畫素共享的構成例)
圖5係顯示本發明之第一實施型態之固體攝像裝置以畫素群的4個畫素共享一個浮游擴散層之畫素單元之一例的電路圖。
在圖5的畫素部20中，畫素群PXG的畫素單元PU係由4個畫素(在本實施型態中係色畫素，在此係G畫素)，亦即第一色畫素PX11、第二色畫素PX12、第三色畫素PX21及第四色畫素PX22配置為2×2的正方而成。
第一色畫素PX11係以包含藉由第一光電轉換區域所形成的光電二極體PD11及轉送電晶體TG11-Tr之方式構成。
第二色畫素PX12係以包含藉由第二光電轉換區域所形成的光電二極體PD12及轉送電晶體TG12-Tr之方式構成。
第三色畫素PX13係以包含藉由第三光電轉換區域所形成的光電二極體PD21及轉送電晶體TG21-Tr之方式構成。
第四色畫素PX22係以包含光電二極體PD22及轉送電晶體TG22-Tr之方式構成。
再者，形成畫素群PXG的畫素單元PU，係以4個色畫素PX11、PX12、PX21、PX22共享了浮游擴散層FD11、重設電晶體RST11-Tr、源極隨耦器電晶體SF-Tr、及選擇電晶體SEL11-Tr。
在此種4畫素共享構成中，例如第一色畫素PX11、第二色畫素PX12、第三色畫素PX21、第四色畫素PX22形成為同色，例如形成為G(Gr、Gb(綠))畫素。
例如，第一色畫素PX11的光電二極體PD11作為第一綠色(G)光電轉換部而發揮功能，第二色畫素PX12的光電二極體PD12作為第二綠色(G)光電轉換部而發揮功能，第三色畫素PX21的光電二極體PD21作為第三綠色(G)光電轉換部而發揮功能，第四色畫素PX22的光電二極體PD22作為第四綠色(G)光電轉換部而發揮功能。
作為光電二極體PD11、PD12、PD21、PD22來說，係例如使用嵌入型光電二極體(PPD)。
由於在形成光電二極體PD11、PD12、PD21、PD22的基板表面上存在有源於因為懸鍵(dangling bond)等缺陷所致的表面準位，故會因為熱能量而產生許多電荷(暗電流)，而將無法讀取正確的信號。
在嵌入型光電二極體(PPD)中，通過將光電二極體PD的電荷蓄積部嵌入於基板內，從而能夠降低暗電流混入至信號中。
光電二極體PD11、PD12、PD21、PD22係產生相應於入射光量之量的信號電荷(在此係電子)且予以蓄積。
以下，將針對信號電荷為電子，各電晶體為n型電晶體的情形進行說明，惟信號電荷為電洞，各電晶體為p型電晶體亦無妨。
轉送電晶體TG11-Tr係連接於光電二極體PD11與浮游擴散層FD11之間，且藉由控制信號TG11來控制導通狀態。
轉送電晶體TG11-Tr係在讀取控制系統的控制之下，使控制信號TG11於預定位準的高位準(H)期間被選擇而成為導通狀態，且將經過光電二極體PD11進行光電轉換且蓄積的電荷(電子)轉送至浮游擴散層FD11。
轉送電晶體TG12-Tr係連接於光電二極體PD12與2浮游擴散層FD11之間，且藉由控制信號TG12來控制導通狀態。
轉送電晶體TG12-Tr係在讀取控制系統的控制之下，使控制信號TG12於預定位準的高位準(H)期間被選擇而成為導通狀態，且將經過光電二極體PD12進行光電轉換且蓄積的電荷(電子)轉送至浮游擴散層FD11。
轉送電晶體TG21-Tr係連接於光電二極體PD21與浮游擴散層FD11之間，且藉由控制信號TG21來控制導通狀態。
轉送電晶體TG21-Tr係在讀取控制系統的控制之下，使控制信號TG21於預定位準的高位準(H)期間被選擇而成為導通狀態，且將經過光電二極體PD21進行光電轉換且蓄積的電荷(電子)轉送至浮游擴散層FD11。
轉送電晶體TG22-Tr係連接於光電二極體PD22與2浮游擴散層FD11之間，且藉由控制信號TG22來控制導通狀態。
轉送電晶體TG22-Tr係在讀取控制系統的控制之下，使控制信號TG22於預定位準的高位準(H)期間被選擇而成為導通狀態，且將經過光電二極體PD22進行光電轉換且蓄積的電荷(電子)轉送至浮游擴散層FD11。
如圖5所示，重設電晶體RST11-Tr係連接於電源線VDD(或電源電位)與浮游擴散層FD11之間，且藉由控制信號RST11來控制導通狀態。
重設電晶體RST11-Tr係在讀取控制系統的控制之下，例如於讀取掃描時，使控制信號RST11於H位準的期間被選擇而成為導通狀態，且將浮游擴散層FD11重設為電源線VDD(或VRst)的電位。
源極隨耦器電晶體SF11-Tr與選擇電晶體SEL11-Tr係串聯連接於電源線VDD與垂直信號線LSGN之間。
源極隨耦器電晶體SF11-Tr的閘極係與浮游擴散層FD11連接，選擇電晶體SEL11-Tr係藉由控制信號SEL11來控制導通狀態。
選擇電晶體SEL11-Tr係控制信號SEL11在H位準的期間被選擇而成為導通狀態。藉此，源極隨耦器電晶體SF11-Tr係將浮游擴散層FD11的電荷經過以符合電荷量(電位)之增益之方式轉換為電壓信號後之列輸出的讀取電壓(信號)VSL(PIXOUT)予以輸出於垂直信號線LSGN。
在此種構成中，當使畫素單元PU之各畫素PX11、PX12、PX21、PX22的轉送電晶體TG11-Tr、TG12-Tr、TG21-Tr、TG22-Tr個別地接通(on)斷開(off)，且使經過光電二極體PD11、PD12、PD21、PD22進行光電轉換且蓄積的電荷依序轉送至共通浮游擴散層FD11時，像素單位的畫素信號VSL被送出至垂直信號線LSGN，且被輸入於縱列讀取電路40。
在本實施型態中係將此攝像模式稱為畫素獨立模式。
另一方面，當使各畫素PX11、PX12、PX21、PX22的轉送電晶體TG11-Tr、TG12-Tr、TG21-Tr、TG22-Tr的複數個同時接通斷開，使TG12-Tr、TG21-Tr、TG22-Tr個別地接通斷開，且使經過光電二極體PD11、PD12、PD21、PD22進行光電轉換且蓄積的電荷同時並聯地轉送至共通浮游擴散層FD11時，浮游擴散層FD11係作為加法運算部而發揮功能。
此時，將畫素單元PU內的複數個亦即2、3或4畫素的畫素信號經過加總所得的加算信號送出至垂直信號線LSGN，且輸入至縱列讀取電路40。
在本實施型態中係將此攝像模式稱為畫素加法運算模式。
垂直掃描電路30係依據時序控制電路60的控制在快門(shutter)行及讀取行通過行掃描控制線來進行畫素的驅動。
此外，垂直掃描電路30係依照位址(address)信號，將進行信號之讀取的引導行與重設蓄積於光電二極體PD中之電荷之快門行之行位址的行選擇信號予以輸出。
在通常的像素讀取動作中，係藉由讀取控制系統之垂直掃描電路30所作的驅動來進行快門掃描，之後，進行讀取掃描。
讀取電路40亦可構成為包含對應於畫素部20之各列輸出所配置的複數個列信號處理電路(未圖示)，並藉由複數個列信號處理電路進行列並聯處理。
讀取電路40係可以包含相關加倍取樣(CDS：Correlated Double Sampling)電路或ADC(analog-digital converter，AD(類比數 位)轉換器)、放大器(AMP，增幅器)、抽樣保持(sample hold)(S/H)電路等之方式構成。
水平掃描電路50係掃描經過讀取電路40之ADC等複數個列信號處理電路進行處理所得的信號並朝水平方向轉送，且輸出於信號處理電路70。
時序控制電路60係產生畫素部20、垂直掃描電路30、讀取電路40、水平掃描電路50等信號處理所需的時序信號。
信號處理電路70亦可具有藉由預定的信號處理來產生二維畫像的功能。
信號處理電路70係至少具有修正電路710和記憶體720，執行例如修正各畫素之靈敏度差的靈敏度差修正處理，且將處理後的畫素信號輸出至後段的ISP(Image Signal Processor，圖像信號處理器)等。
另外，修正電路710係可配置於CMOS影像感測器晶片內部，亦可配置於外部。
修正電路710係具有例如根據記憶於記憶體720中的加權係數Wi來執行修正各畫素之靈敏度差之靈敏度差修正處理的功能。
修正電路710係執行取得(算出)執行靈敏度差修正處理之際所需之修正係數μ並使之記憶於記憶體12的修正係數取得處理。
記憶體720係記憶經由修正電路710之修正係數取得處理所求出的修正係數μ，且視需要供給至修正電路710。
以下針對修正電路710的修正處理，以算出並取得應用於作為修正處理之靈敏度差修正處理的修正係數μ的修正係數取得處理為中心，與具體例建立關聯進行說明。
(修正電路710的修正係數取得處理)
在本第一實施型態中，修正電路710係將成為修正對象之畫素單元PU之畫素的靈敏度以與藉由下式(2)所取得(算出)的修正係數μ產生關聯的方式進行修正。
[式2]
Figure 110119848-A0202-12-0025-1
＊μ：corrected sensitivity：畫素的修正係數
Wi：weighted factor(constant)：加權係數(常數)
Pi：each pixels sensitivity：各畫素的靈敏度值
n：要參照之畫素的總數
修正電路710係對於修正對象之畫素單元PU中在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以及鄰接於修正對象之畫素單元PU之至少一個畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以加權係數Wi進行加權而求得之加權靈敏度值的加權平均，並藉此取得修正係數μ。
在本第一實施型態中，修正電路710係將經過加權平均所得之靈敏度值Pn的總和除以在修正時要參照之畫素的總數n來算出修正係數μ。
亦即，修正電路710係對於修正對象之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以及鄰接於修正對象之畫素單元PU之至少一個同色之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以加權係數Wi進行加權，且將經過加權所得之靈敏度值的總和除以在修正時要參照之畫素的總數n來算出修正係數μ。
另外，在第一實施型態中，如後所述，修正電路710亦可構成為可視情形將經過加權平均所得之靈敏度值Pn的總和，除以修正對象畫素單元的畫素數而非除以在修正時要參照之畫素的總數n來算出修正係數μ。
圖6係顯示本發明之第一實施型態之包含修正電路要取得修正係數之修正對象畫素單元，以及鄰接於修正對象畫素單元之鄰接畫素單元之畫素陣列上之修正關聯區域之一例的圖。
在此，例如，圖3所示之畫素群PXG11的畫素單元PU114為修正對象畫素單元CTPU，能夠從相對於修正對象畫素單元CTPU為斜左上方的畫素單元PU111、斜右上方的畫素單元PU121、斜左下方的畫素單元PU211及斜右下方的畫素單元PU221的4個之中任意地選擇採用1、2、3或4個畫素單元作為鄰接畫素單元AJPU1至AJPU4。
此外，屬於修正對象畫素單元CTPU之4畫素之讀取值的靈敏度值係以P1、P2、P3、P4來表示，鄰接畫素單元AJPU1之4畫素的靈敏度值係 以P5、P6、P7、P8來表示，鄰接畫素單元AJPU2之4畫素的靈敏度值係以P9、P10、P11、P12來表示，鄰接畫素單元AJPU3之4畫素的靈敏度值係以P13、P14、P15、P16來表示，鄰接畫素單元AJPU4之4畫素的靈敏度值係以P17、P18、P19、P20來表示。
再者，藉由圖6所示之3×3之9個畫素單元來劃定修正關聯區域CRA。
在此，針對本第一實施型態之修正係數取得處理的三個具體例進行說明。
(第一實施型態之修正係數取得處理的第一具體例)
圖7係用以說明本第一實施型態之修正係數取得處理之第一具體例的圖。
此外，式(2-1)係顯示將第一加權係數CTW1及第二加權係數AJW1代入具體的數值以作為上述式2的加權係數之例。
[式2-1]
Figure 110119848-A0202-12-0027-2
在此第一具體例中，畫素單元PU114相當於修正對象畫素單元CTPU，採用相對於修正對象畫素單元CTPU為斜左上方的畫素單元PU111、斜右上方的畫素單元PU121、斜左下方的畫素單元PU211及斜右下方的畫素單元PU221的4個作為鄰接畫素單元AJPU1至AJPU4。
修正係參照包含修正對象之畫素之修正對象畫素單元CTPU之各畫素PX的讀取值(畫素信號所對應的靈敏度值P1至P4)，還參照鄰接畫素單元AJPU1之各畫素的讀取值(畫素信號所對應的靈敏度值 P5至P8)、鄰接畫素單元AJPU2之各畫素的讀取值(畫素信號所對應的靈敏度值P9至P12)、鄰接畫素單元AJPU3之各畫素的讀取值(畫素信號所對應的靈敏度值P13至P16)、鄰接畫素單元AJPU4之各畫素的讀取值(畫素信號所對應的靈敏度值P17至P20)。
再者，如式(2-1)所示，加權係數W係將要對於修正對象畫素單元CTPU(PU114)之畫素設定的第一加權係數CTW1設定為「0.15」，且將要對於鄰接畫素單元AJPU1至AJPU4之畫素設定的第二加權係數AJW1設定為「0.025」。此設定值係滿足了上述的條件CTW>AJW。
此外，作為第一加權係數CTW1的「0.15」係對應修正對象畫素單元CTPU之4畫素的靈敏度值P1至P4作設定，而作為第二加權係數AJW1的「0.025」係對應鄰接畫素單元AJPU1至AJPU4的16畫素作設定。
因此，加權係數W的總和係成為(0.15×4+0.025×16)=1，滿足了式2的條件。
此外，在本例中，在修正時要參照之畫素的總數n係成為「20」。
如此，在第一具體例中，修正電路710係在取得(算出)用以修正修正對象畫素單元CTPU之左上方之修正對象畫素之靈敏度值P1的修正係數μ之際，取得對於配置在與修正對象畫素(G畫素)相同之修正對象畫素單元CTPU的4個G畫素之靈敏度值P1至P4的各者乘上第一加權係數CTW1(0.15)而進行加權所得出之靈敏度值的第一總和。
與此同時，取得對於配置在鄰接於修正對象畫素單元CTPU之斜上方之鄰接畫素單元AJPU1至AJPU4的16個G畫素之靈敏度值P5至P20的 各者乘上第二加權係數AJW1(0.025)而進行加權所得出之靈敏度值的第二總和。
再者，將加權得出之靈敏度值的第一總和與第二總和進行加總而取得加權總靈敏度值，且將此加權總靈敏度值除以在修正時要參照之畫素的總數n(=20)，而取得所希望的修正係數μ。
藉此，即可在包含如G畫素之同色之複數個畫素之畫素單元所鄰接的畫素陣列200中，並非使用單純的平均值，而是使用不僅包含修正對象畫素單元CTPU，還包含鄰接於修正對象畫素單元CTPU之鄰接畫素單元AJPU的加權平均，而修正例如在一個微透鏡下因為複數種要因所產生的靈敏度不均，而實現更高精確度的畫質。
再者，在本第一實施型態中，各加權係數Wi係由常數所規定，且其總和亦成為常數，在本例中，以加權係數Wi的總和成為1之方式設定加權係數。亦即，構成為在修正時要參照之鄰接畫素單元的數愈多，參照畫素愈多，第二加權係數AJW1就變為愈小的值，在修正時要參照之鄰接畫素單元的數愈少，參照畫素愈少，第二加權係數AJW2就變為愈大的值。
結果，受到在修正時要參照之鄰接畫素單元的數(參照畫素的數)的影響較少，無關於取樣區域等即能夠穩定地取得參差不齊較少之高精確度的修正係數μ。
(第一實施型態之修正係數取得處理的第二具體例)
圖8係用以說明本第一實施型態之修正係數取得處理之第二具體例的圖。
此外，式(2-2)係顯示將第一加權係數CTW1及第二加權係數AJW1代入具體的數值以作為上述式2的加權係數之例。
[式2-2]
Figure 110119848-A0202-12-0030-3
在此第二具體例中，畫素單元PU114相當於修正對象畫素單元CTPU，採用相對於修正對象畫素單元CTPU為斜左上方的畫素單元PU111的一個作為鄰接於修正對象畫素單元CTPU之同色的鄰接畫素單元AJPU1。
另外，此係一例，可從相對於修正對象畫素單元CTPU為斜左上方的畫素單元PU111、斜右上方的畫素單元PU121、斜左下方的畫素單元PU211及斜右下方的畫素單元PU221的4個之中任意地選擇採用1、2或3個畫素單元作為鄰接畫素單元。
修正係參照包含修正對象之畫素之修正對象畫素單元CTPU之各畫素PX的讀取值(畫素信號所對應的靈敏度值P1至P4)，還參照鄰接畫素單元AJPU1之各畫素的讀取值(畫素信號所對應的靈敏度值P5至P8)。
再者，如式(2-2)所示，加權係數W係將要對於修正對象畫素單元CTPU(PU114)之畫素設定的第一加權係數CTW1設定為「0.15」，且將要對於鄰接畫素單元AJPU1之畫素設定的第二加權係數AJW1設定為「0.1」。此設定值係滿足了上述的條件CTW>AJW。
此外，作為第一加權係數CTW1的「0.15」係對應修正對象畫素單元CTPU之4畫素的靈敏度值P1至P4作設定，而作為第二加權係數AJW1的「0.1」係對應鄰接畫素單元AJPU1的4畫素作設定。
因此，加權係數W的總和係成為(0.15×4+0.1×4)=1，滿足了式2的條件。
此外，在本例中，在修正時要參照之畫素的總數n係成為「8」。
如此，在第二具體例中，修正電路710係在取得(算出)用以對修正對象畫素單元CTPU之左上方之修正對象畫素之靈敏度值P1進行修正的修正係數μ之際，取得對於配置在與修正對象畫素(G畫素)相同之修正對象畫素單元CTPU的4個G畫素之靈敏度值P1至P4的各者乘上第一加權係數CTW1(0.15)而進行加權所得出之靈敏度值的第一總和。
與此同時，取得對於配置在鄰接於修正對象畫素單元CTPU之斜上方之鄰接畫素單元AJPU1的4個G畫素之靈敏度值P5至P20的各者乘上第二加權係數AJW1(0.1)而進行加權所得出之靈敏度值的第二總和。
再者，將加權得出之靈敏度值的第一總和與第二總和進行加總而取得加權總靈敏度值，且將此加權總靈敏度值除以在修正時要參照之畫素的總數n(=8)，而取得所希望的修正係數μ。
藉此，即可在包含如G畫素之同色之複數個畫素之畫素單元所鄰接的畫素陣列200中，並非使用單純的平均值，而是使用不僅包含修正對象畫素單元CTPU，還包含鄰接於修正對象畫素單元CTPU之鄰接畫素單元AJPU的加權平均，而修正例如在一個微透鏡下因為複數種要因所產生的靈敏度不均，並實現更高精確度的畫質。
(第一實施型態之修正係數取得處理的第三具體例)
圖9係用以說明本第一實施型態之修正係數取得處理之第三具體例的圖。
在此第三具體例中，修正電路710係可依畫素部20中畫素的配置區域而採用不同數量之用於修正的鄰接畫素單元AJPU。
在本例中，係採用了第一配置區域AR1和第二配置區域AR2作為畫素的配置區域。
第一配置區域AR1係包含畫素部20之中央部側的區域ACTR，第二配置區域AR2係包含畫素部20的緣部側區域AEDG。
修正電路710在第一配置區域AR1中，所採用的鄰接畫素單元AJPU可較少，且隨之將依據上述式(2-2)加權得出之靈敏度值的總和除以在修正時要參照之畫素之第一總數(在圖9之例中係8)而算出修正係數μ。
修正電路710在第二配置區域AR2中，係以將所採用的鄰接畫素單元AJPU增多而提高精確度為佳，且隨之將依據上述式(2-1)加權得出之靈敏度值的總和除以在修正時要參照之畫素之第一總數(在圖9之例中係20)而算出修正係數μ。
依據此修正方法，亦易於依畫素部20中之畫素的每一配置位置來變更修正的樣區(sampling area)或修正係數。
例如，在圖9中，於影像感測器之畫素部20的中央部區域ACTR，係以式(2-2)的修正式來取得靈敏度值修正用的修正係數μ。
此外，例如，在傾斜光之入射較多且暗影之影響較大的晶片周邊部區域AEDG中亦能夠使用式(2-1)，進行使用更廣範圍之鄰接畫素的修正。
綜上所述，在本第一實施型態中，修正電路710係對於修正對象之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn以及鄰接於修正對象之畫素單元PU之至少一個同色之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以加權係數Wi進行加權，且將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的總數n而算出修正係數μ。
因此，依據本第一實施型態，具有能夠修正在廣泛區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度之畫質的優點。
此外，依據本第一實施型態，修正電路710係可依畫素部20中畫素的配置區域而採用不同數量之用於修正的鄰接畫素單元AJPU。
因此，依據本第一實施型態，能夠將廣泛區域中因為複數種要因所產生的靈敏度不均分別以最佳的修正方法進行個別地修正，且能夠實現更高精確度的畫質，更能夠以高精確度修正局部性區域的靈敏度不均。
(第二實施型態)
圖10係用以說明本發明之第二實施型態之修正係數取得處理的圖。
此外，式(2-3)係顯示將第一加權係數CTW1及第二加權係數AJW1、AJW2代入具體的數值以作為上述式2的加權係數之例。
[式2-3]
Figure 110119848-A0202-12-0033-4
本第二實施型態與第一實施型態不同的點係如下所述。
在第一實施型態中，各畫素單元PU係藉由2×2的4個同色畫素(G)所構成，且對應各畫素單元PU之所有的4畫素配置有一個微透鏡MCL。
相對於此，在本第二實施型態中，各畫素單元PU係藉由3×3的9個同色畫素(G)所構成，且僅對應修正對象畫素單元CTPU之左上方的4畫素G1至G4，例如配置有一個微透鏡MCL11以具備PDAF功能。
再者，對應相對於修正對象畫素單元CTPU之其餘的畫素G5至G9、鄰接畫素單元AJPU1至AJPU4的畫素G10至G45、修正對象畫素單元CTPU為上下左右鄰接之B畫素及R畫素之畫素單元的所有畫素，配置有一個微透鏡MCL12。
再者，在本第二實施型態中，係將修正對象畫素單元CTPU區分為配置有修正對象之畫素G1至G4的第一區域AR11，及配置有其餘之畫素G9至G9的第二區域AR12，對於第一區域AR11設定第一加權係數CTW1，對於第二區域AR12設定第二加權係數AJW2而取得在各個區域經過加權得出之靈敏度值的總和，且將包含鄰接畫素單元JPU1之經過加權得出之靈敏度值之總和之經過加權後的靈敏度值，除以在修正時要參照之畫素的總數n而取得修正係數μ。
再者，如式(2-3)所示，加權係數W係將要對於修正對象畫素單元CTPU(PU114)之第一區域AR11之畫素設定的第一加權係數CTW1設定為「0.111」，且將要對於第二區域AR12之畫素設定的第二加權係數AJW2設定為「0.056」，將要對於鄰接畫素單元AJPU1之畫素設 定之第二加權係數AJW1設定為「0.0531」。此設定值係滿足了上述的條件CTW>AJW2>AJW1。
此外，作為第一加權係數CTW1的「0.111」係對應修正對象畫素單元CTPU之第一區域AR11之4畫素G11至G4的靈敏度值P1至P4作設定，而作為第二加權係數AJW2的「0.056」係對應修正對象畫素單元CTPU1之5畫素G5至G9作設定。作為第二加權係數AJW1的「0.0531」係對應鄰接畫素單元AJPU1的9畫素G10至G18作設定。
因此，加權係數W的總和係成為(0.111×4+0.056×5+0.0531×9)=1，滿足了式2的條件。
此外，在本例中，在修正時要參照之畫素的總數n係成為「18」。
綜上所述，在本第二實施型態中，於同色之3×3畫素所鄰接的畫素排列中，為了修正位於中央之修正對象畫素單元CTPU之具有同一微透鏡之綠畫素G1至G4的靈敏度值，將位於相同畫素單元CTPU之畫素G5至G9，和鄰接之鄰接畫素單元AJPU係數μ相乘進行加權而進行靈敏度的修正。
換言之，在本實施型態中，加權係數係將配置有修正對象之畫素之對象區域所用的第一加權係數CTW1設為最大值，而將其他畫素配置區域所用的第二加權係數AJW設定為符合對象區域所用之配置條件的值。
如此，通過將因為起自修正對象畫素之距離或構造對於靈敏度造成的影響度予以加權並進行加總，從而能夠進行比起單純之平均值的加總更精密的靈敏度修正。
(第三實施型態)
以下的式3係顯示用以取得應用於本發明之第三實施型態之修正係數取得處理之修正係數的演算式。
[式3]
Figure 110119848-A0202-12-0036-5
＊μ：weighted average：畫素的修正係數
Wi：weighted factor(constant)：加權係數(常數)
Pi：each pixels sensitivity：各畫素的靈敏度值
本第三實施型態之修正係數取得處理(式3)與第一實施型態之修正係數取得處理不同的點係如下所述。
在第一實施型態之修正係數取得處理中，修正電路710係對於修正對象之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以及鄰接於修正對象之畫素單元PU之至少一個同色之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以加權係數Wi進行加權，且將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的總數n而算出修正係數μ。
相對於此，在本第三實施型態的修正係數取得處理中，修正電路710係對於修正對象之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以及鄰接於修正對象之畫素單元PU之至少一個同色之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以加權係數Wi進行加權，且將經過加權得出之靈敏度 值的總和除以在修正時要參照之畫素單元之加權係數值的總和而算出修正係數μ。
在此說明本第三實施型態之修正係數取得處理的三個具體例。
(第三實施型態之修正係數取得處理的第一具體例)
圖11係用以說明本第三實施型態之修正係數取得處理之第一具體例的圖。
此外，式(3-1)係顯示將第一加權係數CTW1及第二加權係數AJW1代入具體的數值以作為上述式3的加權係數之例。
[式3-1]
Figure 110119848-A0202-12-0037-6
在此第一具體例中，畫素單元PU114相當於修正對象畫素單元CTPU，採用相對於修正對象畫素單元CTPU為斜左上方的畫素單元PU111、斜右上方的畫素單元PU121、斜左下方的畫素單元PU211及斜右下方的畫素單元PU221的4個作為鄰接畫素單元AJPU1至AJPU4。
修正係參照包含修正對象之畫素之修正對象畫素單元CTPU之各畫素PX的讀取值(畫素信號所對應的靈敏度值P1至P4)，還參照屬於鄰接畫素單元AJPU1至AJPU4之各畫素的讀取值之畫素信號所對應的靈敏度值P5至P8、P9至P12、P13至P16、P17至P20。
再者，如式(3-1)所示，加權係數W係將要對於修正對象畫素單元CTPU(PU114)之畫素設定的第一加權係數CTW1設定為「5」， 且將要對於鄰接畫素單元AJPU1至AJPU4之畫素設定的第二加權係數AJW1設定為「3」。此設定值係滿足了上述的條件CTW>AJW。
此外，作為第一加權係數CTW1的「5」係對應修正對象畫素單元CTPU之4畫素的靈敏度值P1至P4作設定，而作為第二加權係數AJW1的「3」係對應鄰接畫素單元AJPU1至AJPU4的16畫素作設定。
此外，在本例中，在修正時要參照之畫素單元之加權係數值的總和係成為「68」。
如此，在第一具體例中，修正電路710係在取得(算出)用以對修正對象畫素單元CTPU之左上方之修正對象畫素之靈敏度值P1進行修正的修正係數μ之際，取得對於配置在與修正對象畫素(G畫素)相同之修正對象畫素單元CTPU的4個G畫素之靈敏度值P1至P4的各者乘上第一加權係數AJW1(5)而進行加權所得出之靈敏度值的第一總和。
與此同時，取得對於配置在鄰接於修正對象畫素單元CTPU之斜上方之鄰接畫素單元AJPU1至AJPU4的16個G畫素之靈敏度值P5至P20的各者乘上第二加權係數AJW1(3)而進行加權所得出之靈敏度值的第二總和。
再者，將加權得出之靈敏度值的第一總和與第二總和進行加總而取得加權總靈敏度值，且將此加權總靈敏度值除以在修正時要參照之畫素單元之加權係數值的總和n(=68)而取得所希望的修正係數μ。
藉此，即可在包含如G畫素之同色之複數個畫素之畫素單元所鄰接的畫素陣列200中，並非使用單純的平均值，而是使用不僅包含修正對象畫素單元CTPU，還包含鄰接於修正對象畫素單元CTPU之鄰接 畫素單元AJPU的加權平均，而修正例如在一個微透鏡下因為複數種要因所產生的靈敏度不均，而實現更高精確度的畫質。
(第三實施型態之修正係數取得處理的第二具體例)
圖12係用以說明本第三實施型態之修正係數取得處理之第二具體例的圖。
此外，式(3-2)係顯示將第一加權係數CTW1及第二加權係數AJW1代入具體的數值以作為上述式3的加權係數之例。
[式3-2]
Figure 110119848-A0202-12-0039-8
在此第二具體例中，畫素單元PU114相當於修正對象畫素單元CTPU，採用相對於修正對象畫素單元CTPU為斜左上方的畫素單元PU111的一個作為鄰接於修正對象畫素單元CTPU之同色的鄰接畫素單元AJPU1。
另外，此係一例，可從相對於修正對象畫素單元CTPU為斜左上方的畫素單元PU111、斜右上方的畫素單元PU121、斜左下方的畫素單元PU211及斜右下方的畫素單元PU221的4個之中任意地選擇採用1、2或3個畫素單元作為鄰接畫素單元。
修正係參照包含修正對象之畫素之修正對象畫素單元CTPU之各畫素PX的讀取值(畫素信號所對應的靈敏度值P1至P4)，還參照鄰接畫素單元AJPU1之各畫素的讀取值(畫素信號所對應的靈敏度值P5至P8)。
再者，如式(3-2)所示，加權係數W係將要對於修正對象畫素單元CTPU(PU114)之畫素設定的第一加權係數CTW1設定為「3」，且將要對於鄰接畫素單元AJPU1之畫素設定的第二加權係數AJW1設定為「2」。此設定值係滿足了上述的條件CTW>AJW。
此外，作為第一加權係數CTW1的「3」係對應修正對象畫素單元CTPU之4畫素的靈敏度值P1至P4作設定，而作為第二加權係數AJW1的「2」係對應鄰接畫素單元AJPU1的4畫素作設定。
此外，在本例中，在修正時要參照之畫素單元之加權係數值的總和n係成為「20」。
如此，在第二具體例中，修正電路710係在取得(算出)用以對修正對象畫素單元CTPU之左上方之修正對象畫素之靈敏度值P1進行修正的修正係數μ之際，取得對於配置在與修正對象畫素(G畫素)相同之修正對象畫素單元CTPU的4個G畫素之靈敏度值P1至P4的各者乘上第一加權係數AJW1(3)而進行加權所得出之靈敏度值的第一總和。
與此同時，取得對於配置在鄰接於修正對象畫素單元CTPU之斜上方之鄰接畫素單元AJPU1的4個G畫素之靈敏度值P5至P8的各者乘上第二加權係數AJW1(2)而進行加權所得出之靈敏度值的第二總和。
再者，將加權得出之靈敏度值的第一總和與第二總和進行加總而取得加權總靈敏度值，且將此加權總靈敏度值除以在修正時要參照之畫素單元之加權係數值的總和n(=20)，而取得所希望的修正係數μ。
藉此，即可在包含如G畫素之同色之複數個畫素之畫素單元所鄰接的畫素陣列200中，並非使用單純的平均值，而是使用不僅包含 修正對象畫素單元CTPU，還包含鄰接於修正對象畫素單元CTPU之鄰接畫素單元AJPU的加權平均，而修正例如在一個微透鏡下因為複數種要因所產生的靈敏度不均，而實現更高精確度的畫質。
(第三實施型態之修正係數取得處理的第三具體例)
圖13係用以說明本第三實施型態之修正係數取得處理之第三具體例的圖。
在此第三具體例中，修正電路710係可依畫素部20中畫素的配置區域而採用不同數量之用於修正的鄰接畫素單元AJPU。
在本例中，係採用了第一配置區域AR21和第二配置區域AR22作為畫素的配置區域。
第一配置區域AR21係包含畫素部20之中央部側的區域ACTR，第二配置區域AR22係包含畫素部20的緣部側區域AEDG。
修正電路710在第一配置區域AR1中，所採用的鄰接畫素單元AJPU可較少，且隨之將依據上述式(3-2)加權得出之靈敏度值的總和除以在修正時要參照之畫素之第一總數(在圖13之例中係20)而算出修正係數μ。
修正電路710在第二配置區域AR2中，係以將所採用的鄰接畫素單元AJPU增多而提高精確度為佳，且隨之將依據上述式(3-1)加權得出之靈敏度值的總和除以在修正時要參照之畫素之第一總數(在圖13之例中係68)而算出修正係數μ。
依據此修正方法，亦易於依畫素部20中之畫素的每一配置位置來變更修正的樣區(sampling area)或修正係數。
例如，在圖13中，於影像感測器之畫素部20的中央部區域ACTR，係以式(3-2)的修正式來取得靈敏度值修正用的修正係數μ。
此外，例如，在傾斜光之入射較多且暗影之影響較大的晶片周邊部區域AEDG中亦能夠使用式(3-1)，進行使用更廣範圍之鄰接畫素的修正。
綜上所述，在本第三實施型態中，修正電路710係對於修正對象之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以及鄰接於修正對象之畫素單元PU之至少一個同色之畫素單元PU中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值Pn，以加權係數Wi進行加權，且將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素單元之加權係數值的總數n而算出修正係數μ。
因此，依據本第三實施型態，具有能夠分別以最佳的修正方法來個別修正在廣泛區域中因為複數種要因所產生的靈敏度不均，且能夠實現更高精確度之畫質的優點。
此外，依據本第三實施型態，修正電路710係可依畫素部20中畫素的配置區域而採用不同數量之用於修正的鄰接畫素單元AJPU。
因此，依據本第三實施型態，能夠將廣泛區域中因為複數種要因所產生的靈敏度不均分別以最佳的修正方法進行個別地修正，且能夠實現更高精確度的畫質，更能夠以高精確度修正局部性區域的靈敏度不均。
(第四實施型態)
以下的式4係顯示用以取得應用在本發明之第四實施型態之修正係數取得處理上之修正係數的演算式。
[式4]
Figure 110119848-A0202-12-0043-9
＊＊μ：weighted average：畫素的修正係數
fi：weighted factor(function)：加權係數(函數)
Pi：each pixels sensitivity：各畫素的靈敏度值
n：要參照之畫素的總數
本第四實施型態之修正係數取得處理(式4)與第一、第二及第三實施型態之修正係數取得處理不同的點係如下所述。
在第四實施型態之修正係數取得處理中，係藉由函數f(i)形成前述的加權係數Wi。
在本第四實施型態中，函數f(i)係包含顯示依據微透鏡暗影(lens shading)之理論值的函數。
在此，針對本第四實施型態之修正係數取得處理的具體例進行說明。
(第四實施型態之修正係數取得處理的具體例)
圖14(A)至(C)係用以說明本發明之第四實施型態之修正係數取得處理的圖。
圖14(A)係顯示畫素群的畫素單元排列，圖14(B)係顯示圖14(A)之x-x線上之修正對象畫素單元CTPU的亮度值分布，圖14(C)係示意性地顯示以與函數f(i)產生關聯的方式修正暗影的情形。
在本第四實施型態中，各畫素單元PU係藉由4×4的16個同色畫素(G)所構成，且對應修正對象畫素單元CTPU及鄰接畫素單元 AJPU1至AJPU4之各16畫素G1至G16等，例如分別配置有一個微透鏡MCL21以具備PDAF功能。
在本第四實施型態中，係形成有函數f(i)以對修正對象畫素單元CTPU之各畫素G1至G16之微透鏡MCL21所導致的暗影進行修正。另外，函數f(i)係被使用作為待機函數。
在本例中，亦使用鄰接畫素單元AJPU1至AJPU4的靈敏度值而亦加總有起自修正對象畫素的距離，亦即相符於影響度的係數。
此外，在本例中，在修正時要參照之畫素的總數n係成為「16」。
依據本第四實施型態，亦能夠更正確地修正因微透鏡MCL21本身之形狀之參差不齊所產生的靈敏度不良。
如此，依據本第四實施型態，即可藉由使用函數作為待機函數，而修正更多樣的靈敏度不均。
(第五實施型態)
以下的式5係顯示用以取得應用在本發明之第五實施型態之修正係數取得處理上之修正係數的演算式。
[式5]
Figure 110119848-A0202-12-0044-10
＊＊μ：weighted average：畫素的修正係數
Wi：weighted factor(constant)：加權係數(常數)
Pi：each pixels sensitivity：各畫素的靈敏度值
n：要參照之畫素的總數
fi：weighted factor(function)：加權係數(函數)
本第五實施型態之修正係數取得處理(式5)與第四實施型態之修正係數取得處理不同的點係如下所述。
在第五實施型態的修正係數取得處理中，係在藉由加權係數進行加權而求出加權靈敏度值之際，於以與顯示符合畫素之配置條件之狀態之理論值的函數產生關聯的方式進行修正之後，藉由加權平均而取得修正係數μ。
亦即，在本第五實施型態中，所謂顯示符合畫素之配置條件之理論值的函數，係相當於顯示依據上述之微透鏡MCL21之暗影之理論值的函數f(i)，且將由此函數f(i)與起自修正對象畫素之距離所決定的修正係數予以相乘而修正微透鏡MCL21所導致的暗影。
在此，針對本第五實施型態之修正係數取得處理的具體例進行說明。
(第五實施型態之修正係數取得處理的具體例)
圖15(A)至(C)係用以說明本發明之第五實施型態之修正係數取得處理的圖。
圖15(A)係顯示畫素群的畫素單元排列，圖15(B)係顯示圖15(A)之x-x線上之修正對象畫素單元CTPU之亮度值分布，圖15(C)係示意性地顯示以與函數f(i)產生關聯的方式修正暗影的情形。
在本第五實施型態中，亦與第四實施型態同樣地，各畫素單元PU係藉由4×4的16個同色畫素(G)而構成，且對應修正對象畫素單 元CTPU及鄰接畫素單元AJPU1至AJPU4的各16畫素G1至G16等，例如分別配置有一個微透鏡MCL21以具有PDAF功能。
在本第五實施型態中，亦於4×4畫素之同色畫素所鄰接的畫素排列中，在中央的修正對象(注重)畫素單元CTPU之G畫素P1至P16上形成有一個微透鏡MCL21。
當要修正各畫素的靈敏度參差不齊之際，非僅只是取得位於相同4×4之畫素單元內之16畫素之靈敏度值的平均，而要經過修正透鏡所導致的暗影之後取得加權平均，才更能夠更正確地修正一個一個畫素的靈敏度參差不齊。
在本例中，亦使用鄰接畫素單元AJPU1至AJPU4的靈敏度值而加總起自修正對象畫素的距離，亦即相符於影響度的係數。
此外，在本例中，在修正時要參照之畫素的總數n係成為「80」。
依據本第五實施型態，亦能夠更正確地修正從微透鏡MCL21本身之形狀之參差不齊所產生的靈敏度不良。
如此，依據本第五實施型態，即能藉由使用函數作為待機函數而修正更多樣的靈敏度不均。
(第六實施型態)
圖16(A)及(B)係用以說明本發明之第六實施型態之修正係數取得處理的圖。
本第六實施型態與第一實施型態不同的點係如下所述。
在第一實施型態中，各畫素單元PU係藉由2×2的4個同色畫素(G)所構成，且對應各畫素單元PU之所有的4畫素配置有一個微透鏡MCL。
相對於此，在本第六實施型態中，如圖16(A)所示，各畫素單元PU係藉由3×3的9個同色畫素(G)所構成，且僅對應修正對象畫素單元CTPU的2畫素G4、G5，例如配置有一個微透鏡MCL31以具有PDAF功能。
或者，如圖16(B)所示，各畫素單元PU係藉由3×3的9個同色畫素(G)所構成，且僅對應修正對象畫素單元CTPU的2畫素G4、G5，例如配置有金屬屏蔽(shield)MSL31以具有PDAF功能。
依據本第六實施型態，即能夠將局部性包含在畫素單元中之具有PDAF功能之畫素的靈敏度，以根據相同修正對象畫素單元CTPU或其他鄰接畫素單元AJPU之同一色畫素之加權平均或周邊畫素之靈敏度值而來之經過加權後的函數來進行修正。
(第七實施型態)
圖17(A)及(B)係用以說明本發明之第七實施型態之修正係數取得處理的圖。
本第七實施型態與第一實施型態不同的點係如下所述。
在第一實施型態中，各畫素單元PU係藉由2×2的4個同色畫素(G)所構成，且對應各畫素單元PU之所有的4畫素配置有一個微透鏡MCL。
相對於此，在本第七實施型態中，如圖16(A)所示，係構成為各畫素單元PU係藉由3×3的9個同色畫素(G)所構成，且僅對應修正對象畫素單元CTPU的2畫素G4、G5，配置例如白黑畫素或近紅外(NIR)畫素，而在畫素單元PU包含有不同的顏色。
依據本第七實施型態，即能夠將局部性包含在畫素單元中之白黑畫素或NIR畫素的靈敏度，以根據相同畫素單元CTPU或其他鄰接畫素單元AJPU之同一色畫素之加權平均或周邊畫素之靈敏度值而來之經過加權後的函數來進行修正。
(第八實施型態)
以下的式6係顯示用以取得應用在本發明之第八實施型態之修正係數取得處理上之修正係數的演算式。
[式6]
Figure 110119848-A0202-12-0048-11
＊μi/2：media value：中央值
x：each pixels sensitivity：各畫素的靈敏度值
圖18係用以說明本發明之第八實施型態之修正係數取得處理的圖。
本第八實施型態與上述之第一、第二、第三、第四、第五、第六及第七實施型態不同的點係如下所述。
在本第八實施型態中，所進行之修正係數取得處理係對於畫素之靈敏度取得同一畫素單元或其他鄰接畫素單元之中央值作為修正係數的，以取代加權平均。
依據本第八實施型態，即能夠藉由使用同色之鄰接畫素的中央值，而修正習知難以進行修正之較廣區域的靈敏度不均。
(第九實施型態)
以下的式7係顯示用以取得應用在本發明之第九實施型態之修正係數取得處理上之修正係數的演算式。
[式7]
Figure 110119848-A0202-12-0049-12
＊Mo：mode value：模式值
l：lower point of the class containing the mode value Mo：包含模式值Mo之層級的下限
f+1：the number of degrees between the following classes：下一個層級間的度數
f+2：the number of degrees between the preceding classes：先前之層級間的度數
h：the width between classes：層級間的寬度
在式7中，Mo係表示模式值，l係表示包含模式值Mo之層級的下限，(f+1)係表示下一個層級間的度數，(f-1)係表示在前之層級間的度數，h係表示層級間的寬度。
圖19係用以說明本發明之第九實施型態之修正係數取得處理的圖。
本第九實施型態與上述之第一、第二、第三、第四、第五、第六及第七實施型態不同的點係如下所述。
在本第九實施型態中，係藉由同一畫素單元或其他鄰接畫素單元的模式值來修正畫素的靈敏度，以取代加權平均。
依據本第九實施型態，即能夠藉由使用同一畫素單元或其他鄰接畫素單元的模式值，而修正習知難以進行修正之較廣區域的靈敏度不均。
以上所說明的固體攝像裝置10係可作為攝像裝置應用在數位攝像機或攝錄影機、行動終端或監視用攝像機、醫療用內視鏡用攝像機等的電子機器上。
圖20係顯示搭載有應用本發明之實施型態之固體攝像裝置之攝像機系統之電子機器之構成之一例的圖。
如圖20所示，本電子機器800係具有可應用本實施型態之固體攝像裝置10的CMOS影像感測器810。
再者，電子機器800係具有引導入射光於該CMOS影像感測器810之像素區域(使被攝體像成像)的光學系統(透鏡等)820。
電子機器800係具有處理CMOS影像感測器810之輸出信號的信號處理電路(PRC)830。
信號處理電路830係對於CMOS影像感測器810的輸出信號實施預定的信號處理。
經過信號處理電路830所處理的畫像信號，係作為動畫放映於由液晶顯示器等所構成的監視器，或者亦能夠輸出至印表機(printer)，此外亦能夠為直接記錄於記憶卡(memory card)等記錄媒體等各種態樣。
綜上所述，能夠通過搭載前述的固體攝像裝置10作為CMOS影像感測器810，而提供高性能、小型、低成本的攝像機系統。
再者，能夠實現在攝像機之設置要件具有安裝大小、可供連接之纜線條數、纜線長度、設置高度等限制的用途上所使用之例如監視用攝像機、醫療用內視鏡用攝像機等電子機器。
AJPU,AJPU1至AJPU4:鄰接畫素單元
CTPU:修正對象畫素單元
CRA:關聯區域
P,P1至P20:靈敏度值

Claims (18)

  1. 一種固體攝像裝置，係具有：畫素部，係配置有複數個畫素單元，該畫素單元係包含進行光電轉換之複數個同色畫素；及修正電路，係將成為修正對象之前述畫素單元之畫素的靈敏度以與所取得的修正係數產生關聯之方式進行修正；前述修正電路係對於前述修正對象之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於前述修正對象之畫素單元之至少一個同色之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數進行加權，且將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的總數而算出前述修正係數。
  2. 如請求項1所述之固體攝像裝置，其中，前述修正電路係可依前述畫素部中畫素的配置區域而採用不同數量之鄰接畫素單元。
  3. 如請求項2所述之固體攝像裝置，其中，前述修正電路在所採用之鄰接畫素單元較少的第一配置區域中，係將前述經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的第一總數而算出前述修正係數，前述修正電路在所採用之鄰接畫素單元較多的第二配置區域中，係將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的第二總數而算出前述修正係數。
  4. 如請求項2至請求項3中任一項所述之固體攝像裝置，其中，前述修正對象的畫素單元係區分為複數個區域，該複數個區域係包含：包括修正對象畫素之區域， 前述修正電路係以對於前述區分出的複數個區域設定的加權係數取得該各區域中之加權靈敏度值的總和，且將包含鄰接畫素單元之加權過後之靈敏度值的總和的加權靈敏度值除以在修正時要參照之畫素的總數而取得修正係數。
  5. 如請求項1所述之固體攝像裝置，其中，前述修正電路係對於前述修正對象之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於前述修正對象之畫素單元之至少一個同色之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數進行加權，且將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素單元之加權係數值的總和而算出前述修正係數。
  6. 如請求項5所述之固體攝像裝置，其中，前述修正電路係可依前述畫素部中畫素的配置區域而採用不同數量之鄰接畫素單元。
  7. 如請求項6所述之固體攝像裝置，其中，前述修正電路在所採用之鄰接畫素單元較少的第一配置區域中，係將前述經過加權得出之靈敏度值的總和除以在修正時要參照之畫素單元之加權係數值的第一總和而算出前述修正係數，前述修正電路在所採用之鄰接畫素單元較多的第二配置區域中，係將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素單元之加權係數值的第二總和而算出前述修正係數。
  8. 如請求項3或請求項7所述之固體攝像裝置，其中，前述第一配置區域係包含前述畫素部之中央部側的區域，前述第二配置區域係包含前述畫素部的緣部側區域。
  9. 如請求項1所述之固體攝像裝置，其中，前述加權係數係常數。
  10. 如請求項1所述之固體攝像裝置，其中，前述加權係數係符合畫素之配置條件的函數。
  11. 如請求項9或請求項10所述之固體攝像裝置，其中，前述修正電路係在藉由前述加權係數進行加權而求出加權靈敏度值之際，以與顯示符合畫素之配置條件之狀態之理論值的函數產生關聯的方式進行修正，且藉由加權平均而取得前述修正係數。
  12. 如請求項10所述之固體攝像裝置，係對應前述畫素單元的複數個畫素形成有一個微透鏡，前述函數係顯示依據透鏡暗影之理論值的函數。
  13. 如請求項1所述之固體攝像裝置，其中，前述加權係數係對於前述修正對象之畫素單元之畫素所設定的第一加權係數，比對於其他畫素單元之畫素所設定的第二加權係數更大。
  14. 如請求項1所述之固體攝像裝置，其中，前述加權係數係將配置有前述修正對象之畫素之對象區域所用的第一加權係數設為最大值，將其他畫素配置區域所用的第二加權係數設定為符合該對象區域所用之配置條件的值。
  15. 如請求項1所述之固體攝像裝置，其中，前述修正電路係對於前述畫素之靈敏度值或色差信號，取得同一前述畫素單元或鄰接之前述畫素單元的中央值作為前述修正係數，以取代加權平均。
  16. 如請求項1所述之固體攝像裝置，其中，前述修正電路係對於前述畫素之靈敏度值或色差信號，取得同一前述畫素單元或鄰接之前述畫素單元的模式值作為前述修正係數，以取代加權平均。
  17. 一種固體攝像裝置的信號處理方法，該固體攝像裝置係具有： 畫素部，係配置有複數個畫素單元，該畫素單元係包含進行光電轉換之複數個同色畫素；及修正電路，係將成為修正對象之前述畫素單元之畫素的靈敏度以與所取得的修正係數產生關聯的方式進行修正；前述修正電路係對於前述修正對象之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於前述修正對象之畫素單元之至少一個同色之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數進行加權，且藉由經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的總數而算出前述修正係數。
  18. 一種電子機器，係具有：固體攝像裝置；及光學系統，係將被攝體像成像於前述固體攝像裝置；前述固體攝像裝置係具有：畫素部，係配置有複數個畫素單元，該畫素單元係包含進行光電轉換之複數個同色畫素；及修正電路，係將成為修正對象之前述畫素單元之畫素的靈敏度以與所取得的修正係數產生關聯的方式進行修正；前述修正電路係對於前述修正對象之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以及鄰接於前述修正對象之畫素單元之至少一個同色之畫素單元中之在修正時要參照之各畫素之畫素信號所對應的靈敏度值，以加權係數進行加權，且將經過加權得出之靈敏度值的總和除以在修正時要參照之畫素的總數而算出前述修正係數。
TW110119848A 2020-12-24 2021-06-01 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器 TWI795796B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020215183A JP2022100908A (ja) 2020-12-24 2020-12-24 固体撮像装置、固体撮像装置の信号処理方法、および電子機器
JP2020-215183 2020-12-24

Publications (2)

Publication Number Publication Date
TW202226824A TW202226824A (zh) 2022-07-01
TWI795796B true TWI795796B (zh) 2023-03-11

Family

ID=82071113

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110119848A TWI795796B (zh) 2020-12-24 2021-06-01 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器

Country Status (4)

Country Link
US (1) US11647305B2 (zh)
JP (1) JP2022100908A (zh)
CN (1) CN114679551B (zh)
TW (1) TWI795796B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103650480A (zh) * 2011-07-14 2014-03-19 索尼公司 图像处理设备、摄像设备、图像处理方法和程序
CN105580352A (zh) * 2014-09-01 2016-05-11 索尼公司 固体摄像器件、固体摄像器件的信号处理方法和电子装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3795715B2 (ja) 1999-10-20 2006-07-12 自動車電機工業株式会社 ワイパー装置およびその取付方法
JP4364728B2 (ja) * 2004-06-18 2009-11-18 富士通株式会社 赤外線検出器の感度補正機能を有する赤外線撮像装置
JP2006042267A (ja) * 2004-07-30 2006-02-09 Canon Inc 画像処理方法、画像処理装置、およびプログラム
JP4919723B2 (ja) * 2006-07-18 2012-04-18 ウインボンド エレクトロニクス コーポレイション 画像信号のノイズ削減方法及び装置
JP4635076B2 (ja) * 2008-07-07 2011-02-16 富士フイルム株式会社 固体撮像装置
JP5471117B2 (ja) * 2009-07-24 2014-04-16 ソニー株式会社 固体撮像装置とその製造方法並びにカメラ
CN104285437B (zh) * 2012-05-10 2016-06-29 富士胶片株式会社 信号处理装置、摄像装置、信号校正方法
JP6087674B2 (ja) * 2013-02-27 2017-03-01 キヤノン株式会社 撮像装置
CN105580349B (zh) * 2013-09-27 2018-08-14 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
JP6180882B2 (ja) * 2013-10-31 2017-08-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、信号処理装置、および電子機器
TWI549511B (zh) * 2014-03-19 2016-09-11 智原科技股份有限公司 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法
TWI684363B (zh) * 2015-02-13 2020-02-01 日商新力股份有限公司 圖像感測器、讀出控制方法、及電子機器
US10298888B2 (en) * 2015-08-25 2019-05-21 Kabushiki Kaisha Toshiba Adaptive analyzer of sensitivity difference of same color pixels and adaptive corrector of sensitivity difference of same color pixels
CN110036630B (zh) * 2016-12-08 2021-08-20 新唐科技日本株式会社 固体摄像装置以及摄像装置、输送设备的反射镜
US11153514B2 (en) * 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
JP2020043435A (ja) * 2018-09-07 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103650480A (zh) * 2011-07-14 2014-03-19 索尼公司 图像处理设备、摄像设备、图像处理方法和程序
CN105580352A (zh) * 2014-09-01 2016-05-11 索尼公司 固体摄像器件、固体摄像器件的信号处理方法和电子装置

Also Published As

Publication number Publication date
CN114679551A (zh) 2022-06-28
US11647305B2 (en) 2023-05-09
JP2022100908A (ja) 2022-07-06
TW202226824A (zh) 2022-07-01
US20220210354A1 (en) 2022-06-30
CN114679551B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
TWI653892B (zh) 固態成像器件及其驅動方法，以及電子裝置
US8520103B2 (en) Solid-state imaging device, signal processing method thereof and image capturing apparatus
US8350940B2 (en) Image sensors and color filter arrays for charge summing and interlaced readout modes
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
US20080284884A1 (en) Image sensor, electronic apparatus, and driving method of electronic apparatus
US11637975B2 (en) Solid state image sensor and electronic equipment
WO2010141056A1 (en) Imager having global and rolling shutter processes
JP2010130657A (ja) 固体撮像装置及びそれを用いた撮像システム
CN210143059U (zh) 图像传感器集成电路、图像传感器以及成像系统
TWI795796B (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
JP2005223133A (ja) 固体撮像装置およびそれを用いた撮像システム
JP2015027045A (ja) 固体撮像素子及びその駆動方法、並びに電子機器
JP6970595B2 (ja) 固体撮像装置、固体撮像装置の製造方法、および電子機器
CN112770069A (zh) 图像装置
JP7404447B1 (ja) 固体撮像装置、固体撮像装置の製造方法、および電子機器
TWI795895B (zh) 固體攝像裝置、固體攝像裝置的製造方法、以及電子機器
JP5619093B2 (ja) 固体撮像装置及び固体撮像システム
US20220279108A1 (en) Image sensor and mobile terminal
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法
JP2017208651A (ja) 撮像装置
JP2011114474A (ja) 撮像装置及び固体撮像素子の駆動方法