TWI422234B - An image signal correcting means, an image capturing means, an image signal correcting means, and an image signal correcting processing means - Google Patents

An image signal correcting means, an image capturing means, an image signal correcting means, and an image signal correcting processing means Download PDF

Info

Publication number
TWI422234B
TWI422234B TW098122136A TW98122136A TWI422234B TW I422234 B TWI422234 B TW I422234B TW 098122136 A TW098122136 A TW 098122136A TW 98122136 A TW98122136 A TW 98122136A TW I422234 B TWI422234 B TW I422234B
Authority
TW
Taiwan
Prior art keywords
color
correction
image signal
pixel
color mixture
Prior art date
Application number
TW098122136A
Other languages
English (en)
Other versions
TW201004370A (en
Inventor
Masatsugu Fukunaga
Natsuko Otani
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201004370A publication Critical patent/TW201004370A/zh
Application granted granted Critical
Publication of TWI422234B publication Critical patent/TWI422234B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

圖像訊號補正裝置、攝像裝置、圖像訊號補正方法及圖像訊號補正處理程式
本發明係關於補正具有CMOS圖像感測器等固體攝像元件之攝像裝置中鄰接像素間之混色(彩色串擾)等的圖像訊號補正裝置、攝像裝置、圖像訊號補正方法及程式。
一般而言，CMOS(Complementary Metal Oxide Semiconductor)圖像感測器(CIS)等之攝像元件，會產生受鄰接像素之影響的混色(彩色串擾)。
混色，大體區分為基板內部有擴散電荷混入之電性混色、與入射光因亂反射等而漏入鄰接像素之光學混色。
該等混色成為使色再現性劣化等之對畫質造成不良影響的主要原因。
因此，有人提出有使各色持有混色補正用之係數、可使面內一律補正之技術，或根據F值同樣以面內一律進行補正之技術等(例如參照專利文獻1)。
又，一般而言與混色同時地，在像素內存在因光之吸收等而無助於光電二極體之光電轉換的光量，且以像素為單位產生漸暈。
將如此之漸暈稱為像素陰影，其影響界面反射或對構成電晶體之多晶矽等之光吸收等，與混色同樣地具有面內分佈，成為使畫質劣化之主要原因。
因此，有人提出有僅關於該像素陰影，考慮攝像面內分佈之補正裝置(參照專利文獻2、3)。此等為對來自無視混色之感測器輸出之訊號進行陰影補正的系統。
[專利文獻1]日本特開平10-271519號公報
[專利文獻2]日本特開2003-169255號公報
[專利文獻3]日本特開2006-134157號公報
然而，搭載於行動電話之小型相機等中，藉由像素間距之細微化、及出射光瞳距離之短距離化，感測器之中央像素與周邊像素之入射角度之差增大(越靠周邊主光線越傾斜)。
因此，越靠近周邊，於鄰接像素混入之光越增加，且從微透鏡至光電二極體之間，至相鄰之像素之Al佈線結構等像素單位不對稱，故光之亂反射至到達光電二極體之前較複雜。
即，由該等主要原因，使混色率並非面內一律。因此，面內一律之混色補正變得困難。
又，專利文獻2、3所揭示之補正裝置，為對來自無視混色之感測器輸出之訊號進行陰影補正的系統。
一般而言，由於混色依存於來自周邊像素之光的吸收過程，而陰影依存於對象像素之光的散逸過程，故兩者在熱力學上不等價。
然而，上述先行文獻之陰影補正系統僅考慮光之散逸過程，而未考慮吸收過程之變位程度，故難以估計正確的訊號量。
因此，上述陰影補正系統難以進行高精度的補正。
本發明係提供一種可實現面內一律之混色補正，且可實現高精度補正之圖像訊號補正裝置、攝像裝置、圖像訊號補正方法及程式。
本發明之第1觀點之圖像訊號補正裝置，至少具有：混色補正部，其接受經彩色攝像元件光電轉換之圖像訊號，補正該圖像訊號中所含之混色成分；及記憶部，其保存預先設定於對應上述攝像元件之攝像面而複數劃分之各區域的混色補正係數；且，上述混色補正部係於混色補正時，藉由內插近似由上述記憶部讀取之混色補正係數，取得必要之像素位置的混色率，再利用該取得之混色率進行混色成分之補正。
本發明之第2觀點之攝像裝置，具有：彩色攝像元件，其攝像被攝體像；及圖像訊號補正裝置，其接受經彩色攝像元件光電轉換之圖像訊號後進行補正；且，上述圖像訊號補正裝置，至少具有：混色補正部，其補正經彩色攝像元件光電轉換之圖像訊號中所含之混色成分；及記憶部，其保存預先設定於對應上述攝像元件之攝像面而複數劃分之各區域的混色補正係數；又，上述混色補正部係於混色補正時，藉由內插近似由上述記憶部讀取之混色補正係數，取得必要之像素位置的混色率，利用該取得之混色率進行混色成分之補正。
較好的是，上述混色補正部係設定複數之代表點，且內插代表點間而決定各像素之混色率。
較好的是，上述混色補正部，係進行取得之混色率與輸入圖像訊號之積和運算，並進行輸入圖像訊號與該積和運算結果之減法處理而進行混色補正。
較好的是，保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
較好的是，進而具有陰影補正部，其接受經上述混色補正部混色補正之圖像訊號，對該被混色補正圖像訊號進行像素陰影補正。
較好的是，具有第2記憶部，其保存預先設定於對應上述攝像元件之攝像面而複數劃分之各區域的像素陰影補正係數，且，上述陰影補正部係藉由內插近似保存於上述第2記憶部之像素陰影補正係數，而取得必要之像素位置的補正係數，利用該取得之補正係數進行陰影補正。
較好的是，上述陰影補正部，係進行取得之補正係數與上述被混色補正圖像訊號之積分而進行陰影補正。
本發明之第3觀點之圖像訊號補正方法，其具有：由記憶部讀取預先設定於對應彩色攝像元件之攝像面而複數劃分之各區域的混色補正係數的步驟；接受經上述攝像元件光電轉換之圖像訊號，藉由內插近似由上述記憶部讀取之混色補正係數，而取得必要之像素位置的混色率的步驟；及利用上述取得之混色率進行混色成分之補正的步驟。
本發明之第4觀點之程式，係使電腦執行圖像訊號補正處理，該圖像訊號補正處理具有：由記憶部讀取預先設定於對應彩色攝像元件之攝像面而複數劃分之各區域的混色補正係數的處理；接受經上述攝像元件光電轉換之圖像訊號，藉由內插近似由上述記憶部讀取之混色補正係數，而取得必要之像素位置的混色率的處理；及利用上述取得之混色率進行混色成分之補正的處理。
根據本發明，經彩色攝像元件光電轉換之圖像訊號被輸入混色補正部。
混色補正部，於混色補正時藉由內插近似由記憶部讀取之混色補正係數，而取得必要之像素位置的混色率。
且，混色補正部利用所取得之混色率進行混色成分之補正。
根據本發明，可根據面內分佈實現混色補正，且可實現高精度補正。
以下，茲以圖式說明本發明之實施形態。
圖1係顯示適用本發明之實施形態之圖像訊號補正裝置之攝像裝置的構成例的方塊圖。
本攝像裝置10，如圖1所示，具有：透鏡系統11、攝像元件12、A/D轉換器13、鉗位部14、圖像訊號補正裝置15、解馬賽克部16、線性矩陣部17、伽馬補正部18、及亮度色度訊號生成部19。
又，亮度色度訊號生成部19之輸出側配置有視頻介面(I/F)20。
透鏡系統11含有光圈111，其將被攝體像結像於攝像元件12之攝像面。
攝像元件12，係由CMOS圖像感測器等形成，且以矩陣狀排列有複數之單位像素。各像素上對應配置有彩色濾光片。
攝像元件12，作為其像素排列，採用如圖2所示之拜爾排列。
圖3係顯示本實施形態之攝像元件12之單位像素的構成例的電路圖。
圖3係顯示本實施形態之由4個電晶體構成之CMOS圖像感測器之像素的一例。
各像素120，如圖3所示，具有如光電二極體構成之光電轉換元件121。
且，像素120對於該1個光電轉換元件121，作為能動元件具有傳送電晶體122、重置電晶體123、放大電晶體124、及選擇電晶體125之4個電晶體。
光電轉換元件121將入射光光電轉換為對應其光量之量的電荷(此處為電子)。
傳送電晶體122係連接於光電轉換元件121與浮置擴散部FD之間，且於其閘極(傳送閘極)經由傳送控制線LTx被給與控制訊號之發送訊號TG。
藉此，傳送電晶體122將經光電轉換元件121光電轉換之電子傳送至浮置擴散部FD。
重置電晶體123係連接於電源線LVDD與浮置擴散部FD之間，且於其閘極經由重置控制線LRST被給與控制訊號之重置訊號RST。
藉此，重置電晶體123將浮置擴散部FD之電位重置成電源線LVDD之電位。
浮置擴散部FD連接有放大電晶體124之閘極。放大電晶體124，經由選擇電晶體125連接於訊號線LSGN，構成像素部外之定電流源126與源極跟隨器。
且，經由選擇控制線LSEL，對應於位址訊號之作為控制訊號之選擇訊號SEL被給與選擇電晶體125之閘極，選擇電晶體125開啟。
當選擇電晶體125開啟時，放大電晶體124放大浮置擴散部FD之電位，而將對應其電位之電壓輸出於訊號線LSGN。經由訊號線LSGN，由各像素輸出之電壓被輸出於行讀取電路。
該等動作，由於係以列單位連接例如傳送電晶體122、重置電晶體123、及選擇電晶體125之各閘極，故關於1列之各像素同時進行。
攝像元件12，係以佈線於像素陣列部之重置控制線LRST、傳送控制線LTx、及選擇控制線LSEL為一組，以像素排列之各列單位進行佈線。
該等重置控制線LRST、傳送控制線LTx、及選擇控制線LSEL係藉由未圖示之垂直掃描電路驅動。
又，訊號線LSGN係連接於含有CDS電路(相關雙取樣電路)等之行讀取電路。
圖4係攝像元件之裝置結構的模式圖及混色的說明圖。
圖4中，攝像元件12具有對於光電轉換元件之光電二極體PD之受光面，夾著導波路WGD而配置彩色濾光片CF，且於各彩色濾光片CF之光入射側分別定位微透鏡ML之多層佈線結構。
導波路WGD上形成有Al佈線或層間膜等。
混色多見於具有CMOS圖像感測器等多層佈線結構之攝像元件。其主要原因為，傾斜入射之光之亂反射的成分穿過Al遮光膜而漏入鄰接像素所引起。
此處將其稱為光學混色。
此外，亦有光電二極體PD間藉由電子之擴散的混色等，但在現在之製程中非混色之主要原因。
混色現象，係由於形成導波路彩色濾光片CF至光電二極體PD之路徑之導波路WGD內的亂反射，而在由周邊像素入射、或朝周邊像素散逸之光的平衡在到達光電二極體PD之前所複雜引起的現象。
由於一般情形下像素之結構在鄰接間不對稱，故亦難以推定亂反射。
其後詳述關於本發明之混色補正及陰影補正。
A/D轉換器13，係將藉由攝像元件12之圖像訊號由類比訊號轉換為數位訊號後輸出於鉗位部14。
鉗位部14，係補正藉由A/D轉換器13之數位圖像訊號之黑色位準，且輸出於圖像訊號補正裝置15。
圖像訊號補正裝置15，係用於符合攝像元件12之攝像面而以矩陣狀(網目狀)劃分之各區域中所推定之實效混色率θ，將該混色率藉由內插近似而得到必要之像素位置(座標)上的θ，進行與θ相關聯之混色補正。
圖像訊號補正裝置15係對實施混色補正之圖像訊號進行陰影補正。
圖像訊號補正裝置15，於混色補正及陰影補正時，例如使用配合攝像元件12之攝像面(補正對象面)以矩陣狀(網目狀)劃分，網目單位之複數之代表點相對之各加權係數，進行所謂B樣條(B-spline)內插。
圖像訊號補正裝置15，如圖1所示，具有混色補正部151、像素陰影補正部152、第1記憶部153、及第2記憶部154。
記憶部153保存有配合攝像元件12之攝像面而以矩陣狀(網目狀)劃分之各區域所推定的實效混色率θ。
混色補正部151，係藉由內插近似算出保存於記憶部153之混色率θ中於混色補正時必要之像素位置(座標)上的θ，再用該近似之混色率θ進行混色補正。
混色補正部151係進行用記憶部153保存之混色率(補正係數)之B樣條內插而進行混色補正。
記憶部154係保存配合攝像元件12之攝像面而以矩陣狀(網目狀)劃分之各區域所定義的補正係數。
陰影補正部152係進行用記憶部154保存之補正係數之B樣條內插而進行陰影補正。
其後詳述關於圖像訊號補正裝置15之混色補正及陰影補正。
圖像訊號補正裝置15，於混色補正後，將經陰影補正之圖像訊號輸出至解馬賽克部16。
混色補正後，經陰影補正之圖像訊號，於解馬賽克部16實施同步化處理，而於線性矩陣部17實施色再現處理，於伽馬補正部18經伽馬補正後，被供給於亮度色度訊號生成部19。
然後，於亮度色度訊號生成部19生成亮度訊號、色度訊號，並經由視頻介面I/F20於未圖示之顯示裝置顯示影像。
以下，包含原理之說明來具體說明關於圖像訊號補正裝置15之混色補正及陰影補正。
圖5係光之散逸、吸收過程之圖像。
圖6係光之散逸、吸收逆過程之圖像。
圖5顯示像素0之入射光Q0 至光電轉換前之光q0 的散逸．吸收過程(Q0 →q0 )。
圖6顯示向像素0之入射光Q0 之逆過程(q0 →Q0 )。
該情形，散逸過程(漸暈)與吸收過程(混色)並不相同。即，散逸過程(漸暈)≠吸收過程(混色)。
混色，如圖5所示，依存於來自周邊像素之光之吸收過程，陰影依存於對象像素之光之散逸過程，故兩者在熱力學上不等價。
因此可知，如圖6所示，當逆向進行光之散逸．吸收過程時，必須以首先補正來自周邊像素之吸收量(稱其為混色補正)、再補正光之散逸量(稱其為像素陰影補正)之順序進行。
原理上可以說，既存技術之陰影補正系統僅考慮光之散逸過程，而未考慮吸收過程之變位程度，故難以估計正確的訊號量。
即，混色與像素陰影有必要將兩者進行排他性補正，考慮該點之系統必不可少。
即，可知混色補正與陰影補正須獨立且以混色補正→陰影補正之順序進行。
本實施形態之圖像訊號補正裝置15，係於混色補正後進行陰影補正而構成。
此處，試將光學混色模型化。
圖7係顯示像素間混色模型之圖。
圖8係顯示各像素之光之散逸、吸收模型的圖。
為表示圖7之對象像素0號的光量平衡，光學通路內(彩色濾光片至光電二極體之路徑)引起之光之散亂、吸收量，以與通過各彩色濾光片後之光量Qi 成比例之係數(ξ，η)各作為ξQi 、ηQj ，如圖8所示定義之。
此處，ξQi 表示由像素i向周邊像素散逸之光量或電壓，ηQj 表示由像素j亂反射後入射之光量或電壓(=像素i之吸收光量或電壓)，qi 表示像素i之感測器輸出訊號量(光量或電壓或數位訊號值)。
又，圖9(A)及(B)係顯示攝像元件(感測器)12之輸出入訊號之例的圖。圖9(A)顯示攝像元件(感測器)12之彩色濾光片通過後之輸入訊號，圖9(B)顯示攝像元件(感測器)12之輸出訊號。
若將該混色模型定式化，則如下所示。
像素訊號量之模型
此處，q0 表示對對象像素進行光電轉換後之電壓或將其AD轉換後之數位訊號量。
Q0 表示將對象像素之彩色濾光片通過後之光量經電壓換算之量，或將其AD轉換後之數位訊號量。
Qj 表示將鄰接於對象像素之像素的彩色濾光片通過後的光量換算為電壓之量，或將其AD轉換後之數位訊號量。
ξ0j 表示將由對象像素朝周邊散逸之光量(=無助於對象像素之訊號量q0 之Q0 的部分光量)除以對象像素之入射光量Q0 的無次元係數。一般地，0.0<ξ0j <1.0。
ηj0 表示將由周邊向對象像素散亂之光量(=來自Q0 以外之有助於對象像素之訊號量q0 之周邊Qj 的部分光量)除以各周邊像素之入射光量Qj 的無次元係數。一般地，0.0<ηj0 <1.0。
χ 0 表示與吸收係數、對象像素及周邊像素之間進行之光量平衡無關聯之無助於對象像素的訊號量q0 的Q0 的吸收率(例：朝像素周邊之電晶體之多晶矽的吸收等)。此處，0<χ0 <1。
n表示鄰接於對象像素之像素數。
將式1變形，如式2所示可表示像素入射光之訊號量。
像素入射光之訊號量...將式1變形
式2表示將光學系統路內引起之光之散亂吸收補正的訊號量。
所謂光學路徑，係形成圖4之彩色濾光片CF至光電二極體PD之路徑的導波路WGD內的光學通路。
即，式2之分母表示光散逸、用以補正無助於對象像素之訊號成分之量的像素陰影補正。
式2之分子表示補正由周邊像素散亂之光有助於對象像素之訊號成分的混色量。
另，像素陰影為所謂像素之漸暈。此處為與透鏡陰影區分而稱為像素陰影。
其次敍述混色補正式。
混色補正後之訊號量C0 將式2變形如下表示。
式3之右邊之第2項係指如對象像素0號之周邊像素(n個)與ξQ進行積和運算。
則，本發明之實施形態之模型，如式3明示，若先進行混色補正，再進行像素陰影補正，則求得對象像素之Q0 。
然而，由於式3右邊之Qj 係圖9(A)所示之彩色濾光片通過後之光量，故一般為不可測定之量。
因此，有必要以圖9(B)所示之可測定之感測器輸出qj ，如後所示之式4~式6另行展開。
圖10係顯示本實施形態之圖像訊號補正裝置15之訊號處理的流程圖。
圖11係顯示對應模型公式2之補正處理的圖。
本實施形態之圖像訊號補正裝置15，如圖10所示可知，藉由對某感測器輸出q0 實施混色補正，可正確進行後段之像素陰影補正。
若不實施本訊號處理(跳過)，則由式3可知，ΣηQ項放大陰影增益程度，而Q0 最終不能正確再現。
根據以上點，當以鄰接像素可測定量q展開式2時，則為下式4。
該式4，如圖11所示，成為由對象像素之遠側順序實施鄰接、次鄰接、次次鄰接像素...之混色補正、及陰影補正，最後進行對象像素0號之補正的漸化式。
同樣地，當使用鄰接像素之可測定量qj 展開混色補正式之式3時，則為下式5。
再者，當將該混色補正式5展開至鄰接及次鄰接像素時，則為下式6。
該式6之右邊第5項含有不能測定量Q。
且，當各像素之散亂平衡至多為入射於像素之光量的數%~十數%程度時，則η+Σξ+X<1成立。
即，由β<1，由式6可知，補正C可以q-Σβq之近似值充分表示。可以說β越<<1，混色，像素陰影越少，感測器(攝像元件)越優良。
因此，本發明之實施形態中基本的混色補正式為下式7之劃線部分。
又，式7之右邊第2項之加法部(Σβq)為對象像素之混色量本身。
因此，例如將紅(R)、綠(G)、藍(B)之彩色濾光片鑲嵌排列之攝像元件12，可用以下方法原理地求得β。
此處求出實驗性之混色量之後，定義β→θ，且將式7之右邊第2項之加法部改寫為Σθq。其後將θ重新定義為實效混色率。
<混色率θ之求法>：
圖12係顯示本實施形態之混色量之測定系統之一例圖。
圖13係顯示單色光R之各像素之應答與混色量的圖。
圖12之混色量之測定系統30之構成含有白色光源31、帶通濾波器(BPF)32、透鏡33、及攝像元件34。攝像元件34具有與圖1之攝像元件12相同之構成及機能。
例如如圖12所示，準備通過各彩色濾光片CF之感度最大之波長附近之帶通濾波器32的單色光。將各色之單色光經由透鏡33照射於攝像元件34，求出各像素之應答量。
其後，由按各色光源求出之像素值求出混色量。
即，如圖13之例，當使單色光R照射時，帶通濾波器之特性無助於G像素與B像素之情形，由於基本上G像素及B像素被G、B彩色濾光片吸收，故不直接應答於R光。另，單色光R(彩色濾光片R之感度變為最大，且於波長帶域具有限制之光源)藉由使白色光源通過R波長附近之帶通濾波器者等而實現。
因此，如此條件下，如圖13所示，存在於G像素與B像素之應答量(訊號量)相當於來自鄰接R像素之混色量。
同樣地，亦對G像素及B像素各照射G光、B光，藉此可相互測定混色量。
例如，由R像素至G像素之混色率θRG 可由下式8求得。
同樣地，可求出G像素至R像素、G像素至B像素、...等各像素。
且，本實施形態之混色補正式，可如下式9、式10表示。
至此，於各像素定義混色量，且藉由測定求得混色率。
如此，由於為保持並補正全像素各混色率有必要有龐大之記憶部，因此，作為適宜之方法，本實施形態採用以下方法。
即，其為製作代表點、藉由於代表點之間進行樣條(spline)、貝茲曲線(bezier)、線形內插之手法決定各像素之混色率的方法。
圖14係代表點之混色率θ之推定例的說明圖。
圖像訊號補正裝置15中，如圖14所示，記憶部153保存有配合攝像元件12之攝像面而劃分為矩陣狀(網目狀)之各區域所推定之實效混色率θ。
圖14之例係劃分為4×5之矩陣狀之例，且表示混色率θ0 ~θ19 。
混色補正部151，係藉由內插近似算出保存於記憶部153之混色率θ中混色補正時必要之像素位置(座標)的θ，再用該近似之混色率θ進行混色補正。
混色補正部151根據上式9進行混色補正。
圖15係本實施形態之混色補正部151之混色補正例(原理)的模式圖。
圖15之例中，記憶部153中保存有各色之混色補正係數代表點表TBL1。
混色補正部151於混色補正時由記憶部153讀取必要的混色率θ，並以特定時點將代表點之間進行樣條、貝茲曲線、線形內插之手法決定各像素之混色率。
其後，混色補正部151藉由積和運算器1511對來自補正前之鉗位部14之圖像訊號與所決定的混色率進行積和運算，並藉由用減法計算器1512進行積和運算結果與補正前之圖像訊號之減法處理來進行混色補正。
圖16係本實施形態之陰影補正部152之陰影補正例(原理)的模式圖。
圖16之例中，記憶部154中按各色保存有陰影補正係數代表點表TBL2。
陰影補正部152於陰影補正時由記憶部154讀取必要之陰影補正係數，並以特定時點將代表點之間進行樣條、貝茲曲線、線形內插之手法決定各像素之補正係數。
其後，陰影補正部152藉由用乘算器1521對混色補正部151混色補正後之陰影補正前之圖像訊號與所決定之補正係數進行積分處理，來進行陰影補正。
圖17係顯示本實施形態之混色、像素陰影補正之內插運算之實例圖。
內插運算中，將代表點間(網目單位)N等分(2的乘方)，如圖17所示，以各網目定義3個代表點相對應之各加權係數，而以[各代表點×內插位置之加權係數]求出。
此處，取t=0~1.0，1/N級=1像素級。
其後，如下進行所謂B樣條內插。
[數11]
內插位置t0之值=w1(t0)．代表點1之值(θ1)+w2(t0)．代表點2之值(θ2)+w3(t0)．代表點3之值(θ3)如以上說明，本實施形態之圖像訊號補正裝置15具有以下之特徵的構成。
圖像訊號補正裝置15，係用於配合攝像元件12之攝像面而劃分為矩陣狀(網目狀)之各區域所推定之實效混色率θ，藉由內插近似該混色率而得到必要之像素位置(座標)上的θ，而進行與θ相關聯之混色補正。
圖像訊號補正裝置15對實施混色補正後之圖像訊號進行陰影補正。
圖像訊號補正裝置15，於混色補正及陰影補正時，例如使用配合攝像元件12之攝像面(補正對象面)以矩陣狀(網目狀)劃分，網目單位之複數之代表點相對之各加權係數，進行所謂B樣條內插。
因此，根據本實施形態可取得以下之效果。
即，可實現面內分佈對應之混色補正。
又，本實施形態中，由於不僅光之散逸過程，亦進行考慮吸收過程之變位程度之補正，因而可估計正確之訊號量。
其結果，可實現高精度補正。
另，以上詳細說明之方法亦可係形成對應上述程序之程式，且藉由CPU等之電腦執行而構成。
又，如此程式可以藉由半導體記憶體、磁碟、光碟、軟(註冊商標)碟等之記錄媒體、及安裝有該記錄媒體之電腦進行存取而執行上述程式地構成。
10．．．攝像裝置
11．．．透鏡系統
12．．．攝像元件
13．．．A/D轉換器
14．．．鉗位部
15．．．圖像訊號補正裝置
16．．．解馬賽克部
17．．．線性矩陣部
18．．．伽馬補正部
19．．．亮度色度訊號生成部
151．．．混色補正部
152．．．像素陰影補正部
153、154．．．記憶部
圖1係顯示適用本發明之實施形態之圖像訊號補正裝置之攝像裝置的構成例的方塊圖；圖2係顯示作為像素排列例之拜爾排列的圖；圖3係顯示本實施形態之攝像元件之單位像素的構成例的電路圖；圖4係攝像元件之裝置結構的模式圖及混色的說明圖；圖5係光之散逸、吸收過程之圖像；圖6係光之散逸、吸收逆過程之圖像；圖7係顯示像素間混色模型之圖；圖8係顯示各像素之光之散逸、吸收模型的圖；圖9(A)、(B)係顯示攝像元件(感測器)之輸出入訊號之例的圖；圖10係顯示本實施形態之圖像訊號補正裝置之訊號處理的流程圖；圖11係顯示對應模型公式2之補正處理的圖；圖12係顯示本實施形態之混色量之測定系統之一例的圖；圖13係顯示單色光R之各像素之應答與混色量的圖；圖14係代表點之混色率θ之推定例的說明圖；圖15係本實施形態之混色補正部之混色補正例(原理)的模式圖；圖16係本實施形態之陰影補正部之陰影補正例(原理)的模式圖；及圖17係顯示本實施形態之混色、像素陰影補正之內插運算之實例圖。
10‧‧‧攝像裝置
11‧‧‧透鏡系統
12‧‧‧攝像元件
13‧‧‧A/D轉換器
14‧‧‧鉗位部
15‧‧‧圖像訊號補正裝置
16‧‧‧解馬賽克部
17‧‧‧線性矩陣部
18‧‧‧伽馬補正部
19‧‧‧亮度色度訊號生成部
20‧‧‧視頻介面I/F
111‧‧‧光圈
151‧‧‧混色補正部
152‧‧‧像素陰影補正部
153、154‧‧‧記憶部

Claims (22)

  1. 一種圖像訊號補正裝置，其至少包含：混色補正部，其接受經彩色攝像元件光電轉換之圖像訊號，補正該圖像訊號中所含之混色成分；及記憶部，其保存預先設定於對應上述攝像元件之攝像面而複數劃分之各區域的混色補正係數；且上述混色補正部係於混色補正時，藉由內插近似由上述記憶部讀取之混色補正係數，而取得必要之像素位置的混色率，再利用該取得之混色率進行混色成分之補正；進而包含陰影補正部，其接受經上述混色補正部混色補正後之圖像訊號，對該被混色補正圖像訊號進行像素陰影補正。
  2. 如請求項1之圖像訊號補正裝置，其中上述混色補正部係設定複數之代表點，內插代表點間而決定各像素之混色率。
  3. 如請求項1之圖像訊號補正裝置，其中上述混色補正部，係進行取得之混色率與輸入圖像訊號之積和運算，並進行輸入圖像訊號與該積和運算結果之減法處理而進行混色補正。
  4. 如請求項2之圖像訊號補正裝置，其中上述混色補正部，係進行取得之混色率與輸入圖像訊號之積和運算，並進行輸入圖像訊號與該積和運算結果之減法處理而進行混色補正。
  5. 如請求項1之圖像訊號補正裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  6. 如請求項2之圖像訊號補正裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  7. 如請求項3之圖像訊號補正裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  8. 如請求項4之圖像訊號補正裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  9. 如請求項1至8中任一項之圖像訊號補正裝置，其中包含第2記憶部，其保存預先設定於對應上述攝像元件之攝像面而複數劃分之各區域的像素陰影補正係數，且上述陰影補正部，係藉由內插近似保存於上述第2記憶部之像素陰影補正係數，而取得必要之像素位置的補正係數，利用該取得之補正係數進行陰影補正。
  10. 如請求項9之圖像訊號補正裝置，其中上述陰影補正部，係進行取得之補正係數與上述被混色補正圖像訊號之積分而進行陰影補正。
  11. 一種攝像裝置，其包含：攝像被攝體像之彩色攝像元件；及接受經彩色攝像元件光電轉換之圖像訊號而進行補正 之圖像訊號補正裝置；且上述圖像訊號補正裝置，至少包含：混色補正部，其補正經彩色攝像元件光電轉換之圖像訊號中所含之混色成分；及記憶部，其保存預先設定於對應上述攝像元件之攝像面而複數劃分之各區域的混色補正係數；又上述混色補正部係於混色補正時，藉由內插近似由上述記憶部讀取之混色補正係數，而取得必要之像素位置的混色率，利用該取得之混色率進行混色成分之補正；進而包含陰影補正部，其接受經上述混色補正部混色補正後之圖像訊號，對該被混色補正圖像訊號進行像素陰影補正。
  12. 如請求項11之攝像裝置，其中上述混色補正部係設定複數之代表點，內插代表點間而決定各像素之混色率。
  13. 如請求項11之攝像裝置，其中上述混色補正部係進行取得之混色率與輸入圖像訊號之積和運算，並進行輸入圖像訊號與該積和運算結果之減法處理而進行混色補正。
  14. 如請求項12之攝像裝置，其中上述混色補正部係進行取得之混色率與輸入圖像訊號之積和運算，並進行輸入圖像訊號與該積和運算結果之減法處理而進行混色補正。
  15. 如請求項11之攝像裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  16. 如請求項12之攝像裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  17. 如請求項13之攝像裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  18. 如請求項14之攝像裝置，其中保存於上述記憶部之混色補正係數，係作為來自一彩色像素之另一彩色像素之混色率而預先測定並保存。
  19. 如請求項11至18中任一項之攝像裝置，其係包含第2記憶部，其保存預先設定於對應上述攝像元件之攝像面而複數劃分之各區域的像素陰影補正係數，且上述陰影補正部，係藉由內插近似保存於上述第2記憶部之像素陰影補正係數，而取得必要之像素位置的補正係數，利用該取得之補正係數進行陰影補正。
  20. 如請求項19之攝像裝置，其中上述陰影補正部係進行取得之補正係數與上述被混色補正圖像訊號之積分而進行陰影補正。
  21. 一種圖像訊號補正方法，其包含：由記憶部讀取預先設定於對應彩色攝像元件之攝像面而複數劃分之各區域的混色補正係數的步驟；接受經上述攝像元件光電轉換後之圖像訊號，藉由內插近似由上述記憶部讀取之混色補正係數，而取得必要之像素位置的混色率的步驟； 利用上述取得之混色率進行混色成分之補正的步驟；及於進行混色成分之補正的步驟後，進行陰影補正的步驟。
  22. 一種圖像訊號補正處理程式，其係在電腦上執行圖像訊號補正處理，該圖像訊號補正處理包含：由記憶部讀取預先設定於對應彩色攝像元件之攝像面而複數劃分之各區域的混色補正係數的處理；接受經上述攝像元件光電轉換後之圖像訊號，藉由內插近似由上述記憶部讀取之混色補正係數，而取得必要之像素位置的混色率的處理；利用上述取得之混色率進行混色成分之補正的處理；及於進行混色成分之補正的處理後，進行陰影補正的處理。
TW098122136A 2008-06-30 2009-06-30 An image signal correcting means, an image capturing means, an image signal correcting means, and an image signal correcting processing means TWI422234B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008171760A JP5163319B2 (ja) 2008-06-30 2008-06-30 画像信号補正装置、撮像装置、画像信号補正方法、およびプログラム

Publications (2)

Publication Number Publication Date
TW201004370A TW201004370A (en) 2010-01-16
TWI422234B true TWI422234B (zh) 2014-01-01

Family

ID=41465908

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098122136A TWI422234B (zh) 2008-06-30 2009-06-30 An image signal correcting means, an image capturing means, an image signal correcting means, and an image signal correcting processing means

Country Status (7)

Country Link
US (2) US8860853B2 (zh)
EP (1) EP2299721B1 (zh)
JP (1) JP5163319B2 (zh)
KR (1) KR20110036707A (zh)
CN (1) CN102132570B (zh)
TW (1) TWI422234B (zh)
WO (1) WO2010001811A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5254762B2 (ja) * 2008-11-28 2013-08-07 キヤノン株式会社 撮像装置、撮像システム、及び撮像装置における信号の補正方法
JP5152114B2 (ja) * 2009-06-30 2013-02-27 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピューター・プログラム
JP5460202B2 (ja) * 2009-09-18 2014-04-02 キヤノン株式会社 画像処理装置及び撮像システム
JP5526840B2 (ja) 2010-02-09 2014-06-18 ソニー株式会社 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム
US8350934B2 (en) * 2010-10-21 2013-01-08 Taiwan Semiconductor Manufacturing Co., Ltd. Color image sensor array with color crosstalk test patterns
JP5496922B2 (ja) * 2011-01-13 2014-05-21 日本放送協会 クロストーク量測定装置、これを用いた色補正装置およびクロストーク量測定方法
JP5425343B2 (ja) 2011-06-30 2014-02-26 富士フイルム株式会社 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP5817301B2 (ja) * 2011-08-02 2015-11-18 ソニー株式会社 撮像素子、並びに、撮像装置および方法
US9533539B2 (en) * 2011-10-20 2017-01-03 GM Global Technology Operations LLC Vehicle suspension system and method of using the same
JP5997149B2 (ja) * 2011-12-26 2016-09-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 固体撮像素子、撮像装置、および信号処理方法
CN104025577B (zh) * 2011-12-28 2015-09-02 富士胶片株式会社 图像处理装置、方法以及摄像装置
JP5787856B2 (ja) * 2012-09-24 2015-09-30 株式会社東芝 固体撮像装置
US9451187B2 (en) 2012-12-31 2016-09-20 Nvidia Corporation Lens shading calibration for cameras
JP5865555B2 (ja) * 2013-05-13 2016-02-17 富士フイルム株式会社 混色率算出装置及び方法並びに撮像装置
JP6083678B2 (ja) * 2013-12-25 2017-02-22 パナソニックＩｐマネジメント株式会社 画像処理装置
JP2015192234A (ja) * 2014-03-27 2015-11-02 Hoya株式会社 撮像素子、測定装置、測定方法、及び撮像装置
KR102303764B1 (ko) * 2017-04-24 2021-09-17 삼성전자주식회사 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271519A (ja) * 1997-03-26 1998-10-09 Sony Corp 固体撮像装置
JP2006121612A (ja) * 2004-10-25 2006-05-11 Konica Minolta Photo Imaging Inc 撮像装置
JP2007142697A (ja) * 2005-11-17 2007-06-07 Sony Corp 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
JP3539394B2 (ja) * 2001-03-26 2004-07-07 ミノルタ株式会社 画像処理装置、プログラムおよび記録媒体
JP4614601B2 (ja) 2001-11-30 2011-01-19 ソニー株式会社 シェーディング補正方法及び装置
US7502057B2 (en) * 2002-06-20 2009-03-10 Hewlett-Packard Development Company, L.P. Method and apparatus for color non-uniformity correction in a digital camera
US6844883B2 (en) * 2002-06-24 2005-01-18 Koninklijke Philips Electronics N.V. Color non-uniformity correction method and apparatus
JP2006058754A (ja) * 2004-08-23 2006-03-02 Canon Inc 表示装置
JP4322781B2 (ja) 2004-11-08 2009-09-02 富士フイルム株式会社 撮像装置
KR100606803B1 (ko) 2005-05-16 2006-08-01 엘지전자 주식회사 스크롤 휠 장치를 이용한 기능 수행 기능을 갖는 이동통신단말기 및 이를 이용한 기능 수행 방법
JP2007142693A (ja) * 2005-11-17 2007-06-07 Sony Corp 撮像装置および撮像方法
JP4704238B2 (ja) * 2006-02-22 2011-06-15 オリンパスイメージング株式会社 電子撮像装置及び電子撮像方法
JP2008113236A (ja) * 2006-10-30 2008-05-15 Kyocera Corp 撮像装置におけるシェーディング補正方法と装置
EP2279612B1 (en) * 2008-05-22 2013-03-20 Hewlett-Packard Development Company, L.P. Camera sensor correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271519A (ja) * 1997-03-26 1998-10-09 Sony Corp 固体撮像装置
JP2006121612A (ja) * 2004-10-25 2006-05-11 Konica Minolta Photo Imaging Inc 撮像装置
JP2007142697A (ja) * 2005-11-17 2007-06-07 Sony Corp 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置

Also Published As

Publication number Publication date
US20110102635A1 (en) 2011-05-05
EP2299721A4 (en) 2012-10-24
JP2010016419A (ja) 2010-01-21
KR20110036707A (ko) 2011-04-08
WO2010001811A1 (ja) 2010-01-07
EP2299721B1 (en) 2014-03-19
TW201004370A (en) 2010-01-16
CN102132570B (zh) 2014-04-16
JP5163319B2 (ja) 2013-03-13
EP2299721A1 (en) 2011-03-23
US8988547B2 (en) 2015-03-24
US20150015748A1 (en) 2015-01-15
US8860853B2 (en) 2014-10-14
CN102132570A (zh) 2011-07-20

Similar Documents

Publication Publication Date Title
TWI422234B (zh) An image signal correcting means, an image capturing means, an image signal correcting means, and an image signal correcting processing means
US10015424B2 (en) Method and apparatus for eliminating crosstalk amount included in an output signal
US9379156B2 (en) Per-channel image intensity correction
US20230239589A1 (en) Solid state image sensor and electronic equipment
TWI520606B (zh) 影像處理設備及影像處理設備之控制方法
US7792358B2 (en) Imaging device performing color image data processing
JP4253634B2 (ja) デジタルカメラ
US20130038761A1 (en) Imaging apparatus, method of processing captured image, and program for processing captured image
JP2008113236A (ja) 撮像装置におけるシェーディング補正方法と装置
US8848073B2 (en) Solid-state imaging device and electronic apparatus
TWI795796B (zh) 固體攝像裝置、固體攝像裝置的信號處理方法、以及電子機器
JP2005223133A (ja) 固体撮像装置およびそれを用いた撮像システム
JP2012253727A (ja) 固体撮像装置及びカメラモジュール
JP5267290B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2011055336A (ja) 撮像装置及び信号処理方法
JP2005353716A (ja) 固体撮像素子及び撮像装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees