TWI543616B - 在數位域降低影像感測器之固定圖案雜訊的方法與裝置 - Google Patents

Description

在數位域降低影像感測器之固定圖案雜訊的方法與裝置

本發明係關於一種影像感測領域之雜訊消除機制，尤指一種降低影像感測器之固定圖案雜訊的方法與裝置。

一般而言，一個傳統的影像感測器，存在有類比電路的非理想效應，造成在影像感測畫面上常見有雜訊的存在。舉例來說，類比電路的非理想效應之雜訊可能包含畫面上的固定圖案雜訊，亦即感測畫面上出現直紋現象，此肇因於傳統感測器陣列會在每一條直行的電路上造成不同程度的漏電流，導致每一條直行的電路之訊號特性不一致，使得最後感測畫面上出現直紋現象，此外，傳統影像感測器中的雜散電容在類比訊號切換時也易使得每一條直行的電路受到干擾，導致每一條直行電路之訊號特性也不一致，而此亦為固定圖案雜訊的成因之一。再者，傳統影像感測器的類比電路也存在有其他雜訊（例如隨機雜訊），也會對影像感測畫面造成影響。目前的現有技術為了降低類比電路的非理想效應之雜訊，通常是將雜訊消除電路實現在類比域以降低雜訊，然而這樣的電路設計將過於複雜，並且電路成本也較高。

因此，本發明的目的之一在於提供一種在數位域調校像素值以降低/消除一影像感測器之固定圖案雜訊的方法與裝置，解決現有技術所遇到的難題。

根據本發明的實施例，其係揭露了一種降低一影像感測器之固定圖案雜訊的方法。該方法包含有：在一測試環境中，存取至少一張測試畫面的像素資料；以及計算該至少一張測試畫面在每一行之至少一部分像素資料的一平均值；其中該每一行的平均值係用以在一正常光源環境下作為校正該每一行之影像資料的校正值，以降低該影像感測器的固定圖案雜訊。

根據本發明的實施例，其揭露了一種使用於一影像感測器之用以降低固定圖案雜訊的裝置。該裝置包含有一儲存電路與一控制電路，儲存電路具有一對照表，該對照表儲存有在一測試環境中所計算之至少一張測試畫面在每一行之至少一部分像素資料的平均值，以及控制電路耦接至儲存電路並用以存取該每一行之該平均值，於一正常光源環境下，使用該每一行之該平均值來調校該每一行之影像資料，以降低該影像感測器的固定圖案雜訊。

根據本發明的實施例，其揭露了一種使用於一影像感測器之用以降低固定圖案雜訊的裝置。該裝置包含有一儲存電路與一控制電路，控制電路係耦接至儲存電路，並用以於一測試環境中，存取至少一張測試畫面的像素資料、計算該至少一測試畫面在每一行之至少一部分像素資料的一平均值、將該每一行的該平均值儲存於該儲存電路之對照表中，以及控制電路係用以於一正常光源環境下，存取該對照表以取得該每一行之該平均值，使用該每一行之該平均值來調校該每一行之影像資料，以降低該影像感測器的固定圖案雜訊。

根據本發明之實施例，本發明之機制與方法係通過在測試環境中產生用以校正類比電路非理想效應雜訊的校正值、並在數位域中將正常感測畫面的像素值與校正值相扣以降低或消除正常感測畫面中之類比電路非理想效應的雜訊，好處是可避免在類比域進行雜訊消除所花費的過多訊號處理時間以及高昂的電路成本，此外，本案之發明亦可適用於不同的影像感測器中，例如是安防監控領域的影像感測器，或是其他技術領域（例如投影感測、滑鼠感測、指紋感測等領域）的影像感測器。

請搭配參照第1圖與第2圖，第1圖是本發明實施例之使用於一影像感測器100中用以調校類比電路非理想效應造成之雜訊的裝置105的示意圖，影像感測器100包含一影像感測電路110與用以調校像素資料之雜訊的裝置105，第2圖是第1圖所示之影像感測電路110的電路範例示意圖。裝置105可被視為一調校裝置/電路並包含一儲存電路115及一控制電路120，此外，影像感測電路110包含感測像素陣列1101、二次取樣電路（Correlated Double Sampling (CDS) Circuit）1102、源極隨耦器電路1103、功率放大器電路1104以及類比數位轉換器電路1105，需注意的是影像感測電路110可以使用其他不同類型的影像感測電路來實現，上述影像感測電路110所包含的電路單元僅用於說明影像感測器100的操作，並非是本發明的限制。就操作上來說，影像感測電路105是類比電路，用以進行光學感測、類比處理、及類比數位轉換等運作來產生並輸出多張畫面的像素資料，而裝置105係用以調校該些畫面之像素資料的雜訊，透過在數位域調校的方式來調整像素資料的值，以降低類比電路非理想效應在影像感測器100所產生之畫面上造成的雜訊，例如降低影像畫面上的直紋現象（亦即，固定圖案雜訊，Fixed Pattern Noise），改善影像品質，此外，透過在數位域調校的方式來調整像素資料的值，亦可有效降低影像畫面的隨機雜訊，並可節省在類比域進行雜訊消除的時間。儲存電路115包含一對照表，該對照表係用來儲存多張畫面之像素資料的數值以及對像素資料執行運算後產生之數值。控制電路120耦接至儲存電路115並用以於一測試環境中，控制影像感測電路105開啟來感測並產生至少一張測試畫面的像素資料、存取至少一張測試畫面的像素資料、計算至少一測試畫面在每一行之至少一部分像素資料的平均值、以及將每一行的平均值儲存於儲存電路115的對照表中，以及存取對照表以取得每一行的平均值，於正常光源環境下，使用每一行的平均值來調校每一行之影像資料，以降低類比電路非理想效應在影像感測器100所產生之畫面上造成的雜訊，例如可消除影像畫面上的直紋現象。也就是說，在上述實施例中，裝置105具有至少兩個模式，在測試環境中（亦即測試模式下），計算每一行之至少部分像素資料的平均值或每一行之全部像素資料的平均值，將該些平均值儲存在對照表中，以作為後續用來降低固定圖案雜訊的校正值，之後在正常光源環境下（亦即正常使用模式下），使用該些平均值來分別校正每一行上的像素值，以降低整張畫面的固定圖案雜訊。

在第一實施例中，在影像感測器100的積體電路晶片出廠前，進行產生用以調校類比電路非理想效應之雜訊之校正值的操作，在該測試環境中，對影像感測器100進行遮光，裝置105的控制電路120係被安排用以控制影像感測電路105開啟來感測並產生至少一張感測畫面的像素資料，影像感測電路110係進行光學感測、類比處理、及類比數位轉換等運作來產生多張感測畫面的像素資料，由於是在測試的遮光環境中，該些感測畫面可被視為是測試畫面或遮光畫面，之後控制電路120存取至少一張測試畫面的像素資料、計算至少一張測試畫面在每一行之至少一部分像素資料的平均值以及將每一行的平均值儲存於儲存電路115的對照表中，具體來說，在此測試環境中，控制電路120係存取一張或多張的測試畫面之像素資料，計算一張或多張測試畫面在每一行的全部或部分像素資料的平均值，亦即，對每一行來說，均計算出一平均值，之後將每一行的平均值儲存於儲存電路115的對照表，如果是對影像感測器100進行全部遮光，則可計算一張或多張測試畫面在每一行的全部像素資料的平均值，分別得到每一行的平均值，如果是多張測試畫面，則對每一張測試畫面於每一行的至少一部分像素資料進行累計，並根據一累計結果進行平均計算以產生該行的平均值，此一計算方式的優點在於可準確計算出每一行的平均值，因此可精確得到用以調校類比電路非理想效應之雜訊的校正值。反之，如果並未進行全部遮光，則可只計算一張或多張測試畫面在每一行在遮光區域內像素的像素資料的平均值，來得到每一行的平均值，優點在於可快速計算每一行的平均值，節省測試的時間。此外，實作上，如果是計算多張測試畫面在每一行的平均值，可先分別計算每一張測試畫面每一行的像素平均值，再將每一行在不同張測試畫面的多個像素平均值做平均，亦可得到每一行的像素平均值。上述每一行的像素平均值係用以作為用來校正畫面每一行之類比電路非理想效應雜訊的校正值。當影像感測器100位於正常光源環境下時，影像感測電路110進行光學感測、類比處理、及類比數位轉換等運作來產生多張正常感測畫面的像素資料，而控制電路120則存取上述的對照表的資料，使用每一行的該些平均值來分別調校一或多張正常感測畫面上每一行之影像資料，如此可降低類比電路非理想效應的雜訊，例如降低影像感測器100的固定圖案雜訊（所產生之影像畫面上的直紋現象），此外，如果畫面中有隨機雜訊，通過上述的機制，亦可有效消除隨機雜訊。

另外，在第二實施例中，並不需要在影像感測器100的積體電路晶片出廠前進行遮光。在第二實施例的測試環境中，裝置105係關閉影像感測器100在畫面每一行之至少一部分像素資料的感測功能，舉例來說，當進入該測試環境時，控制電路120係關閉影像感測電路110每一行之全部像素或部分像素的感測功能（關閉像素的感測功能並不等於對像素進行遮光），如第2圖所示，控制電路120係被安排用以關閉控制訊號TG或是打開RST，使得後續沒有感測資料可通過二次取樣電路1102、源極隨耦器電路1103、功率放大器電路1104及類比數位轉換器電路1105等，此時，由於是在測試環境中，雖然實際上沒有感測資料通過上述的電路，然而因為上述電路單元仍然是被開啟的，因此仍會收集資料來產生並輸出感測畫面資料，此時所產生並輸出的感測畫面資料可被視為是測試畫面，裝置105的控制電路120係存取至少一張測試畫面的像素資料、計算至少一測試畫面在每一行之至少一部分像素資料的平均值、以及將每一行的平均值儲存於儲存電路115的對照表中，具體來說，在此測試環境中，控制電路120係存取一張或多張的測試畫面之像素資料，計算一張或多張測試畫面在每一行的全部或部分像素資料的平均值，亦即，對每一行來說，均計算出一平均值，之後將每一行的平均值儲存於儲存電路115的對照表，如果是關閉影像感測器100畫面每一行之全部像素的感測功能，則可計算一張或多張測試畫面在每一行的全部像素資料的平均值，來得到每一行的平均值，其優點在於可準確計算出每一行的平均值，反之，如果只是關閉影像感測器100畫面每一行之部分像素的感測功能，則可只計算一張或多張測試畫面在每一行在該些部分像素的像素資料的平均值，來得到每一行的平均值，優點在於可快速計算每一行的平均值。此外，實作上，如果是計算多張測試畫面在每一行的平均值，可先分別計算每一張測試畫面每一行的像素平均值，再將每一行在不同張測試畫面的多個像素平均值做平均，則可得到每一行的像素平均值。上述每一行的像素平均值係用以作為校正每一行之類比電路非理想效應雜訊的校正值。當影像感測器100位於正常光源環境下時，影像感測電路110進行光學感測、類比處理、及類比數位轉換等運作來產生多張正常感測畫面的像素資料，而控制電路120則存取上述的對照表的資料，使用每一行的平均值來分別調校多張正常感測畫面上每一行之影像資料，如此可降低類比電路非理想效應的雜訊，例如降低影像感測器100的固定圖案雜訊（所產生之影像畫面上的直紋現象），此外，如果畫面中有隨機雜訊，通過上述的機制，亦可有效消除隨機雜訊。

再者，在第三實施例中，針對不同放大倍率的影像畫面，其上述校正值的產生方式可使用線性插補的計算方式來獲得，可不需要進入測試環境中進行測試來得到，節省測試時間。舉例來說，在測試環境中，控制電路120存取至少一張測試畫面係根據第一影像放大倍率（例如32倍）所進行，控制電路120係根據該一第一影像放大倍率，計算該至少一測試畫面在每一行之至少一部分像素資料的一第一平均值，該每一行的第一平均值係用以當該影像感測器100操作在一正常光源環境與該第一影像放大倍率下作為調校畫面每一行之影像資料的校正值，以降低類比電路非理想效應的雜訊。此外，控制電路120根據該一第一影像放大倍率與一第二影像放大倍率（例如1倍）的比例大小，利用所計算出之該每一行的第一平均值來插補計算出該每一行的一第二平均值，該每一行的第二平均值係用以當該影像感測器100操作在正常光源環境與該第二影像放大倍率下作為調校該每一行之影像資料的校正值，以降低類比電路非理想效應的雜訊。也就是說，儲存電路115的對照表中只需要儲存關於32倍影像放大倍率的每一行之校正值，之後當影像感測器100操作在1倍影像放大倍率或其他倍數的影像放大倍率時利用線性插補的計算方式來得到關於1倍影像放大倍率或其他倍數的影像放大倍率的每一行之校正值，如此，對照表只需要儲存某一影像放大倍率之用以校正雜訊的校正值即可，也不需要在測試環境中感測、產生或計算所有影像放大倍率的測試畫面，因此，可節省測試時間。另外，在較佳實施例中，上述第一影像放大倍率可設定為最大之放大倍率（例如32倍），然而亦可採用不同倍數的放大倍率，此實施例中採用最大倍數之放大倍率並非是本發明的限制。

再者，應注意的是，本案上述實施例中通過在測試環境中產生用以校正類比電路非理想效應雜訊的校正值、並在數位域中將正常感測畫面的像素值與校正值相扣以降低或消除類比電路非理想效應雜訊的方法與機制，可適用於不同的影像感測器中，例如是安防監控領域的影像感測器，或是其他技術領域（例如投影感測、滑鼠感測、指紋感測等領域）的影像感測器，此外，亦適用於需要顯示出感測畫面的影像感測器以及不需要顯示出感測畫面的影像感測器。再者，如果為了避免不同的操作環境下可能會有不同的校正值，亦可於每一次開機時執行上述產生校正值的操作。再者，本案之發明的實施例係用以降低或消除畫面上的固定圖案雜訊，然而，在其他實施例中，亦可有效消除其他不同原因所造成的影像畫面異常的狀況，並不限定於僅能處理畫面上的固定圖案雜訊之問題。

此外，在本發明上述實施例中，控制電路120具有在測試環境下產生用以消除固定圖案雜訊之像素資料之校正值（亦即上述每一行的像素平均值）的操作以及具有在正常感測環境下使用該校正值來調校正常感測畫面之像素資料的操作，而在其他實施例中，如果該些校正值已產生並儲存於儲存電路115中，則控制電路120可僅具有在正常感測環境下使用該校正值來調校正常感測畫面之像素資料的操作，此實施方式亦符合本發明的精神。   以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100‧‧‧影像感測器
105‧‧‧裝置
110‧‧‧影像感測電路
115‧‧‧儲存電路
120‧‧‧控制電路
1101‧‧‧感測像素陣列
1102‧‧‧二次取樣電路
1103‧‧‧源極隨耦器電路
1104‧‧‧功率放大器電路
1105‧‧‧類比數位轉換器電路

第1圖為本發明實施例之使用於一影像感測器中用以調校類比電路非理想效應造成之雜訊的裝置示意圖。 第2圖為第1圖所示之影像感測電路的電路範例示意圖。

100‧‧‧影像感測器

105‧‧‧裝置

110‧‧‧影像感測電路

115‧‧‧儲存電路

120‧‧‧控制電路

Claims (13)

1. 一種降低一影像感測器之固定圖案雜訊（Fixed Pattern Noise）的方法，其包含有： 在一測試環境中，存取至少一張測試畫面的像素資料；以及 計算該至少一測試畫面在每一行之至少一部分像素資料的一平均值； 其中該每一行之平均值係用以在一正常光源環境下作為校正該每一行之影像資料的校正值，以降低該影像感測器之固定圖案雜訊。
2. 如申請專利範圍第1項所述之方法，其另包含： 對該影像感測器進行遮光，以進入至該測試環境。
3. 如申請專利範圍第1項所述之方法，其中存取該至少一張測試畫面的像素資料之步驟包含： 存取複數張測試畫面的像素資料；以及 計算該至少一測試畫面在每一行之至少一部分像素資料的該平均值之步驟包含： 對於該每一行，對每一該複數張測試畫面於該每一行的至少一部分像素資料進行累計，並根據一累計結果進行平均計算以產生該平均值。
4. 如申請專利範圍第1項所述之方法，其中計算該至少一測試畫面在該每一行之該至少一部分像素資料的該平均值之步驟包含： 計算該至少一測試畫面在該每一行於一遮光區域內之像素資料，以產生該平均值。
5. 如申請專利範圍第1項所述之方法，其另包含： 關閉該影像感測器之對應於該至少一測試畫面在該每一行之該至少一部分像素資料的感測功能，以進入至該測試環境。
6. 如申請專利範圍第1項所述之方法，其中存取該至少一測試畫面係根據一第一影像放大倍率所進行，以及計算該至少一測試畫面在每一行之至少一部分像素資料的該平均值之步驟包含： 根據該一第一影像放大倍率，計算該至少一測試畫面在每一行之至少一部分像素資料的一第一平均值，該每一行的第一平均值係用以在該影像感測器操作在一正常光源環境與該第一影像放大倍率下作為校正該每一行之影像資料的校正值，以降低該影像感測器之固定圖案雜訊；以及 根據該一第一影像放大倍率與一第二影像放大倍率的比例大小，利用所計算出之該每一行的第一平均值來插補計算出該每一行的一第二平均值，該每一行的第二平均值係用以在該影像感測器操作在該正常光源環境與該第二影像放大倍率下作為校正該每一行之影像資料的校正值，以降低該影像感測器之固定圖案雜訊； 其中該第一影像放大倍率係不同於該第二影像放大倍率。
7. 如申請專利範圍第1項所述之方法，其另包含： 於該正常光源環境下，使用該每一行之平均值來調校該每一行之影像資料，以降低該影像感測器之固定圖案雜訊。
8. 一種使用於一影像感測器之用以降低固定圖案雜訊的裝置，其包含有： 一儲存電路，具有一對照表，該對照表儲存有在一測試環境中所計算之至少一測試畫面在每一行之至少一部分像素資料的一平均值；以及 一控制電路，耦接至該儲存電路，用以存取該對照表中該每一行之該平均值，於一正常光源環境下，使用該每一行之該平均值來調校該每一行之影像資料，以降低該影像感測器之固定圖案雜訊。
9. 如申請專利範圍第8項所述之裝置，其中該測試環境包含以下其中之一：對該影像感測器進行遮光之一測試環境、以及關閉該影像感測器在每一行之該至少一部分像素資料的感測功能之一測試環境。
10. 如申請專利範圍第8項所述之裝置，其中該控制電路係用以於該測試環境中，存取該至少一張測試畫面的像素資料、計算該至少一測試畫面在每一行之該至少一部分像素資料的該平均值、將該每一行的該平均值儲存於該對照表中。
11. 如申請專利範圍第10項所述之裝置，其中該控制電路於該測試環境下係存取複數張測試畫面的像素資料；以及，對於該每一行，該控制電路係對每一該複數張測試畫面於該每一行的至少一部分像素資料進行累計，並根據一累計結果進行平均計算以產生該平均值。
12. 如申請專利範圍第10項所述之裝置，其中該控制電路係計算該至少一測試畫面在該每一行於一遮光區域內之像素資料，以產生該平均值。
13. 如申請專利範圍第10項所述之裝置，其中該控制電路存取該至少一測試畫面係根據一第一影像放大倍率所進行，該控制電路係根據該一第一影像放大倍率，計算該至少一測試畫面在每一行之至少一部分像素資料的一第一平均值，該每一行的第一平均值係用以當該影像感測器操作在一正常光源環境與該第一影像放大倍率下作為調校該每一行之影像資料的校正值，以降低該影像感測器之固定圖案雜訊；以及，該控制電路係根據該一第一影像放大倍率與一第二影像放大倍率的比例大小，利用所計算出之該每一行的第一平均值來插補計算出該每一行的一第二平均值，該每一行的第二平均值係用以當該影像感測器操作在該正常光源環境與該第二影像放大倍率下作為調校該每一行之影像資料的校正值，以降低該影像感測器之固定圖案雜訊；其中該第一影像放大倍率係不同於該第二影像放大倍率。