TWI528820B - 空間併鄰方法、空間併鄰電路以及電腦可讀媒體 - Google Patents

空間併鄰方法、空間併鄰電路以及電腦可讀媒體 Download PDF

Info

Publication number
TWI528820B
TWI528820B TW102145172A TW102145172A TWI528820B TW I528820 B TWI528820 B TW I528820B TW 102145172 A TW102145172 A TW 102145172A TW 102145172 A TW102145172 A TW 102145172A TW I528820 B TWI528820 B TW I528820B
Authority
TW
Taiwan
Prior art keywords
adjacent
pixel
pixels
image
neighboring
Prior art date
Application number
TW102145172A
Other languages
English (en)
Other versions
TW201511563A (zh
Inventor
史妙紅
Original Assignee
恆景科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 恆景科技股份有限公司 filed Critical 恆景科技股份有限公司
Publication of TW201511563A publication Critical patent/TW201511563A/zh
Application granted granted Critical
Publication of TWI528820B publication Critical patent/TWI528820B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

空間併鄰方法、空間併鄰電路以及電腦可讀媒體
本發明所揭露的實施例係相關於影像的像素資料處理，尤指一種用來對像素併鄰所產生的併鄰後影像進行再取樣的空間併鄰方法，以及相關電路和電腦可讀媒體。
一般而言，像素併鄰(pixel bining)係指在互補式金屬氧化物半導體影像感測器(Complementary Metal-Oxide Semiconductor Image Sensor,CIS)或是電荷耦合元件(charge-coupled device,CCD)中，利用相鄰感測單元的資訊相互結合來記錄為單一像素。舉例來說，一個2×2的併鄰操作會結合來自於2×2矩形感測單元中的四個感測單元中的電子，以將結果紀錄於單一影像像素中，因此，每一像素的強度都會增強約四倍。不同的像素併鄰方法可被用來使多個像素相加以增強感光度以及訊噪比(Signal-to-Noise Ratio,SNR)。
所以，此領域亟需要一種新穎的再取樣機制，其能夠回復像素之間的相對距離並且補償併鄰像素在空間上的均勻性失真，以改善影像品質。
在本發明的示範性實施例中，提出了一種用來對像素併鄰所產生的併鄰後影像進行再取樣的空間併鄰方法以及相關電路和電腦可讀媒體，以改善上述問題。
依據本發明的第一實施例，提出一種空間併鄰(binning)方法，包含有：接收一原始影像；對該原始影像進行像素併鄰以產生一併鄰後影像；以及依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行空間上再取樣以產生一再取樣影像。
依據本發明的第二實施例，提出一種空間併鄰電路，包含有：一併鄰單元，用來接收一原始影像以產生一併鄰後影像；以及一再取樣單元，用來接收該併鄰後影像，以及依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行再取樣。
依據本發明的第三實施例，提出一種電腦可讀媒體，儲存一程式碼，當一處理器執行該程式碼時會執行以下的步驟：對一原始影像進行像素併鄰以產生一併鄰後影像；以及依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行空間上再取樣以產生一再取樣影像。
習知的併鄰操作可能會改變像素之間的相對距離，且使得像素分佈變的不均勻，造成殘色(color artifact)及/或拉鍊效應(zipper effect)的副作用。本發明的主要目的係在於將像素的相對距離復原回來，並且補償併鄰後像素在空間上的不均勻，以改善影像品質。
100‧‧‧流程
102~106‧‧‧步驟
210、310、410、510‧‧‧像素區塊
220、320、420、520‧‧‧併鄰後像素區塊
230、330、430、530‧‧‧再取樣像素區塊
600‧‧‧空間併鄰電路
601‧‧‧再取樣單元
602‧‧‧選擇單元
604‧‧‧權重因數產生器
606‧‧‧乘法器
608‧‧‧加法器
612‧‧‧感測器陣列
614‧‧‧併鄰單元
700‧‧‧空間併鄰電路
702‧‧‧處理器
704‧‧‧電腦可讀媒體
第1圖為本發明的一空間併鄰方法的示範性實施例的流程圖。
第2圖為本發明的空間併鄰方法的實施例的示意圖。
第3圖為本發明的空間併鄰方法的另一實施例的示意圖。
第4A圖為本發明的空間併鄰方法的又另一實施例中的原始像素區塊的示意圖。
第4B圖為依據第4A圖中的原始像素區塊所產生的併鄰後像素區塊的示意圖。
第4C圖為依據第4B圖中的併鄰後像素區塊所產生的再取樣像素區塊的示意圖。
第5A圖為本發明的空間併鄰方法的再另一實施例中的原始像素區塊的示意圖。
第5B圖為依據第5A圖中的原始像素區塊所產生的併鄰後像素區塊的示意圖。
第5C圖為依據第5B圖中的併鄰後像素區塊所產生的再取樣像素區塊的示意圖。
第6圖為本發明空間併鄰電路的第一實施例的示意圖。
第7圖為本發明空間併鄰電路的第二實施例的示意圖。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含有」係為一開放式的用語，故應解釋成「包含有但不限定於」。
習知的併鄰操作可能會改變像素之間的相對距離，且使得像素分佈變的不均勻，造成殘色(color artifact)及/或拉鍊效應(zipper effect)的副 作用。本發明的主要目的係在於將像素的相對距離復原回來，並且補償併鄰後像素在空間上的不均勻，以改善影像品質。換句話說，本發明依據用以產生影像的一像素併鄰演算法，提出一種用來對像素併鄰所產生的併鄰後影像進行再取樣的空間併鄰(spatial bining)方法以及相關電路和電腦可讀媒體，以改善習知技術中的問題。
第1圖為本發明的一空間併鄰方法100的示範性實施例的流程圖。倘若大體上可達到相同的結果，並不需要一定遵照第1圖所示之流程中的步驟順序來進行，且第1圖所示之步驟不一定要連續進行，亦即其他步驟亦可插入其中，此外，第1圖中的某些步驟亦可根據不同實施例或設計需求省略之。在此實施例中，對像素併鄰所產生的併鄰後影像進行空間併鄰的操作主要包含有以下步驟：步驟102：從一影像感測器的一像素陣列接收一原始影像；步驟104：對該原始影像進行像素併鄰以產生一併鄰後影像；以及步驟106：依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行空間上再取樣，以產生一再取樣影像。
第2圖為本發明的空間併鄰方法的實施例的示意圖。首先，如第2圖所示，接收一原始影像(像素區塊210)，像素區塊210係一個4×4的像素區塊的範例，其中包含有16個像素分屬於3種顏色，即藍色(B)、綠色(G，g)和紅色(R)，並且該16個像素係按照拜爾濾鏡(Bayer filter)的排列方式來排列。拜爾濾鏡係一彩色濾波器陣列(Color Filter Array,CFA)，用以排列影像感測器陣列的藍色、綠色和紅色的濾波器，其中，50%係綠色濾波器、25%係紅色濾波器、25%係藍色濾波器，因此，又稱作RGBg、GRgB或是 RGgB。接著，經過像素併鄰後所產生的一併鄰後影像係呈現在第2圖中的一併鄰後像素區塊220。併鄰後像素區塊220係由垂直併鄰及水平併鄰所產生的2×2的像素區塊，也稱作一般併鄰法。請注意，虛線所標示的方塊係用來對比原始影像中像素的相對位置。具體而言，像素Bbin1的位置係位於像素B1、B2、B3和B4的中間；像素Gbin1的位置係位於像素G1、G2、G3和G4的中間；像素gbin1的位置係位於像素g1、g2、g3和g4的中間；像素Rbin1的位置係位於像素R1、R2、R3和R4的中間。併鄰後像素區塊220的像素值為：B bin1=(B 1+B 2+B 3+B 4)/4，G bin1=(G 1+G 2+G 3+G 4)/4，g bin1=(g 1+g 2+g 3+g 4)/4，以及R bin1=(R 1+R 2+R 3+R 4)/4。
像素Gbin1和像素gbin1都是綠色像素，且彼此有1/4的部分互相重疊，亦即g2係位於像素G1、G2、G3以及G4所構成的區域內，而G3係位於像素g1、g2、g3以及g4所構成的區域內。換句話說，像素Gbin1和像素gbin1可能會互相影響(即重疊的1/4部分)，因此，可藉由一再取樣(re-sampling)步驟來補償一般併鄰法的綠色部分(即像素G和像素g)。也就是說，當利用執行垂直併鄰及水平併鄰的像素併鄰演算法來產生該併鄰後影像時，會選取彼此對角同色相鄰之該複數個併鄰後像素。本實施例中的再取樣步驟可以用以下的方程式來表示：B n1=B bin1， ，以及R n1=R bin1。
第2圖中的一再取樣像素區塊230係藉由對併鄰後像素區塊220進行再取樣所產生的一2×2像素區塊。像素Bn1、像素Gn1、像素gn1以及像素Rn1係併鄰後像素Bbin1、像素Gbin1、像素gbin1以及像素Rbin1的再取樣像素，其中像素Bn1和像素Rn1係分別完全相同於像素Bbin1和像素Rbin1，僅有像素Gn1和像素gn1有變化。像素Gbin1和像素gbin1分別經由一加權因數5/4來強化，同時再從5/4倍的像素Gbin1和5/4倍的像素gbin1中分別扣掉一部份的像素gbin1和像素Gbin1(即乘上加權因數1/4的像素gbin1和像素Gbin1)以得到未受彼此干擾的綠色再取樣像素。應注意的是，可以依據設計上的實際需求來調整權重因數，此外，本實施例的參數設定僅為說明用途，並非用以限制本發明。因此，權重因數的其它變化理應屬於本發明的權利範圍之內。
第3圖為本發明的空間併鄰方法的另一實施例的示意圖。如第3圖所示，一像素區塊310係一8×4的像素區塊的範例，其中包含有32個像素分屬於3種顏色，即藍色(B)、綠色(G，g)和紅色(R)，且該32個像素係按照拜爾濾鏡的排列方式來排列。接著，經過像素併鄰後所產生的一併鄰後影像係呈現在第3圖中的一併鄰後像素區塊320。併鄰後像素區塊320係由垂直併鄰且無水平併鄰(vertical binning without horizontal bining)所產生的4×4的像素區塊。請注意，虛線所標示的方塊係用來對比原始影像中像素的相對位置，實際上，像素區塊在垂直併鄰且無水平併鄰之後，已由8×4減少為4×4。併鄰後像素的位置係分別位於該原始影像中所屬顏色的中間。具體而言，併鄰後像素可以使用以下方程式來表示： B bin1=(B 1+B 3)/2，G bin1=(G 1+G 3)/2，g bin1=(g 1+g 3)/2，以及R bin1=(R 1+R 3)/2。
由於併鄰後像素區塊320中其它的併鄰後像素都係依據和上述同樣的規則來產生，在此便不多作贅述。在併鄰後像素區塊320中，兩個併鄰後像素群組係被8個虛線所標示的方塊分開。更具體地說，像素gbin1和像素Bbin3之間的相對距離係像素gbin1和像素Bbin1之間的相對距離的3倍，而像素Rbin1和像素Gbin3之間的相對距離係像素Rbin1和像素Gbin1之間的相對距離的3倍，對於其餘的像素而言則是依此類推。換句話說，經過了垂直併鄰且無水平併鄰操作之後，此時相對像素距離係不一致，即像素分佈不均勻。為了消除這樣的副作用，並且改善影像品質，可以使用以下的方程式來對像素gbin1、像素Rbin1、像素gbin2、像素Rbin2、像素gbin3、像素Rbin3、像素gbin4以及像素Rbin4進行再取樣以確保影像內像素的均勻分佈：B n1=B bin1，G n1=G bin1，，以及
第3圖中的一再取樣像素區塊330係藉由對併鄰後像素區塊320進行再取樣所產生的一4×4像素區塊。請注意，虛線所標示的方塊係用作增進說明理解的用途，而並非真正的像素。像素Bn1、像素Gn1、像素gn1以及 像素Rn1係併鄰後像素Bbin1、像素Gbin1、像素gbin1以及像素Rbin1的再取樣像素，其中像素Bn1和像素Gn1係分別完全相同於像素Bbin1和像素Gbin1，僅有像素gn1和像素Rn1有變化。像素gn1的位置係位在併鄰後像素區塊320中的像素gbin1的正下方的虛線方塊，這樣一來，像素gn1和像素Bn3之間的相對距離便會和像素gn1和像素Bn1之間的相對距離相同。然而，此處像素gn1的組成(即併鄰後像素區塊320的像素gbin1正下方的虛線方塊)同時包含有像素gbn1以及像素gbn3，因此由於像素gn1和像素gbin3之間的相對位置係像素gn1和像素gbin1之間的相對位置的3倍，應當分別施予加權因數3/4和1/4，也就是說，像素gbin1的權重因數應該為像素gbin3的權重因數的3倍，也就是和相對距離成反比。此外，因為像素gn1的組成僅包含有像素gbin1和像素gbin3，所以像素gbin1的權重因數和像素gbin3的權重因數的和應為1。應注意的是，可以依據設計上的實際需求來調整這些權重因數，此外，本實施例的參數設定僅為說明用途，並非用以限制本發明。因此，權重因數的其它變化理應屬於本發明的權利範圍之內。
第4A圖~第4C圖為本發明的空間併鄰方法的又另一實施例的過程示意圖。第4A圖中的一像素區塊410係一8×8的像素區塊，其中包含有64個像素分屬於3種顏色，即藍色(B)、綠色(G，g)和紅色(R)，且該64個像素係按照拜爾濾鏡的排列方式來排列。第4B圖係由第4A圖中的像素區塊410所得出的併鄰後像素區塊的示意圖。第4B圖中的一併鄰後像素區塊420係一4×4的像素區塊，其係利用執行鑽石型併鄰(diamond-shape binning)的像素併鄰演算法來產生。請注意，虛線所標示的方塊係用來對比原始影像中像素的相對位置，實際上，像素區塊在經過鑽石型併鄰之後，已由8×8的像素區塊410減少為4×4的像素區塊420。像素區塊420中的像素可以用以下的方程式來表示： B bin1=(B 1+B 2+B 3+B 4)/4，G bin1=(G 2+g 2+G 4+g 5)/4，g bin1=(G 3+g 3+G 9+g 4)/4，以及R bin1=(R 1+R 2+R 3+R 4)/4。
由於併鄰後像素區塊420中其它的併鄰後像素都係依據和上述同樣的規則來產生，在此便不多作贅述。
在併鄰後像素區塊420中，由於鑽石型併鄰的特殊併鄰方式，因此像素Gbin1和像素gbin1之間便不再像第2圖中的併鄰後像素區塊220一樣彼此有重疊的部分。然而，鑽石型併鄰具有相對像素距離不一致，即像素分佈不均勻的問題。為了消除這樣的副作用，並且改善影像品質，可以移動像素Rbin1來讓影像內像素均勻分佈。也就是說，當使用鑽石型併鄰來產生併鄰後影像時，所選擇之複數個併鄰像素中的每一者係垂直同色相鄰於該複數個併鄰後像素的其中之一、水平同色相鄰於該複數個併鄰後像素的其中之另一以及對角同色相鄰於該複數個併鄰後像素的其中之再另一。相關操作可以使用以下的方程式來表示：B n1=B bin1，G n1=G bin1，g n1=g bin1，以及
第4C圖係由第4B圖中的併鄰後像素區塊420所得出的一再取樣像素區塊的示意圖。第4C圖中的一再取樣像素區塊430係藉由對併鄰後像素 區塊420進行再取樣所產生的一4×4像素區塊。請注意，虛線所標示的方塊係用作增進說明理解的用途，而並非真正的像素。像素Bn1、像素Gn1、像素gn1以及像素Rn1係併鄰後像素Bbin1、像素Gbin1、像素gbin1以及像素Rbin1的再取樣像素，其中像素Bn1、像素Gn1和像素gn1係分別完全相同於像素Bbin1、像素Gbin1和像素gbin1，僅有像素Rn1有變化。像素Rn1的位置係位在併鄰後像素區塊420中的像素Rbin1的右下方的虛線方塊，這樣一來，像素Rn1和像素Gn3之間的相對距離、像素Rn1和像素gn1之間的相對距離、像素gn1和像素Bn1之間的相對距離以及像素Gn1和像素Bn1之間的相對距離便會彼此完全相同。然而，此處像素Rn1的組成(即併鄰後像素區塊420的像素Rbin1右下方的虛線方塊)同時包含有像素Rbn1、Rbn2、Rbn3以及Rbn4，因此應當依據像素Rn1和像素Rbin1、像素Rn1和像素Rbin2、像素Rn1和像素Rbin3以及像素Rn1和像素Rbin4之間的相對像素距離，分別施予加權因數9/16、3/16、3/16和1/16。此外，因為像素Rn1的組成僅包含有像素Rbin1、像素Rbin2、像素Rbin3和像素Rbin4，所以像素Rbin1、像素Rbin2、像素Rbin3和像素Rbin4的權重因數和應為1。應注意的是，可以依據設計上的實際需求來調整這些權重因數，此外，本實施例的參數設定僅為說明用途，並非用以限制本發明，因此，權重因數的其它變化理應屬於本發明的權利範圍之內。
第5A圖~第5C圖為本發明的空間併鄰方法的再另一實施例的過程示意圖。第5A圖中的一像素區塊510係一8×8的像素區塊，其中包含有64個像素分屬於3種顏色，即藍色(B)、綠色(G，g)和紅色(R)，且該64個像素係按照拜爾濾鏡的排列方式來排列。第5B圖係由第5A圖中的像素區塊510所得出的併鄰後像素區塊。第5B圖中的一併鄰後像素區塊520係一4×4的像素區塊，其係利用執行垂直子取樣水平併鄰(vertical sub-sampling horizontal binning)的像素併鄰演算法來產生。請注意，虛線所標示的方塊係用來對比原始影像中像素的相對位置，實際上，像素區塊在經過垂直子取樣 水平併鄰之後，已由8×8的像素區塊510減少為4×4的像素區塊520。其中一像素子區塊512以及一像素子區塊514在子取樣水平併鄰中係被忽略不管，而像素區塊510中其餘的像素會被用來產生併鄰後像素區塊520，像素區塊520中的像素可以用以下的方程式來表示：B bin1=(B 1+B 2)/2，G bin1=(G 1+G 2)/2，g bin1=(g 1+g 2)/2，以及R bin1=(R 1+R 2)/2。
由於併鄰後像素區塊520中其它的併鄰後像素都係依據和上述同樣的規則來產生，在此便不多作贅述。
在併鄰後像素區塊520中，四個分開的像素群組造成該併鄰後影像的不規則分佈。換句話說，會產生相對像素距離不一致，即像素分佈不均勻的問題。為了消除這樣的副作用，並且改善影像品質，可以移動像素Gbin1、像素Rbin1以及像素gbin1來讓影像內像素均勻分佈，如第5C圖中的再取樣像素區塊所示。也就是說，當使用垂直子取樣水平併鄰來產生併鄰後影像時，係選擇彼此對角同色相鄰的像素來作為複數個併鄰後像素；或是係選擇彼此垂直同色相鄰的像素來作為複數個併鄰後像素；或是所選擇之複數個併鄰像素中的每一者係垂直同色相鄰於該複數個併鄰後像素的其中之一、水平同色相鄰於該複數個併鄰後像素的其中之另一以及對角同色相鄰於該複數個併鄰後像素的其中之再另一。相關操作可以使用以下的方程式來表示：B n1=B bin1， ，以及
第5C圖係由第5B圖中的併鄰後像素區塊520所得出的一再取樣像素區塊。第5C圖中的一再取樣像素區塊530係藉由對併鄰後像素區塊520進行再取樣所產生的一4×4像素區塊。請注意，虛線所標示的方塊係用作增進說明理解的用途，而並非真正的像素。像素Bn1、像素Gn1、像素gn1以及像素Rn1係併鄰後像素Bbin1、像素Gbin1、像素gbin1以及像素Rbin1的再取樣像素，其中像素Bn1完全相同於像素Bbin1，而像素Gn1、像素gn1以及像素Rn1則和原本不同。像素gn1的位置係位在併鄰後像素區塊520中的像素gbin1的右下方的虛線方塊，這樣一來，像素gn1和像素Bn3之間的相對距離、像素gn1和像素Bn1之間的相對距離便會完全相同。像素Gn1的位置係位在併鄰後像素區塊520中的像素gbin1的右方的虛線方塊，這樣一來，像素Gn1和像素Bn2之間的相對距離、像素Gn1和像素Bn1之間的相對距離便會完全相同。像素Rn1的位置係位在併鄰後像素區塊520中的像素Rbin1的右下方的虛線方塊，這樣一來，像素Rn1和像素Gn1之間的相對距離、像素Rn1和像素gn1之間的相對距離、像素Rn1和像素gn2之間的相對距離、像素Rn1和像素Gn3之間的相對距離便會完全相同。然而，此處像素gn1的組成(即併鄰後像素區塊520的像素gbin1下方的虛線方塊)同時包含有像素gbn1以及gbn3，且由於像素gn1和像素gbin3之間的相對像素距離為像素gn1和像素gbin1之間的相對像素距離的3倍，故應分別施予加權因數3/4和1/4，也就是說，像素gbin1的權重因數應該為像素gbin3的權重因數的3倍。其他權重因數的選擇可以輕易地類推得到，故在此便不贅述。應注意的是，可以依據設計上的實際需求來調整這些權重 因數，此外，本實施例的參數設定僅為說明用途，並非用以限制本發明，因此，權重因數的其它變化理應屬於本發明的權利範圍之內。
第6圖為本發明的一空間併鄰電路600的一第一實施例的示意圖。空間併鄰電路600包含有一感測器陣列612、一併鄰單元614以及一再取樣單元601。感測器陣列612係用來接收一原始影像，並傳送至併鄰單元614以針對該原始影像執行像素併鄰操作，進而產生一輸入像素Si以及一像素併鄰演算法Sa予再取樣單元601。
再取樣單元601包含有一選擇單元602、一權重因數產生器604、一乘法器606以及一加法器608。選擇單元602係用來依據用以產生併鄰後影像的像素併鄰演算法Sa，來從該併鄰後影像之輸入像素Si選出複數個併鄰後像素Ss。權重因數產生器604係用來依據用以產生併鄰後影像的像素併鄰演算法Sa來決定複數個權重因數Sw。乘法器606係用來將該併鄰後影像的複數個併鄰後像素SS分別乘上複數個加權因數Sw，以分別產生複數個加權像素Sm。一加法器608係用來將複數個加權像素Sm相加以產生一再取樣像素So。具體而言，空間併鄰電路600係設計來執行上述空間併鄰方法，熟習此領域者在閱讀過前文中關於空間併鄰的相關敘述之後，應能輕易地瞭解空間併鄰電路600的細節，故更進一步的描述在此便不贅述。
關於上述空間併鄰操作的實現方式，除了使用第6圖中基於硬體的空間併鄰電路600之外(即使用硬體來實現感測器陣列612、空間併鄰單元614、選擇單元602、權重因數產生器604、乘法器606以及加法器608)，亦可使用基於軟體的實現方式。請參考第7圖，第7圖為本發明的一空間併鄰電路700的一第二實施例的示意圖。空間併鄰電路700包含有一處理器702以及一電腦可讀媒體704。舉例來說，處理器702可以係一中央處理單元 (Central Processing Unit,CPU)或是一微控制單元(Micro Control Unit,MCU)，電腦可讀媒體704可以係一儲存裝置(例如一快閃記憶體或是一動態隨機存取記憶體)。電腦可讀媒體704中儲存有一程式碼PROG，當處理器702執行程式碼PROG時，會執行第1圖所示的空間併鄰方法100的步驟，並從一併鄰後像素區塊得到一再取樣像素區塊(例如230、330、430或是530)。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100‧‧‧流程
102~106‧‧‧步驟

Claims (25)

  1. 一種空間併鄰(spatial binning)方法，包含有：接收一原始影像；對該原始影像進行像素併鄰以產生一併鄰後影像；以及依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行空間上再取樣以產生一再取樣影像。
  2. 如申請專利範圍第1項所述之空間併鄰方法，其中依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行空間上再取樣以產生該再取樣影像的步驟包含有：利用一乘法電路來將該併鄰後影像的複數個併鄰後像素分別乘上複數個加權因數，以分別產生複數個加權像素；以及將該複數個加權像素相加以產生一再取樣像素。
  3. 如申請專利範圍第2項所述之空間併鄰方法，另包含有：依據用以產生該併鄰後影像的一像素併鄰演算法，來從該併鄰後影像中選出該複數個併鄰後像素。
  4. 如申請專利範圍第3項所述之空間併鄰方法，其中從該併鄰後影像中選出該複數個併鄰後像素的步驟包含有：當利用執行垂直併鄰及水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，選擇彼此對角同色相鄰之該複數個併鄰後像素。
  5. 如申請專利範圍第3項所述之空間併鄰方法，其中從該併鄰後影像中選出該複數個併鄰後像素的步驟包含有： 當利用執行垂直併鄰且無水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，選擇彼此垂直同色相鄰之該複數個併鄰後像素。
  6. 如申請專利範圍第3項所述之空間併鄰方法，其中從該併鄰後影像中選出該複數個併鄰後像素的步驟包含有：當利用執行鑽石型併鄰的該像素併鄰演算法來產生該併鄰後影像時，所選擇之該複數個併鄰像素的每一者係垂直同色相鄰於該複數個併鄰後像素的其中之一、水平同色相鄰於該複數個併鄰後像素的其中之另一以及對角同色相鄰於該複數個併鄰後像素的其中之再另一。
  7. 如申請專利範圍第3項所述之空間併鄰方法，其中從該併鄰後影像中選出該複數個併鄰後像素的步驟包含有：當利用執行垂直子取樣水平併鄰的該像素併鄰演算法來產生該併鄰後影像時：選擇彼此對角同色相鄰的像素來作為該複數個併鄰後像素；或是選擇彼此垂直同色相鄰的像素來作為該複數個併鄰後像素；或是選擇之該複數個併鄰像素中的每一者係垂直同色相鄰於該複數個併鄰後像素的其中之一、水平同色相鄰於該複數個併鄰後像素的其中之另一以及對角同色相鄰於該複數個併鄰後像素的其中之再另一。
  8. 如申請專利範圍第2項所述之空間併鄰方法，另包含有：依據用以產生該併鄰後影像的一像素併鄰演算法來決定該複數個加權因數。
  9. 如申請專利範圍第8項所述之空間併鄰方法，其中決定該複數個加權因數的步驟包含有：當利用執行垂直併鄰及水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，將該複數個加權因數分別設定為5/4以及-1/4。
  10. 如申請專利範圍第8項所述之空間併鄰方法，其中決定該複數個加權因數的步驟包含有：當利用執行垂直併鄰且無水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，將該複數個加權因數分別設定為3/4以及1/4。
  11. 如申請專利範圍第8項所述之空間併鄰方法，其中決定該複數個加權因數的步驟包含有：當利用執行鑽石型併鄰的該像素併鄰演算法來產生該併鄰後影像時，將該複數個加權因數分別設定為9/16、3/16、3/16以及1/16。
  12. 如申請專利範圍第8項所述之空間併鄰方法，其中決定該複數個加權因數的步驟包含有：當利用執行垂直子取樣水平併鄰的該像素併鄰演算法來產生該併鄰後影像時：將該複數個加權因數分別設定為3/4以及1/4；或是將該複數個加權因數分別設定為9/16、3/16、3/16以及1/16。
  13. 一種空間併鄰電路，包含有：一併鄰單元，用來接收一原始影像，並對該原始影像進行像素併鄰以產生一併鄰後影像；以及 一再取樣單元，用來接收該併鄰後影像，以及依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行空間上再取樣以產生一再取樣影像。
  14. 如申請專利範圍第13項所述之空間併鄰電路，其中該再取樣單元包含有：一乘法器，用來將該併鄰後影像的複數個併鄰後像素分別乘上複數個加權因數，以分別產生複數個加權像素；以及一加法器，用來將該複數個加權像素相加以產生一再取樣像素。
  15. 如申請專利範圍第14項所述之空間併鄰電路，另包含有：一選擇單元，用來依據用以產生該併鄰後影像的一像素併鄰演算法，以從該併鄰後影像中選出該複數個併鄰後像素。
  16. 如申請專利範圍第15項所述之空間併鄰電路，其中當利用執行垂直併鄰及水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，該選擇單元係選擇彼此對角同色相鄰之該複數個併鄰後像素。
  17. 如申請專利範圍第15項所述之空間併鄰電路，其中當利用執行垂直併鄰且無水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，該選擇單元係選擇彼此垂直同色相鄰之該複數個併鄰後像素。
  18. 如申請專利範圍第15項所述之空間併鄰電路，其中當利用執行鑽石型併鄰的該像素併鄰演算法來產生該併鄰後影像時，該選擇單元所選擇之該複數個併鄰像素中每一者係垂直同色相鄰於該複數個併鄰後像素的其中之 一、水平同色相鄰於該複數個併鄰後像素的其中之另一以及對角同色相鄰於該複數個併鄰後像素的其中之再另一。
  19. 如申請專利範圍第15項所述之空間併鄰電路，其中當利用執行垂直子取樣水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，該選擇單元：選擇彼此對角同色相鄰的像素來作為該複數個併鄰後像素；或是選擇彼此垂直同色相鄰的像素來作為該複數個併鄰後像素；或是所選擇之該複數個併鄰像素中每一者係垂直同色相鄰於該複數個併鄰後像素的其中之一、水平同色相鄰於該複數個併鄰後像素的其中之另一以及對角同色相鄰於該複數個併鄰後像素的其中之再另一。
  20. 如申請專利範圍第14項所述之空間併鄰電路，另包含有：一權重因數產生器，用來依據用以產生該併鄰後影像的一像素併鄰演算法，以決定該複數個加權因數。
  21. 如申請專利範圍第20項所述之空間併鄰電路，其中當利用執行垂直併鄰及水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，該權重因數產生器會將該複數個加權因數分別設定為5/4以及-1/4。
  22. 如申請專利範圍第20項所述之空間併鄰電路，其中當利用執行垂直併鄰且無水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，該權重因數產生器會將該複數個加權因數分別設定為3/4以及1/4。
  23. 如申請專利範圍第20項所述之空間併鄰電路，其中當利用執行鑽石型併鄰的該像素併鄰演算法來產生該併鄰後影像時，該權重因數產生器會將該複數個加權因數分別設定為9/16、3/16、3/16以及1/16。
  24. 如申請專利範圍第20項所述之空間併鄰電路，其中當利用執行垂直子取樣水平併鄰的該像素併鄰演算法來產生該併鄰後影像時，該權重因數產生器會：將該複數個加權因數分別設定為3/4以及1/4；或是將該複數個加權因數分別設定為9/16、3/16、3/16以及1/16。
  25. 一種電腦可讀媒體，其儲存一程式碼，當一處理器執行該程式碼時會執行以下的步驟：對一原始影像進行像素併鄰以產生一併鄰後影像；以及依據該併鄰後影像中的複數個像素的大小和位置，對該併鄰後影像進行空間上再取樣以產生一再取樣影像。
TW102145172A 2013-09-09 2013-12-09 空間併鄰方法、空間併鄰電路以及電腦可讀媒體 TWI528820B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/020,910 US20150070550A1 (en) 2013-09-09 2013-09-09 Spatial binning method for re-sampling binned image, related circuit, and computer readable medium

Publications (2)

Publication Number Publication Date
TW201511563A TW201511563A (zh) 2015-03-16
TWI528820B true TWI528820B (zh) 2016-04-01

Family

ID=52625249

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102145172A TWI528820B (zh) 2013-09-09 2013-12-09 空間併鄰方法、空間併鄰電路以及電腦可讀媒體

Country Status (2)

Country Link
US (1) US20150070550A1 (zh)
TW (1) TWI528820B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018063625A1 (en) * 2016-09-28 2018-04-05 Kla-Tencor Corporation Direct focusing with image binning in metrology tools

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8780238B2 (en) * 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels

Also Published As

Publication number Publication date
TW201511563A (zh) 2015-03-16
US20150070550A1 (en) 2015-03-12

Similar Documents

Publication Publication Date Title
JP5054856B1 (ja) カラー撮像素子
JP5872408B2 (ja) カラー撮像装置及び画像処理方法
JP5872407B2 (ja) カラー撮像装置及び画像処理方法
JP5519083B2 (ja) 画像処理装置、方法、プログラムおよび撮像装置
JP6929929B2 (ja) 複数の隣接する赤外線フィルタ要素を備えた画像センサの方法および装置
WO2014006931A1 (ja) カラー撮像素子および撮像装置
JP5702893B2 (ja) カラー撮像素子および撮像装置
JP5095040B1 (ja) カラー撮像素子
JP6046927B2 (ja) 画像処理装置及びその制御方法
WO2010144124A1 (en) Interpolation for four-channel color filter array
CN104412581B (zh) 彩色摄像元件及摄像装置
TWI449027B (zh) 適應性畫素補償方法
CN103650487A (zh) 图像拾取设备、图像拾取元件，和用于校正灵敏度差异的方法
JP2009531928A (ja) カラービデオ信号を生成するための方法及び装置
TW201526646A (zh) 影像處理方法與模組
JP5380629B2 (ja) カラー撮像素子
CN104410786A (zh) 图像处理设备和图像处理设备的控制方法
WO2012049321A1 (en) High dynamic range of an image capturing apparatus and method for capturing high dynamic range pictures
JP2005012692A (ja) 画像信号処理装置
JP2005328215A (ja) 画像処理装置および画像処理プログラム
JP5600813B2 (ja) 画像処理装置及び撮像装置
TWI528820B (zh) 空間併鄰方法、空間併鄰電路以及電腦可讀媒體
JP2010028374A (ja) 画像処理装置および画像信号の補間処理方法、画像処理プログラム
JP2006074360A (ja) 撮像装置及び信号処理方法
JP2009010923A5 (zh)

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees