TWI455570B - 彩色內插系統及方法 - Google Patents

彩色內插系統及方法 Download PDF

Info

Publication number
TWI455570B
TWI455570B TW100121600A TW100121600A TWI455570B TW I455570 B TWI455570 B TW I455570B TW 100121600 A TW100121600 A TW 100121600A TW 100121600 A TW100121600 A TW 100121600A TW I455570 B TWI455570 B TW I455570B
Authority
TW
Taiwan
Prior art keywords
signal
original
interpolated
enhancement
gain
Prior art date
Application number
TW100121600A
Other languages
English (en)
Other versions
TW201301852A (zh
Inventor
Po Chang Chen
Yuan Chih Peng
Yu Yu Sung
Original Assignee
Himax Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Imaging Inc filed Critical Himax Imaging Inc
Priority to TW100121600A priority Critical patent/TWI455570B/zh
Publication of TW201301852A publication Critical patent/TW201301852A/zh
Application granted granted Critical
Publication of TWI455570B publication Critical patent/TWI455570B/zh

Links

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

彩色內插系統及方法
本發明係有關一種數位影像處理，特別是關於一種彩色內插系統及方法。
影像感測器通常會配合使用具拜爾圖樣(Bayer pattern)的彩色濾光陣列(color filter array,CFA)，因此，擷取自影像感測器的原始影像資料必須經過內插(demosaicing)以重建完整彩色影像。
影像增強(image enhancement)經常使用於數位影像處理中，用以增強一或多個影像參數，例如對比、銳利度等。影像增強的執行可根據邊緣偵測結果或梯度(gradient)。
於傳統成像系統中，擷取自影像感測器的原始影像資料首先經內插運算，接著進行影像增強處理。傳統成像系統的缺點之一在於紅色資料與藍色資料的取樣率遠低於綠色的取樣率，使得成像系統產生低銳利度的失真影像。
鑑於上述理由，因此亟需提出一種新穎的成像系統，以增進影像品質。
鑑於上述，本發明實施例的目的之一在於提出一種彩色內插系統及方法，其可同時執行內插及增強，並具改善之銳利度。
根據本發明實施例，彩色內插系統包含增強單元、第一內插單元及增益產生器。增強單元自影像感測器接收複數原始信號，其中該複數原始信號包含至少一原始第一信號及一原始第二信號，且增強單元處理該原始信號以輸出一增強第一信號。第一內插單元接收並處理該原始第一信號，據以輸出一內插第一信號。增益產生器根據該增強第一信號及該內插第一信號以產生一增強增益。
根據本發明另一實施例，彩色內插系統包含增強單元、第一內插單元、混合器及增益產生器。增強單元自影像感測器接收複數原始信號，其中該複數原始信號包含至少一原始第一信號及一原始第二信號，且增強單元處理該原始信號以輸出一增強第一信號。第一內插單元接收並處理該原始第一信號，據以輸出複數內插第一信號。混合器分配權重予該增強第一信號及該複數內插第一信號其中之一，用以產生一加權增強第一信號。增益產生器根據該加權增強第一信號及該複數內插第一信號，但饋至混合器之該內插第一信號則除外，以產生一增強增益。
1A‧‧‧彩色內插系統
1B‧‧‧彩色內插系統
4A‧‧‧彩色內插系統
4B‧‧‧彩色內插系統
10‧‧‧增強單元
11‧‧‧第一內插單元
11B‧‧‧第一內插單元
12‧‧‧第二內插單元
13‧‧‧第三內插單元
14‧‧‧混合器
14B‧‧‧混合器
16‧‧‧增益產生器
17‧‧‧增益乘法器
G‧‧‧綠色
R‧‧‧紅色
B‧‧‧藍色
G_raw‧‧‧原始綠色信號
R_raw‧‧‧原始紅色信號
B_raw‧‧‧原始藍色信號
G22_en‧‧‧增強綠色信號
G22_sm‧‧‧內插綠色信號
R22_sm‧‧‧內插紅色信號
B22_sm‧‧‧內插藍色信號
WG22‧‧‧加權增強綠色信號
D‧‧‧增強增益
G22’‧‧‧增強內插綠色信號
R22’‧‧‧增強內插紅色信號
B22’‧‧‧增強內插藍色信號
G11-G33‧‧‧內插綠色信號
G22‧‧‧中央內插綠色信號
第一A圖顯示本發明實施例之彩色內插系統的方塊圖。
第一B圖顯示第一A圖的變化型實施例之彩色內插系統的方塊圖。
第二圖顯示影像像素的處理視窗，其中原始藍色信號位於中央。
第三圖顯示影像像素的另一處理視窗，其中原始綠色信號位於中央，且其左右具有原始藍色信號。
第四A圖顯示本發明另一實施例之彩色內插系統的方塊圖。
第四B圖顯示第四A圖的變化型實施例之彩色內插系統的方塊圖。
第一A圖顯示本發明實施例之彩色內插系統1A的方塊圖。彩色內插系統1A的每一方塊之實施可使用硬體、軟體或其組合。
在本實施例中，彩色內插系統1A接收原始綠色信號G_raw、原始紅色信號R_raw及原始藍色信號B_raw。這些信號使用原始格式，並輸出自影像感測器(未顯示於圖式中)，該影像感測器配合使用具拜爾圖樣(Bayer pattern)的彩色濾光陣列(CFA)，但也可使用其他圖樣，例如紅/綠/藍(RGB)圖樣或青綠/品紅/黃(CMY)圖樣。具拜爾圖樣的彩色濾光陣列具多個彩色濾光片，其中的50%為綠色，25%為紅色，另外的25%為藍色。一般來說，於拜爾圖樣或其他圖樣中，綠色成分多於紅色成分或藍色成分。在本說明書中，綠色信號、紅色信號及藍色信號也可分別稱為第一信號、第二信號及第三信號。
第二圖顯示影像像素(原始藍色信號B_raw位於中央)的處理視窗，其構成影樣感測器的一部份。增強單元10(第一A圖)接收並處理原始信號G_raw、R_raw和B_raw，用以輸出增強綠色信號G22_en，其位於處理視窗的中央。增強單元10的增強處理可藉由增強遮罩(enhancing mask)來進行，其一般可為高頻增強濾波器(high-boost filter)，可表示如下：G22_en=W01 * P01+W03 * P03+W10 * P10+W12 * P12+W14 * P14+W21 * P21+W23 * P23+W30 * P30+W32 * P32+W34 * P34+W41 * P41+W43 * P43；//W01-W43：增強遮罩的係數。
第一內插單元11接收並處理原始綠色信號G_raw，用以輸出內插綠色信號G22_sm，其位於處理視窗的中央。第一內插單元11可使用傳統內插技術，例如雙線性(bi-linear)內插、雙立方(bi-cubic)內插、曲線(spline)內插或其他內插技術。
類似的情形，第二內插單元12接收並處理原始紅色信號R_raw，用以輸出內插紅色信號R22_sm，其位於處理視窗的中央。第二內插單元12可使用傳統內插技術，例如雙線性內插、雙立方內插、曲線內插或其他內插技術。
類似的情形，第三內插單元13接收並處理原始藍色信號B_raw，用以輸出內插藍色信號B22_sm，其位於處理視窗的中央。第三內插單元13可使用傳統內插技術，例如雙線性內插、雙立方內插、曲線內插或其他內插技術。
在一實施例中，還可使用混合器14，根據增強綠色信號G22_en及內插綠色信號G22_sm，以產生加權增強綠色信號WG22。其中，混合器14係分配權重予增強綠色信號G22_en及內插綠色信號G22_sm。加權增強綠色信號WG22可表示如下：WG22=(G22_en*weight+G22_sm*(1-weight))；//weight：增強遮罩的權重，其值不大於1且不小於0。
上述的表示式係針對原始藍色信號B_raw位於處理視窗中央的情形。當原始紅色信號R_raw位於處理視窗中央時，也可得到類似的表示式。
第三圖顯示影像像素的另一處理視窗，其中原始綠色信號G_raw位於中央，且其左右具有原始藍色信號B_raw。
對於此處理視窗，增強綠色信號G22_en及加權增強綠色信號WG22可表示如下：G22_en=W00*P00+W02*P02+W04*P04+W11*P11+W13*P13+W20* P20+W22*P22+W24*P24+W31*P31+W33*P33+W40*P40+W42*P42+W44*P44；//W00-W44：增強遮罩的權重WG22=(G22_en*weight+G22_sm*(1-weight))；//weight：增強遮罩的權重，其值不大於1且不小於。
上述的表示式係針對原始綠色信號G_raw位於處理視窗中央且其左右具有原始藍色信號B_raw的情形。當原始綠色信號 G_raw位於處理視窗中央且其左右具有原始紅色信號R_raw時，也可得到類似的表示式。
增強綠色信號G22_en(若使用混合器14則為加權增強綠色信號WG22)以及內插綠色信號G22_sm被饋至增益產生器16其根據增強綠色信號G22_en(若使用混合器14則為加權增強綠色信號WG22)以及內插綠色信號G22_sm以產生增強增益D。在一例子中，增強增益D之產生係根據加權增強綠色信號WG22及內插綠色信號G22_sm的差值。在另一例子中，增強增益D之產生係根據加權增強綠色信號WG22及內插綠色信號G22_sm的比值。
在一實施例中，如果加權增強綠色信號WG22及內插綠色信號G22_sm的絕對差值不大於預設雜訊臨界值，則增強增益D的值為“1”。否則，根據加權增強綠色信號WG22及內插綠色信號G22_sm的差值以決定增強增益D的值，其可受一預設值所調整。
最後，增益乘法器17將內插綠色信號G22_sm、內插紅色信號R22_sm及內插藍色信號B22_sm分別與增強增益D相乘，以得到增強內插綠色信號G22’、增強內插紅色信號R22’及增強內插藍色信號B22’，如下所示：G22’=G22_sm*D；R22’=R22_sm*D；B22’=B22_sm*D。
第一B圖顯示第一A圖的變化型實施例之彩色內插系統1B的方塊圖。第一B圖的彩色內插系統1B類似於第一A圖的彩 色內插系統1A，不同之處說明如下。於本實施例中，僅原始綠色信號G_raw受到內插單元(亦即，第一內插單元11)的處理。增益乘法器17將內插綠色信號G22_sm、原始紅色信號R_raw及原始藍色信號B_raw分別與增強增益D相乘。
第四A圖顯示本發明另一實施例之彩色內插系統4A的方塊圖。彩色內插系統4A的每一方塊之實施可使用硬體、軟體或其組合。
第四A圖的彩色內插系統4A類似於第一A圖的彩色內插系統1A，不同之處說明如下。在本實施例中，第一內插單元11B接收並處理原始綠色信號G_raw，用以輸出內插綠色信號G11-G33(例如3x3像素)，構成了處理次視窗(其為處理視窗的一部份)，位於處理視窗的中央，如第二圖所示。舉例而言，內插綠色信號G11-G33可表示如下：G11=f(P01,P10,P21,P12)；G12=f(P01,P03,P21,P23,P12)；G13=f(P03,P12,P14,P23)；G21=f(P10,P12,P30,P32,P21)；G22=f(P12,P21,P23,P32)；G23=f(P14,P12,P34,P32,P23)；G31=f(P21,P30,P41,P32)；G32=f(P21,P23,P41,P43,P32)； G33=f(P23,P32,P34,P43)；G22=G22；//輸出綠色像素。
混合器14B分配權重予增強綠色信號G22_en及內插綠色信號G22。加權增強綠色信號WG22可表示如下：WG22=(G22_en*alpha+G22*(1-alpha))；//0=<alpha<=1。
在本實施例中，增益產生器16可對加權增強綠色信號WG22及內插綠色信號(例如G11-G33，但除外G22)執行低通濾波(LPF)，因而產生內插綠色信號G22_sm。
類似於第一A圖的彩色內插系統1A，加權增強綠色信號WG22以及內插綠色信號G22被饋至增益產生器16，其根據加權增強綠色信號WG22以及內插綠色信號G22的差值或比值以產生增強增益D。增益乘法器17將內插綠色信號G22_sm、內插紅色信號R22_sm及內插藍色信號B22_sm分別與增強增益D相乘。
上述係針對原始藍色信號B_raw位於處理視窗中央的情形(第二圖)。當原始紅色信號R_raw位於處理視窗中央時，也可得到類似的結果。
第四B圖顯示第四A圖的變化型實施例之彩色內插系統4B的方塊圖。第四B圖的彩色內插系統4B類似於第四A圖的彩色內插系統4A，不同之處說明如下。於本實施例中，僅原始綠色信號G_raw受到內插單元(亦即，第一內插單元11B)的處理。增益乘法 器17將內插綠色信號G22_sm、原始紅色信號R_raw及原始藍色信號B_raw分別與增強增益D相乘。
以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。
1A‧‧‧彩色內插系統
10‧‧‧增強單元
11‧‧‧第一內插單元
12‧‧‧第二內插單元
13‧‧‧第三內插單元
14‧‧‧混合器
16‧‧‧增益產生器
17‧‧‧增益乘法器
G_raw‧‧‧原始綠色信號
R_raw‧‧‧原始紅色信號
B_raw‧‧‧原始藍色信號
G22_en‧‧‧增強綠色信號
G22_sm‧‧‧內插綠色信號
R22_sm‧‧‧內插紅色信號
B22_sm‧‧‧內插藍色信號
WG22‧‧‧加權增強綠色信號
D‧‧‧增強增益
G22’‧‧‧增強內插綠色信號
R22’‧‧‧增強內插紅色信號
B22’‧‧‧增強內插藍色信號

Claims (19)

  1. 一種彩色內插系統，包含：一增強單元，自一影像感測器接收複數原始信號，其中該複數原始信號包含至少一原始第一信號及一原始第二信號，且該增強單元處理該原始信號以輸出一增強第一信號；一第一內插單元，接收並處理該原始第一信號，據以輸出一內插第一信號；一增益產生器，根據該增強第一信號及該內插第一信號以產生一增強增益；及一增益乘法器，其將該內插第一信號及該原始第二信號分別乘以該增強增益。
  2. 如申請專利範圍第1項所述之彩色內插系統，更包含一第二內插單元，接收並處理該原始第二信號，據以輸出一內插第二信號。
  3. 如申請專利範圍第2項所述之彩色內插系統，其中該增益乘法器將該內插第一信號及該內插第二信號分別乘以該增強增益。
  4. 如申請專利範圍第1項所述之彩色內插系統，其中該增強單元包含一增強遮罩，作為一高頻增強濾波器(high-boost filter)。
  5. 如申請專利範圍第1項所述之彩色內插系統，其中該增強單元及該第一內插單元執行於一處理視窗，其包含該影像感測器的複數影像像素。
  6. 如申請專利範圍第5項所述之彩色內插系統，其中該影樣像素之處理視窗具拜爾圖樣(Bayer pattern)。
  7. 如申請專利範圍第1項所述之彩色內插系統，更包含一混合器，位於該增強單元與該增益產生器之間，其中該混合器分配權重予該增強第一信號及該內插第一信號。
  8. 一種彩色內插系統，包含：一增強單元，自一影像感測器接收複數原始信號，其中該複數原始信號包含至少一原始第一信號及一原始第二信號，且該增強單元處理該原始信號以輸出一增強第一信號；一第一內插單元，接收並處理該原始第一信號，據以輸出複數內插第一信號；一混合器，分配權重予該增強第一信號及該複數內插第一信號其中之一，用以產生一加權增強第一信號；一增益產生器，根據該加權增強第一信號及該複數內插第一信號，但饋至該混合器之該內插第一信號則除外，以產生一增強增益；及一增益乘法器，其將該內插第一信號及該原始第二信號分別乘以該增強增益。
  9. 如申請專利範圍第8項所述之彩色內插系統，更包含一第二內插單元，接收並處理該原始第二信號，據以輸出一內插第二信號。
  10. 如申請專利範圍第9項所述之彩色內插系統，其中該增益乘法器將該內插第一信號及該內插第二信號分別乘以該增強增益。
  11. 如申請專利範圍第8項所述之彩色內插系統，其中該增強單元包含一增強遮罩，作為一高頻增強濾波器(high-boost filter)。
  12. 如申請專利範圍第8項所述之彩色內插系統，其中該增強單元執行於一處理視窗，其包含該影像感測器的複數影像像素；且該第一內插單元執行於一處理次視窗，其為該影像像素之處理視窗的一部份。
  13. 如申請專利範圍第12項所述之彩色內插系統，其中該影樣像素之處理視窗具拜爾圖樣(Bayer pattern)。
  14. 一種彩色內插方法，包含：自一影像感測器接收複數原始信號，其中該複數原始信號包含至少一原始第一信號及一原始第二信號，其經處理後輸出一增強第一信號；處理該原始第一信號，以輸出一內插第一信號；根據該增強第一信號及該內插第一信號以產生一增強增益；及將該內插第一信號及該原始第二信號分別乘以該增強增益。
  15. 如申請專利範圍第14項所述之彩色內插方法，更包含一步驟，處理該原始第二信號，以輸出一內插第二信號。
  16. 如申請專利範圍第15項所述之彩色內插方法，更包含一步驟，將該內插第一信號及該內插第二信號分別乘以該增強增益。
  17. 一種彩色內插方法，包含：自一影像感測器接收複數原始信號，其中該複數原始信號包含至少一原始第一信號及一原始第二信號，其經處理後輸出一增強第一信號；處理該原始第一信號，以輸出複數內插第一信號；分配權重予該增強第一信號及該複數內插第一信號其中之一，以產生一加權增強第一信號； 根據該加權增強第一信號及該複數內插第一信號，但分配有權重之該內插第一信號則除外，以產生一增強增益；及將該內插第一信號及該原始第二信號分別乘以該增強增益。
  18. 如申請專利範圍17項所述之彩色內插方法，更包含一步驟，處理該原始第二信號，以輸出一內插第二信號。
  19. 如申請專利範圍第18項所述之彩色內插方法，更包含一步驟，將該內插第一信號及該內插第二信號分別乘以該增強增益。
TW100121600A 2011-06-21 2011-06-21 彩色內插系統及方法 TWI455570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW100121600A TWI455570B (zh) 2011-06-21 2011-06-21 彩色內插系統及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100121600A TWI455570B (zh) 2011-06-21 2011-06-21 彩色內插系統及方法

Publications (2)

Publication Number Publication Date
TW201301852A TW201301852A (zh) 2013-01-01
TWI455570B true TWI455570B (zh) 2014-10-01

Family

ID=48137693

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100121600A TWI455570B (zh) 2011-06-21 2011-06-21 彩色內插系統及方法

Country Status (1)

Country Link
TW (1) TWI455570B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119896A1 (en) * 2003-06-30 2006-06-08 Nikon Corporation Image processing apparatus, image processing program, electronic camera, and image processing method for smoothing image of mixedly arranged color components
TW200830869A (en) * 2006-10-19 2008-07-16 Sony Corp Image processing apparatus, imaging apparatus, image processing method, and computer program
TW200849978A (en) * 2007-05-17 2008-12-16 Sony Corp Video input processor, imaging signal-processing circuit, and method of reducing noises in imaging signals
TW201101807A (en) * 2008-12-24 2011-01-01 Ricoh Co Ltd Method and apparatus for image processing and on-vehicle camera apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119896A1 (en) * 2003-06-30 2006-06-08 Nikon Corporation Image processing apparatus, image processing program, electronic camera, and image processing method for smoothing image of mixedly arranged color components
TW200830869A (en) * 2006-10-19 2008-07-16 Sony Corp Image processing apparatus, imaging apparatus, image processing method, and computer program
TW200849978A (en) * 2007-05-17 2008-12-16 Sony Corp Video input processor, imaging signal-processing circuit, and method of reducing noises in imaging signals
TW201101807A (en) * 2008-12-24 2011-01-01 Ricoh Co Ltd Method and apparatus for image processing and on-vehicle camera apparatus

Also Published As

Publication number Publication date
TW201301852A (zh) 2013-01-01

Similar Documents

Publication Publication Date Title
TWI407800B (zh) 馬賽克影像的改良處理
EP2523160A1 (en) Image processing device, image processing method, and program
EP2642757B1 (en) Imaging systems with clear filter pixels
US7577315B2 (en) Method and apparatus for processing image data of a color filter array
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
TWI504277B (zh) 影像感測裝置、影像感測器的操作方法、串音修正方法以及偽色誤差修正方法
KR20090010906A (ko) 디지털 이미지의 컬러 아티팩트 저감 기법
JP2008289090A (ja) 撮像信号処理装置
JP5709131B2 (ja) 画像処理システム
CN108702494B (zh) 图像处理装置、成像装置、图像处理方法和存储介质
JP5414691B2 (ja) 画像処理装置及び画像処理方法
TWI455570B (zh) 彩色內插系統及方法
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
JP5103580B2 (ja) 画像処理装置およびデジタルカメラ
CN102857765B (zh) 彩色内插系统及方法
US20120307115A1 (en) Color interpolation system and method thereof
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI528812B (zh) 降低雜訊的系統及方法
TW201318406A (zh) 用以進行影像強化的影像訊號處理器以及影像處理方法
JP6426909B2 (ja) 色情報補完装置およびそのプログラム
JP5106221B2 (ja) 撮像装置
JP4139587B2 (ja) 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法
JP6497822B2 (ja) 撮像装置
TWI601427B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees