TWI464704B - 色彩資訊插補方法 - Google Patents

色彩資訊插補方法 Download PDF

Info

Publication number
TWI464704B
TWI464704B TW100130016A TW100130016A TWI464704B TW I464704 B TWI464704 B TW I464704B TW 100130016 A TW100130016 A TW 100130016A TW 100130016 A TW100130016 A TW 100130016A TW I464704 B TWI464704 B TW I464704B
Authority
TW
Taiwan
Prior art keywords
color information
horizontal
vertical
pixel
variation
Prior art date
Application number
TW100130016A
Other languages
English (en)
Other versions
TW201310388A (zh
Inventor
Chih Yuan Yang
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW100130016A priority Critical patent/TWI464704B/zh
Priority to US13/283,616 priority patent/US8665287B2/en
Publication of TW201310388A publication Critical patent/TW201310388A/zh
Application granted granted Critical
Publication of TWI464704B publication Critical patent/TWI464704B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Description

色彩資訊插補方法
本發明係指一種色彩資訊插補方法，尤指一種可利用影像反差調整並以細節變異量及色差變異平均量進行判斷，以增加影像細節方向判斷的色彩資訊插補方法。
一般來說，為節省成本，消費性影像感測器之像素矩陣於感測影像以產生輝度資訊時，該輝度資訊係以一貝爾圖(Bayer pattern)排列，即僅紀錄像素矩陣中各像素之一特定色彩資訊，該特定色彩資訊係一紅色色彩資訊、一綠色色彩資訊及一藍色色彩資訊當中一者。因此，於一影像處理器接收該輝度資訊時，需要利用內插(Interpolation)運算進行遺失的色彩資訊重建，使每一像素皆具有三種色彩資訊。
在習知技術中，主要係固定使用雙線性插補方法(bilinear)、邊界插補方法及最小色差判定插補方法當中一者進行插補。以雙線性插補方法來說，其係將遺失的色彩資訊利用雙線性方法插補，主要的缺點為會造成影像模糊及嚴重的偽色現象，且於邊緣(edge)容易判斷錯誤；以邊界插補方法來說，其係將遺失的色彩資訊利用水平及垂直方向的判定進行方向插補，主要的缺點為對細微的邊界的方向判定正確率不高，例如於影像高頻處無法知道方向性會判斷錯誤，而在影像上出現格子狀(如原本為橫向判斷為直向)；而以最小色差判定插補方法來說，其係將遺失的色彩資訊利用與鄰近像素的最小色插進行方向插補，主要的缺點為對影像高頻處方向判定正確率不高。
由上述可知，由於習知技術在進行插補時固定使用雙線性插補方法、邊界插補方法及最小色差判定插補方法當中一者，因此會造成影像模糊或於影像高頻處判定正確率不高。有鑑於此，習知技術實有改進之必要。
因此，本發明之主要目的即在於提供一種可利用影像反差調整並以細節變異量及色差變異平均量進行判斷，以增加影像細節方向判斷的色彩資訊插補方法。
本發明揭露一種色彩資訊插補方法，包含有接收對應於一像素矩陣之一輝度資訊，該輝度資訊以一貝爾圖排列，該輝度資訊紀錄該像素矩陣中各像素之一特定色彩資訊，該特定色彩資訊係一紅色色彩資訊、一綠色色彩資訊及一藍色色彩資訊當中一者；根據該輝度資訊，計算該像素之一水平細節變異量及一垂直細節變異量；以及根據該水平細節變異量及該垂直細節變異量，以一水平色彩資訊估計值、一垂直色彩資訊估計值及一無方向色彩資訊估計值當中一者對該輝度資訊中該像素進行插補，以得到除該特定色彩資訊外之色彩資訊。
請參考第1A圖，第1A圖為本發明實施例一影像處理器10之示意圖。影像處理器10主要用於如數位相機、網路攝影機(internet protocol camera)、外接攝影機或電腦內建攝影機等影像擷取裝置，包含有一影像反差調整裝置102、一細節計算單元104、一色差計算單元106及一插補判斷單元108。簡單來說，影像處理器10可由一影像感測器12接收對應於一像素矩陣PM之一輝度資訊LI。輝度資訊LI係以一貝爾圖(Bayer pattern)排列，其記錄像素矩陣PM中各像素之一特定色彩資訊PCI。特定色彩資訊PCI係一紅色色彩資訊、一綠色色彩資訊及一藍色色彩資訊當中一者；舉例來說，第1B圖為像素矩陣PM為5*5時，輝度資訊LI之示意圖，其中像素R表示其特定色彩資訊PCI為紅色色彩資訊，像素G表示其特定色彩資訊PCI為綠色色彩資訊，像素B表示其特定色彩資訊PCI為藍色色彩資訊。細節計算單元104可根據輝度資訊LI，計算一像素PX之一水平細節變異量HDV及一垂直細節變異量VDV，而插補判斷單元108可根據水平細節變異量HDV、垂直細節變異量VDV，以一水平色彩資訊估計值Eh、一垂直色彩資訊估計值Ev及一無方向色彩資訊估計值En當中一者對輝度資訊LI中像素PX進行插補，以得到像素PX中除特定色彩資訊PCI外之色彩資訊。
在此情況下，於像素PX之水平細節變異量HDV減去垂直細節變異量VDV大於一細節閥值DT(threshold)時，插補判斷單元108可以其垂直色彩資訊估計值Ev對輝度資訊LI中像素PX進行插補，即於判斷像素PX水平方向變化較大時以其垂直方向周圍像素之特定色彩資訊PCI進行插補；於像素PX之垂直細節變異量VDV減去水平細節變異量HDV大於細節閥值DT時，插補判斷單元108可以其水平色彩資訊估計值Eh對輝度資訊LI中像素PX進行插補，即於判斷像素PX垂直方向變化較大時以其水平方向周圍像素之特定色彩資訊PCI進行插補。
另一方面，於像素PX之水平細節變異量HDV減去垂直細節變異量VDV及垂直細節變異量VDV減去水平細節變異量HDV皆小於細節閥值DT時，色差計算單元106可根據輝度資訊LI，計算像素PX之一水平色差變異平均量CHavg及一垂直色差變異平均量CVavg，使得插補判斷單元108根據水平色差變異平均量CHavg及垂直色差變異平均量CVavg，以水平色彩資訊估計值Eh、垂直色彩資訊估計值Ev及無方向色彩資訊估計值En當中一者對輝度資訊LI中像素PX進行插補，以得到像素PX中除特定色彩資訊PCI外之色彩資訊。
詳細來說，於像素PX之水平色差變異平均量CHavg減去垂直色差變異平均量CVavg大於一色差閥值CT時，插補判斷單元108可以其垂直色彩資訊估計值Ev對輝度資訊LI中像素PX進行插補，即於判斷像素PX水平方向變化較大時以其垂直方向周圍像素之特定色彩資訊PCI進行插補；於像素PX之垂直色差變異平均量CVavg減去水平色差變異平均量CHavg大於細節閥值CT時，插補判斷單元108可以其水平色彩資訊估計值Eh對輝度資訊LI中像素PX進行插補，即於判斷像素PX垂直方向變化較大時以其水平方向周圍像素之特定色彩資訊PCI進行插補；而於像素PX之水平色差變異平均量CHavg減去垂直色差變異平均量CVavg及垂直色差變異平均量CVavg減去水平色差變異平均量CHavg皆小於細節閥值CT時(即位於影像平坦區)，插補判斷單元108可以其無方向色彩資訊估計值En對輝度資訊LI中像素PX進行插補，即於判斷像素PX無特定方向變化大時以其周圍像素之特定色彩資訊PCI進行插補。如此一來，影像處理器10可根據細節變異量HDV、VDV及色差變異平均量CHavg、CVavg進行判斷，然後以適當色彩資訊估計值進行插補，以增加影像細節方向判斷。
除此之外，請參考第2圖，第2圖為第1圖中影像反差調整裝置102用來進行影像反差調整之一函數F(x)之示意圖。如第2圖所示，影像處理器10可另包含影像反差調整裝置102，用來於影像處理器10接收輝度資訊LI後，根據函數F(x)對輝度資訊LI進行影像反差調整，以提升像素矩陣PM中中低亮度像素之對比度，進而產生一反差輝度資訊CLI予細節計算單元104與色差計算單元106，使其分別據以計算水平細節變異量HDV及垂直細節變異量VDV與水平色差變異平均量CHavg及垂直色差變異平均量CVavg，以增加細節方向判斷。須注意，插補判斷單元108仍係對原本輝度資訊LI之像素而非反差輝度資訊CLI之像素進行插補，以重建色彩資訊，因此影像像素可以保持原始資訊之純淨且邊緣細節不會受到影響。如此一來，影像反差調整裝置102可提升中低亮度像素之對比度，以增加中低亮度影像細節方向判斷。
具體而言，於一實施例中，影像處理器10之操作可為一色彩資訊插補流程30，如第3A圖及第3B圖所示，其包含以下步驟：步驟300：開始。
步驟302：根據輝度資訊LI中像素PX及其周圍所有像素，計算像素PX之一水平細節變異量HDV1 及一垂直細節變異量VDV1 。
步驟304：判斷水平細節變異量HDV1 減去垂直細節變異量VDV1 是否大於一細節閥值DT1 。若是，進行步驟326；若否，進行步驟306。
步驟306：判斷垂直細節變異量VDV1 減去水平細節變異量HDV1 是否大於細節閥值DT1 。若是，進行步驟328；若否，進行步驟308。
步驟308：根據輝度資訊LI中像素PX及其周圍與欲插補色彩資訊具有相同色彩資訊之像素，計算像素PX之一水平細節變異量HDV2 及一垂直細節變異量VDV2 。
步驟310：判斷水平細節變異量HDV2 減去垂直細節變異量VDV2 是否大於一細節閥值DT2 。若是326，進行步驟；若否，進行步驟312。
步驟312：判斷垂直細節變異量VDV2 減去水平細節變異量HDV2 是否大於細節閥值DT2 。若是，進行步驟328；若否，進行步驟314。
步驟314：根據輝度資訊LI中像素PX及其周圍與欲插補色彩資訊具有相異色彩資訊之像素，計算像素PX之一水平細節變異量HDV3 及一垂直細節變異量VDV3 。
步驟316：判斷水平細節變異量HDV3 減去垂直細節變異量VDV3 是否大於一細節閥值DT3 。若是，進行步驟326；若否，進行步驟318。
步驟318：判斷垂直細節變異量VDV3 減去水平細節變異量HDV3 是否大於細節閥值DT3 。若是，進行步驟328；若否，進行步驟320。
步驟320：根據輝度資訊LI中像素PX及其垂直與水平方向像素，計算像素PX之水平色差變異平均量CHavg及垂直色差變異平均量CVavg。
步驟322：判斷水平色差變異平均量CHavg減去垂直色差變異平均量CVavg是否大於色差閥值CT。若是，進行步驟；若否326，進行步驟318。
步驟324：判斷垂直色差變異平均量CVavg減去水平色差變異平均量CHavg是否大於色差閥值CT。若是，進行步驟；若否328，進行步驟330。
步驟326：以垂直色彩資訊估計值Ev對輝度資訊LI中像素PX進行插補。
步驟328：以水平色彩資訊估計值Eh對輝度資訊LI中像素PX進行插補。
步驟330：以其無方向色彩資訊估計值En對輝度資訊LI中像素PX進行插補。
由色彩資訊插補流程30可知，本發明於判斷水平變異量或垂直變異量何者明顯較大，以決定使用垂直色彩資訊估計值Ev、水平色彩資訊估計值Eh或無方向色彩資訊估計值En進行插補時，係先由粗略到細微，三階段計算細節變異量HDV1 ～HDV3 、VDV1 ～VDV3 ，以判斷水平變異量或垂直變異量何者明顯較大，若皆無法判斷再以色差變異平均量CHavg、CVavg進行判斷。
舉例來說，請參考第4圖，第4圖為第1圖中細節計算單元104計算水平細節變異量HDV1 ～HDV3 及垂直細節變異量VDV1 ～VDV3 之示意圖。根據色彩資訊插補流程30，於欲重建出一特定色彩資訊PCI33為紅色色彩資訊之一像素R33所遺失的綠色色彩資訊G33時，會先根據輝度資訊LI中像素R33及其周圍所有像素(如底色部分)，計算像素R33之水平細節變異量HDV1 及垂直細節變異量VDV1 ，如下：
HDV1 =k1*|G32-G34|+k2*|α*R33-R31-R35|+(k3*|B22-B24|+k4*|β*G23-G21-G25|)/k5+(k6*|B42-B44|+k7*|γ*G43-G41-G45|)/k8
VDV1 =k1*|G23-G43|+k2*|α*R33-R13-R53|+(k3*B22-B42|+k4*|β*G32-G12-G52|)/k5+(k6*|B24-B44|+k7*|γ*G34-G14-G54|)/k8
其中，k1、k2、k3、k4、k5、k6、k7、k8以及α、β、γ為預設的參數，HDV1 為第一個水平方向的細節變異量，VDV1 為第一個垂直方向的細節變異量。
由上式可知，水平細節變異量HDV1 係以像素R33為中心，計算像素G32與G34及像素R33、R31與R35的變異量，並根據其水平位置與中心像素R33的空間位置關係給予不同的權重，相鄰的水平像素G21、B22、G23、B24、G25及G41、B42、G43、B44、G45均採用此計算方式，最後將不同位置的水平細節變異量加總可得到水平細節變異量HDV1 。依此類推，可將不同位置的垂直細節變異量加總以得到垂直細節變異量VDV1 。
接著，若判斷水平細節變異量HDV1 減去垂直細節變異量VDV1 大於細節閥值DT1 ，則以垂直色彩資訊估計值Ev對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33；若判斷垂直細節變異量VDV1 減去水平細節變異量HDV1 大於細節閥值DT1 ，則以水平色彩資訊估計值Eh對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33。最後，若判斷垂直細節變異量VDV1 減去水平細節變異量HDV1 及水平細節變異量HDV1 減去垂直細節變異量VDV1 皆小於細節閥值DT1 ，根據輝度資訊LI中像素R33及其周圍與欲插補色彩資訊G33具有相同色彩資訊(綠色)之像素，計算像素R33之水平細節變異量HDV2 及垂直細節變異量VDV2 ，如下：
HDV2 =g1*|G12-G14|+g2*|G21-G23|+g3*|G23-G25|+g4*|G32-G34|+g5*|G41-G43|+|G45-G43|+g6*|G52-G54|
VDV2 =g1*|G21-G41|+g2*|G12-G32|+g3*|G32-G52|+g4*|G23-G43|+g5*|G14-G34|+|G54-G34|+g6*|G25-G45
其中，g1、g2、g3、g4、g5、g6為預設的參數，HDV2 為第二個水平方向的細節變異量，VDV2 為第二個水垂直向的細節變異量。
由上式可知，水平細節變異量HDV2 是以像素R33為中心，計算相鄰水平綠色像素的變異量，如像素G32與G34、像素G21與G23、像素G23與G25等，並根據其水平位置與中心像素R33的空間位置關係給予不同的權重，相鄰的水平像素均採用此計算方式，最後將不同位置的水平細節變異量加總可得到水平細節變異量HDV2 。依此類推，可將不同位置的垂直細節變異量加總以得到垂直細節變異量VDV2 。
接著，若判斷水平細節變異量HDV2 減去垂直細節變異量VDV2 大於細節閥值DT2 ，則以垂直色彩資訊估計值Ev對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33；若判斷垂直細節變異量VDV1 減去水平細節變異量HDV2 大於細節閥值DT2 ，則以水平色彩資訊估計值Eh對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33。最後，若判斷垂直細節變異量VDV2 減去水平細節變異量HDV2 及水平細節變異量HDV2 減去垂直細節變異量VDV2 皆小於細節閥值DT2 ，根據輝度資訊LI中像素R33及其周圍與欲插補色彩資訊G33具有相異色彩資訊(紅色及藍色)之像素，計算像素R33之水平細節變異量HDV3 及垂直細節變異量VDV3 ，如下：
HDV3 =r1*|B22-B24|+r2*|B42-B44|+r3*|R31-R33|+r4*|R35-R33|
VDV3 =r1*|B22-B42|+r2*|B24-B44|+r3*|R13-R33|+r4*|R53-R33|
其中，r1、r2、r3、r4為預設的參數，HDV3 為第三個水平方向的細節變異量，VDV3 為第三個垂直方向的細節變異量。
由上式可知，水平細節變異量HDV3 是以像素R33為中心，計算相鄰水平藍色像素及紅色像素的變異量，如像素R31與R33、像素R33與R35、像素B22與B24等，並根據其水平位置與中心像素R33的空間位置關係給予不同的權重，相鄰的水平像素均採用此計算方式，最後將不同位置的水平細節變異量加總可得到水平細節變異量HDV3 。依此類推，可將不同位置的垂直細節變異量加總以得到垂直細節變異量VDV3 。
接著，若判斷水平細節變異量HDV3 減去垂直細節變異量VDV3 大於細節閥值DT3 ，則以垂直色彩資訊估計值Ev對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33；若判斷垂直細節變異量VDV3 減去水平細節變異量HDV3 大於細節閥值DT3 ，則以水平色彩資訊估計值Eh對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33。
最後，請參考第5圖，第5圖為第1圖中色差計算單元106計算水平色差變異平均量CHavg及垂直色差變異平均量CVavg之示意圖。若判斷垂直細節變異量VDV3 減去水平細節變異量HDV3 及水平細節變異量HDV3 減去垂直細節變異量VDV3 皆小於細節閥值DT3 ，根據輝度資訊LI中像素R33及垂直與水平方向像素(如底色部分)，計算像素R33之水平色差變異平均量CHavg及垂直色差變異平均量CVavg，如下：
CH1=|G32-R33|
CH2=|G32-R31|
CH3=|G34-R33|
CH4=|G34-R35|
CV1=|G23-R33|
CV2=|G23-R13|
CV3=|G43-R33|
CV4=|G43-R53|
CHavg=(v1*CH1+v2*CH2+v3*CH3+v4*CH4)/v5
CVavg=(v1*CV1+v2*CV2+v3*CV3+v4*CV4)/v5
其中，CH1、CH2、CH3、CH4為相鄰像素個別的水平方向色差變異量，CV1、CV2、CV3、CV4為相鄰像素個別的垂直方向色差變異量，CHavg為水平方向的色差變異平均量，CVavg為垂直方向的色差變異平均量，v1、v2、v3、v4、v5為預設的參數。
由上式可知，水平色差變異量是以像素R33為中心，計算像素G32與R33、像素G32與R31、像素G34與R33、像素G34與R35的色差變異量，並根據其水平位置與中心像素R33的空間位置關係給予不同的權重，相鄰的水平像素均採用此計算方式，最後將不同位置的水平色差變異量加總並取平均值可得到水平色差變異平均量CHavg。依此類推，可將不同位置的垂直細節變異量加總以得到垂直色差變異平均量CVavg。
接著，若判斷水平色差變異平均量CHavg減去垂直色差變異平均量CVavg大於色差閥值CT，則以垂直色彩資訊估計值Ev對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33；若判斷垂直色差變異平均量CVavg減去水平色差變異平均量CHavg大於色差閥值CT，則以水平色彩資訊估計值Eh對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33；若水平色差變異平均量CHavg減去垂直色差變異平均量Cvavg及垂直色差變異平均量CVavg減去水平色差變異平均量CHavg皆小於色差閥值CT，則判斷像素R33位於一平坦區，以無方向色彩資訊估計值En對輝度資訊LI中像素R33進行插補，以重建綠色色彩資訊G33。
其中，水平色彩資訊估計值Eh係輝度資訊LI中像素R33之水平方向像素中與欲插補色彩資訊具有相同色彩資訊之像素(綠色)之一水平平均值及具有相異色彩資訊之像素(紅色及藍色)之一水平變異量之和，垂直色彩資訊估計值Ev係輝度資訊LI中像素R33之垂直方向像素中與欲插補色彩資訊具有相同色彩資訊之像素之一垂直平均值及具有相異色彩資訊之像素之一垂直變異量之和，而無方向色彩資訊En係輝度資訊LI中像素R33之水平方向及垂直方向像素中與欲插補色彩資訊具有相同色彩資訊之像素之一無方向平均值，如下：
Eh=(G32+G34)/2+(p1*R33-R31-R35)/p2
Ev=(G23+G43)/2+(p1*R33-R13-R53)/p2
En=(G32+G34+G23+G43)/4
其中，p1、p2為預設的參數，Eh為水平方向的色彩資訊估計值，Ev為垂直方向的色彩資訊估計值，En為無方向的色彩資訊估計值。
由上式可知，水平色彩資訊估計值Eh是計算像素G32及G34的平均值與像素R33、R31、R35的變異量的總和，垂直色彩資訊估計值Ev是計算像素G23及G43的平均值與像素R33、R13、R53的變異量的總和，無方向的色彩資訊估計值En是計算像素G32、G34、G23、G43的平均值。
值得注意的是，本發明之主要精神在於可根據水平及垂直細節變異量與色差變異平均量進行判斷，然後適當色彩資訊估計值進行插補，以增加影像細節方向判斷。本領域具通常知識者當可據以修飾或變化，而不限於此。舉例來說，上述實施例中，影像處理器10係包含影像反差調整裝置102，以提升中低亮度像素之對比度，進而便於判斷，於實際應用中影像處理器10亦可不包含影像反差調整裝置102，唯細節計算單元104與色差計算單元106根據輝度資訊LI進行計算而非反差輝度資訊CLI；此外，實施例中皆於無法以細節變異量判斷水平變異量或垂直變異量何者明顯較大，以色差變異平均量進行判斷，於實際應用中亦可不以色差變異平均量進行判斷，直接以無方向的色彩資訊估計值En進行插補；再者，色彩資訊插補流程30中係以由粗略到細微，三階段計算細節變異量HDV1 ～HDV3 、VDV1 ～VDV3 ，以判斷水平變異量或垂直變異量何者明顯較大，實際上亦可僅計算當中一至二者進行判斷，且計算方式上亦不限於上述公式，只要係依此概念進行即可。
因此，影像處理器10之色彩資訊插補操作，可歸納為一色彩資訊插補流程60，如第6圖所示，其包含以下步驟：步驟600：開始。
步驟602：接收對應於像素矩陣PM之輝度資訊LI，輝度資訊LI以貝爾圖排列，輝度資訊LI紀錄像素矩陣PM中各像素之特定色彩資訊PCI，特定色彩資訊PCI係一紅色色彩資訊、一綠色色彩資訊及一藍色色彩資訊當中一者。
步驟604：根據輝度資訊LI，計算一像素PX之水平細節變異量HDV及垂直細節變異量VDV。
步驟606：根據水平細節變異量HDV及垂直細節變異量VDV，以一水平色彩資訊估計值Eh、一垂直色彩資訊估計值Ev及一無方向色彩資訊估計值En當中一者輝度資訊LI中像素PX進行插補，以得到像素PX中除特定色彩資訊PCI外之色彩資訊。
步驟608：結束。
色彩資訊插補流程60之詳細內容可參考上述影像處理器10之相關運作，於此不再贅述。
在習知技術中，由於在進行插補時係固定使用雙線性插補方法、邊界插補方法及最小色差判定插補方法當中一者，因此會造成影像模糊或於影像高頻處判定正確率不高。相較之下，本發明根據水平及垂直細節變異量與色差變異平均量進行判斷，然後適當色彩資訊估計值進行插補，以增加影像細節方向判斷。此外，本發明更可先進行影像反差調整，以提升中低亮度像素之對比度，再計算水平及垂直細節變異量與色差變異平均量，因此可增加中低亮度影像細節方向判斷。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10．．．影像處理器
12．．．影像感測器
102．．．影像反差調整裝置
104．．．細節計算單元
106．．．色差計算單元
108．．．插補判斷單元
30、60．．．流程
300～330、600～608．．．步驟
LI．．．輝度資訊
CLI．．．反差輝度資訊
HDV、HDV1 ～HDV3 ．．．水平細節變異量
VDV、VDV1 ～VDV3 ．．．垂直細節變異量
CHavg水平色差變異平均量
CVavg．．．垂直色差變異平均量
R、G、B．．．像素
F(x)．．．函數
R11～R55、G12～G54、B22～B44．．．像素
第1A圖為本發明實施例一影像處理器之示意圖。
第1B圖為第1A圖中像素矩陣為5*5時，一輝度資訊之示意圖。
第2圖為第1圖中一影像反差調整裝置用來進行影像反差調整之一函數之示意圖。
第3A圖及第3B圖為本發明實施例一色彩資訊插補流程之示意圖。
第4圖為第1圖中一細節計算單元計算水平細節變異量及垂直細節變異量之示意圖。
第5圖為第1圖中一色差計算單元計算水平色差變異平均量及垂直色差變異平均量之示意圖。
第6圖為本發明實施例另一色彩資訊插補流程之示意圖。
10．．．影像處理器
12．．．影像感測器
102．．．影像反差調整裝置
104．．．細節計算單元
106．．．色差計算單元
108．．．插補判斷單元
LI．．．輝度資訊
HDV、HDV1 ～HDV3 ．．．水平細節變異量
VDV、VDV1 ～VDV3 ．．．垂直細節變異量
CHavg．．．水平色差變異平均量
CVavg．．．垂直色差變異平均量
CLI．．．反差輝度資訊

Claims (8)

  1. 一種色彩資訊插補(Interpolation)方法，包含有：接收對應於一像素矩陣之一輝度資訊，該輝度資訊以一貝爾圖(Bayer pattern)排列，該輝度資訊紀錄該像素矩陣中各像素之一特定色彩資訊，該特定色彩資訊係一紅色色彩資訊、一綠色色彩資訊及一藍色色彩資訊當中一者；根據該輝度資訊，計算一像素之一水平細節變異量及一垂直細節變異量；以及根據該水平細節變異量及該垂直細節變異量，以一水平色彩資訊估計值、一垂直色彩資訊估計值及一無方向色彩資訊估計值當中一者對該輝度資訊中該像素進行插補，以得到該像素中除該特定色彩資訊外之色彩資訊；其中，根據該輝度資訊，計算該像素之該水平細節變異量及該垂直細節變異量之步驟包含有：根據該輝度資訊中該像素及其周圍所有像素，計算該像素之一第一水平細節變異量及一第一垂直細節變異量；以及於該第一水平細節變異量減去該第一垂直細節變異量或第一垂直細節變異量減去該第一水平細節變異量皆小於一第一細節閥值時，根據該輝度資訊中該像素及其周圍與欲插補色彩資訊具有相同色彩資訊之像素，計算該像素之一第二水平細節變異量及一第二垂直細節變異量。
  2. 如請求項1所述之色彩資訊插補方法，其中根據該水平細節變異量及該垂直細節變異量，以該水平色彩資訊估計值、該垂直色彩資訊估計值及該無方向色彩資訊估計值當中一者對該輝度資訊中該像素進行插補之步驟包含有：於該水平細節變異量減去該垂直細節變異量或該垂直細節變異量減去該水平細節變異量大於一細節閥值(threshold)時，分別以該垂直色彩資訊估計值或該水平色彩資訊估計值對該輝度資訊中該像素進行插補。
  3. 如請求項1所述之色彩資訊插補方法，其中根據該水平細節變異量及該垂直細節變異量，以該水平色彩資訊估計值、該垂直色彩資訊估計值及該無方向色彩資訊估計值當中一者對該輝度資訊中該像素進行插補之步驟包含有：於該水平細節變異量減去該垂直細節變異量或該垂直細節變異量減去該水平細節變異量皆小於一細節閥值時，根據該輝度資訊中該像素及其垂直與水平方向像素，計算該像素之一水平色差變異平均量及一垂直色差變異平均量；以及根據該水平色差變異平均量及該垂直色差變異平均量，以該水平色彩資訊估計值、該垂直色彩資訊估計值及該無方向色彩資訊估計值當中一者對該輝度資訊中該像素進行插補，以得到該像素中除該特定色彩資訊外之色彩資訊。
  4. 如請求項1所述之色彩資訊插補方法，其中根據該輝度資訊，計算該像素之該水平細節變異量及該垂直細節變異量之步驟包含有：對該輝度資訊進行影像反差調整，以產生一反差輝度資訊；以及根據該反差輝度資訊，計算該像素之該水平細節變異量及該垂直細節變異量。
  5. 如請求項1所述之色彩資訊插補方法，其中根據該水平細節變異量及該垂直細節變異量，以該水平色彩資訊估計值、該垂直色彩資訊估計值及該無方向色彩資訊估計值當中一者對該輝度資訊中該像素進行插補之步驟包含有：於該第一水平細節變異量減去該第一垂直細節變異量或該第一垂直細節變異量減去該第一水平細節變異量大於一第一細節閥值時，分別以該垂直色彩資訊估計值或該水平色彩資訊估計值對該輝度資訊中該像素進行插補。
  6. 如請求項1所述之色彩資訊插補方法，其中根據該水平細節變異量及該垂直細節變異量，以該水平色彩資訊估計值、該垂直色彩資訊估計值及該無方向色彩資訊估計值當中一者對該輝度資訊中該像素進行插補之步驟包含有：於該第二水平細節變異量減去該第二垂直細節變異量或該第二垂直細節變異量減去該第二水平細節變異量大於一第二細 節閥值時，分別以該垂直色彩資訊估計值或該水平色彩資訊估計值對該輝度資訊中該像素進行插補。
  7. 如請求項1所述之色彩資訊插補方法，其中根據該輝度資訊，計算該像素之該水平細節變異量及該垂直細節變異量之步驟包含有：於該第二水平細節變異量減去該第二垂直細節變異量或該第二垂直細節變異量減去該第二水平細節變異量皆小於一第一細節閥值時，根據該輝度資訊中該像素及其周圍與欲插補色彩資訊具有相異色彩資訊之像素，計算該像素之一第三水平細節變異量及一第三垂直細節變異量。
  8. 如請求項1所述之色彩資訊插補方法，其中該水平色彩資訊估計值係該輝度資訊中該像素之水平方向像素中與欲插補色彩資訊具有相同色彩資訊之像素之一水平平均值及具有相異色彩資訊之像素之一水平變異量之和，該垂直色彩資訊估計值係該輝度資訊中該像素之垂直方向像素中與欲插補色彩資訊具有相同色彩資訊之像素之一垂直平均值及具有相異色彩資訊之像素之一垂直變異量之和，而該無方向色彩資訊估計值係該輝度資訊中該像素之水平方向及垂直方向像素中與欲插補色彩資訊具有相同色彩資訊之像素之一無方向平均值。
TW100130016A 2011-08-22 2011-08-22 色彩資訊插補方法 TWI464704B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100130016A TWI464704B (zh) 2011-08-22 2011-08-22 色彩資訊插補方法
US13/283,616 US8665287B2 (en) 2011-08-22 2011-10-28 Color information interpolation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100130016A TWI464704B (zh) 2011-08-22 2011-08-22 色彩資訊插補方法

Publications (2)

Publication Number Publication Date
TW201310388A TW201310388A (zh) 2013-03-01
TWI464704B true TWI464704B (zh) 2014-12-11

Family

ID=47743011

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100130016A TWI464704B (zh) 2011-08-22 2011-08-22 色彩資訊插補方法

Country Status (2)

Country Link
US (1) US8665287B2 (zh)
TW (1) TWI464704B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346770A (zh) 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补系统
CN105184826B (zh) * 2015-05-13 2018-04-10 京东方科技集团股份有限公司 一种判别图像亮度背景的方法、装置和显示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US20050200733A1 (en) * 2004-03-15 2005-09-15 Microsoft Corporation System and method for adaptive interpolation of images from patterned sensors

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101389562B1 (ko) * 2007-11-15 2014-04-25 삼성전자주식회사 이미지 처리 장치 및 방법
US8422771B2 (en) * 2008-10-24 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for demosaicing
KR101580168B1 (ko) * 2008-12-30 2015-12-24 주식회사 동부하이텍 컬러 보간 장치
KR101335127B1 (ko) * 2009-08-10 2013-12-03 삼성전자주식회사 에지 적응적 보간 및 노이즈 필터링 방법, 컴퓨터로 판독 가능한 기록매체 및 휴대 단말

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5629734A (en) * 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US20050200733A1 (en) * 2004-03-15 2005-09-15 Microsoft Corporation System and method for adaptive interpolation of images from patterned sensors

Also Published As

Publication number Publication date
TW201310388A (zh) 2013-03-01
US8665287B2 (en) 2014-03-04
US20130050235A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
KR101143147B1 (ko) 컬러 이미지의 디모자이크를 위한 고품질 그레디언트보정된 선형 보간법
US8571312B2 (en) Image interpolation method and apparatus using pattern characteristics of color filter array
JP4664810B2 (ja) カラーフィルタアレイのイメージデータを補間する方法及び装置
JP5529048B2 (ja) 補間システムおよび方法
TWI516132B (zh) An image processing apparatus, an image processing method, and a program
JP4946581B2 (ja) 画像処理装置
EP1986443B1 (en) Method for realizing color interpolation of value correction of exceptional points
US20160112659A1 (en) Image processing apparatus and image processing method, and program
US20130077862A1 (en) Image processing apparatus, image processing method and program
JP2012075138A (ja) 適応型色彩補間
CN108734668B (zh) 图像色彩恢复方法、装置、计算机可读存储介质及终端
JP2015510372A (ja) 画像処理のためのシステム及び方法
JP2010016814A (ja) 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
JP4894594B2 (ja) 画像処理装置
TWI464704B (zh) 色彩資訊插補方法
TW201431382A (zh) 影像處理裝置與影像處理方法
TW201445506A (zh) 決定解馬賽克內插方向的方法與裝置以及非暫時性機器可讀取儲存媒介
JP2009194721A (ja) 画像信号処理装置、画像信号処理方法、及び撮像装置
Hua et al. A color interpolation algorithm for Bayer pattern digital cameras based on green components and color difference space
TWI493979B (zh) 去馬賽克方法、非暫時性機器可讀取儲存媒體以及影像訊號處理器
TWI302292B (zh)
JP2013232829A (ja) 画像処理装置、画像処理方法およびプログラム
JP5250315B2 (ja) 信号処理装置、撮像装置、及び同時化処理プログラム
CN102957916B (zh) 色彩信息插补方法
JP2012253531A (ja) 撮像装置、撮像方法および画像処理装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees