TWI337499B - Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms - Google Patents

Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms Download PDF

Info

Publication number
TWI337499B
TWI337499B TW095149970A TW95149970A TWI337499B TW I337499 B TWI337499 B TW I337499B TW 095149970 A TW095149970 A TW 095149970A TW 95149970 A TW95149970 A TW 95149970A TW I337499 B TWI337499 B TW I337499B
Authority
TW
Taiwan
Prior art keywords
pixel
color
edge
value
values
Prior art date
Application number
TW095149970A
Other languages
English (en)
Other versions
TW200735652A (en
Inventor
Igor Subbotin
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of TW200735652A publication Critical patent/TW200735652A/zh
Application granted granted Critical
Publication of TWI337499B publication Critical patent/TWI337499B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

1337499 九、發明說明： ， 【發明所屬之技、術領域】 本發明係關於用於由影像感測器俘獲之影像的去馬赛克 (demosacing) ° 【先前技術】 影像感測器’亦稱為成像器，開發於二十世紀6〇年代晚 期及70年代早期，主要用於電視影像擷取傳輸及顯示。 成像器吸收特定波長之入射輻射（例如，光子、χ射線戍類 似物），並產生對應於所吸收之輻射的電信號。存在若干 不同類型之基於半導體的成像器，包括電荷耦合設備 (CCD)、光電二極體陣列、電荷注入設備（CID)、混合式焦 平面陣列及CMOS成像器。 此等成像器通常由含有光感測器的像素陣列組成，其中 每一像素均在影像聚焦於該陣列上時產生一對應於照射在 該元件上的光的強度的信號。接著可儲存此等信號（例如） 以將對應影像顯示於監視器上或以其它方式用於提供關於 光學影像的資訊。光感測器通常為光電晶體、光導體或光 電二極體。因此，由每一像素產生之信號的量值與照射在 光感測器上之光的量成比例。 為了允許光感測器俘獲彩色影像，光感測器必須能夠 (例如，在使用拜耳圖案時）單獨地偵測紅色（R)光子、綠色 (G)光子及藍色（B)光子。因此，每一像素必須僅對一種色 彩或光譜帶敏感。為此，通常將彩色濾光片陣列（CFA)置 放於像素之前，以使得每一像素均量測其相關濾光片之色 117470.doc 彩的光。m 因此’彩色.影像感測器之每一像素均根據特定圖 案（例如拜耳圖案j而以紅、綠或藍濾光片覆蓋。
JtJ. . ;大多數低成本CMOS或CCD影像感測器而言，彩色 濾光片與感測器整合。彩色濾光片圖案之常見實例為美國 專利第3,971，〇65號（其揭示内容以引用的方式併入本文中） 中所說明之平鋪彩色濾光片陣列，且通常被稱為"拜耳圖 案"彩色濾光片。 如圖1中所示，拜耳圖案1〇〇為反覆的紅、綠及藍 (B)渡光片之陣列，其導致在濾光片下之像素分別為紅、 藍及綠像素。在拜耳圖案1〇〇中，紅、綠及藍像素經配置 以使得交替的紅與綠像素位於陣列之第一列105上，且交 替的藍與綠像素位於下一列110上。此等交替的列在陣列 中反覆出現。因此’當影像感測器被逐線讀出時，第一線 的像素序列為GRGRGR等，且接著交替的線序列為 BGBGBG等。此輸出被稱為順序rgb或sRGB。 在拜耳圖案100中，根據人類視覺系統之敏銳度而調整 所有三個原色之取樣速率。意即，以較大數目之感測器來 感測人類眼睛對其最敏感且易做出反應的綠色，而以較少 數目之感測器來感測人類視覺對其具有較小解析度之藍色 及紅色。此為在拜耳圖案中，綠色敏感元件每隔一個陣列 位置出現一次，而紅色敏感元件及藍色敏感元件每四個陣 列位置出現一次的原因。 如圖2中所示，在固態影像感測器中，拜耳圖案化之濾 光片可形成於像素感測器205之陣列200上方。具體而言， 117470.doc 1337499 像素感測器205之陣列200形成於半導體基板210上。每一 像素感測器2 0 5均具有感光元件2 1 5，其可為任何光子至電 荷轉換裝置，例如光閘、光導體或光電二極體。彩色濾光 片陣列220可形成於陣列200中的上部金屬層225上方，以 各種金屬化及絕緣層，例如含有絕緣體金屬化圖案之層間 介電層（ILD)235及鈍化層230而與光感測器215隔開。金屬 層225可為不透明的且用於遮蔽像素的不感光之區域。凸 透鏡240形成於彩色遽光片220上方。在操作中，入射光由 透鏡240聚焦，穿過濾光片220，到達感光元件215。 對於拜耳圖案渡光片而言，紅·、綠及藍色之值係每一像 素所必需的。由於每一像素感測器單元僅感測一種色彩， 因此剩餘兩種色彩之值由自感測缺失色彩之相鄰像素的内 插來計算。此彩色平面内插已知為去馬赛克。舉例而言， 參看圖1，像素感測器單元11 5與綠濾光片相關，綠瀘光片 致使像素感測器單元115感測綠光，並產生僅代表綠光之 信號。為了獲得用於像素感測器單元115的紅和藍光的量 的近似，可分別自相鄰的紅像素感測器單元12〇及125及相 鄰的藍像素感測器單元130及135内插一值 若未正確地執 行去馬赛克’則所得影像可遭受夾帶有高度可見彩色假像 之危害。 _ 在 IEEE Transactions on image Processing，2002年 9 月第 9號’第 II卷中發表且由 Bahadir κ. Gunturk、Yucel
Altimbasak及 Russell M. Mersereau所著的題為"c〇1〇r plane /
Interpolation Using Alternating Projecti〇ns”之文章（其揭示 117470.doc 1337499 内=弓1用的方式併入本文中）比較了幾種去馬赛克技 術。如所述，此等去馬赛克技術中的每 的優點和缺點。 π meg 如所述，對於每一像素而言， ^ 用於第一色彩之值係基於 被感測之色彩（即’由像素感 α判器205感測之光），且剩餘 之兩種色彩之值係基於來自對 # & 曰耵應的相鄰像素之感測值的内 插值。感測值中之每一者均代袅 '表像素之中心處的色彩值。 内插色彩值中之每一者同樣均代 J κ表像素之中心處的值。内 插信號之品f时地比原始感測之信號的品質低。舉例而 ^某像素之中心、處的内插紅色值將與同—像素之中心處 的感測之紅色值不同。 通常僅重組缺失色彩分量之去馬赛克方法可導致假像， 例如所謂的拉鍵效應及隨機色點。另夕卜在㈣㈣㈣ 波與模糊尖銳邊緣之間存在折衷。當⑽位於邊緣之像素 時’使用周圍像素值而内插像素趨向於使影像模糊。此 外，此亦導致邊緣處之影像之清晰度減小。此主要歸因於 跨越包含於影像内的邊緣的像素的平均。去馬赛克方法使 像素平均’因此邊緣處之像素不具有邊緣像素所需的清晰 度。因此’期望並需要彩色平面内插，其提供在計算内插 值時㈣並解決影像邊緣的改良之去馬赛克技術。 【發明内容】 本發明提供-種用於彩色平面内插之方法及裝置，其視 邊緣方向及像素是否位於影像内的邊緣處而定不同地内插 像素之色彩值。在呈現於彩色圖案中之色彩之每一者的内 H7470.doc 1337499 插期間，對邊緣偵測·之使用有助於減少在已知去馬賽克技 術中大量存在的$些損失影像清晰度之缺點。 【實施方式】 在以下詳細描述中，參考形成本發明之一部分的隨附圖 式，且其中以說明的方式來展示其中可實踐本發明之特定 實施例。充分詳細地描述此等實施例以使熟習此項技術者 能夠實踐本發明，且應瞭解，可利用其它實施例，且可在 不脫離本發明之精神及範疇之前提下，作出結構、邏輯及 電氣變化。 術語"像素，，指代含有用於將光輻射轉換為電信號之光感 測器及電晶體的圖像元件個體單元。出於說明之目的，在 圖式及本文的描述中說明代表性像素，且通常在成像器中 的所有像素之製造將以類似的方式同時進行。因此，不應 以限制性意義來考慮以下的詳細描述，且本發明之範疇由 附加之申請專利範圍界定。 應瞭解，出於僅描述本發明之一個實例之唯一目的而參 考根據本發明之CMOS成像器。應容易瞭解，本發明並非 限於CMOS成像器，本發明亦應用於在像素上方利用彩色 濾光片的CCD及其它成像器。另外，使用標準三色拜耳圖 案來描述本發明》應瞭解，本發明並非限於標準三色拜耳 圖案，本發明可應用於使用不同色彩或使用多於或少於三 種色彩的色空間。 圖3A，3B為根據本發明之實施例的成像器的部分像素 陣列300的自上向下說明。具體而言，圖3A，明本發 117470.doc 1337499 心像素的代表性像素'45始終用作被處理之例示性像素。接 著在步驟703中’界定圍繞選定像素之3 x3核心（例如圖3 A 及 3B 中的像素 34、35、36、44、45、46、54、55及 56)。 在步驟705中’判定像素45是否為經感測之綠像素。若像 素45為綠色，則在步驟707中，使用來自3x3核心内之像素 之實際感測之像素值，根據下文之等式組（1)來計算3x3核 心之綠色值。圖4說明針對3 X 3核心内之像素的計算出之綠 色值 gll、gl2、gl3 ' g21、g22、g23、g31、g32、g33 在 3 x 3核心内的位置。使用圖3 a中所說明之綠色像素25、 34、36、45、47、54、56及65之實際值來計算3x3核心。 使用以下等式來計算3x3核心： gll = P34； g\2 = MEDIAN (P25)PM,P45>P26) gl3 = P36； gll = MEDIAN (P56,P4,As As) (1) g22 = P45;
g23 =： MEDIAN(PS6,P65,P45lP5J ^31 = Ρ54; g32 = MEDIAN(P42，PUJ\S,P5J·，及 茗33 =户56, 其中"P"為像素值，且”xy"為圖3A-B中所示的像素編號。 如圖3A-B中所示，"X”描述列，且"y"描述行。若像素45為 紅或藍（如圖3B中所示），則在步驟709中，根據以下等式 組（2) ’ 使用綠色像素24、26、33、35、37、44、46、53、 55、57、64及65之值來計算3χ3核心。拯著使用以下等式 117470.doc -11- 1337499 來計算3x3綠色核心： gll = MEDIAN(P^P2A,P,5>Pu)；] gl2 ==尸35，. gl3 = MEDIAN(P26,Pv,P,5,Pa6)； g21 =尸44; g22 = MEDIAN(P^P^PssAJ；\ (2) ^23 = P56; g^ = MEDIAN(PS3>P44>P55,PM); g32 =尸55;及 g33 = mDIAN(‘P51，P55，P(j.
在此例示性實施例中，使用周園綠色像素之實際感測值 的中值内插來内插相同的核心值。在此例示性實施例中， 3 x3内插核心為綠色，因為如先前所提及，在拜耳CFA 中’綠色像素在影像中最普遍且有影響。圖4中所說明之 3x3核心中之像素的值gll、gl2、gl3、g21、g22、g23、
g31、g32、g33為圖3A及3B中所說明的3x3核心中之像素 的綠色值的計算結果。在邊緣偵測期間且在修正項之計算 中，將使用綠色核心。熟習此項技術者將瞭解，其它像素 色彩可用於計算3 x3内插核心或核心可具有不同的尺寸。、 接者在圖7中所說明的步驟7Π中，將經計算之3χ3綠色 核心用於判定邊緣方向。在步驟711中計算四個邊緣方向 =二Γ所說明之虛線2、5、8及11為針對其而完成邊 ，· °算的四個方向。剩餘的虛線僅為例示丨生# 虛線之總和： ）T冲异母一 117470.doc 12- 1337499 右判定該方向處於垂，直方向，則使用等式g22=(gl2+g32)/2 來重新計算g22之像素值。然而，若在步驟715中，邊緣方 向並非為垂直，則在步驟7丨9中，g22之值保持不變。若在 v驟71 3中，判定像素為綠色，則g22之值保持不變。 接著’為了判定對於所處理之像素45而言是否存在邊 緣，可對於用於計算内插值之所有像素，計算相同色彩像 素之對之間的差值。在步驟723中，若處理之像素45為綠 色’則在步驟725中根據下文之等式組（5)來計算差值： DHP54-P36|; ’ D2=|P45-P47|； dHp35-P57|; > DHP44-P66|; > (5) d5=|p55_p37|;及 DHP64-P46|., 若在步驟723中判定處理之像素45並非為綠色，則在步 驟727中根據下文之等式組（6)來計算差值：
D^\pu~Pi6\; 户《-户341，· Pss~U m3|; /u.及 户45 -尸《I. A = (6) D4 = D5 = D6 = D7 = 在步驟729中，使用等式（7)來判定所計算之差值中之最 大差值是否大於預定邊緣臨限值： MAX (Dp.. D7>)>邊緣臨限值。 广 117470.doc •14· 1337499 若最大差值小於臨限值，則識別為不存在邊緣（步驟 731)，然而’若最大差值大於臨限值’則識別為存在邊緣 (步驟733)。可將邊緣臨限值設定為應用特定的或基於使用 者之偏好而設定a
若在步驟729甲未偵測出邊緣，則再次判定所處理之像 素45是否為綠色。若所處理之像素45為綠色，則在步驟 739中，使用第八組（8)等式來計算像_之内插紅色、綠 色及藍色值。第八組（8)内插等式為：
B 45—、r35 + F55+p37 + P57)/4 45
G 45 (P44 + P46 + P66 + P64)/4;及 :(P45+P47+P54+P36)/4， (8)
其中R45、G45及b45為所處理之像素45的紅、綠及藍色内插 :。注意’儘管像素45為綠色像素，但使用&之實際感測 值以及圍繞P45之其它綠色像素之實際值來内插所述值。 若在步驟73”判定所處理之像素45並非為綠色，則在 步驟741巾’散所處理之像素是Η藍色。若所處理 Si:為藍色’則在步驟Μ令使用第九組⑼等式來計 算像素45之紅、綠及藍色值。第九組内插等式為： R45= (P56+P54.+ P36+P34)/4; (9) g45=(p44+p35+p46+P55)/4， 4 J 其中R45、g45及b45為像素45 綠及藍色内插值。若在 步驟74 1中，所處理之像素 A 〇 .. 、並非為藍色，則像素45為紅色’且在步驟749 t #用筮丄，，使用第十組（1〇)等式來計算像素45之 紅、綠及藍色值。笛丰知七1 丨丹1豕果今〕 值第十組内插等式為： II7470.doc • I5· 1337499 其中R45、G45及B45為像素45之紅、綠及藍色内插值，且使 用.專式 DELTAred=g22-(gll+gl3+g31+g33)/4 來計算 DELTAred之值。若在步驟745中，所處理之龠素μ並非為 藍色，則在步驟753中，使用第十三組（13)等式來計算紅色 所處理像素45之紅、綠及藍色值。第十三組内、插等式為·· (13) B45 = (PS6 + P54 + P36 + P34)/4 + DELTAblue;l R45 = P45;及 G45 = g22，
其中R45、Gc及B45為像素45之紅、綠及藍色内插值，且使 用等式 DELTAbIue=g22-(gll+gi3+g31+g33)/4 來計算 DELTAblue之值。紅及藍色像素之DELTA修正值.係基於邊緣 方向及綠色3 X 3内插核心。
如所述，本發明提供一種用於彩色平面内插之新穎系統 及方法，其中不僅基於所獲得之感測值且基於所處理之像 素是否處於影像邊緣來計算綠、紅及藍色之内插值。根據 本發明，藉由内插所述色彩中之每一者的值來去除感測值 與内插值之間的不平衡。另外，利用邊緣偵測及修正項來 使影像邊緣之模糊最小化。 圖5說明具有像素陣列505之CM〇s成像器積體電路 (IC)500的方塊圖，像素陣列5〇5含有複數個按列及行配置 的像素，包括區域510，該區域510具有（例如）按拜耳圖案 配置的兩個綠色像素（G)、一個藍色像素（B)及一個紅色像 素（R)。陣列505中每一列之像素均由列選擇線515同時開 啟，且每一行之像素由各別的行選擇線52〇選擇性地輸 117470.doc -17- 1337499 出。 列線5 1 5由列驅動器525響應於列位址解碼器530而選擇 性地啟動。行選擇線520由行選擇器535響應於行位址解碼 器540而選擇性地啟動。像素陣列5〇5由計時與控制電路 545操作’該計時與控制電路545控制位址解碼器53〇， 540 ’以選擇適當的列線及行線以進行像素信號讀出。 通常包括像素重設信號（vrst)及像素影像信號（Vsig)之像 素行信號由與行選擇器535相關的取樣與保持電路55〇讀 取。對於每一像素而言，由差分放大器555產生差分信號 (vrst _ vsig)，該差分信號（Vrst _ Vsig)經放大並由類比數位 轉換器57〇(ADC)數位化。類比數位轉換器5?〇向影像處理 器575供應數位化像素信號，影像處理器575執行本發明之 處理方法700。或者，影像處理器575可以如自類比數位轉 換器570所接收之原始格式來輸出影像檔案，可根據本發 明由不同的處理器來接收並處理所述影像檔案。 在圖6中大體上在600處說明了包括具有像素陣列之成像 器設備605的典型處理器系統，在該像素陣列中根據本發 明而内插像素信號。成像器設備605自由像素陣列供應之 h號產生輸出影像。處理器系統例示了接收CM〇s成像器 設備之輸出的系統。不具有限制性，此類系統可包括電腦 系統、相機系統、掃描器、機器視覺系統、醫學感測器系 統（例如藥丸感測器）及自動診斷系統及其它成像系統，其 全部可利用本發明。或者，若成像器設備6〇5中之影像處 理器575提供經處理之影像信號，則本發明可在處理系統 I17470.doc -18- 1337499 600中執行。
舉例而言，處理器系統600(例如電腦系統）通常包含中央 處理單元（CPU)610(例如微處理器），其經由匯流排62〇與 輸入/輸出（I/O)設備615通信。成像器設備605亦經由匯流 排620或其它通信鏈路與系統通信。基於處理器之系統6〇〇 亦包括隨機存取記憶體（RAM)625，且可包括抽取式記憶 體630(例如快閃記憶體），其亦經由匯流排620與CPU 610 通信。成像設備600可與處理器（例如Cpu、數位信號處理 器或微處理器）在具有或不具有記.憶體碱存器之情況下組 合於單個積體電路上或可與處理器在不同的晶片上。 本發明並非限於上文所述之實施例。舉例而言，實施處 理方法之程式可儲存於載體媒體上，所述載體媒體可包括 RAM、軟磁碟、資料傳輸、壓縮光碟等，且接著由接收並 根據本發明處理影像檔案之相關處理器執行，或可在電路 或其組合中實施處理方法。另夕卜，轉明可建構為用於現
存軟體應用程式的插件或其可獨立使用。本發明並非限於 本文所指定之㈣媒體’ 可使用此項技術中已知的任何 載體媒體來建構本發明。 應瞭解’内插像素之綠、紅及藍色之值的其它方法亦在 本發月之範_内，且本發明並非限於上文所述之等式或修 正項的使用。具體而言例如）可在計算内插值之過程中 替代本文所4述之彼等像素或除本文所論述之彼等像素之 吏用八匕周圍像素。由此，應僅將上文之描述及圖式視 為說月實現本發明之特徵及優點的例示性實施例。伴隨以 117470.doc 慕lyy 範圍之精神及料發生的對本發明之任何修正 =破視為本發明之-部分。_，不應將本發明視為受 月’j面的描述及圖式限击丨丨， 本發明僅党附加之申請專利範圍 之範疇限制。 【圖式簡單說明】 圖1為習知彩色濾光片陣列之自上向下說明； 圖2為具有彩色濾光片陣列之像素陣列之一部分的橫截 面圖； 圖3A-B為本發明之例示性内插方案中所使用的5χ5像素 核心的例示性俯視圖； 圖4為根據本發明之例示性實施例而使用之3 X 3核心的方 塊圖； 圖5為根據本發明之例示性實施例而建構之具有像素陣 列之CMOS成像器積體電路（1C)的方塊圖； 圖6為根據本發明之具有CMOS成像器之處理器系統的說 明；且 圖7為說明本發明之一個 【主要元件符號說明】 1-12 23-67 100 實施例的過程之流程圖。 方向線 像素 拜耳圖案 105 第一列 110 下一列 Π5 像素感測器單元 117470.doc -20- 1201337499
125 130 135 200 205 210 215 220 225 230 235 240 300 500 505 510 515 520 525 530 535 540 545 紅色像素感測器單元 紅色像素感測器單元 藍色像素感測器單元 藍色像素感測器單元 陣列 像素感測器 半導體基板 感光元件 彩色濾光片陣列 金屬層 純化層 層間介電層 凸透鏡 部分像素陣列 積體電路 像素陣列 區域 列選擇線 行選擇線 列驅動器 列位址解碼器 行選擇器 行位址解碼器 計時與控制電路 117470.doc •21 - 5501337499
555 570 575 600 605 610 615 620 625 630 700 gl1 、 gl2 、 gl3 、 g21 、 g22 、 g23 、 g31 、 g32 、 g33 取樣與保持電路 差分放大Is 類比數位轉換器 影像處理器 處理系統 成像器設備 中央處理單元 輸入/輸出設備 匯流排 隨機存取記憶體 抽取式記憶體 處理方法 綠色值
117470.doc -22 -

Claims (1)

1337499 第095149970號專利申請案 p--- •中文申請專利範圍替換本("年7月） 七年^月> 日修正本 *十、申請專利範圍： - j 1. 一種由使用由一彩色成像私山 巴取彳豕态輸出之像素值之一處理器所 實行之用於影像像素之彩色单品—上 乂巴十面内插的方法，該方法包 含以下步驟： 選擇一像素以供處理； 形成與該選擇之像素相關之相鄰像素之一核心； 針對該核心中之所有該等像素計算一彩色圖案中之一 個色彩之像素值；判定至少 心 ^一個邊緣方向值，該等三個 邊緣方向值分別表現一水平邊 冬+ n > > 丁運緣方向、一垂直邊緣方向 及一對角線邊緣方向； 使用該一個色彩之該辇呌瞀+ & 等。十异之核心像素值及基於該等 邊緣方向值來判定該選擇之像素是否位於—影像内之一 邊，處，且駭此邊緣之方向，其巾該邊緣之該方向被 判定為具有該最大絕對值之該邊緣方向值；基於該已判 定邊緣方向而重新計算該核_至少_個像素值，其中 • 該重新計算該至少一像素值僅於該邊緣方向被判定為水 平或垂直時執行；及 上針對該彩色圖案中之每―色彩，基於該等相鄰像素、 该選擇之像素是否位於該邊緣及該邊緣之方向產生該選 二象素的值，其中，當該選擇之像素被判定為位於 该邊緣處，該等產生之值之至少—者基於至少—修正項 被產生’該至少一修正項基於該邊緣之該方向及該等相 鄰像素之像素值被計算。 2.如凊求項1之方法，其中該彩色圖案為一拜耳圖案。 II7470-990730.doc 1337499 3 ·如請求項1之方法，其中該一個色彩為綠色。 4·如請求項1之方法，其中該判定該選擇之像素是否位於 一影像内之一邊緣處包含： 計算同一色彩之不同對像素之間的差值；及 比較最大差值與一預定臨限值。 5.如請求項4之方法，其中該等像素對包括該選擇之像 素。 6· —種包括影像像素感測器之一感測陣列的彩色成像設 備，該設備包含： 一第一複數個影像像素感測器，其用於產生一第一色 彩之感測值； 一第二複數個影像像素感測器，其用於產生一第_色 彩之感測值； 一第三複數個影像像素感測器，其用於產生一第三色 彩之感測值； #構件，其用於使用該第一色彩之該等感測值來 定一像素核心中之複數個影像像素之該第一色彩之— 一組像素值，該複數個影像像素包括一選擇之像素及 鄰像素；針對該選擇之像素’使用該第一組像素值判 至少二個邊緣方向i ’該等三個邊緣方向值分別表現 水平邊緣方向、一垂直邊緣方向及—對角線邊緣方向 基於料邊緣方向值來判定該選擇之像素之—邊緣 向’判疋-邊緣是否用於表現該選擇之像素，及基於 於該第—色彩之該第-組像素值、相鄰像素及該邊緣| 117470-990730.doc 像計算用於該選擇乏 之…* 素之該等第-、第二及第三色彩 ,^ ^ 邊緣被表示及該選擇之像素係來 自S亥第二或第三複數個 〜像像素感測器時，用於該等第 二及第三色彩之至少—去 者之该計算之内插值基於至少一 修正項被計算’該至少—体TS #人 該邊緣方向被計算；及 G正項基於該第一組像素值及 金立沒从丄厂 、I . · 从 用於使用該第一、該第-β-»·*妓一 A X弟—及έ亥弟三色彩之内插值來驾 立一代表性影像之構件。 如s耷求項6之彩色成傻却·供· +J., 双傢°又備，其中在計算該等内插仓 前，基於該邊緣方向而重新計算該像素核心之至少—充 值。 8. 如請求項6之彩色成像設備，其中該像素核心為一3χ3像 素核心。 9. 如請求項6之彩色成像設備，其中如下計算該等邊緣方 向： DIR h 〇 r i ζ 〇 n t a 厂 m a X (j S1 - S 2 j，j S 2 - S 3 丨）； DIRverticai=max(|S4-S5|, |S5-S6|)； DIRdiag0naii=max(|S7-S8|，|S8-S9|);及 DIRdiag〇nai2 = max(|S 1 0-S 111, |S11-S12|), 其中使用該核心如下計算SI、S2、S3、S4、S5、S6 S7 、 S8 、 S9 、 S10 、 Sll及S12 : Sl=gll+g12+gl3 S2=g21+g22+g23 S3=g31+g32+g33 ; 117470-990730.doc 1337499 S4=gl1+g2l+g31 » S5=gl2+g22+g32 ； S6=gl3+g23+g33 ; S7=g21+g11+g12 ; S8=gl3+g22+g31 ; S9=g23+g32+g33 ； S10=g21+g31+g32 ; Sll=gll+g22+g33 ;及 S12=gl2 + gl3+g23， 其中gll、gl2及gl3為該核心之第一列的像素值，g21、 g22及g23為該核心之第二列的像素值，且g3i、g32及 g33為該核心之第三列的像素值，且其中該邊緣方向為 具有最大值的方向。 10.如請求項6之彩色成像設備，其中藉由計算相鄰像素之 差值並比較一最大差值與一邊緣臨限值來偵測該邊緣。 Π·如請求項10之彩色成像設備，其中當該選擇之像素為綠 色時，如下計算該等差值： |Px+i，y_i-Px.l y+1| ; D2 = |Px,y-Px,y + 2| ； d3 = |Px-丨，y-PX+丨’y + 2| ; d4 _|Px，y-l-Px + 2，y + l| ; d5 |Px+l，y_Px-l，y + 2|，及 d6 -|Px + 2，y-l-Px，y+l|， 其中 Px，y為該選擇之像素 且”x”關於相 對於該選擇之像 117470-990730.doc 丄337499 素Px，y的像素所在的列，且"y "關於相對於該選擇之像素 Px，y的像素所在的行。 12·如請求項10之彩色成像設備，其中當該選擇之像素為紅 色或藍色時，如下計算該等差值： D.=|Px+1>y-,-Px.1>y+1,； 〇2=|Ρχ + ΐ> ； D3 = |Px>y + .-Px；y.1| ； D4 = |Px + l,y-Px.l y| ； D5 = |Px,y-Px y.2| ; D6=|Px，y-Px,y+2| ;及 D7=|Px,y-px+2 y|， 其中卩”為該選擇之像素，且"x”關於相對於該選擇之像 素px’y的像素所在的列，且"y"關於相對於該選擇之像素 Px，y的像素所在的行。 13·如請求項8之彩色成像設備，其中當該像素為綠色時， 如下計算該3x3核心： g 1 1 —Ρχ- 1，y- 1， gl2=MEDIAN(Px.2 y，Ρχ1 y + Ρχ y，Ρχ，川)； g 1 3 -Ρχ-|，y+ 1， g21=MEDIAN(Px+丨，y+1，Ρχ y+2, Ρχ y，Ρχ·丨 y+。； g22=Pxy； g23=MEDIAN(Px+l y+l5 Px+2 y? px y, px+i,y.,); g3 l=Px+iiy.i ； g32=MEDIAN(Px，y.2, I Ρχ y，Px+I y 〇 ;及 U7470-990730.doc g33=Px +丨，y + 丨， 2中^為該選擇之像素，且,v，關於相對於該㈣之像 素k的像素所在的列，且”y"關於相對於該選擇之像素 Px，y的像素所在的行。 ,、 Μ.如請求項8之彩色成像設備，其中當該像素為紅色或藍 色時’如下計算該3x3核心： δ11=ΜΕΟΙΑΝ(Ρ,^2,Ρχ.2_ρ^ Pxy〇； §12=Px-l,y ； gl3=MEDIAN(Px.2>y+1,px.i y+2j p> g21=P, • 1，y，Px，y. 1 ); ,y-i g22=MEDIAN(Px,y.1, Px. p rx+l,y, rx,y+l ； » g23 = px-l, y+l > g31=MEDIAN(Px+1，y.2, P x’y-i，rx，y + 1，rx+2，y-i) g32=Px+1 y ;及 g33=MEDIAN(Px，y+丨，P 其中1\^為該選擇之像素 素Px,y的像素所在的列， px，y的像素所在的行。 x+l’y + 2，Px+l，y，Px + 2，y+i)， ，且"X"關於相對於該選擇之像 且”y”關於相對於該選擇之像素 15‘如請求項6之彩色成像設備’其中當該選擇之像素為綠 色且不存在邊緣時’如下計算該選擇之像素之該第—、 該第二及該第三色彩的該等計算出之内插值： RX. y-(Px-l, y + Px+1) y + P,.^ y + 2 + Px+1 y + 2)/4 ； Bx，y=(Px，y-1+Px，y+1+Px + 2y+i+Px+2yi)/n Gx,y=(Px,y+Px,y+2+Px+1)y_i+Px_i(y+i)/4> 117470-990730.doc 素P 4為6亥選擇之像素，且”x'，關於相對於該選擇之像 〇、x’y的像素所在的列，且γ關於相對於該選擇之像素 x’y的像素所在的行。 长項6之釤色成像設備其中當該選擇之像素為藍 不存在邊緣時’如下計算該選擇之像素之該第一、 人 及°亥第二色衫的該等計算出的内插值： y^(Px + 1, y+1+Px+,- yl+Ρχ-Ι, y^+Px.,, y.,)/4 ； y (Ρχ’ y+Px’ y.2+Px，y+2+Px+2, y)/4 ;及 該選擇之像素，且"x"關於相對於該選擇之像 P 在的列，且"y"關於相對於該選擇之像辛 Px，y的像素所在的行。 像素 17.如請求項6之彩色成像設備 色且不存在邊緣時，如下叶算二選擇之像素為紅 該第二及，货 下〜玄選擇之像素之該第—、 〜第三色彩的該等計算出之内插值： R =( X+l，y+，+Px+，，y'1+Px-,'y+,+Px-i)y-,)/4 ； ’ y Px’ y+Px’ y-2+Px，y+2+px+2 y)/4 ;及 二X’〜〜暴 ;pP=選擇之像素，且I於相對於該選擇之像 ，、x’y的像素所在的列， 之像 k的像素所在的行。Υ關⑸目對於該選擇之像素 18·如請求項6之彩色成像 色且一邊缘存^ ^ S該選擇之像素為_ 該第二=色二下計算該選擇之像素之該第-第二色衫的该等計算出的内插值： 117470-990730.doc Rx, y=(px-i, y+Ρχ + ι, y)/2+DELTAred ; Βχ，y=(px，y-i+Ρχ, y+i)/2+DELTAblue ;及 Gx，y=g22， 其中基於該等核心值及基於該邊緣方向來計算及修 正項 DELTAred 及 DELTAblue，且其中 p " T Fx，y為该選擇之像 素’且"X”關於相對於該選擇之像夸 千豕京Px，y的像素所在的 列’且V關於相對於該選擇之像夸 认你士 y 1豕京px，y的像素所在的 行。 19.如請求項6之彩色成像設 开丫田6玄選擇之像素為鉉 色且一邊緣存在時，如下計算該選擇之像素之該第一、 該第二及該第三色彩的該等計算出的内插值： %義y為,，爲，y+〜 Βχ，y=Px, y ;及 Gx，y=g22， 其中基於δ玄等核心值及基於兮j 正項臟ΤΑ 廿及基於5亥邊緣方向來計算g22及修 正員DELTAred，且其中p A ^ ^ ^為a亥選擇之像素，且"x”關於 相對於該選擇之像辛P 關於 素^的像素所在的列，且”y”關於相 對於6亥、擇之像素pxy的像素所在的行。 20:求=色成像設備，其中當該選擇之像素為紅 二=在時，如下計算該選擇之像素之該第―、 亥第三色彩的該等計算出的内插值： Βχ’ y-(Px + |，y + |+px+ +p ’ X-】’川+Pm丨)/4+DELTAred ; 〜，y—y，及 Gx，y=g22， JI7470-990730.doc -8- 21. ，中基於該等核，值及基於該邊緣方向來計算g22及 DELTAred，且其中 盔兮、s埋 、T Fx，y為6玄選擇之像素，”關於相對 於該選擇之像去P ^ ’、X’y的像素所在的列，且"y"關於相對於 該選擇之像素％的像素所在的行。 一種處理系統，其包含： 成像叹備，其包括-影像像素感測器陣列，該設備 包含： 第複數個影像像素感測器，其用於產生一第一色 彩之感測值； -第二複數個影像像素感測器，其用於產生一第二色 彩之感測值； 一第三複數個影像像素感測器，其用於產生一第三色 彩之感測值； 内插處理電路，其用於：使用該第—色彩之該等感測 值來判定-像素核心中之複數個影像像素之該第一色彩 之一第一組像素值，該複數個影像像素包括一選擇之像 素及相鄰像素，使用該第一組像素值判定至少三個邊緣 方向值，其中該等三個邊緣方向值分別表示—水平邊緣 方向、一垂直邊緣方向及一對角線邊緣方向判定一邊 緣是否用於表示該選擇之像素，基於該等邊緣方向值判 疋違選擇之像素之一邊緣方向，及基於該第一組像素 值、相鄰像素及該選擇之像之該邊緣方向計算用於兮選 擇之像素之該等第一、第二及第三色彩之内插值，其 中，當一邊緣用於表示及該選擇之像素及該選擇之像素 117470-990730.doc 1337499 係來自該第二或第三複數個 寻第一及第三色彩之至少一 少一修正項被計算，該至少 值及該邊緣方向被計算。 衫像像素感測器時，用於該 者之該計算之内插值基於至 一修正項基於該第一組像素 2 2 ·如清求項21之處理季缔，甘Α括a 置 ’、、，，八中基於該邊緣方向來重新計 异°亥像素核心之至少—個值。 種由，用由㊉色成像裝置之像素感測器之一感測陣 列所獲得之感測值之_影像處理器所實行之處理一數位 色衫信號之方法，該方法包含以下動作· 自該等像素感測器中之每—者獲得—感測值，該等像 素感測器對應於具有在—紅色、藍色及綠色光譜中之一 光谱中的波長的施加之光；及 基於邊緣偵測對該複數個像素感測器中之每一者内插 紅色值、一藍色值及一綠色值，其令該等紅色、綠色 及藍色之該内插值包含： 使用用於每一該等像素感測器之相鄰綠色像素感測器 之像素值計算内插值之一綠色核心； 使用内插值之該綠色核心判定用於每一該等像素感測 器之至少三個邊緣方向值，其中該等三個邊緣方向值分 別表示一水平邊緣方向、一垂直邊緣方向及—對角線邊 緣方向， 判定用於每一該等像素感測器之該邊緣方向做為具有 該最大絕對值之邊緣方向值，及 無論各別該像素感測器是否位於一邊緣處，基於相鄰 117470-990730.doc -10· 1337499 像素感測器之像素棱、内插值之該綠色核心及該判定之 邊緣方向汁算用於每一該等像素感測器之該等内插值。 24_如請求項23之方法，其中該判定該像素是否處於一邊緣 處的步驟包含： 計算同一色彩之不同對相鄰像素之間的差值；及 比較最大差值與一預定臨限值。 25. —種電腦可讀媒體，其用於儲存電腦指令以使—電腦能
夠執行用於一彩色圖案之彩色平面内插，該彩色平面内 插包括以下步驟： 自複數個像素感測器中之每一者獲得一感測值，該複 數個像素感測H對應於具有在—紅色、藍色及綠色光譜 中之一光5晋中的波長的所施加光；及 基於邊緣偵測對每一該複數個像素感測器内插一紅色 值、-藍色值及-綠色值，其_該等紅色、綠色及藍色 值之該内插包含： 使用用於每一該等像素感測器之相鄰綠色像素感測器 之像素值計算内插值之一綠色核心； 使用内插值之該綠色核心判定用於每一該等像素感測 器之至少三個邊緣方向值，其中該等三個邊緣方向值分 別表示—水平邊緣方H直邊緣方向及-對角線邊 緣方向， 方向做為具有該 判定用於每一該像素感測器之該邊緣 最大絕對值之邊緣方向值，及 基於相鄰 無論該各自像素感測器是否位於一邊緣處 117470-990730.doc •】1 - 1337499 26. 像素感測器之像素值、内插值之該綠色核心及該判定之 邊緣方向計算用於每一該等像素感測器之該等内插值。 如請求項25之媒體，其中該判定每一該等像素感測器是 否位於一邊緣處的步驟包含： 計算同一色彩之不同對相鄰像素之間的差值；及 比較最大差值與一預定臨限值。 27. 一種由使用由一彩色成像器輸出之像素值之一處理器所 實行之用於-像素陣列一選擇之像素之#色平面内插之 方法，對於一選擇之像素，該方法包含： 判定該選擇之像素是否位於 一影像邊緣處； 使用第一色彩之感測之值來判定用於該第一色彩之 該像素陣列之-像素核心中複數個像素之—第—組像素 值，其包括该選擇之像素及相鄰像素； 右。亥選擇之像素位於該邊緣處判定至少三個邊緣方 向值’該等三個邊緣方向值分別表現一水平邊緣方向、 一垂直邊緣方向及—科&砼沒 對角線邊緣方向，基於該等邊緣5 向值判定該邊緣之該方向，及基於用於該第-色彩之言 第一組像素值、相鄰像素及對應至該邊緣方向之第―」 參數計算用於一彩声圄安十—★ ’ t色圖案之母一色彩之像素值，其中， 當該選擇之像素與該彩色圖案之-第二色彩或第三色, 之-感測值相關㈣’用於該等第二及第三色彩… 一者之該等計算之VA db ,. ，、值土於該第一組像素值及該邊驾 方向被計算；及 若該選擇之像素並非位於該邊緣處 則使用一第二組 117470-990730.doc •12· 參數基於該等相鄰悚素而計算 ' | °亥衫色圖案之每一色彩的 像素值。 28. 如請求項27之方法 選擇之像素之色彩 29. 如請求項27之方法 案。 3〇·如請求項29之方法 素之一第三組參數 其中該f 1帛二組參數係基於該 其中該彩色圖案為一拜耳彩色圖 其中該第一組參數包含針對綠色像 斜…去 ㈣藍色像素之一第四組參數及針 對、.工色像素之一第五組參數。 3 1 ‘如請求項29之方法，其中哕筐__ 辛之卜，在奴 〃第—，.且參數包含針對綠色像 對紅色像素之一第八組參數。 數及針
117470-990730.doc 13- Γ337499 第095149970號專利申請案 中文圖式替換頁(99年7月） in?) 月> 日修正替
117470-fig-990730.doc
TW095149970A 2005-12-29 2006-12-29 Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms TWI337499B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/319,398 US7830426B2 (en) 2005-12-29 2005-12-29 Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms

Publications (2)

Publication Number Publication Date
TW200735652A TW200735652A (en) 2007-09-16
TWI337499B true TWI337499B (en) 2011-02-11

Family

ID=37909481

Family Applications (1)

Application Number Title Priority Date Filing Date
TW095149970A TWI337499B (en) 2005-12-29 2006-12-29 Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms

Country Status (8)

Country Link
US (2) US7830426B2 (zh)
EP (1) EP1969558B1 (zh)
JP (1) JP4893973B2 (zh)
KR (1) KR101007754B1 (zh)
CN (1) CN101336438B (zh)
AT (1) ATE520100T1 (zh)
TW (1) TWI337499B (zh)
WO (1) WO2007078912A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2426881B (en) * 2005-06-01 2010-12-29 Snell & Wilcox Ltd Method and apparatus for spatial interpolation of colour images
US7924483B2 (en) * 2006-03-06 2011-04-12 Smith Scott T Fused multi-array color image sensor
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
US8417759B2 (en) * 2007-04-09 2013-04-09 DigitalOptics Corporation Europe Limited Efficient implementations of kernel computations
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US20090077359A1 (en) * 2007-09-18 2009-03-19 Hari Chakravarthula Architecture re-utilizing computational blocks for processing of heterogeneous data streams
US20090092338A1 (en) * 2007-10-05 2009-04-09 Jeffrey Matthew Achong Method And Apparatus For Determining The Direction of Color Dependency Interpolating In Order To Generate Missing Colors In A Color Filter Array
US8270713B2 (en) * 2007-10-16 2012-09-18 Aptina Imaging Corporation Method and apparatus providing hardware-efficient demosaicing of image data
US8086034B2 (en) 2008-02-05 2011-12-27 Aptina Imaging Corporation System and method for reducing color artifacts in digital images
JP5076186B2 (ja) * 2008-10-23 2012-11-21 株式会社メガチップス 画像拡大方法
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US8035698B2 (en) * 2009-01-21 2011-10-11 Seiko Epson Corporation Joint automatic demosaicking and white balancing
JP5326943B2 (ja) * 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8593483B2 (en) 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
US8638342B2 (en) 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
US8471932B2 (en) 2010-09-30 2013-06-25 Apple Inc. Spatial filtering for image signal processing
JP2012239103A (ja) * 2011-05-13 2012-12-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
TW201305965A (zh) * 2011-07-18 2013-02-01 Novatek Microelectronics Corp 影像處理方法
KR101327227B1 (ko) 2012-02-21 2013-11-11 중앙대학교 산학협력단 영상의 구조를 고려한 노이즈 제거장치 및 방법
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
CN102938843B (zh) * 2012-11-22 2014-12-03 华为技术有限公司 图像处理方法、装置以及成像设备
JP2015065270A (ja) * 2013-09-25 2015-04-09 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP6415094B2 (ja) * 2014-04-25 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR102224742B1 (ko) 2014-06-10 2021-03-09 삼성디스플레이 주식회사 영상 표시 방법
JP6478641B2 (ja) * 2015-01-08 2019-03-06 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
KR101660447B1 (ko) * 2015-03-26 2016-09-28 인천대학교 산학협력단 베이어 패턴 컬러 필터 어레이 디모자이킹을 위한 다 방향 가중 보간 방법
WO2017131618A1 (en) * 2016-01-25 2017-08-03 Hewlett-Packard Development Company, L.P. Interpolating pixel values
CN109993693B (zh) * 2017-12-29 2023-04-25 澜至电子科技（成都）有限公司 用于对图像进行插值的方法和装置
CN111163301B (zh) 2018-11-07 2021-04-20 浙江宇视科技有限公司 色彩调整方法、装置及计算机可读存储介质
CN109829852B (zh) * 2019-01-17 2023-04-25 浙江大华技术股份有限公司 颜色滤波阵列图像处理的方法、装置及存储介质
CN110517189B (zh) * 2019-08-02 2023-03-21 Oppo广东移动通信有限公司 图像处理方法和装置，及存储介质
KR102462804B1 (ko) * 2021-06-28 2022-11-04 주식회사 아이닉스 베이어 패턴 이미지에 기반한 렌즈 왜곡 보정 장치 및 그 보정 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US6181376B1 (en) * 1997-10-14 2001-01-30 Intel Corporation Method of determining missing color values for pixels in a color filter array
JPH11122626A (ja) * 1997-10-17 1999-04-30 Nikon Corp 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体
US6614474B1 (en) * 1998-08-27 2003-09-02 Polycom, Inc. Electronic pan tilt zoom video camera with adaptive edge sharpening filter
US6674903B1 (en) * 1998-10-05 2004-01-06 Agfa-Gevaert Method for smoothing staircase effect in enlarged low resolution images
US6642962B1 (en) * 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
US6847396B1 (en) * 2000-04-26 2005-01-25 Sunplus Technology Co., Ltd. Interpolation method for producing full color images in using a single-chip color sensor
US6707937B1 (en) * 2000-07-14 2004-03-16 Agilent Technologies, Inc. Interpolation of edge portions of a digital image
US6978050B2 (en) * 2001-07-18 2005-12-20 Hewlett-Packard Development Company, L.P. Electronic image color plane reconstruction
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
JP4456874B2 (ja) * 2002-03-11 2010-04-28 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像ディスプレイ装置
US7542082B2 (en) * 2004-03-30 2009-06-02 Canon Kabushiki Kaisha Method and apparatus for correcting a defective pixel
KR100587143B1 (ko) * 2004-05-06 2006-06-08 매그나칩 반도체 유한회사 영상 신호의 에지 검출 방법
JP4333997B2 (ja) * 2004-08-24 2009-09-16 シャープ株式会社 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2009522864A (ja) 2009-06-11
TW200735652A (en) 2007-09-16
EP1969558A1 (en) 2008-09-17
WO2007078912A1 (en) 2007-07-12
KR20080078076A (ko) 2008-08-26
CN101336438B (zh) 2011-11-09
US7830426B2 (en) 2010-11-09
US8212900B2 (en) 2012-07-03
US20070153106A1 (en) 2007-07-05
ATE520100T1 (de) 2011-08-15
CN101336438A (zh) 2008-12-31
EP1969558B1 (en) 2011-08-10
US20110032397A1 (en) 2011-02-10
KR101007754B1 (ko) 2011-01-14
JP4893973B2 (ja) 2012-03-07

Similar Documents

Publication Publication Date Title
TWI337499B (en) Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
US7456881B2 (en) Method and apparatus for producing Bayer color mosaic interpolation for imagers
JP4453189B2 (ja) 撮像装置
EP2624569B1 (en) Method for correcting image data from an image sensor having image pixels and non-image pixels, and image sensor implementing the same
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
KR101639382B1 (ko) 높은 동적 범위를 가지는 영상을 생성하는 장치 및 방법
JP6582987B2 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
US20160161332A1 (en) Image sensor using pixels with combined rgb and ir sensing
US20100243899A1 (en) Ambient infrared detection in solid state sensors
US20100295947A1 (en) Multi-Spectral Color and IR Camera Based on Multi-Filter Array
JP2005526458A (ja) カラーフィルタイメージングアレイ及びその製造方法
JP2006237737A (ja) カラーフィルタアレイ及び固体撮像素子
KR20010072091A (ko) 적외선 보정을 행하는 컬러 이미징 시스템
TW200818899A (en) Method, imager and system providing paired-bayer color filter array and interlaced readout
TW201027728A (en) Solid-state image capture device and image capture apparatus
KR20070113912A (ko) 이미지 촬상 장치, 및 그 동작 방법
CA2443658C (en) Method and apparatus for sensing and interpolating color image data
CN102246300A (zh) 图像传感器内的紫外光滤光层
TWI253597B (en) Solid-state image sensor for improving sensing quality and manufacturing method thereof
JP4751690B2 (ja) 固体撮像素子