TWI838122B - 圖像處理方法 - Google Patents

圖像處理方法 Download PDF

Info

Publication number
TWI838122B
TWI838122B TW112105185A TW112105185A TWI838122B TW I838122 B TWI838122 B TW I838122B TW 112105185 A TW112105185 A TW 112105185A TW 112105185 A TW112105185 A TW 112105185A TW I838122 B TWI838122 B TW I838122B
Authority
TW
Taiwan
Prior art keywords
merged
raw data
data
rgb
white
Prior art date
Application number
TW112105185A
Other languages
English (en)
Other versions
TW202335490A (zh
Inventor
張靖瑩
景康 鍾
陳穎睿
朱啟誠
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202335490A publication Critical patent/TW202335490A/zh
Application granted granted Critical
Publication of TWI838122B publication Critical patent/TWI838122B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

提供一種圖像處理方法。該圖像處理方法應用於圖像信號處理器。圖像處理方法包括以下段落中詳述的階段。從具有 RGBW 濾色器陣列的圖像傳感器接收合併-Bayer原始資料和合併-白色原始資料。 合併拜耳原始資料包括多個像素的紅色、綠色和藍色通道的信息。合併-白色原始資料包括像素的亮度信息。像素是基於 合併-Bayer 原始資料和合併-白色原始資料渲染的。

Description

圖像處理方法
本發明涉及一種圖像處理方法，尤其涉及一種應用於具有RGBW濾色器陣列（color filter array）的圖像信號處理器的圖像處理方法。
配備新的 RGBW 濾色器陣列 (CFA) 的圖像傳感器旨在通過採用白色通道 (W) 提供更高的靈敏度和更好的低光圖像質量，其光譜可以完全覆蓋紅色 (R) 、綠色 (G) 和藍色 (B) 顏色通道。由於幾乎所有圖像信號處理器 (ISP) 僅接受拜耳(Bayer)資料作為輸入，出於兼容性原因，當前的RGBW傳感器默認設計為輸出混合的拜耳原始資料（合併-Bayer (binned-Bayer)原始資料加上合併-白色(binned-white)原始資料） , 他們只提供合併-Bayer原始資料和合併-白色原始資料作為選項。
然而，如果RGBW傳感器僅輸出混合的Bayer原始資料，因為經歷“下降到 Bayer”過程，這意味著合併-白色原始資料中的精細細節不能保留在混合的Bayer原始資料中。
本發明實施例提供一種圖像處理方法，應用於圖像信號處理器。 圖像處理方法包括以下段落中詳述的階段。合併-RGB 原始資料和合併-白色原始資料是從具有 RGBW 濾色器陣列的圖像傳感器接收的。合併- RGB 原始資料包括多個像素的紅色、綠色和藍色通道的信息。合併-白色原始資料包括像素的亮度信息。基於合併-RGB原始資料和合併-白色原始資料渲染像素。
根據上述圖像處理方法，基於合併-RGB原始資料和合併-白色原始資料渲染像素的步驟包括以下段落中詳述的階段。對合併-RGB 原始資料和合併-白色原始資料執行去馬賽克處理以生成全平面 RGB 資料。
根據上述圖像處理方法，基於合併-RGB 原始資料和合併-白色原始資料渲染像素的步驟包括以下段落中詳述的階段。對合併-RGB 原始資料執行去馬賽克處理以生成全平面 RGB 資料。全平面 RGB 資料的亮度信息根據合併-白色原始資料進行校正。
圖像處理方法還包括以下段落中詳述的階段。對合併-RGB原始資料和合併-白色原始資料執行預處理。
圖像處理方法還包括以下段落中詳述的階段。對全平面RGB資料執行後處理。
根據上述圖像處理方法，預處理包括基座校正、壞像素校正、相位差像素校正、鏡頭陰影校正、數字增益調整、白平衡增益調整和色調映射。
根據上述圖像處理方法，後處理包括應用色彩校正矩陣、執行伽馬函數、RGB-至-YUV轉換、降噪、對比度增強、邊緣增強和色彩增強。
圖像處理方法還包括以下段落中詳述的階段。在預處理之前和/或之後對合併- RGB 原始資料和合併-白色原始資料執行去噪算法。
根據上述圖像處理方法，基於合併-白色原始資料校正全平面RGB資料的亮度信息的步驟包括以下段落中詳述的階段。合併-白色原始資料中的亮度信息被遷移到全平面 RGB 資料中。
根據上述圖像處理方法，合併-RGB原始資料是由N*N矩陣構成的合併-拜耳原始資料。 N為正整數。 合併-拜耳原始資料對應至少 2N*2N 個像素。
根據上述圖像處理方法，合併-白色原始資料由N*N矩陣形成。 N為正整數。 合併-白色原始資料對應於至少 2N*2N 個像素。
根據上述圖像處理方法，全平面RGB資料包括紅色通道資料、綠色通道資料和藍色通道資料。 紅色通道資料、綠色通道資料和藍色通道資料分別由三個N*N矩陣組成。 N為正整數。
圖像處理方法還包括以下段落中詳述的階段。合併-RGB原始資料和合併-白色原始資料經過預處理得到合併-原始資料。對合併-原始資料和合併-白色原始資料執行去馬賽克過程。
為使本發明實施例的上述目的、特徵和優點更加清楚，下面將結合附圖進行詳細說明。
貫穿說明書和所附請求保護範圍使用某些術語來指代特定組件。 如本領域具有通常知識者將理解的，電子設備製造商可以用不同的名稱來指代組件。 本文檔無意區分名稱不同但功能不同的組件。據了解，“包含”、“具有”和“包括”等詞以開放式方式使用，因此應解釋為“包括但不限於……”。 因此，當本發明中使用的術語“包含”、“具有”和/或“包括”用於指示特定技術特徵、值、方法步驟、操作、單元和/或組件的存在時。 但是，不排除可以添加更多的技術特徵、數值、方法步驟、工作過程、單元、組件或以上的任意組合的可能性。
在整個說明書和所附請求保護範圍中使用的方向術語，例如：“上”、“上”、“上方”、“下”、“下方”、“前”、“後”、“後”、“ “左”、“右”等僅是參照附圖的方向。 因此，方向性用語僅用於說明而非限製本發明。關於附圖，附圖顯示了在特定實施例中使用的方法、結構和/或材料的一般特徵。然而，附圖不應被解釋為定義或限制這些實施例所包含的範圍或特性。例如，為了清楚起見，每一層、每一區域和/或每一結構的相對尺寸、厚度和位置可被縮小或放大。
當層或區域等相應組件被稱為“在另一個組件上”時，它可以直接在該另一個組件上，或者它們之間可以存在其他組件。另一方面，當組件被稱為“直接在另一個組件（或其變體）上”時，它們之間沒有組件。進一步地，當對應部件被稱為“在另一部件上”時，對應部件與另一部件具有沿俯視圖/垂直方向的佈置關係，對應部件可以在另一部件下方或上方，並且 沿俯視圖/垂直方向的佈置關係由設備的方向決定。
應當理解，當組件或層被稱為“連接到”另一組件或層時，它可以直接連接到該另一組件或層，或者可以存在中間組件或層。相反，當一個組件被稱為“直接連接到”另一個組件或層時，不存在中間組件或層。
本公開中描述的電連接或耦合可以指直接連接或間接連接。在直接連接的情況下，兩個電路上的元件端點直接連接或通過導線段相互連接，而在間接連接的情況下，有開關、二極管、電容器、電感器、電阻器、 其他合適的元件，或上述元件在兩個電路的端點之間的組合，但中間元件不限於此。
詞語“第一”、“第二”、“第三”、“第四”、“第五”和“第六”用於描述組件。 它們不用於表示優先順序或推進關係，而僅用於區分具有相同名稱的組件。
需要說明的是，在不脫離本發明的精神的情況下，下述不同實施例中的技術特徵可以相互替換、重組或者混合構成其他實施例。
第1圖是根據本發明一些實施例的圖像處理方法的流程圖。第1圖中的本發明的圖像處理方法應用於圖像信號處理器(ISP)。本發明的圖像處理方法包括以下段落中詳述的階段。合併-RGB原始資料和合併-白色原始資料是從具有 RGBW 濾色器陣列（例如，RGBW-柯達濾色器陣列）的圖像傳感器接收的。 合併-RGB 原始資料包括多個像素的紅色、綠色和藍色通道的信息。合併-白色原始資料包括像素的白色通道的亮度信息（步驟 S100）。基於合併-RGB原始資料和合併-白色原始資料來渲染像素（步驟 S102）。在一些實施例中，合併-RGB原始資料和合併-白色原始資料由具有RGBW濾色器陣列的圖像傳感器生成。 詳細而言，具有RGBW濾色器陣列的圖像傳感器首先捕獲圖像。然後，圖像傳感器根據圖像生成 RGBW 原始資料。之後，圖像傳感器將 RGBW 原始資料轉換為 合併-RGB 原始資料和合併-白色原始資料。
在一些實施例中，合併-RGB原始資料是由N*N矩陣形成的合併-Bayer原始資料，其中N是正整數。合併-Bayer 原始資料對應至少 2N*2N 個像素。 在一些實施例中，合併-白色原始資料也由N*N矩陣形成。合併-白色原始資料對應於至少 2N*2N 個像素。 在一些實施例中，N等於4，但本發明不限於此。
在一些實施例中，步驟S102的具體步驟如第2A圖所示。第2A圖是根據本發明一些實施例的第1圖的圖像處理方法中的步驟S102的詳細流程圖。 如第2A圖所示，本發明的圖像處理方法在步驟S102中包括以下詳述的步驟。對合併-RGB原始資料和合併-白色原始資料執行去馬賽克（demosaicing）處理以生成全平面（full-plane）RGB資料（步驟S200）。在一些實施例中，去馬賽克處理通過插值將來自圖像傳感器的合併-RGB原始資料和合併-白色原始資料轉換成完整的人眼可見RGB資料格式（即全平面RGB資料），從而在顯示設備上輸出RGB資料格式。
在一些實施例中，步驟S102的具體步驟如第2B圖所示。 第2B圖是根據本發明一些實施例的第1圖的圖像處理方法中的步驟S102的詳細流程圖。 如第2B圖所示，本發明的圖像處理方法在步驟S102中包括以下詳述的步驟。對合併-RGB原始資料進行去馬賽克處理以生成全平面RGB資料(步驟S202)。 基於合併-白色原始資料校正全平面RGB資料的亮度信息(步驟S204)。在一些實施例中，去馬賽克處理將來自圖像傳感器的合併-RGB原始資料轉換成人眼可以看到的完整RGB資料格式(即全平面RGB資料)，以在顯示設備上輸出RGB資料格式。 在一些實施例中，步驟S204的具體步驟如第3圖所示。
第3圖是根據本發明一些實施例的第2B圖中的圖像處理方法中的步驟S204的詳細流程圖。如第3圖所示，本發明的圖像處理方法在步驟S204中包括以下詳述的步驟。合併-白色原始資料中的亮度信息被遷移到全平面RGB資料中（步驟S300）。 無論是第2A圖、第2B圖或第3圖中的圖像處理方法，像素渲染（pixel rendering）都考慮了合併-白色原始資料的細節（例如，亮度信息）。在一些實施例中，合併-白色原始資料還為像素渲染提供額外的方向信息（一張圖片中高頻變化線（high frequency changing line）），因此可以獲得更好的渲染結果（即更好的全平面RGB資料）。
在一些實施例中，本發明的圖像處理方法在執行去馬賽克過程之前還對合併-RGB原始資料和合併-白色原始資料進行預處理。 在一些實施例中，預處理可以包括基座校正、壞像素校正、相差像素校正、鏡頭陰影校正、數字增益調整、白平衡增益調整和色調映射等，但本發明不限於此。
在一些實施例中，本發明的圖像處理方法在進行去馬賽克處理之後還對全平面RGB資料進行後處理。在一些實施例中，後處理可以包括顏色校正矩陣的應用、執行伽馬函數、RGB到YUV的轉換、降噪、對比度增強、邊緣增強和顏色增強等，但是本發明是不限於此。
在一些實施例中，本發明的圖像處理方法在預處理之前和/或之後對合併-RGB原始資料和合併-白色原始資料執行去噪算法。例如，在預處理之前，本發明的圖像處理方法首先將合併-RGB原始資料和合併-白色原始資料都輸入到去噪方案中。執行去噪解決方案以對合併-RGB原始資料和合併-白色原始資料進行去噪。在一些實施例中，在預處理之後，本發明的圖像處理方法在執行去馬賽克處理之前將合併-RGB原始資料和合併-白色原始資料混合和去噪，以獲得混合-拜耳原始資料（merged-Bayer raw data）。 在一些實施例中，混合-拜耳原始資料可以獲得較小的噪聲，但與合併- RGB 原始資料相比具有與合併- RGB 原始資料相同級別的精細細節。之後，本發明的圖像處理方法對混合-拜耳原始資料和合併-白色原始資料進行去馬賽克處理。 在一些實施例中，混合-拜耳原始資料可以從傳感器內解決方案、去噪硬件/軟件解決方案或應用處理器(AP)解決方案獲得，但本發明不限於此。
第4圖是根據本發明一些實施例的執行第1圖和第2A圖中的圖像處理方法的電子設備400的示意圖。如第4圖所示，電子設備400包括傳感器402和圖像信號處理器(ISP)404。在一些實施例中，傳感器402是圖像傳感器，例如相機，但本發明不限於此。在一些實施例中，傳感器402捕獲圖像，並相應地基於圖像輸出合併-RGB原始資料420和合併-白色原始資料430。圖像信號處理器404從傳感器402接收合併-RGB原始資料420和合併-白色原始資料430。圖像信號處理器404對合併-RGB原始資料420和合併-白色原始資料430執行預處理408，以輸出合併-RGB原始資料424和合併-白色原始資料434。在一些實施例中，預處理可以包括基座校正、壞像素校正、相位差像素校正、鏡頭陰影校正、數字增益調整、白平衡 增益調整、色調映射等，但本發明不限於此。之後，圖像信號處理器404對合併-RGB原始資料424和合併-白色原始資料434執行去馬賽克處理406以生成全平面RGB資料440。
然後，圖像信號處理器404對全平面RGB資料440執行後處理410以輸出最終輸出資料450。在一些實施例中，後處理過程包括應用顏色校正矩陣、執行伽瑪函數、RGB-至-YUV轉換、降噪、對比度增強、邊緣增強和顏色增強等，但本發明不限於此。
在一些實施例中，執行可以從第 3 方解決方案提供的去噪解決方案 460 以對合併- RGB原始資料420和合併-白色原始資料 430 進行去噪。如圖所示，去噪處理460由電子設備400中的另一處理器(未示出，例如應用處理器)執行，以對合併-RGB原始資料420和合併-白色原始資料430進行去噪，並據此輸出合併-RGB原始資料422和合併-白色原始資料432。之後，圖像信號處理器404對合併-RGB原始資料422和合併-白色原始資料432執行預處理408。
在一些實施例中，圖像信號處理器404對合併-RGB原始資料424和合併-白色原始資料434執行混合功能（混合-A) 470以獲得混合-拜耳原始資料426。在一些實施例中，圖像信號處理器404還執行混合功能470以對合併-RGB原始資料424和合併-白色原始資料434進行降噪。混合-拜耳原始資料426可以獲得較小的噪聲，但當與合併-RGB原始資料424比較時，與合併-RGB原始資料424具有相同級別的精細細節。之後，圖像信號處理器404對混合-拜耳原始資料426和合併-白色原始資料執行去馬賽克處理 434以生成全平面RGB資料440。在一些實施例中，由於去噪解決方案460和混合功能470是可選的，當去噪解決方案460不存在時，合併-RGB原始資料422等於合併-RGB 原始資料 420，而合併-白色原始資料 432 等於合併-白色原始資料430。類似地，當圖像信號處理器 404 未執行混合功能 470 時，混合-Bayer 原始資料 426 等於合併-RGB 原始資料 424。
第5圖是根據本發明一些實施例的執行第1圖和第2B圖中的圖像處理方法的電子設備500的示意圖。如第5圖所示，電子裝置500包括傳感器502與圖像信號處理器(Image Signal Processor，ISP)504。在一些實施例中，傳感器502為圖像傳感器，例如相機，但本發明不以此為限。在一些實施例中，傳感器502捕獲圖像，並相應地基於圖像輸出合併-RGB原始資料520和合併-白色原始資料530。圖像信號處理器504從傳感器502接收合併-RGB原始資料520和合併-白色原始資料530。圖像信號處理器504對合併-RGB原始資料520和合併-白色原始資料530執行預處理508，以輸出合併-RGB原始資料524和合併-白色原始資料534。在一些實施例中，預處理可以包括基座校正、壞像素校正、相位差像素校正、鏡頭陰影校正、數字增益調整、白色平衡增益調整、色調映射等，但本發明不限於此。
此後，圖像信號處理器504對合併-RGB原始資料524執行去馬賽克處理506以生成全平面RGB資料538。然後，圖像信號處理器504執行混合功能（merge-B) 512對全平面RGB資料538和合併-白色原始資料534進行處理以獲得全平面RGB資料540。詳細地，圖像信號處理器504執行混合功能512以遷移合併-白色原始資料534中的亮度信息，至全平面RGB資料538，並據此輸出全平面RGB資料540。 在一些實施例中，當與全平面RGB資料538比較時，全平面RGB資料540可以獲得較小的噪聲，但具有與全平面RGB資料538相同水平的精細細節。
然後，圖像信號處理器504對全平面RGB資料540執行後處理510以輸出最終輸出資料550。在一些實施例中，後處理包括應用色彩校正矩陣、執行伽瑪函數、RGB-至-YUV轉換、降噪、對比度增強、邊緣增強和顏色增強等，但本發明不限於此。
在一些實施例中，執行可以從第 3 方解決方案提供的去噪解決方案 560 以對合併- RGB原始資料520和合併-白色原始資料 530 進行去噪。如圖所示，降噪處理560由電子設備500中的另一處理器(未示出，例如，應用處理器)執行，以對合併-RGB原始資料520和合併-白色原始資料530進行降噪， 並據此輸出合併-RGB原始資料522和合併-白色原始資料532。之後，圖像信號處理器504對合併-RGB原始資料522和合併-白色原始資料532執行預處理508。
在一些實施例中，圖像信號處理器504對合併-RGB原始資料524和合併-白色原始資料534執行混合功能（混合-A) 570以獲得混合-拜耳原始資料526。在一些實施例中，圖像信號處理器504還執行混合功能570以對合併-RGB原始資料524和合併-白色原始資料534進行降噪。混合-拜耳原始資料526可以獲得較小的噪聲，但當與合併-RGB原始資料524進行比較時，具有與合併-RGB原始資料524相似的精細程度。圖像信號處理器504對混合-拜耳原始資料526進行去馬賽克處理，以生成全平面RGB資料538。在一些實施例中，由於去噪方案560和混合功能570是可選的，當去噪方案560不存在時，合併-RGB原始資料522等於合併-RGB原始資料520 ，並且合併-白色原始資料532等於合併-白色原始資料 530。相似地，當圖像信號處理器504不執行混合功能570時，混合-拜耳原始資料526等於合併-RGB原始資料524。在一些實施例中，預處理508和後處理510也是可選的，但本發明不限於此。
第6圖是根據本發明一些實施例的RGBW原始資料600、合併-RGB原始資料620、合併-白色原始資料630和混合-Bayer原始資料640的資料結構示意圖。 RGBW原始資料600、合併-RGB原始資料620、合併-白色原始資料630和混合-Bayer原始資料640中標記的字符“R”、“G”、“B”和“W” 表示由多個像素顯示的不同顏色通道。 例如，字符“R”表示一個像素顯示的紅色通道。 字符“G”代表一個像素顯示的綠色通道。 字符“B”代表一個像素顯示的藍色通道。 字符“W”代表一個像素顯示的白色通道。
如第6圖所示，RGBW原始資料600由具有RGBW濾色器陣列的圖像傳感器生成，例如第4圖中的傳感器402和第5圖中的傳感器502。在一些實施例中，RGBW原始資料600由8×8矩陣構成。 RGBW原始資料600對應至少64(8*8)個像素，但本發明不以此為限。 RGBW原始資料600被圖像傳感器轉換成合併-RGB原始資料620和合併-白色原始資料630。例如，圖像傳感器對RGBW原始資料600的元素602和604中的綠色通道進行平均以獲得合併-RGB原始資料620中的元素622。圖像傳感器對RGBW原始資料600的元素606和608中的藍色通道進行平均，以獲得合併-RGB原始資料620中的元素624。圖像傳感器對RGBW原始資料600的元素610和612中的紅色通道進行平均，以獲得合併-RGB原始資料620中的元素626。類似地，之後，圖像傳感器對RGBW原始資料600的元素614和616中的白色通道進行平均，以獲得合併-白色原始資料630中的元素632。
請同時參閱第5圖和第6圖。假設第5圖中的合併-RGB原始資料524相當於第6圖中的合併-RGB原始資料620，第5圖中的合併-白色原始資料534相當於合併-白色原始資料、混合-拜耳原始資料526相當於第6圖中的630，而混合-拜耳原始資料526等同於混合-拜耳原始資料640。在一些實施例中，當圖像信號處理器(例如第5圖中的圖像信號處理器504)執行混合功能(例如第5圖中的混合功能570，而不是混合功能512) 時，混合合併-RGB原始資料620和合併-白色原始資料630以獲得混合-Bayer原始資料640。在一些實施例中，混合-拜耳原始資料640可以獲得較小的噪聲，但與合併-RGB原始資料620相比具有與合併-RGB原始資料620相同水平的精細細節。在一些實施例中，在第4圖與第6圖之間，也存在類似的對應關係，本發明在此不再贅述。
如第6圖所示，合併-RGB原始資料620由4*4矩陣構成，合併-白色原始資料630由4*4矩陣構成，混合-Bayer原始資料640 由4*4矩陣構成，但本發明不限於此。在一些實施例中，合併-RGB原始資料620、合併-白色原始資料630和混合-Bayer原始資料640都對應於至少64個像素，但本發明不限於此。
第7圖是根據本發明一些實施例的全平面RGB資料700的資料結構示意圖。第7圖中的全平面RGB資料700相當於第4圖中的全平面RGB資料440和第5圖中的全平面RGB資料538和540。如第7圖所示，全平面RGB資料700包括紅色通道資料702、綠色通道資料704和藍色通道資料706。在一些實施例中，紅色通道資料702由4*4矩陣形成，綠色通道資料704由4*4矩陣形成。藍色通道資料706由4*4矩陣組成，但本發明不限於此。
該圖像處理方法使用合併後的白色原始資料進行像素渲染，因此可以獲得更好的渲染結果（即更好的全平面RGB資料）。也就是說，可以提高全平面RGB資料的分辨率。
雖然本發明已通過示例的方式並根據優選實施例進行了描述，但應理解本發明不限於所公開的實施例。相反，它旨在涵蓋各種修改和類似的佈置（如本領域技術人員顯而易見的那樣）。因此，所附請求保護的範圍應給予最寬泛的解釋，以涵蓋所有此類修改和類似佈置。
400、500:電子設備 402、502:傳感器 404、504:圖像信號處理器(ISP) 420、422、424、520、522、524:合併-RGB原始資料 430、432、434、530、532、534:合併-白色原始資料 408、508:預處理 470、570:混合-A 512:混合-B 426、526:混合-拜耳原始資料 406、506:去馬賽克處理 440、540、538:全平面RGB資料 410、510:後處理 460、560:去噪處理 450、550:最終輸出資料 600:RGBW原始資料 620:合併-RGB原始資料 630:合併-白色原始資料 640:混合-Bayer原始資料 602、604、606、608、612、610、614、616、624、622、626、632:元素 700:全平面RGB資料 702:紅色通道資料 704:綠色通道資料 706:藍色通道資料 S100-S102、S200、S202-S204、S300:步驟
通過參考附圖閱讀隨後的詳細描述和實施例可以更充分地理解本發明，其中： 第1圖是根據本發明一些實施例的圖像處理方法的流程圖。 第2A圖是根據本發明一些實施例的第1圖中的圖像處理方法中的步驟S102的詳細流程圖。 第2B圖是根據本發明一些實施例的第1圖中的圖像處理方法中的步驟S102的詳細流程圖。 第3圖是根據本發明一些實施例的第2B圖中的圖像處理方法中的步驟S204的詳細流程圖。 第4圖是根據本發明一些實施例的執行第1圖和第2A圖中的圖像處理方法的電子設備400的示意圖。 第5圖是根據本發明一些實施例的執行第1圖和第2B圖中的圖像處理方法的電子設備500的示意圖。 第6圖是根據本發明一些實施例的RGBW原始資料600、合併-RGB原始資料620、合併-白色原始資料630和混合-Bayer原始資料640的資料結構示意圖。 第7圖是根據本發明一些實施例的全平面RGB資料700的資料結構示意圖。
S100-S102:步驟

Claims (12)

  1. 一種圖像處理方法，應用於圖像信號處理器，包括：從具有RGBW濾色器陣列的圖像傳感器接收合併-RGB原始資料和合併-白色原始資料；其中，合併-RGB原始資料包括多個像素的紅、綠、藍通道信息，合併-白色原始資料包括像素的白色通道的亮度信息；基於合併-RGB原始資料和合併-白色原始資料渲染像素；其中，所述基於合併-RGB原始資料和合併-白色原始資料渲染像素的步驟包括：對所述合併-RGB原始資料進行去馬賽克處理，生成全平面RGB資料；基於所述合併-白色原始資料校正所述全平面RGB資料的亮度信息。
  2. 如請求項1所述的圖像處理方法，還包括：對所述合併-RGB原始資料和所述合併-白色原始資料進行預處理。
  3. 如請求項1所述的圖像處理方法，還包括：對所述全平面RGB資料進行後處理。
  4. 如請求項2所述的圖像處理方法，其中，所述預處理包括基座校正、壞像素校正、相位差像素校正、鏡頭陰影校正、數字增益調整、白平衡增益調整和色調映射中的至少一種。
  5. 如請求項3所述的圖像處理方法，其中，所述後處理包括應用色彩校正矩陣、執行伽馬函數、RGB-至-YUV轉換、降噪、對比度增強、邊緣增強和色彩增強中的至少一種。
  6. 如請求項2所述的圖像處理方法，還包括：在進行預處理之前和/或之後對所述合併-RGB原始資料和所述合併-白色原始資料進行去噪處理。
  7. 如請求項1所述的圖像處理方法，其中，所述基於合併-白色 原始資料校正所述全平面RGB資料的亮度信息的步驟包括：將所述合併-白色原始資料中的亮度信息遷移到所述全平面RGB資料中。
  8. 如請求項1所述的圖像處理方法，其中，所述合併-RGB原始資料為由N×N矩陣構成的合併-拜耳原始資料，N為正整數，其中所述合併-拜耳原始資料對應於至少2N*2N個像素。
  9. 如請求項1所述的圖像處理方法，其中，所述合併-白色原始資料由N*N矩陣構成，N為正整數；其中，所述合併-白色原始資料對應於至少2N*2N個像素。
  10. 如請求項1所述的圖像處理方法，其中，所述全平面RGB資料包括紅色通道資料、綠色通道資料和藍色通道資料，其中，所述紅色通道資料、所述綠色通道資料和所述藍色通道資料由三個N*N矩陣組成，N為正整數。
  11. 如請求項2所述的圖像處理方法，還包括：混合預處理後的合併-RGB原始資料和合併-白色原始資料，得到混合原始資料；以及對所述混合原始資料和所述合併-白色原始資料進行去馬賽克處理。
  12. 如請求項1所述的圖像處理方法，其中，所述合併-白色原始資料為像素渲染提供了一幅圖像中高頻變化線的附加方向信息。
TW112105185A 2022-02-15 2023-02-14 圖像處理方法 TWI838122B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263310160P 2022-02-15 2022-02-15
US63/310,160 2022-02-15
US18/164,881 2023-02-06
US18/164,881 US20230260081A1 (en) 2022-02-15 2023-02-06 Image processing method

Publications (2)

Publication Number Publication Date
TW202335490A TW202335490A (zh) 2023-09-01
TWI838122B true TWI838122B (zh) 2024-04-01

Family

ID=87558762

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112105185A TWI838122B (zh) 2022-02-15 2023-02-14 圖像處理方法

Country Status (3)

Country Link
US (1) US20230260081A1 (zh)
CN (1) CN116614720A (zh)
TW (1) TWI838122B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120026368A1 (en) * 2010-07-29 2012-02-02 Apple Inc. Binning compensation filtering techniques for image signal processing
US20210409624A1 (en) * 2020-06-28 2021-12-30 Shenzhen GOODIX Technology Co., Ltd. Pixel binning for hexa-deca rgbw color filter arrays
US20220014697A1 (en) * 2012-05-31 2022-01-13 Apple Inc. Systems and method for reducing fixed pattern noise in image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120026368A1 (en) * 2010-07-29 2012-02-02 Apple Inc. Binning compensation filtering techniques for image signal processing
US20220014697A1 (en) * 2012-05-31 2022-01-13 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US20210409624A1 (en) * 2020-06-28 2021-12-30 Shenzhen GOODIX Technology Co., Ltd. Pixel binning for hexa-deca rgbw color filter arrays

Also Published As

Publication number Publication date
US20230260081A1 (en) 2023-08-17
TW202335490A (zh) 2023-09-01
CN116614720A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US8890974B2 (en) Methods and systems for automatic white balance
US8457433B2 (en) Methods and systems for image noise filtering
US9160935B2 (en) Sensor arrangement for transforming color space representation in a digital color image
US7376288B2 (en) Edge adaptive demosaic system and method
JPH0823543A (ja) 撮像装置
TWI511559B (zh) 影像處理方法
US7333678B1 (en) Edge adaptive demosaic system and method
US8384796B2 (en) Methods and systems for automatic white balance
US8648937B2 (en) Image processing apparatus, image processing method, and camera module
US8144211B2 (en) Chromatic aberration correction apparatus, image pickup apparatus, chromatic aberration amount calculation method, and chromatic aberration amount calculation program
US8427560B2 (en) Image processing device
JP2003304549A (ja) カメラ及び画像信号処理システム
CN112291479B (zh) 图像处理模组、图像处理方法、摄像头组件及移动终端
US20080068472A1 (en) Digital camera and method
JP2005501356A (ja) カラー画像にトーンマッピング関数を適用する装置
JP3921499B2 (ja) カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
TWI838122B (zh) 圖像處理方法
JP7266179B2 (ja) 画像処理装置及び撮像装置
JP2008219289A (ja) 映像補正装置、映像表示装置、撮像装置および映像補正プログラム
CN107615760A (zh) 图像处理装置、图像处理方法、成像元件以及成像装置
TWI544451B (zh) 影像處理方法
JP6413210B2 (ja) 画像処理装置、撮像装置およびプログラム
JP2002209228A (ja) 画像処理装置
TW201318406A (zh) 用以進行影像強化的影像訊號處理器以及影像處理方法