TW202310622A - 用於相機的靈活感興趣區域顏色處理 - Google Patents

用於相機的靈活感興趣區域顏色處理 Download PDF

Info

Publication number
TW202310622A
TW202310622A TW111125490A TW111125490A TW202310622A TW 202310622 A TW202310622 A TW 202310622A TW 111125490 A TW111125490 A TW 111125490A TW 111125490 A TW111125490 A TW 111125490A TW 202310622 A TW202310622 A TW 202310622A
Authority
TW
Taiwan
Prior art keywords
image
awb
roi
parameters
awb parameters
Prior art date
Application number
TW111125490A
Other languages
English (en)
Inventor
馮文春
劉偉智
徐怡春
簡泰翔
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202310622A publication Critical patent/TW202310622A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

一種相機處理方法，包括接收第一影像，決定第一影像的一或多個第一自動白平衡（AWB）參數，決定第一影像的感興趣區域（ROI）的一或多個第二AWB參數，將一或多個第一AWB參數應用於第一影像或第二影像中的一或多個，以及基於一或多個第二AWB參數調整第一影像或第二影像中的一或多個的ROI。

Description

用於相機的靈活感興趣區域顏色處理
本專利申請案主張於2021年7月7日提出申請的序號為63/219,072的美國臨時申請案的權益，其全部內容經由引用結合於此。
本案整體上係關於影像和相機處理，並且更具體地係關於用於自動白平衡的技術。
影像捕捉設備（例如，數位相機）通常被併入到多種設備中。在本案中，影像捕捉設備是指能夠捕捉一或多個數位影像的任何設備，包括能夠捕捉靜止影像的設備和能夠捕捉影像序列以記錄視訊的設備。舉例而言，影像捕捉設備可以包括獨立的數位相機或數位攝影錄影機、配備有相機的無線通訊設備手持機（例如，行動電話、蜂巢式或衛星無線電話）、配備有相機的平板電腦或個人數位助理（PDA）、包括相機（例如，所謂的「網路攝影機」）的電腦設備、或具有數位成像或視訊能力的任何設備。
影像捕捉設備可以能夠在各種照明條件（例如，發光體）下產生影像。例如，影像捕捉設備可以在包括大量反射光或飽和光的環境中操作，亦可以在包括高對比水平的環境中操作。除了其他模組（例如，色調調整模組）之外，一些實例影像捕捉設備亦包括用於自動曝光控制、自動白平衡和自動聚焦的調整模組，以調整由成像訊號處理器硬體執行的處理。
在影像捕捉設備中，影像訊號處理器（「ISP」）的調整通常有利於實現適當的白平衡。白平衡（有時稱為顏色平衡、灰階平衡或中性平衡）是指調整影像或顯示器中的原色（例如，紅色、綠色和藍色）的相對量，使得中性色彩被正確地再現。白平衡可能會改變影像中顏色的整體混合。在沒有白平衡的情況下，所捕捉的影像的顯示可能會包含不期望的色調。
整體上，本案描述了用於執行自動白平衡（AWB）程序的技術。具體而言，本案的技術描述了用於全域地以及針對場景中的感興趣區域（ROI）決定AWB參數的設備和技術。在一個實例中，場景的ROI可以是場景中期望準確顏色表示的一或多個物件。在一些實例中，ROI可以是人的面部。
在一些實例中，由影像捕捉的場景的特定ROI（例如，面部的膚色、藝術物件或其他ROI）可能會受到場景中的發光體的影響。在一些實例中，場景可以包括多個發光體，並且照亮ROI的發光體可以不同於場景的環境發光體。作為一個實例，人的面部可以被一種發光體（例如，行動設備的顯示光）照亮，該發光體可以與場景的環境發光體（例如，房間中的照明）顯著不同。
若ROI上的發光體具有與環境發光體顯著不同的色溫，則相機可以決定全域AWB參數，這些參數可能導致所捕捉的最終影像上的色調偏移（例如，色偏）。色偏是由面部上的發光體和環境發光體之間的白平衡差異造成的。在一些實例中，相機基於環境發光體全域地應用AWB參數，而不是考慮特定的ROI（例如，面部、藝術物件等）。
在本案的實例中，相機處理器可以被配置為全域地決定AWB參數（例如，決定整個影像的發光體），以及決定影像的特定ROI的AWB參數。在本案的一些實例中，ROI是一或多個面部。然而，本案的技術可以用於任何類型的ROI。相機處理器隨後可以將全域決定的AWB參數應用於影像，並且隨後基於為ROI決定的AWB參數調整ROI中的圖元。
當ROI是面部時，本案的技術允許基於為面部決定的AWB參數進行靈活的局部面部顏色改善。經由應用靈活的局部面部顏色改善，相機處理器可以決定面部的特定發光體，這可以導致混合光場景中較少的色偏。面部膚色和背景白平衡兩者可以單獨且靈活地微調。
在一個實例中，本案描述了一種被配置用於影像處理的裝置，該裝置包括：記憶體，該記憶體被配置為儲存由相機模組的影像感測器捕捉的第一影像；及與記憶體通訊的一或多個處理器，該一或多個處理器被配置為：接收第一影像；決定第一影像的一或多個第一自動白平衡（AWB）參數；決定第一影像的感興趣區域（ROI）的一或多個第二AWB參數；將一或多個第一AWB參數應用於第一影像或第二影像中的一或多個；及基於一或多個第二AWB參數調整第一影像或第二影像中的一或多個中的ROI。
在另一實例中，本案描述了一種用於影像處理的方法，該方法包括：接收第一影像；決定第一影像的一或多個第一AWB參數；決定第一影像的ROI的一或多個第二AWB參數；將一或多個第一AWB參數應用於第一影像或第二影像中的一或多個；及基於一或多個第二AWB參數調整第一影像或第二影像中的一或多個中的ROI。
在另一實例中，本案描述了一種被配置用於相機處理的裝置，該裝置包括：用於接收第一影像的部件；用於決定第一影像的一或多個第一AWB參數的部件；用於決定第一影像的ROI的一或多個第二AWB參數的部件；用於將一或多個第一AWB參數應用於第一影像或第二影像中的一或多個的部件；及用於基於一或多個第二AWB參數調整第一影像或第二影像中的一或多個中的ROI的部件。
在另一實例中，本案描述了一種儲存指令的非暫時性電腦可讀取儲存媒體，這些指令在被執行時使得一或多個處理器：接收第一影像；決定第一影像的一或多個第一AWB參數；決定第一影像的ROI的一或多個第二AWB參數；將一或多個第一AWB參數應用於第一影像或第二影像中的一或多個；及基於一或多個第二AWB參數調整第一影像或第二影像中的一或多個中的ROI。
在附圖及以下描述中闡述了本案的一或多個態樣的細節。根據描述、附圖和申請專利範圍，本案中所描述的技術的其他特徵、目的和優點將是顯而易見的。
本案描述了影像處理技術，這些技術促進決定與由影像感測器（例如，相機（例如，數位相機））獲得的影像相關聯的照明條件（有時稱為發光體條件、當前發光體或色溫）。物件的感知顏色取決於照亮物件的光的類型（例如，照明條件或發光體）（例如，室內白熾燈、室內螢光燈、中午的日光、傍晚的日光等）。人眼感知的顏色基本上是發光體和具有特定的顏色的物件的表面的組合。因此，人眼感知的顏色刺激根據發光體而不同。人類視覺系統可以自動「調整」或「去除」發光體的影響，使得顏色感知更接近物件的顏色。這種一致的顏色感知有助於人類辨識顏色。
在數位相機中，可以對捕捉的影像應用白平衡程序，以調整或去除照度的影響。白平衡程序可以涉及將白平衡增益及/或縮放應用於影像的相應色度通道（例如，RGB、XYZ或YUV顏色通道）。可以為白平衡程序的發光體定義增益。白平衡是用於校正影像感測器回應以便更好地將影像與使用者對被成像物件的感知體驗相匹配的程序。作為一個實例，白平衡程序被設計成使灰色物件在處理後的影像中實際上呈現灰色。
若辨識出不正確或次優的發光體，則白平衡在某些情況下會損害影像品質。然而，若辨識出正確或更優的發光體，則白平衡通常會提高影像品質。如前述，隨後可以將增益及/或縮放應用於各種顏色通道，使得白色區域實際上看起來是白色的。經由使用來自白平衡程序的增益來調整影像的這些顏色，這通常亦會提高影像的飽和顏色區域的顏色保真度。可以為不同的發光體預先決定用於實現白平衡的增益或縮放。因此，有益的是，決定適用於影像的近似發光體，使得可以選擇適當的一組白平衡增益。
在一些實例中，影像捕捉設備的使用者可以選擇或指示發光體，在該發光體下捕捉了或將捕捉影像。在其他實例中，影像捕捉設備本身可以自動決定最可能的發光體，並基於所決定的照明條件來執行白平衡。這種程序有時被稱為自動白平衡（AWB）。為了更好地反映場景的顏色，由相機上的處理器執行的AWB演算法可以嘗試決定場景的發光體，並相應地設置白平衡。
然而，AWB演算法在某些情況下很難設置白平衡。在一些實例中，由影像捕捉的場景的特定ROI（例如，面部的膚色、藝術物件或其他ROI）可能會受到場景中的發光體的影響。在一些實例中，場景可以包括多個發光體，並且照亮ROI的發光體可以不同於場景的環境發光體。作為一個實例，人的面部可以被一種發光體（例如，行動設備的顯示光）照亮，該發光體可以與場景的環境發光體（例如，房間中的照明）顯著不同。
若ROI上的發光體具有與環境發光體顯著不同的色溫（例如，500k（開爾文）到2000k的差異），則相機可以決定全域AWB參數，這些參數可能導致所捕捉的最終影像上的色調偏移（例如，色偏）。色偏是由面部上的發光體和環境發光體之間的白平衡差異造成的。在一些實例中，相機基於環境發光體全域地應用AWB參數，而不是考慮特定的ROI（例如，面部、藝術物件等）。
在本案的實例中，相機處理器可以被配置為全域地決定AWB參數（例如，決定整個影像的發光體）以及決定影像的特定ROI的AWB參數。在本案的一些實例中，ROI是一或多個面部。然而，本案的技術可以用於任何類型的ROI。相機處理器隨後可以將全域決定的AWB參數應用於影像，隨後基於為ROI決定的AWB參數調整ROI中的圖元。
當ROI是面部時，本案的技術允許基於為面部決定的AWB參數進行靈活的局部面部顏色改善。經由應用靈活的局部面部顏色改善，相機處理器可以決定面部的特定發光體，這可以導致混合光場景中較少的色偏。面部膚色和背景白平衡皆可以單獨且靈活地微調。
在一個實例中，本案描述了一種被配置用於影像處理的裝置，該裝置包括：記憶體，該記憶體被配置為儲存由相機模組的影像感測器捕捉的第一影像；及與記憶體通訊的一或多個處理器，該一或多個處理器被配置為：接收第一影像；決定第一影像的一或多個第一自動白平衡（AWB）參數；決定第一影像的感興趣區域（ROI）的一或多個局部AWB參數；將一或多個第一AWB參數應用於第一影像或第二影像中的一或多個；及基於一或多個局部AWB參數調整第一影像或第二影像中的一或多個中的ROI。
圖1是示出可以被配置為執行本案的用於自動白平衡的技術的設備2的方塊圖。設備2可以形成影像捕捉設備或能夠編碼和發送及/或接收視訊序列的數位視訊設備的一部分。舉例而言，設備2可以包括獨立的數位相機或視訊攝像機、無線通訊設備（例如蜂巢或衛星無線電話）、個人數位助理（PDA）、平板電腦、膝上型電腦、所謂的「智慧型電話」、或其中期望影像處理的具有成像或視訊能力的任何設備。
如圖1所示，設備2包括影像處理裝置4，以儲存原始影像資料並對這種資料執行各種處理技術。裝置4可以包括所謂的「晶片組」，該晶片組包括數位訊號處理器（DSP）片上記憶體，並且可能包括硬體邏輯或電路。更通常，裝置4可以包括處理器、硬體、軟體或韌體的任意組合，並且裝置4的各種部件可以如此實現。此外，若需要，裝置4可以包括單個整合晶片或編碼器/解碼器（CODEC）。
在圖1所示的實例中，影像處理裝置4包括本端記憶體8、記憶體控制器10和影像訊號處理器6。影像訊號處理器6可以是通用處理單元，或者可以是專門設計用於手持電子設備的成像應用的處理器。如圖所示，影像訊號處理器6經由記憶體控制器10連接到本端記憶體8和外部記憶體14，並與本端記憶體8和外部記憶體14進行資料通訊。在一些實例中，本端記憶體8可以併入影像訊號處理器6中，例如，作為高速緩衝記憶體。
如圖1中所示，影像訊號處理器6可以被配置為執行AEC（自動曝光控制）程序20、AWB程序22和自動聚焦（AF）程序24。在一些實例中，影像訊號處理器6可以包括被配置為執行AEC、AWB及/或AF程序的硬體專用電路（例如，特殊應用積體電路（ASIC））。在其他實例中，影像訊號處理器6可以被配置為執行軟體及/或韌體，以執行AEC、AWB及/或AF程序。當以軟體配置時，用於AEC程序20、AWB程序22及/或AF程序24的代碼可以儲存在本端記憶體8及/或外部記憶體14中。在其他實例中，影像訊號處理器6使用硬體、韌體及/或軟體的組合來執行AEC、AWB及/或AF程序。當被配置為軟體時，AEC程序20、AWB程序22及/或AF程序24可以包括將影像訊號處理器6配置為執行各種影像處理和設備管理任務（包括本案的AWB技術）的指令。
AEC程序20可以包括用於配置、計算及/或儲存相機模組12的曝光設置的指令。曝光設置可以包括用於捕捉影像的快門速度和光圈設置。根據本案的技術，影像訊號處理器6可以使用由相機模組12捕捉的深度資訊來更好地辨識影像的主題並基於所辨識的主題進行曝光設置。AF程序24可以包括用於配置、計算及/或儲存相機模組12的自動聚焦設置的指令。
AWB程序22可以包括用於配置、計算及/或儲存AWB設置（例如，AWB增益）的指令，該AWB設置可以應用於由相機模組12捕捉的一或多個影像。在一些實例中，由AWB程序22決定的AWB增益可以應用於從其決定AWB增益的影像。在其他實例中，由AWB程序22決定的AWB增益可以應用於在從其決定AWB增益的影像之後捕捉的一或多個影像。因此，AWB增益可以應用於在從其決定AWB增益的第一影像之後捕捉的第二影像。在一個實例中，第二影像可以是緊接在從其決定AWB增益的第一影像之後捕捉的影像。亦即，若第一影像是訊框N，則應用了AWB增益的第二影像是訊框N+1。在其他實例中，第二影像可以是在從其決定AWB增益的第一影像之後兩個影像捕捉的影像。亦即，若第一影像是訊框N，則應用了AWB增益的第二影像是訊框N+2。在其他實例中，AWB增益可以應用於在時間上從第一影像進一步捕捉的影像（例如，訊框N+3、訊框N+4等）。在其他實例中，AWB增益可以應用於從其決定AWB增益的第一影像（例如，在離線模式下）。
影像訊號處理器6可以被配置為執行本案的用於靈活感興趣區域（ROI）顏色改善的技術。在本案的上下文中，ROI可以是使用者可以選擇及/或可自動偵測的影像的任何子區域。實例ROI可以包括人、面部、寵物、物件（例如，藝術品）、汽車、或影像的任何其他區域。如下文將更詳細論述的，AWB程序22可以包括全域AWB單元25和局部AWB單元23。如下文將更詳細解釋的，影像訊號處理器6可以接收由相機模組12捕捉的第一影像。影像訊號處理器6的全域AWB單元25可以決定第一影像的一或多個全域自動白平衡（AWB）參數。局部AWB單元23可以決定第一影像的ROI的一或多個局部AWB參數。影像訊號處理器6可以將一或多個全域AWB參數應用於第一影像或第二影像（例如，後續捕捉的影像）中的一或多個，並且影像訊號處理器6可以基於一或多個局部AWB參數來調整第一影像或第二影像中的一或多個中的ROI。在其他實例中，影像訊號處理器6亦可以或替代地被配置為將AWB參數應用於第一影像。
本端記憶體8儲存原始影像資料，並且亦可以儲存由影像訊號處理器6執行的任何處理之後的經處理的影像資料。本端記憶體8可由各種非暫時性記憶體設備中的任一者形成，例如，動態隨機存取記憶體（DRAM），包括同步DRAM（SDRAM）、磁阻RAM（MRAM）、電阻RAM（RRAM）或其他類型的記憶體設備。記憶體控制器10控制本端記憶體8內的記憶體組織。記憶體控制器10亦控制從本端記憶體8到影像訊號處理器6的記憶體載入以及從影像訊號處理器6到本端記憶體8的回寫。由影像訊號處理器6處理的影像可以在影像捕捉之後從相機模組12直接載入到影像訊號處理器6中，或者可以在影像處理期間儲存在本端記憶體8中。
如所指出，設備2可以包括相機模組12，以捕捉處理過的影像，儘管本案不一定局限於這一態樣。相機模組12可以包括固態感測器元件的陣列，例如，互補金屬氧化物半導體（CMOS）感測器元件、電荷耦合裝置（CCD）感測器元件等。替代地或補充地，相機模組12可以包括一組影像感測器，該組影像感測器包括佈置在相應感測器的表面上的濾色器陣列（CFA）。相機模組12可以直接耦合到影像訊號處理器6，以避免影像處理中的延遲。相機模組12可以被配置為捕捉靜止影像或全運動視訊序列，在此情況下，可以對視訊序列的一或多個影像訊框執行影像處理。
相機模組12可以向影像訊號處理器6發送圖元值（例如，以拜耳或RGB格式）及/或描述捕捉的影像的原始統計訊息。從相機模組12獲得的資訊可以用於AEC程序20和AWB程序22，如將在下文更詳細地描述。一般而言，影像訊號處理器6可以被配置為分析原始統計和深度資訊，以計算及/或決定成像參數，例如，感測器增益、R/G/B增益、AWB增益、快門速度、光圈大小等。所計算及/或決定的成像參數可以應用於捕捉的影像，應用於一或多個後續捕捉的影像，及/或發送回相機模組12，以調整曝光及/或聚焦設置。
設備2可以包括顯示器16，該顯示器顯示遵循本案中所描述的影像處理的影像。在此類影像處理之後，可以將影像寫入本端記憶體8或外部記憶體14。隨後可以向顯示器16發送處理過的影像，以呈現給使用者。顯示器16可以顯示其他資訊，包括儲存在記憶體位置（例如，外部記憶體14）中的檔的可視表示、安裝在影像訊號處理器6中的軟體應用、使用者介面、網路可存取的內容物件、以及其他資訊。
在一些實例中，設備2可以包括多個記憶體。例如，設備2可以包括外部記憶體14，該外部記憶體通常包括相對較大的儲存空間。例如，外部記憶體14可以包括DRAM或快閃記憶體。在其他實例中，外部記憶體14可以包括非揮發性記憶體或任何其他類型的資料儲存單元。與外部記憶體14相比，本端記憶體8可以包括更小且更快的儲存空間，儘管本案不一定局限於這一態樣。舉例而言，本端記憶體8可以包括SDRAM。在任何情況下，外部記憶體14和本端記憶體8僅僅是示例性的，並且可以組合到相同的記憶體部分中，或者可以以多種其他配置來實現。
設備2亦可以包括發送器（未圖示），以將處理過的影像或編碼過的影像序列發送到另一設備。本案的技術可以用於包括數位相機功能或數位視訊能力的手持無線通訊設備（例如，所謂的智慧手機）中。在這種情況下，該設備亦將包括調制器-解調器（MODEM），以便於將基頻訊號無線調制到載波波形上，從而便於調制資訊的無線通訊。
本端記憶體8、顯示器16和外部記憶體14（以及其他部件，若需要的話）可以經由通訊匯流排15耦合。多個其他元件亦可以包括在設備2中，但是為了簡單和容易說明，在圖1中沒有具體示出。圖1所示的架構僅僅是示例性的，因為本文描述的技術可以用各種其他架構來實現。
如前述，對於數位相機應用或向使用者呈現影像的其他應用，白平衡可能是一個重要的程序。白平衡通常用於校正由影像感測器捕捉的影像，以便更好地將捕捉的影像的顏色與人類觀察者對被捕捉物件的感知體驗相匹配。本質上，白平衡是辨識影像中的一或多個顏色的程序，該等顏色在辨識的照明下應該呈現白色。隨後可以將增益及/或其他縮放應用於影像的各種顏色通道，使得白色區域實際上看起來是白色的。白平衡通常是指縮放顏色通道以調整發光體的程序。與數位影像相關聯的顏色通道的縮放通常亦可以經由使用來自白平衡程序的增益調整那些顏色來提高影像的飽和色區域的彩色保真度。
然而，白平衡取決於為影像辨識的發光體。若辨識出錯誤的發光體，則白平衡在某些情況下實際上會損害影像品質。然而，若辨識出正確的發光體，則白平衡通常會提高影像品質。根據本案的技術，描述了用於提高與影像相關聯的實際發光體的決定的技術。具體而言，本案描述影像訊號處理器6藉以決定特定ROI（例如，面部、人、寵物、物件等）的AWB參數以及整個影像的全域AWB參數的技術。影像處理器6可以使用為特定ROI決定的AWB參數來調整該ROI中的AWB，以考慮可能具有多個發光體的場景。當整個場景的發光體與照亮ROI的發光體顯著不同時（例如，色溫相差500k到2000k），這種技術可能是有用的。
圖2是更詳細地示出執行自動白平衡程序的影像訊號處理器6的操作的實例的方塊圖。影像訊號處理器6可以被配置為執行影像訊號處理（ISP）管線30，以處理輸入到影像訊號處理器6的影像資料。圖2的實例集中在AWB程序22上。然而，ISP管線30亦可以包括可與AWB程序22並行或串列執行的AEC程序20和AF程序24。
在圖2的實例中，影像訊號處理器6從相機模組12接收輸入影像資料。在一些實例中，例如，在行動設備中，影像訊號處理器6可以被配置為在所謂的「預覽模式」期間連續接收（例如，以預定畫面播放速率）由相機模組12捕捉的影像。在預覽模式期間，相機模組12可以被配置為捕捉影像和預定的畫面播放速率。預定的畫面播放速率可以取決於操作模式和相機模組12可用的光量。實例畫面播放速率可以包括10 fps（每秒訊框數）、24 fps、30 fps或更多。
在預覽模式中，由相機模組12捕捉的影像可以顯示在顯示器16上，使得使用者可以觀看場景。在預覽模式期間捕捉的影像可以臨時儲存在緩衝器中，隨後可以丟棄。使用者可以選擇快門按鈕來永久捕捉和儲存一或多個影像。如將在下文更詳細解釋的，在一些實例中，影像訊號處理器6可以被配置為根據在預覽模式期間捕捉的影像及/或回應於快門按鈕的選擇而捕捉的影像來決定AWB參數。影像訊號處理器6隨後可以被配置為將所決定的AWB參數應用於後續捕捉的影像。
在一個實例中，後續捕捉的影像可以是緊接在從其決定AWB增益的第一影像之後捕捉的影像。亦即，若第一影像是訊框N，則應用了AWB增益的後續捕捉的影像是訊框N+1。在其他實例中，後續捕捉的影像可以是在從其決定AWB增益的第一影像之後兩個影像捕捉的影像。亦即，若第一影像是訊框N，則應用了AWB增益的後續捕捉的影像是訊框N+2。在其他實例中，AWB增益可以應用於在時間上從第一影像進一步捕捉的影像（例如，訊框N+3、訊框N+4等）。後續捕捉的影像可以是在預覽模式期間捕捉的後續捕捉的影像及/或回應於快門按鈕的選擇而捕捉的後續捕捉的影像。
接收的輸入影像資料包括影像的顏色資料。為輸入影像接收的顏色資料可以是拜耳格式。不是為影像的每個圖元捕捉紅色（R）、綠色（G）和藍色（B）值，而是影像感測器可以使用拜耳濾波器馬賽克（或者更通常，濾色器陣列（CFA）），其中數位光電感測器的每個光電感測器捕捉RGB顏色中不同的一種。拜耳濾波器馬賽克的典型濾波器樣式包括50%綠色濾波器、25%紅色濾波器和25%藍色濾波器。
拜耳處理單元32可以對由影像訊號處理器6接收的原始拜耳資料執行一或多個初始處理技術，包括例如黑色位準減法、滾降校正（rolloff correction）、壞圖元校正、及/或去噪。去馬賽克處理單元34可以被配置為將處理過的拜耳影像資料轉換成影像的每個圖元的RGB值。如前述，拜耳資料可以僅包括影像的每個圖元的一個顏色通道（R、G或B）的值。去馬賽克處理單元34可經由從附近圖元的顏色通道值進行內插來決定圖元的其他顏色通道的值。
AWB程序22分析與所捕捉的影像相關的資訊，以從多個可能的發光體中決定發光體，並決定AWB增益，以應用於後續捕捉的影像及/或用於決定AWB增益的所捕捉的影像。圖2圖示AWB程序22使用全域AWB單元25決定AWB參數的實例。全域AWB單元25使用所謂的「灰色世界假設」技術來決定AWB參數。下文將參考圖3論述與使用局部AWB單元23來決定局部AWB參數（例如，ROI的AWB參數）相關的技術。
如圖2中所示，到全域AWB單元25的實例輸入包括所捕捉的影像的拜耳網格（BG）統計（BG STATS）、曝光指數（例如，所捕捉的影像的亮度）（EXP INDEX）和輔助資訊（AUX INFO），這些資訊可以包括深度資訊。BG統計表示拜耳域中捕捉的影像中的實際原始顏色值。然而，應當理解，不必使用BG統計，相反，去馬賽克之後的每個圖元的RGB值亦可以被全域AWB單元25使用。
統計篩選程序38辨識影像中接近於如由各種不同發光體定義的灰色調（例如，稱為近灰色圖元）的圖元值。亦即，對於複數個發光體中的每一個，什麼顏色值被認為是灰色的可能是不同的。可以預先定義各種發光體的灰階值，並將其儲存為每個發光體的參考點。
作為一個實例，可以使用根據下表1校準的參考點來定義七種不同的發光體。 表1
發光體 R/G比 B/G比
D65（室外-正午） 0.65 0.83
陰影（室外） 0.60 0.90
白熾燈（室內） 1.10 0.51
冷白（室內） 0.76 0.54
暖螢光（室內） 0.87 0.59
地平線（室外） 1.28 0.46
D50（室外） 0.77 0.69
表1之每一者發光體是預定義的標準，其意欲表示由相機模組12所使用的給定感測器模組的可見光的理論發光體。顏色（包括灰階值和白色值）在不同的光源下對人眼而言將看起來是不同的。統計篩選程序38可以考慮比表1所示更多或更少的發光體。一般而言，統計篩選程序38可以考慮複數個室內發光體（例如，由各種類型的燈泡產生的）以及複數個不同的室外發光體（例如，由太陽在一天的不同部分或在不同條件下產生的）。
從表1中可以看出，可以基於圖元中的R/G值及/或圖元中的B/G值的比來定義參考點灰階值。基於這些參數，可以在二維顏色空間中為每個相應的發光體定義灰點線。出於比較的目的，亦可以獲得Cb-Cr（藍色和紅色色度值）域上的邊界矩形，以共同限定所有灰點線的邊界。
統計篩選程序38基於影像的統計（例如，影像的圖元或區域的R/G及/或B/G比）辨識複數個不同發光體的影像的近灰色圖元。在一些實例中，統計篩選程序38基於為不同發光體（例如，參考點）定義的灰點線和圍繞灰點線定義的有界體積（例如，圓柱形有界體積）來辨識近灰色圖元。例如，可以在立體色彩空間中為不同的發光體定義灰點線。這些灰點線定義了相應發光體的實際灰色，並且通常在立體色彩空間內對於不同的發光體是不同的。換言之，不同的發光體在同一顏色空間內定義不同的灰點線。對於與不同發光體相關聯的每個灰點線，圍繞相應的灰點線定義圓柱形有界體積。在一個實例中，可以使用大約六個圖元的半徑來定義圍繞相應灰點線的圓柱形有界體積。全域AWB單元25可以選擇具有與相應有界體積相關聯的最大數量的近灰色圖元的發光體。
在收集了各種發光體的統計之後，啟發式程序40可以決定所捕捉的影像的初始自動白平衡增益。啟發式程序40可以被配置為分析影像的所收集的統計（例如，每個發光體辨識的近灰色圖元的數量）。在一些實例中，啟發式程序40至少部分地基於相應發光體的圖元計數，基於為不同發光體辨識的近灰色圖元來選擇一種發光體。換言之，啟發式程序40可以使用與最可能的相應發光體相關聯的圖元統計，來決定自動白平衡增益。
最可能的相應發光體可以是影像的大多數圖元（例如，R/G圖元統計）落在該發光體的限定的邊界體積內的發光體。在此意義上，本案的技術可以在某種程度上依賴於「灰色世界假設」，只要影像的大多數圖元落入限定的邊界體積內的發光體可以用於決定自動白平衡增益。然而，其他因素亦可以與圖元計數一起用於決定自動白平衡增益，包括影像中綠色圖元的數量、影像中藍色圖元的數量、及/或影像的圖元的強度。所決定的自動白平衡增益是縮放因數，其可以乘以影像的圖元值，以便使影像中的白色和灰色圖元對於特定發光體正確地呈現白色和灰色。
由啟發式程序40決定的自動白平衡增益可以用於決定當前發光體。在這種情況下，「當前」發光體是與正在處理的當前影像的照明條件最緊密匹配的發光體。複數個預定義發光體中的每一個可以具有相關聯的預定義自動白平衡增益。啟發式程序40可以將使用上述技術決定的自動白平衡增益與和複數個發光體相關聯的預定義自動白平衡增益進行比較。啟發式程序40選擇具有與所決定的自動白平衡增益最緊密匹配的相關預定義自動白平衡增益的發光體，作為當前發光體。由啟發式程序40選擇的當前發光體可以由相關色溫（CCT）來定義。CCT是相對於黑體的光源的顏色外觀的度量。
此外，基於所決定的當前發光體的CCT，啟發式程序40可以可選地決定顏色校正矩陣（CCM），以應用於白平衡調整後的影像。CCM可以用於顏色平衡程序中以調整顏色的強度。通常，考慮到特定的CCT，優選地調整影像中的顏色，使更暖色調或更冷色調更普遍。
一旦AWB增益由啟發式程序40決定，在一些實例中，若需要，調整程序42可以對AWB增益應用調整。隨後，調整程序42輸出最終的AWB增益以及CCT和CCM，以用於從其決定AWB增益的當前影像上及/或在捕捉當前影像之後由相機模組12捕捉的一或多個未來影像上。AWB增益、CCT和CCM可以被稱為AWB參數。在本案的上下文中，將AWB參數應用於影像可以包括將AWB增益、CCT或CCM中的一或多個應用於影像。在一個實例中，應用AWB參數可以包括僅將AWB增益應用於影像。
隨後，影像訊號處理器6可以將輸出AWB增益應用於一或多個當前或後續影像。例如，影像訊號處理器6可以將AWB增益應用於當前影像及/或一或多個後續影像的色度通道（例如，RGB）。作為一個實例，影像訊號處理器6可以決定影像中的白色參考區域，隨後，經由在顏色通道上應用選定增益（針對該發光體）來調整該區域以及影像的其他區域，以便提高白色參考區域的白度。將這些增益應用於顏色通道亦可以提高呈現高飽和顏色的影像區域的顏色保真度。
在AWB程序22完成之後，其他處理單元36可以對影像應用額外處理。額外處理可以包括影像的顏色、色調及/或空間處理。例如，其他處理單元36可以使用從所決定的當前發光體的CCT產生的CCM來對影像應用顏色平衡處理。
圖3是示出混合光環境中的ROI的色調偏移的實例影像。具體而言，圖3圖示在混合光環境中面部ROI的面部色調偏移的實例。如圖3所示，影像100中圖示的人的面部顏色（例如，膚色）可能受到場景中的多個發光體的影響。如圖3所示，場景中的主發光體（例如，全域發光體）來自房間中的照明（例如，在該實例中，比面部上的發光體較低的CCT發光體）。然而，影像100中的人的面部被行動電話的顯示光（例如，相對於房間中的照明，較高的CCT發光體）照亮。在多個發光體在CCT上具有大差異（例如，500k到2000k的差異）的實例中，若AWB增益或其他AWB參數（例如，所決定的CCT或CCM）僅基於所決定的全域發光體，則ROI的顏色情況（在這種情況下，膚色）可能受到影響。
圖4是示出實例自動白平衡決策的概念圖。如前述，膚色偏移可能由照亮人的面部的發光體（例如，相對較高的CCT局部發光體）和影像的全域環境的發光體（例如，相對較低的CCT全域發光體）之間的白平衡（WB）差異引起。若全域地應用白平衡決策，而不是考慮特定的感興趣區域（例如，面部），則在由本端發光體照亮的影像區域中，色偏可能看起來不正確。例如，在圖4中，全域發光體是相對較低的CCT發光體（例如，與局部發光體相比），導致中性的、稍微的暖色偏。然而，與全域發光體相比，局部發光體（例如，行動設備螢幕）是相對較高的CCT發光體。僅將全域發光體（例如，較低的CCT發光體）應用於場景將導致膚色具有藍投射。
本案描述了允許決定具有多個發光體的場景的AWB參數的技術。具體而言，本案描述了其中除了特定ROI的AWB參數之外亦決定全域發光體（例如，整個場景）的AWB參數的技術。本案描述了其中ROI是人的面部的特定技術。然而，應當理解，本案的技術可以與任何ROI一起使用。
圖5是示出組合的全域和局部自動白平衡程序的方塊圖。在圖5中，除了全域AWB單元25之外，局部AWB單元23形成AWB程序22（見圖2）。在圖5的實例中，統計處理模組110和應用模組120可以是硬體、韌體及/或軟體的任意組合，並且可以由影像訊號處理器6執行。如圖5所示，應用模組120可以包括傳統的WB/顏色模組106和基於ROI的調整模組108。
在圖5的實例中，影像訊號處理器6可以被配置為執行局部ROI（例如，面部）顏色改善技術，這些技術將局部ROI和全域環境（例如，整個影像）的白平衡和顏色程序分開。圖6圖示實例影像200，該影像圖示表示供全域AWB單元25處理的全域環境的全域區域202（例如，整個影像）以及表示供局部AWB單元23處理的ROI的實例的局部區域204。
回到圖5，ROI單元102和統計處理單元110可以被配置為接收一或多個影像101。影像101可以包括由相機模組12在預覽模式下捕捉的連續影像。ROI單元102可以被配置為辨識所捕捉的影像101的第一影像中的特定ROI。ROI可以是影像的任何子區域。
在一些實例中，ROI單元102可以被配置為自動偵測第一影像中的一或多個ROI，並提供ROI的邊界框。例如，ROI單元102可以被配置為在第一影像中執行自動面部偵測，並且使用面部周圍的邊界框的座標向局部AWB單元23提供面部的位置。在其他實例中，ROI單元102可以指示來自使用者輸入（例如，敲擊輸入、手勢輸入、語音輸入）、音訊輸入、顯著性偵測、影像分割技術（包括基於人工智慧的皮膚偵測或皮膚色度濾波）或其他ROI偵測技術的ROI（例如，面部、寵物、藝術品、其他物體等）的邊界框。邊界框定義了ROI在第一影像中的位置。
影像處理器6可以決定第一影像的一或多個第一AWB參數以及第一影像的ROI的一或多個第二AWB參數。在一些實例中，第一AWB參數可以是整個影像的AWB參數，並且第二AWB參數可以是ROI的AWB參數。在其他實例中，第一AWB參數是小於影像整體但大於ROI的影像的區域的AWB參數。
為了決定第一和第二AWB參數，影像處理器6可以使用全域AWB單元25和局部AWB單元23兩者對包括ROI的影像執行統計處理110。全域AWB單元25可以使用任何AWB技術（包括上文參考圖2描述的AWB技術）來決定影像的全域發光體和相關聯的AWB參數（例如，第一AWB參數）。第一AWB參數及/或第二AWB參數可以包括AWB增益、相關色溫（CCT）或顏色校正矩陣（CCM）中的一或多個。
局部AWB單元23可以決定由ROI單元102提供的ROI的局部發光體和相關聯的AWB參數（例如，AWB增益、CCT及/或CCM）。在一些實例中，局部AWB單元23可為多個ROI（例如，影像中的多個面部或其他ROI）中的每一個決定單獨的AWB參數。在一些實例中，局部AWB單元23可以使用與全域AWB單元25相同的技術但僅使用位於特定ROI中的圖元資料來決定AWB參數。以這種方式，可以從全域發光體更準確地決定局部發光體。在其他實例中，局部AWB單元23可以在決定局部AWB參數時進一步考慮由全域AWB單元25產生的AWB參數（例如，程序結果）。
在一些實例中，在應用所決定的AWB參數之前，影像訊號處理器6可執行精確ROI處理104。一般而言，精確ROI處理104可以被配置為決定ROI邊界框的特定子區域，該子區域包括期望應用局部AWB參數的ROI的特徵。在一些實例中，僅將局部AWB參數應用於所辨識的ROI的某些部分可能是有益的，因為不正確的色偏在特定區域（例如，面部ROI的皮膚區域）中可能最為明顯。
作為一個實例，若ROI是繪畫，則可能期望僅將局部AWB參數應用於實際的繪畫區域，而不是應用於訊框。作為另一實例，精確ROI處理104可以決定面部ROI的哪些部分是皮膚，哪些部分不是皮膚（例如，頭髮、帽子、眼鏡、面具等）。精確ROI處理104可以使用一或多個分割方法（例如，基於人工智慧（AI）的皮膚偵測及/或皮膚色度濾波）來決定ROI的皮膚區域。
圖7是示出面部ROI的皮膚區域偵測的概念圖。如圖7所示，包括戴著面具的面部。皮膚偵測的ROI 226以白色顯示皮膚區域，並且以黑色顯示非皮膚區域（例如，面具）。ROI 228包括戴著太陽鏡的面部。皮膚偵測的ROI 230以白色顯示皮膚區域，並且以黑色顯示非皮膚區域（例如，太陽鏡）。圖8是示出具有面部感興趣區域的影像250的概念圖。在圖8的ROI 252中，皮膚被高亮顯示為白色。
在決定第一和第二AWB參數（例如，全域和局部AWB參數）之後，影像訊號處理器6可以將第一AWB參數應用於第一影像的至少一部分，並將第二AWB參數應用於第一影像的ROI。如前述，影像訊號處理器6亦可以被配置為將所決定的第一AWB參數和第二AWB參數應用於一或多個第二影像（例如，在第一影像之後捕捉的影像）。
當使用精確ROI處理時，基於ROI的調整模組108可以使用局部AWB參數對ROI的皮膚區域應用調整。在一些實例中，應用模組120的基於ROI的調整模組108可以在應用模組120的傳統的白平衡/顏色模組106將全域AWB參數應用於整個影像之後應用調整（例如，如上文參考圖2所述）。亦即，基於ROI的調整模組108可以在已將全域AWB參數應用於整個影像之後調整ROI的皮膚區域的白平衡。如前述，全域AWB參數和局部AWB參數兩者可以應用於在從其決定AWB參數的影像之後捕捉的影像。在其他實例中，全域AWB參數和局部AWB參數可以應用於從其決定AWB參數的同一影像。
在一些實例中，可以跳過精確ROI處理104。在該實例中，基於ROI的調整模組108可以將局部AWB參數應用於ROI中的所有圖元。
在一些實例中，基於ROI的調整模組108可以使用網格及/或基於網路的模組來應用局部AWB參數。例如，基於ROI的調整模組108可以使用局部AWB參數，以經由調整網格或網路表中的值（例如，網格白平衡技術及/或鏡頭陰影校正）來調整ROI的皮膚區域（或整個ROI）。在其他實例中，基於ROI的調整模組108可以使用基於圖元的模組來應用局部AWB參數。例如，基於ROI的調整模組108可以使用局部AWB參數，以經由逐圖元地調整圖元值（例如，使用後處理顏色演算法或其他圖元處理技術）來調整ROI的皮膚區域（或整個ROI）。
圖9是示出另一組合的全域和面部自動白平衡程序的方塊圖。在圖9中，全域AWB單元400應用場景分析器（SA）高級灰色世界（AGW）AWB技術（例如，如上面在圖2中所述），以獲得AGW結果。局部AWB單元402是面部AWB單元。面部AWB單元使用面部ROI 404中的圖元值以及AGW結果（例如，全域AWB參數）來決定局部AWB參數。精確ROI處理406被實現為皮膚色度濾波。使用傳統的白平衡（WB）程序408（例如，如圖2中所述）應用全域AWB參數，並且使用鏡頭陰影校正410將局部AWB參數應用於面部ROI的分割的皮膚區域。
圖10是示出實例鏡頭陰影校正（LSC）程序的概念圖。如圖10所示，部分影像253的面部ROI 254被劃分成LSC網格。LSC網格包括複數個X方向格線256和複數個Y方向格線258。LSC程序（例如，圖9的鏡頭陰影校正410）可以對LSC網格的每個網格區域內的圖元應用LSC網格增益。一個實例網格區域是網格區域259，該區域完全在面部ROI 254內。如放大影像260所示，網格區域262可以包括面部ROI 254內和面部ROI 254外的圖元，如在面部ROI 254外的網格區域262的角264所示。網格區域262可以被稱為邊界網格。
LSC網格增益等於x方向權重（WeightX）乘以y方向權重（WeightY）和局部調整增益（LAG）。例如，LSC網格增益=WeightX*WeightY*LAG。從局部AWB參數中決定局部調整增益。在圖9的實例中，局部調整增益由WB程序408發送。LSC程序根據特定LSC網格區域相對於ROI（例如，面部ROI 254）的比率來決定WeightX和WeightY。亦即，分別基於特定LSC網格區域在X和Y方向上在ROI內的程度來決定WeightX和WeightY。在圖10的實例中，網格區域259完全在面部ROI 254內。這樣，WeightX和WeightY皆是1。這樣，LSC程序對網格區域259內的所有圖元應用等於局部調整增益的LSC網格增益。
對於邊界網格，例如，網格區域262，亦基於特定LSC網格區域相對於ROI的比率來決定WeightX和WeightY。如放大影像260所示，網格區域262在X和Y方向上具有1個單位乘1個單位的尺寸。在X方向上，網格區域262的0.5在面部ROI 254內。在Y方向上，網格區域262的0.25在面部ROI 254內。因此，對於網格區域262，LSC程序將決定WeightX是0.5，WeightY是0.25。網格區域262的LSC網格增益將是0.5*0.25*LAG。完全在面部ROI之外的網格區域將具有等於0的權重。因此，將不會應用LSC網格增益。經由以這種方式應用LSC網格增益，可以在面部ROI內的圖元和面部ROI外的圖元之間實現平滑過渡，即使面部ROI在訊框之間移動。
圖11是示出在混合光場景中用全域自動白平衡程序產生的第一影像270和在混合光場景中用本案的組合的全域和面部自動白平衡程序產生的第二影像272的概念圖。僅使用全域自動白平衡程序，第一影像可能導致面部上的輕微冷的情況，這可能看起來不自然，並且對於一些使用者來說可能是不期望的。經由應用本案的靈活的局部面部顏色改善，可以在混合光場景中考慮面部膚色，這可以導致較少的色偏。此外，面部膚色和背景白平衡兩者可以單獨且靈活地微調。在圖11的實例中，與第一影像270相比，第二影像272的面部ROI在面部ROI上具有通常更暖的投射。更暖的投射通常可能是更理想的，因為更暖的投射可以更好地反映面部的自然顏色。
圖12是示出本案的實例方法的流程圖。圖12的技術可由一或多個處理器執行，包括圖1的影像訊號處理器6。
在本案的一個實例中，影像訊號處理器6可以被配置為接收第一影像（300），並決定第一影像的一或多個第一（例如，全域）AWB參數（302）。影像訊號處理器6亦可以被配置為決定第一影像的感興趣區域（ROI）的一或多個第二（例如，局部）AWB參數（304）。影像訊號處理器6可以將一或多個全域AWB參數應用於第一影像或第二影像（例如，後續捕捉的影像）中的一或多個（306），並且基於一或多個局部AWB參數將第二AWB參數應用於第一影像或第二影像中的一或多個中的ROI（308）。
在一個實例中，ROI是人的面部。在該實例中，影像訊號處理器6亦可以被配置為偵測面部。在其他實例中，影像訊號處理器6亦可以被配置為偵測面部中的皮膚的區域。例如，影像訊號處理器6可以被配置為使用一或多個分割技術來偵測面部中的皮膚的區域，其中分割技術包括基於人工智慧的皮膚偵測或皮膚色度濾波中的一或多個。
在另一實例中，影像訊號處理器6可以被配置為基於一或多個局部AWB參數來調整第一影像或第二影像中的一或多個的面部中的皮膚的區域。在另一實例中，影像訊號處理器6可以被配置為使用網格白平衡技術、鏡頭陰影校正技術、或圖元處理技術中的一或多個，基於一或多個局部AWB參數，來調整第一影像或第二影像中的一或多個中的ROI。
在本案的實例中，一或多個全域AWB參數或一或多個局部AWB參數包括AWB增益、相關色溫（CCT）或顏色校正矩陣（CCM）中的一或多個。
在另一實例中，為了決定第一影像的ROI的一或多個局部AWB參數，影像訊號處理器6可以被配置為部分地基於一或多個全域AWB參數來決定第一影像的ROI的一或多個局部AWB參數。
在另一實例中，為了決定第一影像的一或多個全域AWB參數，影像訊號處理器6可以被配置為使用灰色世界技術來決定第一影像的一或多個全域AWB參數。
下文描述了本案的其他說明性態樣。
態樣1.一種被配置用於影像處理的裝置，該裝置包括：記憶體，該記憶體被配置為儲存由相機模組的影像感測器捕捉的第一影像；及與記憶體通訊的一或多個處理器，該一或多個處理器被配置為：接收第一影像；決定該第一影像的一或多個第一自動白平衡（AWB）參數；決定該第一影像的感興趣區域（ROI）的一或多個第二AWB參數；及將該一或多個第一AWB參數應用於該第一影像或第二影像中的一或多個的至少一部分，並且將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI。
態樣1A.根據態樣1之裝置，其中該一或多個處理器亦被配置為：將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個；及基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣2.根據態樣1之裝置，其中該ROI包括人的皮膚。
態樣3.根據態樣2之裝置，其中該一或多個處理器亦被配置為：偵測面部。
態樣4.根據態樣3之裝置，其中該一或多個處理器亦被配置為：偵測該面部中的該皮膚的區域。
態樣5.根據態樣4之裝置，其中為了偵測該面部中的皮膚的區域，該一或多個處理器被配置為：使用一或多個分割技術來偵測該面部中的皮膚的區域，其中該分割技術包括人工智慧皮膚偵測或皮膚色度濾波中的一或多個。
態樣6.根據態樣4之裝置，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該一或多個處理器被配置為：基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的皮膚的區域。
態樣7.根據態樣1之裝置，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該一或多個處理器亦被配置為：使用網格白平衡技術、鏡頭陰影校正技術、或圖元處理技術中的一或多個，基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣8.根據態樣1之裝置，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括AWB增益、相關色溫（CCT）、或顏色校正矩陣（CCM）中的一或多個。
態樣9.根據態樣1之裝置，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該一或多個處理器亦被配置為：部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣9A.根據態樣1之裝置，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該一或多個處理器亦被配置為：僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣10.根據態樣1之裝置，其中為了決定該第一影像的一或多個第一AWB參數，該一或多個處理器亦被配置為：使用灰色世界技術來決定該第一影像的該一或多個第一AWB參數。
態樣11.根據態樣1之裝置，亦包括：相機模組，該相機模組被配置為捕捉該第一影像。
態樣12.根據態樣1之裝置，其中該相機模組是行動電話的一部分。
態樣13.一種用於影像處理的方法，該方法包括：接收第一影像；決定該第一影像的一或多個第一自動白平衡（AWB）參數；決定該第一影像的感興趣區域（ROI）的一或多個第二AWB參數；及將該一或多個第一AWB參數應用於該第一影像或第二影像中的一或多個的至少一部分，並且將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI。
態樣13A.根據態樣13之方法，亦包括：將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個；及基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣14.根據態樣13之方法，其中該ROI包括人的皮膚。
態樣15.根據態樣14之方法，亦包括：偵測面部。
態樣16.根據態樣15之方法，亦包括：偵測該面部中的皮膚的區域。
態樣17.根據態樣16之方法，其中偵測該面部中的皮膚的區域包括：使用一或多個分割技術來偵測該面部中的皮膚的區域，其中該分割技術包括人工智慧皮膚偵測或皮膚色度濾波中的一或多個。
態樣18.根據態樣16之方法，其中基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI包括：基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的皮膚的區域。
態樣19.根據態樣13之方法，其中基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI包括：使用網格白平衡技術、鏡頭陰影校正技術、或圖元處理技術中的一或多個，基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣20.根據態樣13之方法，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括AWB增益、相關色溫（CCT）、或顏色校正矩陣（CCM）中的一或多個。
態樣21.根據態樣13之方法，其中決定該第一影像的該ROI的該一或多個第二AWB參數包括：部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣21A.根據態樣13之方法，其中決定該第一影像的該ROI的該一或多個第二AWB參數包括：僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣22.根據態樣13之方法，其中決定該第一影像的該一或多個第一AWB參數包括：使用灰色世界技術來決定該第一影像的該一或多個第一AWB參數。
態樣23.一種被配置用於相機處理的裝置，該裝置包括：用於執行根據態樣13-22之方法的部件。
態樣24.一種儲存指令的非暫時性電腦可讀取儲存媒體，該等指令在被執行時使得該一或多個處理器執行根據態樣13-22之方法。
態樣25.一種被配置用於影像處理的裝置，該裝置包括：記憶體，該記憶體被配置為儲存由相機模組的影像感測器捕捉的第一影像；及與記憶體通訊的一或多個處理器，該一或多個處理器被配置為：接收第一影像；決定該第一影像的一或多個第一自動白平衡（AWB）參數；決定該第一影像的感興趣區域（ROI）的一或多個第二AWB參數；及將該一或多個第一AWB參數應用於該第一影像或第二影像中的一或多個的至少一部分，並且將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI。
態樣25A.根據態樣25之裝置，其中該一或多個處理器亦被配置為：將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個；及基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣26.根據態樣25之裝置，其中該ROI包括人的皮膚。
態樣27.根據態樣26之裝置，其中該一或多個處理器亦被配置為：偵測面部。
態樣28.根據態樣27之裝置，其中該一或多個處理器亦被配置為：偵測該面部中的皮膚的區域。
態樣29.根據態樣28之裝置，其中為了偵測該面部中的皮膚的區域，該一或多個處理器被配置為：使用一或多個分割技術來偵測該面部中的皮膚的區域，其中該分割技術包括人工智慧皮膚偵測或皮膚色度濾波中的一或多個。
態樣30.根據態樣28之裝置，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該一或多個處理器被配置為：基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的皮膚的區域。
態樣31.根據態樣25-30中任一態樣所述的裝置，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該一或多個處理器亦被配置為：使用網格白平衡技術、鏡頭陰影校正技術、或圖元處理技術中的一或多個，基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣32.根據態樣25-31中任一態樣所述的裝置，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括AWB增益、相關色溫（CCT）或顏色校正矩陣（CCM）中的一或多個。
態樣33.根據態樣25-32中任一態樣所述的裝置，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該一或多個處理器亦被配置為：部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣33A.根據態樣25-32中任一態樣所述的裝置，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該一或多個處理器亦被配置為：僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣34.根據態樣25-33中任一態樣所述的裝置，其中為了決定該第一影像的一或多個第一AWB參數，該一或多個處理器亦被配置為：使用灰色世界技術來決定該第一影像的該一或多個第一AWB參數。
態樣35.根據態樣25-34中任一態樣所述的裝置，亦包括：相機模組，該相機模組被配置為捕捉該第一影像。
態樣36.根據態樣25-35中任一態樣所述的裝置，其中該相機模組是行動電話的一部分。
態樣37.一種用於影像處理的方法，該方法包括：接收第一影像；決定該第一影像的一或多個第一自動白平衡（AWB）參數；決定該第一影像的感興趣區域（ROI）的一或多個第二AWB參數；及將該一或多個第一AWB參數應用於該第一影像或第二影像中的一或多個的至少一部分，並且將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI。
態樣37A.根據態樣37之方法，亦包括：將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個；及基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣38.根據態樣37之方法，其中該ROI包括人的皮膚。
態樣39.根據態樣38之方法，亦包括：偵測面部。
態樣40.根據態樣39之方法，亦包括：偵測該面部中的皮膚的區域。
態樣41.根據態樣40之方法，其中偵測該面部中的皮膚的區域包括：使用一或多個分割技術來偵測該面部中的皮膚的區域，其中該分割技術包括人工智慧皮膚偵測或皮膚色度濾波中的一或多個。
態樣42.根據態樣40之方法，其中基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI包括：基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的皮膚的區域。
態樣43.根據態樣37-42中任一態樣所述的方法，其中基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI包括：使用網格白平衡技術、鏡頭陰影校正技術、或圖元處理技術中的一或多個，基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
態樣44.根據態樣37-43中任一態樣所述的方法，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括AWB增益、相關色溫（CCT）或顏色校正矩陣（CCM）中的一或多個。
態樣45.根據態樣37-44中任一態樣所述的方法，其中決定該第一影像的該ROI的該一或多個第二AWB參數包括：部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣45A.根據態樣37-44中任一態樣所述的方法，其中決定該第一影像的該ROI的該一或多個第二AWB參數包括：僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數。
態樣46.根據態樣37-45中任一態樣所述的方法，其中決定該第一影像的該一或多個第一AWB參數包括：使用灰色世界技術來決定該第一影像的該一或多個第一AWB參數。
在一或多個實例中，所描述的功能可以以硬體、軟體、韌體或其任意組合來實現。若以軟體實現，則這些功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或在其上傳輸，並由基於硬體的處理單元執行。電腦可讀取媒體可以包括：電腦可讀取儲存媒體，該媒體對應於諸如資料儲存媒體之類的有形媒體；或者通訊媒體，包括例如根據通訊協定便於將電腦程式從一個地方傳送到另一個地方的任何媒體。以這種方式，電腦可讀取媒體通常可以對應於（1）非暫時性的有形電腦可讀取儲存媒體，或者（2）諸如訊號或載波之類的通訊媒體。資料儲存媒體可以是可由一或多個電腦或者一或多個處理器存取以檢索用於實現本案中描述的技術的指令、代碼及/或資料結構的任何可用媒體。電腦程式產品可以包括電腦可讀取媒體。
作為實例而非限制，這種電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置、快閃記憶體，或任何其他可用於以指令或資料結構的形式儲存所需程式碼並可由電腦存取的媒體。此外，任何連接皆被恰當地稱為電腦可讀取媒體。例如，若使用同軸電纜、光纖電纜、雙絞線、數位用戶線（DSL）或諸如紅外、無線電和微波的無線技術從網站、伺服器或其他遠端源發送指令，則同軸電纜、光纖電纜、雙絞線、DSL或諸如紅外、無線電和微波的無線技術被包括在媒體的定義中。然而，應該理解，電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、訊號或其他暫時性媒體，而是實際上涉及非暫時性的有形儲存媒體。如本文使用的，磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光學光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地再現資料，而光碟用鐳射光學地再現資料。以上的組合亦應該被包括在電腦可讀取媒體的範疇內。
指令可以由一或多個處理器執行，諸如一或多個數位訊號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他等效整合或個別邏輯電路。因此，如本文使用的術語「處理器」可以指任何前述結構或者適合於實現本文描述的技術的任何其他結構。此外，在一些態樣，本文描述的功能可以在被配置用於編碼和解碼的專用硬體及/或軟體模組中提供，或者併入於組合的轉碼器中。此外，這些技術可以完全在一或多個電路或邏輯元件中實現。
本案的技術可以在多種設備或裝置中實現，包括無線手持機、積體電路（IC）或IC集合（例如，晶片集合）。在本案中描述了各種部件、模組或單元，以強調經配置以執行所揭示技術的設備的功能態樣，但不一定需要由不同硬體單元來實現。實際上，如前述，各種單元可以結合合適的軟體及/或韌體組合於轉碼器硬體單元中或由交互動操作硬體單元的集合提供，該硬體單元包括如上文所描述的一或多個處理器。
已經描述了各種實例。這些和其他實例在以下請求項的範疇內。
2:設備 4:影像處理裝置 6:影像訊號處理器 8:本端記憶體 10:記憶體控制器 12:相機模組 14:外部記憶體 15:通訊匯流排 16:顯示器 20:AEC程序 22:AWB程序 23:局部AWB單元 24:AF程序 25:全域AWB單元 30:影像訊號處理（ISP）管線 32:拜耳處理單元 34:去馬賽克處理單元 36:其他處理單元 38:統計篩選程序 40:啟發式程序 42:調整程序 100:影像 101:影像 102:ROI單元 104:精確ROI處理 106:白平衡/顏色模組 108:基於ROI的調整模組 110:統計處理模組 120:應用模組 200:影像 202:全域區域 204:局部區域 220:ROI 222:ROI 224:ROI 226:ROI 228:ROI 230:ROI 250:影像 252:ROI 253:部分影像 254:ROI 256:X方向格線 258:Y方向格線 259:網格區域 260:放大影像 262:網格區域 264:角 270:第一影像 272:第一影像 300:方塊 302:方塊 304:方塊 306:方塊 308:方塊 400:全域AWB單元 402:局部AWB單元 404:面部ROI 406:精確ROI處理 408:白平衡（WB）程序 410:鏡頭陰影校正 X:方向 Y:方向
圖1是根據本案的可以實現用於決定支援自動白平衡程序的發光體的技術的示例性設備的方塊圖。
圖2是示出執行自動白平衡程序的影像訊號處理器的操作的方塊圖。
圖3是示出混合光環境中膚色偏移的實例影像。
圖4是示出實例自動白平衡決策的概念圖。
圖5是示出組合的全域和面部自動白平衡程序的方塊圖。
圖6是示出用於圖5的組合的全域和面部自動白平衡程序的影像區域的實例影像。
圖7是示出面部ROI的皮膚區域偵測的概念圖。
圖8是示出具有面部感興趣區域的影像的概念圖。
圖9是示出另一組合的全域和面部自動白平衡程序的方塊圖。
圖10是示出實例鏡頭陰影校正程序的概念圖。
圖11是示出用全域自動白平衡程序產生的第一影像和用組合的全域和面部自動白平衡程序產生的第二影像的概念圖。
圖12是示出本案的實例方法的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
23:局部AWB單元
25:全域AWB單元
101:影像
102:ROI單元
104:精確ROI處理
106:白平衡/顏色模組
108:基於ROI的調整模組
110:統計處理模組
120:應用模組

Claims (50)

  1. 一種被配置用於影像處理的裝置，該裝置包括： 一記憶體，該記憶體被配置為儲存由一相機模組的一影像感測器捕捉的一第一影像；及 與該記憶體通訊的一或多個處理器，該一或多個處理器被配置為： 接收該第一影像； 決定該第一影像的一或多個第一自動白平衡（AWB）參數； 決定該第一影像的一感興趣區域（ROI）的一或多個第二AWB參數； 將該一或多個第一AWB參數應用於該第一影像或一第二影像中的一或多個的至少一部分；及 將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI。
  2. 根據請求項1之裝置，其中該一或多個處理器亦被配置為： 將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個；及 基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
  3. 根據請求項2之裝置，其中該ROI包括一人的皮膚。
  4. 根據請求項3之裝置，其中該一或多個處理器亦被配置為偵測一面部。
  5. 根據請求項4之裝置，其中該一或多個處理器亦被配置為偵測該面部中的該皮膚的一區域。
  6. 根據請求項5之裝置，其中為了偵測該面部中的該皮膚的區域，該一或多個處理器被配置為：使用一或多個分割技術來偵測該面部中的該皮膚的區域，其中該分割技術包括基於人工智慧的皮膚偵測或皮膚色度濾波中的一或多個。
  7. 根據請求項5之裝置，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該一或多個處理器被配置為：基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的該皮膚的區域。
  8. 根據請求項1之裝置，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該一或多個處理器亦被配置為：使用一網格白平衡技術、一鏡頭陰影校正技術、或一圖元處理技術中的一或多個，基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
  9. 根據請求項1之裝置，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括一AWB增益、一相關色溫（CCT）、或一顏色校正矩陣（CCM）中的一或多個。
  10. 根據請求項1之裝置，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該一或多個處理器亦被配置為：部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數。
  11. 根據請求項1之裝置，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該一或多個處理器亦被配置為：僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數。
  12. 根據請求項1之裝置，其中為了決定該第一影像的該一或多個第一AWB參數，該一或多個處理器亦被配置為：使用一灰色世界技術來決定該第一影像的該一或多個第一AWB參數。
  13. 根據請求項1之裝置，亦包括：一相機模組，該相機模組被配置為捕捉該第一影像。
  14. 根據請求項1之裝置，其中該相機模組是一行動電話的一部分。
  15. 一種用於影像處理的方法，該方法包括以下步驟： 接收一第一影像； 決定該第一影像的一或多個第一自動白平衡（AWB）參數； 決定該第一影像的一感興趣區域（ROI）的一或多個第二AWB參數； 將該一或多個第一AWB參數應用於該第一影像或一第二影像中的一或多個的至少一部分；及 將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI。
  16. 根據請求項15之方法，亦包括： 將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個；及 基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
  17. 根據請求項16之方法，其中該ROI包括一人的皮膚。
  18. 根據請求項17之方法，亦包括偵測一面部。
  19. 根據請求項18之方法，亦包括偵測該面部中的該皮膚的一區域。
  20. 根據請求項19之方法，其中偵測該面部中的該皮膚的一區域包括以下步驟：使用一或多個分割技術來偵測該面部中的該皮膚的區域，其中該分割技術包括基於人工智慧的皮膚偵測或皮膚色度濾波中的一或多個。
  21. 根據請求項19之方法，其中基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI包括以下步驟：基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的該皮膚的區域。
  22. 根據請求項15之方法，其中基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI包括以下步驟：使用一網格白平衡技術、一鏡頭陰影校正技術、或一圖元處理技術中的一或多個，基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
  23. 根據請求項15之方法，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括一AWB增益、一相關色溫（CCT）、或一顏色彩校正矩陣（CCM）中的一或多個。
  24. 根據請求項15之方法，其中決定該第一影像的該ROI的該一或多個第二AWB參數包括以下步驟：部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數。
  25. 根據請求項15之方法，其中決定該第一影像的該ROI的該一或多個第二AWB參數包括以下步驟：僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數。
  26. 根據請求項15之方法，其中決定該第一影像的該一或多個第一AWB參數包括以下步驟：使用一灰色世界技術來決定該第一影像的該一或多個第一AWB參數。
  27. 一種被配置用於相機處理的裝置，該裝置包括： 用於接收一第一影像的部件； 用於決定該第一影像的一或多個第一自動白平衡（AWB）參數的部件； 用於決定該第一影像的一感興趣區域（ROI）的一或多個第二AWB參數的部件； 用於將該一或多個第一AWB參數應用於該第一影像或一第二影像中的一或多個的至少一部分的部件；及 用於將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI的部件。
  28. 根據請求項27之裝置，亦包括： 用於將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個的部件；及 用於基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI的部件。
  29. 根據請求項28之裝置，其中該ROI包括一人的皮膚。
  30. 根據請求項29之裝置，亦包括用於偵測一面部的部件。
  31. 根據請求項30之裝置，亦包括用於偵測該面部中的皮膚的一區域的部件。
  32. 根據請求項31之裝置，其中該用於偵測該面部中的該皮膚的區域的部件包括：用於使用一或多個分割技術來偵測該面部中的該皮膚的區域的部件，其中該分割技術包括基於人工智慧的皮膚偵測或皮膚色度濾波中的一或多個。
  33. 根據請求項31之裝置，其中該用於基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI的部件包括：用於基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的該皮膚的區域的部件。
  34. 根據請求項27之裝置，其中該用於基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI的部件包括：用於使用一網格白平衡技術、一鏡頭陰影校正技術、或一圖元處理技術中的一或多個、基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI的部件。
  35. 根據請求項27之裝置，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括一AWB增益、一相關色溫（CCT）或一顏色校正矩陣（CCM）中的一或多個。
  36. 根據請求項27之裝置，其中該用於決定該第一影像的該ROI的該一或多個第二AWB參數的部件包括：用於部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數的部件。
  37. 根據請求項27之裝置，其中該用於決定該第一影像的該ROI的該一或多個第二AWB參數的部件包括：用於僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數的部件。
  38. 根據請求項27之裝置，其中該用於決定該第一影像的該一或多個第一AWB參數的部件包括：用於使用一灰色世界技術來決定該第一影像的該一或多個第一AWB參數的部件。
  39. 一種儲存指令的非暫時性電腦可讀取儲存媒體，該等指令在被執行時使得該一或多個處理器： 接收一第一影像； 決定該第一影像的一或多個第一自動白平衡（AWB）參數； 決定該第一影像的一感興趣區域（ROI）的一或多個第二AWB參數； 將該一或多個第一AWB參數應用於該第一影像或一第二影像中的一或多個的至少一部分；及 將該第二AWB參數應用於該第一影像或該第二影像中的一或多個中的該ROI。
  40. 根據請求項39之非暫時性電腦可讀取儲存媒體，其中指令亦使得該一或多個處理器： 將該一或多個第一AWB參數應用於該第一影像或該第二影像中的一或多個；及 基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
  41. 根據請求項40之非暫時性電腦可讀取儲存媒體，其中該ROI包括一人的皮膚。
  42. 根據請求項41之非暫時性電腦可讀取儲存媒體，其中該等指令亦使得該一或多個處理器偵測一面部。
  43. 根據請求項42之非暫時性電腦可讀取儲存媒體，其中該等指令亦使得該一或多個處理器偵測該面部中的皮膚的一區域。
  44. 根據請求項43之非暫時性電腦可讀取儲存媒體，其中為了偵測該面部中的該皮膚的區域，該等指令亦使得該一或多個處理器：使用一或多個分割技術來偵測該面部中的該皮膚的區域，其中該分割技術包括基於人工智慧的皮膚偵測或皮膚色度濾波中的一或多個。
  45. 根據請求項43之非暫時性電腦可讀取儲存媒體，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該等指令亦使得該一或多個處理器：基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個的該面部中的該皮膚的區域。
  46. 根據請求項39之非暫時性電腦可讀取儲存媒體，其中為了基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI，該等指令亦使得該一或多個處理器：使用一網格白平衡技術、一鏡頭陰影校正技術、或一圖元處理技術中的一或多個，基於該一或多個第二AWB參數來調整該第一影像或該第二影像中的一或多個中的該ROI。
  47. 根據請求項39之非暫時性電腦可讀取儲存媒體，其中該一或多個第一AWB參數或該一或多個第二AWB參數包括一AWB增益、一相關色溫（CCT）、或一顏色校正矩陣（CCM）中的一或多個。
  48. 根據請求項39之非暫時性電腦可讀取儲存媒體，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該等指令亦使得該一或多個處理器：部分地基於該一或多個第一AWB參數來決定該第一影像的該ROI的該一或多個第二AWB參數。
  49. 根據請求項39之非暫時性電腦可讀取儲存媒體，其中為了決定該第一影像的該ROI的該一或多個第二AWB參數，該等指令亦使得該一或多個處理器：僅基於該ROI中的圖元值來決定該第一影像的該ROI的該一或多個第二AWB參數。
  50. 根據請求項39之非暫時性電腦可讀取儲存媒體，其中為了決定該第一影像的該一或多個第一AWB參數，該等指令亦使得該一或多個處理器：使用一灰色世界技術來決定該第一影像的該一或多個第一AWB參數。
TW111125490A 2021-07-07 2022-07-07 用於相機的靈活感興趣區域顏色處理 TW202310622A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163219072P 2021-07-07 2021-07-07
US63/219,072 2021-07-07
US17/648,277 US20230017498A1 (en) 2021-07-07 2022-01-18 Flexible region of interest color processing for cameras
US17/648,277 2022-01-18

Publications (1)

Publication Number Publication Date
TW202310622A true TW202310622A (zh) 2023-03-01

Family

ID=82702866

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111125490A TW202310622A (zh) 2021-07-07 2022-07-07 用於相機的靈活感興趣區域顏色處理

Country Status (5)

Country Link
US (1) US20230017498A1 (zh)
EP (1) EP4367878A1 (zh)
KR (1) KR20240028999A (zh)
TW (1) TW202310622A (zh)
WO (1) WO2023283131A1 (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121612A (ja) * 2004-10-25 2006-05-11 Konica Minolta Photo Imaging Inc 撮像装置
JP2007110576A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 被写体像データの色補正装置およびその制御方法
JP5040662B2 (ja) * 2006-02-03 2012-10-03 株式会社ニコン 画像処理装置、画像処理方法、および画像処理プログラム
JP5021338B2 (ja) * 2007-03-02 2012-09-05 富士フイルム株式会社 ホワイトバランス補正装置および方法
JP5066398B2 (ja) * 2007-06-29 2012-11-07 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP4702635B2 (ja) * 2007-07-17 2011-06-15 富士フイルム株式会社 オートホワイトバランス補正値算出装置、方法およびプログラムならびに撮像装置
KR101896386B1 (ko) * 2011-11-22 2018-09-11 삼성전자주식회사 화이트 밸런스 조절장치 및 방법
JP2014053855A (ja) * 2012-09-10 2014-03-20 Sony Corp 画像処理装置および方法、並びにプログラム
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
US20170163953A1 (en) * 2015-12-08 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for processing image containing human face
CN106851238B (zh) * 2017-03-09 2018-07-06 广东欧珀移动通信有限公司 白平衡控制方法、白平衡控制装置及电子装置
CN107343189B (zh) * 2017-07-10 2019-06-21 Oppo广东移动通信有限公司 白平衡处理方法和装置
CN107730446B (zh) * 2017-10-31 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及计算机可读存储介质
GB201908521D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd Image white balance processing system and method

Also Published As

Publication number Publication date
EP4367878A1 (en) 2024-05-15
US20230017498A1 (en) 2023-01-19
WO2023283131A1 (en) 2023-01-12
KR20240028999A (ko) 2024-03-05

Similar Documents

Publication Publication Date Title
RU2523027C1 (ru) Синхронизация вспышки с использованием сигнала тактирования интерфейса датчика изображения
RU2542928C2 (ru) Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки
US10325354B2 (en) Depth assisted auto white balance
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US8488015B2 (en) Camera using preview image to select exposure
US20140307129A1 (en) System and method for lens shading compensation
WO2023016039A1 (zh) 视频处理方法、装置、电子设备和存储介质
CN110266954B (zh) 图像处理方法、装置、存储介质及电子设备
JP2012523799A (ja) 自動バックライト検出
CN113810641B (zh) 视频处理方法、装置、电子设备和存储介质
CN113810642B (zh) 视频处理方法、装置、电子设备和存储介质
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20200228770A1 (en) Lens rolloff assisted auto white balance
KR20150081153A (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 기록매체
CN107682611B (zh) 对焦的方法、装置、计算机可读存储介质和电子设备
CN113824914B (zh) 视频处理方法、装置、电子设备和存储介质
CN114449199B (zh) 视频处理方法、装置、电子设备和存储介质
JP5619882B2 (ja) 輝度情報に基づいて修正された値を使用したレンズロールオフ補正操作
US20200228769A1 (en) Lens rolloff assisted auto white balance
JP2018092350A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2022032666A1 (zh) 处理图像的方法和相关装置
US20230017498A1 (en) Flexible region of interest color processing for cameras
CN115706765A (zh) 视频处理方法、装置、电子设备和存储介质
CN117581557A (zh) 用于相机的灵活的感兴趣区域色彩处理
JP2015119436A (ja) 撮像装置