TW202218403A

TW202218403A - 在低光條件下擷取的顏色著色圖元的校正

Info

Publication number: TW202218403A
Application number: TW110122750A
Authority: TW
Inventors: 宋波恩; 何柯; 劉先德; 張新風
Original assignee: 美商高通公司
Priority date: 2020-07-13
Filing date: 2021-06-22
Publication date: 2022-05-01
Also published as: CN115804080A; US20230199133A1; EP4179721A4; BR112022026943A2; EP4179721A1; KR20230038191A; WO2022011504A1

Abstract

本案的態樣係關於圖像處理管線中的顏色校正。示例性方法可以包括以下步驟：接收對應於複數個圖元之每一者的參考亮度資料和參考色度資料的第一圖像資料；決定第一圖像資料對應於在黑暗環境擷取的原始圖像；經由對第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，該第二圖像資料對應於複數個圖元之每一者的當前亮度資料和當前色度資料；及產生輸出圖像資料。針對複數個圖元之每一者圖元，輸出資料可以包括當前亮度資料的相應圖元的輸出亮度值，以及來自參考色度資料和當前色度資料中的所選一個的相應圖元的色度值，該選擇至少部分地基於參考色度資料和當前色度資料。

Description

在低光條件下擷取的顏色著色圖元的校正

本案大體而言係關於用於圖像擷取的系統和方法，並且具體地係關於所擷取的圖像的管線（pipeline）處理。

圖像感測器（諸如互補金屬氧化物半導體（CMOS）圖像感測器）中的異常黑位準可以導致圖像的黑色區域中可見的微紅著色。圖像感測器中的顏色失配可能會被圖像信號處理器（ISP）放大。例如，由ISP執行的數位增益或動態增益壓縮（DRC）可以放大顏色失配，從而導致此種微紅著色。

本發明內容被提供用於以簡化形式來介紹概念的選擇，該等概念將在下文的詳細描述中被進一步描述。本發明內容既不意欲標識所主張保護的標的的關鍵特徵或必要特徵，亦不意欲限制所主張保護的標的的範疇。本案的系統、方法和設備各自具有若干創新態樣，沒有一個單一的態樣單獨負責本文揭示的期望屬性。

本案中描述的標的的一個創新態樣可以被實現為用於顏色校正的方法。方法可以由適當的設備執行，並且可以包括接收對應於針對複數個圖元之每一者圖元的參考亮度資料和參考色度資料的第一圖像資料；決定第一圖像資料對應於在黑暗環境中擷取的原始圖像；經由對第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，其中第二圖像資料對應於針對複數個圖元之每一者圖元的當前亮度資料和當前色度資料；及產生輸出圖像資料，以針對複數個圖元之每一者圖元而包括當前亮度資料的相應圖元的輸出亮度值；及來自參考色度資料和當前色度資料中的所選擇的一個的相應圖元的色度值，該選擇至少部分地基於參考色度資料和當前色度資料。

在一些態樣中，第一圖像資料和第二圖像資料為YUV格式，參考色度資料包括參考U資料和參考V資料，並且當前色度資料包括當前U資料和當前V資料。在一些態樣中，對於複數個圖元之每一者圖元，當第一圖像資料的相應圖元被偵測為灰色並且第二圖像資料的相應圖元被偵測為顏色著色時，輸出圖像資料包括參考色度資料而不是當前色度資料。在一些態樣中，偵測第一圖像資料中的圖元為灰色包括決定參考U資料與中點U值之間的絕對差小於參考閾值，以及決定參考V資料與中點V值之間的絕對差小於參考閾值。在一些態樣中，偵測第二圖像資料中的圖元被顏色著色包括決定當前U資料與中點U值之間以及當前V資料與中點V值之間的相應絕對差均大於當前最小值並且小於當前最大值。

在一些態樣中，產生第二圖像資料亦包括對第一圖像資料執行一或多個伽馬校正操作以及一或多個銳度增強操作。在一些態樣中，經由決定與原始圖像相關聯的自動曝光控制（AEC）增益大於閾值AEC增益來將第一圖像資料決定為對應於在黑暗環境中擷取的原始圖像。

本案中描述的標的的另一個創新態樣可以在包括記憶體以及一或多個處理器的裝置中實現。一或多個處理器被配置為接收對應於複數個圖元之每一者的參考亮度資料和參考色度資料的第一圖像資料；決定第一圖像資料對應於在黑暗環境擷取的原始圖像；經由對第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，其中第二圖像資料對應於複數個圖元之每一者的當前亮度資料和當前色度資料；及產生輸出圖像資料，以針對複數個圖元之每一者圖元包括：當前亮度資料的相應圖元的輸出亮度值，以及來自參考色度資料和當前色度資料中的所選一個的相應圖元的色度值，該選擇至少部分地基於參考色度資料和當前色度資料。

在一些態樣中，第一圖像資料和第二圖像資料為YUV格式，參考色度資料包括參考U資料和參考V資料，並且當前色度資料包括當前U資料和當前V資料。在一些態樣中，對於複數個圖元之每一者圖元，當第一圖像資料的相應圖元被偵測為灰色並且第二圖像資料的相應圖元為顏色著色時，輸出圖像資料包括參考色度資料而非當前色度資料。在一些態樣中，偵測第一圖像資料中的圖元為灰色包括決定參考U資料與中點U值之間的絕對差小於參考閾值，以及決定參考V資料與中點V值之間的絕對差小於參考閾值。在一些態樣中，偵測第二圖像資料中的圖元被顏色著色包括決定當前U資料與中點U值之間以及當前V資料與中點V值之間的相應絕對差均大於當前最小值並且小於當前最大值。

在一些態樣中，產生第二圖像資料亦包括對第一圖像資料執行一或多個伽馬校正操作以及一或多個銳度增強操作。在一些態樣中，一或多個處理器被配置為經由決定與原始圖像相關聯的自動曝光控制（AEC）增益大於閾值AEC增益來決定第一圖像資料對應於在黑暗環境中擷取的原始圖像。

本案中描述的標的的另一個創新態樣可以在儲存用於由圖像處理設備的一或多個處理器執行的指令的非暫時性電腦可讀取儲存媒體中實現。執行指令使得圖像處理設備執行包括以下的操作：接收對應於複數個圖元之每一者的參考亮度資料和參考色度資料的第一圖像資料；決定第一圖像資料對應於在黑暗環境擷取的原始圖像；經由對第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，其中第二圖像資料對應於複數個圖元之每一者的當前亮度資料和當前色度資料；及產生輸出圖像資料，以針對複數個圖元之每一者圖元包括：當前亮度資料的相應圖元的輸出亮度值；及來自參考色度資料和當前色度資料中的所選一個的相應圖元的色度值，該選擇至少部分地基於參考色度資料和當前色度資料。

在一些態樣中，第一圖像資料和第二圖像資料為YUV格式，參考色度資料包括參考U資料和參考V資料，並且當前色度資料包括當前U資料和當前V資料。在一些態樣中，對於複數個圖元之每一者圖元，當第一圖像資料的相應圖元被偵測為灰色並且第二圖像資料的相應圖元被偵測為顏色著色時，輸出圖像資料包括參考色度資料而非當前色度資料。在一些態樣中，偵測第一圖像資料中的圖元為灰色包括決定參考U資料與中點U值之間的絕對差小於參考閾值，以及決定參考V資料與中點V值之間的絕對差小於參考閾值。在一些態樣中，偵測第二圖像資料中的圖元被顏色著色包括決定當前U資料與中點U值之間以及當前V資料與中點V值之間的相應絕對差均大於當前最小值並且小於當前最大值。

本案中描述的標的的另一個創新態樣可以在圖像處理管線中實現。圖像處理管線可以包括原始圖像處理構件，用以接收原始圖像以及對原始圖像執行一或多個圖像處理操作；顏色校正矩陣（CCM）構件，用以對處理的原始圖像執行一或多個CCM操作；去雜構件，用以對CCM構件的輸出執行一或多個去雜操作，以產生對應於複數個圖元之每一者的參考亮度資料和參考色度資料的第一圖像資料；色調映射構件，用以經由對第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，該第二圖像資料對應於複數個圖元之每一者的當前亮度資料和當前色度資料；及顏色校正構件，其被配置為：接收第一圖像資料和第二圖像資料；決定第一圖像資料對應於在黑暗環境擷取的原始圖像；及針對複數個圖元之每一者圖元產生輸出圖像資料，其包括：當前亮度資料的相應圖元的輸出亮度值；及來自參考色度資料和當前色度資料中的所選一個的相應圖元的色度值，該選擇至少部分地基於參考色度資料和當前色度資料。

本案的態樣可以用於偵測和校正在低光條件下擷取的圖像中的異常顏色著色圖元。圖像中的異常顏色著色圖元可能由於來自圖像感測器的指示很少甚至沒有光的輸出（其可能意欲由深黑色表示）。在處理來自圖像感測器的輸出時，可以經由由ISP執行的數位增益或DRC來放大顏色著色。此種異常顏色著色可能導致圖像的黑色圖元，包括可見的微紅著色。用於校正此種顏色著色圖元的習知技術在偵測顏色著色圖元時可能具有高假肯定率，從而導致不包括顏色著色圖元的圖像的一或多個區域中的顏色劣化。此外或替代地，用於校正此種顏色著色圖元的習知技術在偵測顏色著色圖元時可能具有高假否定率，從而導致最終圖像包括具有未校正的微紅著色的圖元。習知技術通常處理原始圖像資料。由於使用黑位準校正可能無法有效地抑制黑色圖元中的微紅著色，並且紅色和綠色的原始圖像資料可能相似，因此最終圖像可以包括具有交替微紅和微綠色著色圖元的一或多個黑色部分。

本案的示例性實現方式的方法和裝置可以偵測和校正呈現在低光環境下擷取的圖像的圖元的此種不期望的顏色著色的圖元。例如，裝置可以在圖像處理管線中的階段偵測從灰色圖元轉換為顏色著色圖元的一或多個圖元。當偵測到該等圖元時，可以經由用來自圖像處理管線中較早階段的相應圖元替換該等圖元之每一者來去除顏色著色。例如，顏色著色可以由圖像處理管線中的一或多個色調映射操作引起或放大。用來自較早階段的相應灰色圖元替換顏色著色圖元可以包括在一或多個色調映射操作之前用來自圖像處理管線中的階段的相應圖元替換色調映射的顏色著色圖元。

儘管習知的顏色著色校正技術可以對原始圖像資料進行操作，但本案的一些示例性實現方式可以對YUV顏色空間中的圖像資料進行操作，其中Y指亮度，U指藍色投影色度，並且V指紅色投影色度。其他實現方式可以在其他類似的亮度/色度顏色空間中操作。使用該等顏色空間允許示例性實現方式將顏色著色校正直接集中在色度上，而不影響輸出圖元的亮度。

在以下描述中，闡述了許多特定細節（諸如特定元件、電路和過程的實例），以提供對本案的透徹理解。如本文所使用，術語「耦合」是指直接連接到一或多個中間元件或電路或者經由該一或多個中間元件或電路連接。此外，在以下描述中並且出於說明目的，闡述了特定命名法以提供對本案的透徹理解。然而，對於熟習此項技術者而言顯而易見的是，該等特定細節對於實踐本文揭示的教示而言可能不需要。在其他例子中，眾所周知的電路和設備以方塊圖形式圖示，以避免混淆本案的教示。按照程序、邏輯區塊、處理和電腦記憶體內關於資料位元的操作的其他符號表示呈現了下文的詳細描述的一些部分。在本案中，程序、邏輯區塊、過程等被認為是導致期望結果的步驟或指令的自洽序列。該等步驟是需要對實體量進行實體操縱的步驟。通常，儘管不一定，該等量採用能夠在電腦系統中儲存、傳送、組合、比較和以其他方式操縱的電或磁信號的形式。

然而，應該記住，所有該等和類似術語皆與適當的實體量相關聯，並且僅僅是應用於該等量的方便標籤。除非根據下文的論述清楚而明確地另外指出，否則應該理解，貫穿本案，使用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「乘法」、「平均」、「監視」、「比較」、「應用」、「更新」、「量測」、「推導」、「結算」等的論述是指電腦系統或類似電子計算設備的動作和過程，該電腦系統或類似電子計算設備操縱表示為電腦系統的暫存器和記憶體內的實體（電子）量的資料並把該資料變換成類似地表示為電腦系統記憶體或暫存器或其他此種資訊儲存、傳輸或顯示設備內的實體量的其他資料。

在附圖中，單個方塊可以被描述為執行功能或多個功能；然而，在實際實踐中，由該方塊執行的功能或多個功能可以在單個元件中或者跨多個元件執行，以及/或者可以使用硬體、使用軟體，或者使用硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種可互換性，在本文整體上根據其功能描述各種說明性元件、方塊、模組、電路和步驟。該等功能被實現為硬體還是軟體取決於特定應用和施加在整體系統上的設計約束。熟習此項技術者可以針對每個特定應用以不同方式來實現所描述的功能，但該等實現決策不應被理解為致使脫離本案的範疇。此外，示例性設備可以包括除了所示元件之外的元件，包括眾所周知的元件，諸如處理器、記憶體等。

本案的態樣適用於被配置為或能夠擷取圖像或視訊的任何合適的電子設備（諸如具有一或多個相機的安全性系統、智慧手機、平板電腦、膝上型電腦、數位視訊及/或靜態相機、網路相機等）。儘管下文關於具有或耦合到一個相機的設備進行了描述，但是本案的態樣適用於具有任意數目的相機的設備並且因此不限於具有一個相機的設備。本案的態樣適用於被配置為擷取靜止圖像以及擷取視訊的相機，並且可以在具有或耦合到具有不同能力的相機的設備中實現。

術語「設備」不限於一個或特定數目的實體物件（諸如一個智慧手機、一個相機控制器、一個處理系統等）。如本文所使用，設備可以是具有可實現本案的至少一些部分的一或多個部分的任何電子設備。儘管以下描述和實例使用術語「設備」來描述本案的各個態樣，但術語「設備」不限於特定配置、類型或物件的數目。

圖1是根據本案的一些實現方式的被配置為執行顏色校正的示例性設備100的方塊圖。示例性設備100可以包括或耦合到相機102、處理器104、儲存指令108的記憶體106和控制器110。在一些實現方式中，設備100可以包括（或耦合到）顯示器114，以及多個輸入/輸出（I/O）元件116。設備100亦可以包括電源118，其可以耦合到或整合到設備100中。設備100可以包括未圖示的附加特徵或元件。例如，可以包括用於無線通訊設備的無線介面，該無線介面可以包括多個收發器和基頻處理器。在另一個實例中，設備100可以包括或耦合到除相機102之外的附加相機。

相機102可以是能夠擷取靜止圖像（諸如單獨擷取的圖像訊框）及/或擷取視訊（諸如一系列所擷取的圖像訊框）的任何合適的相機。相機102可以包括單個圖像感測器或者是雙相機模組或具有一或多個圖像感測器的任何其他合適的模組，諸如一或多個CMOS圖像感測器。

記憶體106可以是非暫態性或非暫時性電腦可讀取媒體，其儲存電腦可執行指令108以執行本案中描述的一或多個操作的全部或一部分。處理器104可以是能夠執行儲存在記憶體106內的一或多個軟體程式（諸如指令108）的腳本或指令的一或多個合適的處理器。在一些態樣中，處理器104可以是一或多個通用處理器，其執行指令108以使設備100執行任意數目的功能或操作。在附加或替代態樣中，處理器104可以包括積體電路或其他硬體，以在不使用軟體的情況下執行功能或操作。

儘管在圖1的實例中被示為經由處理器104彼此耦合，但是處理器104、記憶體106、控制器110、任選的顯示器114和任選的I/O元件116可以以各種佈置而彼此耦合。例如，處理器104、記憶體106、控制器110、任選的顯示器114及/或任選的I/O元件116可以經由一或多個本端匯流排（為簡單起見未圖示）彼此耦合。

顯示器114可以是允許使用者互動及/或呈現項目（諸如所擷取的圖像、視訊或預覽圖像）以供使用者查看的任何合適的顯示器或螢幕。在一些態樣中，顯示器114可以是觸敏顯示器。I/O元件116可以是或包括任何合適的機制、介面或設備，以從使用者接收輸入（諸如命令）並向使用者提供輸出。例如，I/O元件116可以包括（但不限於）圖形化使用者介面、鍵盤、滑鼠、麥克風和揚聲器等。顯示器114及/或I/O元件116可以向使用者提供預覽圖像及/或接收用於調整相機102的一或多個設置的使用者輸入。

控制器110可以包括一或多個控制器。一或多個控制器可以被配置為控制相機102。控制器110可以包括圖像信號處理器（ISP）112，其可以是一或多個圖像信號處理器以處理由相機102提供的所擷取的圖像訊框或視訊。在一些態樣中，控制器110或ISP 112可以執行來自記憶體的指令（諸如來自記憶體106的指令108或者儲存在耦合到ISP 112的單獨記憶體中的指令）。在其他態樣中，控制器110或ISP 112可以包括特定硬體。替代地或此外，控制器110或ISP 112可以包括特定硬體和執行軟體指令的能力的組合。例如，ISP 112可以包括或以其他方式被配置為實現圖像處理管線的一或多個階段。

圖2圖示根據本案的一些實現方式的用於偵測和校正所擷取的圖像中的錯誤顏色著色圖元的示例性處理流程200。在一些態樣中，處理流程200可以被包括在由圖1所示的設備100實現或控制的圖像處理管線中。儘管處理流程200可以被描述為由設備100執行，但是處理流程200亦可以由任何其他合適的圖像擷取設備執行。

關於圖2，原始圖像資料可以是處理流程200的輸入。此種原始圖像資料可以是例如從被包括在設備100中或耦合到設備100的一或多個圖像感測器接收的，或者從設備100的類比前端接收的。在原始圖像處理階段202處，設備100可以對原始圖像資料執行一或多個操作（諸如用於黑位準校正、鏡頭陰影校正（LSC）、自動對焦、自動曝光、自動白平衡等的一或多個操作）。在原始圖像處理階段202處處理圖像資料之後，設備100可以在顏色校正矩陣（CCM）階段204處處理圖像資料。在進行到CCM階段204之前，所處理的原始圖像資料可以被轉換為紅綠藍（RGB）顏色空間。或者，設備100可以在CCM階段204處將資料轉換為RGB顏色空間。在CCM階段204處，設備100可以對RGB顏色空間中的圖像資料執行一或多個操作（諸如RGB顏色空間中的一或多個顏色校正操作）。在一些實例中，設備100可以將圖像資料的RGB圖元值變換到由顏色校正矩陣表示的定義的和已知的顏色空間。在設備100在CCM階段204處處理圖像資料之後，設備100在去雜階段206處處理圖像資料，從而對圖像資料執行一或多個去雜操作。在一些實現方式中，去雜階段206可以在YUV顏色空間中處理圖像資料，例如，設備100可以在去雜階段206之前或在去雜階段206處將圖像資料從RGB顏色空間轉換為YUV顏色空間。來自去雜階段206的輸出圖像資料可以被稱為參考圖像資料。例如，表示YUV顏色空間中的圖像資料的輸出YUV圖像資料可以包括表示圖像資料的亮度的參考Y資料以及表示圖像資料的色度的參考U資料和參考V資料。

在去雜階段206之後，處理流程200分離成多個路徑（諸如圖2中圖示的上部流程220和下部流程230）。首先論述上部流程220，設備100在局部色調映射（LTM）階段208處處理圖像資料。在LTM階段208處，設備100可以對圖像資料執行一或多個色調映射操作。在一些態樣中，LTM階段208可以對RGB顏色空間中的圖像資料進行操作。因此，在LTM階段208之前或作為LTM階段208的一部分，設備100可以將圖像資料轉換為RGB顏色空間。色調映射可以調整圖像資料的不同區域的亮度或組合不同的曝光，以增加場景不同區域之間的局部對比度。與全域或空間均勻色調映射相反，局部色調映射可以基於圖像的局部特徵（如附近特徵）來調整給定圖元的亮度。在LTM階段208之後，設備100可以在伽馬壓縮階段210處理圖像資料。在伽馬壓縮階段210處，設備100可以執行一或多個操作以增加圖像資料的曝光不足部分的曝光，同時減少圖像資料的過度曝光部分的曝光。在一些態樣中，設備100可以應用伽馬函數。例如，設備100可以應用伽馬篩檢程式，諸如

，其中

並且A＞0。在應用伽馬函數時，設備100將

域中的輸入亮度Y _輸入映射到[0,1]範圍內的輸出亮度（Y _輸出）。在示例性伽馬篩檢程式中，可以調整

以調節圖像的對比度，其中較低值對應於圖像的曝光不足部分的較低對比度和增加的曝光。A可以被設置為小於1以確保圖像的一或多個部分的曝光減少到足以防止其過度曝光。

在伽馬壓縮階段210之後，設備100可以在銳度階段212處處理圖像資料，該銳度階段212可以對圖像資料執行一或多個銳度增強操作，例如邊緣增強操作、去模糊濾波操作或類似操作。在一些態樣中，設備100可以在銳度階段212處處理YUV顏色空間中的圖像資料。因此，在銳度階段212之前或作為銳度階段212的一部分，設備100可以將圖像資料轉換為YUV顏色空間。銳度階段212的輸出圖像資料可以被稱為當前圖像資料。例如，表示YUV顏色空間中的圖像資料的輸出YUV圖像資料可以包括表示圖像資料的亮度的當前Y資料以及表示圖像資料的色度的當前U資料和當前V資料。當前Y資料可以被提供給組合器218。當前U資料和當前V資料可以被提供給顏色校正階段216。

在顏色校正階段216處，設備100可以選擇性地輸出圖像資料的每個圖元的參考U資料和參考V資料或者當前U資料和當前V資料。如以上所描述，對於在低光或黑暗環境下擷取的圖像，在圖像處理期間，一些灰色圖元可能會變成顏色著色圖元，此舉可能導致圖像的黑色區域出現微紅著色。此情形通常可能是由色調映射操作引起的。如下文更詳細地論述的，顏色校正階段216可以偵測何時在足夠暗的環境中擷取到所擷取的圖像。對於此種圖像，設備100可以偵測灰色圖元何時變成顏色著色圖元（諸如經由比較參考U和V資料與相應的當前U和V資料）。對於此種圖元，設備100可以用相應的參考U和V資料替換當前U和V資料。以此種方式，可以取消導致異常顏色著色的圖像處理步驟。顏色校正階段216可以將校正後的U資料和校正後的V資料輸出到組合器218。組合器218將當前亮度資料與校正後的U資料和校正後的V資料組合，以針對輸出圖像資料產生相應的Y、U和V資料。因此，輸出圖像資料反映當前亮度（Y）資料和校正後的色度（U和V）資料。

圖3圖示說明根據本案的一些實現方式的用於在顏色校正階段處理圖像資料的示例性操作300的說明性流程圖。在一些態樣中，操作300可以由設備100在圖2的顏色校正階段216處執行。來自去雜階段206的參考U和V資料以及來自銳度階段212的當前U和V資料可以用於產生圖像的校正後的U和V資料。如以上所論述，參考U和V資料可以對應於在已經執行色調映射之前的圖像資料。當前U和V資料可以對應於在已經執行色調映射之後的圖像資料。

異常顏色著色通常出現在黑暗環境下擷取的圖像中。因此，設備100作出圖像資料是否滿足閾值暗度水平的閾值決定302。示例性閾值暗度水平可以包括自動曝光校正增益閾值。例如，設備100可以決定所擷取的圖像的總自動曝光校正增益是否超過自動曝光校正增益閾值。如以上所論述，此種自動曝光校正可以作為原始圖像處理階段202的一部分發生。另一個示例性閾值暗度水平可以包括相機閃光啟用閾值。例如，設備100可以決定環境是否足夠暗以啟用相機閃光。另一個示例性閾值暗度水平可以是光感測器閾值。例如，設備100可以決定被包括在設備100中或耦合到設備100的光感測器是否感測到小於閾值量的光。若不滿足閾值暗度水平，則操作300可以輸出當前U資料和當前V資料作為校正後的U資料和校正後的V資料，並且過程可以結束。

若達到閾值暗度水平，則該圖像是用於用參考U和V資料替換一或多個圖元的當前U和V資料的候選圖像。操作300可以進行到色度替換步驟310，其中設備100可以對當前和參考U和V資料的每個圖元執行一系列決定。對於每個圖元，設備100可以在方塊311中決定該圖元在參考U和V資料中是否為灰色。在一些態樣中，該決定可以包括決定參考U資料與U的可能值範圍內的中點（「中點U值」）之間的絕對差小於參考閾值以及參考V資料與V的可能值範圍內的中點（「中點V值」）之間的絕對差亦小於參考閾值。因此，當圖元的U值和V值分別足夠接近中點U值和中點V值時，該圖元被決定為灰色。因此，當

時，其中REF U是參考U資料，並且REF V是參考V資料，MID U是中點U值，並且MID V是中點V值，則圖元為灰色。例如，若U和V值的可能範圍在0與256之間，則中點U和V值各為128。決定圖元是否為灰色可以包括決定兩者是否皆為

。在一些實現方式中，對於U和V的範圍在0與256之間，參考閾值可以是一位數的參考閾值。在一個實例中，參考閾值可以是4。在一些實現方式中，決定參考資料中的圖元是灰色亦可以包括決定參考U資料與參考V資料之間的絕對差小於參考閾值，亦即決定

。若該等絕對差之每一者皆小於參考閾值，則該圖元被認為是灰色的。若圖元在參考U和V資料中不被視為灰色，則當前U和當前V資料保持在該圖元的校正後的U和V資料中。若圖元在參考U和V資料中是灰色的，則設備100可以在方塊312中決定圖元在當前U和V資料中是否被顏色著色。

注意，在一些實現方式中，參考閾值可以至少部分地基於自動曝光控制（AEC）增益及/或動態範圍壓縮（DRC）增益而變化。例如，對於較大的AEC增益或DRC增益，與AEC增益或DRC增益較低時相比，可以使用較高的參考閾值。AEC增益和DRC增益可以取決於設備100所使用的圖像感測器的特性。因此，對於在相同光照條件下的不同圖像感測器，在相同光照條件下的參考閾值可能不同。

在方塊312處，決定當前U資料和當前V資料中的圖元是否被顏色著色可以包括決定當前U資料和當前V資料之每一者具有至少最小差並且不大於分別來自中點U值和中點V值的最大差，亦即，決定當前U資料與中點U值之間的絕對差以及當前V資料與中點V值之間的絕對差均在當前最小值並且小於當前最大值之間。因此，當

且

時，當前U資料和當前V資料中的圖元可以被決定為顏色著色，其中CUR U和CUR V分別為當前U資料和當前V資料， CUR _MIN 為當前最小值，並且 CUR _MAX 為當前最大值。當前最小值可以大於或等於參考閾值。在一些實現方式中，當前最小值可以與參考閾值相同，並且當U和V資料範圍在0與256之間時可以是（例如）4。在一些實現方式中，當前最大值可以被選擇為當前最小值的倍數，諸如當前最小值的三倍。在一個實例中，當U和V資料範圍在0與256之間時，當前最大值可以是12。若在當前U資料和當前V資料中圖元未被決定為顏色著色，則當前U資料和當前V資料可以保持在校正後的U資料和校正後的V資料中。若圖元被決定為顏色著色，則該圖元的校正後的U資料和校正後的V資料可以包括參考U資料和參考V資料，而不是當前U資料和當前V資料。因此，使用色度替換步驟310處理當前和參考U和V資料之每一者圖元針對滿足閾值暗度水平的圖像產生校正後的U資料和校正後的V資料。

因此，操作300可以產生校正後的U資料和校正後的V資料，其可以例如被輸出到組合器218以作為U資料和V資料併入處理流程200的輸出中。

注意，儘管操作300描述了在每圖元的基礎上產生校正後的U資料和校正後的V資料，但在一些其他實現方式中，可以在每訊窗或每區域的基礎上決定校正後的U資料和校正後的V資料。例如，可以將對應於參考和當前U和V資料的圖像劃分為複數個訊窗或區域，並且對於每個訊窗或區域，校正後的U和V資料可以包括參考U和V資料或當前U和V資料。在一些實現方式中，可以針對參考U和V資料以及當前U和V資料之每一者選擇代表值。此種代表值可以是區域或訊窗的預定圖元，諸如中心圖元，或最左上圖元等，或者可以是訊窗或區域中的圖元的平均值，諸如均值或中值。在一些實例中，可以對代表值執行圖3的色度替換步驟310，以決定訊窗或區域的校正U和V資料是否應包括參考U和V資料或者當前U和V資料的值。

此外，注意到儘管操作300描述了用參考U資料和參考V資料的相應圖元替換當前U資料和當前V資料中的異常顏色著色圖元，但在一些其他實現方式中，可以用預定灰階圖元值的U和V資料替換當前U資料和當前V資料中的異常顏色著色圖元。例如，在方塊312處，回應於決定圖元在當前U資料和當前V資料中是顏色著色的，色度替換步驟310可以用預定灰階圖元值的U和V資料替換當前U資料和當前V資料。在一些態樣中，此種預定灰階圖元值可以具有對應於中點U值和中點V值的U和V資料。

圖4是圖示了根據本案的一些實現方式的用於圖像處理管線中的顏色校正的示例性操作400的說明性流程圖。操作400可以由包括或耦合到圖像處理管線的任何合適的設備執行。在一些實現方式中，操作400可以由圖1所示的設備100執行。在方塊402處，設備100接收對應於複數個圖元之每一者的參考亮度資料和參考色度資料的第一圖像資料。在方塊404處，設備100決定第一圖像資料對應於在黑暗環境擷取的原始圖像。例如，該決定可以至少部分地基於與大於閾值AEC增益的原始圖像相關聯的自動曝光控制（AEC）增益。在方塊406處，設備100經由對第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，其中第二圖像資料對應於複數個圖元之每一者的當前亮度資料和當前色度資料。在方塊408處，設備100針對複數個圖元之每一者圖元產生輸出圖像資料。針對複數個圖元之每一者圖元，產生輸出資料可以包括產生輸出資料以包括當前亮度資料的相應圖元的輸出亮度值（408A），並且包括來自參考色度資料和當前色度資料中的所選一個的相應圖元的色度值，其中該選擇至少部分地基於參考色度資料和當前色度資料（408B）。在一些態樣中，當第一圖像資料的相應圖元被決定為灰色並且第二圖像資料的相應圖元被決定為顏色著色時，可以選擇參考色度資料。在一些態樣中，當第一圖像資料的相應圖元未被決定為灰色或者第二圖像資料的相應圖元未被決定為顏色著色時，選擇當前色度資料。

本文描述的技術可以以硬體、軟體、韌體或其任意組合來實現，除非被具體描述為以特定方式實現。被描述為模組或元件的任何特徵亦可以在整合邏輯設備中一起實現或者被單獨地實現為個別但是可交互操作的邏輯設備。若以軟體實現，則該等技術可以至少部分地經由包括指令108的非暫時性處理器可讀取儲存媒體（諸如圖1的示例性設備100中的記憶體106）來實現，該等指令在由處理器104（或控制器110或ISP 112）執行時使設備100執行上述方法中的一或多個。非暫時性處理器可讀取儲存媒體可以形成電腦程式產品的一部分，該電腦程式產品可以包括包裝材料。

非暫時性處理器可讀取儲存媒體可以包括隨機存取記憶體（RAM），諸如同步動態隨機存取記憶體（SDRAM）、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、其他已知儲存媒體等。此外或替代地，技術可以至少部分地由以指令或資料結構的形式攜載或傳送代碼且可由電腦或其他處理器存取、讀取及/或執行的處理器可讀取通訊媒體來實現。

結合本文揭示的實施例描述的各種說明性邏輯區塊、模組、電路和指令可以由一或多個處理器執行，諸如圖1的示例性設備100中的處理器104或ISP 112。該等處理器可以包括但不限於一或多個數位信號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、專用指令集處理器（ASIP）、現場可程式設計閘陣列（FPGA），或其他等效的整合或個別邏輯電路系統。如本文所使用，術語「處理器」可以指前述結構中的任一個或者適用於實現本文描述的技術的任何其他結構。另外，在一些態樣中，可以在如本文描述的一般配置的專用軟體模組或硬體模組內提供本文描述的功能。此外，該等技術可以在一或多個電路或邏輯元件中完全實現。通用處理器可以是微處理器及/或任何習知處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP和微處理器的組合、多個微處理器、與DSP核心結合的一或多個微處理器，或任何其他此配置。

儘管本案圖示說明性態樣，但應當注意，在不脫離所附請求項的範疇的情況下，可以在本文進行各種改變和修改。例如，可以省略處理流程200中的一或多個處理步驟，或者可以添加一或多個附加處理步驟。此外，除非另外明確地說明，否則根據本文描述的態樣的方法請求項的功能、步驟或動作不需要以任何特定順序執行。例如，若由設備100、控制器110、處理器104及/或ISP 112執行，則所描述的示例性操作的步驟可以以任何順序和以任何頻率執行。此外，儘管可以以單數形式描述或主張保護了元素，但除非明確說明限於單數，否則複數形式是預期的。因此，本案不限於所圖示的實例並且用於執行本文描述的功能的任何構件皆包括在本案的態樣中。

100:設備 102:相機 104:處理器 106:記憶體 108:指令 110:控制器 112:圖像信號處理器（ISP） 114:顯示器 116:I/O元件 118:電源 200:處理流程 202:原始圖像處理階段 204:顏色校正矩陣（CCM）階段 206:去雜階段 208:局部色調映射（LTM）階段 210:伽馬壓縮階段 212:銳度階段 216:顏色校正階段 218:組合器 220:上部流程 230:下部流程 300:操作 302:閾值決定 310:色度替換步驟 311:方塊 312:方塊 400:操作 402:方塊 404:方塊 406:方塊 408:方塊 408A:方塊 408B:方塊

在附圖的圖中經由實例而非限制的方式圖示本案的態樣，並且其中相似的元件符號指示相似的元件。

圖1是根據一些實現方式的被配置為執行顏色校正的示例性設備的方方塊圖。

圖2圖示根據一些實現方式的用於偵測和校正所擷取的圖像中的異常顏色著色圖元的示例性處理流程。

圖3圖示根據一些實現方式的用於在顏色校正階段處理圖像資料的示例性操作的說明性流程圖。

圖4是圖示了根據一些實現方式的用於圖像處理管線中的顏色校正的示例性操作的說明性流程圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

200:處理流程

202:原始圖像處理階段

204:顏色校正矩陣(CCM)階段

206:去雜階段

208:局部色調映射(LTM)階段

210:伽馬壓縮階段

212:銳度階段

216:顏色校正階段

218:組合器

220:上部流程

230:下部流程

Claims

一種用於一圖像處理管線中的顏色校正的方法，包括以下步驟：接收對應於針對複數個圖元之每一者圖元的參考亮度資料和參考色度資料的第一圖像資料；決定該第一圖像資料對應於在一黑暗環境中擷取的一原始圖像；經由對該第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，該第二圖像資料對應於針對該複數個圖元之每一者圖元的當前亮度資料和當前色度資料；及產生輸出圖像資料，以針對該複數個圖元之每一者圖元包括：該當前亮度資料的一相應圖元的一輸出亮度值；及來自該參考色度資料和該當前色度資料中的所選擇的一個的該相應圖元的色度值，該選擇至少部分地基於該參考色度資料和該當前色度資料。
根據請求項1之方法，其中針對該複數個圖元之每一者圖元，當該第一圖像資料的該相應圖元被偵測為灰色並且該第二圖像資料的該相應圖元被偵測為顏色著色時，該輸出圖像資料包括該參考色度資料而不是該當前色度資料。
根據請求項2之方法，其中該第一圖像資料和該第二圖像資料為一YUV格式，該參考色度資料包括參考U資料和參考V資料，並且該當前色度資料包括當前U資料和當前V資料。
根據請求項3之方法，其中偵測該第一圖像資料中的一圖元為灰色之步驟包括以下步驟：決定該參考U資料與一中點U值之間的一絕對差小於一參考閾值。
根據請求項4之方法，其中偵測該第一圖像資料中的一圖元為灰色之步驟亦包括以下步驟：決定該參考U資料與該參考V資料之間的一絕對差小於該參考閾值。
根據請求項4之方法，其中偵測該第一圖像資料中的一圖元為灰色之步驟亦包括以下步驟：決定該參考V資料與一中點V值之間的一絕對差小於該參考閾值。
根據請求項6之方法，其中該中點U值和該中點V值每個為128，並且其中該YUV格式的U值和V值各自的範圍在0與256之間。
根據請求項3之方法，其中偵測該第二圖像資料中的一圖元被顏色著色之步驟包括以下步驟：決定該當前U資料與一中點U值之間的一絕對差大於或等於一當前最小值並且小於或等於一當前最大值；及決定該當前V資料與一中點V值之間的一絕對差大於或等於該當前最小值並且小於或等於該當前最大值。
根據請求項1之方法，其中決定該第一圖像資料對應於在一黑暗環境中擷取的該原始圖像之步驟包括以下步驟：決定與該原始圖像相關聯的一自動曝光控制（AEC）增益大於一閾值AEC增益。
根據請求項1之方法，其中產生該第二圖像資料之步驟亦包括以下步驟：對該第一圖像資料執行一或多個伽馬校正操作以及一或多個銳度增強操作。
一種包括一記憶體以及一或多個處理器的裝置，其中該一或多個處理器被配置為：接收對應於針對複數個圖元之每一者圖元的參考亮度資料和參考色度資料的第一圖像資料；決定該第一圖像資料對應於在一黑暗環境中擷取的一原始圖像；經由對該第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，該第二圖像資料對應於針對該複數個圖元之每一者圖元的當前亮度資料和當前色度資料；及產生輸出圖像資料，以針對該複數個圖元之每一者圖元包括：該當前亮度資料的一相應圖元的一輸出亮度值；及來自該參考色度資料和該當前色度資料中的所選擇的一個的該相應圖元的色度值，該選擇至少部分地基於該參考色度資料和該當前色度資料。
根據請求項11之裝置，其中針對該複數個圖元之每一者圖元，當該第一圖像資料的該相應圖元被偵測為灰色並且該第二圖像資料的該相應圖元被偵測為顏色著色時，該輸出圖像資料包括該參考色度資料而不是該當前色度資料。
根據請求項12之裝置，其中該第一圖像資料和該第二圖像資料為一YUV格式，該參考色度資料包括參考U資料和參考V資料，並且該當前色度資料包括當前U資料和當前V資料。
根據請求項13之裝置，其中該一或多個處理器被配置為經由以下項來偵測該第一圖像資料中的一圖元為灰色：決定該參考U資料與一中點U值之間的一絕對差小於一參考閾值。
根據請求項14之裝置，其中該一或多個處理器亦被配置為經由決定該參考U資料與該參考V資料之間的一絕對差小於該參考閾值來偵測該第一圖像資料中的一圖元為灰色。
根據請求項14之裝置，其中該一或多個處理器亦被配置為經由決定該參考V資料與一中點V值之間的一絕對差小於該參考閾值來偵測該第一圖像中的一圖元為灰色。
根據請求項16之裝置，其中該中點U值和該中點V值每個為128，並且其中該YUV格式的U值和V值各自的範圍在0與256之間。
根據請求項13之裝置，其中該一或多個處理器被配置為經由以下項來偵測該第二圖像資料中的一圖元為顏色著色：決定該當前U資料與一中點U值之間的一絕對差大於或等於一當前最小值並且小於或等於一當前最大值；及決定該當前V資料與一中點V值之間的一絕對差大於或等於該當前最小值並且小於或等於該當前最大值。
根據請求項11之裝置，其中該一或多個處理器被配置為經由決定與該原始圖像相關聯的一自動曝光控制（AEC）增益大於一閾值AEC增益來決定該第一圖像資料對應於在該黑暗環境中擷取的該原始圖像。
根據請求項11之裝置，其中該一或多個處理器被配置為基於對該第一圖像資料執行一或多個伽馬校正操作以及一或多個銳度增強操作來產生該第二圖像資料。
一種儲存指令的非暫時性電腦可讀取儲存媒體，該等指令在由一圖像處理設備的一或多個處理器執行時使該圖像處理設備執行包括以下項的操作：接收對應於針對複數個圖元之每一者圖元的參考亮度資料和參考色度資料的第一圖像資料；決定該第一圖像資料對應於在一黑暗環境中擷取的一原始圖像；經由對該第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，該第二圖像資料對應於針對該複數個圖元之每一者圖元的當前亮度資料和當前色度資料；及產生輸出圖像資料，以針對該複數個圖元之每一者圖元包括：該當前亮度資料的一相應圖元的一輸出亮度值；及來自該參考色度資料和該當前色度資料中的所選擇的一個的該相應圖元的色度值，該選擇至少部分地基於該參考色度資料和該當前色度資料。
根據請求項21之非暫時性電腦可讀取儲存媒體，其中針對該複數個圖元之每一者圖元，當該第一圖像資料的該相應圖元被偵測為灰色並且該第二圖像資料的該相應圖元被偵測為顏色著色時，該輸出圖像資料包括該參考色度資料而不是該當前色度資料。
根據請求項22之非暫時性電腦可讀取儲存媒體，其中該第一圖像資料和該第二圖像資料為一YUV格式，該參考色度資料包括參考U資料和參考V資料，並且該當前色度資料包括當前U資料和當前V資料。
根據請求項23之非暫時性電腦可讀取儲存媒體，其中執行該等指令以用於偵測該第一圖像資料中的一圖元為灰色亦使得該圖像處理設備執行包括以下的操作：決定該參考U資料與一中點U值之間的一絕對差小於一參考閾值；及決定該參考V資料與一中點V值之間的一絕對差小於該參考閾值。
根據請求項24之非暫時性電腦可讀取儲存媒體，其中執行該等指令以用於偵測該第一圖像資料中的一圖元為灰色亦使得該圖像處理設備決定該參考U資料與該參考V資料之間的一絕對差小於該參考閾值。
根據請求項25之非暫時性電腦可讀取儲存媒體，其中該中點U值和該中點V值每個為128，並且其中該YUV格式的U值和V值各自的範圍在0與256之間。
根據請求項23之非暫時性電腦可讀取儲存媒體，其中執行該等指令以用於偵測該第二圖像資料中的一圖元為顏色著色使得該圖像處理設備執行亦包括以下的操作：決定該當前U資料與一中點U值之間的一絕對差大於或等於一當前最小值並且小於或等於一當前最大值；及決定該當前V資料與一中點V值之間的一絕對差大於或等於該當前最小值並且小於或等於該當前最大值。
根據請求項21之非暫時性電腦可讀取儲存媒體，其中執行該等指令以用於決定該第一圖像資料對應於在一黑暗環境中擷取的該原始圖像使得該圖像處理執行亦包括決定與該原始圖像相關聯的一自動曝光控制（AEC）增益大於一閾值AEC增益的操作。
根據請求項21之非暫時性電腦可讀取儲存媒體，其中執行該等指令以用於產生該第二圖像資料使得該圖像處理設備執行亦包括對該第一圖像資料執行一或多個伽馬校正操作以及一或多個銳度增強操作的操作。
一種圖像處理管線，包括：一原始圖像處理構件，用以接收一原始圖像以及對該原始圖像執行一或多個圖像處理操作；一顏色校正矩陣（CCM）構件，用以對所處理的該原始圖像執行一或多個CCM操作；一去雜構件，用以對該CCM構件的一輸出執行一或多個去雜操作，以產生對應於針對複數個圖元之每一者圖元的參考亮度資料和參考色度資料的第一圖像資料；一色調映射構件，用以經由對該第一圖像資料執行一或多個色調映射操作來產生第二圖像資料，該第二圖像資料對應於針對該複數個圖元之每一者圖元的當前亮度資料和當前色度資料；及一顏色校正構件，被配置為：接收該第一圖像資料和該第二圖像資料；決定該第一圖像資料對應於在一黑暗環境中擷取的一原始圖像；及產生輸出圖像資料，以針對該複數個圖元之每一者圖元包括：該當前亮度資料的一相應圖元的一輸出亮度值；及來自該參考色度資料和該當前色度資料中的所選擇的一個的該相應圖元的色度值，該選擇至少部分地基於該參考色度資料和該當前色度資料。