TW202332252A - 多感測器成像彩色校正 - Google Patents

Abstract

提供用於處理圖像的系統和技術。例如，過程可以包括從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像，以及從第二感測器獲得包括第二一或多個圖元的第二彩色圖像，第二彩色圖像包括來自第二圖像感測器的紅外（IR）資訊。該過程可以包括基於與第一一或多個圖元和第二一或多個圖元相關聯的比較來決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換。該過程可以包括至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生彩色校正的圖像。

Description

多感測器成像彩色校正

本案係關於圖像處理。更具體地，本案的各態樣係關於基於來自多個圖像感測器的彩色資訊來校正圖像中的彩色的系統和技術。

許多設備和系統允許經由產生場景的圖像（或訊框）及/或視訊資料（包括多個訊框）來擷取場景。例如，相機或包括相機（或多個相機）的設備可以擷取場景的訊框序列（例如，場景的視訊）。在一些情況下，訊框序列可以被處理用於執行一或多個功能，可以被輸出用於顯示，可以被輸出用於由其他設備處理及/或消耗，以及其他用途。

一些設備被配置為經由偵測彩色（例如，可見光譜）光來擷取彩色圖像。在一些情況下，彩色圖像可以包括紅色、綠色和藍色（RGB）彩色分量。在一些情況下，IR截止濾波器可以定位在（例如，在圖像感測器與彩色圖像擷取設備的透鏡之間，以阻擋紅外（IR）光被包括在彩色（例如，RGB）圖像擷取設備中的圖像感測器偵測到。在一些情況下，RGB圖像感測器可以包括R光電二極體、G光電二極體和B光電二極體。

一些設備可以被配置為偵測彩色和IR光兩者，並且在本文中被稱作RGB加IR圖像擷取設備或RGBIR圖像擷取設備。例如，包括在RGBIR圖像擷取設備中的圖像感測器可以偵測RGB和IR光分量，並且由RGBIR圖像擷取設備產生的圖像可以包括RGB和IR信號值。在一些情況下，可以省略RGB圖像擷取設備中使用的IR截止濾波器，從而允許IR光到達RGBIR圖像感測器。在一些情況下，RGBIR圖像擷取設備可以包括R光電二極體、G光電二極體、B光電二極體和IR光電二極體。在一些情況下，RGBIR圖像擷取設備的RGB光電二極體可能對IR光敏感，且因此由RGBIR圖像擷取設備的RGB光電二極體產生的彩色信號值可能不準確。在一些實例中，RGB圖像擷取設備亦可以省略IR截止濾波器，從而允許IR光到達RGB圖像感測器，導致RGB圖像擷取設備產生的圖像中的不準確的彩色。

在一些實例中，描述了用於處理圖像以基於來自多個圖像感測器的資料校正彩色的系統和技術。

根據至少一個實例，提供一種用於處理圖像的方法。該方法包括以下步驟：從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像；從第二圖像感測器獲得包括第二一或多個圖元的第二彩色圖像，第二彩色圖像包括來自第二圖像感測器的紅外（IR）資訊；基於與第一一或多個圖元和第二一或多個圖元相關聯的比較，決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換；及至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生彩色校正的圖像。

在另一實例中，提供一種用於處理圖像的裝置，包括記憶體（例如，被配置成儲存資料，諸如虛擬內容資料、一或多個圖像等）和耦合到該記憶體的一或多個處理器（例如，用電路系統實現）。一或多個處理器被配置為並且可以：從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像；從第二圖像感測器獲得包括第二一或多個圖元的第二彩色圖像，第二彩色圖像包括來自第二圖像感測器的IR資訊；基於與第一一或多個圖元和第二一或多個圖元相關聯的比較，決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換；及至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生彩色校正的圖像。

在另一實例中，提供一種其上儲存指令的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時，使得一或多個處理器：從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像；從第二圖像感測器獲得包括第二一或多個圖元的第二彩色圖像，第二彩色圖像包括來自第二圖像感測器的IR資訊；基於與第一一或多個圖元和第二一或多個圖元相關聯的比較，決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換；及至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生彩色校正的圖像。

在另一實例中，提供一種用於處理圖像的裝置。該裝置包括：用於從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像的構件；用於從第二圖像感測器獲得包括第二一或多個圖元的第二彩色圖像的構件，第二彩色圖像包括來自第二圖像感測器的IR資訊；用於基於與第一一或多個圖元和第二一或多個圖元相關聯的比較來決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換的構件；及用於至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生彩色校正的圖像的構件。

在一些態樣，與第一一或多個圖元相關聯的視場和與第二一或多個圖元相關聯的視場至少部分地重疊。

在一些態樣，第一圖像感測器與第一光軸相關聯，並且第二圖像感測器與不同於第一光軸的第二光軸相關聯。

在一些態樣，第一圖像感測器具有第一解析度，並且第二圖像感測器具有不同於第一解析度的第二解析度。

在一些態樣，第一圖像感測器包含單個圖元。

在一些態樣，第一圖像感測器包含複數個圖元。

在一些態樣，IR截止濾波器設置在第一圖像感測器的透鏡與第一圖像感測器之間。

在一些態樣，上文所描述的方法、裝置和電腦可讀取媒體亦包含：決定第一一或多個圖元的綠色分量的第一綠色統計度量和第二一或多個圖元的綠色分量的第二綠色統計度量；決定第一一或多個圖元的紅色分量的第一紅色統計度量和第二一或多個圖元的紅色分量的第二紅色統計度量；決定第一一或多個圖元的藍色分量的第一藍色統計度量和第二一或多個圖元的藍色分量的第二藍色統計度量；基於第一綠色統計度量和第二綠色統計度量的數值對應關係來決定綠色校正；基於第一紅色統計度量和第二紅色統計度量的數值對應關係來決定紅色校正；及基於第一藍色統計度量和第二藍色統計度量的數值對應關係來決定藍色校正。

在一些態樣，上文所描述的方法、裝置和電腦可讀取媒體亦包含：產生彩色校正的圖像包含將紅色校正應用於第二一或多個圖元中的每一圖元的紅色分量，將綠色校正應用於第二一或多個圖元中的每一圖元的綠色分量，並將藍色校正應用於第二一或多個圖元中的每一圖元的藍色分量。

在一些態樣，第一一或多個圖元的彩色和第二一或多個圖元的彩色之間的變換包含彩色校正矩陣。

在一些態樣，上文所描述的方法、裝置和電腦可讀取媒體亦包含：產生彩色校正的圖像包含將所決定的變換應用於第二一或多個圖元，以產生第一彩色校正的圖元。

在一些態樣，上文所描述的方法、裝置和電腦可讀取媒體亦包含：將第一彩色圖像和第二彩色圖像中的一者或多者分為複數個部分；決定與相關聯的第二一或多個圖元的第一子集相關聯的第一部分變換；決定與第二一或多個圖元的第二子集相關聯的第二部分變換，其中第二一或多個圖元的第二子集與第一子集相差至少一個圖元。

在一些態樣，上文所描述的方法、裝置和電腦可讀取媒體亦包含：基於第一部分變換和第二部分變換來決定用於產生彩色校正的圖像的全域變換。

在一些態樣，上文所描述的方法、裝置和電腦可讀取媒體亦包含：至少部分地經由經由第一部分變換對第二一或多個圖元的第一子集進行變換以及經由第二部分變換對第二一或多個圖元的第二子集進行變換來產生彩色校正的圖像。

在一些態樣，第一一或多個圖元不包括IR資訊。

在一些態樣，上文所描述的一或多個裝置是以下各項、為以下各項的部分或包括以下各項：行動設備（例如，行動電話或所謂的「智慧型電話」或其他行動設備）、可穿戴設備、擴展現實設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、個人電腦、膝上型電腦、伺服器電腦、車輛（例如，車輛的計算設備）或其他設備。在一些態樣，一種裝置包括用於擷取一或多個圖像的相機或多個相機。在一些態樣，該裝置包括用於顯示一或多個圖像、通知及/或其他可顯示資料的顯示器。在一些態樣，該裝置可以包括一或多個感測器。在一些情況下，一或多個感測器可以用於決定該裝置的位置及/或姿態、裝置的狀態及/或用於其他目的。

此發明內容並不意圖辨識所主張保護標的的關鍵或基本特徵，亦不意圖單獨用於決定所主張保護標的的範疇。應該經由參考本專利的整個說明書的適當部分、任何或所有附圖以及每一請求項來理解標的。

經由參考以下說明書、請求項和附圖，前述內容以及其他特徵和實施例將變得更加明顯。

下文提供本案的某些態樣和實施例。該等態樣和實施例中的一些可以獨立應用，並且其中一些可以組合應用，此舉對熟習此項技術者而言是顯而易見的。在以下描述中，出於解釋的目的，闡述了具體細節，以便提供對本案的實施例的透徹理解。然而，將顯而易見，可以在沒有該等具體細節的情況下實踐各種實施例。附圖和描述並不意圖是限制性的。

隨後的描述僅提供示例性實施例，並不意圖限制本案的範疇、適用性或配置。相反，示例性實施例的隨後描述將為熟習此項技術者提供用於實現示例性實施例的賦能描述。應理解，在不偏離所附請求項中闡述的本案的範疇的情況下，可以對元件的功能和佈置進行各種改變。

許多圖像擷取設備被配置為擷取電磁譜的不同部分（例如，可見光、紅外（IR）、紫外（UV）等）。擷取一些或所有可見光譜的設備亦稱作彩色圖像擷取設備。彩色圖像擷取設備的實例包括擷取包括每圖元的紅色（R）分量、綠色（G）分量和藍色（B）分量（統稱為RGB）的圖像的圖像擷取設備，擷取包括每圖元的亮度、色度-藍色和色度-紅色（YUV、YCbCr、Y'CbCr等）分量的圖像的圖像擷取設備等。例如，RGB圖像擷取設備利用濾色器將入射光分成不同彩色的光分量。在一個實例中，拜耳濾色器可以將入射光過濾成RGB光分量，並且RGB光電二極體可以擷取對應的RGB光，以便為圖像擷取設備的感測器中的每一圖元產生RGB信號值。

在一些情況下，RGB圖像擷取設備中使用的濾色器可以對IR光部分透通，IR光可以存在於日光照明環境以及人工照明環境（例如，來自白熾燈泡）兩者中。在一些態樣，到達RGB光電二極體的IR光可能會使由RGB圖像擷取設備產生的彩色輸出偏斜。在一些情況下，IR光可能會對R、G和B信號值產生不同的影響。例如，當與G濾波器相比時，更高百分比的IR光可以穿過R濾波器。在一些情況下，IR光的效應在RGB成像設備的圖像感測器的不同區域亦可能不同。例如，在一些情況下，當與穿過圖像感測器中心附近的RGB濾波器的IR光的量相比時，更多的IR光可以穿過靠近圖像感測器邊緣的RGB濾波器。在此類情況下，RGB圖像感測器的所得彩色輸出在擷取的RGB圖像的不同區域中可以精確到不同程度。在一些情況下，IR濾光器（亦稱作IR截止濾波器）可以放置在彩色圖像感測器的前方，以濾出IR光並防止IR光到達彩色圖像感測器。

擷取一些或所有IR光譜的設備亦可以在本文稱作IR圖像擷取設備。在一些情況下，IR圖像擷取設備可以包括對IR光敏感的圖像感測器的至少一部分，並且不包括過濾來自圖像感測器的至少IR敏感部分的IR光的IR截止濾波器。在一些情況下，IR截止濾波器可以被實現為完全覆蓋圖像感測器或者不存在的全域元件。

一些設備可以被配置為擷取彩色和IR信號資訊兩者，並且在本文中被稱作RGB和IR圖像擷取設備或RGBIR圖像擷取設備。例如，包括在RGBIR圖像擷取設備中的圖像感測器可以偵測RGB和IR光分量，並且由RGBIR圖像擷取設備產生的圖像可以包括RGB和IR信號分量。在一些實現方式中，RGBIR圖像擷取設備可能不包括在RGBIR圖像感測器前方的IR截止濾波器，且因此在一些照明條件下產生不準確的彩色。在一些實現方式中，RGBIR圖像擷取設備可以包括具有相似或相同解析度的RGB圖像感測器和RGBIR圖像感測器。在一些實例中，RGB圖像擷取設備可以包括在RGB圖像感測器前方的IR截止濾波器（例如，在透鏡與圖像感測器之間）。在一些情況下，RGBIR圖像擷取設備可以根據照明條件在RGB圖像感測器和RGBIR圖像感測器之間切換，及/或分離入射光（例如，使用稜鏡），使得光譜的適當部分到達每一圖像感測器。在一些態樣，RGBIR圖像擷取設備（例如，安全性相機）可以包括機械臂或其他機構，其在存在IR光時（例如，在微光條件下，當使用IR照明源時）將IR截止濾波器移動遠離圖像感測器，並且在照明良好或環境光條件下將IR截止濾波器移動到圖像感測器前方。在一些情況下，包括在具有移動IR截止濾波器的機構的RGBIR圖像擷取設備中的圖像感測器（例如，主圖像感測器）可以是RGB圖像感測器（例如，包括R光電二極體、G光電二極體和B光電二極體）。在一些情況下，因為IR光被允許到達RGB圖像感測器，所以由RGBIR感測器產生的所得彩色圖像可能是不準確的。

上述每一RGBIR圖像擷取設備解決方案皆會增加RGBIR圖像擷取設備的重量、大小、成本及/或功耗，及/或產生具有不良彩色再現品質的圖像。因此，需要用於使用RGBIR感測器來準確且有效地產生彩色圖像的系統和技術。

需要用於從RGBIR圖像擷取設備準確且更有效地獲得準確的彩色資訊的系統和技術。例如，許多應用可能受益於偵測IR光的能力（例如，在微光條件下擷取圖像），但可能遭受不準確的彩色再現。經由校正由RGBIR圖像擷取設備產生的圖像中的彩色，該等系統和技術可以允許RGBIR圖像擷取設備提供IR靈敏度和準確的彩色再現。

本文描述了用於基於由多個圖像擷取設備擷取的圖像來產生準確的彩色圖像的系統、裝置、過程（亦稱作方法）和電腦可讀取媒體（統稱為「系統和技術」）。例如，該等系統和技術可以與RGBIR圖像感測器一起使用，以在包括IR光（例如，陽光、白熾燈泡照明等）的照明條件下產生準確的彩色資訊。系統和技術允許RGBIR圖像擷取設備在沒有IR截止濾波器的情況下用RGBIR感測器（或感測器內的RGBIR圖元子集）來擷取RGBIR圖像。系統和技術亦可以允許RGBIR圖像擷取設備使用參考感測器（或感測器內的圖元的RGB參考圖元子集）來擷取濾除（例如，經由IR截止濾波器）IR光的RGB圖像。RGBIR感測器和參考感測器具有至少部分重疊的視場（例如，主感測器的圖元和參考感測器的圖元可以擷取至少部分重疊的場景）。儘管將根據RGBIR感測器和RGB參考感測器來論述本文描述的實例，但是應當理解，在不脫離本案的範疇的情況下，可以使用具有不同圖元區域的單個感測器來擷取RGBIR圖像和IR濾波的RGB彩色圖像。此外，儘管本文描述的許多實例根據RGB彩色表示來描述彩色校正，但是本案的系統和技術可以與任何其他彩色表示一起使用，諸如亮度、色度-藍色、色度-紅色（YCbCr或Y'CbCr）圖像；及/或任何彩色表示。在一些情況下，本文的系統和技術亦可以用於校正受不希望的照明（例如，IR）影響的單色圖像。

下文將關於附圖來論述本文描述的技術的各種態樣。圖1A是圖示圖像擷取和處理系統100的架構的方塊圖。圖像擷取和處理系統100包括用於擷取和處理場景的圖像（例如，場景110的圖像）的各種元件。圖像擷取和處理系統100可以擷取獨立的圖像（或照片）及/或可以擷取包括特定序列的多個圖像（或視訊訊框）的視訊。圖像擷取和處理系統100的透鏡115面對場景110並接收來自場景110的光。在一些情況下，透鏡115和圖像感測器130可以與光軸相關聯。在一個說明性實例中，圖像感測器130的光敏區域（例如，光電二極體）和透鏡115皆可以在光軸上居中。透鏡115將來自場景110的入射光彎向圖像感測器130。由透鏡115接收的光穿過光圈。在一些情況下，光圈（例如，光圈大小）由一或多個控制機構120控制，並由圖像感測器130接收。在一些情況下，光圈可以具有固定的大小。

一或多個控制機構120可以基於來自圖像感測器130的資訊及/或基於來自圖像處理器150的資訊來控制曝光、聚焦及/或變焦。一或多個控制機構120可以包括多個機構和元件；例如，控制機構120可以包括一或多個曝光控制機構125A、一或多個聚焦控制機構125B，及/或一或多個變焦控制機構125C。一或多個控制機構120亦可以包括除了所圖示的彼等之外的附加控制機構，諸如控制類比增益、閃光、HDR、景深及/或其他圖像擷取屬性的控制機構。

控制機構120的聚焦控制機構125B可以獲得聚焦設置。在一些實例中，聚焦控制機構125B將聚焦設置儲存在記憶體暫存器中。基於聚焦設置，聚焦控制機構125B可以相對於圖像感測器130的位置來調整透鏡115的位置。例如，基於聚焦設置，聚焦控制機構125B可以經由致動馬達或伺服機構（或其他透鏡機構）來移動透鏡115更靠近圖像感測器130或更遠離圖像感測器130，從而調整聚焦。在一些情況下，圖像擷取和處理系統100中可以包括附加的透鏡，諸如圖像感測器130的每一光電二極體上的一或多個微透鏡，在光到達光電二極體之前，每一微透鏡將從透鏡115接收的光彎向對應的光電二極體。聚焦設置可以經由對比度偵測自動聚焦（CDAF）、相位偵測自動聚焦（PDAF）、混合自動聚焦（HAF）或其某種組合來決定。可以使用控制機構120、圖像感測器130及/或圖像處理器150來決定聚焦設置。聚焦設置可以被稱為圖像擷取設置及/或圖像處理設置。在一些情況下，在不脫離本案的範疇的情況下，透鏡115可以相對於圖像感測器固定，並且可以省略聚焦控制機構125B。

控制機構120的曝光控制機構125A可以獲得曝光設置。在一些情況下，曝光控制機構125A將曝光設置儲存在記憶體暫存器中。基於該曝光設置，曝光控制機構125A可以控制光圈的大小（例如，光圈大小或f/stop）、光圈開啟的持續時間（例如，曝光時間或快門速度）、感測器收集光的持續時間（例如，曝光時間或電子快門速度）、圖像感測器130的靈敏度（例如，ISO速度或膠片速度）、圖像感測器130應用的類比增益，或其任何組合。曝光設置可以被稱為圖像擷取設置及/或圖像處理設置。

控制機構120的變焦控制機構125C可以獲得變焦設置。在一些實例中，變焦控制機構125C將變焦設置儲存在記憶體暫存器中。基於變焦設置，變焦控制機構125C可以控制包括透鏡115和一或多個附加透鏡的透鏡元件組裝件（透鏡組裝件）的焦距。例如，變焦控制機構125C可以經由致動一或多個馬達或伺服機構（或其他透鏡機構）來相對於彼此移動一或多個透鏡，從而控制透鏡組裝件的焦距。變焦設置可以被稱為圖像擷取設置及/或圖像處理設置。在一些實例中，透鏡組裝件可以包括齊焦變焦透鏡或變焦距變焦透鏡。在一些實例中，透鏡組裝件可以包括聚焦透鏡（其在一些情況下可以是透鏡115），其首先接收來自場景110的光，隨後在光到達圖像感測器130之前，光穿過聚焦透鏡（例如，透鏡115）與圖像感測器130之間的無焦變焦系統。在一些情況下，無焦變焦系統可以包括兩個焦距相等或相似（例如，在彼此的閾值差內）的正（例如，會聚、凸）透鏡，在其之間有負（例如，發散、凹）透鏡。在一些情況下，變焦控制機構125C移動無焦變焦系統中的一或多個透鏡，諸如負透鏡和一個或兩個正透鏡。在一些情況下，變焦控制機構125C可以經由以對應於變焦設置的變焦從複數個圖像感測器（例如，包括圖像感測器130）中的圖像感測器擷取圖像來控制變焦設置。例如，圖像處理系統100可以包括具有相對較低變焦的廣角圖像感測器和具有較大變焦的遠攝圖像感測器。在一些情況下，基於選擇的變焦設置，變焦控制機構125C可以從對應的感測器擷取圖像。

圖像感測器130包括一或多個光電二極體陣列或其他光敏元件。每一光電二極體量測最終對應於由圖像感測器130產生的圖像中的特定圖元的光量。在一些情況下，不同的光電二極體可以由不同的濾波器覆蓋。在一些情況下，不同的光電二極體可以覆蓋在濾色器中，並且因此可以量測與覆蓋光電二極體的濾波器的彩色相匹配的光。可以使用各種濾色器陣列，包括拜耳（Bayer）濾色器陣列、四元組濾色器陣列（亦稱為四元組拜耳濾色器陣列或QCFA）及/或任何其他濾色器陣列。例如，拜耳濾色器包括紅色濾色器、藍色濾色器和綠色濾色器，其中圖像的每一圖元是基於來自覆蓋在紅色濾色器中的至少一個光電二極體的紅光資料、來自覆蓋在藍色濾色器中的至少一個光電二極體的藍光資料以及來自覆蓋在綠色濾色器中的至少一個光電二極體的綠光資料而產生的。

圖2A中圖示拜耳濾色器陣列200的實例。如圖2A所示，拜耳濾色器陣列200包括R濾色器、B濾色器和G濾色器的重複圖案。圖2B圖示示例性四元組濾色器陣列（QCFA）220。如圖所示，QCFA 220包括2×2（或「四元組」）濾色器圖案，包括2×2紅色（R）濾色器圖案、一對2×2綠色（G）濾色器圖案和2×2藍色（B）濾色器圖案。對於給定圖像感測器130的整個光電二極體陣列，可以重複圖2A中所示的拜耳濾色器陣列200的圖案、圖2B中所示的QCFA 220的圖案、任何其他濾色器，或其任何組合。

返回圖1A，其他類型的濾色器可以使用黃色、品紅色及/或青色（亦稱為「祖母綠」）濾色器來代替或補充紅色、藍色及/或綠色濾色器。在一些情況下，一些光電二極體可以被配置成量測紅外（IR）光。在一些實現方式中，量測IR光的光電二極體可以不被任何濾波器覆蓋，從而允許IR光電二極體量測可見光（例如，RGB或其他彩色）和IR光。在一些實例中，IR光電二極體可以被IR濾波器覆蓋，允許IR光穿過並阻擋來自頻譜的其他部分的光（例如，可見光、彩色）。一些圖像感測器（例如，圖像感測器130）可能完全沒有濾波器（例如，彩色、IR或光譜的任何其他部分），並且可以代替地在整個圖元陣列中使用不同的光電二極體（在一些情況下垂直堆疊）。

圖2C圖示示例性RGBIR濾波器240，除了圖2A的拜耳濾色器陣列200和圖2B的QCFA 220中所示的R、G、B彩色之外，該示例性RGBIR濾波器240亦併入IR光電二極體。類似地，圖2D圖示類似於圖2B的QCFA 220的另一示例性RGBIR濾波器260，替換了QCFA 220的每一RGB四元組中的一個光電二極體來作為IR光電二極體操作。在一些情況下，除了使用濾波器之外或者作為使用濾波器的替代，整個圖元陣列中的不同光電二極體可以具有不同的光譜靈敏度曲線，因此回應於不同波長的光。單色圖像感測器可能缺少濾波器，且因此缺少色深。

返回圖1A，在一些情況下，圖像感測器130可以替代地或附加地包括不透通及/或反射遮罩，其在特定的時間及/或從特定角度阻擋光到達特定光電二極體或特定光電二極體的部分。在一些情況下，不透通的及/或反射遮罩可以用於相位偵測自動聚焦（PDAF）。在一些情況下，不透通的及/或反射遮罩可以用於阻擋部分電磁譜到達圖像感測器的光電二極體（例如，IR截止濾波器、UV截止濾波器、帶通濾波器、低通濾波器、高通濾波器等）。圖像感測器130亦可以包括類比增益放大器以放大由光電二極體輸出的類比信號，及/或類比數位轉換器（ADC）以將光電二極體輸出的（及/或由類比增益放大器放大的）類比信號轉換成數位信號。在一些情況下，關於一或多個控制機構120論述的特定元件或功能可以替代地或附加地包括在圖像感測器130中。圖像感測器130可以是電荷耦合元件（CCD）感測器、電子倍增CCD（EMCCD）感測器、主動圖元感測器（APS）、互補金屬氧化物半導體（CMOS）、N型金屬氧化物半導體（NMOS）、混合CCD/CMOS感測器（例如，sCMOS），或其一些其他組合。

圖像處理器150可以包括一或多個處理器，諸如一或多個圖像信號處理器（ISP）（包括ISP 154）、一或多個主機處理器（包括主機處理器152），及/或關於圖10的計算系統1000論述的一或多個任何其他類型的處理器1010。主機處理器152可以是數位信號處理器（DSP）及/或其他類型的處理器。在一些實現方式中，圖像處理器150是包括主機處理器152和ISP 154的單個積體電路或晶片（例如，被稱為晶片上系統或SoC）。在一些情況下，晶片亦可以包括一或多個輸入/輸出埠（例如，輸入/輸出（I/O）埠156）、中央處理單元（CPU）、圖形處理單元（GPU）、寬頻數據機（例如，3G、4G或LTE、5G等）、記憶體、連接性元件（例如，Bluetooth ^TM、全球定位系統（GPS）等）、其任何組合及/或其他元件。I/O埠156可以包括根據一或多個協定或規範的任何合適的輸入/輸出埠或介面，諸如積體電路間2（I2C）介面、積體電路間3（I3C）介面、串列周邊介面（SPI）介面、串列通用輸入/輸出（GPIO）介面、行動工業處理器介面（MIPI）（諸如MIPI CSI-2實體（PHY）層埠或介面、高級高效能匯流排（AHB）匯流排、其任何組合，及/或其他輸入/輸出埠。在一個說明性實例中，主機處理器152可以使用I2C埠與圖像感測器130通訊，並且ISP 154可以使用MIPI埠與圖像感測器130通訊。

圖像處理器150可以執行多個任務，諸如去馬賽克、彩色空間轉換、圖像訊框下取樣、圖元內插、自動曝光（AE）控制、自動增益控制（AGC）、CDAF、PDAF、自動白平衡、圖像訊框合併以形成HDR圖像、圖像辨識、物件辨識、特徵辨識、輸入接收、管理輸出、管理記憶體，或其一些組合。圖像處理器150可以將圖像訊框及/或處理的圖像儲存在隨機存取記憶體（RAM）140/1025、唯讀記憶體（ROM）145/1020、快取記憶體、記憶體單元、另一儲存設備，或其一些組合中。

各種輸入/輸出（I/O）設備160可以連接到圖像處理器150。I/O設備160可以包括顯示螢幕、鍵盤、小鍵盤、觸控式螢幕、軌跡板、觸敏表面、印表機、任何其他輸出設備1035、任何其他輸入設備1045，或其一些組合。在一些情況下，可以經由I/O設備160的實體鍵盤或小鍵盤，或者經由I/O設備160的觸控式螢幕的虛擬鍵盤或小鍵盤，將字幕輸入到圖像處理設備105B中。I/O 160可以包括一或多個埠、插孔或其他連接器，其實現圖像擷取和處理系統100與一或多個周邊設備之間的有線連接，經由該有線連接，圖像擷取和處理系統100可以從一或多個周邊設備接收資料及/或向一或多個周邊設備傳輸資料。I/O 160可以包括一或多個無線收發器，其實現圖像擷取和處理系統100與一或多個周邊設備之間的無線連接，經由該無線連接，圖像擷取和處理系統100可以從一或多個周邊設備接收資料及/或向一或多個周邊設備傳輸資料。周邊設備可以包括任何前述類型的I/O設備160，並且一旦該等周邊設備耦合到埠、插孔、無線收發器或者其他有線及/或無線連接器，該等周邊設備本身可以被認為是I/O設備160。

在一些情況下，圖像擷取和處理系統100可以是單個設備。在一些情況下，圖像擷取和處理系統100可以是兩個或更多個單獨設備，包括圖像擷取設備105A（例如，相機）和圖像處理設備105B（例如，耦合到相機的計算設備）。在一些實現方式中，圖像擷取設備105A和圖像處理設備105B可以例如經由一或多個電線、電纜或其他電連接器耦合在一起及/或經由一或多個無線收發器無線地耦合在一起。在一些實現方式中，圖像擷取設備105A和圖像處理設備105B可以彼此斷開。

如圖1A所示，垂直虛線將圖1A的圖像擷取和處理系統100劃分成兩部分，分別表示圖像擷取設備105A和圖像處理設備105B。圖像擷取設備105A包括透鏡115、控制機構120和圖像感測器130。圖像處理設備105B包括圖像處理器150（包括ISP 154和主機處理器152）、RAM 140、ROM 145和I/O 160。在一些情況下，圖像擷取設備105A中圖示的某些元件，諸如ISP 154及/或主機處理器152，可以被包括在圖像擷取設備105A中。第二圖像感測器

圖1B圖示包括圖1B的圖像處理設備105B和圖像擷取設備105C的圖像擷取和處理系統190的另一實例。在所示實例中，圖像擷取設備105C包括上文關於圖1A描述的圖像感測器130和控制機構120以及第二圖像感測器180和控制機構170。控制機構170可以類似於圖1A的控制機構120並執行類似的功能。曝光控制機構175A可以類似於圖1A的曝光控制機構125A並執行類似的功能。聚焦控制機構175B可以類似於圖1A的聚焦控制機構125B並執行類似的功能。變焦控制機構175C可以類似於變焦控制機構125C並執行類似的功能。

在一些情況下，第一圖像感測器130和第二圖像感測器180以及圖像擷取設備105C的對應透鏡115、165可以具有至少部分重疊的視場。如前述，圖像感測器130和透鏡115可以與光軸相關聯，該光軸在本文中亦稱作第一光軸。在一些實例中，透鏡165和第二圖像感測器可以與第二光軸相關聯。在一個說明性實例中，第二圖像感測器180的光敏區域（例如，光電二極體）和透鏡165皆可以在第二光軸上居中。在不脫離本案的範疇的情況下，可以使用圖像感測器130和透鏡115以及第二圖像感測器180和透鏡165之間的其他對準。在一些情況下，第一光軸和第二光軸可以在實體上靠近在一起（例如，電子設備的多個相機）。在所示實例中，透鏡165可以是與透鏡115不同類型的透鏡。例如，如圖1B所示，透鏡115可以具有寬視場111（例如，從廣角透鏡）。在一些情況下，透鏡165可以具有比透鏡115更狹窄的視場161（例如，從遠攝透鏡），其具有較高的放大率或變焦因數（如人163的相對較大的大小所示）。在一些情況下，圖像感測器130和第二圖像感測器180中的一者可以是RGB圖像感測器，並且圖像感測器130和第二圖像感測器180中的另一者可以是RGBIR感測器。在一些情況下，由RGB圖像感測器擷取的圖像中的彩色資訊可以用於校正由RGBIR圖像感測器擷取的圖像中的彩色。

圖像擷取和處理系統100及/或190可以包括電子設備，諸如行動或靜止電話手機（例如，智慧型電話、蜂巢式電話等）、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、相機、顯示設備、數位媒體播放機、視訊遊戲控制台、視訊串流設備、網際網路協定（IP）相機，或任何其他合適的電子設備。在一些實例中，圖像擷取和處理系統100及/或190可以包括用於無線通訊的一或多個無線收發器，諸如蜂巢式網路通訊、802.11 wi-fi通訊、無線區域網路（WLAN）通訊，或其一些組合。在一些實現方式中，圖像擷取設備105A和圖像處理設備105B可以是不同的設備。例如，圖像擷取設備105A及/或圖像擷取設備105C可以包括相機設備，並且圖像處理設備105B可以包括計算設備，諸如行動手機、桌上型電腦或其他計算設備。

儘管圖像擷取和處理系統100和圖像擷取和處理系統190被示為包括某些元件，但是一般技術者將瞭解，圖像擷取和處理系統100及/或圖像擷取和處理系統190可以包括比圖1A和圖1B中所示更多的元件。圖像擷取和處理系統100及/或圖像擷取和處理系統190的元件可以包括軟體、硬體或者軟體和硬體的一或多個組合。例如，在一些實現方式中，圖像擷取和處理系統100及/或圖像擷取和處理系統190的元件可以包括及/或可以使用電子電路或其他電子硬體來實現，該等電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括及/或使用電腦軟體、韌體或其任何組合來實現，從而執行本文描述的各種操作。軟體及/或韌體可以包括一或多個指令，該等指令儲存在電腦可讀取儲存媒體上並可由實現圖像擷取和處理系統100及/或圖像擷取和處理系統190的電子設備的一或多個處理器執行。

圖3A和圖3B是提供在存在IR照明的情況下由RGB圖像感測器和RGBIR圖像感測器擷取的圖像的差異的說明性實例的圖像。圖3A是由RGB圖像感測器擷取的場景302的示例性RGB圖像300。例如，RGB圖像300可能已使用併入有圖2A的拜耳濾色器陣列200或圖2B的QCFA的圖像感測器擷取。在一些情況下，拜耳濾色器陣列、QCFA或其他濾色器圖案的R、G和B濾波器可能不會完全阻擋IR光到達RGB圖像感測器的R、G和B光電二極體。在一些實例中，RGB圖像感測器的R、G和B光電二極體中的每一者可能對IR光敏感。在一些實現方式中，當IR光被相機擷取時(例如，在陽光下)，則由RGB圖像感測器的R、G和B光電二極體中的每一者產生的信號的一部分亦可以包括由IR光引起的信號部分，此舉可以導致所得圖像包括所擷取場景中的不準確的彩色表示。在一些情況下，IR截止濾波器可以放置在場景與RGB圖像感測器之間（例如，在圖1A中所示的透鏡115與圖像感測器130之間）。在一些態樣，IR截止濾波器可以允許彩色光穿過，同時阻擋IR光通過。在一些實例中，可以防止IR光到達R、G和B圖元。在一些情況下，由於IR光譜分量被IR截止濾波器阻擋，由被IR截止感測器阻擋的圖像感測器產生的圖像可以準確地擷取來自場景的彩色資訊。

圖3B圖示在圖3A的RGB圖像300中擷取的場景302的示例性RGBIR圖像304。在一些情況下，RGBIR圖像304可以由不包括放置在光電二極體陣列前方的IR截止濾波器的圖像感測器（例如，在RGBIR圖像擷取設備中）擷取。結果，入射到RGB光電二極體（例如，RGB濾色器後面的光電二極體）上的IR光亦可能將一部分IR光錯誤地偵測為R、G及/或B光。在一些情況下，IR光可以增加所有RGB光電二極體的整體信號位準。在一些情況下，IR光提高RGB光電二極體信號位準的量可能不均勻。例如，R、G和B光電二極體可能各自對IR光具有不同的靈敏度。結果，由IR光引起的信號位準的增加量在R、G和B光電二極體之間亦可能不同。此種對不同彩色的RGB光電二極體的不同效應可能會導致場景中表示的真實彩色的失真。在一些態樣，當與由被IR截止濾波器阻擋的圖像感測器擷取的圖像相比時，由RGBIR圖像中未被IR截止濾波器阻擋的IR光導致的RGB圖像值（例如，圖像中的彩色表示）的任何差異皆會導致偏斜的彩色表示。此外，因為入射到每一光電二極體上的IR光的量是未知的，所以圖像擷取設備的彩色校正及/或白平衡校正處理功能可能無法補償未知量的IR光來產生正確的彩色輸出。在一個說明性實例中，薄霧312可以是由RGB光電二極體偵測到IR光的結果。在一些情況下，薄霧312可以顯現白色，或者薄霧312可以顯現任何其他彩色。在另一說明性實例中，IR光可以在RGBIR圖像304上引起色偏（未圖示）。例如，色偏可以在RGBIR圖像304中顯現為紅色、綠色或藍色色調。在一些情況下，若R光電二極體對光更敏感（例如，因為R濾色器比G和B濾色器允許更多的IR穿過），則薄霧312可以具有紅色外觀。除了對不同彩色的RGB光電二極體的效應差異之外或者作為替代，IR的效應亦可能是空間不均勻的。在一些情況下，由RGB光電二極體感測的IR光量在圖像感測器的邊緣可能比在圖像感測器的中心更大。由單個RGB光電二極體感測的光量可以決定每一單個RGB光電二極體的彩色偏斜量。

如上文關於圖1B所述，在一些情況下，圖像擷取系統（例如，圖像擷取和處理系統100及/或圖像擷取和處理系統190）可以包括共享至少部分重疊視場的多個圖像感測器。在一些情況下，多個圖像感測器中的至少一者可以包括用於阻擋IR光的IR截止濾波器（例如，RGB感測器）。在一些情況下，RGB感測器擷取的彩色可以被假設是準確的。如本文更詳細論述，在一些情況下，由RGB感測器擷取的彩色資訊可以用於校正包括在多個圖像感測器中的其他圖像感測器的彩色。

圖4圖示圖像彩色校正系統400的實例。圖像彩色校正系統400包括用於處理圖像和校正執行彩色校正的各種元件。如圖所示，圖像彩色校正系統400的元件包括圖像矯正引擎402和彩色校正引擎404。

圖像彩色校正系統400可以包括多成像器系統或者是多成像器系統的一部分。例如，圖像彩色校正系統400可以包括或者是圖1A的圖像擷取和處理系統100及/或圖1B的圖像擷取和處理系統190的一部分。在其他實現方式中，圖像彩色校正系統400可以是以下各項的部分：行動或靜止電話手機（例如，智慧型電話、蜂巢式電話等）、伺服器電腦（例如，與車輛計算系統通訊）、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、相機、顯示設備、數位媒體播放機、視訊串流設備，或任何其他合適的電子設備。在一些實例中，圖像彩色校正系統400可以包括用於無線通訊的一或多個無線收發器（或單獨的無線接收器和傳輸器），諸如蜂巢式網路通訊、802.11 Wi-Fi通訊、無線區域網路（WLAN）通訊、藍芽或其他短程通訊、其任何組合，及/或其他通訊。在一些實現方式中，圖像彩色校正系統400的元件（例如，圖像矯正引擎402和彩色校正引擎404）可以是同一計算設備的部分。在一些實現方式中，圖像彩色校正系統400的元件可以是兩個或更多個單獨計算設備的部分。在一些情況下，圖像彩色校正系統400可以被實現為圖10中所示的計算系統1000的部分。

儘管圖像彩色校正系統400被示為包括某些元件，但是一般技術者將瞭解，圖像彩色校正系統400可以包括比圖4中所示更多或更少的元件。在一些情況下，圖像彩色校正系統400的附加元件可以包括軟體、硬體或者軟體和硬體的一或多個組合。例如，在一些情況下，圖像彩色校正系統400可以包括一或多個其他感測器（例如，一或多個慣性量測單元（IMU）、雷達、光偵測和測距（LIDAR）感測器、音訊感測器等）、一或多個顯示設備、一或多個其他處理引擎、一或多個其他硬體元件，及/或圖4中未圖示的一或多個其他軟體及/或硬體元件。在一些實現方式中，圖像彩色校正系統400的附加元件可以包括及/或可以使用電子電路或其他電子硬體來實現，該等電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，數位信號處理器（DSP）、微處理器、微控制器、圖形處理單元（GPU）、中央處理單元（CPU）、其任何組合及/或其他合適的電子電路），及/或可以包括及/或使用電腦軟體、韌體或其任何組合來實現，以執行本文描述的各種操作。軟體及/或韌體可以包括一或多個指令，該等指令儲存在電腦可讀取儲存媒體上並可由實現圖像彩色校正系統400的電子設備的一或多個處理器執行。

圖像矯正引擎402可以用於準備第一輸入圖像406和第二輸入圖像408，以供彩色校正引擎404進行彩色校正。例如，圖像調整引擎可以用於對準第一輸入圖像和第二輸入圖像，執行解析度放大及/或縮小，及/或在基於第二輸入圖像408對第一輸入圖像406進行彩色校正之前執行任何其他調整。可以由圖像矯正引擎402執行的調整的一個說明性實例將在下文參考圖5更詳細地論述。

圖5是圖示圖像矯正引擎402的示例性元件和操作的示圖。如圖5中所示，圖像矯正引擎402包括單應性計算引擎548和感興趣區域（ROI）計算引擎549。在一些情況下，第一輸入圖像406和第二輸入圖像408可以具有不同的解析度。例如，第一輸入圖像406（例如，圖6A中的RGBIR圖像310）可以具有比第二輸入圖像408（例如，圖6A中的RGB圖像605）更高的解析度。在一些情況下，第一輸入圖像406和第二輸入圖像408可以具有不同的解析度。例如，第一輸入圖像406和第二輸入圖像408中的一者可以具有較高的解析度，並且第一輸入圖像406和第二輸入圖像408中的另一者可以具有較低的解析度。在一些情況下，在對準第一輸入圖像406和第二輸入圖像408之前，若第一輸入圖像406和第二輸入圖像408不共享共同的解析度，則圖像矯正引擎402可以將較高解析度圖像下取樣到較低解析度，或者可以將較低解析度圖像上取樣以匹配較高解析度。可以使用任何合適的下取樣或上取樣技術，諸如線性內插技術。在一些情況下，第一輸入圖像406和第二輸入圖像408可以具有共同的解析度。出於隨後描述的目的，第一輸入圖像406和第二輸入圖像408被視為具有共同的解析度。例如，圖6B的RGBIR圖像310可以對應於第一輸入圖像406，並且圖6B的RGB圖像615可以對應於第二輸入圖像408。

單應性計算引擎548可以執行操作542、544和546。例如，在操作542，單應性計算引擎548從包括第一輸入圖像406和第二輸入圖像408的兩個輸入圖像中執行特徵提取。可以使用一或多個特徵偵測及/或辨識演算法來執行特徵提取，以從輸入圖像406和408中提取某些不同的特徵。所提取的特徵可以用作參考點，經由該等參考點來對準輸入圖像406和408。在一個說明性實例中，若輸入圖像406和408包括桌子的圖像，則提取的特徵可以包括桌子的四個角。第一輸入圖像406中的桌子的四個角上的特徵點可以與第二輸入圖像408中的桌子的四個角上的特徵點對準。

在一些實現方式中，用於操作542的特徵偵測及/或辨識演算法可以包括及/或併入圖像偵測及/或辨識演算法、特徵偵測及/或辨識演算法、邊緣偵測演算法、邊界追蹤功能、物件偵測及/或辨識演算法、面部偵測及/或辨識演算法，或者其一些組合。特徵偵測是一種用於從圖像或視訊訊框中偵測（或定位）物件特徵的技術。例如，特徵偵測可以辨識場景區域中的多個邊緣和拐角。在一些實現方式中，可以使用一或多個基於電腦視覺的特徵提取技術，諸如使用定向梯度長條圖（HOG）、加速穩健特徵（SURF）、局部二進位模式（LBP）、哈爾（Haar）小波、彩色長條圖、其任何組合及/或其他電腦視覺技術。在一些實現方式中，特徵偵測及/或辨識演算法可以基於被訓練為從圖像中提取特徵的機器學習模型。例如，機器學習模型可以是神經網路（NN），諸如迴旋神經網路（CNN）、時間延遲神經網路（TDNN）、深度前饋神經網路（DFFNN）、遞迴神經網路（RNN）、自動編碼器（AE）、變化AE（VAE）、去雜AE（DAE）、稀疏AE（SAE）、瑪律可夫鏈（MC）、感知器或其某種組合。可以使用監督學習技術、無監督學習技術、半監督學習技術、其任何組合、產生對抗網路（GAN）訓練技術及/或其他機器學習訓練技術來訓練機器學習模型。

如圖5所示，從兩個輸入圖像406和408（在圖5中顯示為輸入圖像406和408中的圓點或點）中決定四個對應的偵測特徵。在操作544，單應性計算引擎548計算單應性矩陣。例如，單應性計算引擎548可以決定表示為兩個輸入圖像406和408的平面之間的變換矩陣（例如，3×3單應性矩陣545）的單應性變換。作為說明性實例，圖5中展示了3×3單應性矩陣545。在其他實例中，可以使用其他單應性矩陣大小。

在操作546，輸入圖像之一（圖4的第一輸入圖像406或第二輸入圖像408）基於計算的變換矩陣（例如，3×3單應性矩陣545）被扭曲。例如，使用單應性矩陣545（或變換），第一輸入圖像406的特徵和第二輸入圖像408的特徵可以彼此配準。參考圖5，在應用基於單應性矩陣的對準之後，展示在輸入圖像406和408上的四個圓點或點可以彼此重疊。在所示實例中，第一輸入圖像406的每一圖元被縮放和旋轉以與第二輸入圖像408對準。圖5中所示的實例圖示使用單應性矩陣545縮放和旋轉第一輸入圖像406，使得特徵點的座標從(x2,y2)（表示（水平座標，垂直座標））的位置改變到(x1,y1)的位置。應理解，在不脫離本案的範疇的情況下，兩個輸入圖像中的任一者皆可以被縮放和旋轉，以與兩個輸入圖像中的另一者對準。

在一些情況下，因為輸入圖像406或408之一的圖像內容被扭曲（為了配準輸入圖像406和408的點，旋轉後的輸入圖像406和408的圖像邊界可能不對準。在一些情況下，如上文提及，輸入圖像406和408亦可以具有不同的縱橫比（例如，廣角對遠攝）。在一些實現方式中，ROI計算引擎549可以切割或裁剪（稱作圖像裁剪）重疊的圖像內容，並且可以使用重疊的部分作為新的輸出圖像，新的輸出圖像將被提供給圖4的彩色校正引擎404進行處理。

在一個說明性實例中，圖6B圖示經由將第一輸入圖像406和第二輸入圖像408彼此配準（例如，經由圖5的操作542）、計算單應性矩陣並扭曲第一輸入圖像406和第二輸入圖像408之一以及扭曲圖像之一（例如，經由圖5的操作544和546）來決定的RGBIR圖像310（例如，圖4的第一輸入圖像406）和RGB圖像615（例如，圖4的第二輸入圖像408）的示例性重疊區域622。在一些情況下，如前述，第一輸入圖像406和第二輸入圖像408可以被裁剪以使用重疊部分進行彩色校正。在圖6C所示的實例中，裁剪後的RGBIR圖像625是經由裁剪圖6A的RGBIR圖像310的重疊區域622而產生的。

返回圖5，在一些實現方式中，來自ROI計算引擎549的裁剪圖像可以被重新調整大小到與原始輸入圖像406、408的解析度相匹配的大小。例如，若兩個輸入圖像406、408最初具有超高清（UHD）解析度（例如，3840圖元×2160圖元），則經裁剪的圖像（其中一個或兩個可能已經經由圖像裁剪移除了圖元）可以被縮放回UHD解析度。在一些實現方式中，裁剪後的圖像可以被重新調整大小到原始輸入圖像大小。

再次參考圖4，彩色校正引擎404可以利用第二輸入圖像408（例如，圖6B的RGB圖像615）中的彩色資訊來對第一輸入圖像406執行彩色校正。在一些情況下，彩色校正引擎404可以使用單色校正技術來基於第二輸入圖像408校正第一輸入圖像406。在一些情況下，彩色校正引擎404可以對第一輸入圖像406（例如，圖6A的RGBIR圖像310）的所有圖元應用全域彩色校正。在一些實現方式中，第一輸入圖像406可以由圖像擷取設備的主圖像感測器（例如，RGBIR感測器）擷取。在一些實例中，彩色校正引擎404可以對第一輸入圖像406的經裁剪的第一輸入圖像（例如，經裁剪的RGBIR圖像630）的圖元應用全域彩色校正。在一些情況下，彩色校正引擎404可以對RGBIR輸入圖像（例如，圖6A的RGBIR圖像310）的每個圖元應用全域彩色校正，以產生彩色校正的圖像。彩色校正引擎404可以利用不同的彩色校正技術來決定要應用於第一輸入圖像406的彩色校正。在一些實現方式中，彩色校正引擎404可以被配置為在不同的彩色校正技術之間動態地切換。例如，若與第一輸入圖像406和第二輸入圖像408相關聯的照明在包括IR光的照明和不包括IR光的照明之間變化，則彩色校正引擎404可以應用不同的彩色校正技術。

在第一說明性示例性彩色校正技術中，彩色校正引擎404可以計算跨由參考圖像感測器擷取的圖像中的所有圖元（例如，圖4的第二輸入圖像408的圖元）的每一彩色通道（例如，G通道平均 、R通道平均 和B通道平均 ）的統計度量（例如，平均值）。類似地，彩色校正引擎404可以計算跨由主圖像感測器擷取的圖像（例如，圖4的第一輸入圖像406）中的所有圖元的每一彩色通道（例如，G通道平均 、R通道平均 和B通道平均 ）的統計度量（例如，平均值）。在此類實現方式中，彩色校正引擎404可以決定每一彩色（例如，RGB）的校正比率，諸如下文等式（1A）中所示的G、等式（1B）中所示的R和等式（1C）中所示的B的以下示例性校正比率： （1A） （1B） （1C）

在一些實現方式中，由主感測器擷取的圖像（例如，圖4的第一輸入圖像406）的每一圖元的RGB值可以乘以對應的校正比率，以產生校正的圖像。例如，第一圖像中每一圖元的R值可以乘以 ，第一輸入圖像406中每一圖元的B值可以乘以 ，並且第一輸入圖像406中每一圖元的G值可以乘以 。在一些情況下，參考感測器可以是由IR截止濾波器覆蓋的輔助感測器，其解析度低於主圖像感測器。在一個說明性實例中，參考感測器可以包括具有RGB光電二極體的單個圖元，該等RGB光電二極體從與主感測器相同的場景的一部分擷取的光量測單個RGB值。在另一說明性實例中，參考感測器可以包括具有RGB光電二極體的2×2圖元陣列，每一圖元近似對應於主感測器的象限。在一些情況下，由參考感測器擷取的相同場景的部分可以包括整個相同場景或相同場景的子集。在一些情況下，由單個圖元參考圖像感測器產生的RGB值可以用作以上等式（1A）至（1C）中所示的平均值。前面的說明性實例描述了基於來自參考圖像感測器的RGB值來決定用於校正彩色的比率。然而，在不脫離本案的範疇的情況下，任何數值對應關係（例如，某個百分比值、比率、比例、函數、關係等）皆可以用於校正彩色。

在一些實例中，第一輸入圖像406和第二輸入圖像408可以被分為多個部分（例如，圖6D及/或圖6E中所示的部分620和640），可以在每一部分中決定第一輸入圖像406的RGB值與第二輸入圖像408的RGBIR值之間的數值對應關係，並且可以基於所決定的數值對應關係對每一單個部分應用校正。

在第二說明性實例中，系統和技術可以基於第二輸入圖像408（例如，由參考圖像感測器擷取的圖像）和第一輸入圖像406（例如，由主圖像感測器擷取的圖像）來決定彩色校正矩陣（CCM）。例如，經由將CCM矩陣乘以包含RGBIR圖像的每一圖元的RGB和IR分量的向量，3×4 CCM可以為校正的圖像中的每一圖元產生校正的RGB值。在此類情況下，IR圖像的IR通道可能有助於校正的圖像的圖元的最終RGB值。下文的等式（2）圖示乘以3×4 CCM的實例 （2）

其中 是3×4 CCM的係數，其中i表示校正的圖像（例如，輸出圖像）中的彩色分量，並且j表示RGBIR圖像（例如，彩色校正的輸出圖像410）中的彩色分量。下文的等式（3）說明決定校正的RGB圖元值 ，其中對於來自RGBIR圖像的一個示例性圖元 （3）

在一些情況下，可以經由將第一輸入圖像406和第二輸入圖像408分成多個部分，決定每一部分中第一輸入圖像406的RGB值與第二輸入圖像408的RGBIR值之間的彩色關係，並基於所有部分的彩色關係的組合來最佳化3×4 CCM的係數，來決定3×4 CCM的係數。一種用於最佳化CCM係數的說明性示例性技術是最小平方最佳化。

亦可以使用其他圖像校正技術來執行彩色校正，諸如使用三維查閱資料表（3D LUT）。在一個說明性實例中，3D查閱資料表可以包括由RGBIR圖像感測器擷取的每個可能的RGB值和對應的彩色校正的RGB彩色值。在另一說明性實例中，類似的查閱資料表可以僅用於色度值（例如，YCbCr圖像的Cb、Cr），以允許使用二維查閱資料表，該二維查閱資料表包括由RGBIR圖像感測器產生的每個可能色度值的校正的色度值的對應關係。

圖6D圖示覆加在由RGB參考感測器擷取的RGB圖像635（例如，圖4的第二輸入圖像408）上的部分620的實例。類似地，圖6D圖示覆加在由RGBIR主感測器擷取的RGBIR圖像310（例如，圖4的第一輸入圖像406）上的部分640。在一些情況下，部分620和640可以表示圖元子集。如圖6D的實例所示，每一部分620可以具有覆蓋所擷取場景的對應部分的對應部分640。儘管圖6D中未圖示，但在一些情況下，用於決定CCM係數的部分可以重疊。圖6E圖示調整的RGB圖像645（例如，由圖4的圖像矯正引擎402放大），並展示了覆加在調整的RGB圖像645上的部分620。圖6E亦圖示部分640被覆加的經裁剪的RGBIR圖像660（例如，由圖4的圖像矯正引擎402裁剪）。

在第三說明性實例中，3×3 CCM可以執行第一輸入圖像406（例如，RGBIR圖像）的RGB分量的三個線性組合，以產生每一圖元的校正的R、G和B值。在此類實例中，為了決定校正的圖像的圖元的最終RGB值，可以忽略第一輸入圖像406的IR通道。 （4） （5）

在一些實例中，可以經由將第一輸入圖像406和第二輸入圖像408分成多個部分（例如，圖6D及/或圖6E中所示的部分620和640），決定每一部分中第一輸入圖像406的RGB值與第二輸入圖像408的RGBIR值之間的彩色關係，並基於所有部分的彩色關係的組合來最佳化3×3 CCM的係數，來決定3×3 CCM的係數。

上述第一、第二和第三說明性實例各自描述了對第一輸入圖像406（例如，圖6A的RGBIR圖像310）的每一圖元應用相同的彩色校正，以產生彩色校正的輸出圖像410。在一些情況下，可以對RGBIR圖像的不同圖元應用不同的彩色校正。例如，如前述和如圖6D所示，主圖像感測器的圖元可以被分成多個部分（例如，部分620）。在一些情況下，系統和技術可以決定用於RGBIR圖像的每一部分的彩色校正（例如，使用彩色校正比率、彩色校正矩陣等）。在一些情況下，機器學習模型（例如，神經網路）可以決定使用何者一或多個彩色校正技術來產生彩色校正的輸出圖像。在一些實例中，亦可以使用機器學習模型來應用彩色校正技術。在一些實現方式中，機器學習模型亦可以決定如何劃分圖像（例如，劃分成多個部分）以用於決定及/或應用彩色校正來產生校正的圖像。

在一個說明性實例中，除了使用圖6D和圖6E中所示的部分620和640來決定要全域應用於第一輸入圖像406的彩色校正之外或作為替代，彩色校正引擎404可以決定要應用於第一輸入圖像406的每一部分640的不同彩色校正。在此類實例中，為第一輸入圖像406的每一部分640決定的校正比率（例如，等式1A至等式1C）、CCM（例如，等式（2）的3×4 CCM或等式（4）的3×3 CCM）、任何其他彩色校正技術或其任何組合可以應用於第一輸入圖像406的相應部分640中的圖元（或經裁剪的第一輸入圖像的每一圖元），以產生彩色校正的輸出圖像410。例如，圖像彩色校正系統400可以決定用於RGBIR圖像的每一部分640的3×4 CCM，並且將第一決定的3×4 CCM應用於部分640的第一部分中的第一輸入圖像406的每一圖元（或者裁剪的第一輸入圖像的每一圖元），並且將第二決定的3×4 CCM應用於部分640的第二部分的每一圖元，並且對於每一部分640以此類推。

此外，儘管在圖6D和圖6E中部分被示為矩形網格，但是第一和第二圖像可以被分成任何形狀的部分。此外，圖6E中所示的部分被示為不重疊，但是亦可以使用重疊的部分。圖像彩色校正系統400亦可以不基於第一輸入圖像406和第二輸入圖像408的所有圖元來決定彩色校正。在一個說明性實例中，圖像矯正引擎402可以決定用於計算與第一輸入圖像406和第二輸入圖像408中存在的特徵點相對應的彩色校正的區域，該等特徵點是在決定用於對準第一輸入圖像406和第二輸入圖像408的特徵點的過程期間偵測到的。

返回圖4，在第一輸入圖像406由彩色校正引擎404進行彩色校正之後，圖像彩色校正系統400可以輸出彩色校正的輸出圖像410。圖6F提供了示例性彩色校正的圖像670，其可以對應於圖4的彩色校正的輸出圖像410。如圖所示，經彩色校正的圖像670可以維持RGBIR圖像的解析度，同時提供更準確的彩色（例如，補償圖3B所示的薄霧312）。

在許多情況下，包括相機功能性的電子設備經常包含多個圖像感測器。如前述，本文描述的圖像彩色校正系統400和相關技術可以允許基於參考感測器（例如，RGB圖像感測器）擷取的彩色圖像對主感測器（例如，RGBIR圖像感測器）擷取的圖像進行彩色校正。在一些情況下，參考感測器可以是輔助感測器，其主要用於來自主圖像感測器的圖像的彩色校正。在一些情況下，參考感測器可以是包括在圖像擷取系統（例如，行動設備）中的全功能RGB圖像感測器。在一些實現方式中，主感測器和參考感測器不需要具有相同的解析度。本文所述的系統和技術允許包含IR敏感圖像感測器（例如，RGBIR圖像感測器），其可以提供IR感測能力（例如，可以在弱光條件下使用）和在存在IR照明的情況下的準確彩色表示。在一些情況下，系統和技術可以經由消除對專用IR感測器及/或用於根據照明條件實體移動IR濾波器的機構的需要來減小併入有IR感測能力的電子設備的大小及/或重量。

圖7是圖示處理一或多個訊框的過程700的實例的流程圖。在方塊702，過程700包括從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像（例如，RGB圖像）。在一個說明性實例中，第一圖像感測器（例如，圖1B的圖像感測器130或第二圖像感測器180）可以是包括多個圖像感測器的設備中的輔助感測器。在一些情況下，第一圖像感測器可以具有與第二圖像感測器不同的解析度。在一些情況下，與第一一或多個圖元相關聯的視場與第二一或多個圖元相關聯的視場至少部分地重疊。在一些實現方式中，第一圖像感測器與第一光軸相關聯，並且第二圖像感測器與不同於第一光軸的第二光軸相關聯。在一些實例中，第一圖像感測器具有第一解析度，並且第二圖像感測器具有不同於第一解析度的第二解析度。在一些情況下，第一圖像感測器包含單個圖元。在一些實現方式中，第一圖像感測器包含複數個圖元。在一些情況下，IR截止濾波器設置在第一圖像感測器的透鏡與第一圖像感測器之間。IR截止濾波器可以阻止IR光到達第一圖像感測器。在一些情況下，第一一或多個圖元中的每一者包括對應的紅色分量、綠色分量和藍色分量，並且第二一或多個圖元中的每一者包括對應的紅色分量、綠色分量和藍色分量。在一些實例中，第一一或多個圖元不包括IR資訊。

在方塊704，過程700包括從第二圖像感測器獲得包括第二一或多個圖元的第二彩色圖像。第二彩色圖像包括來自第二圖像感測器（例如，圖1B的圖像感測器130或第二圖像感測器180）的紅外（IR）資訊。

在方塊706，過程700包括基於與第一一或多個圖元和第二一或多個圖元相關聯的比較，決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換。在一些實施例中，決定變換包含決定第一一或多個圖元的綠色分量的第一綠色統計度量和第二一或多個圖元的綠色分量的第二綠色統計度量，以及基於第一綠色統計度量和第二綠色統計度量的數值對應關係來決定綠色校正。過程700可以對第一一或多個圖元和第二一或多個圖元的藍色分量和紅色分量執行類似的決定。在一些情況下，決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換包括將第一彩色圖像和第二彩色圖像中的一者或多者分成複數個部分。在一些實例中，過程700可以決定與相關聯的第二一或多個圖元的第一子集相關聯的第一部分變換。在一些實現方式中，過程700可以決定與第二一或多個圖元的第二子集相關聯的第二部分變換。第二一或多個圖元的第二子集與第一子集相差至少一個圖元。在一些情況下，過程700可以基於第一部分變換和第二部分變換來決定用於產生彩色校正的圖像的全域變換。參考圖4、圖5和圖6A至圖6F描述了用於決定彩色之間的變換的說明性示例性技術。

在方塊708，過程700包括至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生經彩色校正的圖像。在一些實現方式中，產生彩色校正的圖像包含將紅色校正應用於第二一或多個圖元的每一圖元的紅色分量，將綠色校正應用於第二一或多個圖元的每一圖元的綠色分量，並將藍色校正應用於第二一或多個圖元的每一圖元的藍色分量。在一個說明性實例中，第一一或多個圖元的彩色和第二一或多個圖元的彩色之間的變換包含彩色校正矩陣。在一些情況下，產生彩色校正的圖像包含將所決定的變換應用於第二一或多個圖元，以產生第一彩色校正的圖元。在一些實現方式中，產生彩色校正的圖像至少部分地包括經由第一部分變換對第二一或多個圖元的第一子集進行變換，以及經由第二部分變換對第二一或多個圖元的第二子集進行變換。

在一些實例中，本文描述的過程（例如，過程700及/或本文描述的其他過程）可以由計算設備或裝置執行。在另一實例中，一或多個過程可以由圖10中所示的計算系統1000執行。例如，具有圖10中所示的計算系統1000的計算設備可以包括圖4的圖像彩色校正系統400的元件，並且可以實現圖7的過程700及/或本文所描述其他過程的操作。

計算設備可以包括任何合適的設備，諸如車輛或車輛的計算設備（例如，車輛的駕駛員監控系統（DMS））、行動設備（例如，行動電話）、臺式計算設備、平板型計算設備、可穿戴設備（例如，VR耳機、AR耳機、AR眼鏡、聯網手錶或智慧手錶或者其他可穿戴設備）、伺服器電腦、機器人設備、電視，及/或具有資源能力來執行本文描述的過程（包括過程700及/或本文描述的其他過程）的任何其他計算設備。在一些情況下，計算設備或裝置可以包括各種元件，諸如一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微電腦、一或多個相機、一或多個感測器，及/或被配置成進行本文描述的過程步驟的其他元件。在一些實例中，計算設備可以包括顯示器、被配置成傳送及/或接收資料的網路介面、其任何組合及/或其他元件。網路介面可以被配置為傳送及/或接收基於網際網路協定（IP）的資料或其他類型的資料。

計算設備的元件可以用電路系統實現。例如，元件可以包括及/或可以使用電子電路或其他電子硬體來實現，該等電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、圖形處理單元（GPU）、數位信號處理器（DSP）、中央處理單元（CPU）及/或其他合適的電子電路），及/或可以包括及/或使用電腦軟體、韌體或其任何組合來實現，以執行本文描述的各種操作。

過程700被示為邏輯流程圖，其動作表示可以用硬體、電腦指令或其組合實現的操作序列。在電腦指令的上下文中，操作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該等指令在由一或多個處理器執行時，執行所述操作。通常，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、元件、資料結構等。描述操作的順序並不意欲被理解為限制，並且任何數量的所描述操作可以以任何順序及/或並行地組合來實現該等過程。

此外，本文描述的過程700及/或其他過程可以在配置有可執行指令的一或多個電腦系統的控制下執行，並且可以經由硬體或其組合被實現為在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式或一或多個應用程式）。如前述，代碼可以例如以包含可由一或多個處理器執行的複數個指令的電腦程式的形式儲存在電腦可讀取或機器可讀取儲存媒體上。電腦可讀取或機器可讀取儲存媒體可以是非暫時性的。

如前述，本案的各態樣可以使用機器學習模型或系統。圖8是可以用於實現上文所描述的基於機器學習的特徵提取的深度學習神經網路800的說明性實例。輸入層820包括輸入資料。在一個說明性實例中，輸入層820可以包括表示輸入圖像的圖元的資料。神經網路800包括多個隱藏層822a、822b至822n。隱藏層822a、822b至822n包括「n」個隱藏層，其中「n」是大於或等於1的整數。對於給定的應用，可以使隱藏層的數量包括所需的多個層。神經網路800亦包括輸出層821，其提供由隱藏層822a、822b至822n執行的處理產生的輸出。在一個說明性實例中，輸出層821可以為輸入圖像中的物件提供分類。分類可以包括辨識活動類型的類別（例如，向上看、向下看、閉眼、打哈欠等）。

神經網路800是互連節點的多層神經網路。每一節點可以表示一條資訊。與節點相關聯的資訊在不同的層之間共享，並且每一層在處理資訊時保留資訊。在一些情況下，神經網路800可以包括前饋網路，在此情況下不存在其中網路的輸出被回饋到其自身的回饋連接。在一些情況下，神經網路800可以包括遞迴神經網路，其可以具有允許資訊在讀取輸入時跨節點被承載的迴路。

資訊可以經由各個層之間的節點到節點互連在節點之間交換。輸入層820的節點可以啟用第一隱藏層822a中的一組節點。例如，如圖所示，輸入層820的輸入節點中的每一者連接到第一隱藏層822a的節點中的每一者。第一隱藏層822a的節點可以經由將啟用函數應用於輸入節點資訊來變換每一輸入節點的資訊。從變換匯出的資訊隨後可以被傳遞到並可以啟用下一隱藏層822b的節點，該等節點可以執行其自己指定的功能。示例性功能包括迴旋、上取樣、資料變換及/或任何其他合適的功能。隱藏層822b的輸出隨後可以啟用下一隱藏層的節點，以此類推。最後一個隱藏層822n的輸出可以啟用輸出層821的一或多個節點，在該等節點處提供輸出。在一些情況下，儘管神經網路800中的節點（例如，節點826）被示為具有多個輸出線，但節點具有單個輸出，並且被示為從節點輸出的所有線表示相同的輸出值。

在一些情況下，每一節點或節點之間的互連可以具有權重，該權重是從神經網路800的訓練中匯出的一組參數。一旦神經網路800被訓練，神經網路800可以被稱為訓練的神經網路，其可以用於對一或多個活動進行分類。例如，節點之間的互連可以表示關於互連的節點瞭解的一條資訊。互連可以具有可以被調諧（例如，基於訓練資料集）的可調諧的數值權重，從而允許神經網路800適應輸入並且能夠隨著越來越多的資料被處理而學習。

神經網路800被預訓練以使用不同的隱藏層822a、822b至822n來處理來自輸入層820中的資料的特徵，以便經由輸出層821提供輸出。在使用神經網路800來辨識圖像中的特徵以執行圖像配準的實例中，可以使用包括圖像和標籤的訓練資料來訓練神經網路800，如前述。例如，訓練圖像可以被輸入到網路中，其中每一訓練圖像具有指示圖像中的特徵的標籤（對於特徵提取機器學習系統）或者指示每一圖像中的物件的類別的標籤。在出於說明性目的使用物件分類的一個實例中，訓練圖像可以包括數值2的圖像，在此情況下，圖像的標籤可以是[0 0 1 0 0 0 0 0 0 0 ]。

在一些情況下，神經網路800可以使用稱為反向傳播的訓練過程來調整節點的權重。如前述，反向傳播過程可以包括前向傳遞、損失函數、後向傳遞和權重更新。對一個訓練反覆運算執行前向傳遞、損失函數、後向傳遞和參數更新。對於每組訓練圖像，該過程可以重複一定次數的反覆運算，直到神經網路800被訓練得足夠好，使得層的權重被精確調諧。

對於辨識訊框中的物件的實例，前向傳遞可以包括經由神經網路800傳遞訓練訊框。在神經網路800被訓練之前，權重最初被隨機化。作為說明性實例，訊框可以包括表示圖像的圖元的數值陣列。陣列中的每一數值可以包括從0到255的值，其描述陣列中該位置的圖元強度。在一個實例中，該陣列可以包括28×28×3的數值陣列，具有28行和28列圖元以及3種彩色分量（諸如紅色、綠色和藍色，或者亮度和兩個色度分量，等）。

如前述，對於神經網路800的第一訓練反覆運算，輸出將可能包括由於在初始化時隨機選擇權重而不優先考慮任何特定類別的值。例如，若輸出是具有物件包括不同類別的概率的向量，則每一不同類別的概率值可以相等或者至少非常相似（例如，對於十個可能的類別，每一類別可以具有0.1的概率值）。利用初始權重，神經網路800不能決定低級特徵，且因此不能準確決定物件可能是的分類。損失函數可以用於分析輸出中的誤差。可以使用任何合適的損失函數定義，諸如交叉熵損失。損失函數的另一實例包括均方誤差（MSE），被定義為 。該損失可以被設置為等於 的值。

對於第一訓練圖像，損失（或誤差）將很高，因為實際值將與預測輸出相差很大。訓練的目標是最小化損失量，以便預測的輸出與訓練標籤相同。神經網路800可以經由決定何者輸入（權重）對網路的損失貢獻最大來執行後向傳遞，並且可以調整權重，使得損失降低並最終最小化。可以計算損失相對於權重的導數（表示為 dL/dW，其中 W是特定層的權重），以決定對網路的損失貢獻最大的權重。在計算導數之後，可以經由更新濾波器的所有權重來執行權重更新。例如，可以更新權重，使其在梯度的相反方向上變化。權重更新可以表示為 ，其中 w表示權重， w _i 表示初始權重，並且η表示學習速率。學習速率可以被設置為任何合適的值，其中較高的學習速率包括較大的權重更新，並且較低的值指示較小的權重更新。

神經網路800可以包括任何合適的深度網路。一個實例包括迴旋神經網路（CNN），CNN包括輸入層和輸出層，在輸入層和輸出層之間有多個隱藏層。CNN的隱藏層包括一系列迴旋、非線性、池化（用於下取樣）和全連接層。神經網路800可以包括除了CNN的任何其他深度網路，諸如自動編碼器、深度信念網路（DBN）、遞迴神經網路（RNN）等。

圖9是迴旋神經網路（CNN）900的說明性實例。CNN 900的輸入層920包括表示圖像或訊框的資料。例如，資料可以包括表示圖像圖元的數值陣列，其中陣列中的每一數值包括從0到255的值，該值描述陣列中該位置的圖元強度。使用來自上文的先前實例，該陣列可以包括28×28×3的數值陣列，具有28行和28列圖元以及3種彩色分量（例如，紅色、綠色和藍色，或者亮度和兩個色度分量，等）。圖像可以被傳遞通過迴旋隱藏層922a、任選非線性啟用層、池化隱藏層922b和全連接隱藏層922c，以在輸出層924獲得輸出。儘管圖9中僅展示了每一隱藏層中的一者，但是一般技術者將理解，CNN 900中可以包括多個迴旋隱藏層、非線性層、池化隱藏層及/或全連接層。如先前描述，輸出可以指示物件的單個類別，或者可以包括最能描述圖像中的物件的類別的概率。

CNN 900的第一層是迴旋隱藏層922a。迴旋隱藏層922a分析輸入層920的圖像資料。迴旋隱藏層922a的每一節點連接到輸入圖像的稱為感受域的節點（圖元）區域。迴旋隱藏層922a可以被認為是一或多個濾波器（每一濾波器對應於不同的啟用或特徵圖），其中濾波器的每一迴旋反覆運算是迴旋隱藏層922a的節點或神經元。例如，濾波器在每一迴旋反覆運算處覆蓋的輸入圖像區域將是濾波器的感受域。在一個說明性實例中，若輸入圖像包括28×28陣列，並且每一濾波器（和對應的感受域）是5×5陣列，則在迴旋隱藏層922a中將有24×24個節點。節點和該節點的感受域之間的每一連接學習一個權重，並且在一些情況下，學習整體偏差，使得每一節點學習分析其在輸入圖像中的特定局部感受域。隱藏層922a的每一節點將具有相同的權重和偏差（稱為共享權重和共享偏差）。例如，濾波器具有權重（數值）陣列和與輸入相同的深度。對於視訊訊框實例，濾波器的深度將為3（根據輸入圖像的三種彩色分量）。濾波器陣列的說明性示例性大小是5×5×3，對應於節點的感受域的大小。

迴旋隱藏層922a的迴旋性質是由於迴旋層的每一節點被應用於其對應的感受域。例如，迴旋隱藏層922a的濾波器可以從輸入圖像陣列的左上角開始，並且可以圍繞輸入圖像進行迴旋。如前述，濾波器的每一迴旋反覆運算可以被認為是迴旋隱藏層922a的節點或神經元。在每一迴旋反覆運算，濾波器的值與圖像的原始圖元值的對應數量相乘（例如，5×5濾波器陣列與輸入圖像陣列左上角的輸入圖元值的5×5陣列相乘）。來自每一迴旋反覆運算的乘法可以被加在一起，以獲得該反覆運算或節點的總和。接下來，根據迴旋隱藏層922a中的下一節點的感受域，在輸入圖像中的下一位置繼續該過程。例如，濾波器可以移動一個步長量（被稱為步幅）到下一感受域。步幅可以被設置為1或其他合適的量。例如，若步幅被設置為1，則濾波器將在每次迴旋反覆運算時向右移動1個圖元。在輸入體積的每一唯一位置處理濾波器產生表示該位置的濾波器結果的數值，從而導致為迴旋隱藏層922a的每一節點決定總和值。

從輸入層到迴旋隱藏層922a的映射被稱為啟用圖（或特徵圖）。啟用圖包括表示輸入體積的每一位置處的濾波器結果的每一節點的值。啟用圖可以包括陣列，該陣列包括由輸入體積上的濾波器的每一反覆運算產生的各種總和值。例如，若對28×28輸入圖像的每一圖元（步幅為1）應用5×5濾波器，則啟用圖將包括24×24陣列。迴旋隱藏層922a可以包括若干啟用圖，以便辨識圖像中的多個特徵。圖9中所示的實例包括三個啟用圖。使用三個啟用圖，迴旋隱藏層922a可以偵測三種不同類型的特徵，其中每一特徵在整個圖像上是可偵測的。

在一些實例中，可以在迴旋隱藏層922a之後應用非線性隱藏層。非線性層可以用於向已經計算線性運算的系統引入非線性。非線性層的一個說明性實例是整流線性單元（ReLU）層。ReLU層可以將函數f(x)=max(0,x)應用於輸入體積中的所有值，此舉將所有負啟用改變為0。ReLU因此可以增加CNN 900的非線性屬性，而不影響迴旋隱藏層922a的感受域。

池化隱藏層922b可以應用在迴旋隱藏層922a之後（並且當使用時，應用在非線性隱藏層之後）。池化隱藏層922b用於簡化來自迴旋隱藏層922a的輸出中的資訊。例如，池化隱藏層922b可以獲取從迴旋隱藏層922a輸出的每一啟用圖，並使用池化功能產生壓縮的啟用圖（或特徵圖）。最大池化是由池化隱藏層執行的功能的一個實例。池化隱藏層922a可以使用其他形式的池化功能，諸如平均池化、L2範數池化或其他合適的池化功能。池化功能（例如，最大池化濾波器、L2範數濾波器或其他合適的池化濾波器）被應用於迴旋隱藏層922a中包括的每一啟用圖。在圖9中所示的實例中，三個池化濾波器用於迴旋隱藏層922a中的三個啟用圖。

在一些實例中，最大池化可以經由對從迴旋隱藏層922a輸出的啟用圖應用具有步幅（例如，等於濾波器的維度，諸如步幅2）的最大池化濾波器（例如，具有2×2的大小）來使用。最大池化濾波器的輸出包括濾波器圍繞其迴旋的每個子區域中的最大數量。以2×2濾波器為例，池化層中的每一單元可以總結前一層中2×2個節點的區域（每一節點是啟用圖中的一個值）。例如，啟用圖中的四個值（節點）將在濾波器的每一反覆運算時由2×2最大池化濾波器分析，其中四個值中的最大值作為「最大」值輸出。若此類最大池化濾波器被應用於來自具有24×24節點維度的迴旋隱藏層922a的啟用濾波器，則來自池化隱藏層922b的輸出將是12×12節點的陣列。

在一些實例中，亦可以使用L2範數池化濾波器。L2範數池化濾波器包括計算啟用圖的2×2區域（或其他合適的區域）中的值的平方和的平方根（而不是像在最大池化中一般計算最大值），並將計算的值用作輸出。

直觀地，池化功能（例如，最大池化、L2範數池化或其他池化功能）決定給定特徵是否在圖像區域中的任何地方找到，並丟棄確切的位置資訊。此舉可以在不影響特徵偵測結果的情況下完成，因為一旦已經找到特徵，特徵的確切位置就不如其相對於其他特徵的近似位置一般重要。最大池化（以及其他池化方法）提供的好處是池化特徵少得多，從而減少了CNN 900的後續層所需的參數數量。

網路中連接的最後一層是全連接層，該全連接層將來自池化隱藏層922b的每個節點連接到輸出層924之每一者輸出節點。使用上文的實例，輸入層包括對輸入圖像的圖元強度進行編碼的28×28節點，迴旋隱藏層922a包括基於對三個啟用圖應用5×5局部感受域（對於濾波器）的3×24×24隱藏特徵節點，並且池化隱藏層922b包括基於對三個特徵圖中的每一者上的2×2區域應用最大池化濾波器的3×12×12隱藏特徵節點的層。擴展該實例，輸出層924可以包括十個輸出節點。在此類實例中，3×12×12池化隱藏層922b的每個節點連接到輸出層924的每個節點。

全連接層922c可以獲得先前池化隱藏層922b的輸出（其應表示高級特徵的啟用圖），並決定與特定類別最相關的特徵。例如，全連接層922c層可以決定與特定類別最強相關的高級特徵，並且可以包括高級特徵的權重（節點）。可以在全連接層922c和池化隱藏層922b的權重之間計算乘積，以獲得不同類別的概率。例如，若CNN 900正被用於預測視訊訊框中的物件是人，則高值將出現在表示人的高級特徵的啟用圖中（例如，兩條腿存在，面部存在於物件的頂部，兩隻眼睛存在於面部的左上和右上，鼻子存在於面部的中間，嘴存在於面部的底部，及/或人共有的其他特徵）。

在一些實例中，來自輸出層924的輸出可以包括M維向量（在先前實例中，M=10）。M指示當對圖像中的物件進行分類時，CNN 900必須從中選擇的類別的數量。亦可以提供其他示例性輸出。M維向量中的每一數值可以表示物件屬於某一類別的概率。在一個說明性實例中，若10維輸出向量表示10個不同類別的物件是[0 0 0.05 0.8 0 0.15 0 0 0 0]，則該向量指示圖像是第三類別物件（例如，狗）的概率為5%，圖像是第四類別物件（例如，人）的概率為80%，並且圖像是第六類別物件（例如，袋鼠）的概率為15%。類別的概率可以被認為是該物件是該類別的一部分的置信水平。

圖10是圖示用於實現本技術的某些態樣的系統的實例的示圖。特別地，圖10圖示計算系統1000的實例，計算系統1000可以是例如構成內部計算系統的任何計算設備、遠端計算系統、相機或其任何元件，其中系統的元件使用連接1005彼此通訊。連接1005可以是使用匯流排的實體連接，或者是到處理器1010的直接連接，諸如在晶片組架構中。連接1005亦可以是虛擬連接、聯網連接或邏輯連接。

在一些實施例中，計算系統1000是分散式系統，其中本案中描述的功能可以分佈在資料中心、多個資料中心、同級網路等中。在一些實施例中，一或多個所描述的系統元件表示許多此類元件，每一元件執行該元件所描述的一些或全部功能。在一些實施例中，元件可以是實體或虛擬設備。

示例性系統1000包括至少一個處理單元（CPU或處理器）1010以及連接1005，該連接1005將包括系統記憶體1015（諸如唯讀記憶體（ROM）1020和隨機存取記憶體（RAM）1025）的各種系統元件耦合到處理器1010。計算系統1000可以包括高速記憶體的快取記憶體1012，其與處理器1010直接連接、緊密接近或整合為處理器1010的一部分。

處理器1010可以包括任何通用處理器和硬體服務或軟體服務，諸如儲存在儲存設備1030中的服務1032、1034和1036，其被配置為控制處理器1010以及專用處理器，其中軟體指令被併入到實際的處理器設計中。處理器1010本質上可以是完全獨立的計算系統，包含多個核心或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或不對稱的。

為了實現使用者互動，計算系統1000包括輸入設備1045，其可以表示任何數量的輸入機構，諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等。計算系統1000亦可以包括輸出設備1035，其可以是多個輸出機構中的一者或多者。在一些情況下，多模式系統可以使使用者能夠提供多種類型的輸入/輸出來與計算系統1000通訊。計算系統1000可以包括通訊介面1040，其通常可以控管和管理使用者輸入和系統輸出。通訊介面可以使用有線及/或無線收發器執行或促進接收及/或傳輸有線或無線通訊，包括使用音訊插孔/插頭、麥克風插孔/插頭、通用串列匯流排（USB）埠/插頭、Apple® Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有有線埠/插頭、BLUETOOTH®無線信號傳送、BLUETOOTH®低能量（BLE）無線信號傳送、IBEACON®無線信號傳送、射頻辨識（RFID）無線信號傳送、近場通訊（NFC）無線信號傳送、專用短程通訊（DSRC）無線信號傳送、802.11 Wi-Fi無線信號傳送、無線區域網路（WLAN）信號傳送、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、紅外（IR）通訊無線信號傳送、公用交換電話網路（PSTN）信號傳送、整合服務數位網路（ISDN）信號傳送、3G/4G/5G/LTE蜂巢式資料網路無線信號傳送、自組織網路信號傳送、無線電波信號傳送、微波信號傳送、紅外信號傳送、可見光信號傳送、紫外光信號傳送、沿電磁譜的無線信號傳送，或其一些組合。通訊介面1040亦可以包括一或多個全球導航衛星系統（GNSS）接收器或收發器，其用來基於從與一或多個GNSS系統相關聯的一或多個衛星接收到的一或多個信號來決定計算系統1000的位置。GNSS系統包括但不限於基於美國的全球定位系統（GPS）、基於俄羅斯的全球導航衛星系統（GLONASS）、基於中國的北斗導航衛星系統（BDS）和基於歐洲的伽利略GNSS。對在任何特定的硬體佈置上操作沒有限制，且因此此處的基本特徵可以容易地被開發的改良的硬體或韌體佈置所替代。

儲存設備1030可以是非揮發性及/或非暫時性及/或電腦可讀取記憶體設備，並且可以是硬碟或其他類型的電腦可讀取媒體，其可以儲存電腦可存取的資料，諸如磁帶盒、快閃記憶卡、固態記憶體設備、數位多功能磁碟、磁帶匣、軟碟、撓性碟、硬碟、磁帶、磁條/條帶、任何其他磁性儲存媒體、快閃記憶體、憶阻記憶體、任何其他固態記憶體，壓縮光碟唯讀記憶體(CD-ROM)光碟、可重寫壓縮光碟（CD）光碟、數位視訊磁碟（DVD）光碟、藍光光碟（BDD）光碟、全息光碟、另一光學媒體、安全數位（SD）卡、微型安全數位（微型SD）卡、記憶棒®卡、智慧卡晶片、EMV晶片、用戶身份模組（SIM）卡、迷你/微型/毫微/微微SIM卡、另一積體電路（IC）晶片/卡、隨機存取記憶體（RAM）、靜態RAM（SRAM）、動態RAM（DRAM）、唯讀記憶體（ROM）、可程式設計唯讀記憶體（PROM）、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體EPROM（FLASHEPROM）、快取記憶體（L1/L2/L3/L4/L5/L#）、電阻隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋轉移扭矩RAM（STT-RAM）、另一記憶體晶片或磁帶匣，及/或其組合。

儲存設備1030可以包括軟體服務、伺服器、服務等，當定義此類軟體的代碼由處理器1010執行時，該代碼致使系統執行功能。在一些實施例中，執行特定功能的硬體服務可以包括儲存在電腦可讀取媒體中的與必要的硬體元件相結合的軟體元件，該等硬體元件諸如處理器1010、連接1005、輸出設備1035等，以執行該功能。

如本文所使用，術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存設備、光學儲存設備以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括其中可以儲存資料的非暫時性媒體，並且不包括以無線方式或經由有線連接傳播的載波及/或暫時性電子信號。非暫時性媒體的實例可以包括但不限於磁碟或磁帶、諸如壓縮光碟（CD）或數位多功能光碟（DVD）的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體上可以在其上儲存代碼及/或機器可執行指令，該等代碼及/或指令可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、類別或者指令、資料結構或程式語句的任何組合。經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容，程式碼片段可以耦合到另一程式碼片段或硬體電路。可以使用包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等任何合適的手段來傳遞、轉發或傳輸資訊、引數、參數、資料等。

在一些實施例中，電腦可讀取儲存設備、媒體和記憶體可以包括包含位元串流等的電纜或無線信號。然而，當提到時，非暫時性電腦可讀取儲存媒體明確排除了諸如能量、載波信號、電磁波和信號本身的媒體。

在以上描述中提供了具體細節，以提供對本文提供的實施例和實例的透徹理解。然而，一般技術者將理解，可以在沒有該等具體細節的情況下實踐實施例。為了解釋清楚，在一些情況下，本技術可以被呈現為包括單獨的功能方塊，該等功能方塊包含以軟體或硬體和軟體的組合體現的方法中的設備、設備元件、步驟或常式。除了圖中所示及/或本文所述的彼等之外，亦可以使用附加元件。例如，電路、系統、網路、過程和其他元件可以以方塊圖形式展示為元件，以便不在不必要的細節中模糊實施例。在其他情況下，眾所周知的電路、過程、演算法、結構和技術可以在沒有不必要的細節的情況下展示，以避免模糊實施例。

單獨的實施例可以在上文中被描述為被圖示為流程圖、流程示意圖、資料流程圖、結構圖或方塊圖的過程或方法。儘管流程圖可以將操作描述為順序過程，但是許多操作可以並行或同時執行。另外，可以重新佈置操作的順序。當一個過程的操作完成時，該過程就終止了，但是該過程可能有圖中未包括的附加步驟。過程可以對應於方法、函數、程序、子常式、副程式等。當過程對應於函數時，該過程的終止可以對應於該函數返回到調用函數或主函數。

根據上述實例的過程和方法可以使用儲存在電腦可讀取媒體中或以其他方式可從電腦可讀取媒體獲得的電腦可執行指令來實現。此類指令可以包括例如指令和資料，其致使或以其他方式配置通用電腦、專用電腦或處理設備來執行某些功能或功能群組。所使用的部分電腦資源可以經由網路存取。電腦可執行指令可以是例如二進位檔案、諸如組合語言的中間格式指令、韌體、原始程式碼等。可以用於儲存指令、所用資訊及/或在根據所述實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、配備有非揮發性記憶體的USB設備、聯網儲存設備等等。

實現根據該等揭示內容的過程和方法的設備可以包括硬體、軟體、韌體、中間軟體、微代碼、硬體描述語言或其任何組合，並且可以採用各種形狀因素中的任一者。當用軟體、韌體、中間軟體或微代碼實現時，用於執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以儲存在電腦可讀取或機器可讀取媒體中。處理器可以執行必要的任務。形狀因素的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小形狀因數個人電腦、個人數位助理、機架式設備、獨立設備等等。本文描述的功能性亦可以體現在周邊設備或外掛程式卡中。借助於其他實例，此類功能性亦可以在不同晶片的電路板上或在單個設備中執行的不同過程中實現。

指令、用於傳送此類指令的媒體、用於執行此類指令的計算資源以及用於支援此類計算資源的其他結構是用於提供本案中描述的功能的示例性手段。

在前面的描述中，本案的各態樣是參考其特定實施例來描述的，但是熟習此項技術者將認識到本案不限於此。因此，儘管本文已經詳細描述了本案的說明性實施例，但是應理解，本發明的構思可以以其他方式不同地體現和使用，並且所附請求項意欲被解釋為包括此類變型，除非受到現有技術的限制。上述應用的各種特徵和態樣可以單獨或聯合使用。此外，在不偏離本說明書的範疇的情況下，可以在除了本文描述的環境和應用之外的任何數量的環境和應用中使用實施例。因此，說明書和附圖被認為是說明性的，而不是限制性的。出於說明的目的，以特定的順序描述了方法。應理解，在替代實施例中，該等方法可以以不同於所描述的順序來執行。

一般技術者將瞭解，在不偏離本說明書的範疇的情況下，本文使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「≦」）和大於或等於（「≧」）符號來代替。

在元件被描述為「被配置為」執行某些操作的情況下，此類配置可以例如經由設計電子電路或其他硬體來執行該操作、經由對可程式設計電子電路（例如，微處理器或其他合適的電子電路）進行程式設計來執行該操作，或其任何組合來實現。

短語「耦合到」指直接或間接實體連接到另一元件的任何元件，及/或直接或間接與另一元件通訊（例如，經由有線或無線連接及/或其他合適的通訊介面連接到另一元件）的任何元件。

陳述集合「中的至少一者」及/或集合中的「一或多個」的請求項語言或其他語言指示該集合的一個成員或該集合的多個成員（以任何組合）滿足請求項。例如，陳述「A和B中的至少一者」或「A或B中的至少一者」的請求項語言意指A、B或A和B。在另一實例中，陳述「A、B和C中的至少一者」或「A、B或C中的至少一者」的請求項語言意指A、B、C，或A和B，或A和C，或B和C，或A和B和C。語言集合「中的至少一者」及/或集合中的「一或多個」並不將該集合限制於集合中列出的專案。例如，陳述「A和B中的至少一者」或「A或B中的至少一者」的請求項語言可以意指A、B，或A和B，並且可以另外包括未在A和B的集合中列出的專案。

結合本文所揭示的實施例而描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或其組合。為清楚說明硬體與軟體的此互換性，上文已大體關於其功能性而描述了各種說明性元件、方塊、模組、電路和步驟。此類功能性是實現為硬體還是軟體取決於特定應用和強加於整體系統的設計約束。熟習此項技術者可以針對每一特定應用以不同方式來實現所描述的功能性，但此類實現方式決策不應被解釋為會導致脫離本案的範疇。

本文描述的技術亦可以在電子硬體、電腦軟體、韌體或其任何組合中實現。此類技術可以實現在多種設備中的任一者中，諸如通用電腦、無線通訊設備手機或積體電路設備，其具有包括在無線通訊設備手機和其他設備中的應用的多種用途。被描述為模組或元件的任何特徵可以共同實現在整合邏輯設備中或單獨實現為離散但可交互操作的邏輯設備。若用軟體實現，則該等技術可以至少部分地經由包含程式碼的電腦可讀取資料儲存媒體來實現，該程式碼包括在被執行時執行一或多個上述方法的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，該電腦程式產品可以包括封裝材料。電腦可讀取媒體可以包含記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM）（諸如，同步動態隨機存取記憶體（SDRAM））、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁性或光學資料儲存媒體等等。另外或替代地，該等技術可以至少部分地經由電腦可讀取通訊媒體來實現，該電腦可讀取通訊媒體承載或傳送呈指令或資料結構形式的程式碼，並且可以由電腦存取、讀取及/或執行，諸如傳播的信號或波。

程式碼可以由處理器執行，該處理器可以包括一或多個處理器，諸如一或多個數位信號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效整合或離散邏輯電路系統。此類處理器可以被配置為執行本案中描述的技術中的任一者。通用處理器可以是微處理器；但在替代方案中，處理器可以是任何習知的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP與微處理器的組合、複數個微處理器、一或多個微處理器與DSP核心的結合，或任何其他此類配置。因此，如本文中所使用的術語「處理器」可以指任何前述結構、前述結構的任何組合，或者適合於實現本文描述的技術的任何其他結構或裝置。

本案的說明性態樣包括：

態樣1：一種用於處理圖像的方法，包含以下步驟：從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像；從第二圖像感測器獲得包括第二一或多個圖元的第二彩色圖像，第二彩色圖像包括來自第二圖像感測器的紅外（IR）資訊；基於與第一一或多個圖元和第二一或多個圖元相關聯的比較，決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換；及至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生彩色校正的圖像。

態樣2：根據態樣1之方法，其中與第一一或多個圖元相關聯的視場與第二一或多個圖元相關聯的視場至少部分地重疊。

態樣3：根據態樣1至2中的任一者之方法，其中第一圖像感測器與第一光軸相關聯，並且第二圖像感測器與不同於第一光軸的第二光軸相關聯。

態樣4：根據態樣1至3中的任一者之方法，其中第一圖像感測器具有第一解析度，並且第二圖像感測器具有不同於第一解析度的第二解析度。

態樣5：根據態樣1至4中的任一者之方法，其中第一圖像感測器包含單個圖元。

態樣6：根據態樣1至5中的任一者之方法，其中第一圖像感測器包含複數個圖元。

態樣7：根據態樣1至6中的任一者之方法，其中IR截止濾波器設置在第一圖像感測器的透鏡與第一圖像感測器之間。

態樣8：根據態樣1至7中的任一者之方法，其中第一一或多個圖元中的每一者包括對應的紅色分量、綠色分量和藍色分量，並且第二一或多個圖元中的每一者包括對應的紅色分量、綠色分量和藍色分量，並且決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換包含：決定第一一或多個圖元的綠色分量的第一綠色統計度量和第二一或多個圖元的綠色分量的第二綠色統計度量；決定第一一或多個圖元的紅色分量的第一紅色統計度量和第二一或多個圖元的紅色分量的第二紅色統計度量；決定第一一或多個圖元的藍色分量的第一藍色統計度量和第二一或多個圖元的藍色分量的第二藍色統計度量；基於第一綠色統計度量和第二綠色統計度量的數值對應關係來決定綠色校正；基於第一紅色統計度量和第二紅色統計度量的數值對應關係來決定紅色校正；及基於第一藍色統計度量和第二藍色統計度量的數值對應關係來決定藍色校正。

態樣9：根據態樣1至8中的任一者之方法，其中產生彩色校正的圖像包含將紅色校正應用於第二一或多個圖元中的每一圖元的紅色分量，將綠色校正應用於第二一或多個圖元中的每一圖元的綠色分量，並將藍色校正應用於第二一或多個圖元中的每一圖元的藍色分量。

態樣10：根據態樣1至9中的任一者之方法，其中第一一或多個圖元的彩色和第二一或多個圖元的彩色之間的變換包含彩色校正矩陣。

態樣11：根據態樣1至10中的任一者之方法，其中產生彩色校正的圖像包含將所決定的變換應用於第二一或多個圖元，以產生第一彩色校正的圖元。

態樣12：根據態樣1至11中的任一者之方法，其中決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換包含：將第一彩色圖像和第二彩色圖像中的一者或多者分為複數個部分；決定與相關聯的第二一或多個圖元的第一子集相關聯的第一部分變換；及決定與第二一或多個圖元的第二子集相關聯的第二部分變換，其中第二一或多個圖元的第二子集與第一子集相差至少一個圖元。

態樣13：根據態樣1至12中的任一者之方法，亦包含以下步驟：基於第一部分變換和第二部分變換來決定用於產生彩色校正的圖像的全域變換。

態樣14：根據態樣1至13中的任一者之方法，亦包含以下步驟：至少部分地經由經由第一部分變換對第二一或多個圖元的第一子集進行變換以及經由第二部分變換對第二一或多個圖元的第二子集進行變換來產生彩色校正的圖像。

態樣15：根據態樣1至14中的任一者之方法，其中第一一或多個圖元不包括IR資訊。

態樣16：一種用於處理圖像的裝置，包含：記憶體；及一或多個處理器，其耦合到該記憶體且被配置為：從第一圖像感測器獲得包括第一一或多個圖元的第一彩色圖像，從第二圖像感測器獲得包括第二一或多個圖元的第二彩色圖像，該第二彩色圖像包括來自第二圖像感測器的紅外（IR）資訊，基於與第一一或多個圖元和第二一或多個圖元相關聯的比較，決定與第一一或多個圖元相關聯的彩色和與第二一或多個圖元相關聯的彩色之間的變換，以及至少部分地經由基於所決定的變換將包括IR資訊的第二彩色圖像變換為彩色校正的圖像來產生彩色校正的圖像。

態樣17：根據態樣16之裝置，其中與第一一或多個圖元相關聯的視場與第二一或多個圖元相關聯的視場至少部分地重疊。

態樣18：根據態樣16至17中的任一者之裝置，其中第一圖像感測器與第一光軸相關聯，並且第二圖像感測器與不同於第一光軸的第二光軸相關聯。

態樣19：根據態樣16至18中的任一者之裝置，其中第一圖像感測器具有第一解析度，並且第二圖像感測器具有不同於第一解析度的第二解析度。

態樣20：根據態樣16至19中的任一者之裝置，其中第一圖像感測器包含單個圖元。

態樣21：根據態樣16至20中的任一者之裝置，其中第一圖像感測器包含複數個圖元。

態樣22：根據態樣16至21中的任一者之裝置，其中IR截止濾波器設置在第一圖像感測器的透鏡與第一圖像感測器之間。

態樣23：根據態樣16至22中的任一者之裝置，其中一或多個處理器被配置為：決定第一一或多個圖元的綠色分量的第一綠色統計度量和第二一或多個圖元的綠色分量的第二綠色統計度量；決定第一一或多個圖元的紅色分量的第一紅色統計度量和第二一或多個圖元的紅色分量的第二紅色統計度量；決定第一一或多個圖元的藍色分量的第一藍色統計度量和第二一或多個圖元的藍色分量的第二藍色統計度量；基於第一綠色統計度量和第二綠色統計度量的數值對應關係來決定綠色校正；基於第一紅色統計度量和第二紅色統計度量的數值對應關係來決定紅色校正；及基於第一藍色統計度量和第二藍色統計度量的數值對應關係來決定藍色校正。

態樣24：根據態樣16至23中的任一者之裝置，其中產生彩色校正的圖像包含將紅色校正應用於第二一或多個圖元中的每一圖元的紅色分量，將綠色校正應用於第二一或多個圖元中的每一圖元的綠色分量，並將藍色校正應用於第二一或多個圖元中的每一圖元的藍色分量。

態樣25：根據態樣16至24中的任一者之裝置，其中第一一或多個圖元的彩色和第二一或多個圖元的彩色之間的變換包含彩色校正矩陣。

態樣26：根據態樣16至25中的任一者之裝置，其中產生彩色校正的圖像包含將所決定的變換應用於第二一或多個圖元，以產生第一彩色校正的圖元。

態樣27：根據態樣16至26中的任一者之裝置，其中一或多個處理器被配置為：將第一彩色圖像和第二彩色圖像中的一者或多者分為複數個部分；決定與相關聯的第二一或多個圖元的第一子集相關聯的第一部分變換；及決定與第二一或多個圖元的第二子集相關聯的第二部分變換，其中第二一或多個圖元的第二子集與第一子集相差至少一個圖元。

態樣28：根據態樣16至27中的任一者之裝置，其中一或多個處理器被配置為：基於第一部分變換和第二部分變換來決定用於產生彩色校正的圖像的全域變換。

態樣29：根據態樣16至28中的任一者之裝置，其中一或多個處理器被配置為：至少部分地經由經由第一部分變換對第二一或多個圖元的第一子集進行變換以及經由第二部分變換對第二一或多個圖元的第二子集進行變換來產生彩色校正的圖像。

態樣30：根據態樣16至29中的任一者之裝置，其中第一一或多個圖元不包括IR資訊。

態樣31：一種其上儲存有指令的非暫時性電腦可讀取儲存媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器執行態樣1至30的操作中的任一者。

態樣32：一種包含用於執行態樣1至30的操作中的任一者的構件的裝置。

100:圖像擷取和處理系統 105A:圖像擷取設備 105B:圖像處理設備 105C:圖像擷取設備 110:場景 111:寬視場 115:透鏡 120:控制機構 125A:曝光控制機構 125B:聚焦控制機構 125C:變焦控制機構 130:圖像感測器 140:隨機存取記憶體（RAM） 145:唯讀記憶體（ROM） 150:圖像處理器 152:主機處理器 154:ISP 156:I/O埠 160:I/O設備 161:視場 163:人 165:透鏡 170:控制機構 175A:曝光控制機構 175B:聚焦控制機構 175C:變焦控制機構 180:第二圖像感測器 190:圖像擷取和處理系統 200:拜耳濾色器陣列 220:四元組濾色器陣列（QCFA） 240:RGBIR濾波器 260:RGBIR濾波器 300:RGB圖像 302:場景 304:RGBIR圖像 310:RGBIR圖像 312:薄霧 400:圖像彩色校正系統 402:圖像矯正引擎 404:彩色校正引擎 406:第一輸入圖像 408:第二輸入圖像 410:彩色校正的輸出圖像 542:操作 544:操作 545:3×3單應性矩陣 546:操作 548:單應性計算引擎 549:感興趣區域（ROI）計算引擎 605:RGB圖像 615:RGB圖像 620:部分 622:重疊區域 625:裁剪後的RGBIR圖像 630:經裁剪的RGBIR圖像 635:RGB圖像 640:部分 645:調整的RGB圖像 660:經裁剪的RGBIR圖像 670:經彩色校正的圖像 700:過程 702:方塊 704:方塊 706:方塊 708:方塊 800:深度學習神經網路 820:輸入層 821:輸出層 822a:隱藏層 822b:隱藏層 822n:隱藏層 826:節點 900:CNN 920:輸入層 922a:迴旋隱藏層 922b:池化隱藏層 922c:全連接隱藏層 924:輸出層 1000:計算系統 1005:連接 1010:處理器 1012:快取記憶體 1015:系統記憶體 1020:唯讀記憶體（ROM） 1025:隨機存取記憶體（RAM） 1030:儲存設備 1032:服務 1034:服務 1035:輸出設備 1036:服務 1040:通訊介面 1045:輸入設備 B:藍色 G:綠色 IR:紅外 R:紅色

下文參考以下附圖詳細描述本案的說明性實施例：

圖1A是圖示根據一些實例的圖像擷取和處理設備的架構的方塊圖；

圖1B是圖示根據一些實例的圖像擷取和處理設備的附加架構的方塊圖；

圖2A和圖2B是圖示根據一些實例的示例性紅色、綠色和藍色（RGB）濾色器陣列的示圖；

圖2C和圖2D是圖示根據一些實例的示例性RGB加紅外（RGBIR）濾波器陣列的示圖；

圖3A是根據一些實例的由RGB圖像感測器擷取的場景的示例性圖像；

圖3B是根據一些實例的由RGBIR圖像感測器擷取的圖3A中擷取的相同場景的示例性圖像；

圖4是圖示根據一些實例的圖像彩色校正系統的元件的示圖；

圖5是圖示根據一些實例的圖像調整引擎的元件的示圖；

圖6A至圖6F是圖示根據一些實例的圖像彩色校正系統的操作的圖像；

圖7是圖示根據一些實例的用於處理一或多個訊框的過程的實例的流程圖；

圖8是圖示根據一些實例的深度學習網路的實例的方塊圖；

圖9是圖示根據一些實例的迴旋神經網路的實例的方塊圖；

圖10是圖示用於實現本文描述的某些態樣的計算系統的實例的示圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

400:圖像彩色校正系統

402:圖像矯正引擎

404:彩色校正引擎

406:第一輸入圖像

408:第二輸入圖像

410:彩色校正的輸出圖像

Claims (30)

1. 一種用於處理圖像的方法，包含以下步驟： 從一第一圖像感測器獲得包括第一一或多個圖元的一第一彩色圖像； 從一第二圖像感測器獲得包括第二一或多個圖元的一第二彩色圖像，該第二彩色圖像包括來自該第二圖像感測器的紅外（IR）資訊； 基於與該第一一或多個圖元和該第二一或多個圖元相關聯的一比較，決定與該第一一或多個圖元相關聯的彩色和與該第二一或多個圖元相關聯的彩色之間的一變換；及 至少部分地經由基於所決定的該變換將包括IR資訊的該第二彩色圖像變換為一彩色校正的圖像來產生一彩色校正的圖像。
2. 根據請求項1之方法，其中與該第一一或多個圖元相關聯的一視場和與該第二一或多個圖元相關聯的一視場至少部分地重疊。
3. 根據請求項1之方法，其中該第一圖像感測器與一第一光軸相關聯，並且該第二圖像感測器與不同於該第一光軸的一第二光軸相關聯。
4. 根據請求項1之方法，其中該第一圖像感測器具有一第一解析度，並且該第二圖像感測器具有不同於該第一解析度的一第二解析度。
5. 根據請求項1之方法，其中該第一圖像感測器包含一單個圖元。
6. 根據請求項1之方法，其中該第一圖像感測器包含複數個圖元。
7. 根據請求項1之方法，其中一IR截止濾波器設置在該第一圖像感測器的一透鏡與該第一圖像感測器之間。
8. 根據請求項1之方法，其中該第一一或多個圖元中的每一者包括一對應的紅色分量、綠色分量和藍色分量，並且該第二一或多個圖元中的每一者包括一對應的紅色分量、綠色分量和藍色分量，並且其中決定與該第一一或多個圖元相關聯的彩色和與該第二一或多個圖元相關聯的彩色之間的該變換之步驟包含以下步驟： 決定該第一一或多個圖元的綠色分量的一第一綠色統計度量和該第二一或多個圖元的綠色分量的一第二綠色統計度量； 決定該第一一或多個圖元的紅色分量的一第一紅色統計度量和該第二一或多個圖元的紅色分量的一第二紅色統計度量； 決定該第一一或多個圖元的藍色分量的一第一藍色統計度量和該第二一或多個圖元的藍色分量的一第二藍色統計度量； 基於該第一綠色統計度量和該第二綠色統計度量的一數值對應關係來決定一綠色校正； 基於該第一紅色統計度量和該第二紅色統計度量的一數值對應關係來決定一紅色校正；及 基於該第一藍色統計度量和該第二藍色統計度量的一數值對應關係來決定一藍色校正。
9. 根據請求項8之方法，其中產生該彩色校正的圖像之步驟包含以下步驟：將該紅色校正應用於該第二一或多個圖元中的每一圖元的該等紅色分量，將該綠色校正應用於該第二一或多個圖元中的每一圖元的該等綠色分量，並將該藍色校正應用於該第二一或多個圖元中的每一圖元的該等藍色分量。
10. 根據請求項1之方法，其中該第一一或多個圖元的彩色和該第二一或多個圖元的彩色之間的該變換包含一彩色校正矩陣。
11. 根據請求項1之方法，其中產生該彩色校正的圖像之步驟包含以下步驟：將所決定的該變換應用於該第二一或多個圖元，以產生第一彩色校正的圖元。
12. 根據請求項1之方法，其中決定與該第一一或多個圖元相關聯的彩色和與該第二一或多個圖元相關聯的彩色之間的該變換之步驟包含以下步驟： 將該第一彩色圖像和該第二彩色圖像中的一者或多者分為複數個部分； 決定與相關聯的該第二一或多個圖元的一第一子集相關聯的一第一部分變換；及 決定與該第二一或多個圖元的一第二子集相關聯的一第二部分變換，其中該第二一或多個圖元的該第二子集與該第一子集相差至少一個圖元。
13. 根據請求項12之方法，亦包含以下步驟：基於該第一部分變換和該第二部分變換來決定用於產生該彩色校正的圖像的一全域變換。
14. 根據請求項12之方法，亦包含以下步驟：至少部分地經由經由該第一部分變換對該第二一或多個圖元的該第一子集進行變換以及經由該第二部分變換對該第二一或多個圖元的該第二子集進行變換來產生該彩色校正的圖像。
15. 根據請求項1之方法，其中該第一一或多個圖元不包括IR資訊。
16. 一種用於處理圖像的裝置，包含： 一記憶體；及 一或多個處理器，其耦合到該記憶體且被配置為： 從一第一圖像感測器獲得包括第一一或多個圖元的一第一彩色圖像； 從一第二圖像感測器獲得包括第二一或多個圖元的一第二彩色圖像，該第二彩色圖像包括來自該第二圖像感測器的紅外（IR）資訊； 基於與該第一一或多個圖元和該第二一或多個圖元相關聯的一比較，決定與該第一一或多個圖元相關聯的彩色和與該第二一或多個圖元相關聯的彩色之間的一變換；及 至少部分地經由基於所決定的該變換將包括IR資訊的該第二彩色圖像變換為一彩色校正的圖像來產生一彩色校正的圖像。
17. 根據請求項16之裝置，其中與該第一一或多個圖元相關聯的一視場和與該第二一或多個圖元相關聯的一視場至少部分地重疊。
18. 根據請求項16之裝置，其中該第一圖像感測器與一第一光軸相關聯，並且該第二圖像感測器與不同於該第一光軸的一第二光軸相關聯。
19. 根據請求項16之裝置，其中該第一圖像感測器具有一第一解析度，並且該第二圖像感測器具有不同於該第一解析度的一第二解析度。
20. 根據請求項16之裝置，其中該第一圖像感測器包含一單個圖元。
21. 根據請求項16之裝置，其中該第一圖像感測器包含複數個圖元。
22. 根據請求項16之裝置，其中一IR截止濾波器設置在該第一圖像感測器的一透鏡與該第一圖像感測器之間。
23. 根據請求項16之裝置，其中： 該第一一或多個圖元中的每一者包括一對應的紅色分量、綠色分量和藍色分量，並且該第二一或多個圖元中的每一者包括一對應的紅色分量、綠色分量和藍色分量；及 為了決定與該第一一或多個圖元相關聯的彩色和與該第二一或多個圖元相關聯的彩色之間的該變換，該一或多個處理器被配置為： 決定該第一一或多個圖元的綠色分量的一第一綠色統計度量和該第二一或多個圖元的綠色分量的一第二綠色統計度量； 決定該第一一或多個圖元的紅色分量的一第一紅色統計度量和該第二一或多個圖元的紅色分量的一第二紅色統計度量； 決定該第一一或多個圖元的藍色分量的一第一藍色統計度量和該第二一或多個圖元的藍色分量的一第二藍色統計度量； 基於該第一綠色統計度量和該第二綠色統計度量的一數值對應關係來決定一綠色校正； 基於該第一紅色統計度量和該第二紅色統計度量的一數值對應關係來決定一紅色校正；及 基於該第一藍色統計度量和該第二藍色統計度量的一數值對應關係來決定一藍色校正。
24. 根據請求項23之裝置，產生該彩色校正的圖像包含將該紅色校正應用於該第二一或多個圖元中的每一圖元的該等紅色分量，將該綠色校正應用於該第二一或多個圖元中的每一圖元的該等綠色分量，並將該藍色校正應用於該第二一或多個圖元中的每一圖元的該等藍色分量。
25. 根據請求項16之裝置，該第一一或多個圖元的彩色和該第二一或多個圖元的彩色之間的該變換包含一彩色校正矩陣。
26. 根據請求項16之裝置，產生該彩色校正的圖像包含將所決定的該變換應用於該第二一或多個圖元，以產生第一彩色校正的圖元。
27. 根據請求項16之裝置，其中該一或多個處理器被配置為： 將該第一彩色圖像和該第二彩色圖像中的一者或多者分為複數個部分； 決定與相關聯的該第二一或多個圖元的一第一子集相關聯的一第一部分變換；及 決定與該第二一或多個圖元的一第二子集相關聯的一第二部分變換，其中該第二一或多個圖元的該第二子集與該第一子集相差至少一個圖元。
28. 根據請求項27之裝置，其中該一或多個處理器被配置為：基於該第一部分變換和該第二部分變換來決定用於產生該彩色校正的圖像的一全域變換。
29. 根據請求項27之裝置，其中該一或多個處理器被配置為：至少部分地經由經由該第一部分變換對該第二一或多個圖元的該第一子集進行變換以及經由該第二部分變換對該第二一或多個圖元的該第二子集進行變換來產生該彩色校正的圖像。
30. 根據請求項16之裝置，該第一一或多個圖元不包括IR資訊。

Images