TW202325010A - 用於降噪的級聯影像處理 - Google Patents

Abstract

本案提供了用於支援在低光視訊序列中降噪的影像處理的系統、方法和設備。降噪是經由基於級聯管線內的每個操作集位置來配置的級聯操作集來完成的。級聯可以被實現為在影像訊號處理器（ISP）內的一系列級聯影像後處理引擎（IPE）。

Description

用於降噪的級聯影像處理

本專利申請案主張於2021年7月7日提出申請的標題為「CASCADE IMAGE PROCESSING FOR NOISE REDUCTION」的中國專利申請案第PCT/CN2021/104883號的優先權，其揭示內容特此經由引用被併入本文。

本案的各態樣整體上係關於影像處理，並且更具體地係關於影像中的降噪。一些特徵可以啟用並提供改善的影像品質，包括支援在低光照環境中的即時高解析度視訊序列。

影像擷取裝置具有固有的局限性。影像品質與擷取影像的影像感測器的靈敏度以及所擷取的場景的亮度有關。影像感測器能力和可用光線兩者的限制均會限制高品質影像的擷取。

以下總結了本案的一些態樣以提供對所論述的技術的基本理解。本發明內容不是對本案的所有考慮的特徵的廣泛概括，並且既不意圖標識出本案所有態樣的關鍵或重要的要素，亦不意圖劃定本案的任何或所有態樣的範疇。其唯一目的是以概述形式呈現本案的一或多個態樣的一些概念，作為稍後呈現的更加具體的實施方式的前序。

一種影像擷取裝置，可以擷取一或多個數位影像（無論是靜止影像照片還是用於視訊的影像序列）的設備皆可以被併入各種各樣的設備中。經由實例的方式，影像擷取裝置可以包括獨立的數位相機或數位攝像機、配備相機的無線通訊設備手機，諸如行動電話、蜂巢或衛星無線電電話、個人數位助理（PDA）、面板或平板電腦，遊戲裝置、電腦設備（諸如如網路攝像頭）、視訊監控攝像頭或其他具有數位成像或視訊能力的設備。

大體上，本案描述了一種涉及具有影像感測器和影像訊號處理器（ISP）的數位相機的影像處理技術。影像訊號處理器可以被配置為控制對來自一或多個影像感測器的影像訊框的擷取以及處理來自該一或多個影像感測器的一或多個影像訊框以在經校正的影像訊框中產生場景的視圖。經校正的影像訊框可以是形成視訊序列的影像訊框序列的一部分。視訊序列可以包括從影像感測器或其他影像感測器接收的其他影像訊框及/或基於來自影像感測器或其他影像感測器的輸入的其他經校正的影像訊框。

在一實例中，影像訊號處理器可以接收指令以回應於在CPU上載入軟體（諸如相機應用程式）來擷取影像訊框序列。影像訊號處理器可以被配置為基於來自影像感測器的相應的經校正影像來產生單個輸出訊框流。單個輸出訊框流可以包括包含來自影像感測器的已經經校正（諸如經由用於執行降噪、伽馬校正和色調映射中的一項或多項的影像後處理引擎（IPE）、IPE的級聯系列及/或影像處理電路進行處理）的影像資料的影像訊框。經校正的影像訊框可以經由將本發明的影像校正的各態樣與其他計算攝影技術（諸如高動態範圍（HDR）攝影或多訊框降噪（MFNR））相結合來產生經校正的影像訊框。

在由影像訊號處理器使用在本文的各個實施方式中描述的影像校正來決定呈現場景的輸出訊框之後，該輸出訊框可以作為單個靜止影像及/或作為部分視訊序列被顯示在設備顯示器上、作為圖片或視訊序列保存到存放裝置、經由網路被發送及/或被列印到輸出媒體。例如，影像訊號處理器可以被配置為從不同的影像感測器獲得影像資料輸入訊框（例如，圖元值），並進而產生對應的影像資料輸出訊框（例如，預覽顯示訊框、靜止影像擷取、視訊訊框等）。在其他實例中，影像訊號處理器可以將影像資料的訊框輸出到各種輸出設備及/或相機模組以用於進一步處理，諸如用於3A參數同步（例如，自動對焦（AF）、自動白平衡（AWB）、和自動曝光控制（AEC）），經由輸出訊框產生視訊檔、配置顯示訊框、配置儲存訊框、經由網路連接發送訊框等。亦即，影像訊號處理器可以從各自被耦合到一或多個相機鏡頭的一或多個影像感測器獲得進入的訊框，並進而可以產生輸出訊框流並將其輸出到各種輸出目的地。在這樣的實例中，影像訊號處理器可以被配置為產生在低光攝影中可以具有改進的外觀的輸出訊框流。

在一些態樣中，該方法可以被執行以用於HDR攝影，其中使用不同的曝光時間、不同的光圈、不同的鏡頭或其他不同特性來擷取第一影像訊框和第二影像訊框，當兩個影像訊框被組合起來時可以導致改進的動態範圍的融合影像。在一些態樣中，該方法可以被執行以用於MFNR攝影，其中第一影像訊框和第二影像訊框是使用相同的或不同的曝光時間來擷取的。

在一些態樣中，一種設備可以包括影像訊號處理器或包括用於相機控制及/或處理的特定功能的處理器，諸如啟用或禁用影像校正或以其他方式（諸如經由指定色調映射、伽馬校正量或顏色校正矩陣）來控制影像校正的各態樣。至少一個處理器亦可以或替代地包括應用處理器。本文所述的方法和技術可以完全由影像訊號處理器或處理器來執行，或者各種操作可以在影像訊號處理器與處理器之間進行拆分，並且在一些態樣中可以跨額外處理器進行拆分。

裝置可以包括一個、兩個或兩個以上影像感測器，諸如包括第一影像感測器。當存在多個影像感測器時，第一影像感測器可以具有比第二影像感測器更大的視場（FOV），或者第一影像感測器可以具有與第二影像感測器不同的靈敏度或不同的動態範圍。在一實例中，第一影像感測器可以是廣角影像感測器，而第二影像感測器可以是長焦影像感測器。在另一實例中，第一感測器被配置為經由具有第一光軸的第一鏡頭來獲得影像，並且第二感測器被配置為經由具有不同於第一光軸的第二光軸的第二鏡頭來獲得影像。補充地或替代地，第一鏡頭可以具有第一放大率，並且第二鏡頭可以具有與第一放大率不同的第二放大率。這種配置可能發生在行動設備上的鏡頭簇中，諸如多個影像感測器以及關聯的鏡頭被置於行動設備正面或背面的偏移位置。額外影像感測器可以包括有更大、更小或相同的視場。本文所述的影像校正技術可以被應用於從多感測器設備中的任何影像感測器所擷取的影像訊框。

在本案的另外的態樣中揭示一種被配置為用於影像處理及/或影像擷取的設備。該裝置包括用於擷取影像訊框的部件。該裝置亦包括一或多個用於擷取呈現場景的資料的部件，諸如影像感測器（包括電荷耦合設備（CCD）、拜耳濾光片感測器、紅外（IR）偵測器、紫外（UV）偵測器、互補金屬-氧化物半導體（CMOS）感測器），飛行時間偵測器。該裝置亦可以包括一或多個用於將光線聚集及/或對焦到一或多個影像感測器（包括簡單鏡頭、複合鏡頭、球面鏡頭和非球面鏡頭）中的部件。這些部件可以被控制來擷取被輸入到本文所描述的影像處理技術的第一及/或第二影像訊框。

對於那些本發明所屬領域中具有通常知識者來說，在結合附圖查閱以下對具體的、示例性態樣的描述時，其他態樣、特徵和實現將變得顯而易見。儘管特徵可以是相對於下文的某些態樣和附圖來論述的，但是各個態樣可以包括本文所論述的有利特徵中的一或多個。換言之，儘管一或多個態樣可以作為具有某些有利特徵來論述，但是這些特徵中的一或多個亦可以依據各個態樣被使用。以類似的方式，儘管示例性態樣可以在下文中作為設備、系統或方法態樣來論述，但是這些示例性態樣可以在各種設備、系統和方法中被實現。

該方法可以作為電腦程式代碼被嵌入在電腦可讀取媒體中，該電腦程式代碼包括使處理器執行該方法的步驟的指令。在一些實現方式中，處理器可以是包括第一網路介面卡的行動設備的一部分，該第一網路介面卡被配置為經由複數個網路連接的第一網路連接發送資料，諸如在作為記錄或作為流資料中的影像或視訊；及耦合到該第一網路介面卡的處理器，以及記憶體。該處理器可以使本文所描述的經校正的影像訊框經由無線通訊網路（諸如5G NR通訊網路）傳輸。

上文已經相當寬泛地概述了根據本案的實例的特徵和技術優勢，以便可以更好地理解以下的具體實施方式。下文將描述額外的特徵和優點。所揭示的概念和具體實例可以容易地被用作修改或設計用於實現與本案相同的目的的其他結構的基礎。這樣的等效結構不背離所附請求項的範疇。當結合附圖考慮時，根據以下的描述將更好地理解本文所揭示的概念的特徵、它們的組織和操作方法以及關聯的優點。每一個附圖是為了說明和描述的目的而提供，而不是作為對請求項的限制的定義。

儘管在本案中經由對一些實例的說明來描述各態樣和實現方式，但是那些本發明所屬領域中具有通常知識者將理解在許多不同的佈置和場景中可能出現另外的實現方式和用例。本文所述的創新可以跨許多不同的平臺類型、設備、系統、形狀、尺寸、封裝佈置來實現。例如，各態樣及/或使用可以經由整合晶片實現和其他基於非模組部件的設備（例如，終端使用者設備、載具、通訊設備、計算設備、工業器械、零售/採購設備、醫療設備、支援人工智慧（AI）的設備等）來實現。儘管一些實例可能會或可能不會專門針對用例或應用程式，但該創新的多種可用性可能會出現。實現方式的範圍可以從晶片級或模組化部件到非模組化、非晶片級的實現方式，再到結合該創新的一或多個態樣的聚合的、分佈的或原始設備製造上（OEM）的設備或系統。在一些實際設置中，結合該等各態樣和特徵的設備亦可能必須包括用於實現和實踐所要求保護的和描述的各態樣的額外部件和特徵。例如，無線訊號的發送和接收必然包括數個用於類比和數位目的的部件（例如，包括天線、射頻（RF）鏈、功率放大器、調制器、緩衝器、處理器、交錯器、加法器/求和器等的硬體部件）。所意圖的是使本文描述的創新可以在具有不同尺寸、形狀和構造的各種各樣的設備、晶片級部件、系統、分散式佈置、終端使用者設備等中被實踐。

下文結合附圖闡述的實施方式意圖作為對各種配置的描述並不意圖限制本案的範疇。相反，實施方式包括用於提供對本案標的透徹理解的具體細節。對本發明所屬領域中具有通常知識者來說顯而易見的是，這些具體細節並非在每種情況下皆需要，並且在某些情況下，為清楚起見，以方塊圖形式圖示熟知的結構和部件。

本案提供了支援高品質、高解析度（例如，4K、8K、16K或以上）、使用即時處理來降低雜訊、增加亮度和改善細節的視訊擷取以及在視訊中具有紋理屬性的系統、裝置、方法和電腦可讀取媒體。本案的各態樣對於具有小圖元尺寸的、具有降低的聚光能力並且更可能受制於弱光環境的影像擷取裝置可能是特別有利的。

本案中描述的主題的特定實現可以被實現為實現以下潛在優勢或益處中的一或多個。在一些態樣中，本案提供了用於降低雜訊、增加亮度、增強影像品質、改善紋理細節以及提供對高解析度視訊序列的即時處理的技術。

用於使用一或多個影像感測器（諸如智慧手機）來擷取影像訊框的實例設備可以包括在設備的背面（例如，與使用者顯示器相對的一側）上或正面（例如，與使用者顯示器相同的一側）上具有兩個、三個、四個或更多個相機的配置。具有多個影像感測器的設備包括一或多個影像訊號處理器（ISP）、電腦視覺處理器（CVP）（例如AI引擎）或用於處理由影像感測器擷取的影像的其他可適用電路。該一或多個影像訊號處理器可以將處理後的影像訊框提供給記憶體及/或處理器（諸如應用處理器、影像前端（IFE）、影像處理引擎（IPE）或其他可適用的處理電路）以用於進一步處理，諸如用於編碼、儲存、傳輸或其他操作。

如本文所使用的，影像感測器可以指影像感測器本身以及被耦合到影像感測器的任何特定其他部件，影像感測器被用於產生用於由影像訊號處理器或其他邏輯電路處理或用於儲存在記憶體（無論是短期緩衝器還是長期非揮發性記憶體）中的影像訊框。例如，影像感測器可以包括相機的其他部件，包括快門、緩衝器或用於存取影像感測器的各個圖元的其他讀出電路。影像感測器亦可以指類比前端或用於將類比訊號轉換為被提供給耦合到影像感測器的數位電路的影像訊框的數位表達的其他電路。

在以下描述中，闡述了數個特定細節，諸如特定部件、電路和處理的實例，以提供對本案的透徹理解。如本文所使用的術語「耦合」意思是被直接地連接到或經由一或多個中間部件或電路來連接。而且，在以下描述中為了說明的目的闡述了特定的命名法以提供對本案的透徹理解。然而，對於本發明所屬領域中一個具有通常知識者來說顯而易見的是，可能不需要這些具體細節來實踐本文所揭示的教導。在其他情況下，眾所周知的電路和設備以方塊圖形式示出以避免模糊本案的教導。

以下實施方式的一些部分是按照程序、邏輯區塊、處理和對電腦記憶體內的資料位元的操作的其他符號表達來呈現的。在本案中，程序、邏輯區塊、處理等被設想為導致期望結果的步驟或指令的自洽序列。這些步驟是那些需要對實體量進行實體操作的步驟。通常，儘管不是必須的，這些量採用能夠在電腦系統中被儲存、轉發、組合、比較和以其他方式操作的電或磁訊號的形式。

在附圖中，單個方塊可以被描述為執行一或多個功能。由該方塊執行的一或多個功能可以在單個部件中或跨多個部件來執行，及/或可以使用硬體、軟體或硬體和軟體的組合來執行。為了清楚地圖示硬體和軟體的這種可互換性，各種圖示性部件、方塊、模組、電路和步驟在下文中大體上按照它們的功能來描述。這種功能是作為硬體還是軟體被實現取決於特定應用程式和施加在整個系統上的設計約束。技術工匠可以針對每個特定應用以不同的方式實現所描述的功能，但是這樣的實現決策不應被解釋為導致背離本案的範疇。而且，實例設備可以包括除了那些所示的部件之外的部件，亦包括熟知的部件，諸如處理器、記憶體等。

本案的各態樣可用於任何可適用的電子設備，其包括或被耦合到能夠擷取影像訊框（或「訊框」）的兩個或兩個以上影像感測器。此外，本案的各態樣可以在具有或被耦合到具有相同或不同能力和特性（諸如解析度、快門速度、感測器類型等）的影像感測器的設備中被實現。此外，本案的各態樣可以在用於處理影像訊框的設備中被實現，無論該設備（諸如可以檢索所儲存的影像以進行處理的處理設備，包括存在於雲端計算系統中的處理設備）是包括還是被耦合到影像感測器。

除非特別聲明否則如從以下論述中顯而易見的，應當理解的是貫穿本案，使用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「乘以」、「平均」、「監控」、「比較」、「應用」、「更新」、「量測」、「推導」、「解決」、「產生」等術語進行的論述是指電腦系統或類似的電子計算設備的行為和處理，這些行為和處理將在電腦系統的暫存器和記憶體中被表示為實體（電子）量的資料操作和變換為類似地表示為電腦系統的暫存器、記憶體或其他此類資訊儲存、傳輸或顯示裝置中的實體量的其他資料。

術語「設備」和「裝置」不限於一個或特定數量的實體物件（諸如一個智慧手機、一個相機控制器、一個處理系統等）。如本文所使用的，設備可以是具有可以實現本案的至少一些部分的一或多個構件的任何電子設備。儘管下文的描述和實例使用術語「設備」來描述本案的各個態樣，但術語「設備」不限於特定配置、類型或物件數量。如本文所使用的，裝置可以包括用於執行所描述的操作的設備或設備的一部分。

圖1圖示用於從一或多個影像感測器執行影像擷取的實例設備100的方塊圖。設備100可以包括或被耦合到用於處理來自一或多個影像感測器（諸如第一影像感測器101、第二影像感測器102和深度感測器140）的影像訊框的影像訊號處理器112。在一些在實現方式中，設備100亦包括或被耦合到處理器104和儲存指令108的記憶體106。設備100亦可以包括或被耦合到顯示器114和輸入/輸出（I/O）部件116。I/O部件116可以被用於與使用者（諸如觸控式螢幕介面及/或實體按鈕）互動。I/O部件116亦可以包括用於與其他設備通訊的網路介面，包括廣域網（WAN）配接器152、區域網路（LAN）配接器153及/或個人區域網路（PAN）配接器154。實例WAN配接器是4G LTE或5G NR無線網路介面卡。實例LAN配接器153是IEEE 802.11WiFi無線網路介面卡。實例PAN配接器154是藍芽無線網路介面卡。配接器152、153及/或154中的每一個可以被耦合到天線，包括被配置為用於主要和分集接收及/或被配置為用於接收特定頻帶的多個天線。設備100亦可以包括或被耦合到用於設備100的電源118，諸如電池或將設備100耦合到能量源的部件。設備100亦可以包括或被耦合到圖1中未圖示的額外特徵或部件。在一個實例中，可以包括數個收發器和基頻處理器的無線介面可以被耦合到或可以被包括在用於無線通訊設備的WAN配接器152中。在另一個實例中，用於將類比影像訊框資料轉換為數位影像訊框資料的類比前端（AFE）可以被耦合在影像感測器101和102與影像訊號處理器112之間。

該設備可以包括或被耦合到感測器集線器150，用於與感測器介面以接收關於設備100的移動的資料、關於設備100周圍的環境的資料及/或其他非相機感測器資料。一個實例非相機感測器是陀螺儀，一種被配置為用於量測旋轉、方向及/或角速度以產生運動資料的設備。另一個實例非相機感測器是加速度計，一種被配置為用於量測加速度的設備，其亦可以被用於經由適當地積分所量測的加速度來決定行進的速度和距離，並且加速度、速度及/或距離中的一或多個可以被包含在所產生的運動資料中。在一些態樣中，電子影像穩定系統（EIS）中的陀螺儀可以被耦合到感測器集線器或直接被耦合到影像訊號處理器112。在另一個實例中，非相機感測器可以是全球定位系統（GPS）接收器。

影像訊號處理器112可以接收（諸如被用於形成影像訊框）的影像資料。在一個實施方式中，本端匯流排連接將影像訊號處理器112分別耦合到第一和第二相機的影像感測器101和102。在另一個實施方式中，有線介面將影像訊號處理器112耦合到外部影像感測器。在另一個實施方式中，無線介面將影像訊號處理器112耦合到影像感測器101、102。

第一相機可以包括第一影像感測器101和對應的第一鏡頭131。第二相機可以包括第二影像感測器102和對應的第二鏡頭132。鏡頭131和132中的每一個可以經由在ISP 112中執行關聯的自動對焦（AF）演算法133來控制，該AF演算法調整鏡頭131和132以對焦在距影像感測器101和102特定場景深度處的特定對焦平面上。AF演算法133可以由深度感測器140輔助。

第一影像感測器101和第二影像感測器102被配置為擷取一或多個影像訊框。鏡頭131和132經由用於接收光的一或多個孔徑、用於阻擋在曝光訊窗以外的光的一或多個快門、用於過濾在特定頻率範圍之外的光的一或多個濾色器陣列（CFA）、用於將類比量測轉換為數位資訊的一或多個類比前端及/或其他用於成像的可適用的部件來分別對焦在影像感測器101和102處的光。第一鏡頭131和第二鏡頭132可以具有不同的視場以擷取不同的場景表達。例如，第一鏡頭131可以是超廣角（UW）鏡頭且第二鏡頭132可以是廣角（W）鏡頭。多個影像感測器可以包括超廣角（高視場（FOV））、廣角、長焦和超長焦（低FOV）感測器的組合。亦即，每個影像感測器可以經由硬體設定及/或軟體設置來配置以獲得不同的、但重疊的視場。在一種配置中，影像感測器被配置有具有不同放大率的不同鏡頭，從而導致不同的視場。感測器可以被配置為使得UW傳感器具有比W感測器更大的FOV，W傳感器具有比T感測器更大的FOV，T傳感器具有比UT感測器更大的FOV。例如，被配置用於廣角FOV的感測器可以擷取64-84度範圍內的視場，被配置用於超廣角FOV的感測器可以擷取100-140度範圍內的視場，被配置用於長焦FOV的感測器可以擷取10-30度範圍內的視場以及被配置用於超長焦FOV的感測器可以擷取1-8度範圍內的視場。

影像訊號處理器112處理由影像感測器101和102擷取的影像訊框。儘管圖1將設備100圖示為包括被耦合到影像訊號處理器112的兩個影像感測器101和102，但任何數量的（例如，一個、兩個、三個、四個、五個、六個等）影像感測器皆可以被耦合到影像訊號處理器112。在一些態樣中，深度感測器（諸如深度感測器140）可以被耦合到影像訊號處理器112並且來自深度感測器的輸出以類似於影像感測器101和102的方式被處理。另外，可以存在任何數量的額外影像感測器或影像訊號處理器以用於設備100。

在一些實施方式中，影像訊號處理器112可以執行來自記憶體的指令，諸如來自記憶體106的指令108、儲存在被耦合到或被包括在影像訊號處理器112中的單獨的記憶體中的指令或者由處理器104提供的指令。補充地或替代地，影像訊號處理器112可以包括被配置為執行本案中描述的一或多個操作的特定硬體（例如一或多個積體電路（IC））。例如，影像訊號處理器112可以包括一或多個影像前端（IFE）135、一或多個影像後處理引擎（IPE）及/或一或多個自動曝光補償（AEC）134引擎。AF 133、AEC 134、AFE 135、APE 136可以各自包括特定於應用的電路的、被實施為由ISP 112執行的軟體代碼以及/或者在ISP 112內的硬體和在ISP 112上執行的軟體代碼的組合。

在一些實施方式中，記憶體106可以包括儲存電腦可執行指令108以執行本案中描述的一或多個操作的全部或部分的非暫態或非暫態性電腦可讀取媒體。在一些實現方式中，指令108包括要由設備100執行以用於產生影像或視訊的相機應用程式（或其他可適用的應用程式）。指令108亦可以包括由設備100執行的其他應用或程式，諸如作業系統和除了用於影像或視訊產生之外的特定應用程式。諸如由處理器104執行相機應用程式可以使設備100使用影像感測器101和102以及影像訊號處理器112來產生影像。記憶體106亦可以由影像訊號處理器112存取以儲存經處理的訊框或可由處理器104存取來獲得經處理的訊框。在一些實施方式中，設備100不包括記憶體106。例如，設備100可以是包括影像訊號處理器112的電路，並且記憶體可以在設備100之外。設備100可以被耦合到外部記憶體並被配置為存取記憶體以用於寫入用於顯示或長期儲存的輸出訊框。在一些實施方式中，設備100是將影像訊號處理器112、處理器104、感測器集線器150、記憶體106和輸入/輸出部件116合併到單個封裝中的片上系統（SoC）。

在一些實施方式中，影像訊號處理器112或處理器104中的至少一個執行指令以執行本文所描述的各種操作，其包括降噪操作。例如，指令的執行可以指示影像訊號處理器112開始或結束擷取影像訊框或影像訊框序列，其中該擷取包括如本文實施方式中所描述的降噪。在一些實施方式中，處理器104可以包括一或多個通用處理器核104A，其能夠執行一或多個軟體程式的腳本或指令，諸如被儲存在記憶體106內的指令108。例如，處理器104可以包括被配置為執行儲存在記憶體106中的相機應用程式（或用於產生影像或視訊的其他可適用的應用程式）的一個或更多應用處理器。

在執行相機應用程式時，處理器104可以被配置為指示影像訊號處理器112參考影像感測器101或102來執行一或多個操作。例如，相機應用程式可以接收命令以開始視訊預覽顯示，一旦開始該視訊預覽顯示，包括影像訊框序列的視訊就從一或多個影像感測器101或102被擷取到並進行處理。影像校正（諸如經由級聯IPE）可以被應用於該序列中的一或多個影像訊框。由處理器104執行相機應用程式之外的指令108亦可以使設備100執行任意數量的功能或操作。在一些實施方式中，除執行軟體以使設備100執行數個功能或操作（諸如本文所描述的操作）的能力以外，處理器104可以包括IC或其他硬體（例如，人工智慧（AI）引擎124）。在一些其他實施方式中，設備100不包括處理器104，諸如當所有所描述的功能皆被配置為在影像訊號處理器112中時。

在一些實施方式中，顯示器114可以包括允許使用者互動及/或向使用者呈現項目的一或多個可適用的顯示器或螢幕，諸如對正由影像感測器101和102擷取到的影像訊框的預覽。在一些實施方式中，顯示器114是觸敏顯示器。I/O部件116可以是或包括任何可適用的機制、介面或設備以接收來自使用者的輸入（例如命令）並經由顯示器114向使用者提供輸出。例如，I/O部件116可以包括（但不限於）圖形化使用者介面（GUI）、鍵盤、滑鼠、麥克風、揚聲器、可擠壓邊框、一或多個按鈕（例如電源按鈕）、滑塊、開關等。

儘管所示出為經由處理器104彼此耦合，但是在其他各種佈置中，部件（諸如處理器104、記憶體106、影像訊號處理器112、顯示器114和I/O部件116）可以是彼此耦合的（諸如經由一或多條本端匯流排，為簡單起見而未圖示）。儘管影像訊號處理器112被圖示為與處理器104分開，但是影像訊號處理器112可以是處理器104的核，處理器104是應用處理器單元（APU），其被包括在片上系統（SoC）中，或否則被包括在處理器104中。儘管設備100在本文中的這些實例中被指為用於執行本案的態樣，但是一些設備部件可能未在圖1中被示出以防止模糊本案的態樣。此外，其他部件、部件的數量或部件的組合可以被包括在用於執行本案的態樣的可適用的設備中。因此，本案不限於特定設備或部件的配置，包括設備100。

在一些態樣中，ISP 112可以將IPE 136中的一或多個配置為級聯或串聯的配置，使得IPE中的至少一個的輸入是另一個IPE的輸出。對於ISP的級聯IPE配置的一個實例在圖2中被示出。圖2是圖示出根據一或多個態樣的級聯影像後處理引擎（IPE）的方塊圖。級聯IPE 200包括第一IPE 210和第二IPE 230。第一IPE 210的輸出被輸入到第二IPE 230。當該級聯IPE系列多於兩個IPE時，第二IPE 230的輸出可以作為輸入被施加到額外的IPE。在該IPE級聯中的最後一個IPE可以輸出經校正的第一影像訊框。該經校正的第一影像訊框可以在對例如相機應用程式的預覽視訊顯示中被使用或者用於將視訊序列記錄到記憶體。

IPE 210和230中的每一個可以是通用IPE。亦即，IPE 210和230中的每一個可以包括用於空間降噪（NR）212、232的電路、用於時間NR 214、234的電路、顏色校正矩陣（CCM）處理216、236、用於色調映射218、238的電路、用於伽馬校正220、240的電路和用於邊緣增強222、242的電路。儘管IPE 210和230中的每一個皆是通用處理單元，但是IPE 210和230中的每一個可以被配置為執行特定於在IPE級聯系列中該IPE的位置的操作。例如，當IPE 210是級聯IPE的第一級時，IPE 210可以被配置為執行伽馬校正220，並且當IPE 230是級聯IPE的第二級或較後級時，IPE 230可以被配置為禁用伽馬校正240。作為另一實例，級聯IPE中僅一個IPE可以被配置為具有已啟用的顏色校正矩陣（CCM）處理。作為另一個實例，儘管IPE 210和230中的每一個皆包括用於色調映射218、238的電路，但是每一個可以被配置為具有不同的映射。例如，IPE 210的用於色調映射218的電路可以應用第一色調映射以用於改變整個影像訊框的色調，而IPE 230的用於色調映射238的電路可以應用第二色調映射以用於對比度增強及/或亮度增強。

級聯IPE可以被用於執行降噪和提升亮度。級聯兩個或兩個以上IPE來提升亮度可能不會受到由於實現多重降噪來提升亮度而加入雜訊的影響。級聯IPE的級聯降噪可以產生具有更少的雜訊、鮮豔的顏色、更亮的訊框及/或對比度增強的邊緣的經校正的影像訊框。亮度的提升在低光攝影中很有用，可以增強影像細節，而不會顯著增加低光攝影中常見的噪點或同時減少低光攝影中常見的噪點。經由級聯IPE對影像訊框的處理可以有利地被應用於從小光學格式（例如，小圖元）感測器所擷取的影像訊框，因為小格式感測器可能具有降低的低光攝影，這是由於小格式感測器對於給定的曝光時間比較大格式感測器擷取的光更少而導致的。

來自由影像感測器擷取的並使用一個IPE和兩個級聯IPE進行處理的測試場景的實例結果被顯示在表1中，其展示了當使用級聯兩個IPE處理一個影像訊框時增加的紋理、減少的雜訊和增加的亮度值，這些對於在使用單個IPE來處理該影像訊框時所獲得的值都有所改進。

	紋理	雜訊	亮度
級聯關閉	30.76	7.04	85
級聯開啟	45.35	6.13	118

一種經由兩個或兩個以上降噪和色調映射來處理影像訊框以改善該影像訊框外觀的方法在圖3的流程圖中被示出。圖3是圖示出根據一或多個態樣的用於使用多個降噪操作來處理影像訊框的方法的流程圖。在一些實施方式中，圖3的方法可以在多個硬體IPE框中被實現，諸如圖2中所示。然而，圖3的方法亦可以使用單個硬體IPE框、其他特定於應用的電路及/或在通用處理器來實現。方法300開始於在方塊302處接收第一影像訊框。該第一影像訊框可以由第一影像感測器擷取並且在方塊302處接收該第一影像訊框之前經由影像前端（IFE）處理。在一些實施方式中，諸如當第一影像訊框是從一或多個影像感測器的多次曝光所產生的高動態範圍（HDR）影像訊框時，第一影像訊框可以是來自一或多個影像感測器所擷取的多個影像訊框的組合輸出。

第一影像處理操作序列包括方塊304、306、308和310。在方塊304處，對第一影像訊框執行第一降噪。該第一降噪可以包括空間及/或時間降噪。在方塊306處，應用顏色校正矩陣（CCM），諸如以在影像訊框中產生更鮮豔的顏色。在方塊308處，應用第一色調映射。色調映射可以被用於將一顏色集映射到另一顏色集以在影像中產生特定的藝術效果。在一些實施方式中，方塊308的第一色調映射可以被應用到第一影像訊框以近似在具有更為有限的動態範圍的媒體中的高動態範圍影像的外觀。在方塊310處，應用伽馬校正以提升第一影像訊框中的光照。方塊304、306、308和310的處理中的每一個可以存取和修改記憶體中對應於第一影像訊框的值。因此，處理方塊304、306、308和310之一的輸入是處理方塊304、306、308和310中的另一個的輸出。在方塊312處的第二降噪之前所執行的處理可以以與圖3所示不同的順序來實行，諸如經由在方塊310的伽馬校正之後再應用方塊308的色調映射。在一些實施方式中，方塊304、306、308和310中的第一操作序列可以由第一硬體電路（諸如第一IPE）來執行。

第二影像處理操作序列包括方塊312、314和316。在方塊312處，對如由具有方塊304、306、308和310的第一處理操作序列所修改的第一影像訊框執行第二降噪。在方塊314處應用第二色調映射。第二色調映射可以是與方塊308的色調映射不同的色調映射。例如，在修改輸入到方塊308和314的影像訊框時可以使用不同的映射。第二色調映射可以被配置為提供對比度增強和亮度增強，而不是如方塊308的第一色調映射中那樣的通用的、藝術的顏色映射。在方塊316處，如由具有方塊304、306、308和310的第一影像處理操作序列修改並進一步由具有方塊312、314和316的第二影像處理操作序列修改的第一影像訊框作為經校正的第一影像訊框被輸出。該經校正的第一影像訊框可以例如與其他影像訊框一起使用，這些其他影像訊框可以被類似地處理或未被類似地處理以產生可以作為在相機應用程式中的預覽流而被顯示給影像擷取裝置的使用者的視訊序列。

在影像擷取裝置中作為視訊序列的一部分的影像訊框的處理流程的一個實例在圖4中被示出。圖4是圖示出根據一或多個態樣的經由級聯影像後處理引擎（IPE）對影像訊框的處理流程的方塊圖。影像感測器402產生包括表達場景404的第一影像訊框的影像訊框序列。影像訊號處理器410接收該影像訊框的序列並且可以對這些影像訊框執行即時處理，以使得輸出視訊序列可以產生並被顯示給使用者以即時地監控場景404，使得在該場景中的變化可以大致上在變化發生時（例如，在小於500毫秒、小於400毫秒、小於300毫秒、小於200毫秒或小於100毫秒內）被使用者感知。ISP 410可以具有多個IPE（諸如IPE 412A和412B）以用於靈活地處理由ISP 410接收的影像訊框。例如，ISP 410可以並行地使用不同的IPE以用於處理從不同影像感測器並行地接收的影像訊框。在另一個實例中，ISP 410可以串聯地使用不同的IPE以用於處理從單個影像感測器接收的影像訊框。

ISP 410可以決定相機配置，諸如經由從在影像擷取裝置上執行的相機應用程式接收配置，並且將可用的IPE適當分配給ISP 410內的某些處理。在一個實例中，相機應用程式可以指定是否基於使用者設置應用級聯IPE配置以啟動「低光」或「夜視」模式，或者經由對影像訊框應用一或多個規則來決定是否啟動級聯IPE。當存在弱光條件或其他條件以觸發級聯IPE時，回應於對要啟動級聯IPE的該弱光條件或其他條件的決定，可以對從感測器接收的第一影像訊框進行處理以產生中間第一影像訊框。替代地或補充地，該ISP可以基於相同的或不同的條件來決定何時啟動級聯IPE配置。級聯IPE配置的應用或ISP決定的條件可以是包括曝光增益、曝光時間、勒克斯指數和每秒視訊訊框數（FPS）的一或多個因素的組合。例如，級聯IPE可以在當曝光增益、曝光時間和勒克斯指數均高於某個閾值或它們的組合值超過某個閾值時進行配置。較小的視訊FPS為視訊序列的影像訊框提供了較長的曝光時間。因此，視訊FPS可以被使用來調整閾值，該閾值被用於觸發級聯IPE或被化為與該閾值進行比較的值。IPE配置（例如，單個IPE或級聯IPE）的決定可以在接收第一影像訊框以用於處理之前（例如，作為相機應用程式中的配置及/或基於由ISP處理的先前影像訊框的配置）、在接收該第一影像訊框之後（例如，經由從該第一影像訊框決定統計資料），及/或在中間第一影像訊框上（例如，經由在經由第一IPE處理之後從該第一影像訊框決定統計資料）被執行。當決定了單個IPE配置時，可以應用其他降噪處理，諸如經由將該單個IPE的輸出與另一影像訊框融合來進行多訊框降噪。

在一些實施方式中，ISP 410可以將一或多個IPE配置為執行與參考圖2和圖3描述的那些類似的級聯操作。例如，ISP 410可以級聯兩個單獨的IPE 412A和412B來分別執行關於第一降噪操作和第二降噪操作的操作。例如，IPE 412A可以被配置為類似於圖2的IPE 210，並且IPE 412B可以被配置為類似於圖2的IPE 230。IPE 412A可以執行關於與圖3中的方塊304、306、308、310和312的操作，且IPE 412B可以執行關於方塊310、312和314的操作。IPE 412A和412B可以被串聯地耦合以使得IPE 412A的輸出被輸入到IPE 412B，而IPE 412B的輸出為至少包括經校正的第一影像訊框的輸出視訊序列。IPE 412B中的處理可以由3A中繼資料（包括曝光增益、曝光時間、勒克斯指數、白平衡WB增益、經校正色溫CCT中的一項或多項）來決定。在一些實施方式中，ISP 410可以經由使用從IPE的輸出返回到該IPE的輸入的環回、並將該IPE重新配置成執行第二組降噪操作來使用單個IPE級聯IPE。

在一或多個態樣中，用於支援使用級聯IPE的影像校正的技術可以包括另外的態樣，諸如下文所描述的或者與本文別處描述的一或多個其他處理或設備相關的任何單個態樣或態樣的任何組合。在一些實施方式中，裝置包括無線設備，諸如UE。在一些實施方式中，裝置可以包括至少一個處理器，以及耦合到該處理器的記憶體。該處理器可以被配置為執行本文所描述的操作。在一些其他實施方式中，該裝置可以包括在其上記錄有程式碼的非暫時性電腦可讀取媒體，並且該程式碼可以由處理器執行以使該裝置執行本文參考該裝置所描述的操作。在一些實施方式中，該裝置可以包括被配置為執行本文所描述的操作的一或多個部件。在一些實施方式中，一種無線通訊的方法可以包括本文所描述的用於使用級聯IPE處理影像訊框的一或多個操作。

那些本發明所屬領域中具有通常知識者將理解，資訊和訊號可以使用多種不同技術和技藝中的任何一種來表示。例如，貫穿以上描述中可以被參考的資料、指令、命令、資訊、訊號、位元、符號和晶片可以由電壓、電流、電磁波、磁場或粒子、光場或粒子或其任何組合來表示。

本文關於圖1至圖4描述的部件、功能方塊和模組包括處理器、電子設備、硬體設備、電子部件、邏輯電路、記憶體、軟體代碼、韌體代碼等實例或其任何組合。軟體應被廣義地解釋為表達指令、指令集、代碼、程式碼片段、程式碼、程式、副程式、軟體模組、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行檔、執行的執行緒、程序及/或功能等實例，無論被稱為軟體、韌體、中介軟體、微代碼、硬體描述語言還是其他。此外，本文所論述的特徵可以經由專門的處理器電路、經由可執行指令或它們的組合來實現。

那些本發明所屬領域中具有通常知識者亦將理解，結合本文揭示所描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體或兩者的組合。為了清楚地圖示硬體和軟體的這種可互換性，各種說明性部件、方塊、模組、電路和步驟已經在上文中大體上根據它們的功能性進行了描述。這種功能性時作為硬體還是軟體被實現取決於特定應用程式和施加在整個系統上的設計約束。技術工匠可以針對每個特定應用以不同的方式實現所描述的功能性，但是這樣的實現決策不應被解釋為導致背離本案的範疇。技術工匠亦將容易地認識到，本文描述的部件、方法或互動的順序或組合僅僅是實例，並且本案的各個態樣的部件、方法或互動可以以除本文所說明和描述的那些以外的方式被組合或執行。

結合本文揭示的實施方式描述的各種說明性邏輯、邏輯區塊、模組、電路和演算法處理可以實施為電子硬體、電腦軟體或兩者的組合。硬體和軟體的可互換性已在功能態樣進行了一般性描述，並在上述各種說明性部件、方塊、模組、電路和處理中進行了說明。這種功能是在硬體還是軟體中實現取決於特定的應用程式和施加在整個系統上的設計約束。

可以利用通用單晶片或多晶片處理器、數位訊號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯裝置、個別閘門或電晶體邏輯、離散硬體部件或設計成執行本文所述功能的任何組合來實現或執行結合本文所揭示的態樣描述的各種說明性邏輯、邏輯區塊、模組和電路的硬體和資料處理裝置。通用處理器可以是微處理器或任何一般處理器、控制器、微控制器或狀態機。在一些實現中，處理器亦可以實現為計算設備的組合，諸如DSP和一個微處理器、複數個微處理器、與DSP核心結合的一或多個微處理器的組合、或任何其他這樣的配置。在一些實施方式中，特定的處理和方法可以由特定於給定功能的電路來執行。

在一或多個態樣，可以在硬體、數位電子電路、電腦軟體、韌體中實現所描述的功能，包括本說明書中揭示的結構及其結構均等物，或其任何組合。本說明書中該主題的實施方式亦可以作為一或多個電腦程式來實現，即編碼在電腦儲存媒體上的電腦程式指令一或多個的模組，以便由資料處理裝置執行或控制資料處理設備的操作。

若以軟體實現，則功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或作為一或多個指令或代碼傳輸。本文揭示的方法或演算法的處理可以在可以常駐在電腦可讀取媒體上的處理器可執行軟體模組中實施。電腦可讀取媒體包括電腦儲存媒體和通訊媒體，通訊媒體包括可以使電腦程式從一個地方轉移到另一個地方的任何媒體。儲存媒體可以是電腦可以存取的任何可用的媒體。作為實例而非限制，這樣的電腦可讀取媒體可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、CD-ROM或其他光碟儲存、磁碟儲存或其他磁存放裝置，或者可以用於儲存指令或資料結構形式的期望程式碼並且可以由電腦存取的任何其他媒體。此外，任何連接皆可以被恰當地稱為電腦可讀的媒體。本文使用的磁碟和光碟包括光碟（CD）、鐳射光碟、光學（optical）光碟、數位多功能光碟（DVD）、軟碟以及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟則經由鐳射光學地再現資料。上述的組合亦應包括在電腦可讀取媒體的範疇內。此外，方法或演算法的操作可以作為代碼和指令的一個或任何組合或集合常駐在機器可讀取媒體和電腦可讀取媒體上，這些代碼和指令可以併入電腦程式產品中。

對本案中描述的實施方式的各種修改對於本發明所屬領域中具有通常知識者來說是顯而易見的，並且在不背離本案的精神或範疇的情況下，本文定義的一般原理可以應用於一些其他實施方式。因此，請求項不意欲限於本文中所示的實施方式，而是要被賦予與本案、在此揭示的原理和新穎特徵一致的最寬範疇。

另外，本發明所屬領域中具有通常知識者將容易理解，術語「上」和「下」有時被使用以便於描述附圖，以及指示在被適當定向的頁面上對應於附圖方位的相對定位，而可能並不將任何設備的正確方位反映為所實現的一般。

本說明書中在單獨實施方式上下文中描述的某些特性亦可以在單個實施方式中組合實施。相反，在單個實施方式上下文中描述的各種特徵亦可以在多個實施方式中分別實現或在任何可適用的子群組合中實現。此外，儘管特徵可以在上面描述為以某些組合起作用，甚至是最初要求保護的特徵，但是在一些情況下，可以從該組合中分離來自要求保護的組合的一或多個特徵，並且要求保護的組合可以指向子群組合或子群組合的變型。

類似地，儘管在附圖中以特定順序圖示操作，但這不應理解為要求以所示出的特定順序或以連續循序執行這種操作，或要求執行所有示出的操作以獲得期望的結果。此外，附圖可以以流程圖的形式示意性地圖示另一個實例處理。但是，未圖示的其他操作可以被併入示意性示出的實例處理中。例如，一或多個額外操作可以在任何所示出的操作之前、之後、同時或之間被執行。在某些情況下，多工處理和並行處理可能是有利的。此外，上述實施方式中的各種系統部件的分離不應被理解為在所有實施方式中需要這樣的分離，並且應當理解，所描述的程式部件和系統通常可以一起整合在單個軟體產品中或被封裝到多個軟體產品中。此外，其他實施方式亦在以下請求項的範疇內。在一些情況下，可以以不同的循序執行請求項中所述的動作，並且仍然實現期望的結果。

如本文所使用的、在請求項中包括的，術語「或」在被用於兩個或兩個以上項目的清單中時，意思是所列項目中的任何一個可以被單獨採用，或者所列專案中的兩個或兩個以上的任何組合可以被採用。例如，若組合物被描述為包含部件A、B或C，則該組合物可以僅包含單獨的A；單獨的B；單獨的C；A和B組合；A和C組合；B和C組合；或A、B和C組合。而且，如本文所使用的，在請求項中包括的，如在以「至少一個」開頭的專案列表中使用的「或」表示分離性列表，使得例如「A、B或C中的至少一個」的列表意思是A或B或C或AB或AC或BC或ABC（即A和B和C）或其任何組合。如本發明所屬領域中具有通常知識者所理解的，術語「實質上」被定義為在很大程度上但不一定全部皆是所指定物（並且包括所指定物；例如，基本上90度包括90度，以及，基本上平行包括平行）。在任何所揭示的實現方式中，術語「基本上」可以被替換為「在所指定物的[百分比]內」，其中百分比包括0.1、1、5或10％。

提供本案的前述描述以使本發明所屬領域中任何具有通常知識者能夠製造或使用本案。對本案的各種修改對於本發明所屬領域中具有通常知識者來說將是顯而易見的，並且本文所定義的一般原理可以被應用於其他變型而不背離本案的精神或範疇。因此，本案不意圖被限制於本文描述的實例和設計，而是要被賦予與本文所揭示的原理和新穎特徵一致的最寬範疇。

100:設備 101:第一影像感測器 102:第二影像感測器 104:處理器 106:記憶體 108:指令 112:影像訊號處理器 114:顯示器 116:I/O部件 118:電源 124:人工智慧（AI）引擎 131:第一鏡頭 132:第二鏡頭 133:AF演算法 134:自動曝光補償（AEC） 135:影像前端（IFE） 136:APE 140:深度感測器 150:感測器集線器 152:廣域網（WAN）配接器 153:區域網路（LAN）配接器 154:個人區域網路（PAN）配接器 200:級聯IPE 210:第一IPE 212:空間降噪（NR） 214:時間NR 216:顏色校正矩陣（CCM）處理 218:色調映射 220:伽馬校正 222:邊緣增強 230:第二IPE 232:空間降噪（NR） 234:時間NR 236:顏色校正矩陣（CCM）處理 238:色調映射 240:伽馬校正 242:邊緣增強 300:方法 302:方塊 304:方塊 306:方塊 308:方塊 310:方塊 312:方塊 314:方塊 316:方塊 402:影像感測器 404:表達場景 410:影像訊號處理器 412A:IPE 412B:IPE

對本案的本質和優點的進一步理解可以經由參考以下附圖來實現。在附圖中，相似的部件或特徵可以具有相同的參考標記。此外，相同類型的各種部件可以經由在參考標記後加上破折號和區分相似部件的第二標記來區分。若在說明書中僅使用了第一參考標記，則該描述適用於具有該相同的第一參考標記的類似的部件中的任何一個，而與第二參考標記無關。

圖1圖示用於從一或多個影像感測器執行影像擷取的實例設備100的方塊圖。

圖2是圖示出根據一或多個態樣的級聯影像後處理引擎（IPE）的方塊圖。

圖3是圖示出根據一或多個態樣的利用多降噪操作來處理影像訊框的方法的流程圖。

圖4是圖示出根據一或多個態樣的經由級聯影像後處理引擎（IPE）對影像訊框的處理流程的方塊圖。

相同的元件符號和標記在各個附圖中表示相同的元素。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

402:影像感測器

404:表達場景

410:影像訊號處理器

412A:IPE

412B:IPE

Claims (24)

1. 一種方法，包括以下步驟： 接收一第一影像訊框； 經由具有一第一配置的一影像校正演算法中的一第一遍來處理該第一影像訊框以產生一中間第一影像訊框，其中該第一配置導致該處理包括與一第一降噪操作相關的一第一操作集；及 經由具有一第二配置的該影像校正演算法中的一第二遍來處理該中間第一影像訊框以產生一經校正的第一影像訊框，其中該第二配置導致該處理包括與一第二降噪操作相關的一第二操作集。
2. 如請求項1之方法，亦包括形成包括該經校正的第一影像訊框和至少一經校正的第二影像訊框的視訊序列。
3. 如請求項2之方法，亦包括以下至少一項： 將該視訊序列儲存在一記憶體中； 經由一無線網路發送該視訊序列；或者 在一顯示器上顯示該視訊序列。
4. 如請求項1、2或3中任一項所述的方法，其中： 經由一影像校正演算法中的一第一遍來處理該第一影像訊框包括經由一第一影像後處理引擎（IPE）來處理該第一影像訊框；及 經由該影像校正演算法中的一第二遍來處理該中間第一影像訊框包括經由一第二影像後處理引擎（IPE）來處理該第一影像訊框。
5. 如請求項1至4中任一項所述的方法，其中該第一IPE是與該第二IPE相同的IPE。
6. 如請求項1至5中任一項所述的方法，其中： 用於該第一影像校正演算法的該第一配置包括應用一第一色調映射；及 用於該第二影像校正演算法的該第二配置包括應用一不同的第二色調映射以用於對比度增強和亮度增強。
7. 如請求項1至6中任一項所述的方法，其中： 用於該第一影像校正演算法的該第一配置包括應用伽馬校正；及 用於該影像校正演算法的該第二配置不包括應用伽馬校正。
8. 如請求項1至7中任一項所述的方法，其中： 該第一影像校正演算法和該第二影像校正演算法中只有一個包括應用一顏色校正矩陣。
9. 如請求項1至8中任一項所述的方法，亦包括以下步驟： 決定在該第一影像訊框中存在一弱光條件；及 回應於對該弱光條件的該決定，處理該第一影像訊框並且處理該中間第一影像訊框。
10. 如請求項9之方法，亦包括以下步驟： 決定在該第一影像訊框中不存在一弱光條件； 回應於決定該弱光條件不存在，接收一第二影像訊框；及 處理該中間影像訊框和該第二影像訊框以決定已使用一多訊框降噪（MFNR）演算法進行降噪的一經校正的第一影像訊框。
11. 一種方法，包括以下步驟： 接收一第一影像訊框； 對該第一影像訊框應用一第一降噪； 在應用該第一降噪之後，對該第一影像訊框應用一第一色調映射； 在應用該第一色調映射之後，對該第一影像訊框應用一伽馬校正； 在應用該伽馬校正之後，對該第一影像訊框應用一第二降噪； 在應用該第二降噪之後，對該第一影像訊框應用一第二色調映射； 在應用該第一降噪之後，對該第一影像訊框應用一顏色校正矩陣；及 在應用該第一降噪、應用該第一色調映射、應用該伽馬校正、應用該第二降噪、應用該第二色調映射以及應用該顏色校正矩陣之後，輸出一經校正的第一影像訊框。
12. 如請求項11之方法，其中： 一第一影像後處理引擎（IPE）執行應用該第一降噪、應用該第一色調映射以及應用該伽馬校正的步驟；及 一第二影像後處理引擎（IPE）執行應用該第二降噪以及應用該第二色調映射的步驟。
13. 如請求項11至12中任一項所述的方法，亦包括以下步驟： 決定在該第一影像訊框中存在一弱光條件；及 回應於決定該弱光條件存在，執行應用該第一降噪、應用該第一色調映射、應用該伽馬校正、應用該第二降噪以及應用該第二色調映射的步驟。
14. 如請求項11至13中任一項所述的方法，亦包括以下步驟： 形成包括該經校正的第一影像訊框和至少一經校正的第二影像訊框的一視訊序列；及 至少以下一項： 將該視訊序列儲存在一記憶體中； 經由一無線網路發送該視訊序列；或者 在一顯示器上顯示該視訊序列。
15. 一種裝置，包括： 一影像訊號處理器，該影像訊號處理器包括複數個影像後處理引擎（IPE），該複數個影像後處理引擎（IPE）至少包括一第一IPE和一第二IPE， 其中該影像訊號處理器被配置為： 接收一第一影像訊框； 使用該第一IPE來處理該第一影像訊框以產生一中間第一影像訊框；及 使用一第二IPE來處理該中間第一影像訊框以產生一經校正的第一影像訊框。
16. 如請求項15之裝置： 其中該影像訊號處理器被配置為配置該第一IPE以執行以下步驟，包括： 應用一第一降噪； 應用一第一色調映射；及 應用一伽馬校正；及 其中該影像訊號處理器被配置為配置該第二IPE以執行以下步驟，包括： 應用一第二降噪；及 應用一第二色調映射。
17. 如請求項15至16中任一項所述的裝置，其中該影像訊號處理器被配置為將該第一IPE或該第二IPE中的一個配置為應用一顏色校正矩陣。
18. 如請求項15至17中任一項所述的裝置，其中該影像訊號處理器被配置為將該第二IPE配置為不應用一伽馬校正。
19. 如請求項15至18中任一項所述的裝置，其中該影像訊號處理器被配置為分配該複數個IPE以用於處理來自一或多個影像感測器的影像訊框。
20. 一種裝置，包括： 一記憶體；及 至少一個處理器，其被配置為執行如請求項1至14中任一項所述的方法的操作。
21. 如請求項20之裝置，其中該至少一個處理器包括影像訊號處理器。
22. 如請求項20至21中任一項所述的裝置，其中該至少一個處理器包括一圖形處理單元（GPU）。
23. 如請求項20至22中任一項所述的裝置，其中該至少一個處理器包括一中央處理單元（CPU）。
24. 如請求項15至23中任一項所述的裝置，其中該裝置包括一影像擷取裝置。

Images