TW202416719A - 用於產生組合圖像的圖像壓縮 - Google Patents

Abstract

揭示用於擷取具有處於不同景深的主體的圖像的系統、裝置、過程和電腦可讀取媒體。例如，一種處理圖像的方法包括以下步驟：獲得以第一曝光使用圖像感測器擷取的第一圖像。該方法亦可以包括以下步驟：獲得以第二曝光使用圖像感測器擷取的第二圖像。該方法可以包括以下步驟：基於對第二圖像與第一圖像的比較來壓縮第二圖像；及將經壓縮的第二圖像儲存在記憶體中。該方法亦可以包括以下步驟：從記憶體中獲得經壓縮的第二圖像；及基於經壓縮的第二圖像與第一圖像之間的差來解壓縮經壓縮的第二圖像。該方法亦可以包括以下步驟：至少部分地經由組合第一圖像和第二圖像來產生組合圖像。

Description

用於產生組合圖像的圖像壓縮

概括而言，本案與處理圖像資料相關。例如，本文描述的系統和技術係關於壓縮圖像以減少對於從複數個圖像合成組合圖像（例如，HDR圖像）所需要的頻寬和功率。

相機是一種接收光線並且使用圖像感測器擷取圖像訊框（諸如靜態圖像或視訊訊框）的設備。相機可以包括處理器（諸如圖像信號處理器（ISP）），其可以接收一或多個圖像訊框並且處理一或多個圖像訊框。例如，由相機感測器擷取的原始圖像訊框可以由ISP處理以產生最終圖像。相機可以被配置有各種圖像擷取和圖像處理設置，以改變圖像的外觀。一些相機設置是在擷取照片之前或期間決定和應用的，諸如ISO、曝光時間、光圈大小、f/stop、快門速度、焦點和增益。其他相機設置可以配置對照片的後處理，諸如關於對比度、亮度、飽和度、銳度、級別、曲線或色彩的更改。

相機可以被配置各種圖像擷取和圖像處理設置。不同設置的應用可能導致具有不同外觀的訊框或圖像。一些相機設置是在擷取照片之前或期間決定和應用的，諸如ISO、曝光時間（亦被稱為曝光持續時間）、光圈大小、f/stop、快門速度、焦點和增益。其他相機設置可以配置對照片的後處理，諸如關於對比度、亮度、飽和度、銳度、級別、曲線或色彩的更改。

在一些實例中，描述了用於壓縮圖像以建立高動態範圍（HDR）圖像的系統和技術。該等系統和技術可以減少對於從按順序擷取的複數個圖像合成HDR圖像所要求的頻寬和功率。

根據至少一個實例，提供了一種用於產生一或多個圖像的方法，該方法包括以下步驟：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與第二曝光相關聯；基於對該第二圖像與該第一圖像的比較來壓縮該第二圖像；將經壓縮的第二圖像儲存在記憶體中；從該記憶體中獲得該經壓縮的第二圖像；基於該經壓縮的第二圖像與該第一圖像之間的差來解壓縮該經壓縮的第二圖像；及至少部分地經由組合該第一圖像和該第二圖像來產生組合圖像。

在另一實例中，提供了一種用於產生一或多個圖像的裝置，該裝置包括：至少一個記憶體；及至少一個處理器，其耦合到該至少一個記憶體。該至少一個處理器被配置為：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與第二曝光相關聯；基於對該第二圖像與該第一圖像的比較來壓縮該第二圖像；將經壓縮的第二圖像儲存在記憶體中；從該記憶體中獲得該經壓縮的第二圖像；基於該經壓縮的第二圖像與該第一圖像之間的差來解壓縮該經壓縮的第二圖像；及至少部分地經由組合該第一圖像和該第二圖像來產生組合圖像。

在另一實例中，提供了一種具有儲存在其上的指令的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與第二曝光相關聯；基於對該第二圖像與該第一圖像的比較來壓縮該第二圖像；將經壓縮的第二圖像儲存在記憶體中；從該記憶體中獲得該經壓縮的第二圖像；基於該經壓縮的第二圖像與該第一圖像之間的差來解壓縮該經壓縮的第二圖像；及至少部分地經由組合該第一圖像和該第二圖像來產生組合圖像。

在另一實例中，提供了一種用於產生一或多個圖像的裝置。該裝置包括：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；用於獲得使用該圖像感測器擷取的第二圖像的構件，該第二圖像與第二曝光相關聯；用於基於對該第二圖像與該第一圖像的比較來壓縮該第二圖像的構件；用於將經壓縮的第二圖像儲存在記憶體中的構件；用於從該記憶體中獲得該經壓縮的第二圖像的構件；用於基於該經壓縮的第二圖像與該第一圖像之間的差來解壓縮該經壓縮的第二圖像的構件；及用於至少部分地經由組合該第一圖像和該第二圖像來產生組合圖像的構件。

根據至少一個其他實例，提供了一種用於處理一或多個圖像的方法。該方法包括以下步驟：從圖像感測器的圖元陣列讀取第一圖像；從該圖元陣列讀取第二圖像；基於該第一圖像來壓縮該第二圖像；及向圖像感測器處理器（ISP）發送該第一圖像和經壓縮的第二圖像。

在另一實例中，提供了一種用於處理一或多個圖像的裝置，該裝置包括：至少一個記憶體；及至少一個處理器，其耦合到該至少一個記憶體。該至少一個處理器被配置為：從圖像感測器的圖元陣列讀取第一圖像；從該圖元陣列讀取第二圖像；基於該第一圖像來壓縮該第二圖像；及向圖像感測器處理器（ISP）發送該第一圖像和經壓縮的第二圖像。

在另一實例中，提供了一種具有儲存在其上的指令的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器進行以下操作：從圖像感測器的圖元陣列讀取第一圖像；從該圖元陣列讀取第二圖像；基於該第一圖像來壓縮該第二圖像；及向圖像感測器處理器（ISP）發送該第一圖像和經壓縮的第二圖像。

在另一實例中，提供了一種用於處理一或多個圖像的裝置。該裝置包括：用於從圖像感測器的圖元陣列讀取第一圖像的構件；用於從該圖元陣列讀取第二圖像的構件；用於基於該第一圖像來壓縮該第二圖像的構件；及用於向圖像感測器處理器（ISP）發送該第一圖像和經壓縮的第二圖像的構件。

在一些態樣中，本文描述的裝置中的一或多個裝置是以下各者、作為以下各者的部分及/或包括以下各者：可穿戴設備、擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、頭戴式設備（HMD）設備、無線通訊設備、行動設備（例如，行動電話及/或行動手持機及/或所謂的「智慧型電話」或其他行動設備）、相機、個人電腦、膝上型電腦、伺服器電腦、車輛或車輛的計算設備或元件、另一設備或其組合。在一些態樣中，該裝置包括用於擷取一或多個圖像的一或多個相機。在一些態樣中，該裝置亦包括用於顯示一或多個圖像、通知及/或其他可顯示資料的顯示器。在一些態樣中，上述裝置可以包括一或多個感測器（例如，一或多個慣性量測單元（IMU），諸如一或多個陀螺儀、一或多個陀螺儀、一或多個加速度計、其任何組合及/或其他感測器）。

該發明內容既不意欲辨識所主張保護的標的的關鍵或必要特徵，亦不意欲單獨用於決定所主張保護的標的的範疇。應當經由參考本專利的整個說明書的適當部分、任何或全部附圖以及每個請求項來理解該標的。

在參考以下說明書、請求項和附圖之後，前述內容以及其他特徵和態樣將變得更加顯而易見。

下文提供了本案內容的某些態樣。如對於熟習此項技術者將顯而易見的，該等態樣中的一些可以獨立地應用，並且其中的一些可以相結合地應用。在下文的描述中，出於解釋的目的，闡述了具體細節以便提供對本案的態樣的全面理解。然而，將顯而易見的是，可以在沒有該等具體細節的情況下實踐各個態樣。附圖和描述並不意欲是限制性的。

隨後的描述僅提供了示例性態樣，並且不意欲限制本案內容的範疇、適用性或配置。確切而言，對示例性態樣的隨後描述將向熟習此項技術者提供用於實現示例性態樣的可行描述。應當理解的是，在不脫離如在所附的請求項中闡述的本案的精神和範疇的情況下，可以對元素的功能和佈置進行各種改變。

隨後的描述僅提供了示例性態樣，並且不意欲限制本案內容的範疇、適用性或配置。確切而言，對示例性態樣的隨後描述將向熟習此項技術者提供用於實現本案內容的態樣的可行描述。應當理解的是，在不脫離如在所附的請求項中闡述的本案的精神和範疇的情況下，可以對元素的功能和佈置進行各種改變。

本文使用術語「示例性的」及/或「實例」來意指「充當示例、實例或說明」。本文中被描述為「示例性的」及/或「實例」的任何態樣不必被解釋為相對於其他各態樣更佳或具有優勢。同樣，術語「本案內容的各態樣」不要求本案內容的所有態樣皆包括所論述的特徵、優勢或操作模式。

相機是使用圖像感測器接收光並且擷取圖像訊框（諸如靜態圖像或視訊訊框）的設備。術語「圖像」、「圖像訊框」和「訊框」在本文中可互換地使用。相機可以被配置有各種圖像擷取和圖像處理設置。不同的設置導致具有不同外觀的圖像。一些相機設置是在擷取一或多個圖像訊框之前或期間決定和應用的，諸如ISO、曝光時間、光圈大小、f/stop、快門速度、焦點和增益。例如，設置或參數可以被應用於圖像感測器以擷取一或多個圖像訊框。其他相機設置可以配置對一或多個圖像訊框的後處理，諸如關於對比度、亮度、飽和度、銳度、級別、曲線或色彩的更改。例如，設置或參數可以被應用於處理器（例如，圖像信號處理器（ISP））以處理由圖像感測器擷取的一或多個圖像訊框。

數位成像設備（諸如數位相機）的動態範圍是該設備在沒有光飽和的情況下可以擷取的最大光量與該設備可以準確地量測並且與固有圖像雜訊（電雜訊、熱雜訊等）區分的最低光量之間的比率。傳統上，數位相機能夠僅擷取真實世界場景的自然照明範圍的一小部分。例如，場景的動態範圍可能是100,000:1，而數位相機的圖像感測器的動態範圍可能是100:1。當場景的動態範圍超過感測器的動態範圍時，最高光水平及/或最低光水平的區域中的細節丟失。

成像設備可以經由合併利用不同曝光設置擷取的多個圖像來產生高動態範圍（HDR）圖像。例如，成像設備可以經由合併利用短曝光時間擷取的短曝光圖像、利用比短曝光時間更長的中等曝光時間擷取的中等曝光圖像，以及利用比中等曝光時間更長的長曝光時間擷取的長曝光圖像來產生HDR圖像。因為短曝光圖像通常是暗的，所以該等短曝光圖像通常保留在拍攝的場景的高光（亮區域）中的大部分細節。中等曝光圖像和長曝光圖像通常比短曝光圖像更亮，並且在場景的高光部分（亮區域）中可能曝光過度（例如，太亮而無法辨認細節）。因為長曝光圖像通常包括明亮部分，所以該等長曝光圖像可以保留在拍攝的場景的陰影（暗區域）中的細節。中等曝光圖像和短曝光圖像通常比長曝光圖像更暗，並且在場景的陰影部分（暗區域）中可能曝光不足（例如，太暗而無法辨認其中的細節），從而使得該等中等曝光圖像和短曝光圖像對陰影的圖示太暗而無法觀察細節。為了產生HDR圖像，成像設備可以例如使用短曝光圖像的部分來圖示拍攝的場景的高光（亮區域），使用長曝光圖像的圖示場景的陰影（暗區域）的部分，以及使用中等曝光圖像的圖示場景的其他區域（除了高光和陰影）的部分。

成像設備在解析度和訊框速率態樣不斷提高，以提高視覺保真度，此舉增加了圖像擷取系統的頻寬和功率要求。例如，超高清（FHD）視訊（例如，在每秒30訊框（FPS）下具有3840x2160的解析度）要求擷取至少60個圖像並且將其從圖像感測器傳輸給圖像信號處理器（ISP）設備，圖像信號處理器設備處理並且輸出圖像以供記錄或顯示。添加額外的曝光圖像（諸如中等曝光）以提高圖像品質可能超過圖像感測器與圖像處理電路系統之間的頻寬容量。增加訊框速率亦可能超過匯流排的頻寬容量。此外，對於輸出、傳輸和在記憶體中儲存圖像所要求的處理消耗大量功率，並且可能超過功耗限制。例如，一個示例性晶片組可以支援具有標準HDR（8K30-SHDR）的在30 FPS下的8K視訊（例如，具有7680x4320的解析度），並且消耗3.2瓦的功率。然而，此種示例性晶片組在熱態樣被限制為3.1瓦的功率。由於功耗和頻寬限制的組合，設備製造商可能無法支援該等特徵，而顯示器製造商可以支援具有更高訊框速率及/或更高解析度的圖像。

在一些態樣中，描述了用於（諸如在產生組合圖像的過程期間（例如，在用於產生HDR圖像的HDR過程（諸如HDR合成過程）期間））壓縮一或多個圖像的系統、裝置、過程（亦被稱為方法）和電腦可讀取媒體（本文中被統稱為「系統和技術」）。例如，成像系統可以基於至少一個參考圖像來壓縮目標圖像。在一些實例中，參考圖像可以是長曝光圖像，而目標圖像可以是短曝光圖像（其具有比長曝光圖像更短或更小的曝光）。短曝光圖像可以是在長曝光圖像的擷取期間擷取的。在其他實例中，參考圖像可以是短曝光圖像，而目標圖像可以是長曝光圖像。在一些態樣中，該等系統和技術可以經由決定參考圖像與目標圖像的圖元之間的圖元差來執行無失真壓縮。在一個說明性實例中，短曝光圖像相對於長曝光圖像被正規化，並且經由減去每個經正規化的圖元的相應值來決定每個圖元的差。若參考圖像與目標圖像之間的圖元值是類似的，則可以實現壓縮效率。例如，若相應圖元的經正規化的值相差特定值（例如，值32），則可以利用較少的位元來對圖元差進行編碼。

在本案內容的一些態樣中，該等系統和技術可以壓縮圖像感測器中的一或多個圖像。該等系統和技術可以向ISP發送或傳輸經壓縮的圖像。在一個說明性態樣中，圖像感測器可以從感測器陣列讀出參考圖像，並且使用參考圖像，以基於參考圖像與後續圖像之間的經正規化的差來壓縮後續圖像。在ISP中壓縮後續圖像並且傳輸經壓縮的圖像可以減少頻寬和功耗的量。

下文關於附圖更詳細地描述了本案內容的額外細節和態樣。

圖像感測器包括光電二極體或其他光敏元件的一或多個陣列。每個光電二極體量測最終與由圖像感測器產生的圖像中的特定圖元相對應的光量。在一些情況下，不同的光電二極體可以被濾色器陣列的不同濾色器覆蓋，並且因此可以量測與覆蓋光電二極體的濾色器的色彩匹配的光。

可以使用各種濾色器陣列，包括拜耳濾色器、四元濾色器陣列（亦被稱為四元拜耳濾波器或QCFA）及/或其他濾色器陣列。在圖1A中圖示拜耳濾色器陣列100的實例。如圖所示，拜耳濾色器陣列100包括紅色濾色器、藍色濾色器和綠色濾色器的重複圖案。如圖1B所示，QCFA 110包括2x2（或「四元」）濾色器圖案，包括2x2的紅色（R）濾色器圖案、一對2x2的綠色（G）濾色器圖案以及2x2的藍色（B）濾色器圖案。針對給定圖像感測器的整個光電二極體陣列重複在圖1B中所示的QCFA 110的圖案。使用QCFA 110或拜耳濾色器陣列100，基於以下各項來產生圖像的每個圖元：來自在濾色器陣列的紅色濾色器中覆蓋的至少一個光電二極體的紅光資料、來自在濾色器陣列的藍色濾色器中覆蓋的至少一個光電二極體的藍光資料以及來自在濾色器陣列的綠色濾色器中覆蓋的至少一個光電二極體的綠光資料。代替或者除了紅色、藍色及/或綠色濾色器，其他類型的濾色器陣列可以使用黃色、品紅色及/或青色（亦被稱為「翠綠色」）濾色器。遍及整個圖元陣列中的不同光電二極體可以具有不同的光譜靈敏度曲線，從而對不同波長的光進行回應。單色圖像感測器亦可以缺少濾色器，並且因此缺少色彩深度。

在一些情況下，多個相鄰光電二極體的子群組（例如，當使用在圖1B中所示的QCFA 110時，2x2個光電二極體貼片）可以量測針對場景的近似相同區域的相同色彩的光。例如，當被包括在每個光電二極體子群組中的光電二極體在實體上緊密接近時，入射到子群組之每一者光電二極體上的光可以源自場景中近似相同的位置（例如，樹上的蔓葉線的一部分、一小段天空等）。

在一些實例中，來自場景的光的亮度範圍可能顯著超過圖像感測器可以擷取的亮度水平。例如，數位單反（DSLR）相機能夠擷取來自場景的1:30,000對比度比率的光，而HDR場景的亮度水平可能超過1:1000,000對比度比率。

在一些情況下，可以利用HDR感測器來增強由圖像擷取設備擷取的圖像的對比度比率。在一些實例中，可以使用HDR感測器來獲得一個圖像或訊框內的多次曝光，其中此種多次曝光可以包括短（例如，5 ms）和長（例如，15 ms或更多）曝光時間。如本文所使用的，長曝光時間通常是指比短曝光時間更長的任何曝光時間。

在一些實現中，HDR感測器能夠配置光電二極體子群組內的各個光電二極體（例如，在圖1B中所示的QCFA 110中的兩個2x2 G貼片中的每一者的四個單獨的R光電二極體、四個單獨的B光電二極體和四個單獨的G光電二極體），以具有不同的曝光設置。具有匹配的曝光設置的光電二極體的集合在本文中亦被稱為光電二極體曝光群組。圖1C圖示具有QCFA濾波器的圖像感測器陣列的一部分，該QCFA濾波器被配置有四個不同的光電二極體曝光群組1至4。如圖1C中的示例性光電二極體曝光群組陣列120中所示，每個2x2貼片可以包括來自用於特定圖像感測器的不同光電二極體曝光群組之每一者光電二極體曝光群組的光電二極體。儘管在圖1C中的特定分類中圖示四個分類，但是一般技術者將認識到，在不脫離本案內容的範疇的情況下，可以使用不同數量的光電二極體曝光群組、在子群組內的不同佈置的光電二極體曝光群組，以及其任何組合。

如關於圖1C所提及的，在一些HDR圖像感測器實現中，與不同光電二極體曝光群組相對應的曝光設置可以包括不同的曝光時間（亦被稱為曝光長度），諸如短曝光、中等曝光和長曝光。在一些情況下，場景的與不同曝光設置相關聯的不同圖像可以由每個光電二極體曝光群組中的光電二極體擷取的光形成。例如，第一圖像可以由光電二極體曝光群組1中的光電二極體擷取的光形成，第二圖像可以由光電二極體曝光群組2中的光電二極體形成，第三圖像可以由光電二極體曝光群組3中的光電二極體擷取的光形成，並且第四圖像可以由光電二極體曝光群組4中的光電二極體擷取的光形成。基於與每一群組相對應的曝光設置的差異，由圖像感測器擷取的場景中的物件的亮度在每個圖像中可以不同。例如，由具有長曝光設置的光電二極體擷取的照明良好的物件可能看起來飽和（例如，完全白色）。在一些情況下，圖像處理器可以在與不同曝光設置相對應的圖像的圖元之間進行選擇，以形成組合圖像。

在一個說明性實例中，第一圖像對應於短曝光時間（亦被稱為短曝光圖像），第二圖像對應於中等曝光時間（亦被稱為中等曝光圖像），並且第三和第四圖像對應於長曝光時間（亦被稱為長曝光圖像）。在此種實例中，可以從長曝光圖像（例如，第三圖像或第四圖像）中選擇組合圖像的與場景的具有低照明的部分（例如，場景的處於陰影中的部分）相對應的圖元。類似地，可以從短曝光圖像（例如，第一圖像）中選擇組合圖像的與場景的具有高照明的部分（例如，場景的處於直射陽光中的部分）相對應的圖元。

在一些情況下，圖像感測器亦可以利用光電二極體曝光群組來擷取運動中的物件，而不具有模糊。光電二極體群組的曝光時間的長度可以對應於場景中的物件在曝光時間期間移動的距離。若來自運動中的物件的光在曝光時間期間被與多個圖像圖元相對應的光電二極體擷取，則運動中的物件可能看起來在多個圖像圖元上模糊（亦被稱為運動模糊）。在一些實現中，可以經由將一或多個光電二極體群組配置有短曝光時間來減少運動模糊。在一些實現中，圖像擷取設備（例如，相機）可以經由比較物件在兩個連續擷取的圖像之間的位置來決定場景內的局部運動量（例如，運動梯度）。例如，可以在由圖像擷取設備擷取的預覽圖像中偵測運動，以在顯示器上向使用者提供預覽功能。在一些情況下，可以訓練機器學習模型來偵測連續圖像之間的局部運動。

下文將關於附圖論述本文描述的技術的各個態樣。圖2是圖示圖像擷取和處理系統200的架構的方塊圖。圖像擷取和處理系統200包括用於擷取和處理場景的圖像（例如，場景210的圖像）的各種元件。圖像擷取和處理系統200可以擷取獨立的圖像（或照片）及/或可以擷取以特定順序包括多個圖像（或視訊訊框）的視訊。在一些情況下，鏡頭215和圖像感測器230可以與光軸相關聯。在一個說明性實例中，圖像感測器230（例如，光電二極體）的光敏區域和鏡頭215兩者可以以光軸為中心。圖像擷取和處理系統200的鏡頭215面向場景210並且接收來自場景210的光。鏡頭215將來自場景的入射光折向圖像感測器230。由鏡頭215接收的光穿過光圈。在一些情況下，光圈（例如，光圈大小）由一或多個控制機構220控制，並且由圖像感測器230接收。在一些情況下，光圈可以具有固定的大小。

一或多個控制機構220可以基於來自圖像感測器230的資訊及/或基於來自圖像處理器250的資訊來控制曝光、聚焦及/或變焦。一或多個控制機構220可以包括多個機構和元件；例如，控制機構220可以包括一或多個曝光控制機構225A、一或多個聚焦控制機構225B及/或一或多個變焦控制機構225C。一或多個控制機構220亦可以包括除了圖示的控制機構之外的額外控制機構，諸如控制類比增益、閃光燈、HDR、景深（depth of field）及/或其他圖像擷取特性的控制機構。

控制機構220的聚焦控制機構225B可以獲得聚焦設置。在一些實例中，聚焦控制機構225B將聚焦設置儲存在記憶體暫存器中。基於聚焦設置，聚焦控制機構225B可以調整鏡頭215相對於圖像感測器230的位置而言的位置。例如，基於聚焦設置，聚焦控制機構225B可以經由致動電動機或伺服裝置（或其他鏡頭機構）來使鏡頭215移動得更靠近圖像感測器230或更遠離圖像感測器230，從而調整聚焦。在一些情況下，可以在圖像擷取和處理系統200中包括額外的鏡頭，諸如在圖像感測器230的每個光電二極體上的一或多個微鏡頭，一或多個微鏡頭各自在光到達光電二極體之前將從鏡頭215接收的光折向對應的光電二極體。聚焦設置可以經由對比度偵測自動聚焦（CDAF）、相位偵測自動聚焦（PDAF）、混合自動聚焦（HAF）或其某種組合來決定。聚焦設置可以使用控制機構220、圖像感測器230及/或圖像處理器250來決定。聚焦設置可以被稱為圖像擷取設置及/或圖像處理設置。在一些情況下，鏡頭215可以相對於圖像感測器是固定的，並且在不脫離本案內容的範疇的情況下可以省略聚焦控制機構225B。

控制機構220的曝光控制機構225A可以獲得曝光設置。在一些情況下，曝光控制機構225A將曝光設置儲存在記憶體暫存器中。基於該曝光設置，曝光控制機構225A可以控制光圈的大小（例如，光圈大小或f/stop）、光圈開啟的持續時間（例如，曝光時間或快門速度）、感測器收集光的持續時間（例如，曝光時間或電子快門速度）、圖像感測器230的靈敏度（例如，ISO速度或膠片速度）、由圖像感測器230應用的類比增益，或其任何組合。曝光設置可以被稱為圖像擷取設置及/或圖像處理設置。

控制機構220的變焦控制機構225C可以獲得變焦設置。在一些實例中，變焦控制機構225C將變焦設置儲存在記憶體暫存器中。基於變焦設置，變焦控制機構225C可以控制包括鏡頭215和一或多個額外鏡頭的鏡頭元件的組件（鏡頭組件）的焦長。例如，變焦控制機構225C可以經由致動一或多個電動機或伺服裝置（或其他鏡頭機構）以使該等鏡頭中的一者或多者相對於彼此移動來控制鏡頭組件的焦長。變焦設置可以被稱為圖像擷取設置及/或圖像處理設置。在一些實例中，鏡頭組件可以包括齊焦面變焦鏡頭或變焦面變焦鏡頭。在一些實例中，鏡頭組件可以包括聚焦鏡頭（在一些情況下其可以是鏡頭215），其首先接收來自場景210的光，其中在光到達圖像感測器230之前，光隨後穿過在聚焦鏡頭（例如，鏡頭215）和圖像感測器230之間的無焦變焦系統（afocal zoom system）。在一些情況下，無焦變焦系統可以包括具有相等或類似的焦長（例如，在彼此的閾值差內）的兩個正（例如，會聚、凸）透鏡，其中在該等正透鏡之間具有負（例如，發散、凹）透鏡。在一些情況下，變焦控制機構225C移動無焦變焦系統中的鏡頭中的一或多個鏡頭，諸如正透鏡中的一者或兩者以及負透鏡。在一些情況下，變焦控制機構225C可以經由利用與變焦設置相對應的變焦從複數個圖像感測器（例如，包括圖像感測器230）中的圖像感測器擷取圖像來控制變焦。例如，圖像處理系統200可以包括具有相對低變焦的廣角圖像感測器和具有較大變焦的長焦圖像感測器。在一些情況下，基於所選擇的變焦設置，變焦控制機構225C可以從對應的感測器擷取圖像。

圖像感測器230包括光電二極體或其他光敏元件的一或多個陣列。每個光電二極體量測最終與由圖像感測器230產生的圖像中的特定圖元相對應的光量。在一些情況下，不同的光電二極體可以被不同的濾色器覆蓋。在一些情況下，不同的光電二極體在濾色器中覆蓋，並且因此可以量測與覆蓋光電二極體的濾色器的色彩匹配的光。可以使用各種濾色器陣列，包括拜耳濾色器陣列（如圖1A所示）、QCFA（參見圖1B）及/或任何其他濾色器陣列。

返回到圖1A和圖1B，代替或者除了紅色、藍色及/或綠色濾色器，其他類型的濾色器可以使用黃色、品紅色及/或青色（亦被稱為「翠綠色」）濾色器。在一些情況下，一些光電二極體可以被配置為量測紅外光（IR）。在一些實現中，量測IR光的光電二極體可以不被任何濾波器覆蓋，從而允許IR光電二極體量測可見光（例如，色彩）和IR光兩者。在一些實例中，IR光電二極體可以被IR濾波器覆蓋，從而允許IR光穿過並且阻擋來自頻譜的其他部分的光（例如，可見光、色彩）。一些圖像感測器（例如，圖像感測器230）可以完全缺少濾色器（例如，色彩、IR或光譜的任何其他部分），並且可以替代地遍及圖元陣列來使用不同的光電二極體（在一些情況下是垂直地堆疊的）。遍及圖元陣列的不同光電二極體可以具有不同的光譜靈敏度曲線，從而對不同波長的光進行回應。單色圖像感測器亦可以缺少濾色器，並且因此缺少色彩深度。

在一些情況下，圖像感測器230可以替代地或另外包括不透通及/或反射遮罩，其阻擋光在某些時間處及/或從某些角度到達某些光電二極體或某些光電二極體的部分。在一些情況下，不透通及/或反射遮罩可以用於PDAF。在一些情況下，不透通及/或反射遮罩可以用於阻擋電磁頻譜的部分到達圖像感測器的光電二極體（例如，IR截止濾波器、紫外線（UV）截止濾波器、帶通濾波器、低通濾波器、高通濾波器等）。圖像感測器230亦可以包括用於放大由光電二極體輸出的類比信號的類比增益放大器及/或用於將光電二極體的類比信號輸出（及/或由類比增益放大器放大的）轉換為數位信號的類比數位轉換器（ADC）。在一些情況下，關於控制機構220中的一者或多者論述的某些元件或功能可以替代地或另外被包括在圖像感測器230中。圖像感測器230可以是電荷耦合元件（CCD）感測器、電子倍增CCD（EMCCD）感測器、主動圖元感測器（APS）、互補金屬氧化物半導體（CMOS）、N型金屬氧化物半導體（NMOS）、混合CCD/CMOS感測器（例如，sCMOS）或其某種其他組合。

圖像處理器250可以包括一或多個處理器，諸如一或多個ISP（例如，ISP 254）、一或多個主機處理器（例如，主機處理器252），及/或關於圖15的計算設備1600論述的任何其他類型的處理器1610中的一者或多者。主機處理器252可以是數位信號處理器（DSP）及/或其他類型的處理器。在一些實現中，圖像處理器250是包括主機處理器252和ISP 254的單個積體電路或晶片（例如，被稱為晶片上系統或SoC）。在一些情況下，晶片亦可以包括一或多個輸入/輸出埠（例如，輸入/輸出（I/O）埠256）、中央處理單元（CPU）、圖形處理單元（GPU）、寬頻數據機（例如，3G、4G或LTE、5G等）、記憶體、連接元件（例如，藍芽 ^TM、全球定位系統（GPS）等）、其任何組合及/或其他元件。I/O埠256可以包括根據一或多個協定或規範的任何適當的輸入/輸出埠或介面，諸如內部積體電路2（I2C）介面、內部積體電路3（I3C）介面、串列周邊介面（SPI）介面、串列通用輸入/輸出（GPIO）介面、行動工業處理器介面（MIPI）（諸如MIPI CSI-2實體層（PHY）埠或介面、高級高效能匯流排（AHB）匯流排、其任何組合）及/或其他輸入/輸出埠。在一個說明性實例中，主機處理器252可以使用I2C埠來與圖像感測器230進行通訊，並且ISP 254可以使用MIPI埠來與圖像感測器230進行通訊。

圖像處理器250可以執行多個任務，諸如去馬賽克、色彩空間轉換、圖像訊框下取樣、圖元內插、自動曝光（AE）控制、自動增益控制（AGC）、CDAF、PDAF、自動白平衡、對圖像訊框合併以形成HDR圖像、圖像辨識、物件辨識、特徵辨識、對輸入的接收、管理輸出、管理記憶體，或其某種組合。圖像處理器250可以將圖像訊框及/或經處理的圖像儲存在隨機存取記憶體（RAM）240、唯讀記憶體（ROM）245、快取記憶體、記憶體單元、另一儲存設備或其某種組合中。

各種輸入/輸出（I/O）設備260可以連接到圖像處理器250。I/O設備260可以包括顯示螢幕幕、鍵盤、小鍵盤、觸控式螢幕、觸控板、觸摸敏感表面、印表機、任何其他輸出設備1635、任何其他輸入設備1645或其某種組合。在一些情況下，可以經由I/O設備260的實體鍵盤或小鍵盤，或者經由I/O設備260的觸控式螢幕的虛擬鍵盤或小鍵盤來將說明文字（caption）輸入到圖像處理設備205B中。I/O 260可以包括一或多個埠、插孔或者其他連接器，其實現圖像擷取和處理系統200與一或多個周邊設備之間的有線連接，經由該有線連接，圖像擷取和處理系統200可以從一或多個周邊設備接收資料及/或向一或多個周邊設備傳輸資料。I/O 260可以包括一或多個無線收發機，其實現圖像擷取和處理系統200與一或多個周邊設備之間的無線連接，經由該無線連接，圖像擷取和處理系統200可以從一或多個周邊設備接收資料及/或向一或多個周邊設備傳輸資料。周邊設備可以包括先前論述的類型的I/O設備260中的任何一者，並且一旦其耦合到埠、插孔、無線收發機或其他有線及/或無線連接器，其本身就可以被認為是I/O設備260。

在一些情況下，圖像擷取和處理系統200可以是單個設備。在一些情況下，圖像擷取和處理系統200可以是兩個或更多個單獨的設備，包括圖像擷取設備205A（例如，相機）和圖像處理設備205B（例如，耦合到相機的計算設備）。在一些實現中，圖像擷取設備205A和圖像處理設備205B可以例如經由一或多個導線、電纜或其他電連接器耦合在一起，及/或經由一或多個無線收發機無線地耦合在一起。在一些實現中，圖像擷取設備205A和圖像處理設備205B可以彼此斷開。

如圖2所示，垂直虛線將圖2的圖像擷取和處理系統200劃分為兩個部分，其分別表示圖像擷取設備205A和圖像處理設備205B。圖像擷取設備205A包括鏡頭215、控制機構220和圖像感測器230。圖像處理設備205B包括圖像處理器250（包括ISP 254和主機處理器252）、RAM 240、ROM 245和I/O 260。在一些情況下，在圖像擷取設備205A中圖示的某些元件（諸如ISP 254及/或主機處理器252）可以被包括在圖像擷取設備205A中。

圖像擷取和處理系統200可以包括電子設備，諸如行動或固定電話手持設備（例如，智慧型電話、蜂巢式電話等）、桌上型電腦、膝上型電腦或筆記型電腦、平板電腦、機上盒、電視機、相機、顯示設備、數位媒體播放機、視訊遊戲控制台、視訊串流設備、網際網路協定（IP）相機，或任何其他適當的電子設備。在一些實例中，圖像擷取和處理系統200可以包括用於無線通訊（諸如蜂巢網路通訊、802.11 wi-fi通訊、無線區域網路（WLAN）通訊或其某種組合）的一或多個無線收發機。在一些實現中，圖像擷取設備205A和圖像處理設備205B可以是不同的設備。例如，圖像擷取設備205A可以包括相機設備，並且圖像處理設備205B可以包括計算設備，諸如行動手持設備、桌上型電腦或其他計算設備。

儘管圖像擷取和處理系統200被示為包括某些元件，但是一般技術者將明白的是，圖像擷取和處理系統200可以包括與在圖2中所示的元件相比更多的元件。圖像擷取和處理系統200的元件可以包括軟體、硬體，或者軟體和硬體的一或多個組合。例如，在一些實現中，圖像擷取和處理系統200的元件可以包括電子電路或其他電子硬體（其可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他適當的電子電路））及/或可以使用電子電路或其他電子硬體來實現，及/或可以包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實現，以執行本文描述的各種操作。軟體及/或韌體可以包括一或多個指令，一或多個指令被儲存在電腦可讀取儲存媒體上並且可由實現圖像擷取和處理系統200的電子設備的一或多個處理器執行。

圖3是圖示圖像擷取系統300的實例的方塊圖。圖像擷取系統300包括用於處理輸入圖像或訊框以產生輸出圖像或訊框的各種元件。如圖所示，圖像擷取系統300的元件包括一或多個圖像擷取設備302、圖像處理引擎310和輸出設備312。圖像處理引擎310可以產生場景的高動態範圍圖示，如本文中更詳細描述的。

圖像擷取系統300可以包括電子設備或系統，或者是電子設備或系統的部分。例如，圖像擷取系統300可以包括電子設備或系統或是電子設備或系統的部分，諸如行動或固定電話手持機（例如，智慧型電話、蜂巢式電話等）、擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、車輛或車輛的計算設備/系統、伺服器電腦（例如，與另一設備或系統（諸如行動設備、XR系統/設備、車輛計算系統/設備等）相通訊）、桌上型電腦、膝上型電腦或筆記型電腦、平板電腦、機上盒、電視機、相機設備、顯示設備、數位媒體播放機、視訊串流設備或任何其他適當的電子設備。在一些實例中，圖像擷取系統300可以包括用於無線通訊（諸如蜂巢網路通訊、802.11 Wi-Fi通訊、WLAN通訊、藍芽或其他短程通訊、其任何組合及/或其他通訊）的一或多個無線收發機（或單獨的無線接收器和傳輸器）。在一些實現中，圖像擷取系統300的元件可以是同一計算設備的部分。在一些實現中，圖像擷取系統300的元件可以是兩個或更多個單獨的計算設備的部分。

儘管圖像擷取系統300被示為包括某些元件，但是一般技術者將明白的是，圖像擷取系統300可以包括比在圖3中所示的元件更多或更少的元件。在一些情況下，圖像擷取系統300的額外元件可以包括軟體、硬體或者軟體和硬體的一或多個組合。例如，在一些情況下，圖像擷取系統300可以包括在圖3中未圖示的一或多個其他感測器（例如，一或多個慣性量測單元（IMU）、雷達、光偵測和測距（LIDAR）感測器、音訊感測器等）、一或多個顯示設備、一或多個其他處理引擎、一或多個其他硬體元件，及/或一或多個其他軟體及/或硬體元件。在一些實現中，圖像擷取系統300的額外元件可以包括電子電路或其他電子硬體及/或可以使用其來實現，電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，DSP、微處理器、微控制器、GPU、CPU、其任何組合及/或其他適當的電子電路），及/或可以包括電腦軟體、韌體或其任何組合及/或使用其來實現，以執行本文描述的各種操作。軟體及/或韌體可以包括儲存在電腦可讀取儲存媒體上並且可由實現圖像擷取系統300的電子設備的一或多個處理器執行的一或多個指令。

一或多個圖像擷取設備302可以擷取圖像資料並且基於圖像資料來產生圖像（或訊框），及/或可以將圖像資料提供給圖像處理引擎310以用於進一步處理。一或多個圖像擷取設備302亦可以將圖像資料提供給輸出設備312以用於輸出（例如，在顯示器上）。在一些情況下，輸出設備312亦可以包括儲存裝置。圖像或訊框可以包括表示場景的圖元陣列。例如，圖像可以是：每圖元具有紅色、綠色和藍色分量的紅-綠-藍（RGB）圖像；每圖元具有亮度分量和兩個色度（色彩）分量（色度紅和色度藍）的亮度、色度紅、色度藍（YCbCr）圖像；或者任何其他適當類型的彩色或單色圖像。除了圖像資料之外，圖像擷取設備亦可以產生補充資訊，諸如連續擷取的圖像之間的時間量、圖像擷取的時間戳記等。

圖4圖示用於從短曝光訊框和長曝光訊框產生融合訊框（亦被稱為組合訊框或組合圖像）的技術。如圖所示，可以採用短曝光訊框402和長曝光訊框404，短曝光訊框402和長曝光訊框404可以被融合以提供融合訊框輸出406（例如，HDR訊框輸出）。由於圖像擷取感測器的位元深度，擷取訊框的一些圖元可能過飽和，從而導致圖像沒有顯示出在短曝光訊框402中所示的場景的一些紋理。因此，為了產生HDR訊框，可以擷取短曝光訊框和長曝光訊框兩者，短曝光訊框和長曝光訊框可以被融合（例如，組合）以產生HDR輸出訊框。可以執行對短曝光訊框和長曝光訊框的融合以產生融合輸出訊框，該融合輸出訊框包括短曝光訊框的部分和長曝光訊框的部分。例如，融合訊框輸出406的區域408可以來自長曝光訊框404，而融合訊框輸出406的區域410可以來自短曝光訊框402。然而，融合短曝光訊框和長曝光訊框可能由於全域運動（例如，圖像擷取設備的運動）而導致不規則性。例如，從長曝光訊框被擷取的時間到短曝光訊框被擷取的時間，場景中的圖像擷取設備或物件可能已經移動，從而導致不規則性（若在將短曝光訊框和長曝光訊框融合在一起之前沒有採取步驟來對準該等訊框）。如本文中更詳細描述的，此種全域運動問題亦可能由於滾動快門而出現。

圖5是圖示從圖像感測器（例如，圖像感測器230）到成像前端以用於處理的長曝光串流和短曝光串流（例如，MIPI串流）的示意圖。線502表示長曝光感測（本文中亦被稱為正常曝光感測）的開始，而線504表示長曝光感測的結束。長曝光感測從感測器的第一行（例如，圖2的圖像感測器230）開始到感測器的最後一行，如圖所示。對於每一行（例如，光電二極體的行），一旦長曝光感測已經完成，短曝光感測就開始，而長曝光感測繼續到下一行。例如，從圖像感測器的第一行開始到最後一行，線506表示短曝光感測的開始，而線508表示的短曝光感測的結束。長曝光感測（例如，在圖5中具有標記為「N正常」的持續時間）可以在短曝光感測（例如，在圖5中具有標記為「N短」的持續時間）之前開始。

一旦完成針對特定行的長曝光感測，在短曝光感測開始之前發生短延遲（例如，與線504、506之間的間隙相關聯）。一旦已經結束針對特定行的短曝光感測，就從圖像感測器讀出針對該行的資訊以用於處理。由於從長曝光感測到短曝光感測的間隙（例如，在圖5中被示為平均運動延遲（D）），存在用於正在持有相機的使用者移動及/或用於正被擷取的場景中的物件移動的機會，從而導致短曝光訊框和長曝光訊框中的特徵（例如，在短曝光訊框和長曝光訊框中共同或相同的特徵）的未對準。例如，從時間550（例如，擷取一半長曝光資料的時間）到時間552（例如，擷取一半短曝光資料的時間）可能存在運動延遲（D）。運動延遲（D）可以被估計為與不同的長訊框擷取事件和短訊框擷取事件（例如，不同的HDR訊框擷取）相關聯的平均運動延遲。

因為感測一次一行發生（例如，從第一行開始到最後一行），所以亦發生滾動快門全域運動。從用於第一行感測器的資料被擷取的時間到用於最後一行感測器的資料被擷取的時間，場景中的相機或物件可能移動。

圖6是圖示用於一或多個短曝光訊框604和一或多個長曝光訊框602的線上融合的技術的示意圖。融合引擎606可以融合一或多個短曝光訊框604和一或多個長曝光訊框602以產生HDR訊框或圖像。如關於圖5所描述的，在對應於一或多個短曝光訊框604的短曝光資料之前，可以針對每一行擷取對應於一或多個長曝光訊框602的長曝光資料。因此，在針對一或多個短曝光訊框604的每一行的資料被儲存在緩衝器605中之前，可能接收來自針對一或多個長曝光訊框602的每一行的資料並且將其儲存在緩衝器603中。如圖所示，針對一或多個長曝光訊框602的資料的累積可能在針對一或多個短曝光訊框604的資料的累積之前（例如，因為如圖5所示，長曝光擷取發生在短曝光擷取之前）。

在一些情況下，一旦累積了特定數量的感測器行或線（例如，前3行/線、前4行/線，前8行/線或其他數量的行/線）的與一或多個短曝光訊框604相對應的短訊框資料的，就可以開始由融合引擎606進行的融合。例如，在接收到針對特定數量的感測器行的短訊框資料之後，可以開始訊框對準操作（例如，而不是等待接收整個訊框）。然而，在執行訊框對準時可能存在各種約束。例如，不可能將長曝光訊框（來自一或多個長曝光訊框602）完全扭曲以與短曝光訊框（來自一或多個短曝光訊框604）對準。此外，由於硬體時序約束，對準的程式設計可能必須提前兩個或三個訊框執行。在一些態樣中，可以建立用於擷取訊框資料的大緩衝器。來自圖像感測器的圖像資料可以被寫入圖像緩衝器的中心部分，使得能夠對被儲存在緩衝器中的資料應用在x和y維度上的移位以進行對準。此外，本案內容的某些態樣提供了用於對準預測的技術，以允許提前程式設計對準操作。

圖7是圖示根據本案內容的一些態樣的由具有不同曝光時間的圖像擷取系統擷取的圖像之間的差異的概念性示意圖700。具體地，示意圖700圖示由圖像處理系統擷取的短曝光圖像702、中等曝光圖像704和長曝光圖像706。在習知的HDR圖像合成過程中，將短曝光圖像702、中等曝光圖像704和長曝光圖像706從圖像感測器提供給ISP（例如，ISP 254）以進行處理。ISP可以將短曝光圖像702、中等曝光圖像704和長曝光圖像706儲存在記憶體中，並且隨後將短曝光圖像702、中等曝光圖像704和長曝光圖像706處理為單個HDR圖像。

如前述，短曝光圖像702、中等曝光圖像704和長曝光圖像706中的每一者皆由圖像感測器從感測器陣列中讀出的，並且具有不同的曝光時間，但是擷取相同的內容。示意圖700圖示將短曝光圖像702乘以短曝光與長曝光比率，以將短曝光圖像702在強度上相對於長曝光圖像706進行正規化。例如，若短曝光時間是10毫秒（ms）並且長曝光時間是40 ms，則短曝光圖像702中的圖元的亮度乘以4.0的曝光比率。隨後，在圖元微分器710中比較經正規化的短曝光圖像702和長曝光圖像706。在一個說明性實例中，圖元微分器710計算每個圖元之間的差以產生差分圖元位元映像，並且圖形720圖示經正規化的短曝光圖像702與長曝光圖像706之間的圖元值的差。

圖形720圖示短曝光圖像702與長曝光圖像706之間的所有圖元值的差，其中中心點0指示圖元值是相同的，並且差的絕對值對應於在短曝光圖像702與長曝光圖像706之間圖元有多不同。在該說明性實例中，所有圖元值的95.1%在值64內。

示意圖700圖示將中等曝光圖像704乘以中等與長曝光比率，以將短曝光圖像702中的圖元的亮度（例如，勒克斯）相對於長曝光圖像706進行正規化。例如，若中等曝光時間是20毫秒（ms）並且長曝光時間是40 ms，則中等曝光圖像704中的圖元的亮度乘以2.0的曝光比率。隨後，在圖元微分器711中比較經正規化的中等曝光圖像704和長曝光圖像706。在一個說明性實例中，圖元微分器712計算每個圖元之間的差以產生差分圖元位元映像，並且圖形730圖示經正規化的中等曝光圖像704與長曝光圖像706之間的圖元值的差。對於經正規化的短曝光圖像702，所有圖元的99.3%在值32內。

根據本案內容的一些態樣，可以使用參考圖像（例如，長曝光圖像），以基於圖元差來壓縮圖像的圖元。經由基於參考圖像來壓縮圖像，經壓縮的圖像可以以減小的大小被儲存在記憶體中，此舉減少了需要寫入記憶體設備中的位元數量並且節省了功率。此外，減少寫入記憶體的圖像的大小亦使得設備製造商能夠支援更高的訊框速率和更高的解析度。

在一個說明性態樣中，參考圖像被選擇以與其他圖像進行比較，並且充當以下描述的壓縮的基礎。圖7描述了長曝光圖像是參考圖像並且提供了最佳壓縮。或者，其他曝光圖像（例如，短曝光圖像和中等曝光圖像）可以用作參考圖像。例如，短曝光圖像可以用作參考圖像，因為其是首先從圖像感測器讀出的。

圖8A是圖示根據本案內容的一些態樣的圖像擷取系統800的示意圖，圖像擷取系統800在HDR圖像合成期間壓縮至少一個圖像以減少頻寬和功率。圖像擷取系統800包括ISP的前端802和融合引擎820，ISP的前端802從圖像感測器（未圖示）接收至少短曝光圖像804和長曝光圖像806，融合引擎820將短曝光圖像804和長曝光圖像806合成為HDR圖像830。在一些態樣中，ISP連接到用於儲存和取得由前端802接收以用於處理的圖像的記憶體設備810。例如，記憶體設備可以是雙倍資料速率（DDR）記憶體。

在一些態樣中，圖像擷取系統800包括壓縮器808，壓縮器808接收短曝光圖像804和長曝光圖像806，並且基於短曝光圖像804與長曝光圖像806之間的圖元差來壓縮短曝光圖像804。本文參照圖9描述了壓縮器808的詳細方塊圖。壓縮器808將經壓縮的圖像儲存在記憶體設備810（例如，DDR記憶體）中，並且前端802亦可以將長曝光圖像806儲存在記憶體設備810中。

在一些情況下，圖像擷取系統800可能正在處理其他內容，並且臨時地儲存經壓縮的短曝光圖像804和長曝光圖像806，直到處理先前圖像。融合引擎820可以請求短曝光圖像804和長曝光圖像806，此舉使得記憶體設備810讀取經壓縮的短曝光圖像804和長曝光圖像806。解壓縮器812接收經壓縮的短曝光圖像804和長曝光圖像806兩者，並且基於編碼到短曝光圖像804中的相對於長曝光圖像806中的圖元的圖元差來對短曝光圖像804進行解壓縮，並且將經解壓縮的短曝光圖像804提供給融合引擎820。融合引擎亦接收長曝光圖像806，並且將短曝光圖像804和長曝光圖像808融合為HDR圖像830。

在一些態樣中，壓縮器808可以是無損的，並且其是基於參考圖像內的每個圖元的圖元差的，或者在該說明性實例中是基於長曝光圖像806的。例如，因為解壓縮器812使用經壓縮的短曝光圖像804中的經編碼的圖元差，並且將圖元差與長曝光圖像806中的圖元進行組合，所以可以恢復長曝光圖像806的原始值。在一些其他態樣中，壓縮器808亦可以使用基於參考圖像中的圖元的平均的失真壓縮。如下文將參照圖11所描述的，快取記憶體可能不具有足夠的大小，並且經下取樣的參考圖像可以用於支援失真壓縮。

圖8B是圖示根據本案內容的一些態樣的另一圖像擷取系統850的示意圖，圖像擷取系統850在HDR圖像合成期間壓縮至少一個圖像以減少頻寬和功率。圖像擷取系統850包括用於儲存參考圖像（例如，長曝光圖像806）的快取記憶體860。例如，快取記憶體860可以是整合到ISP中的硬體處理器的組成部分，並且由於與記憶體設備810相比快取記憶體860的更快的讀出效能，所以其可以儲存參考圖像。

圖9是根據本案內容的一些態樣的壓縮器900的方塊圖，壓縮器900被配置為在HDR圖像合成期間無損地壓縮至少一個圖像。壓縮器900包括如前述的被配置為辨識圖元差的圖元微分器910以及將圖元差編碼為減小圖像的大小的格式的圖元編碼器950。

在一個說明性實例中，圖元微分器910包括減法器912，其接收參考圖像和黑位準（BL）。黑位準是圖像感測器可以讀出的最低值，並且是與圖像感測器（例如，拜耳濾波器）相關聯的固有特性。例如，假設黑位準是8位元值，示例性黑位準可以是60，並且其是圖像感測器將針對單個圖元讀出的最小值。減法器912從圖元中減去黑位準以產生將任何變化最小化的經正規化的參考圖像。

圖元微分器910亦包括減法器914，其接收將被壓縮的目標圖像（例如，短曝光圖像、中等曝光圖像等），並且作為正規化過程的一部分，減去黑位準，以將各種圖像中的任何變化最小化。在一個說明性實例中，目標圖像是短曝光圖像。在減去黑位準之後，經BL校正的目標圖像被提供給乘法器916，乘法器916亦接收曝光比率。乘法器916被配置為將經BL校正的目標圖像乘以曝光比率，以增加圖像的亮度以對應於參考圖像。乘法器916產生經正規化的目標圖像，並且經正規化的目標圖像和經正規化的參考圖像兩者被提供給減法器918。減法器918從經正規化的目標圖像和經正規化的參考圖像中減去每個圖元，以產生表示經正規化的目標圖像與經正規化的參考圖像之間的任何差的微分值。如上文參照圖7所描述的，短曝光圖像和長曝光圖像中的所有值的95%具有差64，其可以用6位元來表示。

在一個說明性實例中，乘法器916將經正規化的目標圖像輸出到比較器920，比較器920將經正規化的目標圖像中的圖元與參考圖像的最大值進行比較。若經正規化的目標圖像中的圖元的值大於參考圖像的最大值，則比較器920被配置為控制開關922（例如，多工器）以輸出來自減法器918的微分值或參考圖像的最大值。

替代地或另外，圖元微分器910可以被配置為使用不同的參考圖像，並且圖元微分器910可以被修改為對參考圖像和目標圖像進行正規化。例如，若短曝光圖像用作圖元微分器910中的參考圖像，並且長曝光圖像是目標圖像，則短曝光圖像將相對於長曝光圖像被正規化（例如，基於曝光比率進行相乘）。表1說明由圖元微分器910實現的偽代碼，該偽代碼用於決定針對作為參考圖像的短曝光圖像的圖元差。 if (exposureRatio * (shortExposureImage-BlackLevel ＞= MaxValue)) { pixelDifference = Max(longExposureImage) } else { var normalizedVal = exposureRatio * (shortExposureImage - blackLevel); pixelDifference = longExposureImage - blackLevel – normalizedVal; } 表1

圖元微分器910將圖元差輸出到圖元編碼器950，圖元編碼器950包括被配置為決定與圖元差相關聯的符號（例如，正或負）的符號偵測器952。圖元編碼器950亦包括計算絕對值（例如，去除符號）的值偵測器954，並且該絕對值被提供給比較器956。比較器956將該絕對值與閾值進行比較。閾值是用於決定圖元編碼器950的輸出值的最大圖元差。

在一些態樣中，比較器956的輸出作為控制輸入提供給用於控制主輸出的開關958（例如，多工器）和用於控制第二輸出的開關960。若閾值大於圖元差，則開關958提供作為圖元差的主輸出Y，並且該開關提供值零。組合器962接收來自符號偵測器952的符號、來自開關958的主輸出和來自開關960的次輸出，並且將該等值封裝在經編碼的值中，但是由於大小為零而省略次輸出。因為閾值小於圖元差，所以主輸出的值在大小上被減小（例如，從16位元減小到6位元）。

若閾值小於圖元差（如在圖7中所描述的，此情形是不常見的情況），則開關958將閾值作為輸出提供給組合器962，並且開關960將小於閾值的圖元差的輸出提供給組合器962。在該實例中，組合器962被配置為將所接收到的值封裝到經編碼的值中。在該實例中，由於封裝包括次輸出，因此封裝不會減小大小。下文的表2說明由圖元編碼器950實現的偽代碼，並且指示僅當圖元差大於或等於閾值的上邊界時才提供次輸出。 If (pixelDifference ＞= threshold) { primaryOutput = threshold; secondaryOutput = pixelDifference – threshold; } else { primaryOutput = pixelDifference; secondaryOutput = null; // 或者0或其他未被定義的值來指示 // 次輸出未被使用 } 表2

圖10是根據本案內容的一些態樣的解壓縮器1000的方塊圖，解壓縮器1000被配置為在HDR圖像合成期間無損地解壓縮至少一個經壓縮的圖像。在一些態樣中，解壓縮器1000被配置為接收基於參考圖像與目標圖像之間的圖元差而編碼的經編碼的圖元串流，以恢復目標圖像。解壓縮器1000包括被配置為恢復圖元差的圖元解碼器1010以及被配置為從經壓縮的圖像和參考圖像恢復目標圖像的值的圖元恢復器1030。

圖元解碼器1010包括除法器1012，除法器1012被配置為分離經壓縮的圖像的各種離散值。例如，經壓縮的圖像之每一者圖元包括符號和基於圖元差的次輸出，並且可以包括主輸出。除法器被配置為將次輸出提供給加法器1014，加法器1014將閾值與次輸出相加，並且加法器1014的輸出可以對應於參考圖像與目標圖像之間的圖元差。來自加法器1014的圖元差和主輸出被提供作為開關1016的輸入。主輸出亦被提供給比較器1018，比較器1018將主輸出與閾值進行比較並且提供控制輸入以控制開關1016的輸出。在一個說明性實例中，若主輸出大於或等於閾值，則比較器1018控制開關1016以輸出主輸出，因為該值未被編碼。當主輸出小於閾值時，加法器1014的輸出對應於參考圖像與經壓縮的圖像之間的圖元差，並且控制開關1016以輸出圖元差。開關1016的輸出和由除法器1012提供的符號在組合器1020處被接收，組合器1020產生圖元解碼器1010的輸出。在一些態樣中，圖元解碼器1010的輸出是被編碼以表示與單個圖元相關聯的差的差分圖元值（例如，+30、-30），或者表示單個圖元的值。下文的表3說明根據本案內容的一些態樣的由圖元解碼器1010實現的偽代碼。 If (primaryOutput ＞= threshold) { pixelDifference = secondaryOutput + threshold; } else { pixelDifference = primaryOutput; } 表3

在一些態樣中，圖元恢復器1030被配置為基於圖元差來重構目標圖像。在一個說明性態樣中，圖元恢復器1030包括減法器1032，其從參考圖像中的圖元減去黑位準。在一個說明性實例中，減法器1032的輸出被提供給乘法器，並且乘以曝光比率。在一些態樣中，曝光比率是基於參考圖像與最長曝光圖像的比率的。在此種情況下，參考圖像是最長曝光圖像，並且比率將是1。

乘法器1034對參考圖像進行正規化，並且經正規化的參考圖像被提供給加法器1036，加法器1036接收圖元差並且將其與經正規化的參考圖像相加。圖元差亦被提供給減法器1038，減法器1038被配置為接收最大圖元值。加法器1036和減法器1038的輸出被提供給開關1040，開關1040被配置為基於比較器1042來選擇輸出。具體地，比較器1042接收並且比較最大圖元值和經正規化的參考圖像。若參考圖像的圖元大於或等於最大圖元值，則比較器1042控制開關1040以從減法器1038輸出。當圖元由於其值落在閾值之外而無法被編碼時，選擇來自減法器的輸出。若參考圖像的圖元小於最大圖元值，則比較器1042被配置為控制開關1040以輸出來自加法器1036的值。在一些態樣中，當圖元差小於閾值（例如，±32的最大圖元差）時，選擇來自加法器1036的輸出，並且該輸出被壓縮器進行編碼。開關1040被配置為在經壓縮的圖像中的經編碼的值與經壓縮的圖像中的未經編碼的值之間進行選擇，以在沒有任何損失的情況下完全重新建立目標圖像。下文的表4說明由圖元恢復器1030實現的偽代碼，並且說明基於以下內容是否成立來選擇用於經解壓縮的圖像的圖元的值。 var normalizedReference = exposureRatio * (referenceImage – blackLevel); if (normalizedReference ＞= Max(targetImage)) { decompressedImage = Max(targetImage) – pixelDifference; } else { decompressedImage = pixelDifference + normalizedReference + blackLevel; } 表4

當目標圖像中的圖元與參考圖像中的對應圖元的差在範圍內（例如，±32、±64等）時，經壓縮的圖像的值可以表示經編碼的值。

圖11是圖示根據本案內容的一些態樣的ISP的另一圖像擷取系統1100的示意圖，圖像擷取系統1100在HDR圖像合成期間壓縮至少一個圖像以減少頻寬和功率。在一些態樣中，ISP的前端1110被配置為從圖像感測器（未圖示）接收至少短曝光圖像1112和長曝光圖像1114。

長曝光圖像1114被配置成參考圖像，並且被提供給縮小器1116，縮小器1116減小長曝光圖像1114的大小並且將經縮小的長曝光圖像1114儲存在快取記憶體1120中。在一些態樣中，ISP可以被配置為具有有限的快取記憶體以降低與ISP相關聯的成本，並且ISP的值層可以降低快取記憶體大小。在此種情況下，長曝光圖像1114的大小可能是大的而無法被儲存在快取記憶體1120中，而長曝光圖像1114的經縮小版本可以被適配到快取記憶體1120中。在一個說明性態樣中，可以對長曝光圖像1114的圖元進行分類和平均，以減小大小以允許快取記憶體1120儲存參考圖像。例如，2x2圖元網格可以被平均，此舉將圖元數量減少了四倍，並且可以使得經縮小的長曝光圖像1114能夠被儲存在快取記憶體1120內。該實例中的縮小被描述為平均，但是任何適當的縮小技術（諸如最近鄰重取樣、雙線性重取樣、雙三次重取樣、sinc重取樣、樣條重取樣、Lanczos重取樣等等）。當壓縮器1124接收到短曝光圖像1112時，經壓縮的長曝光圖像1114從快取記憶體1120中讀出，並且由放大器1122放大，並且經壓縮的短曝光圖像1112與未經壓縮的長曝光圖像1114一起儲存在記憶體中。

未經壓縮的短曝光圖像1112從記憶體設備1130中讀出，並且與來自放大器1122的經放大的參考圖像一起被提供給解壓縮器1140。在一些態樣中，解壓縮器1140基於經縮小的參考圖像來恢復短曝光圖像1112的值。在此種情況下，基於被應用於參考圖像的平均，經解壓縮的短曝光圖像1112中的圖元將丟失一些品質。融合引擎1150接收長曝光圖像1114，並且使用經縮小的參考圖像來解壓縮短曝光圖像1112，並且將圖像合成為HDR圖像1160。

在一些態樣中，由於基於參考圖像的經縮小的版本來恢復圖元，因此所得到的HDR圖像1160將丟失一些品質。在一些情況下，融合引擎1150可以被配置為基於重取樣（例如，縮小、放大）來合成短曝光圖像和長曝光圖像，此舉可以減少出現的任何偽影。

圖12是圖示根據本案內容的某些態樣的用於在HDR圖像合成期間壓縮圖像的方法1200的實例的流程圖。方法1200可以由具有圖像感測器的計算設備（或其元件，諸如晶片組）來執行，諸如行動無線通訊設備、相機、XR設備、啟用無線的車輛或另一計算設備。在一個說明性實例中，計算系統1500可以被配置為執行方法1200的全部或部分。在一個說明性實例中，諸如ISP 254之類的ISP可以被配置為執行該方法的全部或部分。

在方塊1202處，計算設備（或其元件）可以獲得使用圖像感測器擷取的第一圖像。第一圖像與第一曝光相關聯。在一些態樣中，計算設備（或其元件）可以使得第一圖像被儲存在快取記憶體中。例如，計算設備（或其元件）可以對第一圖像進行下取樣，並且可以使得經下取樣的第一圖像儲存在快取記憶體中。計算設備（或其元件）可以進一步將經下取樣的第一圖像上取樣為有損的第一圖像。

在方塊1204處，計算設備（或其元件）可以獲得使用圖像感測器擷取的第二圖像。第二圖像與第二曝光相關聯。例如，第二曝光可以小於第一曝光。

在方塊1206處，計算設備（或其元件）可以基於對第二圖像與第一圖像的比較來壓縮第二圖像。對第二圖像的壓縮可以是無損的。在一個說明性實例中，為了壓縮第二圖像，計算設備（或其元件）可以計算第一圖像的圖元與第二圖像的圖元之間的圖元差，並且可以基於圖元差來決定針對第二圖像中的圖元的至少一部分的經壓縮的值。在一些情況下，為了計算圖元差，計算設備（或其元件）可以基於與圖像感測器相關聯的最小圖元值來正規化第一圖像和第二圖像。在一些實例中，計算設備（或其元件）可以將第二圖像乘以與第二圖像和第一圖像相關聯的曝光比率，以產生經修改的圖像。在一些情況下，計算設備（或其元件）可以從第一圖像中的最大值中減去經修改的圖像中的圖元的值。在一個說明性實例中，經修改的圖像的圖元的值大於或等於最大值，並且基於經修改的圖像的圖元的值大於或等於該最大值，圖元差對應於該最大值。在另一說明性實例中，經修改的圖像的圖元的值小於最大值，並且基於經修改的圖像中的圖元的值小於該最大值，圖元差對應於經修改的圖像中的圖元的值與該最大值之間的差。

在一些態樣中，為了決定針對第二圖像中的圖元的至少一部分的經壓縮的值，計算設備（或其元件）可以將圖元差與閾值進行比較。在一個說明性實例中，基於關於圖元差小於或等於閾值的決定，計算設備（或其元件）可以使用圖元差的值作為針對第二圖像中的圖元的至少一部分的經壓縮的值。在一個說明性實例中，基於關於圖元差大於閾值的決定，計算設備（或其元件）可以使用第二圖像中的至少一個圖元的值作為針對第二圖像中的圖元的至少一部分的經壓縮的值。在一些情況下，用作經壓縮的值的至少一個圖元的值包括圖元差。

在方塊1208處，計算設備（或其元件）可以將經壓縮的第二圖像儲存在記憶體中。在方塊1210處，計算設備（或其元件）可以從記憶體中獲得經壓縮的第二圖像。

在方塊1212處，計算設備（或其元件）可以基於經壓縮的第二圖像與第一圖像之間的差來對經壓縮的第二圖像進行解壓縮。在一些情況下，為了對經壓縮的第二圖像進行解壓縮，計算設備（或其元件）可以決定經壓縮的第二圖像內的圖元的圖元差。計算設備（或其元件）可以將經壓縮的第二圖像中的圖元的圖元差與第一圖像中的圖元求和。在一些實例中，為了決定圖元差，計算設備（或其元件）可以基於圖元的值是否大於閾值來將閾值與經壓縮的第二圖像內的圖元的值相加。在一些態樣中，為了壓縮第二圖像，計算設備（或其元件）可以計算針對有損的第一圖像與第二圖像之間的圖元的圖元差。計算設備（或其元件）可以基於圖元差來決定針對第二圖像中的圖元的至少一部分的經壓縮的值。在一些情況下，為了對經壓縮的第二圖像進行解壓縮，計算設備（或其元件）可以決定經壓縮的第二圖像內的圖元的圖元差，並且可以將經壓縮的第二圖像中的圖元的圖元差與有損的第一圖像中的圖元求和。

在方塊1214處，計算設備（或其元件）可以至少部分地經由組合第一圖像和第二圖像來產生組合圖像。在一些情況下，組合圖像是高動態範圍（HDR）圖像。

圖13是圖示根據本案內容的一些態樣的另一圖像擷取系統1300的示意圖，圖像擷取系統1300壓縮圖像感測器中的至少一個圖像以減少HDR圖像合成過程的頻寬和功率。該圖像擷取系統包括圖像感測器1310，其被配置為接收光，將光轉換為電信號（電信號被數位化為原始數位圖像），並且將原始數位圖像傳輸給晶片上系統（SoC）1330。

在一個說明性實例中，圖像感測器1310包括光電感測器的圖元陣列1312，其被配置為偵測從鏡頭接收的光並且偵測入射到光電感測器的光。在一個態樣中，拜耳濾波器可以被定位在光感測器之上，以使得光電感測器能夠偵測特定波長（例如，色彩）的光。偵測器1314被配置為讀取各個光電感測器的類比值並且建立具有數位圖元值的形式的原始數位圖像。例如，偵測器1314可以包括ADC，其讀取每個光電感測器處的光強度的各個類比值，並且基於不同光電感測器的組合來建立用於個體圖元的值。例如，個體圖元至少包括用於紅光的光電感測器、用於綠光的光電感測器和用於藍光的光電感測器。在另一說明性實例中，個體圖元可以使用其他色彩組合，諸如青色、品紅色和黃色組合。

偵測器1314被配置為在光正在曝光圖元陣列1312時從圖元陣列1312讀出圖像，並且產生短曝光圖像，該短曝光圖像將是參考圖像，因為該短曝光圖像首先可用。由於圖像感測器1310具有有限的緩衝器1318容量，所以短曝光圖像被提供給縮小器1316，縮小器1316減小短曝光圖像的大小。開關1324使得短曝光圖像被提供給SoC 1330。當長曝光圖像正由偵測器1314讀出時，長曝光圖像被提供給HDR壓縮器1322，並且放大器1320讀取緩衝器1308以取得經縮小的參考圖像並且將其放大為參考圖像。HDR壓縮器1322被配置為使用參考圖像與目標圖像之間的差來壓縮長曝光圖像，在該說明性實例中，目標圖像是長曝光圖像。經壓縮的長曝光圖像被提供給開關1324，並且被傳輸給SoC 1330。

在一些態樣中，SoC 1330的開關1332被配置為控制由圖像感測器1310接收的圖像的流程。在一個說明性實例中，開關1324和開關1332可以由不需要任何硬體改變並且提供各種圖像的邏輯控制流程的虛擬通道來實現。當開關1332接收到短曝光圖像時，開關1332將短曝光圖像提供給ISP 1350和縮小器1334。縮小器1334被配置為縮小參考圖像（例如，短曝光圖像）並且將經縮小的圖像儲存在緩衝器1336中。當開關1332接收到經壓縮的長曝光圖像時，開關1332將經壓縮的長曝光圖像提供給HDR解壓縮器1340。HDR解壓縮器1340請求參考圖像，並且放大器1338取得經縮小的參考圖像並且將其放大為參考圖像，並且將參考圖像提供給HDR解壓縮器1340。在一些態樣中，HDR解壓縮器1340被配置為使用參考圖像中的圖元和經壓縮的長曝光圖像中的圖元差來恢復長曝光圖像，如上文參照圖10所描述的。

在一些態樣中，ISP 1350接收短曝光圖像和長曝光圖像，並且合成HDR圖像，如前述。儘管該說明性實例使用短曝光圖像作為參考圖像，但是長曝光圖像亦可以用作參考圖像。在一些其他態樣中，ISP或圖像感測器的緩衝器大小可以具有足夠的儲存容量來儲存圖像而無需縮小，並且可以省略在圖13中所示的各種設備、功能或模組。例如，2奈米（nm）製程節點能夠將足夠大的緩衝器整合到圖像感測器中，並且縮小參考圖像可以是不必要的。

在一些態樣中，壓縮圖像感測器1310內的長曝光圖像的過程經由減少對於使用MIPI連接傳輸完整圖像的需求來提供頻寬節省。此舉減少了頻寬消耗，並且可以使用相同的連接來實現更高的訊框速率。此外，減少跨MIPI連接傳輸的內容量引發功率節省，從而產生對電池和熱效能的改良。

圖14是圖示根據本案內容的某些態樣的用於在HDR圖像合成期間壓縮圖像的方法1400的實例的流程圖。方法1400可以由具有圖像感測器的計算設備（或其元件，諸如晶片組）來執行，諸如行動無線通訊設備、相機、XR設備、啟用無線的車輛或其他計算設備。在一個說明性實例中，計算系統1500可以被配置為執行方法1400的全部或部分。在一個說明性實例中，諸如ISP 254之類的ISP可以被配置為執行方法1400的全部或部分。

在方塊1402處，計算設備（或其元件）可以從圖像感測器的圖元陣列讀取第一圖像。在方塊1404處，計算設備（或其元件）可以從圖元陣列讀取第二圖像。例如，第一圖像可以具有比第二圖像更短的曝光。在一些實例中，計算設備（或其元件）可以在讀取第一圖像期間開始讀取第二圖像。在一些情況下，計算設備（或其元件）可以對第一圖像進行下取樣，並且可以將經下取樣的第一圖像儲存在圖像感測器的行緩衝器中。基於從圖元陣列讀出的第二圖像的對應部分，計算設備（或其元件）可以對經下取樣的第一圖像的一部分進行放大，並且基於經放大的部分來壓縮第二圖像。

在方塊1406處，計算設備（或其元件）可以基於第一圖像來壓縮第二圖像，例如使用本文描述的技術。在方塊1407處，計算設備（或其元件）可以向圖像感測器處理器（ISP）發送第一圖像和經壓縮的第二圖像。例如，ISP可以被配置為基於對經壓縮的第二圖像和第一圖像的比較來解壓縮第二圖像。

在一些實例中，本文描述的過程（例如，方法1200和1400，及/或本文描述的其他過程）可以由計算設備或裝置來執行。在一個實例中，方法1200和1400可以由具有在圖15中所示的計算系統1500的計算架構的計算設備（例如，圖2中的圖像擷取和處理系統200）來執行。

計算設備可以包括任何適當的設備，諸如行動設備（例如，行動電話）、臺式計算設備、平板計算設備、可穿戴設備（例如，VR頭戴式設備、AR頭戴式設備、AR眼鏡、網路連接的手錶或智慧手錶，或其他可穿戴設備）、伺服器電腦、自主車輛或自主車輛的計算設備、機器人設備、電視機及/或具有執行本文描述的方法（包括方法1200和1400）的資源能力的任何其他計算設備。在一些情況下，計算設備或裝置可以包括各種元件，諸如一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微型電腦、一或多個相機、一或多個感測器，及/或被配置為執行本文描述的方法的步驟的其他元件。在一些實例中，計算設備可以包括顯示器、被配置為傳送及/或接收資料的網路介面、其任何組合及/或其他元件。網路介面可以被配置為傳送及/或接收基於IP的資料或其他類型的資料。

計算設備的元件可以在電路系統中實現。例如，元件可以包括及/或可以使用電子電路或其他電子硬體來實現，電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU，及/或其他適當的電子電路），及/或可以包括及/或使用電腦軟體、韌體或其任何組合來實現，以執行本文描述的各種操作。

方法1200和方法1400被示為邏輯流程圖，邏輯流程圖的操作表示可以在硬體、電腦指令或其組合中實現的一系列操作。在電腦指令的背景下，該等操作表示被儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該等電腦可執行指令在由一或多個處理器執行時執行所記載的操作。通常，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、元件、資料結構等。描述操作的次序並不意欲被解釋為限制，並且任何數量的所描述的操作可以以任何次序組合及/或可以是並行的，以實現該等方法。

方法1200和1400及/或本文描述的其他方法或過程可以在被配置有可執行指令的一或多個電腦系統的控制下執行，以及可以作為在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式，或一或多個應用程式）來實現，經由硬體來實現，或其組合。如上所提到，代碼可以例如以包括可由一或多個處理器執行的複數個指令的電腦程式的形式被儲存在電腦可讀取或機器可讀取儲存媒體上。電腦可讀取儲存媒體或機器可讀取儲存媒體可以是非暫時性的。

圖15是圖示用於實現本文技術的某些態樣的系統的實例的示意圖。具體地，圖15圖示計算系統1500的實例，計算系統1500可以是例如組成以下各者的任何計算設備：內部計算系統、遠端計算系統、相機，或其任何元件（其中系統的元件使用連接1505彼此通訊）。連接1505可以是使用匯流排的實體連接，或進入處理器1510的直接連接（諸如在晶片組架構中）。連接1505亦可以是虛擬連接、網路連接或邏輯連接。

在一些態樣中，計算系統1500是分散式系統，其中在本案內容中描述的功能可以分佈在資料中心、多個資料中心、同級網路等內。在一些態樣中，所描述的系統元件中的一或多個系統元件表示許多此種元件，每個元件執行針對該元件所描述的功能的一些或全部功能。在一些態樣中，元件可以是實體或虛擬元件。

示例性計算系統1500包括至少一個處理單元（CPU或處理器）1510和連接1505，連接1505將包括系統記憶體1515（諸如ROM 1520和RAM 1525）的各種系統元件耦合到處理器1510。計算系統1500可以包括高速記憶體的快取記憶體1512，快取記憶體1512與處理器1510直接連接、接近處理器1510或被整合為處理器1510的一部分。

處理器1510可以包括任何通用處理器以及被配置為控制處理器1510的硬體服務或軟體服務（諸如被儲存在儲存設備1530中的服務1532、1534和1536），以及其中軟體指令被併入實際處理器設計中的專用處理器。處理器1510本質上可以是完全自包含的計算系統，包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或非對稱的。

為了實現使用者互動，計算系統1500包括可以表示任何數量的輸入機構的輸入設備1545，諸如用於語音的麥克風、用於手勢或圖形輸入的觸摸敏感螢幕、鍵盤、滑鼠、運動輸入、語音等。計算系統1500亦可以包括輸出設備1535，其可以是多個輸出機構中的一或多個輸出機構。在一些情況下，多模態系統可以使得使用者能夠提供多個類型的輸入/輸出以與計算系統1500進行通訊。計算系統1500可以包括通訊介面1540，其通常可以支配和管理使用者輸入和系統輸出。通訊介面可以使用有線及/或無線收發機來執行或促進接收及/或傳輸有線或無線通訊，包括利用以下各項的彼等有線及/或無線收發機：音訊插孔/插頭、麥克風插孔/插頭、通用串列匯流排（USB）埠/插頭、Apple®Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有有線埠/插頭、藍芽®無線信號傳輸、BLE無線信號傳輸、IBEACON®無線信號傳輸、RFID無線信號傳輸、近場通訊（NFC）無線信號傳輸、專用短程通訊（DSRC）無線信號傳輸、802.11 WiFi無線信號傳輸、WLAN信號傳輸、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、IR通訊無線信號傳輸、公用交換電話網路（PSTN）信號傳輸、整合式服務數位網路（ISDN）信號傳輸、3G/4G/5G/LTE蜂巢資料網路無線信號傳輸、自組織網路信號傳輸、無線電波信號傳輸、微波信號傳輸、紅外信號傳輸、可見光信號傳輸、紫外光信號傳輸、沿著電磁頻譜的無線信號傳輸，或其某種組合。通訊介面1540亦可以包括一或多個全球導航衛星系統（GNSS）接收器或收發機，其用於基於從與一或多個GNSS系統相關聯的一或多個衛星接收一或多個信號來決定計算系統1500的位置。GNSS系統包括但不限於基於美國的GPS、基於俄羅斯的全球導航衛星系統（GLONASS）、基於中國的北斗導航衛星系統（BDS）和基於歐洲的伽利略GNSS系統。對任何特定硬體佈置的操作沒有限制，並且因此在其被開發時，此處的基本特徵可以容易地替換為改良的硬體或韌體佈置。

儲存設備1530可以是非揮發性及/或非暫時性及/或電腦可讀取記憶體設備，以及可以是硬碟或其他類型的電腦可讀取媒體，其可以儲存可由電腦存取的資料，諸如盒式磁帶、快閃記憶卡、固態記憶體設備、數位多功能磁碟、盒式磁帶、軟碟、撓性碟、硬碟、磁帶、磁碟（strip）/磁條（stripe）、任何其他磁性儲存媒體、快閃記憶體、憶阻器記憶體、任何其他固態記憶體、壓縮光碟唯讀記憶體（CD-ROM）光碟、可重寫壓縮光碟（CD）光碟、數位視訊磁碟（DVD）光碟、藍光光碟（BDD）光碟、全息光碟、另一光學媒體、安全數位（SD）卡、微型安全數位（microSD）卡、Memory Stick®卡、智慧卡晶片、EMV晶片、用戶身份模組（SIM）卡、迷你/微型/奈米/微微SIM卡、另一積體電路（IC）晶片/卡、RAM、靜態RAM（SRAM）、動態RAM（DRAM）、ROM、可程式設計唯讀記憶體（PROM）、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃EPROM（FLASHPROM）、快取記憶體（L1/L2/L3/L4/L5/L#）、電阻式隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋轉移轉矩RAM（STT-RAM）、另一記憶體晶片或盒，及/或其組合。

儲存設備1530可以包括軟體服務、伺服器、服務等，當處理器1510執行定義此種軟體的代碼時，其使得系統執行功能。在一些態樣中，執行特定功能的硬體服務可以包括被儲存在電腦可讀取媒體中的軟體元件，軟體元件與用於執行該功能的必要硬體元件（諸如處理器1510、連接1505、輸出設備1535等）相連接。術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存設備、光學儲存設備，以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括資料可以被儲存在其中並且不包括以下各項的非暫時性媒體：無線地或者在有線連接上傳播的載波及/或暫時性電子信號。非暫時性媒體的實例可以包括但不限於：磁碟或磁帶、諸如CD或DVD的光學儲存媒體、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可以具有被儲存在其上的代碼及/或機器可執行指令，代碼及/或機器可執行指令可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、軟體組件，或者指令、資料結構或程式語句的任何組合。程式碼片段可以經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容，來耦合到另一程式碼片段或硬體電路。可以經由包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等的任何適當的手段來傳遞、轉發或傳輸資訊、引數、參數、資料等。

在一些情況下，計算設備或裝置可以包括各種元件，諸如一或多個輸入設備、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微型電腦、一或多個相機、一或多個感測器及/或被配置為執行本文描述的過程的步驟的其他元件。在一些實例中，計算設備可以包括顯示器、被配置為通訊及/或接收資料的一或多個網路介面、其任何組合及/或其他元件。一或多個網路介面可以被配置為通訊及/或接收有線及/或無線資料，包括根據3G、4G、5G及/或其他蜂巢標準的資料、根據Wi-Fi（802.11x）標準的資料，根據藍芽 ^TM標準的資料、根據IP標準的資料，及/或其他類型的資料。

計算設備的元件可以在電路系統中實現。例如，該等元件可以包括及/或可以使用電子電路或其他電子硬體來實現，該等電子電路或電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他適當的電子電路），及/或可以包括電腦軟體、韌體或其任何組合及/或可以使用其來實現，以執行本文描述的各種操作。

在一些態樣中，電腦可讀取儲存設備、媒體和記憶體可以包括包含位元串流等的電纜或無線信號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確地排除諸如能量、載波信號、電磁波和信號本身的媒體。

在上文的描述中提供了具體細節以提供對本文提供的態樣和實例的全面理解。然而，一般技術者將理解的是，可以在沒有該等具體細節的情況下實踐該等態樣。為了解釋清楚，在一些情況下，本文的技術可以被呈現為包括包含如下的功能方塊的單獨的功能方塊，該等功能方塊包括設備、設備元件、以軟體體現的方法中的步驟或常式，或者硬體和軟體的組合。除了在各圖中所示及/或本文描述的元件之外，亦可以使用額外的元件。例如，電路、系統、網路、過程和其他元件可以以方塊圖形式被示為元件，以便不會在不必要的細節上模糊該等態樣。在其他情況下，公知的電路、過程、演算法、結構和技術可以被示為不具有不必要的細節，以便避免模糊該等態樣。

上文可以將各個態樣描述為過程或方法，該過程或方法被圖示為流程圖、流程示意圖、資料流程圖、結構圖或方塊圖。儘管流程圖可以將操作描述為順序的過程，但是該等操作中的許多操作可以並行或併發地執行。另外，可以重新排列操作的次序。過程在其操作完成後被終止，但是可以具有未被包括在圖中的額外步驟。過程（process）可以對應於方法、函數、程序（procedure）、子常式、副程式等。當過程對應於函數時，其終止可以對應於該函數返回到調用函數或主函數。

根據上述實例的過程和方法可以使用電腦可執行指令來實現，電腦可執行指令被儲存在電腦可讀取媒體中或者以其他方式可從電腦可讀取媒體得到。此種指令可以包括例如指令或資料，指令或資料使得通用電腦、專用電腦或處理設備執行或者以其他方式將其配置為執行特定功能或特定的一組功能。可以經由網路存取所使用的電腦資源的部分。電腦可執行指令可以是例如二進位檔案、諸如組合語言的中間格式指令、韌體、原始程式碼等。可以用於儲存指令、所使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、被提供有非揮發性記憶體的USB設備、網路儲存設備等。

實現根據該等揭示內容的過程和方法的設備可以包括硬體、軟體、韌體、中間軟體、微代碼、硬體描述語言或其任何組合，以及可以採用多種形狀因數中的任何一種。當在軟體、韌體、中間軟體或微代碼中實現時，用於執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以被儲存在電腦可讀取或機器可讀取媒體中。處理器可以執行必要任務。形狀因數的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小型形狀因數的個人電腦、個人數位助理、機架式設備、獨立設備等。本文描述的功能亦可以體現在周邊設備或外掛程式卡中。經由進一步的舉例，此種功能亦可以在單個設備中執行的不同晶片或不同過程之間的電路板上實現。

指令、用於傳送此種指令的媒體、用於執行此種指令的計算資源以及用於支援此種計算資源的其他結構是用於提供在本案內容中描述的功能的示例性構件。

在前面的描述中，參考本案的特定態樣描述了本案的各態樣，但是熟習此項技術者將認識到，本案不限於此。因此，儘管本文已經詳細描述了本案的說明性態樣，但是應理解的是，可以以其他方式不同地體現和採用本發明構思，並且所附的請求項意欲被解釋為包括此種變型，除了由現有技術限制的變型。可以單獨地或聯合地使用上述應用的各個特徵和態樣。進一步地，在不脫離本說明書的更寬精神和範疇的情況下，各態樣可以在除了本文描述的環境和應用之外的任何數量的環境和應用中使用。因此，說明書和附圖被認為是說明性的而不是限制性的。為了說明的目的，以特定次序描述了方法。應當明白的是，在替代態樣中，可以以與所描述的次序不同的次序來執行該等方法。

一般技術者將明白，在不脫離本說明書的範疇的情況下，本文使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「≦」）以及大於或等於（「≧」）符號來替換。

在將元件描述為「被配置為」執行某些操作的情況下，此種配置可以例如經由以下方式來實現：將電子電路或其他硬體設計為執行該操作，將可程式設計電子電路（例如，微處理器或其他適當的電子電路）程式設計為執行該操作，或其任何組合。

短語「耦合到」代表直接或間接地實體連接到另一元件的任何元件，及/或直接或間接地與另一元件通訊的任何元件（例如，經由有線或無線連接及/或其他適當的通訊介面而連接到另一元件）。

記載集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示該集合中的一個成員或者該集合中的多個成員（以任何組合）滿足該請求項。例如，記載「A和B中的至少一個」或「A或B中的至少一個」的請求項語言意指A、B，或者A和B。在另一實例中，記載「A、B和C中的至少一個」或「A、B或C中的至少一個」的請求項語言意指A、B、C，或者A和B，或者A和C，或者B和C，或者A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」並不將該集合限制為在該集合中列出的專案。例如，記載「A和B中的至少一個」或「A或B中的至少一個」的請求項語言可以意指A、B或者A和B，並且可以另外包括未在A和B的集合中列出的專案。

結合本文揭示的態樣描述的各種說明性的邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的此種可互換性，上文已經對各種說明性的元件、方塊、模組、電路和步驟圍繞其功能進行了整體描述。此種功能被實現為硬體還是軟體取決於特定的應用和被施加在整體系統上的設計約束。熟習此項技術者可以針對每個特定應用以不同的方式來實現所描述的功能，但是此種實現決策不應當被解釋為導致脫離本案的範疇。

本文描述的技術亦可以在電子硬體、電腦軟體、韌體或其任何組合中實現。此種技術可以在各種設備中的任何一種中實現，諸如通用電腦、無線通訊設備手持設備或具有多種用途（包括在無線通訊設備手持設備和其他設備中的應用）的積體電路設備。被描述為模組或元件的任何特徵皆可以在整合邏輯元件中一起實現，或者分別作為個別但是可交互操作的邏輯元件來實現。若在軟體中實現，則該等技術可以至少部分地由電腦可讀取資料儲存媒體來實現，電腦可讀取資料儲存媒體包括程式碼，程式碼包括在被執行時執行上述方法中的一或多個方法的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，電腦程式產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如RAM（諸如同步動態隨機存取記憶體（SDRAM））、ROM、非揮發性隨機存取記憶體（NVRAM）、EEPROM、快閃記憶體、磁性或光學資料儲存媒體等。另外或替代地，該等技術可以至少部分地由以指令或資料結構的形式攜帶或傳送程式碼並且可以由電腦存取、讀取及/或執行的電腦可讀取通訊媒體（諸如傳播的信號或波）來實現。

程式碼可以由處理器執行，處理器可以包括一或多個處理器，諸如一或多個DSP、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效的整合或個別邏輯電路系統。此種處理器可以被配置為執行在本案內容中描述的任何技術。通用處理器可以是微處理器，但是在替代方式中，處理器可以是任何習知的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核的結合，或任何其他此種配置。因此，如本文所使用的術語「處理器」可以代表任何前述結構、前述結構的任何組合，或適於實現本文描述的技術的任何其他結構或裝置。

本案內容的說明性實例包括：

態樣1、一種用於產生一或多個圖像的裝置，該裝置包括：至少一個記憶體；及至少一個處理器，其耦合到該至少一個記憶體並且被配置為：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與第二曝光相關聯；基於對該第二圖像與該第一圖像的比較來壓縮該第二圖像；將經壓縮的第二圖像儲存在記憶體中；從該記憶體中獲得該經壓縮的第二圖像；基於該經壓縮的第二圖像與該第一圖像之間的差來解壓縮該經壓縮的第二圖像；及至少部分地經由組合該第一圖像和該第二圖像來產生組合圖像。

態樣2、根據態樣1之裝置，其中對該第二圖像的該壓縮是無損的。

態樣3、根據態樣1至2中任一態樣之裝置，其中該第二曝光小於該第一曝光，並且其中該組合圖像是高動態範圍（HDR）圖像。

態樣4、根據態樣1至3中任一態樣之裝置，其中為了壓縮該第二圖像，該至少一個處理器被配置為：計算該第一圖像的圖元與該第二圖像的圖元之間的圖元差；及基於該圖元差來決定針對該第二圖像中的該等圖元的至少一部分的經壓縮的值。

態樣5、根據態樣4之裝置，其中為了計算該圖元差，該至少一個處理器被配置為：基於與該圖像感測器相關聯的最小圖元值來正規化該第一圖像和該第二圖像。

態樣6、根據態樣4或5中任一態樣之裝置，其中該至少一個處理器被配置為：將該第二圖像乘以與該第二圖像和該第一圖像相關聯的曝光比率以產生經修改的圖像。

態樣7、根據態樣6之裝置，其中該至少一個處理器被配置為：從該第一圖像中的最大值中減去該經修改的圖像中的圖元的值。

態樣8、根據態樣7之裝置，其中該經修改的圖像的該圖元的該值大於或等於該最大值，並且其中基於該經修改的圖像的該圖元的該值大於或等於該最大值，該圖元差對應於該最大值。

態樣9、根據態樣7之裝置，其中該經修改的圖像的該圖元的該值小於該最大值，並且其中基於該經修改的圖像的該圖元的該值小於該最大值，該圖元差對應於該經修改的圖像中的該圖元的該值與該最大值之間的差。

態樣10、根據態樣4之裝置，其中為了決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值，該至少一個處理器被配置為：將該圖元差與閾值進行比較；及基於關於該圖元差小於或等於該閾值的決定，使用該圖元差的值作為針對該第二圖像中的該等圖元的至少該一部分的經壓縮的值。

態樣11、根據態樣4之裝置，其中為了決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值，該至少一個處理器被配置為：將該圖元差與閾值進行比較；及基於關於該圖元差大於該閾值的決定，使用該第二圖像中的至少一個圖元的值作為針對該第二圖像中的該等圖元的至少該一部分的經壓縮的值。

態樣12、根據態樣11之裝置，其中用作該經壓縮的值的該至少一個圖元的該值包括該圖元差。

態樣13、根據態樣1至12中任一態樣之裝置，其中為了解壓縮該經壓縮的第二圖像，該至少一個處理器被配置為：決定該經壓縮的第二圖像內的圖元的圖元差；及將該經壓縮的第二圖像中的該等圖元的該圖元差與該第一圖像中的圖元求和。

態樣14、根據態樣13之裝置，其中為了決定該圖元差，該至少一個處理器被配置為：基於該經壓縮的第二圖像內的圖元的值是否大於閾值來將該閾值與該圖元的該值相加。

態樣15、根據態樣1至14中任一態樣之裝置，其中該至少一個處理器被配置為：使得該第一圖像被儲存在快取記憶體中。

態樣16、根據態樣1至15中任一態樣之裝置，其中該至少一個處理器被配置為：對該第一圖像進行下取樣；使得經下取樣的第一圖像被儲存在快取記憶體中；及將該經下取樣的第一圖像上取樣為有損的第一圖像。

態樣17、根據態樣16之裝置，其中為了壓縮該第二圖像，該至少一個處理器被配置為：計算針對該有損的第一圖像與該第二圖像之間的圖元的圖元差；及基於該圖元差來決定針對該第二圖像中的圖元的至少一部分的經壓縮的值。

態樣18、根據態樣16或17中任一態樣之裝置，其中為了解壓縮該經壓縮的第二圖像，該至少一個處理器被配置為：決定該經壓縮的第二圖像內的圖元的圖元差；及將該經壓縮的第二圖像中的該等圖元的該圖元差與該有損的第一圖像中的圖元求和。

態樣19、一種產生圖像的方法，該方法包括以下步驟：獲得使用圖像感測器擷取的第一圖像，該第一圖像與第一曝光相關聯；獲得使用該圖像感測器擷取的第二圖像，該第二圖像與第二曝光相關聯；基於對該第二圖像與該第一圖像的比較來壓縮該第二圖像；將經壓縮的第二圖像儲存在記憶體中；從該記憶體中獲得該經壓縮的第二圖像；基於該經壓縮的第二圖像與該第一圖像之間的差來解壓縮該經壓縮的第二圖像；及至少部分地經由組合該第一圖像和該第二圖像來產生組合圖像。

態樣20、根據態樣19之方法，其中對該第二圖像的該壓縮是無損的。

態樣21、根據態樣19至20中任一態樣之方法，其中該第二曝光小於該第一曝光，並且其中該組合圖像是高動態範圍（HDR）圖像。

態樣22、根據態樣19至21中任一態樣之方法，其中壓縮該第二圖像包括：計算該第一圖像的圖元與該第二圖像的圖元之間的圖元差；及基於該圖元差來決定針對該第二圖像中的該等圖元的至少一部分的經壓縮的值。

態樣23、根據態樣22之方法，其中計算該圖元差包括：基於與該圖像感測器相關聯的最小圖元值來正規化該第一圖像和該第二圖像。

態樣24、根據態樣22或23中任一態樣之方法，亦包括以下步驟：將該第二圖像乘以與該第二圖像和該第一圖像相關聯的曝光比率以產生經修改的圖像。

態樣25、根據態樣24之方法，亦包括以下步驟：從該第一圖像中的最大值中減去該經修改的圖像中的圖元的值。

態樣26、根據態樣25之方法，其中該經修改的圖像的該圖元的該值大於或等於該最大值，並且其中基於該經修改的圖像的該圖元的該值大於或等於該最大值，該圖元差對應於該最大值。

態樣27、根據態樣25之方法，其中該經修改的圖像的該圖元的該值小於該最大值，並且其中基於該經修改的圖像的該圖元的該值小於該最大值，該圖元差對應於該經修改的圖像中的該圖元的該值與該最大值之間的差。

態樣28、根據態樣22之方法，其中決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值包括：將該圖元差與閾值進行比較；及基於關於該圖元差小於或等於該閾值的決定，使用該圖元差的值作為針對該第二圖像中的該等圖元的至少該一部分的經壓縮的值。

態樣29、根據態樣22之方法，其中決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值包括：將該圖元差與閾值進行比較；及基於關於該圖元差大於該閾值的決定，使用該第二圖像中的至少一個圖元的值作為針對該第二圖像中的該等圖元的至少該一部分的經壓縮的值。

態樣30、根據態樣29之方法，其中用作該經壓縮的值的該至少一個圖元的該值包括該圖元差。

態樣31、根據態樣19至30中任一態樣之方法，其中解壓縮該經壓縮的第二圖像包括：決定該經壓縮的第二圖像內的圖元的圖元差；及將該經壓縮的第二圖像中的該等圖元的該圖元差與該第一圖像中的圖元求和。

態樣32、根據態樣31之方法，其中決定該圖元差包括：基於該經壓縮的第二圖像內的圖元的值是否大於閾值來將該閾值與該圖元的該值相加。

態樣33、根據態樣19至32中任一態樣之方法，亦包括：將該第一圖像儲存在快取記憶體中。

態樣34、根據態樣19至33中任一態樣之方法，亦包括以下步驟：對該第一圖像進行下取樣；將經下取樣的第一圖像儲存在快取記憶體中；及將該經下取樣的第一圖像上取樣為有損的第一圖像。

態樣35、根據態樣34之方法，其中壓縮該第二圖像包括：計算針對該有損的第一圖像與該第二圖像之間的圖元的圖元差；及基於該圖元差來決定針對該第二圖像中的圖元的至少一部分的經壓縮的值。

態樣36、根據態樣34或35之方法，其中解壓縮該經壓縮的第二圖像包括：決定該經壓縮的第二圖像內的圖元的圖元差；及將該經壓縮的第二圖像中的該等圖元的該圖元差與該有損的第一圖像中的圖元求和。

態樣37、一種用於處理一或多個圖像的裝置，該裝置包括：至少一個記憶體；及至少一個處理器，其耦合到該至少一個記憶體並且被配置為：從圖像感測器的圖元陣列讀取第一圖像；從該圖元陣列讀取第二圖像；基於該第一圖像來壓縮該第二圖像；及向圖像感測器處理器（ISP）發送該第一圖像和經壓縮的第二圖像。

態樣38、根據態樣37之裝置，其中該至少一個處理器被配置為：對該第一圖像進行下取樣，並且將經下取樣的第一圖像儲存在該圖像感測器的行緩衝器中；及基於從該圖元陣列讀出的該第二圖像的對應部分，對該經下取樣的第一圖像的一部分進行放大，並且基於經放大的部分來壓縮該第二圖像。

態樣39、根據態樣37至38中任一態樣之裝置，其中該至少一個處理器被配置為：在該讀取該第一圖像期間開始讀取該第二圖像，並且其中該第一圖像具有比該第二圖像更短的曝光。

態樣40、根據態樣37至39中任一態樣之裝置，其中該ISP被配置為基於對該經壓縮的第二圖像和該第一圖像的比較來解壓縮該第二圖像。

態樣41、一種處理一或多個圖像的方法，該方法包括以下步驟：從圖像感測器的圖元陣列讀取第一圖像；從該圖元陣列讀取第二圖像；基於該第一圖像來壓縮該第二圖像；及向圖像感測器處理器（ISP）發送該第一圖像和經壓縮的第二圖像。

態樣42、根據態樣41之方法，亦包括以下步驟：對該第一圖像進行下取樣，並且將經下取樣的第一圖像儲存在該圖像感測器的行緩衝器中；及基於從該圖元陣列讀出的該第二圖像的對應部分，對該經下取樣的第一圖像的一部分進行放大，並且基於經放大的部分來壓縮該第二圖像。

態樣43、根據態樣41至42中任一態樣之方法，其中該讀取該第二圖像在該讀取該第一圖像期間開始，並且其中該第一圖像具有比該第二圖像更短的曝光。

態樣44、根據態樣41至43中任一態樣之方法，其中該ISP被配置為基於對該經壓縮的第二圖像和該第一圖像的比較來解壓縮該第二圖像。

態樣45、一種具有儲存在其上的指令的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器執行根據態樣19至36中任一態樣之操作。

態樣46、一種用於產生一或多個圖像的裝置，該裝置包括用於執行根據態樣19至36中任一態樣之操作的一或多個構件。

態樣47、一種具有儲存在其上的指令的非暫時性電腦可讀取媒體，該等指令在由一或多個處理器執行時使得該一或多個處理器執行根據態樣41至44中任一態樣之操作。

態樣48、一種用於處理一或多個圖像的裝置，該裝置包括用於執行根據態樣41至44中任一態樣之操作的一或多個構件。

0:中心點 1:光電二極體曝光群組 2:光電二極體曝光群組 3:光電二極體曝光群組 4:光電二極體曝光群組 100:拜耳濾色器陣列 110:QCFA 120:光電二極體曝光群組陣列 200:圖像擷取和處理系統 205A:圖像擷取設備 205B:圖像處理設備 210:場景 215:鏡頭 220:控制機構 225A:曝光控制機構 225B:聚焦控制機構 225C:變焦控制機構 230:圖像感測器 240:隨機存取記憶體（RAM） 245:唯讀記憶體（ROM） 250:圖像處理器 252:主機處理器 254:ISP 256:I/O埠 260:I/O設備 300:圖像擷取系統 302:圖像擷取設備 310:圖像處理引擎 312:輸出設備 402:短曝光訊框 404:長曝光訊框 406:融合訊框輸出 408:區域 410:區域 502:線 504:線 506:線 508:線 550:從時間 552:從時間 602:長曝光訊框 603:緩衝器 604:短曝光訊框 605:緩衝器 606:融合引擎 700:示意圖 702:短曝光圖像 704:中等曝光圖像 706:長曝光圖像 710:圖元微分器 712:圖元微分器 720:圖形 730:圖形 800:圖像擷取系統 802:前端 804:短曝光圖像 806:長曝光圖像 808:壓縮器 810:記憶體設備 812:解壓縮器 820:融合引擎 830:HDR圖像 850:圖像擷取系統 860:快取記憶體 900:壓縮器 910:圖元微分器 912:減法器 914:減法器 916:乘法器 918:減法器 920:比較器 922:開關 950:圖元編碼器 952:符號偵測器 954:值偵測器 956:比較器 958:開關 960:開關 962:組合器 1000:解壓縮器 1010:圖元解碼器 1012:除法器 1014:加法器 1016:開關 1018:比較器 1020:組合器 1030:圖元恢復器 1032:減法器 1034:乘法器 1036:加法器 1038:減法器 1040:開關 1042:比較器 1100:圖像擷取系統 1110:前端 1112:短曝光圖像 1114:長曝光圖像 1116:縮小器 1120:快取記憶體 1122:放大器 1124:壓縮器 1130:記憶體設備 1140:解壓縮器 1150:融合引擎 1160:HDR圖像 1200:方法 1202:方塊 1204:方塊 1206:方塊 1208:方塊 1210:方塊 1212:方塊 1214:方塊 1300:圖像擷取系統 1310:圖像感測器 1312:圖元陣列 1314:偵測器 1316:縮小器 1318:緩衝器 1320:放大器 1322:HDR壓縮器 1324:開關 1330:SoC 1332:開關 1334:縮小器 1336:緩衝器 1338:放大器 1340:HDR解壓縮器 1350:ISP 1400:方法 1402:方塊 1404:方塊 1406:方塊 1408:方塊 1500:計算系統 1505:連接 1510:處理器 1512:快取記憶體 1515:系統記憶體 1520:ROM 1525:RAM 1530:儲存設備 1532:服務 1534:服務 1535:輸出設備 1536:服務 1540:通訊介面 1545:輸入設備 B:藍色 G:綠色 R:紅色 Y:主輸出

下文參考以下各圖來詳細描述本案的說明性態樣：

圖1A、圖1B和圖1C是圖示根據本案內容的各態樣的圖像擷取設備的圖像感測器的示例性配置的示意圖。

圖2是圖示根據本案內容的各態樣的圖像擷取和處理設備的架構的方塊圖。

圖3是圖示根據本案內容的各態樣的圖像擷取系統的實例的方塊圖。

圖4是圖示根據本案內容的各態樣的從短曝光訊框和長曝光訊框產生融合訊框的示意圖。

圖5是圖示根據本案內容的某些內容的來自圖像感測器的長曝光串流和短曝光串流的示意圖。

圖6是圖示根據本案內容的各態樣的一或多個短曝光訊框和一或多個長曝光訊框的線上融合的實例的示意圖。

圖7是圖示根據本案內容的一些態樣的由具有不同曝光時間的圖像擷取系統擷取的圖像之間的差異的概念性示意圖。

圖8A是圖示根據本案內容的一些態樣的圖像擷取系統的示意圖，該圖像擷取系統在高動態範圍（HDR）圖像合成期間壓縮至少一個圖像以減少頻寬和功率。

圖8B是圖示根據本案內容的一些態樣的另一圖像擷取系統的示意圖，該圖像擷取系統在HDR圖像合成期間壓縮至少一個圖像以減少頻寬和功率。

圖9是根據本案內容的一些態樣的壓縮引擎的方塊圖，該壓縮引擎被配置為在HDR圖像合成期間無損地壓縮至少一個圖像。

圖10是根據本案內容的一些態樣的解壓縮引擎的方塊圖，該解壓縮引擎被配置為在HDR圖像合成期間無損地解壓縮至少一個經壓縮的圖像。

圖11是圖示根據本案內容的一些態樣的另一圖像擷取系統的示意圖，該圖像擷取系統在HDR圖像合成期間壓縮至少一個圖像以減少頻寬和功率。

圖12是圖示根據本案內容的各態樣的用於在HDR圖像合成期間壓縮圖像的方法的實例的流程圖。

圖13是圖示根據本案內容的一些態樣的另一圖像擷取系統的示意圖，該圖像擷取系統壓縮圖像感測器中的至少一個圖像以減少HDR圖像合成過程的頻寬和功率。

圖14是圖示根據本案內容的各態樣的用於在HDR圖像合成期間壓縮圖像的方法的另一實例的流程圖。

圖15是圖示用於實現本文描述的某些態樣的系統的實例的示意圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

800:圖像擷取系統

802:前端

804:短曝光圖像

806:長曝光圖像

808:壓縮器

810:記憶體設備

812:解壓縮器

820:融合引擎

830:HDR圖像

Claims (30)

1. 一種用於產生一或多個圖像的裝置，該裝置包括： 至少一個記憶體；及 至少一個處理器，其耦合到該至少一個記憶體並且被配置為： 獲得使用一圖像感測器擷取的一第一圖像，該第一圖像與一第一曝光相關聯； 獲得使用該圖像感測器擷取的一第二圖像，該第二圖像與一第二曝光相關聯； 基於對該第二圖像與該第一圖像的一比較來壓縮該第二圖像； 將該經壓縮的第二圖像儲存在一記憶體中； 從該記憶體中獲得該經壓縮的第二圖像； 基於該經壓縮的第二圖像與該第一圖像之間的一差來解壓縮該經壓縮的第二圖像；及 至少部分地經由組合該第一圖像和該第二圖像來產生一組合圖像。
2. 根據請求項1之裝置，其中對該第二圖像的該壓縮是無損的。
3. 根據請求項1之裝置，其中該第二曝光小於該第一曝光，並且其中該組合圖像是一高動態範圍（HDR）圖像。
4. 根據請求項1之裝置，其中為了壓縮該第二圖像，該至少一個處理器被配置為： 計算該第一圖像的圖元與該第二圖像的圖元之間的一圖元差；及 基於該圖元差來決定針對該第二圖像中的該等圖元的至少一部分的一經壓縮的值。
5. 根據請求項4之裝置，其中為了計算該圖元差，該至少一個處理器被配置為： 基於與該圖像感測器相關聯的一最小圖元值來正規化該第一圖像和該第二圖像。
6. 根據請求項4之裝置，其中該至少一個處理器被配置為： 將該第二圖像乘以與該第二圖像和該第一圖像相關聯的一曝光比率以產生一經修改的圖像。
7. 根據請求項6之裝置，其中該至少一個處理器被配置為： 從該第一圖像中的一最大值中減去該經修改的圖像中的一圖元的一值。
8. 根據請求項7之裝置，其中該經修改的圖像的該圖元的該值大於或等於該最大值，並且其中基於該經修改的圖像的該圖元的該值大於或等於該最大值，該圖元差對應於該最大值。
9. 根據請求項7之裝置，其中該經修改的圖像的該圖元的該值小於該最大值，並且其中基於該經修改的圖像的該圖元的該值小於該最大值，該圖元差對應於該經修改的圖像中的該圖元的該值與該最大值之間的該差。
10. 根據請求項4之裝置，其中為了決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值，該至少一個處理器被配置為： 將該圖元差與一閾值進行比較；及 基於關於該圖元差小於或等於該閾值的一決定，使用該圖元差的一值作為針對該第二圖像中的該等圖元的至少該一部分的一經壓縮的值。
11. 根據請求項4之裝置，其中為了決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值，該至少一個處理器被配置為： 將該圖元差與一閾值進行比較；及 基於關於該圖元差大於該閾值的一決定，使用該第二圖像中的至少一個圖元的一值作為針對該第二圖像中的該等圖元的至少該一部分的一經壓縮的值。
12. 根據請求項11之裝置，其中用作該經壓縮的值的該至少一個圖元的該值包括該圖元差。
13. 根據請求項1之裝置，其中為了解壓縮該經壓縮的第二圖像，該至少一個處理器被配置為： 決定該經壓縮的第二圖像內的圖元的一圖元差；及 將該經壓縮的第二圖像中的該等圖元的該圖元差與該第一圖像中的圖元求和。
14. 根據請求項13之裝置，其中為了決定該圖元差，該至少一個處理器被配置為： 基於該經壓縮的第二圖像內的一圖元的一值是否大於一閾值來將該閾值與該圖元的該值相加。
15. 根據請求項1之裝置，其中該至少一個處理器被配置為： 使得該第一圖像被儲存在一快取記憶體中。
16. 根據請求項1之裝置，其中該至少一個處理器被配置為： 對該第一圖像進行下取樣； 使得該經下取樣的第一圖像被儲存在一快取記憶體中；及 將該經下取樣的第一圖像上取樣為一有損的第一圖像。
17. 根據請求項16之裝置，其中為了壓縮該第二圖像，該至少一個處理器被配置為： 計算針對該有損的第一圖像與該第二圖像之間的圖元的一圖元差；及 基於該圖元差來決定針對該第二圖像中的圖元的至少一部分的一經壓縮的值。
18. 根據請求項16之裝置，其中為了解壓縮該經壓縮的第二圖像，該至少一個處理器被配置為： 決定該經壓縮的第二圖像內的圖元的一圖元差；及 將該經壓縮的第二圖像中的該等圖元的該圖元差與該有損的第一圖像中的圖元求和。
19. 一種產生一圖像的方法，該方法包括以下步驟： 獲得使用一圖像感測器擷取的一第一圖像，該第一圖像與一第一曝光相關聯； 獲得使用該圖像感測器擷取的一第二圖像，該第二圖像與一第二曝光相關聯； 基於對該第二圖像與該第一圖像的一比較來壓縮該第二圖像； 將該經壓縮的第二圖像儲存在一記憶體中； 從該記憶體中獲得該經壓縮的第二圖像； 基於該經壓縮的第二圖像與該第一圖像之間的一差來解壓縮該經壓縮的第二圖像；及 至少部分地經由組合該第一圖像和該第二圖像來產生一組合圖像。
20. 根據請求項19之方法，其中該第二曝光小於該第一曝光，並且其中該組合圖像是一高動態範圍（HDR）圖像。
21. 根據請求項19之方法，其中壓縮該第二圖像之步驟包括以下步驟： 計算該第一圖像的圖元與該第二圖像的圖元之間的一圖元差；及 基於該圖元差來決定針對該第二圖像中的該等圖元的至少一部分的一經壓縮的值。
22. 根據請求項21之方法，亦包括以下步驟： 將該第二圖像乘以與該第二圖像和該第一圖像相關聯的一曝光比率以產生一經修改的圖像；及 從該第一圖像中的一最大值中減去該經修改的圖像中的一圖元的一值。
23. 根據請求項21之方法，其中決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值之步驟包括以下步驟： 將該圖元差與一閾值進行比較；及 基於關於該圖元差小於或等於該閾值的一決定，使用該圖元差的一值作為針對該第二圖像中的該等圖元的至少該一部分的一經壓縮的值。
24. 根據請求項21之方法，其中決定針對該第二圖像中的圖元的至少該一部分的該經壓縮的值之步驟包括以下步驟： 將該圖元差與一閾值進行比較；及 基於關於該圖元差大於該閾值的一決定，使用該第二圖像中的至少一個圖元的一值作為針對該第二圖像中的該等圖元的至少該一部分的一經壓縮的值。
25. 根據請求項24之方法，其中用作該經壓縮的值的該至少一個圖元的該值包括該圖元差。
26. 根據請求項19之方法，其中解壓縮該經壓縮的第二圖像之步驟包括以下步驟： 決定該經壓縮的第二圖像內的圖元的一圖元差；及 將該經壓縮的第二圖像中的該等圖元的該圖元差與該第一圖像中的圖元求和。
27. 根據請求項26之方法，其中決定該圖元差之步驟包括以下步驟： 基於該經壓縮的第二圖像內的一圖元的一值是否大於一閾值來將該閾值與該圖元的該值相加。
28. 根據請求項19之方法，亦包括以下步驟： 對該第一圖像進行下取樣； 將該經下取樣的第一圖像儲存在一快取記憶體中；及 將該經下取樣的第一圖像上取樣為一有損的第一圖像。
29. 根據請求項28之方法，其中壓縮該第二圖像之步驟包括以下步驟： 計算針對該有損的第一圖像與該第二圖像之間的圖元的一圖元差；及 基於該圖元差來決定針對該第二圖像中的圖元的至少一部分的一經壓縮的值。
30. 根據請求項28之方法，其中解壓縮該經壓縮的第二圖像之步驟包括以下步驟： 決定該經壓縮的第二圖像內的圖元的一圖元差；及 將該經壓縮的第二圖像中的該等圖元的該圖元差與該有損的第一圖像中的圖元相加。

Images