TWI502990B - 產生高動態範圍影像的方法及其影像感測器 - Google Patents

Description

產生高動態範圍影像的方法及其影像感測器

本發明是有關於一種高動態範圍影像處理技術，且特別是有關於一種具有能處理有不同曝光時間的原始影像的高動態範圍影像處理技術。

所謂「動態範圍」，是指畫面中的最大亮度值與最小亮度值的範圍或比值。對於攝影而言，動態範圍又可分為「影像感測器的動態範圍」和「場景的動態範圍」。其中，影像感測器的動態範圍是指感光元件所能接受亮度變化的範圍。場景的動態範圍是指拍攝場景中的亮度差異範圍，也就是畫面中最亮區域和最暗區域的差異。

當場景的動態範圍大於影像感測器的動態範圍時，代表拍攝場景中有極端的亮部與暗部，超出了感光元件所能記錄的色階，因此照片中會出現全黑或全白的區塊。為了克服此缺陷，高動態範圍(High Dynamic Range，HDR)影像感測器透過影像處理技術，使得處理後影像的動態範圍大於一般相機擷取的單一影像所提供的動態範圍。

高動態範圍影像感測器的其中一種操作模式為產生同畫面中兩條長曝光及兩條短曝光連續交替的影像。在空間上而言，每一種曝光其垂直方向的解析度只剩下全解析度的一半。且利用長曝光及短曝光連續交替拍攝所得的單一影像中會產生雜訊等級不一致、過曝時機不一致的問題。據此，上述的雜訊將影響高動態範圍影像的品質。

有鑑於此，本發明提供一種產生高動態範圍影像的方法及其影像感測器，用以提供高品質的高動態範圍影像。

本發明一實施例提出一種產生高動態範圍影像的方法，適於處理依據第一曝光時間與第二曝光時間連續交錯拍攝所得的原始影像。此方法包括：取得原始影像中的一操作區塊，其中操作區塊包括多個第一像素與多個第二像素，第一像素具有第一曝光時間，並且第二像素具有第二曝光時間；判斷每一個第一像素是否過曝光；至少根據每一個第一像素是否過曝光與第二像素來產生對應於第二曝光時間的一個第二曝光區塊，其中第二曝光區塊的大小相同於操作區塊的大小。此方法還包括：判斷每一個第二像素是否過曝光；至少根據每一個第二像素是否過曝光與第一像素來產生對應於第一曝光時間的一個第一曝光區塊，其中第一曝光區塊的大小相同於操作區塊的大小；以及至少根據第一曝光區塊與第二曝光區塊來產生對應於原始影像的高動態範圍影像。

在一實施例中，上述的第一曝光時間為長曝光，並且第二曝光時間為短曝光。所述判斷每一個第一像素是否過曝光的步驟包括：判斷每一個第一像素的顏色值是否大於一個第一臨界值以判斷第一像素是否過曝光。其中判斷每一個第二像素是否過曝光的步驟包括：將每一個第二像素乘上增益；以及判斷每一個第二像素乘上增益的乘積是否大於一個第二臨界值以判斷出第二像素是否過曝光。上述的增益是根據第一曝光時間與第二曝光時間所計算出。

在一實施例中，上述的產生第一曝光區塊的步驟包括：對於每一個過曝光的第二像素，根據具有相同通道的第一像素內插出一個第三像素；以及根據第一像素、未過曝光的第二像素乘上增益的乘積、以及內插出的第三像素產生第一曝光區塊。上述產生第二曝光區塊的步驟包括：對於每一個過曝光的第一像素，根據具有相同通道的第二像素內插出一個第四象素；以及根據第二像素、未過曝光的第一像素除以增益的商數、以及內插出的第四像素產生第二曝光區塊。

在一實施例中，上述的第一曝光區塊與第二曝光區塊中的一中心像素的位置是對應於一個第二像素的位置。上述產生高動態範圍影像的方法更包括：從中心像素所對應的第一曝光區塊或第二曝光區塊中取得多個第五像素，其中這些第五像素與中心像素具有相同的通道，並且第五像素的位置是對應於至少一個第一像素的位置；根據這些第五像素的高頻部份來調整中心像素的 顏色值。

在一實施例中，上述的至少根據第一曝光區塊與第二曝光區塊來產生對應於原始影像的高動態範圍影像的步驟包括：至少根據第一曝光區塊的中心像素與第二曝光區塊的中心像素來產生高動態範圍影像。

以另外一個角度來說，本發明一實施例提出一種高動態範圍影像感測器，包括影像感測器、儲存單元與影像處理器。影像感測器會依據第一曝光時間與第二曝光時間連續交錯拍攝，以產生原始影像。儲存單元是耦接影像感測器，用以儲存原始影像。影像處理器是耦接影像感測器與儲存單元，用以取得原始影像中的一操作區塊。此操作區塊包括多個第一像素與多個第二像素，第一像素具有第一曝光時間，並且第二像素具有第二曝光時間。影像處理器也用以判斷每一個第一像素是否過曝光，並且至少根據每一個第一像素是否過曝光與第二像素來產生對應於第二曝光時間的一個第二曝光區塊。其中第二曝光區塊的大小是相同於操作區塊的大小。影像處理器也用以判斷每一個第二像素是否過曝光，並且至少根據每一個第二像素是否過曝光與第一像素來產生對應於第一曝光時間的一個第一曝光區塊。其中第一曝光區塊的大小相同於操作區塊的大小。其中，影像處理器至少根據第一曝光區塊與第二曝光區塊來產生對應於原始影像的高動態範圍影像。

在一實施例中，上述的影像處理器是判斷每一個第一像 素的一顏色值是否大於第一臨界值以判斷每一個第一像素是否過曝光。影像處理器判斷第二像素是否過曝光的步驟包括：影像處理器將每一個第二像素乘上一增益；以及影像處理器判斷每一個第二像素乘上增益的乘積是否大於一個第二臨界值以判斷出每一個第二像素是否過曝光。此增益是根據第一曝光時間與第二曝光時間所計算出。

在一實施例中，對於每一過曝光的第二像素，影像處理器會根據具有相同通道的第一像素內插出一個第三像素。影像處理器也會根據第一像素、未過曝光的第二像素乘上該增益的乘積、以及內插出的第三像素來產生第一曝光區塊。對於每一個過曝光的第一像素，影像處理器會根據具有相同通道的第二像素內插出一個第四象素。影像處理器會根據第二像素、未過曝光的第一像素除以該增益的商數、以及內插出的第四像素來產生第二曝光區塊。

在一實施例中，上述的第一曝光區塊與第二曝光區塊中的一中心像素的位置是對應於一個第二像素的位置。影像處理器更用以從此中心像素所對應的第一曝光區塊或第二曝光區塊中取得多個第五像素。這些第五像素與中心像素具有相同的通道，並且第五像素的位置是對應於第一像素的位置。影像處理器更用以根據第五像素的高頻部份來調整中心像素的顏色值。

在一實施例中，上述的影像處理器至少是根據第一曝光區塊的中心像素與第二曝光區塊的中心像素來產生高動態範圍影 像。

基於上述，本發明實施例所提供的產生高動態範圍影像的方法及其影像感測器，可處理有不同曝光時間的原始影像並產生對應的高動態範圍影像。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧高動態範圍影像感測器

110‧‧‧影像感測器

120‧‧‧儲存單元

130‧‧‧影像處理器

200‧‧‧原始影像

R₁ ~R₈ 、R’₁ ~R’₅ 、R”₁ ~R”₅ ‧‧‧像素列

W₁ ~W₃ ‧‧‧操作區塊

LE‧‧‧長曝光時間

SE‧‧‧短曝光時間

G₁ 、B₂ 、G₃ 、B₄ 、G₅ 、R₆ 、G₇ 、R₈ 、G₉ 、R₁₀ 、G₁₁ 、B₁₂ 、G₁₃ 、B₁₄ 、B₁₅ 、R₁₆ 、G₁₇ 、R₁₈ 、G₁₉ 、R₂₀ 、G₂₁ 、B₂₂ 、G₂₃ 、B₂₄ 、G₂₅ 、G’₁₁ 、B’₁₂ 、G’₁₃ 、B’₁₄ 、G’₁₅ 、R’₁₆ 、G’₁₇ 、R’₁₈ 、G’₁₉ 、R’₂₀ 、G”₁ 、B”₂ 、G”₃ 、B”₄ 、G”₅ 、R”₆ 、G”₇ 、R”₈ 、G”₉ 、R”₁₀ 、G”₂₁ 、B”₂₂ 、G”₂₃ 、B”₂₄ 、G”₂₅ ‧‧‧像素

W_L ‧‧‧長曝光區塊

W_S ‧‧‧短曝光區塊

Q_L ‧‧‧長曝光輸出像素

Q_S ‧‧‧短曝光輸出像素

NR‧‧‧雜訊抑制

S401~S408‧‧‧步驟

圖1是依照本發明一實施例所繪示的高動態範圍影像感測器的方塊圖。

圖2是依照本發明一實施例所繪示的影像感測器採用不同曝光時間所獲得的原始影像的示意圖。

圖3是依照本發明一實施例所繪示的操作區塊W1進行區塊處理的過程示意圖。

圖4是依照本發明一實施例繪示產生高動態範圍影像的方法。

現有一種影像，是由兩條長曝光及兩條短曝光的像素列交替組成。為了取得高動態範圍影像，會先根據曝光時間的不同將此類影像分成多個子影像，使每一類別的子影像各有一致的曝 光時間。然後，對每一個子影像做升取樣，並根據升取樣後的子影像產生高動態範圍影像。一般來說，對於這類的影像，可利用下列三種做法之任意組合對每個子影像做升取樣。第一種為內插(interpolation)法，採用交織至循序掃描轉換(Interlaced-to-Progressive Conversion，IPC)。第二種會根據每個子影像的曝光時間來產生一個增益係數(gain factor)，並且將一個像素的顏色值來乘上或是除以此增益係數。第三種會使用同時使用鄰近線(neighbor line)與增益係數。

然而，上述第二種及第三種做法是同時參考不同曝光時間的子影像，因此子影像彼此之間雜訊等級不一致的問題將在升取樣後的影像中造成明顯的橫條狀雜紋。而第一種做法因為只採用單一一張子影像去做升取樣，所以後續產生的影像會比較模糊。

基此，為了充分利用原始影像中每個像素的資訊，本案並非單純採用內插法去對具有相同曝光時間的像素做升取樣，而是採用區塊處理並且加入平衡雜訊的處理機制，使得升取樣後的影像不會有橫雜紋產生。為了使本發明的內容更為明瞭，以下列舉實施例作為本案確實可據以實施的範例。

圖1是依照本發明一實施例所繪示的高動態範圍影像感測器的方塊圖。請參照圖1，高動態範圍影像感測器100例如是可產生高動態範圍影像的數位相機、數位單眼(Digital Single Lens Reflex，DSLR)相機、數位攝影機(Digital Video Camcorder，DVC)等。在另一實施例中，高動態範圍影像感測器100可內建於智慧 型手機、平板電腦或筆記型電腦等電子裝置，不限於上述。

高動態範圍影像感測器100包括影像感測器110、儲存單元120以及影像處理器130。其功能分述如下：影像感測器110包括鏡頭、感光元件以及快門模組等。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件。快門模組例如由多數個葉片(blades)及驅動模組所構成，而可用以逐條(line-by-line)控制這些感光元件中每條水平感光元件的曝光時間。

儲存單元120例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)或硬碟等，而可用以儲存影像及其他資料。

影像處理器130例如是中央處理單元(Central Processing Unit，CPU)，可程式化的一般用途或特殊用途的微處理器(Microprocessor)或數位訊號處理器(Digital Signal Processor，DSP)等裝置。

影像感測器110依據第一曝光時間(本實施例舉例為長曝光時間，簡稱長曝光)與第二曝光時間(本實施例舉例為短曝光時間，簡稱短曝光)連續交錯拍攝而得到一個原始影像。在一實施例中，影像感測器110例如可控制兩條水平像素列為長曝光進行拍攝，兩條水平像素列為短曝光進行拍攝，依序交替進行。

舉例來說，圖2是依照本發明一實施例所繪示的影像感測器採用不同曝光時間所獲得的原始影像的示意圖。請參照圖2，原始影像200中的第一水平像素列R1及第二水平像素列R2是採用長曝光LE；第三水平像素列R3及第四水平像素列R4是採用短曝光SE；第五水平像素列R5及第六水平像素列R6是採用長曝光LE；第七水平像素列R7及第八水平像素列R8是採用短曝光SE。影像感測器110採用長短曝光交錯的方式不限於上述，在另一實施範例中，影像感測器110亦可針對單數的水平像素列進行長曝光拍攝，而針對雙數的水平像素列進行短曝光拍攝。或者，影像感測器110可以對三條水平像素列進行長曝光以後，對兩條水平像素列進行短曝光。

影像處理器130是以操作區塊為單位來處理原始影像200。詳細地說，操作區塊又可稱之為視窗(window)，操作區塊的尺寸例如為N*N像素，其中N為正整數，但本發明並不限制N的數值。原始影像200中的操作區塊W₁ 、W₂ 、W₃ 的尺寸例如設定為5*5像素。需說明的是，原始影像200的操作區塊並不限於3個，在此僅作為舉例解說之用，實際應用上可針對每一輸出像素設定其所屬的操作區塊。對於每一個操作區塊，影像處理器130會產生一個長曝光輸出像素與一個短曝光輸出像素。而所有的長曝光輸出像素會組成一個長曝光影像，而所有的短曝光輸出像素會組成一個短曝光影像。長曝光影像的大小會相同於原始影像200的大小，而短曝光影像的大小也會相同於原始影像200的大小。 影像處理器130會根據長曝光影像與短曝光影像來產生一個對應於原始影像200的高動態範圍影像。在此，將以一個操作區塊為例來說明如何產生長曝光輸出像素與短曝光輸出像素。

圖3是依照本發明一實施例所繪示的操作區塊W₁ 進行區塊處理的過程示意圖。請參照圖3，在本實施例中，操作區塊W₁ 包括25個像素，並且這25個像素為貝爾排列(bayer arrangement)。每一個像素擁有一個顏色值。例如，像素G₁ 、G₃ 、G₅ 等擁有綠色的顏色值；像素B₂ 、B₄ 等擁有藍色的顏色值；而像素R₆ 、R₈ 、R₁₀ 等擁有紅色的顏色值。值得注意的是，圖3中的貝爾排列僅是一個範例，在其他實施例中，操作區塊W₁ 可以有其他的排列方式。例如，操作區塊W₁ 中像素列R1的第一個像素可以從藍色或是紅色的像素開始排列，本發明並不在此限。操作區塊W₁ 中多個第一像素具有長曝光時間，並且操作區塊W₁ 中的多個第二像素具有短曝光時間。具體來說，像素G₁ 、B₂ 、G₃ 、B₄ 、G₅ 、R₆ 、G₇ 、R₈ 、G₉ 、R₁₀ 、G₂₁ 、B₂₂ 、G₂₃ 、B₂₄ 與像素G₂₅ 具有長曝光時間；而像素G₁₁ 、B₁₂ 、G₁₃ 、B₁₄ 、G₁₅ 、R₁₆ 、G₁₇ 、R₁₈ 、G₁₉ 與像素R₂₀ 具有短曝光時間。以下稱第一像素為長曝光像素，稱第二像素為短曝光像素。

影像處理器130會取得操作區塊W₁ ，判斷每一個短曝光像素是否過曝光，並且至少根據短曝光像素是否過曝光與所有的長曝光像素來產生一個長曝光區塊W_L (亦稱第一曝光區塊)，其中長曝光區塊的大小會相同於操作區塊W₁ 的大小。具體來說，操作 區塊W₁ 中所有的長曝光像素的顏色值會被複製到長曝光區塊W_L 中。例如，像素G₁ 是長曝光，因此影像處理器130會複製像素G₁ 的顏色值至長曝光區塊W_L 中。而對於操作區塊中W₁ 中所有的短曝光像素，影像處理器130會先判斷這些像素是否過曝光。例如，影像處理器130會將像素G₁₁ 的顏色值乘上一個增益，並且判斷像素G₁₁ 的顏色值乘上該增益後的乘積是否大於一個臨界值(亦稱第二臨界值)。此增益是根據長曝光時間與短曝光時間計算出(例如為長曝光時間與短曝光時間的比率)。若此乘積不大於第二臨界值，則影像處理器130會判斷像素G₁₁ 沒有過曝光，並且把此乘積複製到長曝光區塊W_L 中(成為像素G’₁₁ )。相反地，若此乘積大於第二臨界值，則影像處理器130會判斷像素G₁₁ 為過曝光，並且根據具有相同通道的像素G₁ 與像素G₂₁ 內插出一個像素(即成為像素G’₁₁ )。對於操作區塊W₁ 的每一個短曝光像素，影像處理器130都會執行與像素G₁₁ 相同的處理。換句話說，影像處理器130會根據所有的長曝光像素、未過曝光的短曝光像素的顏色值乘上該增益的乘積、以及內插出的像素(對應至過曝光的短曝光像素)來產生長曝光區塊W_L 。

在此實施例中，影像處理器130是用像素G₃ 與G₂₃ 來內插出G’₁₃ 。然而，在其他實施例中，影像處理器130也可以用像素G₁ 、G₃ 、G₅ 、G₁₁ 、G₁₅ 、G₂₁ 、G₂₃ 與G₂₅ 中的任意組合來內插出G’₁₃ 。本發明並不限制如何內插出過曝光的像素。

影像處理器130也會依照類似的方法產生短曝光區塊 W_S 。具體來說，影像處理器130會將操作區塊W₁ 中所有的短曝光像素複製到短曝光區塊W_S 中，並且判斷每一個長曝光像素是否過曝光。例如，影像處理器130會判斷像素G₁ 的顏色值是否大於一個第一臨界值。若像素G₁ 的顏色值大於該第一臨界值，則影像處理器130會判斷像素G₁ 為過曝光。若像素G₁ 沒有過曝光，則影像處理器130會將像素G₁ 的顏色值除以上述的增益，並且將該顏色值除以增益後的商數複製到短曝光區塊(即成為像素G”₁ )。若像素G₁ 為過曝光，影像處理器130會利用具有相同通道的短曝光像素來內插出一個像素(即，成為像素G”₁ )。對於操作區塊W1中所有的長曝光像素，影像處理器130都會執行與像素G₁ 相同的處理。換句話說，影像處理器130會根據所有的短曝光像素、未過曝光的長曝光像素除以該增益後的商數、以及內插出的像素(亦稱第四像素，對應至過曝光的長曝光像素)來產生短曝光區塊W_S 。

由於長曝光區塊W_L 與長曝光區塊W_S 是對應至不同的曝光時間，因此影像處理器130至少可根據長曝光區塊W_L 與短曝光區塊W_S 來產生高動態範圍影像。舉例來說，影像處理器130可以對長曝光區塊W_L 執行一個雜訊抑制(noise reduction，NR)的演算法以產生長曝光輸出像素Q_L ，並且對短曝光區塊W_S 也執行雜訊抑制NR的演算法來產生短曝光輸出像素Q_S 。在對所有的操作區塊都執行上述的步驟以後，所有的長曝光輸出像素Q_L 與短曝光區塊W_S 會分別組成長曝光影像與短曝光影像。接下來，影像處理器130便可以根據長曝光影像與短曝光影像來產生高動態範圍影像。

一般來說，短曝光的像素會擁有相對較多的雜訊，而長曝光的像素會擁有較少的雜訊。因此，在一實施例中，影像處理器130會在長曝光區塊W_L 與短曝光區塊W_S 中，將原本屬於短曝光像素的高頻部份置換為長曝光像素的高頻部份。在此，”原本屬於短曝光”所指的是，一個像素所對應於操作區塊W1中的位置是在像素列R₃ 與R₄ 內。另一方面，”原本屬於長曝光”所指的是，一個像素所對應於操作區塊W₁ 中的位置是在像素列R₁ 、R₂ 與R₅ 內。例如，長曝光區塊W_L 中的像素G’₁₁ 與像素B’₁₂ 等原本是屬於短曝光像素；而短曝光區塊W_S 中的像素G”₁ 與像素B”₂ 等原本是屬於長曝光像素。更具體來說，影像處理器130會判斷長曝光區塊W_L 與短曝光區塊W_S 中的中心像素(即，像素G’13與G13)是否原本是屬於短曝光像素。在圖3的實施例中，長曝光區塊W_L 的中心像素G’₁₃ 與短曝光區塊W_S 的中心像素G₁₃ 原本都屬於短曝光像素。對於中心像素G’₁₃ 來說，影像處理器130會從長曝光區塊W_L 中取得多個像素(亦稱第五像素)，這些像素原本是屬於長曝光像素並且會與像素G’₁₃ 具有相同的通道(例如，像素G₇ 、像素G₉ 、像素G₂₁ 等)。影像處理器130會根據這些第五像素來調整像素G’₁₃ 的顏色值。在一實施例中，影像處理器130會從相鄰於像素G’₁₃ 的像素列R’₂ 中取得這些像素，並根據這些像素的高頻部份來調整像素G’₁₃ 的顏色值，使得像素G’₁₃ 的雜訊會接近像素列R’₂ 上的雜訊。然而，在另一實施例中，影像處理器130也可以從像素列R'₁ 、R’₂ 與R’₅ 中取得這些第五像素，對於每一個像素列都計算出 高頻部份，並且根據每一個像素列的高頻部份來內插出像素列R’₃ 的高頻部份，藉此來調整像素G’₁₃ 的顏色值。最後，影像處理器130會將調整後的像素G’₁₃ 輸出成為長曝光輸出像素Q_L 。

在一實施例中，影像處理器130是根據傅立葉轉換來取得像素的高頻部份。然而，本發明並不在此限，在另一實施例中，影像處理器130也可以根據離散餘旋轉換(discrete cosine transform)、小波轉換(wavelet transform)或是其他空間域至頻率域(spatial domain to frequenc domain)的轉換。值得注意的是，影像處理器130可以預先計算傅立葉轉換而產生多個係數，並且根據這些係數與第五像素的顏色值來調整中心像素G’₁₃ 的顏色值。也就是說，在處理器130不一定會在執行期(run time)作傅立葉轉換。

另一方面，對於短曝光區塊W_S 的中心像素G₁₃ 來說，影像處理器130會從像素列R”₁ 、R”₂ 與R”₅ 中取得多個像素(亦稱為第五像素)，並且根據這些像素來調整像素G₁₃ 的顏色值。類似地，影像處理器130可以根據鄰近的像素列R”₂ 的高頻部份來調整像素G₁₃ 的顏色值、或是根據多個像素列的高頻部份來內插出像素列R”₃ 的高頻部份，在此便不再贅述。最後，影像處理器130會將調整後的像素G₁₃ 輸出成為短曝光輸出像素Q_S 。

如此一來，在跟據長曝光像素Q_L 所產生的長曝光影像中，所有的像素都會有接近的雜訊程度，而不會有橫條狀雜紋。相同地，在跟據短曝光像素Q_S 所產生的短曝光影像中也不會有橫條狀雜紋。然而，在其他實施例中，雜訊抑制NR的步驟可以是對 長曝光區塊W_L 與短曝光區塊W_S 做一個濾波器運算(例如為低通濾波器)，本發明並不限制雜訊抑制NR所採用的演算法。或者，影像處理器130也可以不做雜訊抑制NR，直接輸出像素G’₁₃ 以成為長曝光輸出像素Q_L ，並且直接輸出像素G₁₃ 以成為短曝光輸出像素Q_S 。

圖4是根據本發明一實施例繪示產生高動態範圍影像的方法。

請參照圖4，在步驟S401中，取得原始影像中的一操作區塊，其中操作區塊包括多個第一像素與多個第二像素，第一像素具有第一曝光時間，並且第二像素具有第二曝光時間。在步驟S402中，判斷每一個第一像素是否過曝光。若有第一像素過曝光，在步驟S403中，內插過曝光的第一像素。在步驟S404中，至少根據第一像素是否過曝光與第二像素來產生對應於第二曝光時間的第二曝光區塊。在步驟S405中，判斷每一個第二像素是否過曝光。若有第二像素過曝光，在步驟S406中，內插過曝光的第二像素。在步驟S407中，至少根據第二像素是否過曝光與第一像素來產生對應於第一曝光時間的一第一曝光區塊。在步驟S408中，至少根據第一曝光區塊與第二曝光區塊來產生對應於原始影像的高動態範圍影像。在一實施例中，第一曝光時間、第一像素、第一曝光區塊即為上述的長曝光時間、長曝光像素與長曝光區塊。但本發明並不在此限，第一曝光時間、第一像素、第一曝光區塊也可以是短曝光時間、短曝光像素與短曝光區塊。圖4中各步驟已 詳細說明如上，在此便不再贅述。值得注意的是，圖4中各步驟可以實作為多個程式碼或是電路；此外，圖4的方法可以搭配以上實施例使用，也可以單獨使用，本發明並不在此限。

綜上所述，在本發明實施例所提出的產生高動態範圍影像的方法及其影像感測器採用區塊處理方式中，對於有長曝光像素與短曝光像素的原始影像會做過曝光的偵測。此外，雜訊抑制的步驟可以避免產生橫雜紋的問題。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S401~S408‧‧‧步驟

Claims (10)

1. 一種產生高動態範圍影像的方法，適於處理依據一第一曝光時間與一第二曝光時間連續交錯拍攝所得的一原始影像，包括：取得該原始影像中的一操作區塊，其中該操作區塊包括多個第一像素與多個第二像素，該些第一像素具有該第一曝光時間，並且該些第二像素具有該第二曝光時間；判斷每一該些第一像素是否過曝光；至少根據每一該些第一像素是否過曝光與該些第二像素來產生對應於該第二曝光時間的一第二曝光區塊，其中該第二曝光區塊的大小相同於該操作區塊的大小；判斷每一該些第二像素是否過曝光；至少根據每一該些第二像素是否過曝光與該些第一像素來產生對應於該第一曝光時間的一第一曝光區塊，其中該第一曝光區塊的大小相同於該操作區塊的大小；以及至少根據該第一曝光區塊與該第二曝光區塊來產生對應於該原始影像的一高動態範圍影像。
2. 如申請專利範圍第1項所述的產生高動態範圍影像的方法，其中該第一曝光時間為長曝光，該第二曝光時間為短曝光，並且所述判斷每一該些第一像素是否過曝光的步驟包括：判斷每一該些第一像素的一顏色值是否大於一第一臨界值以判斷每一該些第一像素是否過曝光，其中判斷每一該些第二像素是否過曝光的步驟包括： 將每一該些第二像素乘上一增益；以及判斷每一該些第二像素乘上該增益的一乘積是否大於一第二臨界值以判斷出每一該些第二像素是否過曝光，其中該增益是根據該第一曝光時間與該第二曝光時間所計算出。
3. 如申請專利範圍第2項所述的產生高動態範圍影像的方法，其中產生該第一曝光區塊的步驟包括：對於每一過曝光的該些第二像素，根據具有相同通道的該些第一像素內插出一第三像素；以及根據該些第一像素、未過曝光的該些第二像素乘上該增益的該乘積、以及內插出的該第三像素產生該第一曝光區塊，其中產生該第二曝光區塊的步驟包括：對於每一過曝光的該些第一像素，根據具有相同通道的該些第二像素內插出一第四象素；以及根據該些第二像素、未過曝光的該些第一像素除以該增益的一商數、以及內插出的該第四像素產生該第二曝光區塊。
4. 如申請專利範圍第1項所述的產生高動態範圍影像的方法，其中該第一曝光區塊與該第二曝光區塊中的一中心像素的位置是對應於該些第二像素的其中之一的位置，該產生高動態範圍影像的方法更包括：從該中心像素所對應的該第一曝光區塊或該第二曝光區塊中取得多個第五像素，其中該些第五像素與該中心像素具有相同的通道，並且該第五像素的位置是對應於該些第一像素的至少其中 之一的位置；以及根據該些第五像素的一高頻部份來調整該中心像素的一顏色值。
5. 如申請專利範圍第4項所述的產生高動態範圍影像的方法，其中至少根據該第一曝光區塊與該第二曝光區塊來產生對應於該原始影像的一高動態範圍影像的步驟包括：至少根據取得該第一曝光區塊的該中心像素與該第二曝光區塊的該中心像素來產生該高動態範圍影像。
6. 一種高動態範圍影像感測器，包括：一影像感測器，依據一第一曝光時間與一第二曝光時間連續交錯拍攝，以產生一原始影像；一儲存單元，耦接該影像感測器，適於儲存該原始影像；以及一影像處理器，耦接該影像感測器與該儲存單元，用以取得該原始影像中的一操作區塊，其中該操作區塊包括多個第一像素與多個第二像素，該些第一像素具有該第一曝光時間，並且該些第二像素具有該第二曝光時間，其中，該影像處理器用以判斷每一該些第一像素是否過曝光，並且至少根據每一該些第一像素是否過曝光與該些第二像素來產生對應於該第二曝光時間的一第二曝光區塊，其中該第二曝光區塊的大小相同於該操作區塊的大小，其中，該影像處理器用以判斷每一該些第二像素是否過曝 光，並且至少根據每一該些第二像素是否過曝光與該些第一像素來產生對應於該第一曝光時間的一第一曝光區塊，其中該第一曝光區塊的大小相同於該操作區塊的大小，其中，該影像處理器至少根據該第一曝光區塊與該第二曝光區塊來產生對應於該原始影像的一高動態範圍影像。
7. 如申請專利範圍第6項所述的高動態範圍影像感測器，其中該第一曝光時間為長曝光，該第二曝光時間為短曝光，並且該影像處理器判斷每一該些第一像素是否過曝光的操作包括：該影像處理器判斷每一該些第一像素的一顏色值是否大於一第一臨界值以判斷每一該些第一像素是否過曝光，其中該影像處理器判斷每一該些第二像素是否過曝光的步驟包括：該影像處理器將每一該些第二像素乘上一增益；以及該影像處理器判斷每一該些第二像素乘上該增益的一乘積是否大於一第二臨界值以判斷出每一該些第二像素是否過曝光，其中該增益是根據該第一曝光時間與該第二曝光時間所計算出。
8. 如申請專利範圍第7項所述的高動態範圍影像感測器，其中該影像處理器產生該第一曝光區塊的操作包括：對於每一過曝光的該些第二像素，該影像處理器根據具有相同通道的該些第一像素內插出一第三像素；以及該影像處理器根據該些第一像素、未過曝光的該些第二像素乘上該增益的該乘積、以及內插出的該第三像素產生該第一曝光 區塊，其中該影像處理器產生該第二曝光區塊的操作包括：對於每一過曝光的該些第一像素，該影像處理器根據具有相同通道的該些第二像素內插出一第四象素；以及該影像處理器根據該些第二像素、未過曝光的該些第一像素除以該增益的一商數、以及內插出的該第四像素產生該第二曝光區塊。
9. 如申請專利範圍第6項所述的高動態範圍影像感測器，其中該第一曝光區塊與該第二曝光區塊中的一中心像素的位置是對應於該些第二像素的其中之一的位置，該影像處理器更用以從該中心像素所對應的該第一曝光區塊或該第二曝光區塊中取得多個第五像素，其中該些第五像素與該中心像素具有相同的通道，並且該第五像素的位置是對應於該些第一像素的至少其中之一的位置，該影像處理器更用已根據該些第五像素的一高頻部份來調整該中心像素的一顏色值。
10. 如申請專利範圍第9項所述的高動態範圍影像感測器，其中該影像處理器至少根據該第一曝光區塊與該第二曝光區塊來產生對應於該原始影像的一高動態範圍影像的操作包括：該影像處理器至少根據該第一曝光區塊的該中心像素與該第二曝光區塊的該中心像素來產生該高動態範圍影像。