TW201918995A

TW201918995A - 多工高動態範圍影像

Info

Publication number: TW201918995A
Application number: TW107115854A
Authority: TW
Inventors: 桂格 R 富蘭克林
Original assignee: 美商雷森公司
Priority date: 2017-07-27
Filing date: 2018-05-10
Publication date: 2019-05-16
Also published as: US20190035064A1; KR102193896B1; IL271992B; KR20200022041A; US10467733B2; JP2022071177A; JP2020529159A; WO2019022812A9; JP7077395B2; WO2019022812A1; IL271992A; CA3069923A1; TWI722283B; EP3662656A1

Abstract

本發明揭示一種用於產生時間多工、高動態範圍影像之技術。方法可包含獲得自一影像感測器擷取之具有一基底曝光位準之一第一影像之操作。該第一影像可儲存於一累積記憶體中。另一操作係獲得具有相較於該基底曝光位準之一修改曝光位準之一第二影像。可作出該第二影像中之傳入像素是否超過一飽和度臨限值之一判定。該第二影像之像素可與該第一影像之像素組合以在該累積記憶體中形成一高動態範圍影像。

Description

多工高動態範圍影像

高動態範圍成像用於光學成像及攝影中以再現比針對各影像曝光使用較小亮度範圍之成像技術大之一光度範圍。HDR (高動態範圍)可在更類似於人眼之能力之一影像中呈現一亮度範圍。人眼使用一虹膜以恆定地適應於一觀看場景中之一廣泛亮度範圍。大腦連續解譯此觀看資訊，因此觀看者可在一廣泛光條件範圍中觀看。相比而言，既有成像技術一般擷取所擷取之一影像中之較小亮度範圍。

HDR影像可表示比可使用擷取較低亮度範圍之器件達成之亮度位準範圍大之一亮度位準範圍。具有可擷取之一較大亮度範圍之場景之實例可包含具有一較大亮度範圍之含有非常明亮、直射日光至極端陰影、暗黑影像之許多真實世界場景或模糊空間影像。HDR影像通常藉由組合相同場景或主體之多個、較窄範圍曝光而產生。大多數影像感測器或攝影機拍攝具有一有限曝光範圍之相片導致高亮度或陰影中之細節丟失。

HDR影像可自拼接多個低動態範圍(LDR)或標準動態範圍(SDR)相片而產生。HDR影像亦可使用昂貴的特殊影像感測器組態(諸如使用可用於擷取具有用於HDR影像中之多個曝光位準之影像之多個攝影機頭部)來獲取。

可提供用於產生時間多工、高動態範圍(HDR)影像之一技術。此等影像可用於依一預定圖框速率(例如每秒20至60+圖框)之全運動視訊中或可產生靜止影像。用於執行該技術之一方法可包含用於產生之HDR影像之操作。例如，可自一影像感測器獲得具有一基底曝光位準之一第一影像，且該第一影像可儲存於一累積記憶體中。該影像感測器可為經組態以擷取全運動視訊之影像之一攝影機。在一組態中，影像可儲存於一拜耳色彩空間中且該影像感測器可經本機組態以擷取呈拜耳色彩空間格式之影像。其他色彩影像空間亦可由該影像感測器使用。

可使用該影像感測器獲得具有相較於該基底曝光位準之一修改曝光位準(例如一增加曝光位準)之一第二影像。另一操作可為該第二影像中之傳入像素之一飽和度位準是否超過一飽和度臨限值之一判定。傳入影像可具有針對像素計算之估計影像強度以判定傳入影像之像素是否低於一飽和度臨限值且待與該累積記憶體中之影像組合。

因此，可判定該第一影像中之一局部像素群組之一第一局部邊緣估計及該第二影像中之一第二局部像素群組之一第二局部邊緣估計。可使用一梯度計算或另一局部邊緣估計器判定此局部邊緣估計。該第一局部邊緣估計可與該第二局部邊緣估計相比較以判定歸因於擷取該第一影像與該第二影像之間的影像中之移動，相較於該第二局部像素群組，該局部像素群組中是否存在一改變。在傳入像素之飽和度不超過飽和度位準或飽和度臨限值且移動低於一移動臨限值之情況中，則滿足此等準則之該第二影像之個別像素可與該第一影像之各自像素組合。局部邊緣估計及飽和度臨限值之測試可在一逐像素基礎上執行直至來自低於飽和度臨限值，且其中尚未偵測到移動之該第二影像之每個像素組合至該第一影像中。

將影像累積至累積緩衝器中之程序可針對任何數目個傳入影像重複以依一輸出圖框速率產生輸出圖框。例如，影像感測器或攝影機可依該輸入圖框速率之N倍或所要圖框速率操作。曝光可設定為N個圖框之各者之N個不同位準之一者以形成由所擷取之N個圖框構成之一資料集。各輸出圖框在該資料集中可具有用於形成HDR影像之N個相關聯之圖框。此等N個圖框用於產生HDR影像且一般不可由一使用者觀看。程序可藉由組合一資料集中之N個圖框之各者與儲存於累積記憶體中之資料而遞迴地使用累積記憶體以降低用於產生HDR影像之總記憶體要求。更具體而言，儲存於累積記憶體中之先前結果與各傳入影像圖框組合直至完成一輸出圖框。

此技術在可具有有限硬體及計算資源之一計算及成像系統上操作，但該系統仍能夠提供一HDR影像。在過去HDR系統中，多個影像已以一原始攝影機資料格式擷取。接著，執行將影像轉換為一可觀看影像之步驟(諸如解馬賽克影像、色彩校正影像、強度校正影像及/或將影像轉換為一CIE色彩空間)。在先前系統中之此刻，強度空間中之多個影像組合在一起以構成一最終HDR影像。將影像自一擷取格式轉變為可觀看影像之此程序可占用多個影像之許多記憶體但提供一所要數學輸出。相比而言，本技術不將傳入影像轉換為強度空間但以一原始影像格式(例如拜耳影像空間)將影像累積於一單一累積記憶體中。

如先前所討論，本技術可依比一所要輸出速率高之一速率擷取N個圖框且自所擷取之增加數目個圖框產生一HDR影像。例如，許多既有現成攝影機依30 Hz運行且可用於一資料集中之額外影像之一較高圖框速率可為60 Hz (每個輸出圖框或顯示圖框擷取2個圖框)、90 Hz (每個輸出圖框擷取3個圖框)或亦可使用一較高擷取圖框速率。初始圖框可在一基底曝光(其可被視為一可觀看攝影曝光)下設定且接著影像曝光可針對後續影像擷取增加以擷取影像之高亮度。當新資訊進入影像之較暗部分時，傳入影像之有用部分可智慧地與當前儲存於累積記憶體中之影像組合，因此影像之較亮部分可保持不變。此導致時間多工曝光輸出。

術語像素(如本描述中所使用)可包含表示一強度及/或色彩值之任何類型之圖像元素或影像子元素。儘管一像素可直接映射至一影像感測器之一實體擷取元素或一顯示器上之一實體輸出元素(例如一顯示器圖素)，但可能並非總是使用實體擷取或顯示器元素與數學像素之間的一對一映射。

圖1A繪示一系統102及提供以使用時間多工產生高動態(HDR)範圍影像之一方法。此系統及方法將依據組合兩個影像之一實例來解釋。然而，當系統以全運動視訊(FMV)模式操作時，一感測器器件或攝影機可依所要圖框速率之N倍操作且每輸出圖框可處理N個圖框。更具體而言，系統可包含影像感測器110或經組態以擷取具有一基底曝光位準之一第一影像112之攝影機。影像感測器110或攝影機可使用一ROIC (讀出積體電路)、一CMOS (互補金屬氧化物半導體)感測器或另一影像擷取感測器。此系統亦使用既有現成(OTS)攝影機硬體及影像處理方法。

與影像感測器110通信之一累積記憶體126可包含於系統102中。累積記憶體126可經組態以將第一影像112儲存於累積記憶體中。一處理器130或處理器之群組(諸如FPGA (場可程式化閘陣列)、客製ASIC (應用特定積體電路)或與記憶體相關聯之另一處理器)可經組態以自影像感測器110接收或獲得一第二影像112。第二影像可具有相較於先前影像(即第一影像)之一基底曝光位準之一增加曝光位準。

處理器130可使用一飽和度檢查模組120或飽和度邏輯以檢查相較於第一影像中之一對應列及行處之各自像素之第二影像中之傳入像素之各者之飽和度。若各傳入像素之飽和度不超過一預界定飽和度臨限值，則可繼續對個別像素之處理。另一方面，若傳入像素之飽和度位準超過飽和度臨限值，則個別像素之處理可終止，因為已超過飽和度臨限值且不預期像素改良經累積之HDR影像。

為了檢查像素之飽和度，可檢查包含接近或鄰近於經處理之像素之像素之一局部區域。經檢查以判定像素強度之近鄰可為接近或鄰近於經處理之像素之一局部區域中的像素。在一實例中，一區域(例如一3×3區域)內之一些或所有像素之最大強度值可用於估計飽和度。使用像素之最大強度值意謂一欠取樣色彩(紅色、藍色或綠色)之單一分量未飽和。此強度之計算(例如使用最大強度)可用於判定一傳入圖框之像素遞迴地添加至儲存於累積記憶體126中之圖框以累積HDR影像。期望識別或估計以一拜耳影像格式儲存之像素之強度，因為拜耳影像格式及/或RGB格式不提供一單一值中之像素強度資訊或一像素之儲存位置。作為一相關實例，RGB不儲存一影像元素或像素之強度，而儲存所表示之三個色彩之各者之強度。

在先前HDR方法中，已在產生HDR影像之前使用一基於CIE之強度轉換。儘管一基於強度之色彩空間或一CIE色彩空間可已用於產生先前HDR影像，但用於發現整個影像之強度之此等轉換較緩慢且消耗顯著時間量及計算資源(即處理及記憶體)。

相比而言，本文所描述之技術使用像素強度或影像元素強度之一程序中估計。可用於估計本技術中之強度之一實例性高位準計算係發現以拜耳影像格式儲存之附近像素之紅色、綠色及藍色像素至一局部最大強度值。此計算可包含一3×3格網、4×4格網、5×5格網、一不規則形狀或接近或鄰近於該(等)傳入像素之一網格類型之圖案中之像素。此強度估計之實例可提供強度之一般估計以使得能夠作出是否組合來自一選定位置處之傳入影像之一像素與儲存影像之對應像素之一決定。此類型之像素強度估計使用一有限量之處理及記憶體資源且相對較快。例如，除以二一次或兩次在算術邏輯單元(ALU)硬體中可僅花費若干暫存器位移。此強度估計可針對第一影像及第二影像兩者中像素發生，因此可作出可組合哪些像素之一判定。

儘管已依據組合兩個、三個或四個影像描述此方法，但任何數目個多個影像或N個影像可組合在一起以形成HDR輸出圖框。例如，N可設定為自2至60。當前影像感測器或攝影機可能夠每秒擷取1,000個圖框或甚至每秒一較高數目個圖框。就各HDR輸出圖框而言，可存在經擷取且組合在一起以產生HDR輸出圖框之N個其他影像(例如5個、10個、20個或30個影像)。

在存在經擷取之N個影像之情況中，則曝光可設定為N個不同位準(例如各影像一不同位準)。此等N個攝影機圖框可構成經組合以產生一HDR輸出圖框之一資料集。N個影像之第一影像或第一圖框可為可標定影像高亮度之一1%飽和度之一初始曝光圖框。此影像可被視為一典型曝光或基底曝光。該第一圖框可在無需處理之情況下儲存至記憶體。下一N-1個圖框可操作以提供漸進增加曝光(即遞增曝光時間)，其中針對經成像之場景最佳化曝光比。此等N個圖框之各者可漸進更「過度曝光」。例如，在白天，攝影機可產生針對所要輸出圖框依30 Hz輸出影像。另外，影像感測器實際上可依所要圖框速率之N倍或150 Hz (N = 5)運行以提供待用於HDR影像之額外圖框。在夜晚，攝影機可針對所要圖框速率依7.5 Hz輸出HDR影像且接著攝影機可依15 Hz (N = 2)運行以擷取HDR影像之額外曝光。

當接收一資料集中之各圖框時，傳入圖框可有條件地與已累積於累積記憶體126或數位圖框記憶體中之既有圖框組合。條件累積可基於各個別像素或影像元素之一估計局部強度。因為尚未產生最終影像，因此像素強度可自如先前所描述之原始影像感測器輸出估計。當一傳入像素過度飽和時，則不使用傳入像素且傳入像素不組合成儲存於累積記憶體中之影像。

在其中檢查額外條件以組合影像之技術之另一組態中，一局部邊緣估計模組122或邏輯可計算及判定第一影像中之一個別像素之一局部像素群組之一第一局部邊緣估計。第二影像中之一對應像素之一第二局部像素群組之一第二局部邊緣估計(即兩個影像中之對應x及y位置)亦可由局部邊緣估計模組122計算。可使用一影像梯度計算或梯度估計來計算局部邊緣估計。作為其他實例，坎尼(Canny)邊緣偵測器、基於搜尋之方法、零交叉方法或其他邊緣偵測方法亦可用於局部邊緣估計。接著，第一局部邊緣估計可與第二局部邊緣估計相比較以判定相較於第一影像及第二影像之擷取之間的第二局部像素群組，個別像素之局部像素群組中是否存在移動。例如，若來自第一局部邊緣估計及第二局部邊緣估計之輸出值相同，則無移動發生。相反地，若來自第一局部邊緣估計及第二局部邊緣估計之輸出值顯著不同(例如差異超出一約束)，則可發生移動。

在第一情況中，可作出第一影像及第二影像中之特定像素之間存在較少或不存在移動之一判定。當第二影像之第二局部像素群組未相對於第一影像中之一對應局部像素群組顯著移動時，來自第二影像之像素可與第一影像之像素組合以在累積記憶體126中形成一HDR影像。

當一傳入影像(例如新擷取之圖框或輸入圖框)與儲存於累積記憶體126中之一圖框組合時，此組合操作可被視為遞迴，因為各傳入圖框與儲存影像組合且接著儲存為一更新影像。更新影像可儲存於累積記憶體126中。因此，儲存於累積記憶體126中之儲存影像之像素值可與傳入影像之像素值組合以產生待儲存於累積記憶體126中之一更新HDR輸出圖框128。將具有增加曝光(例如可能增加強度)之各新擷取之影像添加至累積記憶體可減少在產生HDR輸出圖框128期間所使用之總記憶體資源。因此，經組態以儲存一單一影像圖框之記憶體用於構成各HDR輸出圖框128。

可提供一偽碼實例以計算累積儲存圖框及傳入圖框中之像素之一局部邊緣估計。 •在綠色位置處： delta_H = abs(inB(i,j-2)+inB(i,j+2)-2*inB(i,j))+abs(inG(i,j-1)-inG(i,j+1); delta_V = abs(inB(i-2,j)+inB(i+2,j)-2*inB(i,j))+abs(inG(i-1,j)-inG(i+1,j)); •在紅色/藍色位置處： delta_H = abs(inR(i,j-2)+inR(i,j+2)-2*inR(i,j))+abs(inG(i,j-1)-inG(i,j+1)); delta_V = abs(inR(i-2,j)+inR(i+2,j)-2*inR(i,j))+abs(inG(i-1,j)-inG(i+1,j));

應注意「inB」、「inG」及「inR」分別係指在陣列中之特定相對位置處輸入藍色、輸入綠色及輸入紅色。可針對累積記憶體126中之儲存影像或儲存圖框或針對傳入圖框之像素位置之各者進行局部邊緣估計。局部邊緣估計計算可藉由使用一局部邊緣估計來估計水平及/或垂直位置中之局部邊緣。可使用欠取樣資料(例如拜耳圖案資料)計算此局部邊緣估計之實例。由於此處所描述之實例性影像之格式係一欠取樣格式，則一不同計算用於綠色像素對紅色/藍色像素。可使用任何類型之已知局部邊緣估計，但此局部邊緣估計之實例用於測試移動以產生一HDR輸出圖框而局部邊緣估計不用於解馬賽克。

局部邊緣估計可用於判定傳入像素在局部像素資料中是否具有移動。若像素處或像素附近存在局部移動，則將不使用傳入像素，因為併入傳入像素可使影像模糊。例如，若存在一移動物件(例如一移動個人、載具、動物等等)，則避免使該影像模糊改良影像之總體品質。

相較於模糊，鬼影係一較小問題，但當像素處或像素附近存在局部移動時避免自一傳入影像併入像素亦可避免在一物件透過一視野移動時在該物件後面產生一鬼影。如本描述中所描述之時間多工影像可產生假影，但使用局部邊緣估計檢查移動幫助最小化此等可能視覺假影。

在組合兩個影像之實例中，來自第一影像之像素可藉由平均化來自第二影像以及第一影像之像素而與來自第二影像之像素組合。兩個像素之組合可使用組合器模組124而發生。替代地，來自第二影像之像素可使用像素值之一非線性組合與第一影像組合在一起。此非線性操作可為來自組合成第一影像之一像素之色彩及/或強度之量可基於傳入像素之色彩及/或強度而定標之情況。例如，當一傳入圖框中之一傳入像素之色彩飽和度及/或強度增加時，相反地，與儲存影像組合之傳入像素之量可減少。在另一組態中，來自第二影像之傳入像素之一固定百分比可添加至第一影像。例如，來自第二影像之各像素之色彩及強度之10%至90%可添加至第一影像。

組合累積記憶體中之一像素與傳入像素值亦可提供最終HDR影像之雜訊抑制。例如，平均化儲存像素與傳入像素可抑制影像中之雜訊。

在一組態中，來自傳入影像之像素與儲存於累積記憶體中之影像之組合可基於輸入像素強度如何不同於輸出輸出強度而發生。在其中儲存影像(累積記憶體中)中之一像素係黑色、但傳入像素係灰色之情況中，則灰色像素可取代黑色像素使用且黑色像素可不與灰色像素一起平均化。此係因為黑色像素否則將過度支配傳入像素。像素亦可在變化組合中組合在一起(尤其當像素之色彩及/或強度位於強度光譜(例如非常白或非常黑)之任一邊緣上。

在另一態樣中，可產生及分析傳入影像之一強度直方圖。基於強度直方圖之一分析，系統可判定待用於待擷取之後續影像之曝光位準。例如，在傳入影像具有很大程度上由黑色支配之一直方圖之情況中，則下一影像可具有由三個或四個曝光步驟而非僅一個曝光步驟增加之曝光。此動態曝光判定可避免其中僅擷取一個曝光步驟可不針對最終HDR影像提供實際上可用影像內容之情況。在一更特定實例中，一雙模態影像可具有一強度直方圖，在該直方圖之一暗部分中該雙模態影具有大量主導值且在該直方圖之之一較亮部分中該雙模態影像具有大量主導值。在此一情況中，曝光中之一兩倍(2x)增加可不提供對於最終HDR輸出圖框有用的任何東西。因此，跳至相較於基底曝光位準之一八倍(8x)曝光可提供較佳結果。此等曝光控制技術亦可有助於場景中具有一反射物件之一暗場景之情況(例如具有反射載具之暗停車場)。在一類似實例中，系統可分析50%點及25%之直方圖或一累積分佈函數(CDF)以挑選傳入影像之下一曝光位準。可藉由控制攝影機曝光圖框之時間之長度而設定下一傳入影像之總曝光(即使影像感測器能夠擷取光)。

用於組合傳入像素值與儲存像素值且接著將像素儲存於資料集之HDR輸出圖框之記憶體中之偽碼之一實例可為： if saturation_estimate(pixel_new(i)) ＞ saturation_limit) -- the input is saturated, don’t include it Pixel(i) = Pixel_prev(i); else if ((abs(delta_H_prev – delta_H_new) ＞ threshold) or (abs(delta_V_prev – delta_V_new) ＞ threshold) -- the edge has moved, don’t blur Pixel(i) = Pixel_prev(i) else -- average the signal Pixel(i) = (Pixel_prev(i) + Pixel_new(i)) / 2; end if;

一旦已處理整個資料集(例如一輸出圖框之N個影像)，則可使用既有色彩空間轉換技術將輸出圖框(例如一拜耳影像)轉換為一可顯示影像。在已累積N個影像之一整個資料集且已輸出輸出圖框之後，可清除累積記憶體以準備下一資料集。

可在一逐像素基礎上執行所描述之用於檢查飽和度、局部邊緣估計及組合像素之操作。因此，像素可以一逐列或逐行順序在影像中操作直至已組合有資格組合兩個影像之任何像素。可存在歸因於過度飽和、移動或其他因數而未有資格組合成第一影像來自第二影像或傳入影像之一些像素。當識別時，可略過此等像素。接著，已產生之HDR輸出圖框128可跨越一電腦網路或用於儲存、圖案辨識、機器視覺、由一末端使用者觀看等等之一計算匯流排自累積記憶體126發送。影像亦可發送至一遠端行動器件或其中可觀看影像之一命令站。

圖1B繪示用於使用一連接輸出顯示器產生時間多工HDR影像之一系統。圖1B中之攝影機110、處理器130、累積記憶體126及其他元件可依類似於圖1A中之元件之一方式操作。除產生HDR輸出圖框128之外，一圖框緩衝器130可經組態以自累積記憶體126接收HDR輸出圖框128。圖框緩衝器130可提供影像資訊(例如一完整HDR影像點陣圖)以刷新與圖框緩衝器130通信之一顯示器件132以輸出用於由一末端使用者或其他觀看者觀看。顯示器件可為一LCD (液晶顯示器)、電漿顯示器、OLED (有機發光二極體)顯示器或任何其他顯示器類型。

此技術可用於產生對於成像具有非常暗及亮區域之場景有用之高動態範圍(HDR)視訊。與其必須部署具有多個攝影機頭部之昂貴硬體，不如期望使用具有軟體及韌體變化之一單一攝影機產生HDR視訊之能力。此技術可如操作者所期望啟動或關閉而不會損失任何既有成像能力。此意謂末端使用者或操作者可在任何時間使用一軟體介面接通或斷開HDR視訊能力。

在過去，當已構造全運動視訊(FMV) HDR系統時，此等系統已利用昂貴客製ROIC或可相對於所使用之攝影機頭部或可使用之專用硬體之數目增加總攝影機成本多個攝影機頭部。一些FMV組態具有可花費數百萬美元來開發之客製ROIC或客製攝影機。儘管使用多個攝影機可提供HDR影像，但此等組態使用顯著量之記憶體、額外硬體或處理能力。

另外，使用多個攝影機可包含在一戰術環境中移動之複雜機械對準。當使用複雜機械機構時，此等機構可產生成像器件之額外故障點，尤其當成像器件用於高需求軍事或商業應用中時。用於一多個攝影機頭部組態中之專用硬體可為用於可週期性地(例如黃昏或日出時，在低照明條件中等等)使用HDR影像之應用之一昂貴硬體投資。

實施多個曝光以形成一HDR影像之靜止攝影機已可用，但靜止攝影機產生一單一靜止影像且花費顯著時間形成影像。靜止HDR成像不適合於一軍事環境或其他高要求環境。儘管已使用多個攝影機及專用硬體產生硬體多工曝光系統，但此等系統使用昂貴處理資源且具有相對高延時及低圖框速率。本發明中所描述之HDR技術藉由在不使用過度複雜或昂貴硬體之情況下提供HDR視訊或影像而克服此等限制，因此使得軍事及其他用途可行。

本發明可提供包含一攝影機之資源約束系統之HDR視訊或靜止影像。更具體而言，此技術可用於自有人或無人載具上之攝影機擷取視訊，如圖1C中所繪示。例如，HDR影像可自安裝於無人飛行載具、無人道路駕駛載具、船或其他類型之載具104上之攝影機產生。在其他實例中，HDR視訊可自由保全攝影機、裝配線攝影機、封裝設施攝影機、農用設備攝影機或具有攝影機之其他物聯網(IoT)器件擷取之影像產生。

圖2繪示自可位於一拜耳影像圖案200中之攝影機擷取之影像。在拜耳影像圖案組態之攝影機中，濾色器放置於一網格中之強度感測硬體或半導體上，如圖2中所展示。影像之原始、欠取樣色彩最終可經處理以使用已知影像技術產生一RGB影像。

因為此技術可在拜耳域中操作，因此實施此技術花費顯著比計算一強度空間(例如CIE、YUV)中之影像少之計算資源。提供此結果，因為轉換為強度空間可增加記憶體及處理處理量需求。歸因於使用一單一攝影機提供HDR視訊之資源及成本約束，此攝影機可使用一欠取樣拜耳色彩空間。此技術中之影像可保留為如由攝影機擷取之本機色彩空間或原始格式以保存記憶體且減少用於處理之其他資源。在影像之累積期間，影像可不轉換為一完全解馬賽克CIE色彩空間影像，因為將影像維持在拜耳空間中可保存記憶體及處理資源。然而，當已產生時間多工HDR輸出圖框時，可發生全轉換。更具體而言，儲存於累積記憶體中之影像亦將以拜耳影像格式或另一本機攝影機格式儲存。一旦已累積HDR影像，則正常影像處理可發生以將影像自拜耳影像格式轉換為一RGB或用於觀看之另一基於強度之影像格式。

既有影像處理方法可用於產生最終可觀看影像。處理來自多個攝影機頭部之多個影像以產生一HDR影像之先前成像方法可以4個影像流及每流3個影像結束，且此導致消耗大量記憶體及處理之待組合之12個成品影像。相比而言，此技術僅具有一輸出圖框且可使用已知解馬賽克、色彩校正、強度校正將一影像轉換為一可觀看影像及/或將影像轉換為一CIE色彩空間。替代地，影像可儲存於諸如以下之色彩空間中：一強度空間、RGB (紅色、綠色、藍色)、CMYK (青藍色、品紅色、黃色、黑色)或其他影像色彩空間。存在並非可與此技術一起使用以儲存自一攝影機擷取之影像之拜耳圖案陣列之其他濾色器陣列圖案。例如，一製造商可使用用於儲存所擷取之影像之專屬濾色器圖案及陣列(例如Sony格式或另一原始影像格式)。用於此技術中之操作可經修改以處理此等變化影像割捨以遞迴地產生多工HDR影像。

圖3繪示具有已由一攝影機擷取之一基底曝光位準之一初始曝光影像310。一有意增加曝光影像320亦可由攝影機在一後續時間點中(即初始曝光影像之後立即)擷取。此等影像之兩者可使用先前所描述之操作組合在一起以獲得具有分別比初始曝光影像310或增加曝光影像320高之一動態範圍之一HDR影像330。

儘管已使用兩個影像或攝影機曝光主要闡釋圖3中之此技術之實例性描述，但任何數目個影像可用於獲得最終HDR輸出圖框128。例如，系統可依所期望之一輸出圖框速率獲得各輸出圖框之N個影像。因此，可設定來自影像感測器之輸出圖框之一輸出圖框速率且影像感測器可依輸出圖框速率之N倍操作以擷取輸出圖框速率之N倍之影像。N個影像之像素可組合在一起以形成HDR影像。若所要影像輸出速率係每秒24個圖框，則攝影機可依每秒72個圖框運行。此提供可組合在一起以產生各HDR輸出圖框128或輸出圖框之3個影像。任何數目個影像可用於產生HDR輸出圖框128。用於產生HDR輸出圖框之N數目個影像可為自2個影像至高達數千個影像(例如每輸出圖框2,000個影像)之任何數目個影像，其中限制係攝影機硬體、累積記憶體及可用於組合影像之處理能力之能力。N個影像可依越來越大之曝光位準擷取或獲得。例如，第一曝光位準可為0，第二曝光位準+2，第三曝光位準+4等等。

圖4繪示用於產生時間多工、高動態範圍影像之一方法。該方法可包含(如區塊410中)獲得自一影像感測器擷取之具有一基底曝光位準之一第一影像之一第一操作。如區塊420中，可將該第一影像儲存於一累積記憶體中。如區塊430中，可獲得具有相較於該基底曝光位準之一修改曝光位準(例如一增加曝光位準)之一第二影像。

如區塊440中，可執行該第二影像中之傳入像素之一飽和度位準是否超過一飽和度臨限值之一判定。為測試傳入像素之飽和度位準，可計算一像素之一估計強度。當使用拜耳影像圖案以儲存所擷取之影像時，可估計各像素之強度以達成組合N個影像。此技術可在無需至一新色彩空間(CIE、YUV)之一全轉換之情況下估計強度。在一實例中，可藉由發現一像素區域中之強度之一局部最大值來估計飽和度。此像素區域可包含接近或鄰近於經處理之傳入像素之一些或所有像素。區域在大小上可為3×3或傳入像素附近之另一有用大小(例如N × N)。

如區塊450中，不具有超過一界定臨限值之一強度之該第二影像之像素可與該第一影像之像素組合以在累積記憶體中形成一高動態範圍影像。在使用一路燈之夜間影像擷取之情況中，基底影像可為一非常暗第一影像。在下一曝光中，路燈可過度曝光且與路燈相關聯之像素可被廢棄且不組合成累積影像。然而，其他調光燈及反射將較容易被一末端使用者看見且由於調光燈及反射不超過飽和度位準臨限值，因此此等調光燈及反射可組合成累積影像。此等額外細節可允許最終影像觀看者看見陰影中是什麼。就各額外圖框而言，只要不超過飽和度位準臨限值，則各較亮區域添加至圖框。

在技術之一進一步組態中，可判定該第一影像中之一局部像素群組之一第一局部邊緣估計，亦可判定該第二影像中之該局部像素群組之一第二局部邊緣估計。該第一局部邊緣估計可與該第二局部邊緣估計相比較以判定子在擷取該第一影像及該第二影像之間，相較於一第二局部像素群組，該第一影像之該局部像素群組中是否存在移動。若移動低於各像素之一移動臨限值，則該第二影像之適當像素可與該第一影像之像素組合。

該第一影像可藉由平均化來自該第二影像以及該第一影像之像素而與該第二影像組合。替代地，組合該第一影像以及該第二影像可使用一非線性組合組合來自該第二影像以及該第一影像之像素。

就一界定輸出圖框速率而言，可獲得一輸出圖框速率之各輸出圖框之越來越大之曝光位準下之N個影像。基於來自影像感測器之輸出圖框之一界定輸出圖框速率，影像感測器可依輸出圖框速率之N倍操作以擷取輸出圖框速率之N倍之影像。N個影像之各自像素可組合在一起以形成一高動態範圍影像。最終，該高動態範圍影像可發送至一圖框緩衝器記憶體及用於顯示之顯示器件。

在另一實例性方法中，技術之操作可儲存於具有指令之一非暫時性機器可讀儲存媒體上，當執行時，該等指令可引起一處理器產生時間多工之高動態範圍影像。技術可獲得自一攝影機擷取之具有一基底曝光位準之一第一影像，且將該第一影像儲存於一累積記憶體中。可獲得具有相較於一基底曝光位準之一增加曝光位準之一第二影像。可檢查該第二影像中之傳入像素之傳入飽和度位準以查看像素之強度是否超過一飽和度臨限值。

可計算該第一影像中之一局部像素群組之一第一局部邊緣估計及該第二影像中之該局部像素群組之一第二局部邊緣估計。該第一局部邊緣估計可與該第二局部邊緣估計相比較以判定在擷取該第一影像及該第二影像之間，該局部像素群組中是否存在高於一移動臨限值之移動。當該移動低於該移動臨限值且尚未超過飽和度臨限值時，該第二影像之像素可與該累積記憶體中之該第一影像之像素組合。

已將此技術描述為使用一初始曝光及增加可針對HDR影像組合在一起之後續影像之曝光時間。然而，亦可使用反向程序。初始影像可以具有一高曝光位準之一影像開始。接著，可擷取具有減少曝光之後續影像且將其與初始影像組合在一起以產生一輸出圖框之HDR影像。

圖5繪示此技術之模組可於其上執行之一計算器件510。圖中繪示技術之一高位準實例可於其上執行之一計算器件510。計算器件510可包含與記憶體器件520通信之一或多個處理器512。計算器件可包含計算器件之組件之一局部通信介面518。例如，局部通信介面可為一局部資料匯流排及/或如可期望之任何相關位址或控制匯流排。

記憶體器件520可含有可由該(等)處理器512執行之模組524及模組524之資料。模組524可執行先前所描述之功能。一資料儲存器522亦可用於儲存由模組使用之碼或資料。

其他應用亦可儲存於記憶體器件520中且可由該(等)處理器512執行。本描述中所討論之組件或模組可使用利用方法之一混合編譯、解譯或執行之高階程式語言以軟體之形式實施。

計算器件亦可存取可由計算器件使用之I/O (輸入/輸出)器件514。一I/O器件之一實例係可用於自計算器件顯示輸出之一顯示螢幕530。其他已知I/O器件可視需要計算器件一起使用。網路器件516及類似通信器件可包含於計算器件中。網路器件516可為連接至網際網路、一LAN、WAN或其他計算網路之有線或無線網路器件。

展示為儲存於記憶體器件520中之組件或模組可由處理器512執行。術語「可執行」可意謂呈可由一處理器512執行之一形式之一程式檔案。例如，依一較高階語言之一程式可編譯為以可負載記憶體器件520之一隨機存取部分且由處理器512執行之一格式之機器碼或可由另一可執行程式負載且經解譯以在記憶體之一隨機存取部分中產生待有一處理器執行之源碼。可執行程式可儲存於記憶體器件520之任何部分或組件中。例如，記憶體器件520可為隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快閃記憶體、一固態驅動器、記憶卡、一硬碟、光碟、軟碟、磁帶或任何其他記憶體組件。

處理器512可表示多個處理器且記憶體520可表示並行操作至處理電路之多個記憶體單元。此可在系統之程序及資料中提供並行處理通道。局部介面518可用作為一網路以促進多個處理器與多個記憶體之任何者之間的通信。局部介面518可適應經設計以協調通信(諸如負載平衡、大量資料傳送)之額外系統及類似系統。

儘管針對此技術呈現之流程圖可隱含一特定執行順序，但執行之順序可不同於圖中所繪示之順序。例如，兩個以上區塊之順序可相對於圖中所展示之順序重新配置。此外，依序展示之兩個或兩個以上區塊可並行或伴隨部分平行化來執行。在一些組態中，可忽略或略過流程圖中所展示之一或多個區塊。任何數目個計數器、狀態變數、警告旗號或訊息可為了增強效用、計數、效能、量測、故障排除或為了類似原因而添加至邏輯流程。

本說明書中所展示之一些功能單元已標記為模組以更特定言之強調功能單元之實施獨立性。例如，一模組可實施為包括客製VLSI電路或閘陣列、諸如邏輯晶片、電晶體或其他離散組件之現成半導體之一硬體電路。一模組亦可在諸如場可程式化閘陣列、可程式化陣列邏輯、可程式化邏輯器件或其類似者之可程式化硬體器件中實施。

模組亦可在用於由各種類型之處理器執行之軟體中實施。可執行碼之一識別模組可(例如)包括可組織為一物件、程序或功能之電腦指令之一或多個區塊。然而，一識別模組之可執行不需要實體上定位在一起，但可包括具有該模組且當邏輯上結合在一起時達成該模組之所述目的之儲存於不同位置中之差別指令。

實際上，可執行碼之一模組可為一單一指令，或許多指令，且甚至可分佈於不同程式中且跨越若干記憶體器件之若干不同碼片段上。類似地，操作資料可在本文中識別及繪示於模組內，且可以任何適合形式體現且組織於任何適合類型之資料結構內。操作資料可收集為一單一資料集，或可分佈於不同位置上(包含不同儲存器件上)。模組可係被動或主動，包含可操作以執行所要功能之代理商。

此處所描述之技術亦可儲存於包含使用用於資訊(諸如電腦可讀指令、資料結構、程式模組或其他資料)之儲存之任何技術實施之揮發性或非揮發性、可移除或非可移除媒體之一電腦可讀儲存媒體上。電腦可讀儲存媒體包含(但不限於) RAM、ROM、EEPROM、快閃記憶體或其他記憶體技術、CD-ROM、數位多功能光碟(DVD)或其他光學儲存器、磁帶盒、磁帶、磁碟儲存器或其他磁性儲存器件或可用於儲存所要資訊及所描述之技術之任何其他電腦儲存媒體。

本文所描述之器件亦可含有通信連接或網路裝置及允許器件與其他器件通信之網路連接。通信連接係通信媒體之一實例。通信媒體通常體現電腦可讀指令、資料結構、程式模組及諸如一載波或其他傳送機構之一調變資料信號中之其他資料且包含任何資訊輸送媒體。一「調變資料信號」意謂具有其特性集之一或多者或依一用於編碼信號中之資訊之方式改變之一信號。舉實例而言(但不限於)，通信媒體包含諸如一有線網路或直接有線連接之有線媒體及諸如聲波、射頻、紅外線及其他無線媒體之無線媒體。術語電腦可讀媒體(如本文所使用)包含通信媒體。

參考圖式中所繪示之實例，且特定語言在本文中用於描述圖式中所繪示之實例。然而，應理解藉此不期望本技術之範疇之限制。熟習相關技術者將想起且占有本發明之本文所繪示之圖之替代及進一步修改及如本文所繪示之實例之額外應用被視為在本描述之範疇內。

另外，在一或多個實例中，所描述之特徵、結構或特性可以任何適合方式組合。在先前描述中，提供數種具體細節(諸如各種組態之實例)以提供所描述之技術之實例之一透徹理解。然而，熟習相關技術者將認識到可在無需具體細節之一或多者之情況下或使用其他方法、組件、器件等等實踐本技術。在其他例項中，熟知結構或操作不詳細展示或描述以避免致使本技術之態樣不清楚。

儘管已以特定於結構特徵及/或操作之語言描述標的，但應理解界定於隨附申請專利範圍中之標的不必要受限於上述特定特徵及操作。確切而言，上述特定特徵及行為揭示為實施申請專利範圍之實例性形式。可在不背離所描述之技術之精神及範疇之情況下擬出數種修改及替代配置。

102‧‧‧系統

104‧‧‧載具

110‧‧‧影像感測器

112‧‧‧第一影像/第二影像

120‧‧‧飽和度檢查模組

122‧‧‧局部邊緣估計模組

124‧‧‧組合器模組

126‧‧‧累積記憶體

128‧‧‧高動態範圍(HDR)輸出圖框

130‧‧‧處理器/圖框緩衝器

132‧‧‧顯示器件

200‧‧‧拜耳影像圖案

310‧‧‧初始曝光影像

320‧‧‧增加曝光影像

330‧‧‧高動態範圍(HDR)影像

410‧‧‧區塊

420‧‧‧區塊

430‧‧‧區塊

440‧‧‧區塊

450‧‧‧區塊

510‧‧‧計算器件

512‧‧‧處理器

514‧‧‧I/O (輸入/輸出)器件

516‧‧‧網路器件

518‧‧‧局部通信介面

520‧‧‧記憶體器件

522‧‧‧資料儲存器

524‧‧‧模組

530‧‧‧顯示螢幕

圖1A係繪示用於產生時間多工、高動態範圍影像之一系統之一實例之一方塊圖。

圖1B係繪示用於產生輸出至一圖框緩衝器之時間多工、高動態範圍影像之一系統之一實例的一方塊圖。

圖1C係繪示用於產生使用自有人或無人載具擷取之影像之時間多工、高動態範圍影像之一系統之一實例的一方塊圖。

圖2係儲存於可由用於產生時間多工、高動態範圍影像之一影像感測器擷取之一拜耳(Bayer)色彩空間中之一影像之一部分的一圖。

圖3係繪示一初始曝光及具有可組合以產生一HDR影像之增加曝光之一影像之一實例的一流程圖。

圖4係繪示用於產生時間多工、高動態範圍影像之操作之一實例之一流程圖。

圖5係提供用於可用於本發明中之一計算器件之一實例性繪示之一方塊圖。

Claims

一種用於產生一時間多工、高動態範圍影像之方法，其包括：獲得自一影像感測器擷取之具有一基底曝光位準之一第一影像；將該第一影像儲存於一累積記憶體中；獲得具有相較於該基底曝光位準之一修改曝光位準之一第二影像；判定該第二影像中之傳入像素之一飽和度位準是否超過一飽和度臨限值；及組合具有低於該飽和度臨限值之飽和度之該第二影像之該等傳入像素與該第一影像之儲存像素以形成待儲存於該累積記憶體中之該高動態範圍影像。
如請求項1之方法，其進一步包括藉由發現接近一傳入像素之像素之一局部最大強度值而估計一像素之飽和度。
如請求項1之方法，其進一步包括藉由使用除接近該傳入像素之像素之外之該傳入像素而估計一像素之飽和度。
如請求項1之方法，其進一步包括：判定該第一影像中之一局部像素群組之一第一局部邊緣估計；判定該第二影像中之一第二局部像素群組之一第二局部邊緣估計；比較該第一局部邊緣估計與該第二局部邊緣估計以判定該局部像素群組與該第二局部像素群組之間是否存在移動；及當移動低於一移動臨限值時，組合該第二影像之該等像素與該第一影像之該等像素。
如請求項1之方法，其中組合該第一影像之傳入像素與該第二影像之儲存像素之該步驟進一步包括平均化來自該第二影像之傳入像素以及該第一影像之該等儲存像素。
如請求項1之方法，其進一步包括：獲得與一輸出圖框速率相關聯之各輸出圖框之N個影像；及將該N個影像之像素組合在一起以選擇性地形成該高動態範圍影像。
如請求項6之方法，其進一步包括依越來越大的曝光位準獲得該N個影像。
如請求項1之方法，其進一步包括自係一ROIC (讀出積體電路)或一CMOS (互補金屬氧化物半導體)感測器之該影像感測器獲得該第一影像。
如請求項1之方法，其進一步包括以一拜耳影像格式、一強度格式或一原始影像感測器格式儲存該第一影像及第二影像。
如請求項1之方法，其中組合該第一影像及該第二影像之該步驟進一步包括使用一非線性組合將該第二影像之傳入像素與該第一影像之儲存像素組合在一起。
如請求項1之方法，其中針對來自該影像感測器之輸出圖框設定一輸出圖框速率且該影像感測器依該輸出圖框速率之N倍操作以擷取該輸出圖框速率之N倍之影像。
如請求項1之方法，其進一步包括將該高動態範圍影像發送至一圖框緩衝器記憶體及用於顯示之顯示器件。
一種非暫時性機器可讀儲存媒體，該非暫時性機器可讀儲存媒體具有體現於其上之指令，當執行時，該等指令引起一處理器產生時間多工之高動態範圍影像，該等指令包括：獲得自一攝影機擷取之具有一基底曝光位準之一第一影像；將該第一影像儲存於一累積記憶體中；獲得具有相較於該基底曝光位準之一增加曝光位準之一第二影像；檢查該第二影像中之傳入像素之一飽和度位準是否超過一飽和度臨限值；判定該第一影像中之一界定位置中之一局部像素群組之一第一局部邊緣估計；判定該第二影像中之該界定位置中之一第二局部像素群組之一第二局部邊緣估計；比較該第一局部邊緣估計與該第二局部邊緣估計以識別高於擷取該第一影像及該第二影像之間的該局部像素群組及該第二局部像素群組中之一移動臨限值之移動；及組合其中移動低於該移動臨限值且尚未超過該飽和度臨限值之該累積記憶體中之該第二影像之該等傳入像素與該第一影像之儲存像素。
如請求項13之非暫時性機器可讀儲存媒體，其中組合該第一影像之該等傳入像素與該第二影像之該等儲存像素之該步驟進一步包括平均化來自該第二影像以及該第一影像之像素。
如請求項13之非暫時性機器可讀儲存媒體，其中組合該第一影像之該等傳入像素與該第二影像之該等儲存像素之該步驟進一步包括使用一非線性計算將來自該第二影像之傳入像素與該第一影像之儲存像素組合在一起。
如請求項13之非暫時性機器可讀儲存媒體，其中存在來自該攝影機之輸出圖框之一輸出圖框速率且該攝影機依該輸出圖框速率之N倍操作以擷取該輸出圖框速率之N倍之影像以形成經組合以形成一高動態範圍影像之輸出影像之一資料集。
如請求項13之非暫時性機器可讀儲存媒體，其進一步包括獲得依一輸出圖框速率擷取之輸出圖框之N個影像。
如請求項17之非暫時性機器可讀儲存媒體，其進一步包括藉由判定接近及包含經處理之一傳入像素之像素之強度之一局部最大值而估計該第一影像或第二影像中之一像素之飽和度。
一種用於產生時間多工之高動態範圍影像之系統，其包括：一攝影機，其用於擷取具有一基底曝光位準之一第一影像；一累積記憶體，其與該攝影機通信以將該第一影像儲存於該累積記憶體中；一處理器，其經組態以：自該攝影機獲得一第二影像，其中該第二影像具有相較於該基底曝光位準之一增加曝光位準；檢查該第二影像中之傳入像素之相較於一飽和度臨限值之一飽和度；判定該第一影像中之一局部像素群組之一第一局部邊緣估計；判定該第二影像中之一第二局部像素群組之一第二局部邊緣估計；比較該第一局部邊緣估計與該第二局部邊緣估計以判定移動是否發生在該第一影像之該局部像素群組與該第二影像之該第二局部像素群組之間；及組合該第二影像之該等傳入像素與該第一影像之該等各自像素以形成一高動態範圍影像，其中移動未發生在該局部像素群組與該第二局部像素群組之間且該等傳入像素未飽和。
如請求項19之系統，其進一步包括：一圖框緩衝器，其經組態以自該累積記憶體接收該高動態範圍影像；及一顯示器件，其與該圖框緩衝器通信以輸出用於觀看之該高動態範圍影像。