TWI518636B - 寬動態影像的拍攝方法 - Google Patents

Description

寬動態影像的拍攝方法

本發明係關於一種寬動態影像的拍攝方法，特別有關於一種應用在攝像裝置對拍攝場景進行拍攝的寬動態影像的拍攝方法。

在高反差照明、強逆光、眩光與反光的狀況下(高亮度區域與亮度較低的區域同時存在)，傳統的攝像裝置因影像感應器(image sensor)的感光特性有所限制，使其拍攝的影像往往會出現高亮度區域因曝光過度成為白色，而亮度較低的區域因曝光不足成為黑色，進而嚴重影響影像品質。

為了改善上述問題，傳統的攝像裝置會採取背光補償(back light control)模式，使得亮度較低的區域變亮，但由於整體的亮度會一起變亮，所以存在有高亮度區域過度曝光的問題。

針對這種情況，寬動態攝影技術應運而生。目前用以解決上述問題的寬動態攝影技術主要係實作於影像感測器模組端，使影像感應器上的每一像素在單位時間內曝光兩次(一次短曝光，一次長曝光)，數位訊號處理器(digital signal processor,DSP)將這些資料加以運算而獲得輸出影像，或是由非線性之類比數位轉換的技術得到寬動態影像訊號。

但上述技術存在有影像感測器模組的成本太貴以及現有攝影裝置必須重新更換影像感測器模組方能具有寬動態攝影技術的問題。

鑒於以上的問題，本發明在於提供一種寬動態影像的拍攝方法，以供使用者利用既有的攝像裝置即可獲得寬動態影像。

本發明所揭露之寬動態影像的拍攝方法包括以下步驟：調整一拍攝參數，拍攝一第一影像。調整拍攝參數，另拍攝一第二影像。調整 第一影像的亮度，包括：將第一影像中符合一第一條件門檻判斷規則的像素集合定義為一第一目標區域；以及將第一目標區域的像素進行同值化處理，使得第一目標區域所包含的像素被設定成相同灰階值。調整第二影像的亮度，包括：將第二影像中符合一第二條件門檻判斷規則的像素集合定義為一第二目標區域；以及將第二目標區域的像素進行同值化處理，使得第二目標區域所包含的像素被設定成相同灰階值。輸出第一影像與第二影像。

綜上所述，寬動態影像的拍攝方法可讓使用者利用現有的攝像裝置以不同拍攝參數獲得第一影像與第二影像，進而使攝像裝置所拍攝之具有不同亮度的物體都能在顯示裝置的顯示畫面中清楚地被使用者看到，而不用花錢重新更換攝像裝置或其影像感測器模組。

30‧‧‧攝像裝置

31‧‧‧輸出單元

32‧‧‧儲存單元

34‧‧‧處理單元

40‧‧‧影像擷取器

42‧‧‧顯示裝置

44‧‧‧解碼單元

第1圖係為應用本發明所揭露之寬動態影像的拍攝方法的一實施範例之攝像裝置之方塊示意圖。

第2圖係為第一實施範例之寬動態影像的拍攝方法之流程示意圖。

第3圖係為一實施範例之第一影像之灰階值分佈與伽碼曲線圖。

第4圖係為一實施範例之步驟S130流程示意圖。

第5圖係為一實施範例之第二影像之灰階值分佈與伽碼曲線圖。

第6圖係為一實施範例之步驟S140流程示意圖。

第7圖係為第二實施範例之寬動態影像的拍攝方法之流程示意圖。

第8圖係為第三實施範例之寬動態影像的拍攝方法之流程示意圖。

第9圖係為第四實施範例之寬動態影像的拍攝方法之流程示意圖。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。

請先參照「第1圖」，其係為應用本發明所揭露之寬動態影 像的拍攝方法的一實施範例之攝像裝置之方塊示意圖。攝像裝置30包括一輸出單元31、一儲存單元32、一處理單元34以及一影像擷取器40。其中輸出單元31電性連接儲存單元32，輸出單元31電性連接處理單元34，處理單元34電性連接影像擷取器40，影像擷取器40電性連接儲存單元32，儲存單元32電性連接處理單元34。儲存單元32可以是快取記憶體(Cache memory)、隨機存取記憶體(Random access memory，RAM)、快閃記憶體(flash memory)或是硬碟。處理單元34可用以執行寬動態影像的拍攝方法。影像擷取器40可以例如是一組鏡頭加上電荷耦合元件(Charge-coupled Device，CCD)或互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor，CMOS)組成之影像感應器(Image sensor)。

根據一實施範例，影像擷取器40所擷取的第一影像與第二影像可被儲存在儲存單元32，處理單元34執行寬動態影像的拍攝方法後的影像可透過輸出單元31輸出。

攝像裝置30的輸出單元31可以連接到一顯示裝置42，以使顯示裝置42顯示處理單元34執行寬動態影像的拍攝方法後的影像。輸出單元31可為網路(Network)單元，並透過網路連到一伺服器或一遠端顯示裝置，以增加攝像裝置30的使用彈性。

此外，攝像裝置30可以應用於採用多媒體串流(multimedia stream)技術的安全監控產品，例如網路攝影機(Internet Protocol camera，IP camera)。

請參照「第2圖」，其係為第一實施範例之寬動態影像的拍攝方法之流程示意圖。首先，處理單元34調整一拍攝參數，拍攝一第一影像(步驟S110)。接著，處理單元34調整該拍攝參數，另拍攝一第二影像(步驟S120)。處理單元34調整拍攝第一影像或第二影像所需之拍攝參數後，控制影像擷取器40拍攝第一影像或第二影像，影像擷取器40所拍攝的第一影像與第二影像儲存於儲存單元32。其中，拍攝參數係為一快門參數、一光圈參數或一亮度增益。在本實施範例中，拍攝第一影像與第二影像的拍攝參數可為處理單元34執行之演算法預設的快門參數、光圈參數或亮度增益，亦可為處理單元34根據取得影像之整體亮度(Institute of Radio Engineers，IRE)動態調整的快門參數、光圈參數或亮度增益，且拍攝第一影像的拍攝參數可為整體亮度一般(例如50 IRE)的快門參數、光圈參數或亮度增益，拍攝第二影像的拍攝參數可為增加整體亮度(例如70 IRE)的快門參數、光圈參數或亮度增益，但本實施範例並非用以限定本發明。

請參照「第3圖」，其係為一實施範例之第一影像之灰階值分佈與伽碼曲線圖。其中，「第3圖」左邊的縱軸代表橫軸之輸入灰階值經過伽碼曲線調整後的輸出灰階值，橫軸代表輸入灰階值，右邊的縱軸代表第一影像中各個灰階值之像素個數。舉例而言，原始的第一影像之各個像素的灰階值數量分布即以「第3圖」的點線表示。處理單元34在接收到影像擷取器40所拍攝的第一影像後，處理單元34依據預設的伽碼曲線函數(虛線)，給予第一影像之各像素新的數值。在本實施範例中，原始伽碼值為1，新的對應函數線(虛線)將低亮度的像素的亮度值全數設為0。例如：將灰階值為0至10的像素亮度值全數設為0。輸入灰階值與輸出灰階值的範圍係可分別為0至255(即具有八位元)或0至1023(即具有十位元)。可應用不同的函數以對應輸入灰階值而輸出新的灰階值。例如：輸入灰階值由11至255重新對應為1至255。

處理單元34依據先前定義之函數，調整第一影像的亮度(步驟S130)。請參照「第4圖」，其係為一實施範例之步驟S130流程示意圖。步驟S130可包括：將第一影像中符合第一條件門檻判斷規則的像素集合定義為第一目標區域(步驟S202)、將第一目標區域的像素進行同值化處理，使得第一目標區域所包含的像素被設定成相同灰階值(步驟S204)以及將第一目標區域外的像素亮度區間擴張，並依擴張後的區間調整第一目標區域外的像素亮度(步驟S206)。在本實施範例中，第一條件門檻係可為亮度所構成，第一條件門檻可為預設灰階值或使用者自行設定的灰階值。

更詳細地說，請參照「第3圖」與「第4圖」，處理單元34藉由第一條件門檻所設定的灰階值(例如：「第3圖」的灰階值T，其中灰階值T可為但不限於輸入灰階值之最大灰階值的百分之四或百分之八，在本實施範例中灰階值T可為10)調整預設曲線(由「第3圖」的粗實線改為虛線，即輸出輸入值的對應由粗實線改為虛線)，以將第一目標區域的像 素進行同值化處理，使得第一目標區域所包含的像素被設定成相同灰階值。此外，當調整預設之曲線後，第一目標區域外的像素亮度做區間擴張(例如：輸入的像素灰階值的範圍由原本的11至255擴張為1至255)。在本實施範例中，第一目標區域的像素係為所有灰階值小於或等於灰階值T的像素，處理單元34執行步驟S130後，使得第一目標區域的像素之灰階值皆歸零(即為黑色)，但本實施範例並非用以限定本發明。

請參照「第5圖」，其係為一實施範例之第二影像之灰階值分佈與伽碼曲線圖。其中，「第5圖」左邊的縱軸代表橫軸之輸入灰階值經過函數調整後的輸出灰階值，橫軸代表輸入灰階值，右邊的縱軸代表第二影像中各個灰階值之像素個數。處理單元34在接收到影像擷取器40所拍攝的第二影像後，處理單元34依據預設的伽碼曲線函數(虛線)，給予第二影像之像素新的數值。舉例而言，原始的第二影像之各個像素的灰階值數量分布即以「第5圖」的點線表示。在本實施範例中，原始伽碼值為1，新的對應函數線(虛線)將高亮度的像素的亮度值全數設為0。輸入灰階值與輸出灰階值的範圍係可分別為0至255(即具有八位元)或為0至1023(即具有十位元)。可應用不同的函數以對應輸入灰階值而輸出新的灰階值。例如：輸入灰階值由0至235重新對應為0至254。

處理單元34依據先前定義之函數，調整第二影像的亮度(步驟S140)。請參照「第6圖」，其係為一實施範例之步驟S140流程示意圖。步驟S140可包括：將第二影像中符合第二條件門檻判斷規則的像素集合定義為第二目標區域(步驟S302)、將第二目標區域的像素進行同值化處理，使得第二目標區域所包含的像素被設定成相同灰階值(步驟S304)以及將第二目標區域外的像素亮度區間擴張，並依擴張後的區間調整第二目標區域外的像素亮度(步驟S306)。在本實施範例中，第二條件門檻係可為亮度所構成，第二條件門檻可為預設灰階值或使用者自行設定的灰階值。

更詳細地說，請參照「第5圖」與「第6圖」，處理單元34藉由第二條件門檻所設定的灰階值(例如：「第5圖」的灰階值Q，其中灰階值Q可為但不限於輸入灰階值之最大灰階值的百分之九十六或百分之九十二，在本實施範例中灰階值Q可為236)調整預設曲線(由「第5圖」的 粗實線改為虛線，即輸出輸入值的對應由粗實線改為虛線)，以將第二目標區域的像素進行同值化處理，使得第二目標區域所包含的像素被設定成相同灰階值(本實施範例中為255)。此外，第二目標區域外的像素亮度做區間擴張(即輸入灰階值的範圍由原本的0至235擴張為0至254)，即利用虛線代表的函數調整輸入像素的灰階值由0至235對應輸出灰階值0至254)。

在本實施範例中，第二目標區域的像素係為所有灰階值大於或等於灰階值Q的像素，處理單元34執行步驟S140後，使得第二目標區域的像素之灰階值皆為255(即為白色)，但本實施範例並非用以限定本發明。

上述第一目標區域外的像素亮度區間與第二目標區域外的像素亮度區間之擴張係依據線性擴張的方式進行，以節省第一影像與第二影像壓縮的大小，但本實施範例並非用以限定本發明。舉例而言，第一目標區域外的像素亮度區間與第二目標區域外的像素亮度區間之擴張亦可依據非線性擴張的方式進行。處理單元34在執行步驟S130與步驟S140後，輸出第一影像與第二影像(步驟S150)。更詳細地說，處理單元34可將調整過的第一影像與第二影像輸出至輸出單元31，顯示裝置42可將輸出單元31所輸出的第一影像與第二影像各自或依序顯示出來，以使攝像裝置30所拍攝之具有不同亮度的物體都能讓使用者於顯示裝置42的顯示畫面中清楚地看到(即顯示裝置42可同時顯示輸出單元31所輸出的第一影像與第二影像或依序顯示輸出單元31所輸出的第一影像與第二影像)，但本實施範例並非用以限定本發明。

在一實施範例中，第一影像與第二影像之格式可能與顯示裝置42可顯示影像的格式不符，因此，處理單元34可於執行步驟S150之前將執行完步驟S130之第一影像與執行完步驟S140之第二影像利用不同的壓縮或編碼方式進行編碼，以將第一影像轉換成第一訊框(frame)以及將第二影像轉換成第二訊框，處理單元34再將第一訊框與第二訊框輸出至儲存單元32。其中，每經過一預定時間後輸出單元31將儲存於儲存單元32的所有第一訊框輸出一第一視訊以及將儲存於儲存單元32的所有第二訊框輸出一第二視訊。顯示裝置42的解碼單元44可將輸出單元31所輸出的第一 視訊與第二視訊進行解碼，使顯示裝置42將解碼的第一視訊與第二視訊各自顯示出來，進而使攝像裝置30所拍攝之具有不同亮度的物體都能讓使用者於顯示裝置42的顯示畫面中清楚地看到。

請參照「第7圖」，其係為第二實施範例之寬動態影像的拍攝方法之流程示意圖。處理單元34除了可執行上述步驟S110、步驟S120、步驟S130、步驟S140與步驟S150外，處理單元34另可判斷是否經過一預設週期(步驟S160)，當處理單元34判斷出經過一預設週期後，依序調整拍攝參數分別拍攝新的第一影像與第二影像、調整第一影像與第二影像的亮度、輸出第一影像與第二影像(即重新執行步驟S110至步驟S150)，使得第一影像與第二影像維持應有的整體亮度(IRE)，例如維持在50IRE及70IRE。其中，每經過一預定時間(時間可為0)後輸出單元31將儲存的所有第一影像輸出一第一視訊以及將儲存的所有第二影像輸出一第二視訊。顯示裝置42連接輸出單元31，因此每經過一預設週期顯示裝置42可同時顯示更新的第一影像與第二影像(即顯示裝置42顯示第一視訊與第二視訊)，但本實施範例並非用以限定本發明。

在一實施範例中，第一影像與第二影像之格式可能與顯示裝置42可顯示影像的格式不符，因此，處理單元34可在執行步驟S150之前將執行完步驟S130之第一影像與執行完步驟S140之第二影像利用不同的壓縮或編碼方式進行編碼，以將第一影像轉換成第一訊框(frame)以及將第二影像轉換成第二訊框，處理單元34再將第一訊框與第二訊框輸出至儲存單元32(以下簡稱為編碼步驟)。接著，處理單元34以步驟S160、步驟S110、步驟S120、步驟S130、步驟S140、編碼步驟與步驟S150的順序反覆執行。輸出單元31每經過一預定時間後將儲存於儲存單元32的所有第一訊框輸出一第一視訊以及將儲存於儲存單元32的所有第二訊框輸出一第二視訊。顯示裝置42的解碼單元44可將輸出單元31所輸出的第一視訊與第二視訊進行解碼，使顯示裝置42將解碼的第一視訊與第二視訊各自顯示出來，進而使攝像裝置30所拍攝之具有不同亮度的物體都能讓使用者於顯示裝置42的顯示畫面中清楚地看到。

請參照「第8圖」，其係為第三實施範例之寬動態影像的拍 攝方法之流程示意圖。在本實施範例中，處理單元34除了可執行上述步驟S110、步驟S120、步驟S130、步驟S140與步驟S150外，更可將第一影像與第二影像進行高動態(High Dynamic Range)合成處理，並輸出一完成影像(步驟S170)。更詳細地說，處理單元34可便利地捨棄亮度為最低(如：0)及最高(如：255)的像素，將調整過的第一影像與第二影像應用不同的權重合併成一完成影像，並輸出至輸出單元31，顯示裝置42可將輸出單元31之完成影像顯示出來，以使具有不同亮度的物體都能讓使用者清楚地看到(即顯示裝置42僅顯示完成影像)，但本實施範例並非用以限定本發明。請參照「第9圖」，其係為第四實施範例之寬動態影像的拍攝方法之流程示意圖。在本實施範例中，處理單元34可執行上述步驟S110、步驟S120、步驟S130、步驟S140、步驟S150與步驟S170後執行步驟S160，以輸出多個完成影像至輸出單元31。顯示裝置42可將暫存至輸出單元31之所有完成影像依照輸出至輸出單元31的時間(或影像擷取的時間)順序顯示出來，以使具有不同亮度的物體都能讓使用者清楚地看到(即顯示裝置42顯示所有完成影像所組成的視訊)，但本實施範例並非用以限定本發明。

在一實施範例中，第一影像與第二影像之格式可能與顯示裝置42可顯示影像的格式不符，因此，處理單元34可在執行步驟S150之前將執行完步驟S130之第一影像與執行完步驟S140之第二影像分別進行編碼，以將第一影像轉換成第一訊框(frame)以及將第二影像轉換成第二訊框，處理單元34再將第一訊框與第二訊框輸出至儲存單元32(以下簡稱為編碼步驟)。接著，處理單元34以步驟S150、步驟S160、步驟S170、步驟S110、步驟S120、步驟S130、步驟S140與編碼步驟的順序反覆執行。輸出單元31每經過一預定時間後將暫存的所有第一訊框輸出一第一視訊至顯示裝置42以及將暫存的所有第二訊框輸出一第二視訊至顯示裝置42。顯示裝置42的解碼單元44可將輸出單元31所輸出的第一視訊與第二視訊進行解碼，使顯示裝置42將解碼的第一視訊與第二視訊各自顯示出來，進而使攝像裝置30所拍攝之具有不同亮度的物體都能讓使用者於顯示裝置42的顯示畫面中清楚地看到。其中，顯示裝置42亦可在顯示訊框之前，自行合成第一訊框及第二訊框。

因此，寬動態影像的拍攝方法係應用在攝像裝置對拍攝場景進行拍攝，可讓使用者能藉由既有的攝像裝置獲得不同亮度的視訊，使不同亮度的物體都能在顯示裝置的顯示畫面中被使用者清楚地看到，藉以解決為了在高反差照明、強逆光、眩光與反光的狀況下獲得正常影像而需重新更換攝影裝置的問題。此外，藉由第一目標區域外的像素亮度區間與第二目標區域外的像素亮度區間之擴張可節省第一影像與第二影像壓縮的大小。

雖然本發明以前述之較佳實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

Claims (8)

1. 一種寬動態影像的拍攝方法，其係應用在一攝像裝置對一拍攝場景進行拍攝，該拍攝方法包括以下步驟：調整一拍攝參數，拍攝一第一影像；調整該拍攝參數，另拍攝一第二影像；調整該第一影像的亮度，包括：將該第一影像中符合一第一條件門檻判斷規則的像素集合定義為一第一像素集合；以及將該第一像素集合的像素進行同值化處理，使得該第一像素集合所包含的像素被設定成相同灰階值；調整該第二影像的亮度，包括：將該第二影像中符合一第二條件門檻判斷規則的像素集合定義為一第二像素集合；以及將該第二像素集合的像素進行同值化處理，使得該第二像素集合所包含的像素被設定成相同灰階值；以及輸出該第一影像與該第二影像。
2. 如請求項1所述之寬動態影像的拍攝方法，其中該拍攝參數係為一快門參數、一光圈參數或一亮度增益。
3. 如請求項1所述之寬動態影像的拍攝方法，另包括：每經過一預設週期後，依序調整該拍攝參數分別拍攝新的該第一影像與該第二影像。
4. 如請求項1所述之寬動態影像的拍攝方法，其中該第一條件門檻係為亮度所構成。
5. 如請求項1所述之寬動態影像的拍攝方法，其中調整該第一影像的亮度之步驟另包括：將該第一像素集合外的像素亮度區間擴張，並依擴張後的區間調整該第一像素集合外的像素亮度。
6. 如請求項1所述之寬動態影像的拍攝方法，其中該第二條件門檻係為亮度所構成。
7. 如請求項1所述之寬動態影像的拍攝方法，其中調整該第二影像的亮度之步驟另包括：將該第二像素集合外的像素亮度區間擴張，並依擴張後的區間調整該第二像素集合外的像素亮度。
8. 如請求項1所述之寬動態影像的拍攝方法，其中在輸出該第一影像與該第二影像的步驟後包括：將該第一影像與該第二影像進行高動態(High Dynamic Range)合成處理，並輸出一完成影像。