TWI604413B - 影像處理方法及影像處理裝置 - Google Patents

Description

影像處理方法及影像處理裝置

本案係關於一種影像處理方法及影像處理裝置，特別關係於一種即時取得擬高動態的影像處理方法及影像處理裝置。

近年來，攝影已成為現代人重要的興趣之一。無論是筆記型電腦的內建相機、平板電腦的內建相機或是手機的內建相機，人們對於隨時隨地想拍下美好事物的渴望越來越高。然而，並非任何時刻的環境都是適合拍照的。當週遭的光線不足、背光或環境亮度為高反差(環境中同時具有極高亮度及極低亮度的部份)，所拍攝出來的影像將會受限於相機本身的硬體，而無法呈現出當初的原貌。

在現有技術中，高動態範圍成像(High dynamic range；HDR)是用來實現比普通數位圖像技術更大曝光動態範圍的一種技術，其係藉由多種不同的曝光值進行拍攝並產生多張影像，再將這些不同曝光值的影像加以融合的方式，而輸出一張最佳化的影像。然而，多張影像除了占用較多的記憶空間之外，由於高動態範圍成像需採用多個曝光值，如此將會降低影像處理的速度。另外，高動態範圍成像所採用的方式，是在不同時間以不同曝光值，對同一個地點進行拍攝。若是拍攝時未搭配腳架或其它固定裝置，非常容易發生多張影像內容不一致，造成融合輸出的影像會有殘影或畫面不完整的問題。

本案提供一種影像處理方法，用於影像處理裝置。影像處理裝置包括攝像單元、控制單元、影像處理單元及記憶單元。影像處理方法包括以下步驟：藉由攝像單元取得一第一影像，其中控制單元調整攝像單元的曝光值，以控制第一影像的暗部平均亮度值及第一影像的對比度值； 影像處理單元依據第一影像及儲存於記憶單元中的一第一演算法產生一第二影像；影像處理單元依據第一影像及儲存於記憶單元中的一第二演算法產生一第三影像；以及影像處理單元依據第一影像的亮度值、第二影像的亮度值、第三影像的亮度值及一權重陣列產生一第四影像。

本案更提供一種影像處理裝置，包括一攝像單元、一控制單元、一影像處理單元及一記憶單元。攝像單元取得一第一影像。控制單元與攝像單元耦接，並調整攝像單元的曝光值，以控制第一影像的暗部平均亮度值及第一影像的對比度值。記憶單元與控制單元耦接。影像處理單元與攝像單元耦接，並依據第一影像及儲存於記憶單元中的一第一演算法產生一第二影像，及依據第一影像及儲存於記憶單元中的一第二演算法產生一第三影像。影像處理單元依據第一影像的亮度值、第二影像的亮度值、第三影像的亮度值及一權重陣列產生一第四影像。

11、21‧‧‧影像處理裝置

111、211‧‧‧攝像單元

212‧‧‧控制單元

213‧‧‧影像處理單元

214‧‧‧記憶單元

215‧‧‧使用者操作介面

S01~S04‧‧‧步驟

圖1為本案一實施例之一種影像處理裝置之外觀示意圖。

圖2為本案一實施例之一種影像處理裝置之內部結構示意圖。

圖3為本案一實施例之一種影像處理方法之流程圖。

以下將參照相關圖式，說明依本發明較佳實施例之一種影像處理方法及影像處理裝置，其中相同的元件將以相同的參照符號加以說明。

圖1為本案一實施例之一實施例之影像處理裝置之外觀示意圖。請參照圖1所示，在本實施例中，影像處理裝置11為搭載有攝像單元111的平板電腦。然，本發明不以此為限。在其它的實施態樣中，影像處理裝置亦可為筆記型電腦、智慧型手機、多媒體影音裝置、可攜式電玩裝置或其它搭載有相機鏡頭的可攜式電子裝置。除此之外，影像處理裝置也可以是用於監控之監控設備或保全攝影系統之固定設置形式的電子裝置或系統。

請參照圖2，其係為本案一實施例之一種影像處理裝置之內部結構示意圖。影像處理裝置21包括一攝像單元211、一控制單元212、 一影像處理單元213及一記憶單元214。攝像單元211係依據使用者的操作取得一第一影像。控制單元212與攝像單元211耦接，並調整攝像單元211的曝光值(Exposure Value)，以控制第一影像的暗部平均亮度值及第一影像的對比度值。

詳細來說，控制單元212控制攝像單元211的曝光值，以使攝像單元211所取得之第一影像的暗部平均亮度值介於30至40之間，並使第一影像的對比度值介於攝像單元211之內建對比度值的80%至90%之間。其中，透過上述參數所產生之第一影像將有利於後續的影像處理。

影像處理單元213與攝像單元211耦接，記憶單元214與控制單元212及影像處理單元213耦接。影像處理單元213依據攝像單元211所取得之第一影像及儲存於記憶單元214中的一第一演算法產生一第二影像，以及依據第一影像及儲存於記憶單元214中的一第二演算法產生一第三影像。此外，影像處理單元213將依據第一影像的亮度值、第二影像的亮度值、第三影像的亮度值及一權重陣列產生一第四影像。在本實施例中，影像處理單元213依據儲存於記憶單元214中的第一演算法調高第一影像的各畫素的亮度，而產生第二影像，且影像處理單元213依據儲存於記憶單元214中的第二演算法調高第一影像的對比度，特別是調高區域畫素之對比度，以產生該第三影像。

於本實施例中，是以控制單元212和影像處理單元213為兩個分離設置的元件進行說明，但在其他的實施態樣中，控制單元212和影像處理單元213將可依據電路的佈局和設計而整合為一個單一構件。

此外，在本實施例中，權重陣列為儲存於記憶單元214的一預設權重陣列。其中，權重陣列可為儲存於記憶單元214中的一組數值，例如是：〔1/3，1/3，1/3〕。需特別說明的是，記憶單元214中所儲存的權重陣列的數量係可依據產品的需求及影像處理的設計，而儲存一組權重陣列或多組的權重陣列。當記憶單元214中儲存有多組的權重陣列時，影像處理單元213將可依據拍照模式的不同，而選擇不同的權重陣列。舉例來說，影像處理裝置21更可具有一使用者操作介面215，其係可提供多種拍攝模式給使用者進行選擇，例如是：夜間模式、煙火模式、戶外日光模式 或戶外人工光源模式等，且記憶單元214係對應前述之不同的拍攝模式而具有不同的權重陣列。當使用者選擇其中一種拍攝模式時，影像處理單元213即會從記憶單元214中選取相對應的權重陣列。另外，影像處理裝置21還可包含一感測單元(圖未顯示)，其係可感測外部環境的條件，例如是前景的亮度與背景的亮度，並將所感測的結果提供至影像處理單元213，以使影像處理單元213依據感測結果自行選取一組權重陣列。此外，在其他的實施態樣中，權重陣列也可為一外部輸入的權重陣列，亦即，使用者可透過使用者操作介面215輸入所需之權重陣列，從而使得使用者可依其需求和喜好調整影像之效果。

接著，請參照圖3的流程圖，並搭配圖2所示，以說明本案較佳實施例的影像處理方法，其係可應用於上述之影像處理裝置21。影像處理方法的步驟係包括步驟S01~S04。步驟S01係藉由攝像單元211取得一第一影像，其中控制單元212調整攝像單元211的曝光值，以控制第一影像的暗部平均亮度值及第一影像的對比度值。

詳細來說，控制單元212控制攝像單元211的曝光值，以使第一影像的暗部平均亮度值介於30至40之間，並使第一影像的對比度值介於攝像單元211之內建對比度值的80%至90%之間。在本實施例中，係透過控制單元212控制攝像單元211的攝影參數，從而產生利於後續影像處理之第一影像。

步驟S02係由影像處理單元213依據第一影像及儲存於記憶單元214中的一第一演算法產生一第二影像。在本實施例中，當攝像單元211取得一張較佳的第一影像後，將會將其暫時儲存在記憶單元214中。於此同時，影像處理單元213將會透過第一演算法針對第一影像進行處理。其中，影像處理單元213將依據第一演算法調高第一影像的各畫素的亮度，而產生第二影像。在實施上，影像處理單元213係可依據第一影像之各畫素之原始亮度之值，而有不同比例的調整，例如是當畫素之原始亮度等於或小於一預設值時，則進行第一函式(function)的運算，給予較高的亮度調整比例，而當畫素之原始亮度是大於此預設值時，則使用第二函數運算，給予較低之亮度調整比例。另外，前述之第一演算法也可以是針對第一影 像之各畫素的原始亮度皆採用相同的運算函式，以調高各畫素的亮度。在本實施例中，第一演算法可例如是寬動態範圍成像(Wide dynamic range；WDR)演算法，且經影像處理單元213處理而產生之第二影像將可暫存於記憶單元214。

步驟S03係由影像處理單元213依據第一影像及儲存於記憶單元214中的一第二演算法產生一第三影像。在本實施例中，影像處理單元213將藉由第二演算法針對第一影像進行處理，以調高第一影像的對比度，特別是調高(強化)第一影像之區域對比度，並產生第三影像。其中，影像處理單元213係可分析第一影像之前景的亮度與背景的亮度，並調整前景亮度與背景亮度之比值，且第二演算法可例如是對比度限制直方圖均衡化(Contrast-Limited Adaptive Histogram Equalization；CLAHE)演算法，而經影像處理單元213處理而產生之第三影像將可暫存於記憶單元214。此時，記憶單元214中將儲存有第一影像、第二影像及第三影像等資料。

步驟S04係由影像處理單元213依據第一影像的亮度值、第二影像的亮度值、第三影像的亮度值及一權重陣列產生一第四影像。在本實施例中，影像處理單元213將第一影像、第二影像及第三影像從記憶單元214中提取出來，並依據儲存於記憶單元214之權重陣列，對第一影像的亮度、第二影像的亮度及第三影像的亮度進行權重計算，以獲得三者混合後的第四影像。舉例來說，當儲存於記憶單元214之權重陣列，例如是〔1/3，1/3，1/3〕，並假設第一影像的亮度值為40、第二影像的亮度值為100及第三影像的亮度值為80，經由前述之權重陣列計算後，第四影像的亮度值則為70(40×1/3+100×1/3+80×1/3=70)。惟，以上所述之數值及計算方式是針對第一影像、第二影像與第三影相之間相對應的畫素(Pixel)進行運算。將各影像中所有的畫素經上述之權重計算後，即可產生第四影像，而第四影像也就是經本實施例所述之影像處理方法所處理完成的擬高動態範圍影像。另外，第四影像將可透過影像處理單元213輸出至一顯示單元(圖未顯示)，以提供使用者觀賞或確認。在其他的實施態樣中，權重陣列將可為一外部輸入的權重陣列，亦即，使用者可透過使用者操作介面 215輸入所需之權重陣列。

此外，經由權重計算後所產生的第四影像，將可再進行其它細部的調整，例如：柔化程序、銳化程序或其它影像處理程序，使最終輸出的影像更加完美，並輸出至顯示單元。然，前述之進一步的影像調整或參數調數係可依照實際使用的情況，而有不同的額外處理程序，於本發明中並不加以為限。

需補充說明的是，上述的步驟中，步驟S02及步驟S03於實施上並無先後順序的限制。換言之，步驟S02可於步驟S03前先執行、或步驟S03可先於步驟S02執行或是步驟S02與步驟S03可同時進行。為了加速影像處理的速度，在本實施例中，是以步驟S02及步驟S03是同時進行為例。

綜上所述，因依據本案之一種影像處理方法及影像處理裝置，是藉由攝像單元取得一第一影像，且控制單元係調整攝像單元的曝光值，以控制第一影像的暗部平均亮度值及第一影像的對比度值，因而本發明的影像處理方法及影像處理方法僅需要拍攝一張原始影像，且原始影像是具有較佳的處理條件，因此能夠避免因拍攝多張不同曝光值的影像，而產生之佔用記憶體空間的問題，及避免因多張影像內容不一致，而導致輸出之影像不完整的問題，並同時達成即時產生擬高動態範圍影像。

以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例，當不能用於限制本發明之實施範圍。即凡依本發明申請範圍所作之均等變化與修飾等，皆應仍屬本發明之專利涵蓋範圍內。

S01~S04‧‧‧步驟

Claims (10)

1. 一種影像處理方法，用於一影像處理裝置，該影像處理裝置包括一攝像單元、一控制單元、一影像處理單元及一記憶單元，該影像處理方法包括以下步驟：藉由該攝像單元取得一第一影像，其中該控制單元調整該攝像單元的曝光值，以控制該第一影像的暗部平均亮度值及該第一影像的對比度值；該影像處理單元依據該第一影像及儲存於該記憶單元中的一第一演算法產生一第二影像；該影像處理單元依據該第一影像及儲存於該記憶單元中的一第二演算法產生一第三影像；以及該影像處理單元依據該第一影像的亮度值、該第二影像的亮度值、該第三影像的亮度值及一權重陣列產生一第四影像。
2. 如申請專利範圍第1項所述的影像處理方法，其中該控制單元調整該攝像單元的曝光值，使該第一影像的暗部平均亮度值介於30至40之間，並使該第一影像的對比度值介於該攝像單元之內建對比度值的80%至90%之間。
3. 如申請專利範圍第1項所述的影像處理方法，其中該影像處理單元依據該第一演算法調高該第一影像的各畫素的亮度，以產生該第二影像。
4. 如申請專利範圍第1項所述的影像處理方法，其中該影像處理單元依據該第二演算法調高該第一影像的區域對比度，以產生該第三影像。
5. 如申請專利範圍第1項所述的影像處理方法，其中該權重陣列為儲存於該記憶單元的一預設權重陣列。
6. 如申請專利範圍第1項所述的影像處理方法，其中該權重陣列為一外部輸入的權重陣列。
7. 如申請專利範圍第1項所述的影像處理方法，更包括以下步驟：對該第四影像執行柔化程序。
8. 如申請專利範圍第1項所述的影像處理方法，更包括以下步驟：對該第四影像執行銳化程序。
9. 一種影像處理裝置，包括：一攝像單元，其係取得一第一影像；一控制單元，與該攝像單元耦接，並調整該攝像單元的曝光值，以控制該第一影像的暗部平均亮度值及該第一影像的對比度值；一記憶單元，與該控制單元耦接；以及一影像處理單元，與該攝像單元及該記憶單元耦接，並依據該第一影像及儲存於該記憶單元中的一第一演算法產生一第二影像，及依據該第一影像及儲存於該記憶單元中的一第二演算法產生一第三影像；其中該影像處理單元依據該第一影像的亮度值、該第二影像的亮度值、該第三影像的亮度值及一權重陣列產生一第四影像。
10. 如申請專利範圍第9項所述的影像處理裝置，其中該控制單元調整該攝像單元的曝光值，使該第一影像的暗部平均亮度值介於30至40之間，並使該第一影像的對比度值介於該攝像單元之內建對比度值的80%至90%之間。