TW201533704A - 影像處理方法及影像處理裝置 - Google Patents

Abstract

本案揭示一種影像處理方法，用於一影像處理裝置，影像處理裝置包含一影像擷取單元、一影像處理單元、一影像辨識單元及一曝光調整單元，影像處理方法包括以下步驟：由影像擷取單元取得一第一影像，並透過影像處理單元產生第一影像之一第一暗部平均亮度值；由影像辨識單元辨識第一影像；當由第一影像中辨識出人臉時，則由影像處理單元產生一第一人臉平均亮度值，並依據第一暗部平均亮度值、第一人臉平均亮度值及一權重陣列產生一第一曝光值；以及由曝光調整單元依據第一曝光值調整第一影像的曝光。

Description

影像處理方法及影像處理裝置

本案係關於一種影像處理方法及影像處理裝置，特別關於一種可調整自動曝光值的影像處理方法及影像處理裝置。

近年來，拍照、攝影或視訊已成為現代人重要的活動之一。無論是筆記型電腦、平板電腦或是手機，都已配備有相機，顯見人們對於隨時隨地想拍下美好事物或進行視訊溝通的需求也越來越高。然而，並非任何時刻的環境都是適合拍照、攝影或視訊的。例如當週遭的光線不足、背光或環境亮度為高反差(環境中同時具有極高亮度及極低亮度的部份)，所得到的影像將會有所影響，而無法呈現出原貌。

在現有技術中，自動曝光大多沒有考慮影像的實際內容，其中，無論是用整個畫面去計算曝光值(即全域測光)或是用中央加權曝光等方式去計算曝光值，皆有可能使得影像或人臉的區域過暗或過亮而造成影像品質不佳。就算會針對人臉區域去計算自動曝光，當找不到人臉時(例如強烈的背光環境下)，現有的自動曝光技術依然無法得到較佳的影像品質。

本案提供一種影像處理方法，用於一影像處理裝置，影像處理裝置包含一影像擷取單元、一影像處理單元、一影像辨識單元及一曝光調整單元，影像處理方法包括以下步驟：由影像擷取單元取得一第一影像，並透過影像處理單元產生第一影像之一第一暗部平均亮度值；由影像辨識單元辨識第一影像；當由第一影像中辨識出人臉時，則由影像處理單元產生一第一人臉平均亮度值，並依據第一暗部平均亮度值、第一人臉平均亮度值及一權重陣列產生一第一曝光值；以及由曝光調整單元依據第一曝光 值調整第一影像的曝光。

另外，本案更提供一種影像處理裝置，包括一影像擷取單元、一影像處理單元、一影像辨識單元以及一曝光調整單元。影像擷取單元係取得一第一影像。影像處理單元與影像擷取單元耦接，並產生第一影像之一第一暗部平均亮度值。影像辨識單元與影像擷取單元及影像處理單元耦接，並辨識第一影像。曝光調整單元與影像處理單元耦接，並依據一第一曝光值調整第一影像的曝光。其中，當影像辨識單元由第一影像中辨識出人臉時，影像處理單元產生一第一人臉平均亮度值，並依據第一暗部平均亮度值、第一人臉平均亮度值及一權重陣列產生第一曝光值。

因此，於本案之影像處理方法及影像處理裝置中，是由影像擷取單元取得影像，並透過影像處理單元產生該影像之暗部平均亮度值，且由影像辨識單元辨識該影像。其中，當由第一影像中辨識出人臉時，則由影像處理單元產生人臉平均亮度值，並依據暗部平均亮度值、人臉平均亮度值及權重陣列產生曝光值，且由曝光調整單元依據曝光值調整該影像的曝光。藉此，可使影像中的人臉及暗部可呈現較多細節而得到較佳的影像品質。

2‧‧‧影像處理裝置

21‧‧‧影像擷取單元

22‧‧‧影像處理單元

23‧‧‧影像辨識單元

24‧‧‧曝光調整單元

25‧‧‧使用者操作介面

S01~S08‧‧‧步驟

圖1為本案一實施例之一種影像處理裝置的功能方塊示意圖。

圖2為本案一實施例之一種影像處理方法的步驟流程圖。

以下將參照相關圖式，說明依本發明較佳實施例之影像處理方法及影像處理裝置，其中相同的元件將以相同的參照符號加以說明。

請參照圖1所示，其為本案一實施例之一種影像處理裝置2的功能方塊示意圖。其中，影像處理裝置2可為搭載有一影像擷取單元(例如相機)之一平板電腦、一筆記型電腦、一智慧型手機、一多媒體影音裝置、一可攜式電玩裝置，或其它搭載有相機鏡頭的可攜式電子裝置。除此之外，影像處理裝置2也可以是用於監控之監控設備或保全攝影系統之固定設置形式的電子裝置或系統。

影像處理裝置2包含一影像擷取單元21、一影像處理單元22、一影像辨識單元23及一曝光調整單元24。另外，影像處理裝置2更可包含一記憶單元(圖未顯示)。

影像擷取單元21取得一影像(例如第一影像)，而影像處理單元22與影像擷取單元21耦接，並產生第一影像之一暗部(darker part)平均亮度值。影像辨識單元23分別與影像擷取單元21及影像處理單元22耦接。其中，影像辨識單元23可辨識影像，當影像辨識單元23由影像中辨識出人臉時(表示人臉的區域沒有太暗或太亮)，則影像處理單元22將產生一人臉平均亮度值。此時，影像處理單元22更依據影像的暗部平均亮度值、人臉平均亮度值及一權重陣列產生一曝光值，並產生一標籤值(label)，並設定為一第一參數值(例如將標籤值設定為1)。其中，權重陣列可為一預設權重陣列，且暗部平均亮度值的加權可大於人臉平均亮度值的加權，藉此，使影像中的人臉及暗部可呈現較多細節而得到較佳的影像品質。

另外，由於影像處理單元22產生之標籤值已設定為第一參數值，表示影像辨識單元23已於取得的第一影像中辨識出人臉；反之，若產生之標籤值並未設定為第一參數值(例如為一初始值0)，則表示影像辨識單元23未於影像擷取單元21所取得的影像中辨識出人臉。其中，無法由影像中辨識出人臉的可能為：逆光時臉太黑而無法辨識；取得影像太暗而無法辨識；或是前景(臉部)太亮，且背景太暗而無法辨識(亦即過度曝光)。值得一提的是，若標籤值一直都不是第一參數值時，則表示影像擷取單元21取得的所有第一影像中，影像辨識單元23都無法辨識出人臉。

於一實施例中，曝光調整單元24與影像處理單元22耦接。其中，當影像辨識單元23於影像中辨識出人臉時(即標籤值為第一參數值)，則曝光調整單元24將依據上述的曝光值調整影像的曝光，使影像得到較佳的顯示品質。

另外，若影像辨識單元23無法由該第一影像中辨識出人臉時，則標籤值不是第一參數值，曝光調整單元24將依據第一影像之暗部平均亮度值調整影像的曝光。藉此，可將影像的曝光調整成較亮(如果人臉 區域太暗)或較暗(如果人臉區域太亮)，使影像中的人臉及暗部可呈現較多細節而得到較佳的影像品質。

另外，如圖1所示，係以影像辨識單元23和影像處理單元22為兩個分離設置的元件進行說明，但在其他的實施態樣中，影像辨識單元23和影像處理單元22可依據電路的佈局和設計而整合為一個單一構件(例如為一控制單元)。此外，記憶單元分別與影像擷取單元21、影像處理單元22、影像辨識單元23及曝光調整單元24耦接。記憶單元可儲存影像擷取單元21所擷取的多個第一影像、該些影像的暗部平均亮度值、該些影像的人臉平均亮度值(如果影像中的人臉可辨識的話)、權重陣列及曝光值，以供影像處理單元22、影像辨識單元23或曝光調整單元24的存取。

此外，在本實施例中，權重陣列可為儲存於記憶單元中的一組數值，例如是：〔2/3，1/3〕或其它組合。需特別一提的是，記憶單元中所儲存的權重陣列的數量係可依據產品及影像處理的需求，而儲存一組權重陣列或多組的權重陣列。當記憶單元中儲存有多組的權重陣列時，影像處理單元22將可依據拍照模式的不同，而選擇不同的權重陣列。舉例來說，如圖1所示，影像處理裝置2更可具有一使用者操作介面25，其可提供多種拍攝模式給使用者進行選擇，例如是：夜間模式、煙火模式、戶外日光模式或戶外人工光源模式等，且記憶單元係對應前述之不同的拍攝模式而具有不同的權重陣列。當使用者選擇其中一種拍攝模式時，影像處理單元22即會從記憶單元中選取相對應的權重陣列進行計算。另外，影像處理裝置2更可包含一感測單元(圖未顯示)，其係可感測外部環境的條件，例如是前景的亮度與背景的亮度，並將所感測的結果提供至影像處理單元22，以使影像處理單元22依據感測結果自行選取一組權重陣列。此外，在其他的實施態樣中，權重陣列也可為一外部輸入的權重陣列，亦即，使用者可透過使用者操作介面25輸入所需之權重陣列，從而使得使用者可依其需求和喜好調整影像之效果。

此外，影像擷取單元21若依據使用者的操作取得另一影像(例如第二影像)時，影像處理單元22一樣可產生第二影像的暗部平均亮度值。當影像辨識單元23由第二影像中無法辨識出人臉，且標籤值為第一 參數值時(即已從之前的第一影像中辨識出人臉)，則影像處理單元22將依據第二影像的暗部平均亮度值、已辨識出人臉的第一影像之人臉平均亮度值及權重陣列產生第二曝光值，且曝光調整單元24將依據第二曝光值調整該第二影像的曝光，使第二影像可依據已辨識出人臉的第一影像之人臉平均亮度值調整其曝光而得到較佳的影像品質。另外，當影像辨識單元23由第二影像中無法辨識出人臉，且標籤值為非第一參數值時(即之前的影像都無法辨識出人臉)，則由曝光調整單元24將依據第二影像的暗部平均亮度值調整其曝光。

接著，請參照圖2的影像處理方法的步驟流程圖，並搭配圖1，以說明本案較佳實施例之影像處理方法。其中，影像處理方法可應用於上述之影像處理裝置2。

影像處理方法包括以下的步驟流程：首先，步驟S01為取得一影像，並產生該影像之暗部平均亮度值。於此，係藉由影像擷取單元21取得第一影像，並透過影像處理單元22產生影像之暗部平均亮度值。接著，進行步驟S02：辨識該影像。於此，係藉由影像辨識單元23辨識影像。之後，進行辨識人臉的步驟S03：可辨識出人臉？，若為是，則執行步驟S04：產生人臉平均亮度值，並依據暗部平均亮度值、人臉平均亮度值及權重陣列產生一曝光值，且產生一標籤值，為第一參數值。於此，係藉由影像處理單元22產生影像之人臉平均亮度值，並依據影像之暗部平均亮度值、影像之人臉平均亮度值及權重陣列產生第一曝光值。

另外，由於影像處理單元22已產生標籤值並設定為第一參數值，表示已於影像擷取單元21取得的影像中辨識出人臉。若標籤值非第一參數值，表示並未從影像中辨識出人臉(於初始應用本發明之影像處理方法，則可透過影像處理單元22將此情況的標籤值設定例如為0)。另外，權重陣列可為儲存於記憶單元中的一組數值，例如是：〔2/3，1/3〕或其它組合。記憶單元中所儲存的權重陣列的數量係可依據產品及影像處理的需求，而儲存一組權重陣列或多組的權重陣列。當記憶單元中儲存有多組的權重陣列時，影像處理單元22將可依據拍照模式的不同，而選擇不同的權重陣列。此外，在其他的實施態樣中，權重陣列也可為一外部輸入的權重 陣列，亦即，使用者可透過使用者操作介面25輸入所需之權重陣列，從而使得使用者可依其需求和喜好調整影像之效果。

於步驟S04中得到影像的曝光值之後，則進行步驟S08：依據該曝光值調整該影像的曝光。於此，係藉由曝光調整單元24依據上述之曝光值來調整像的曝光，藉此，可將影像的曝光調整成較亮(如果人臉區域太暗)或較暗(如果人臉區域太亮)，使影像中的人臉及暗部可呈現較多細節而得到較佳的影像品質。舉例來說，當儲存於記憶單元之權重陣列，例如是〔2/3，1/3〕，並假設第一影像的人臉平均亮度值為60、第一影像的暗部平均亮度值為36，經由前述之加權平均進行計算後，第一影像的第一曝光值則為：60×2/3+36×1/3=52，再由曝光調整單元24依據上述之曝光值(52)來調整第一影像的曝光。其中，第一曝光值52比第一影像原有的人臉平均亮度值60低，故為調暗。之後，再回到步驟S01以取得另一影像(例如第二影像)。

另外，於上述步驟S03中，若由該影像中無法辨識出人臉(否)，則執行步驟S05：確認標籤值是否為第一參數值。若標籤值非第一參數值(例如為初始值0)，則表示尚未於影像擷取單元21取得的影像中辨識出人臉，則執行步驟S06及步驟S08：將該影像的暗部平均亮度值指定為曝光值、及依據該曝光值調整該影像的曝光。於此，係將影像的暗部平均亮度值指定為曝光值，並由曝光調整單元24依據此曝光值(暗部平均亮度值)調整該影像的曝光。藉此，可將影像的曝光調整成較亮(如果人臉區域太暗)或較暗(如果人臉區域太亮)，使影像中的人臉及暗部可呈現較多細節而得到較佳的影像品質。之後，再重覆步驟S01。

另外，於上述的步驟S05中，若標籤值為第一參數值時，表示之前取得的影像已可辨識出人臉，故進行步驟S07及步驟S08：依據暗部平均亮度值、前一可辨識人臉影像的人臉平均亮度值及權重陣列產生一曝光值、及依據該曝光值調整影像的曝光，使現在的影像可依據前一個已辨識出人臉之影像的人臉平均亮度值調整其曝光而得到較佳的影像品質。之後，再重覆步驟S01。舉例而言，若之前的影像(例如第一影像)已可辨識出人臉(標籤值已為第一參數值)，而之後的影像(例如第二影像)無法 辨識出人臉，則可進行步驟S07：依據第二影像之暗部平均亮度值、第一影像之人臉平均亮度值及權重陣列產生曝光值。其中，若按照排序的先後順序(例如時間)，第二影像可為接續第一影像的下一影像，即第一影像、第二影像…)；或者第二影像也可為不接續第一影像之影像，例如其順序為：第一影像、第三影像、…、第二影像。不論第二影像與第一影像中夾置多少個影像(可為一或多)，該些影像均為不可辨識人臉之影像。

此外，影像處理方法的其它特徵可參照上述的說明，不再贅述。

綜上所述，本案之影像處理方法及影像處理裝置中，是由影像擷取單元取得影像，並透過影像處理單元產生該影像之暗部平均亮度值，且由影像辨識單元辨識該影像，其中，當由第一影像中辨識出人臉時，則由影像處理單元產生人臉平均亮度值，並依據暗部平均亮度值、人臉平均亮度值及權重陣列產生曝光值，且由曝光調整單元依據曝光值調整該影像的曝光。藉此，可使影像中的人臉及暗部可呈現較多細節而得到較佳的影像品質。

以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例，當不能用於限制本發明之實施範圍。即凡依本發明申請範圍所作之均等變化與修飾等，皆應仍屬本發明之專利涵蓋範圍內。

S01~S08‧‧‧步驟

Claims (10)

1. 一種影像處理方法，用於一影像處理裝置，該影像處理裝置包含一影像擷取單元、一影像處理單元、一影像辨識單元及一曝光調整單元，該影像處理方法包括以下步驟：由該影像擷取單元取得一第一影像，並透過該影像處理單元產生該第一影像之一第一暗部平均亮度值；由該影像辨識單元辨識該第一影像；當由該第一影像中辨識出人臉時，則由該影像處理單元產生一第一人臉平均亮度值，並依據該第一暗部平均亮度值、該第一人臉平均亮度值及一權重陣列產生一第一曝光值；以及由該曝光調整單元依據該第一曝光值調整該第一影像的曝光。
2. 如申請專利範圍第1項所述的影像處理方法，其中當由該第一影像中辨識出人臉時，該影像處理方法更包括：由該影像處理單元產生一標籤值並設定為一第一參數值。
3. 如申請專利範圍第2項所述的影像處理方法，更包括：由該影像擷取單元取得一第二影像，並透過該影像處理單元產生該第二影像之一第二暗部平均亮度值；由該影像辨識單元辨識該第二影像；當由該第二影像中無法辨識出人臉，且該標籤值為該第一參數值時，則由該影像處理單元依據該第二暗部平均亮度值、該第一人臉平均亮度值及該權重陣列產生一第二曝光值；及由該曝光調整單元依據該第二曝光值調整該第二影像的曝光。
4. 如申請專利範圍第3項所述的影像處理方法，其中當由該第二影像中無法辨識出人臉，且該標籤值非該第一參數值時，則由該曝光調整單元依據該第二暗部平均亮度值調整該第二影像的曝光。
5. 如申請專利範圍第3項所述的影像處理方法，其中該權重陣列為一外部輸入的權重陣列。
6. 一種影像處理裝置，包括：一影像擷取單元，係取得一第一影像； 一影像處理單元，與該影像擷取單元耦接，並產生該第一影像之一第一暗部平均亮度值；一影像辨識單元，與該影像擷取單元及該影像處理單元耦接，並辨識該第一影像；以及一曝光調整單元，與該影像處理單元耦接，並依據一第一曝光值調整該第一影像的曝光，其中，當該影像辨識單元由該第一影像中辨識出人臉時，該影像處理單元產生一第一人臉平均亮度值，並依據該第一暗部平均亮度值、該第一人臉平均亮度值及一權重陣列產生該第一曝光值。
7. 如申請專利範圍第6項所述的影像處理裝置，其中當由該第一影像中辨識出人臉時，則該影像處理單元將產生一標籤值並設定為一第一參數值。
8. 如申請專利範圍第7項所述的影像處理裝置，其中該影像擷取單元更取得一第二影像，該影像處理單元產生該第二影像之一第二暗部平均亮度值。
9. 如申請專利範圍第8項所述的影像處理裝置，其中當該影像辨識單元由該第二影像中無法辨識出人臉，且該標籤值為該第一參數值時，則該影像處理單元依據該第二暗部平均亮度值、該第一人臉平均亮度值及該權重陣列產生一第二曝光值，且該曝光調整單元依據該第二曝光值調整該第二影像的曝光。
10. 如申請專利範圍第9項所述的影像處理裝置，其中當該影像辨識單元由該第二影像中無法辨識出人臉，且該標籤值非該第一參數值時，則由該曝光調整單元依據該第二暗部平均亮度值調整該第二影像的曝光。