TWI755833B - 一種圖像處理方法、電子設備和儲存介質 - Google Patents
一種圖像處理方法、電子設備和儲存介質 Download PDFInfo
- Publication number
- TWI755833B TWI755833B TW109129746A TW109129746A TWI755833B TW I755833 B TWI755833 B TW I755833B TW 109129746 A TW109129746 A TW 109129746A TW 109129746 A TW109129746 A TW 109129746A TW I755833 B TWI755833 B TW I755833B
- Authority
- TW
- Taiwan
- Prior art keywords
- region
- interest
- brightness
- target image
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/147—Details of sensors, e.g. sensor lenses
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本發明關於一種圖像處理方法、電子設備和儲存介質,其中,所述方法包括:對在當前場景下即時採集的目標圖像進行人形檢測,得到人形檢測結果;根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域;基於所述感興趣區域的亮度分佈,確定在當前場景下用於進行圖像採集的目標參數值。
Description
本發明關於電腦視覺技術領域,關於一種圖像處理方法、電子設備和儲存介質。
電腦視覺技術是通過設備模擬人類的視覺功能的技術,可以應用在人工智慧、圖像處理等諸多應用中。例如,在人臉識別場景中,可以通過對拍攝的圖像進行人臉識別,確定人臉對應的身份。
在人臉識別中,人臉的成像品質是一個主要的影響因素,較高的成像品質有助於提高人臉識別的準確度。但是,在逆光場景下,人臉的成像品質比較差,不利於人臉圖像的識別和活體判斷。
本發明提出了一種圖像處理方法、電子設備和儲存介質。
根據本發明的一方面,提供了一種圖像處理方法,包括:
對在當前場景下即時採集的目標圖像進行人形檢測,得到人形檢測結果;
根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域;
基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值。
在一種可能的實現方式中,所述根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域,包括:
在所述人形檢測結果表明所述目標圖像存在人臉區域的情況下,根據所述目標圖像中的人臉區域,確定所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述根據所述目標圖像中的人臉區域,確定所述目標圖像的所述感興趣區域,包括:
在所述目標圖像存在多個人臉區域的情況下,確定所述多個人臉區域中最大的人臉區域;
將所述最大的人臉區域確定為所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述根據所述目標圖像的人形檢測結果,確定所述目標圖像的所述感興趣區域,包括:
在所述人形檢測結果表明所述目標圖像不存在人臉區域的情況下,確定所述目標圖像的中心圖像區域;
將所述中心圖像區域確定為所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,在根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域之後,且所述基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值之前,還包括:
根據所述目標圖像的感興趣區域中每個像素點的亮度,確定所述感興趣區域的亮度分佈。
在一種可能的實現方式中,所述基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值,包括:
確定所述感興趣區域的平均亮度;
根據所述感興趣區域的亮度分佈,確定所述感興趣區域的邊界亮度;
根據所述感興趣區域的平均亮度以及所述邊界亮度,確定所述感興趣區域的目標亮度;
基於亮度與圖像採集參數之間的映射關係,確定所述目標亮度所對應的目標參數值。
在一種可能的實現方式中,所述確定所述感興趣區域的平均亮度,包括:
確定所述感興趣區域中每個像素點對應的權重;
根據所述感興趣區域中每個像素點對應的權重以及每個像素點的亮度,確定所述感興趣區域的平均亮度。
在一種可能的實現方式中,所述確定所述感興趣區域中每個像素點對應的權重,包括:
根據所述感興趣區域中像素點與所述感興趣區域的區域中心的距離,確定所述感興趣區域中每個像素點對應的權重;其中,像素點和所述感興趣區域的區域中心之間的距離,與所述像素點對應的權重正相關。
在一種可能的實現方式中,所述根據所述感興趣區域的亮度分佈,確定所述感興趣區域的邊界亮度,包括:
在所述感興趣區域的亮度分佈中,確定亮度參考值範圍內對應的像素點個數,所述亮度參考值範圍為所述亮度分佈中的最小亮度值到亮度參考值的亮度範圍,所述亮度參考值為所述亮度分佈中的任意一個亮度值;
確定所述亮度參考值範圍內對應的像素點個數佔所述感興趣區域的像素點總數的像素點比例;
在所述像素點比例大於或等於預設比例的情況下,將所述亮度參考值確定為所述感興趣區域的邊界亮度。
在一種可能的實現方式中,所述根據所述感興趣區域的平均亮度以及所述邊界亮度,確定所述感興趣區域的目標亮度,包括:
獲取預設的期望邊界亮度;
確定所述期望邊界亮度與所述邊界亮度的比值;
根據所述期望邊界亮度與所述邊界亮度的比值以及所述感興趣區域的平均亮度,確定所述感興趣區域的目標亮度。
在一種可能的實現方式中,所述方法還包括:
採用所述目標參數值,對所述當前場景進行圖像採集。
在一種可能的實現方式中,所述目標參數值包括:
曝光值、曝光時間和增益中的至少一種。
根據本發明的另一方面,提供了一種圖像處理裝置,包括:
檢測模組,被配置為對在當前場景下即時採集的目標圖像進行人形檢測,得到人形檢測結果;
第一確定模組,被配置為根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域;
第二確定模組,被配置為基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值。
在一種可能的實現方式中,所述第一確定模組,還被配置為:
在所述人形檢測結果表明所述目標圖像存在人臉區域的情況下,根據所述目標圖像中的人臉區域,確定所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述第一確定模組,還被配置為:
在所述目標圖像存在多個人臉區域的情況下,確定所述多個人臉區域中最大的人臉區域;
將所述最大的人臉區域確定為所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述第一確定模組,還被配置為:
在所述人形檢測結果表明所述目標圖像不存在人臉區域的情況下,確定所述目標圖像的中心圖像區域;
將所述中心圖像區域確定為所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述第一確定模組,還被配置為:
根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域之後,且所述基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值之前,根據所述目標圖像的感興趣區域中每個像素點的亮度,確定所述感興趣區域的亮度分佈。
在一種可能的實現方式中,所述第二確定模組,還被配置為:
確定所述感興趣區域的平均亮度;
根據所述感興趣區域的亮度分佈,確定所述感興趣區域的邊界亮度;
根據所述感興趣區域的平均亮度以及所述邊界亮度,確定所述感興趣區域的目標亮度;
基於亮度與圖像採集參數之間的映射關係,確定所述目標亮度所對應的目標參數值。
在一種可能的實現方式中,所述第二確定模組,還被配置為:
確定所述感興趣區域中每個像素點對應的權重;
根據所述感興趣區域中每個像素點對應的權重以及每個像素點的亮度,確定所述感興趣區域的平均亮度。
在一種可能的實現方式中,所述第二確定模組,還被配置為:
根據所述感興趣區域中像素點與所述感興趣區域的區域中心的距離,確定所述感興趣區域中每個像素點對應的權重;其中,像素點和所述感興趣區域的區域中心之間的距離,與所述像素點對應的權重正相關。
在一種可能的實現方式中,所述第二確定模組,還被配置為:
在所述感興趣區域的亮度分佈中,確定亮度參考值範圍內對應的像素點個數,所述亮度參考值範圍為所述亮度分佈中的最小亮度值到亮度參考值的亮度範圍,所述亮度參考值為所述亮度分佈中的任意一個亮度值;
確定所述亮度參考值範圍內對應的像素點個數佔所述感興趣區域的像素點總數的像素點比例;
在所述像素點比例大於或等於預設比例的情況下,將所述亮度參考值,確定為所述感興趣區域的邊界亮度。
在一種可能的實現方式中,所述第二確定模組,還被配置為:
獲取預設的期望邊界亮度;
確定所述期望邊界亮度與所述邊界亮度的比值;
根據所述期望邊界亮度與所述邊界亮度的比值以及所述感興趣區域的平均亮度,確定所述感興趣區域的目標亮度。
在一種可能的實現方式中,所述裝置還包括:
採集模組,被配置為採用所述目標參數值,對所述當前場景進行圖像採集。
在一種可能的實現方式中,所述目標參數值包括:
曝光值、曝光時間和增益中的至少一種。
根據本發明的另一方面,提供了一種電子設備,包括:
處理器;
被配置為儲存處理器可執行指令的記憶體;
其中,所述處理器被配置為:執行上述圖像處理方法。
根據本發明的一方面,提供了一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述圖像處理方法。
在本發明實施例中,可以獲取在當前場景下即時採集的目標圖像,然後對目標圖像進行人形檢測,得到人形檢測結果,再根據目標圖像的人形檢測結果,確定目標圖像所包括的感興趣區域,最後基於確定的感興趣區域的亮度分佈,確定在當前場景下用於進行圖像採集的採集參數值。這樣,即使在逆光或強光等場景的情況下,也可以通過對目標圖像進行人形檢測得到的人形檢測結果,確定當前場景中合適的採集參數值,從而圖像採集裝置可以根據確定的採集參數值對當前場景進行圖像採集,使得採集的圖像幀具有較高的人臉品質,提高了後續人臉識別的準確率。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明。
根據下面參考附圖對示例性實施例的詳細說明,本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯物件的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,為了更好地說明本發明,在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解,沒有某些具體細節,本發明同樣可以實施。在一些實例中,對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述,以便於凸顯本發明的主旨。
本發明實施例提供的圖像處理方案,可以對在當前場景下即時採集的目標圖像進行人形檢測,得到人形檢測結果,根據該目標圖像的人形檢測結果,可以確定目標圖像所包括的感興趣區域,根據目標圖像的感興趣區域中每個像素點的亮度,可以確定感興趣區域的亮度分佈,基於感興趣區域的亮度分佈,可以確定在當前場景下用於進行圖像採集的採集參數值,這樣,可以通過對目標圖像進行人形檢測的人形檢測結果,確定適合當前場景的採集參數值,從而可以根據確定的採集參數對當前場景進行圖像採集,即使當前場景是逆光或強光場景,也可以根據確定的採集參數值調整採集參數,從而使拍攝到的圖像具有較佳的人臉品質,提高後續人臉識別的準確率。
在相關技術中,在逆光場景下採集的圖像幀,圖像幀的背景亮度較大,圖像幀中的人臉區域較暗,人臉品質較差,會影響人臉識別的效果。本發明實施例提供的圖像處理方案,適用於強光、暗光和逆光等不利於拍攝的環境,可以提高各種環境下人臉的成像品質。
圖1示出根據本發明實施例的圖像處理方法的流程圖。該圖像處理方法可以由終端設備或其它類型的電子設備執行。其中,終端設備可以為門禁設備、使用者設備(User Equipment,UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant,PDA)、手持設備、計算設備、車載設備和可穿戴設備等。
在一些可能的實現方式中,該圖像處理方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。下面以圖像處理終端作為執行主體為例對本發明實施例的圖像處理方法進行說明。圖像處理終端可以是上述終端設備或其它類型的電子設備。
如圖1所示,所示圖像處理方法可以包括以下步驟。
S11,對在當前場景下即時採集的目標圖像進行人形檢測,得到人形檢測結果。
在本發明實施例中,圖像處理終端1可以針對當前場景即時進行圖像採集,得到即時採集的目標圖像。或者,圖2示出根據本發明實施例的圖像處理方法一示例的應用場景圖。如圖2所示,圖像處理終端1可以通過接收其他設備2通過網路3傳送的即時採集或拍攝到的目標圖像,得到即時採集的目標圖像,例如,接收圖像採集裝置(如相機、圖像感測器)、攝影裝置(如攝影機、監控器)等其他設備2即時採集或拍攝的目標圖像,得到即時採集的目標圖像。目標圖像可以是單獨的圖像,或者,目標圖像可以是視頻流中的一個圖像幀。圖像處理終端得到目標圖像,對目標圖像進行人形檢測,得到人形檢測結果,該人形檢測結果可以是針對目標圖像的某些區域檢測的檢測結果,例如,人臉區域的檢測結果、上半身區域的檢測結果。
在一種可能的實現方式中,圖像處理終端可以利用構建的人形檢測網路對目標圖像進行人形檢測,人形檢測網路可以是通過對構建的神經網路進行訓練得到的。舉例來說,可以利用現有的神經網路結構構建神經網路,也可以根據實際的應用場景設計神經網路結構,以構建神經網路。構建神經網路,將訓練圖像輸入構建的神經網路,利用構建的神經網路對訓練圖像進行人形檢測,並得到人形檢測結果,然後將該人形檢測結果與訓練圖像的標注結果進行比較,得到比較結果,並利用比較結果對構建的神經網路的模型參數進行調整,使構建的神經網路模型的人形檢測結果與標注結果一致,這樣,可以由構建的神經網路模型得到人形檢測網路。這裡,可以將在強光和暗光等惡劣拍攝環境下採集的圖像作為訓練圖像。人形檢測網路可以針對目標圖像的人形輪廓進行檢測,在人臉識別場景中,得到的人形檢測結果可以是人臉區域的檢測結果。
S12,根據目標圖像的人形檢測結果,確定目標圖像的感興趣區域。
在本發明實施例中,圖像處理終端可以根據目標圖像的人形檢測結果,確定目標圖像中是否存在人臉區域。根據目標圖像中是否存在人臉區域的不同情況,可以根據不同方式確定目標圖像的感興趣區域,例如,如果目標圖像中存在人臉區域,可以將人臉區域作為目標圖像的感興趣區域,如果目標圖像中不存在人臉區域,可以將目標圖像的某部分圖像區域作為目標圖像的感興趣區域,如上半部分圖像區域、下半部分圖像區域等圖像區域作為目標圖像的感興趣區域。這裡的感興趣區域可以理解為圖像處理過程中所關注的圖像區域,確定目標圖像的感興趣區域可以便於對該區域進行進一步圖像處理。
在一種可能的實現方式中,在所述人形檢測結果表明所述目標圖像存在人臉區域的情況下,根據所述目標圖像中的人臉區域,確定所述目標圖像的所述感興趣區域。
在該實現方式中,目標圖像中可以存在一個以上的人臉區域。如果人形檢測結果表明目標圖像中存在一個人臉區域,則可以將該人臉區域作為目標圖像的感興趣區域。如果人形檢測結果表明目標圖像中存在多個人臉區域,則可以在多個人臉區域中選擇至少一個人臉區域,將選擇的至少一個人臉區域作為目標圖像的感興趣區域,例如,在多個人臉區域中選擇位於目標圖像中間部分的至少一個人臉區域。這樣,可以由目標圖像中的人臉區域確定感興趣區域,進而可以針對確定的感興趣區域進行進一步的圖像處理,提高圖像處理的效率以及準確性。
在該實現方式的一個示例中,在所述目標圖像存在多個人臉區域的情況下,可以確定所述多個人臉區域中最大的人臉區域,然後將所述最大的人臉區域確定為所述目標圖像的所述感興趣區域。
在該示例中,如果目標圖像中存在多個人臉區域,可以比較多個人臉區域的大小,然後根據比較結果可以確定多個人臉區域中最大的人臉區域,從而可以將最大的人臉區域作為目標圖像的感興趣區域。這樣,可以在多個人臉區域中選擇一個最關注的人臉區域作為感興趣區域,從而在圖像處理過程中可以不考慮感興趣區域之外的其他圖像區域,使得圖像處理的效率以及準確性可以提高。
在一種可能的實現方式中,在所述人形檢測結果表明所述目標圖像不存在人臉區域的情況下,可以確定所述目標圖像的中心圖像區域,然後將所述中心圖像區域確定為所述目標圖像的所述感興趣區域。
在該實現方式中,在圖像採集過程中,人臉區域通常位於目標圖像的中心圖像區域,因此,在人形檢測中沒有檢測到人臉區域時,可以將目標圖像的中心圖像區域作為目標圖像的感興趣區域。舉例來說,可以將目標圖像劃分為多個圖像區域,如,將目標圖像平均分為9個或25個等多個區域,然後將多個區域中的中心圖像區域確定為目標圖像的感興趣區域,如,將9個圖像區域中位於目標圖像中心的一個圖像區域作為感興趣區域。這樣,即使在目標圖像中未檢測到人臉區域,也可以確定目標圖像的感興趣區域,進而可以針對確定的感興趣區域進行進一步的圖像處理,提高圖像處理的效率以及準確性。
在本發明實施例中,確定目標圖像的感興趣區域,根據目標圖像的感興趣區域中每個像素點的亮度得到感興趣區域的亮度分佈,該亮度分佈可以用亮度長條圖等進行表示。
S13,基於感興趣區域的亮度分佈,確定在當前場景下用於進行圖像採集的目標參數值。
基於感興趣區域的亮度分佈,可以得到在當前場景下用於進行圖像採集的目標參數值,該目標參數值是適合當前拍攝環境的參數值,在該目標參數值的作用下,可以得到曝光良好、人臉品質較佳的圖像,從而可以適應於各種惡劣的拍攝環境,如,強光和暗光等拍攝環境。
這裡,進行圖像採集時需要採用圖像採集參數,該圖像採集參數可以是圖像採集過程中設置的拍攝參數,目標參數值為當前場景下的圖像採集參數,圖像採集參數或目標參數值可以包括:曝光值、曝光時間和增益中的一種或多種。其中,曝光值是表示鏡頭通光能力的一個參數,可以是快門速度值和光圈值的組合。曝光時間可以是快門打開到關閉的時間間隔。增益可以是對採集的視訊訊號進行放大時的倍數。圖像採集參數可以進行設定,圖像採集參數不同時,同一個場景中拍攝得到的圖像也不同。因此,可以通過調整圖像採集參數,得到圖像品質較好的圖像。
在一種可能的實現方式中,確定當前場景下的目標參數值,將所述圖像採集參數調整為所述目標參數值,採用所述目標參數值,對所述當前場景進行圖像採集。
在該實現方式中,圖像處理終端可以具有圖像採集功能,可以對當前場景進行拍攝。圖像處理終端確定當前場景下用於進行圖像採集的目標參數值,將圖像採集參數設置為目標參數值,在目標參數值的作用下繼續對當前場景進行拍攝,得到目標圖像之後所採集到的圖像,該圖像是在圖像採集參數為目標參數值的作用下得到的圖像,由於目標參數值是經過優化的參數值,從而該圖像具有較佳的圖像品質,在人臉識別場景中,該圖像具有較佳的人臉品質,可以提高後續人臉識別的速度以及準確率。
這裡,如果圖像處理終端不具有圖像採集功能,圖像處理終端可以將確定的目標參數值發送給圖像採集裝置,從而使圖像採集裝置可以採用目標參數值繼續對當前場景進行拍攝。
本發明實施例提供的圖像處理方案,可以基於感興趣區域的亮度分佈確定用於進行圖像採集的目標參數值,從而可以解決逆光、強光和弱光等場景下拍攝的人臉品質較差的問題。本發明實施例還提供了確定圖像採集參數的目標參數值的一種實現方式。
圖3示出根據本發明實施例的確定用於進行圖像採集的目標參數值一示例的流程圖。如圖3所示,上述步驟S13可以包括以下步驟。
S131,確定感興趣區域的平均亮度。
這裡,可以根據感興趣區域中每個像素點的亮度確定感興趣區域的平均亮度,例如,可以統計感興趣區域中所包括的像素點個數,然後將感興趣區域中所有像素點的亮度進行求和,得到感興趣區域的總亮度,然後將總亮度除以感興趣區域中所包括的像素點個數,得到感興趣區域的平均亮度。
在一種可能的實現方式中,可以確定所述感興趣區域中每個像素點對應的權重,然後根據所述感興趣區域中每個像素點對應的權重以及每個像素點的亮度,確定所述感興趣區域的平均亮度。
在該實現方式中,可以為感興趣區域中的每個像素點設置相應的權重,例如,為感興趣區域中重點關注的圖像部分包括的像素點設置較大的權重,從而在確定感興趣區域的平均亮度時,可以使重點關注的圖像部分貢獻較大的比重。或者,還可以為感興趣區域中的像素點設置相同的權重,例如,在感興趣區域是人臉區域的情況下,可以為感興趣區域中的像素點設置相同的權重值。確定感興趣區域中每個像素點對應的權重,對每個像素點的亮度進行加權求和,再將加權求和得到的總亮度除以感興趣區域中像素點的權重之和,可以得到感興趣區域的平均亮度。
在該實現方式的一個示例中,在所述人形檢測結果表明所述目標圖像存在人臉的情況下,可以根據所述感興趣區域中像素點與所述感興趣區域的區域中心的距離,確定所述感興趣區域中每個像素點對應的權重;其中,像素點和所述感興趣區域的區域中心之間的距離,與所述像素點對應的權重正相關,像素點與所述感興趣區域的區域中心的距離越近,所述像素點對應的權重越大。
在該示例中,如果人形檢測結果表明所述目標圖像不存在人臉區域,感興趣區域可以是目標圖像的中心圖像區域,可以根據感興趣區域中像素點與感興趣區域的區域中心的距離,為感興趣區域中的像素點設置相應的權重,像素點和所述感興趣區域的區域中心之間的距離,與所述像素點對應的權重正相關,舉例來說,可以為距離區域中心較近的像素點設置較大的權重,為距離區域中心較遠的像素點設置較小的權重,即,越處於中間部分的像素點權重越大,例如,中間部分的像素點的權重是8,遠離區域中心的外層部分的像素點權重是4,感興趣區域內最外層部分的像素點權重是1。這裡,可以將感興趣區域劃分為多個圖像部分,每個圖像部分中的像素點可以具有相同的權重。這樣,由於人臉區域位於目標圖像的中心的概率較大,從而可以將中間部分的像素點的權重設置的較大,盡可能地保留人臉區域的像素點對平均亮度的貢獻。
S132,根據感興趣區域的亮度分佈,確定感興趣區域的邊界亮度。
這裡,感興趣區域的亮度分佈可以用亮度長條圖進行表示。亮度長條圖的橫坐標可以是亮度值,亮度長條圖的縱坐標可以是亮度值對應的像素點個數。根據感興趣區域的亮度分佈,可以確定感興趣區域的邊界亮度,該邊界亮度可以是一個亮度值,在該亮度值之內對應的像素點可以包括感興趣區域大部分的像素點。或者,該邊界亮度可以是一個亮度區間,在該亮度區間內對應的像素點可以包括感興趣區域大部分的像素點。
在一個可能的實現方式中,可以在所述感興趣區域的亮度分佈中,確定亮度參考值範圍內對應的像素點個數,然後確定所述亮度參考值範圍內對應的像素點個數佔所述感興趣區域的像素點總數的像素點比例,在所述像素點比例大於或等於預設比例的情況下,將所述像素點比例大於或等於預設比例所對應的亮度參考值,確定為所述感興趣區域的邊界亮度。
在該實現方式中,邊界亮度可以是一個亮度值,針對感興趣區域的亮度長條圖,可以將任意一個亮度值作為亮度參考值,然後統計該亮度參考值範圍內對應的像素點個數,該亮度參考值的範圍可以是亮度長條圖的最小亮度值到該亮度參考值的亮度範圍,如果該亮度參考值範圍內對應的像素點個數佔感興趣區域中像素點總數的比例大於或等於預設比例,例如,亮度參考值範圍內對應的像素點個數佔像素點總數的比例達到99%,則可以將該亮度參考值確定為邊界亮度。
S133,根據感興趣區域的平均亮度以及邊界亮度,確定感興趣區域的目標亮度。
這裡,確定感興趣區域的平均亮度以及邊界亮度,根據感興趣區域的平均亮度以及邊界亮度,確定一個適合感興趣區域的目標亮度,在該目標亮度下,可以認為感興趣區域內像素點具有合理的亮度值,不會由於曝光過度或者曝光不足使得圖像品質較差,從而可以根據確定的目標亮度確定圖像採集參數的目標參數值。
在一種可能的實現方式中,可以獲取預設的期望邊界亮度,然後確定所述期望邊界亮度與所述邊界亮度的比值,再根據所述期望邊界亮度與所述邊界亮度的比值以及所述感興趣區域的平均亮度,確定所述感興趣區域的目標亮度。
在該實現方式中,期望邊界亮度可以是圖像在曝光良好的情況下確定的邊界亮度,可以根據實際的應用場景進行設置。獲取預設的期望邊界亮度,可以計算期望邊界亮度與邊界亮度的比值,然後將該比值乘以感興趣區域的平均亮度,可以得到感興趣區域的目標亮度。舉例來說,假設期望邊界亮度是200,感興趣區域的邊界亮度是100,可以表明感興趣區域的平均亮度較低,感興趣區域內的圖像品質較差,對該感興趣區域進行人臉識別會存在一定的困難,從而可以將期望邊界亮度200與感興趣區域的邊界亮度100的比值2,乘以感興趣區域的平均亮度,得到一個目標亮度,該目標亮度是平均亮度的2倍,即可以表明,當感興趣區域的平均亮度達到目標亮度時,感興趣區域具有較佳的圖像品質,進而可以根據確定的目標亮度確定圖像採集參數的目標參數值,以在目標參數值的作用下拍攝人臉品質較好的圖像。
S134,基於亮度與圖像採集參數之間的映射關係,確定目標亮度所對應的目標參數值。
這裡,圖像的亮度與圖像採集參數之間可以存在一定的映射關係,例如,圖像的曝光時間越長,圖像的亮度越大。從而可以根據圖像的亮度與圖像採集參數之間的映射關係,確定目標亮度所對應的目標參數值,例如,確定曝光值、曝光時間和增益值中的一個或多個,從而圖像處理終端可以將圖像採集參數調整到最佳的曝光值。
本發明實施例提供的圖像處理方案,可以根據對目標圖像進行人形檢測的人形檢測結果,確定適合當前場景的圖像採集的參數值,即使當前場景是逆光或強光場景,也可以使拍攝到的圖像具有較佳的人臉品質,提高後續人臉識別的準確率。
圖4示出根據本發明實施例的圖像處理方法一示例的流程圖。如圖4所示,在一個示例中,圖像處理方法可以包括以下步驟。
S301,獲取即時採集的目標圖像。
這裡,圖像處理終端可以具有圖像採集功能,可以對當前場景進行即時拍攝,例如,在門禁場景中,圖像處理終端對門禁前的使用者進行即時圖像採集,得到目標圖像。
S302,利用人形檢測網路對目標圖像進行人形檢測,得到人形檢測結果。
這裡,人形檢測網路可以是通過對構建的神經網路進行訓練得到的,得到人形檢測結果可以是目標圖像中的人臉區域的檢測結果。
S303,根據人形檢測結果判斷目標圖像中是否存在人臉區域。
S304,在目標圖像中存在人臉區域的情況下,將一個或多個人臉區域中最大的人臉區域作為感興趣區域,執行S306。
S305,在目標圖像中不存在人臉區域的情況下,將目標圖像的中心圖像區域作為感興趣區域,執行S306。
這裡,中心圖像區域可以是目標圖像的區域中心所在的區域,例如,將目標圖像平均分為9個區域,其中,中心圖像區域可以是9個區域中位於中間的區域。
S306,對感興趣區域進行亮度長條圖統計,得到感興趣區域的亮度長條圖。
S307,根據亮度長條圖中像素點的亮度以及為像素點設置的權重,計算感興趣區域的平均亮度。
S308,根據亮度長條圖計算亮度參考值範圍內的亮度分佈,在亮度參考值範圍內的亮度分佈達到感興趣區域的總亮度分佈的99%時,將該亮度參考值確定為邊界亮度。
S309,根據邊界亮度、預設的期望邊界亮度以及平均亮度,計算目標亮度。
S310,根據目標亮度計算需要配置的最佳曝光值和/或增益值。
這裡,可以利用比例-積分-微分(Proportion-Integral-Differential,PID)控制器由目標亮度得到最佳曝光值和/或增益值。
S311,將得到的最佳曝光值和/或增益值配置到感光晶片中,執行S301。
這裡,可以通過圖像信號處理(Image Signal Processing,ISP)單元將得到的最佳曝光值和/或增益值配置到相機的感光晶片中,然後利用最佳曝光值和/或增益值繼續採集下一個目標圖像。
本發明實施例提供的圖像處理方案,可以利用人形檢測網路對目標圖像中的人臉區域進行檢測,確定感興趣區域,然後根據目標圖像的感興趣區域中每個像素點的亮度,確定感興趣區域的亮度分佈,基於感興趣區域的亮度分佈獲得最佳的曝光值,從而可以很好的應對逆光、暗光和強光場景的人臉圖像採集以及人臉檢測,並且不需要增加額外的成本,可以提升用戶體驗。
可以理解,本發明提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本發明不再贅述。
此外,本發明還提供了圖像處理裝置、電子設備、電腦可讀儲存介質和程式,上述均可用來實現本發明提供的任一種圖像處理方法,相應技術方案和描述參見方法部分的相應記載,此處不再贅述。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
圖5示出根據本發明實施例的圖像處理裝置的方塊圖,如圖5所示,所述圖像處理裝置包括:
檢測模組41,被配置為對在當前場景下即時採集的目標圖像進行人形檢測,得到人形檢測結果;
第一確定模組42,被配置為根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域;
第二確定模組43,被配置為基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值。
在一種可能的實現方式中,所述第一確定模組42,還被配置為:
在所述人形檢測結果表明所述目標圖像存在人臉區域的情況下,根據所述目標圖像中的人臉區域,確定所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述第一確定模組42,還被配置為:
在所述目標圖像存在多個人臉區域的情況下,確定所述多個人臉區域中最大的人臉區域;
將所述最大的人臉區域確定為所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述第一確定模組42,還被配置為:
在所述人形檢測結果表明所述目標圖像不存在人臉區域的情況下,確定所述目標圖像的中心圖像區域;
將所述中心圖像區域確定為所述目標圖像的所述感興趣區域。
在一種可能的實現方式中,所述第一確定模組42,還被配置為,在根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域之後,且所述基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值之前,根據所述目標圖像的感興趣區域中每個像素點的亮度,確定所述感興趣區域的亮度分佈。
在一種可能的實現方式中,所述第二確定模組43,還被配置為:
確定所述感興趣區域的平均亮度;
根據所述感興趣區域的亮度分佈,確定所述感興趣區域的邊界亮度;
根據所述感興趣區域的平均亮度以及所述邊界亮度,確定所述感興趣區域的目標亮度;
基於亮度與圖像採集參數之間的映射關係,確定所述目標亮度所對應的目標參數值。
在一種可能的實現方式中,所述第二確定模組43,還被配置為:
確定所述感興趣區域中每個像素點對應的權重;
根據所述感興趣區域中每個像素點對應的權重以及每個像素點的亮度,確定所述感興趣區域的平均亮度。
在一種可能的實現方式中,所述第二確定模組43,還被配置為:
根據所述感興趣區域中像素點與所述感興趣區域的區域中心的距離,確定所述感興趣區域中每個像素點對應的權重;其中,像素點和所述感興趣區域的區域中心的距離,與所述像素點對應的權重正相關。
在一種可能的實現方式中,所述第二確定模組43,還被配置為:
在所述感興趣區域的亮度分佈中,確定亮度參考值範圍內對應的像素點個數,所述亮度參考值範圍為所述亮度分佈中的最小亮度值到亮度參考值的亮度範圍,所述亮度參考值為所述亮度分佈中的任意一個亮度值;
確定所述亮度參考值範圍內對應的像素點個數佔所述感興趣區域的像素點總數的像素點比例;
在所述像素點比例大於或等於預設比例的情況下,將所述亮度參考值確定為所述感興趣區域的邊界亮度。
在一種可能的實現方式中,所述第二確定模組43,還被配置為:
獲取預設的期望邊界亮度;
確定所述期望邊界亮度與所述邊界亮度的比值;
根據所述期望邊界亮度與所述邊界亮度的比值以及所述感興趣區域的平均亮度,確定所述感興趣區域的目標亮度。
在一種可能的實現方式中,所述裝置還包括:
採集模組,被配置為採用所述目標參數值,對所述當前場景進行圖像採集。
在一種可能的實現方式中,所述目標參數值包括:
曝光值、曝光時間和增益中的至少一種。
在一些實施例中,本發明實施例提供的裝置具有的功能或包含的模組可以被配置為執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備,包括:處理器;被配置為儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行上述方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖6是根據一示例性實施例示出的一種電子設備800的方塊圖。例如,電子設備800可以是行動電話,電腦,數位廣播終端,消息收發設備,遊戲控制台,平板設備,醫療設備,健身設備和個人數位助理等終端。
參照圖6,電子設備800可以包括以下一個或多個組件:處理組件802,記憶體804,電源組件806,多媒體組件808,音頻組件810,輸入/輸出(I/O)介面812,感測器組件814,以及通信組件816。
處理組件802通常控制電子設備800的整體操作,諸如與顯示,電話呼叫,資料通信,相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件802可以包括一個或多個模組,便於處理組件802和其他組件之間的交互。例如,處理組件802可以包括多媒體模組,以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800上的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令,連絡人資料,電話簿資料,消息,圖片和視頻等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現,如靜態隨機存取記憶體(SRAM),電可擦除可程式設計唯讀記憶體(EEPROM),可擦除可程式設計唯讀記憶體(EPROM),可程式設計唯讀記憶體(PROM),唯讀記憶體(ROM),磁記憶體,快閃記憶體和磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統,一個或多個電源,及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板,螢幕可以被實現為觸控式螢幕,以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式,如拍攝模式或視訊模式時,前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如,音頻組件810包括一個麥克風(MIC),當電子設備800處於操作模式,如呼叫模式、記錄模式和語音辨識模式時,麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中,音頻組件810還包括一個揚聲器,用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面,上述週邊介面模組可以是鍵盤,點擊輪和按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器,用於為電子設備800提供各個方面的狀態評估。例如,感測器組件814可以檢測到電子設備800的打開/關閉狀態,組件的相對定位,例如所述組件為電子設備800的顯示器和小鍵盤,感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變,使用者與電子設備800存在或不存在接觸,電子設備800的方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器,如CMOS或CCD圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器組件814還可以包括加速度感測器,陀螺儀感測器,磁感測器,壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路,如WiFi,2G或3G,或它們的組合。在一個示例性實施例中,通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中,所述通信組件816還包括近場通信(NFC)模組,以促進短程通信。例如,在NFC模組可基於射頻識別(RFID)技術,紅外資料協會(IrDA)技術,超寬頻(UWB)技術,藍牙(BT)技術和其他技術來實現。
在示例性實施例中,電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體804,上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質,其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是,但不限於電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括:可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備,或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼,所述程式設計語言包括物件導向的程式設計語言—諸如Smalltalk、C++等,以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路—包括局域網(LAN)或廣域網路(WAN)—連接到使用者電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路,例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA),該電子電路可以執行電腦可讀程式指令,從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解,流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器,從而生產出一種機器,使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時,產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中,這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀介質則包括一個製造品,其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上,使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟,以產生電腦實現的過程,從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如,兩個連續的方塊實際上可以基本並行地執行,它們有時也可以按相反的循序執行,這依所涉及的功能而定。也要注意的是,方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本發明的各實施例,上述說明是示例性的,並非窮盡性的,並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中技術的技術改進,或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性
本發明實施例通過獲取在當前場景下即時採集的目標圖像,然後對目標圖像進行人形檢測,得到人形檢測結果,再根據目標圖像的人形檢測結果,確定目標圖像所包括的感興趣區域,最後基於確定的感興趣區域的亮度分佈,確定在當前場景下用於進行圖像採集的採集參數值。這樣,即使在逆光或強光等場景的情況下,也可以通過對目標圖像進行人形檢測得到的人形檢測結果,確定當前場景中合適的採集參數值,從而圖像採集裝置可以根據確定的採集參數值對當前場景進行圖像採集,使得採集的圖像幀具有較高的人臉品質,提高了後續人臉識別的準確率。
1:圖像處理終端
2:其他設備
3:網路
41:檢測模組
42:第一確定模組
43:第二確定模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音頻組件
812:輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
S11~S13,S131~S134,S301~S311:步驟
此處的附圖被併入說明書中並構成本說明書的一部分,這些附圖示出了符合本發明的實施例,並與說明書一起用於說明本發明的技術方案。
圖1示出根據本發明實施例的圖像處理方法一示例的流程圖;
圖2示出根據本發明實施例的圖像處理方法一示例的應用場景圖;
圖3示出根據本發明實施例的確定用於進行圖像採集的目標參數值一示例的流程圖;
圖4示出根據本發明實施例的圖像處理方法一示例的流程圖;
圖5示出根據本發明實施例的圖像處理裝置一示例的方塊圖;
圖6示出根據本發明實施例的電子設備一示例的方塊圖。
S11:步驟
S12:步驟
S13:步驟
Claims (13)
- 一種圖像處理方法,包括:對在當前場景下即時採集的目標圖像進行人形檢測,得到人形檢測結果;根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域;確定所述感興趣區域的平均亮度;根據所述感興趣區域的亮度分佈,確定所述亮度分佈中最小亮度值到亮度參考值的亮度參考值範圍;所述亮度參考值為所述亮度分佈中的任意一個亮度值;在所述亮度參考值範圍內對應的像素點個數占所述感興趣區域的像素點總數的比例滿足預設比例的情況下,將所述亮度參考值確定為所述感興趣區域的邊界亮度;根據所述感興趣區域的平均亮度以及所述邊界亮度,確定在所述當前場景下用於進行圖像採集的目標參數值。
- 根據請求項1所述的方法,其中,所述根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域,包括:在所述人形檢測結果表明所述目標圖像存在人臉區域的情況下,根據所述目標圖像中的人臉區域,確定所述目標圖像的所述感興趣區域。
- 據請求項2所述的方法,其中,所述根據所述目標圖像中的人臉區域,確定所述目標圖像的所述感興趣區域,包括: 在所述目標圖像存在多個人臉區域的情況下,確定所述多個人臉區域中最大的人臉區域;將所述最大的人臉區域確定為所述目標圖像的所述感興趣區域。
- 根據請求項1所述的方法,其中,所述根據所述目標圖像的人形檢測結果,確定所述目標圖像的所述感興趣區域,包括:在所述人形檢測結果表明所述目標圖像不存在人臉區域的情況下,確定所述目標圖像的中心圖像區域;將所述中心圖像區域確定為所述目標圖像的所述感興趣區域。
- 根據請求項1所述的方法,其中,在根據所述目標圖像的人形檢測結果,確定所述目標圖像的感興趣區域之後,且所述基於所述感興趣區域的亮度分佈,確定在所述當前場景下用於進行圖像採集的目標參數值之前,還包括:根據所述目標圖像的感興趣區域中每個像素點的亮度,確定所述感興趣區域的亮度分佈。
- 根據請求項1所述的方法,其中,所述根據所述感興趣區域的平均亮度以及所述邊界亮度,確定在所述當前場景下用於進行圖像採集的目標參數值,包括:根據所述感興趣區域的平均亮度以及所述邊界亮度,確定所述感興趣區域的目標亮度; 基於亮度與圖像採集參數之間的映射關係,確定所述目標亮度所對應的目標參數值。
- 根據請求項1所述的方法,其中,所述確定所述感興趣區域的平均亮度,包括:確定所述感興趣區域中每個像素點對應的權重;根據所述感興趣區域中每個像素點對應的權重以及每個像素點的亮度,確定所述感興趣區域的平均亮度。
- 根據請求項7所述的方法,其中,所述確定所述感興趣區域中每個像素點對應的權重,包括:根據所述感興趣區域中像素點與所述感興趣區域的區域中心的距離,確定所述感興趣區域中每個像素點對應的權重;其中,像素點和所述感興趣區域的區域中心之間的距離,與所述像素點對應的權重正相關。
- 根據請求項6所述的方法,其中,所述根據所述感興趣區域的平均亮度以及所述邊界亮度,確定所述感興趣區域的目標亮度,包括:獲取預設的期望邊界亮度;確定所述期望邊界亮度與所述邊界亮度的比值;根據所述期望邊界亮度與所述邊界亮度的比值以及所述感興趣區域的平均亮度,確定所述感興趣區域的目標亮度。
- 根據請求項1至5中任意一項所述的方法,其中,所述方法還包括:採用所述目標參數值,對所述當前場景進行圖像採集。
- 根據請求項10所述的方法,其中,所述目標參數值包括:曝光值、曝光時間和增益中的至少一種。
- 一種電子設備,包括:處理器;被配置為儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行請求項1至11中任意一項所述的方法。
- 一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現請求項1至11中任意一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910872325.1A CN110569822A (zh) | 2019-09-16 | 2019-09-16 | 图像处理方法及装置、电子设备和存储介质 |
CN201910872325.1 | 2019-09-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202113670A TW202113670A (zh) | 2021-04-01 |
TWI755833B true TWI755833B (zh) | 2022-02-21 |
Family
ID=68780166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109129746A TWI755833B (zh) | 2019-09-16 | 2020-08-31 | 一種圖像處理方法、電子設備和儲存介質 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20220076006A1 (zh) |
JP (1) | JP7152598B2 (zh) |
KR (1) | KR20210065180A (zh) |
CN (1) | CN110569822A (zh) |
SG (1) | SG11202112936XA (zh) |
TW (1) | TWI755833B (zh) |
WO (1) | WO2021051949A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569822A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN113051978A (zh) * | 2019-12-27 | 2021-06-29 | 广州慧睿思通科技股份有限公司 | 一种人脸识别方法、电子设备以及可读介质 |
CN111582036B (zh) * | 2020-04-09 | 2023-03-07 | 天津大学 | 可穿戴设备下基于形状和姿态的跨视角人物识别方法 |
CN112752031B (zh) * | 2020-07-31 | 2024-02-06 | 腾讯科技(深圳)有限公司 | 图像采集检测方法、装置、电子设备及存储介质 |
CN112101139B (zh) * | 2020-08-27 | 2024-05-03 | 普联国际有限公司 | 人形检测方法、装置、设备及存储介质 |
CN112616028A (zh) * | 2020-12-15 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 车载相机参数调整方法、装置、电子设备及存储介质 |
CN112733650B (zh) * | 2020-12-29 | 2024-05-07 | 深圳云天励飞技术股份有限公司 | 目标人脸检测方法、装置、终端设备及存储介质 |
CN112800969B (zh) * | 2021-01-29 | 2022-04-19 | 深圳市爱深盈通信息技术有限公司 | 图像质量调节方法和系统、ai处理方法、门禁系统 |
CN114845062B (zh) * | 2022-04-29 | 2024-04-02 | 深圳市联洲国际技术有限公司 | 图像的处理方法、非易失性存储介质、处理器与电子设备 |
CN115086632B (zh) * | 2022-05-23 | 2024-05-31 | 奥比中光科技集团股份有限公司 | 三维图像系统、图像传感器的增益调节方法及存储介质 |
CN115601327B (zh) * | 2022-10-18 | 2023-10-10 | 上海宇佑船舶科技有限公司 | 主推进柴油机组的故障检测方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038704A (zh) * | 2014-06-12 | 2014-09-10 | 小米科技有限责任公司 | 逆光人像场景的拍摄处理方法及装置 |
CN106791472A (zh) * | 2016-12-29 | 2017-05-31 | 努比亚技术有限公司 | 一种曝光方法及终端 |
CN109308687A (zh) * | 2018-09-06 | 2019-02-05 | 百度在线网络技术(北京)有限公司 | 用于调节图像亮度的方法和装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4957030B2 (ja) * | 2006-03-15 | 2012-06-20 | オムロン株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP4402710B2 (ja) * | 2007-09-18 | 2010-01-20 | オリンパス株式会社 | 撮像装置 |
CN101399924B (zh) * | 2007-09-25 | 2010-05-19 | 展讯通信(上海)有限公司 | 基于亮度直方图的自动曝光方法和装置 |
CN101247479B (zh) * | 2008-03-26 | 2010-07-07 | 北京中星微电子有限公司 | 一种基于图像中目标区域的自动曝光方法 |
JP5335452B2 (ja) * | 2009-01-27 | 2013-11-06 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
JP6259185B2 (ja) * | 2012-12-21 | 2018-01-10 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム並びに記憶媒体 |
CN107343156B (zh) * | 2017-07-10 | 2020-03-13 | Oppo广东移动通信有限公司 | 人脸区域自动曝光控制的调整方法和装置 |
CN107197170A (zh) * | 2017-07-14 | 2017-09-22 | 维沃移动通信有限公司 | 一种曝光控制方法及移动终端 |
US10990778B2 (en) * | 2017-10-30 | 2021-04-27 | Electronics And Telecommunications Research Institute | Apparatus and method for recognizing barcode based on image detection |
CN108462832A (zh) * | 2018-03-19 | 2018-08-28 | 百度在线网络技术(北京)有限公司 | 用于获取图像的方法及装置 |
CN109472738B (zh) * | 2018-10-26 | 2024-03-08 | 深圳市商汤科技有限公司 | 图像光照校正方法及装置、电子设备和存储介质 |
CN110099222B (zh) * | 2019-05-17 | 2021-05-07 | 睿魔智能科技(深圳)有限公司 | 一种拍摄设备的曝光调整方法、装置、存储介质及设备 |
CN110569822A (zh) * | 2019-09-16 | 2019-12-13 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2019
- 2019-09-16 CN CN201910872325.1A patent/CN110569822A/zh active Pending
-
2020
- 2020-06-30 SG SG11202112936XA patent/SG11202112936XA/en unknown
- 2020-06-30 JP JP2021514431A patent/JP7152598B2/ja active Active
- 2020-06-30 WO PCT/CN2020/099580 patent/WO2021051949A1/zh active Application Filing
- 2020-06-30 KR KR1020217013139A patent/KR20210065180A/ko active Search and Examination
- 2020-08-31 TW TW109129746A patent/TWI755833B/zh active
-
2021
- 2021-11-19 US US17/455,909 patent/US20220076006A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104038704A (zh) * | 2014-06-12 | 2014-09-10 | 小米科技有限责任公司 | 逆光人像场景的拍摄处理方法及装置 |
CN106791472A (zh) * | 2016-12-29 | 2017-05-31 | 努比亚技术有限公司 | 一种曝光方法及终端 |
CN109308687A (zh) * | 2018-09-06 | 2019-02-05 | 百度在线网络技术(北京)有限公司 | 用于调节图像亮度的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7152598B2 (ja) | 2022-10-12 |
TW202113670A (zh) | 2021-04-01 |
US20220076006A1 (en) | 2022-03-10 |
WO2021051949A1 (zh) | 2021-03-25 |
KR20210065180A (ko) | 2021-06-03 |
JP2022502893A (ja) | 2022-01-11 |
CN110569822A (zh) | 2019-12-13 |
SG11202112936XA (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI755833B (zh) | 一種圖像處理方法、電子設備和儲存介質 | |
TWI765304B (zh) | 圖像重建方法及圖像重建裝置、電子設備和電腦可讀儲存媒體 | |
US9674395B2 (en) | Methods and apparatuses for generating photograph | |
TWI773945B (zh) | 錨點確定方法、電子設備和儲存介質 | |
JP6405470B2 (ja) | 動画撮影方法及びその装置、プログラム、及び記憶媒体 | |
KR101649596B1 (ko) | 피부색 조절방법, 장치, 프로그램 및 기록매체 | |
WO2017071085A1 (zh) | 报警方法及装置 | |
CN106408603B (zh) | 拍摄方法及装置 | |
CN107944409B (zh) | 能够区分关键动作的视频分析方法及装置 | |
CN108154465B (zh) | 图像处理方法及装置 | |
TWI749593B (zh) | 去除圖像中的反光的方法、電子設備和電腦可讀儲存媒體 | |
JP6336206B2 (ja) | 動画ファイルの識別子を処理する方法、装置、プログラム及び記録媒体 | |
TWI777112B (zh) | 圖像處理方法、電子設備和儲存介質 | |
JP6335289B2 (ja) | 画像フィルタを生成する方法及び装置 | |
CN111340731B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
TWI769523B (zh) | 圖像處理方法、電子設備和電腦可讀儲存介質 | |
TW202105239A (zh) | 圖像處理方法、電子設備和儲存介質 | |
TWI778313B (zh) | 圖像處理方法、電子設備和儲存介質 | |
WO2017000491A1 (zh) | 获取虹膜图像的方法、装置及红膜识别设备 | |
TW202114407A (zh) | 圖像重建方法、圖像重建裝置、電子設備和電腦可讀儲存媒體 | |
WO2022021932A1 (zh) | 降噪方法及装置、电子设备、存储介质和计算机程序产品 | |
CN112669231B (zh) | 图像处理方法、图像处理模型的训练方法、装置、介质 | |
TWI770531B (zh) | 人臉識別方法、電子設備和儲存介質 | |
EP3799415A2 (en) | Method and device for processing videos, and medium | |
CN111507131B (zh) | 活体检测方法及装置、电子设备和存储介质 |