TWI802073B - 電子裝置及其操作方法 - Google Patents
電子裝置及其操作方法 Download PDFInfo
- Publication number
- TWI802073B TWI802073B TW110141639A TW110141639A TWI802073B TW I802073 B TWI802073 B TW I802073B TW 110141639 A TW110141639 A TW 110141639A TW 110141639 A TW110141639 A TW 110141639A TW I802073 B TWI802073 B TW I802073B
- Authority
- TW
- Taiwan
- Prior art keywords
- electronic device
- processing unit
- supplementary light
- brightness
- face
- Prior art date
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一種電子裝置的操作方法被提出,其中電子裝置包括攝像單元、處理單元以及N個補光元件。該方法包括:通過攝像單元以獲取第一影像;通過處理單元檢測第一影像中的至少一人臉位置;決定分別對應前述至少一人臉位置的至少一興趣區域;以及通過處理單元執行調光程序,以基於前述至少一人臉位置來調整N個補光元件中的每一者的亮度,其中N為正整數。一種執行相應功能的電子裝置亦被提出。
Description
本發明是有關於一種針對電子裝置的補光元件的調光方法,且特別是可依據環境亮度以及人臉位置進行調光的方法。
用戶在使用電子裝置與他人進行視訊連線時,可能會有因場景因素或光線不足而造成人臉特徵不清楚的困擾,而因此有對人臉進行補光的需求。
然而,現有的電子裝置的補光元件為人為手動設置,無法根據環境光線或是用戶狀態改變而自動進行調光。此外,用手動的方式進行調光通常需要比較長的時間進行補光設置、亮度比對與調整。因此,需要提出一種技術方案,以克服電子裝置的補光元件無法根據環境光線或是用戶狀態改變而自動進行調光的缺陷。
本發明提供一種電子裝置及其操作方法,可根據環境光線或是用戶狀態改變而自動進行調光。
本發明提出一種電子裝置的操作方法,其中電子裝置包括攝像單元、處理單元以及N個補光元件。前述操作方法包括:通過攝像單元以獲取第一影像;通過處理單元檢測第一影像中的至少一人臉位置;決定分別對應至少一人臉位置的至少一興趣區域;以及通過處理單元執行調光程序,以基於至少一人臉位置來調整N個補光元件中的每一者的亮度,其中N為正整數。
本發明提出一種電子裝置,包括攝像單元、N個補光元件以及處理單元。攝像單元用以獲取第一影像。處理單元用以:檢測第一影像中的至少一人臉位置;決定分別對應至少一人臉位置的至少一興趣區域;以及執行調光程序,以基於至少一人臉位置來調整N個補光元件中的每一者的亮度,其中N為正整數。
基於上述,本發明的電子裝置可依據外在因素(如環境亮度以及人臉位置)自動且精準的進行補光,而不需要以人工方式來進行補光設置、亮度比對與調整。因此,可節省人工調整補光效果所需的時間以及增進補光效果。
圖1為本發明一實施例的電子裝置的方塊示意圖。其中,電子裝置可以是桌上型電腦、筆記型電腦、平板以及智慧型手機等具備通訊以及視訊功能的電子裝置。請見圖1,在本實施例中,電子裝置100包括顯示單元110、攝像單元120、補光元件130、鄰近感測器140、環境光感測器150以及處理單元160。在本實施例中,處理單元160耦接顯示單元110、攝像單元120、補光元件130、鄰近感測器140以及環境光感測器150。處理單元160將影像資料傳輸至顯示單元110,以使顯示單元110依據影像資料進行顯示。攝像單元120受處理單元160驅動以朝拍攝區域進行拍攝以獲取第一影像。多個補光元件130鄰近於攝像單元120地被設置,用以受處理單元160驅動以對前述拍攝區域進行補光。鄰近感測器140受控於處理單元160,用以感測一感測範圍內是否有物體。環境光感測器150受控於處理單元160,用以偵測環境光線。其中,環境光感測器150以及處理單元160並非實現本發明的必要構件。在本發明的其他實施例中,電子裝置100可不包含鄰近感測器140以及環境光感測器150之任一或全部。
圖2為本發明一實施例的電子裝置的操作方法的步驟流程圖。請同時參見圖1與圖2,攝像單元120由處理單元160驅動以朝拍攝區域進行拍攝,並獲取第一影像(步驟S101)。處理單元160對第一影像進行人臉檢測,以獲取分別表示一或多個人臉位置的一或多個人臉位置資訊(步驟S102)。處理單元160可決定分別對應一或多個人臉位置的一或多個興趣區域(region of interest,ROI)(步驟S103)。接著,由處理單元160執行調光程序,以基於前述至少一人臉位置來調整N個補光元件130中每一補光元件130的亮度,其中N為正整數(步驟S104)。下面將本發明的多種實施方式進行說明。
圖3為本發明第一實施例的電子裝置的操作方法的步驟流程圖。請同時參見圖1與圖3,攝像單元120受處理單元160控制而開啟以對拍攝區域進行拍攝,藉此獲取第一影像(步驟S301)。處理單元160可對第一影像進行人臉辨識,以確認第一影像是否包含至少一人臉影像。當檢測到第一影像包含一或多個人臉影像時,處理單元160可獲取各人臉影像的人臉位置(步驟S302)。處理單元160可決定分別對應至少一人臉位置的至少一興趣區域(步驟S303)。在本實施例中,處理單元160可依據各人臉影像的範圍來決定第一影像中分別對應前述至少一人臉影像的至少一興趣區域。處理單元160並可將興趣區域的中間點或辨識出的雙眼位置的中點作為代表該個人臉影像的人臉位置。在另一實施例中,也可由處理單元160先檢測出各人臉影像中的人眼位置,再由處理單元160基於人眼位置來決定對應各人臉影像的興趣區域。其中,興趣區域可以是框住人臉影像的一方框(或是其他形狀)。
另外,由處理單元160開啟鄰近感測器140,以使鄰近感測器140在一感測範圍進行感測。鄰近感測器(proximity sensor,P-sensor)140可通過發射電磁場或電磁輻射束(例如紅外線)並觀察電場或回波信號的變化來實現感測功能。其中,前述感測範圍即為鄰近感測器140可進行感測的最大距離。當感測到一或多個物體時,處理單元160可依據鄰近感測器140回傳的電場或回波信號的變化來計算各物體(例如人臉)與電子裝置100的距離(步驟S304)。關於攝像單元120與鄰近感測器140的啟動時間點,本發明不做任何限制,攝像單元120與鄰近感測器140可以同時啟動或先後啟動。
在檢測到多個人臉的情況下,由處理單元160對各人臉與電子裝置100的距離進行比較。處理單元160以距離最近的一人臉做為目標人臉,並獲取目標人臉位置以及目標興趣區域。當僅檢測到一個人臉時,處理單元160直接以該人臉做為目標人臉,並獲取目標人臉位置以及目標興趣區域。在步驟S305中,由處理單元160判斷目標人臉與電子裝置100的距離是否小於或等於一距離閾值(例如70cm)。若否,則由處理單元160通過環境光感測器150以獲取環境光信息(步驟S306),並依據環境光信息決定N個補光元件130為第一亮度(步驟S307)。類似地,本發明不限制環境光感測器150的啟動時間點。關於第一亮度,在一實施例中,第一亮度可以等同於偵測到的環境光亮度。在一實施例中,第一亮度可以是補光元件130的基礎(最小)亮度。又,在一實施例中,第一亮度可以是0。若步驟S305的判斷結果為是,則由處理單元160執行調光程序(步驟S308)。
圖4為本發明第一實施例的調光程序的步驟流程圖。請同時參見圖1與圖4,在進入調光程序後,由處理單元160基於興趣區域的中心位置以將興趣區域切分為第一目標區域與第二目標區域(步驟S401)。具體來說,是將興趣區域切分為對應的左區塊與右區塊,如圖6的第一目標區域111_1與第二目標區域111_2所示。接著,由處理單元160將第一目標區域與第二目標區域分別轉為灰階影像,以獲取第一灰階影像與第二灰階影像。處理單元160並計算第一灰階影像中所有像素的灰階值的平均值,以獲取第一灰階影像的平均灰階值。同樣地,處理單元160計算第二灰階影像中所有像素的灰階值的平均值,以獲取第二灰階影像的平均灰階值。接著,處理單元160計算第一灰階影像的平均灰階值與第二灰階影像的平均灰階值之間的差值(稱為灰階差值)以及灰階差值的絕對值(稱為灰階絕對值)。
具體來說,處理單元160可通過將第一灰階影像的平均灰階值減去第二灰階影像的平均灰階值來或取前述灰階差值。並且,處理單元160可通過將灰階差值取絕對值以獲取灰階絕對值。接著,處理單元160將灰階絕對值與一灰階閾值進行比較。若比較結果顯示灰階絕對值小於或等於灰階閾值時,處理單元160通過環境光感測器150獲取環境光信息,並依據環境光信息來決定N個補光元件130為第一亮度。在一實施例中,第一亮度可以等同於偵測到的環境光亮度。在一實施例中,第一亮度可以是補光元件130的基礎(最小)亮度。
若比較結果顯示灰階絕對值大於灰階閾值時,處理單元160依據比較結果以將第一目標區域與第二目標區域中的一個設為目標調光區域(步驟S402)。具體來說,處理單元160可依據灰階差值,即第一灰階影像的平均灰階值減去第二灰階影像的平均灰階值的差值,來決定目標調光區域。例如,當灰階差值為正值時,表示第二目標區域較暗,此時處理單元160將第二目標區域設為目標調光區域。反之,若當灰階差值為負值時,表示第一目標區域較暗,此時處理單元160將第一目標區域設為目標調光區域。
在步驟S403中,由處理單元160基於N個補光元件130與攝像單元120的相對位置,或基於人臉位置,以產生N個補光信息。處理單元160並依據N個補光信息來調整N個補光元件130中各補光元件130的亮度(步驟S404)。其中,步驟403(產生補光信息)的實現方式有兩種,下面將說明第一種產生補光信息的方式。第一種產生補光信息的方式包括通過處理單元160以依據基於N個補光元件130與攝像單元120的相對位置來產生N個補光信息,並依據前述N個補光信息以調整前述N個補光元件130中每一個補光元件130的亮度。下面將配合圖式具體說明。
圖5為本發明第一實施例的第一種產生補光信息方式的流程示意圖。圖6對應圖5,為顯示影像與補光元件的示意圖。請同時參見圖1、圖5與圖6,在步驟S501中,由處理單元160依據N個補光元件130與攝像單元120的相對位置,將N個補光元件130切分為第一側131與第二側132。第一側131包括補光元件130_1~130_M1,其數量為M1個。第二側132包括補光元件130_(M1+1)~130_N,其數量為M2個。其中,M1與M2皆為正整數且M1+M2=N。簡單來說,處理單元160是以攝像單元120的位置為基準,將攝像單元120一側的補光元件130設為第一側131的補光元件130。並且,處理單元160將攝像單元120另一側的補光元件130設為第二側132的補光元件130。請見圖6,第一側131的M1個補光元件與第二側132的M2個補光元件分別對應於興趣區域111的第一目標區域111_1與第二目標區域1112。另外,圖5步驟S502~S507的具體說明可以參酌對圖4的步驟S402的說明,於此不再贅述。
圖7接續圖5,為第一實施例的第一種產生補光信息的流程示意圖。請同時參見圖1、圖5、圖6與圖7,在步驟S701中,由處理單元160將N個補光信息分為對應補光元件130_1~130_M1的M1個補光信息,以及對應補光元件130_(M1+1)~130_N的M2個補光信息。處理單元160依據前述M1個補光信息控制補光元件130_1~130_M1,並依據前述M2個補光信息控制補光元件130_(M1+1)~130_N,以使第一側131的M1個補光元件130與第二側132的M2個補光元件130中的一者的亮度逐漸遞增。具體來說,前述一者的亮度可以一幅度逐次提升,並在每次提升後由處理單元160判斷前述一者的亮度是否已達到補光元件130能被驅動的最大亮度(步驟S702)。若判斷結果為否,則由處理單元160進一步判斷依據第一目標區域111_1與第二目標區域111_2的灰階差值計算出的灰階絕對值是否已小於或等於灰階閾值(步驟S703)。若判斷結果為否,則返回步驟S701,已再度提升前述一者的亮度。相反地,若步驟S702與步驟S703的判斷為是,則結束流程。
圖7的產生補光信息的方式還會依據人臉位置不同而做變化。圖8A~8F為本發明第一實施例的人臉位置與補光操作的示意圖。請同時參見圖1、圖8A與圖8B,當目標調光區域為第一目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的左邊或中間位置時,對應第一側131的M1個補光元件130的亮度可從預設亮度逐漸提升,直到M1個補光元件130已達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。
請同時參見圖1與圖8C,當目標調光區域為第一目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的右邊位置時,對應第一側131的M1個補光元件130的亮度可從預設亮度以第一幅度逐漸提升,直到M1個補光元件130已達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。此外,對應第二側132的M2個補光元件130的亮度可從預設亮度以第二幅度逐漸提升,直到M2個補光元件130已達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。其中,第一幅度與第二幅度可以不同。優選地,第二幅度可小於第一幅度。
請同時參見圖1與圖8D,當目標調光區域為第二目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的左邊位置時,對應第一側131的M1個補光元件130的亮度可從預設亮度以第一幅度逐漸提升,直到M1個補光元件130已達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。此外,對應第二側132的M2個補光元件130的亮度可從預設亮度以第二幅度逐漸提升,直到M2個補光元件130已達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。其中,第一幅度與第二幅度可以不同。優選地,第一幅度可小於第二幅度。
請同時參見圖1、圖8E與圖8F,當目標調光區域為第二目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的中間或右邊位置時,對應第二側132的M2個補光元件130的亮度可從預設亮度逐漸提升,直到M2個補光元件130已達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。
下面將說明第二種產生補光信息的方式。第二種產生補光信息的方式包括通過處理單元160以基於人臉位置(目標人臉位置)產生N個補光信息,並依據前述N個補光信息以調整前述N個補光元件130中每一個補光元件130的亮度。下面將配合圖式具體說明。
圖9為本發明第一實施例的第二種產生補光信息方式的流程示意圖。請同時參見圖1與圖9,在步驟S901中,由處理單元160依據人臉位置(目標人臉位置)以決定N個補光元件130中的一個為第一補光元件。處理單元160並基於第一補光元件,以將N個補光元件130區分為,包括第一補光元件以及位於第一補光元件一側的所有補光元件130在內的M3個補光元件130為第一側131的補光元件130,以及包括位於第一補光元件另一側的所有補光元件130在內的M4個補光元件130為第二側132的補光元件130(步驟S902)。其中,M3與M4皆為正整數且M3+M4=N。與先前的第一種產生補光信息的方式不同的地方在於,由於第一種產生補光信息的方式是基於攝像單元120位置做切分,因此第一側131與第二側132的補光元件130的數量(M1與M2)是固定的,而第一種產生補光信息的方式的第一側131與第二側132的補光元件130的數量(M3與M4)會依據人臉位置不同而變動。
下面將說明如何決定第一補光元件。圖10為決定第一補光元件的步驟流程圖。請同時參見圖1與圖10,在步驟S1001中,通過顯示單元110以在其顯示區域顯示第一影像,並由處理單元160將顯示區域切分為多個顯示分區。在步驟S1002中,由處理單元160依據人臉位置(目標人臉位置)以決定多個顯示分區中的一個為人臉落區。在步驟S1003中,由處理單元160計算對應於人臉落區的各補光元件位於顯示單元110的一橫軸方向上的第一寬度。在步驟S1004中,由處理單元160計算於橫軸方向上的人臉位置到人臉落區的一邊界的第二寬度。在步驟S1005中,由處理單元160計算第一寬度與第二寬度的比例,並依據計算結果決定第一補光元件的位置。其中,第一寬度與第二寬度可以用像素數量來表示。
下面將對如何將顯示區域切分為多個顯示分區進行說明。圖11為顯示單元的多個顯示分區的示意圖。請見圖11,補光元件130_1~130_M1位於攝像單元120的一側,補光元件130_(M+1)~130_N位於攝像單元120的另一側。攝像單元120兩側的補光元件130的數量可皆為20。攝像單元120所能拍攝的全畫面尺寸(或所能在螢幕上顯示的全畫面尺寸)例如為480*640(像素尺寸)。接著,設定界線WL、W1、W2與WR,其位置例如可分別對應一列像素自左側起的第50個像素、第300個像素、第350個像素以及第600個像素。依據界線WL、W1、W2與WR,可將顯示區域切分為顯示分區A~E。其中,各界線位置以及顯示分區的數量可依據實際需求來設計,本發明對此不做任何限制。
接著,可由處理單元160依據人臉位置以決定一人臉落區,並決定第一補光元件的位置。舉例來說,當人臉位置位於界線WL左側時(顯示分區A為人臉落區),由處理單元160控制以點亮補光元件130_1。當人臉位置位於界線WR右側時(顯示分區E為人臉落區),由處理單元160控制以點亮補光元件130_N。當人臉落區為顯示分區B、C或D時,則可透過計算前述第一寬度、第二寬度以決定第一補光元件的位置。
圖12為人臉位置與第一補光元件的對應關係的示意圖。請同時參見圖11與圖12,假設人臉位置以像素數量表示的座標為(110,300)並且人臉落區為顯示分區B。此時,由處理單元160計算顯示分區B的寬度,得到300-50=250(以像素數量表示)。處理單元160並計算顯示分區B中各補光元件130於顯示單元110的橫軸方向上的第一寬度,得到250/20=12.5(以像素數量表示)。接著,由處理單元160計算橫軸方向上人臉位置到顯示分區B的邊界的第二寬度,得到110-50=60(以像素數量表示)。處理單元160並進一步以第二寬度除以第一寬度,得到60/12.5=4.8(以像素數量表示)。最後,處理單元160取最接近4.8的整數,以得到5。在此例中,第一補光元件130_a即為第5個補光元件130_5,且補光元件130_1~130_5為第一側131的補光元件130,補光元件130_6~130_40為第一側131的補光元件130。
圖10的產生補光信息的方式還會依據人臉位置不同而做變化。圖13A~13F為本發明第一實施例的人臉位置與補光操作的示意圖。請同時參見圖1、圖13A與圖13B,當目標調光區域為第一目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的左邊或中間位置時,第一側131的補光元件130的亮度可從預設亮度逐漸提升,直到達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。同時,第二側132的補光元件130維持基礎亮度(如最小亮度或等同於環境亮度)。
請同時參見圖1與圖13C,當目標調光區域為第一目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的右邊位置時,第一側131的補光元件130的亮度可從預設亮度以第一幅度逐漸提升,直到達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。同時,第二側132的補光元件130的亮度可從預設亮度以第二幅度逐漸提升,直到達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。其中,第一幅度大於第二幅度。
請同時參見圖1與圖13D,當目標調光區域為第二目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的左邊位置時,第一側131的補光元件130的亮度可從預設亮度以第一幅度逐漸提升,直到達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。同時,第二側132的補光元件130的亮度可從預設亮度以第二幅度逐漸提升,直到達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。其中,第一幅度可不同於第二幅度。優選地,第二幅度大於第一幅度。
請同時參見圖1、圖13E與圖13F,當目標調光區域為第二目標區域,且處理單元160依據第一影像判斷興趣區域111位於第一影像的中間或右邊位置時,第一側131的補光元件130可維持基礎亮度(如最小亮度或等同於環境亮度)。同時,第二側132的補光元件130的亮度可從預設亮度逐漸提升,直到達到最大亮度,或是第一目標區域與第二目標區域的灰階絕對值小於或等於灰階閾值為止。
第二種產生補光信息方式由於可依據人臉位置對N個補光元件130進行分側,因此相較於第一種產生補光信息方式的固定式分側(依據攝像單元120位置),第二種產生補光信息方式的補光效果更佳。
第二實施例為第一實施例的變形例。圖14為本發明第二實施例的電子裝置的方塊示意圖。與圖1相較,圖14所示的電子裝置100並未包含鄰近感測器140以及環境光感測器150。關於其餘元件的說明可參酌圖1實施例,於此不再贅述。圖15為本發明第二實施例的電子裝置的操作方法的步驟流程圖。請同時參見圖14與圖15,關於步驟S1501、S1502、S1503、S1505與S1506的細節,可以分別參酌圖3的S301、S302、S303、S305與S308的說明,於此不再贅述。
第二實施例與第一實施例的差異在於人臉位置到電子裝置100的距離的計算方式(步驟S1504)以及當距離太遠時的補光方式(步驟S1507)。由於電子裝置100不具有鄰近感測器140,因此處理單元160是通過計算各興趣區域的面積來估算各興趣區域中的人臉與電子裝置100的距離(步驟S1504)。另外,由於電子裝置100不具備環境光感測器150,因此當最近的一人臉距離大於距離閾值(例如70cm)時,處理單元160直接控制N個補光元件130為第一亮度(步驟S1507)。在此例中,第一亮度可以是0或基礎(最低)亮度。另外,由於電子裝置100不具備環境光感測器150,因此可將第一實施例中需要偵測環境光的步驟,都替代為直接使用第一亮度(0或基礎亮度)。
第三實施例為第一實施例的變形例。相較於第一實施例,第三實施例不採用漸進式補光,而是在相應於圖7的步驟S701中,由處理單元160依據補光信息以控制第一側與第二側中至少一者的補光元件130直接以補光元件130的最大亮度進行補光。另外,第三實施例也可以不設置環境光感測器150,因此可將第一實施例中需要偵測環境光的步驟,都替代為直接使用第一亮度(0或基礎亮度)。此外,第三實施例也可以不設置鄰近感測器140,而是如同第二實施例,依據各興趣區域的面積大小以進行人臉到電子裝置100之間的距離的估算。
下面將說明將補光元件130的設置延伸應用至電子裝置100的身分認證機制的方法。圖16為本發明第四實施例的電子裝置的操作方法的步驟流程圖。圖17對應圖16,為顯示影像與補光元件的示意圖。請同時參見圖1、圖16與圖17,首先,第四實施例可通過攝像單元120以獲取第一影像(步驟S1601,可參考圖3步驟S301的說明)。接著,處理單元160可檢測第一影像中的一目標人臉,並依據目標人臉決定第一影像的目標興趣區域(步驟S1602,可參考圖3步驟S302~S303的說明)。處理單元160擷取目標興趣區域的人臉特徵並對其進行身分驗證,以判斷目標興趣區域是否包含非法用戶的人臉影像(步驟S1603)。
若目標興趣區域包含的是合法用戶的人臉影像時,通過處理單元160以登入電子裝置100的作業系統(步驟S1604)。若目標興趣區域包含的是非法用戶的人臉影像時,由處理單元160控制攝像單元120進行拍攝以取得第二影像,並將包含非法用戶人臉影像的第二影像透過一途徑提供給合法用戶(步驟S1605)。例如,可以將包含非法用戶人臉影像的第二影像寄到合法用戶的電子郵件地址。又或者,可通過簡訊留言或發送手機APP訊息等方式來通知合法用戶。
同時,由處理單元160依據非法用戶的人臉位置以決定多個補光元件130中的一個為第一補光元件130_a,並控制第一補光元件130_a為第一亮度。關於如何決定第一補光元件130_a,可參考第一實施例中的相關說明。當非法用戶移動時,處理單元160可依據非法用戶的人臉位置以決定多個補光元件130中的另一個為第一補光元件130_a。藉此,通過變換第一補光元件130_a的位置以形成一亮點追蹤效果。也就是說,可以通過移動的第一補光元件130_a以追蹤非法用戶的動向(步驟S1606)。如圖17所示,當包括非法用戶人臉位置由顯示區域左邊移至右邊時,對應的興趣區域111也隨著移動,因而使第一補光元件130_a的位置變動,形成追蹤非法用戶動向的效果,藉此警示非法用戶。其中,在步驟S1606中,處理單元160可進一步控制除第一補光元件130_a之外的補光元件130為第二亮度。第二亮度小於第一亮度,例如為0或基礎亮度。
第五實施例為第四實施例的一變形例。相較於第四實施例,第五實施例僅具有使第一補光元件130_a的位置變動,形成追蹤非法用戶動向以警示非法用戶的步驟,而不具備獲取第二影像以及將第二影像提供給合法用戶的步驟。第六實施例是第四實施例的延續。接續於圖16的步驟S1604後,可進行如第一實施例、第二實施例與第三實施例中任一實施例所述的調光步驟。
以硬體形式而言,各實施例中的處理單元的方塊可以實現於積體電路(integrated circuit)上的邏輯電路。上述處理單元的相關功能可以利用硬體描述語言(hardware description languages,例如Verilog HDL或VHDL)或其他合適的編程語言來實現為硬體。舉例來說,上述處理單元的相關功能可以被實現於一或多個控制器、微控制器、微處理器、特殊應用積體電路(Application-specific integrated circuit, ASIC)、數位訊號處理器(digital signal processor, DSP)、場可程式邏輯閘陣列(Field Programmable Gate Array, FPGA)及/或其他處理單元中的各種邏輯區塊、模組和電路。
以軟體形式及/或韌體形式而言,上述處理單元的相關功能可以被實現為編程碼(programming codes)。例如,利用一般的編程語言(programming languages,例如C、C++或組合語言)或其他合適的編程語言來實現上述處理單元。所述編程碼可以被記錄/存放在記錄媒體中,所述記錄媒體中例如包括唯讀記憶體(Read Only Memory,ROM)、存儲裝置及/或隨機存取記憶體(Random Access Memory,RAM)。電腦、中央處理器(Central Processing Unit,CPU)、控制器、微控制器或微處理器可以從所述記錄媒體中讀取並執行所述編程碼,從而達成相關功能。作為所述記錄媒體,可使用「非臨時的電腦可讀取媒體(non-transitory computer readable medium)」,例如可使用帶(tape)、碟(disk)、卡(card)、半導體記憶體、可程式設計的邏輯電路等。而且,所述程式也可經由任意傳輸媒體(通信網路或廣播電波等)而提供給所述電腦(或CPU)。所述通信網路例如是互聯網(Internet)、有線通信(wired communication)、無線通信(wireless communication)或其它通信介質。
綜上所述,本發明的電子裝置可依據外在因素(如環境亮度以及人臉位置)自動且精準的進行補光,克服了現有電子裝置的補光元件無法根據環境光線或是用戶狀態改變而自動進行調光的缺陷。因此,可節省人工調整補光效果所需的時間以及增進補光效果。另外,可利用電子裝置能偵測人像位置的優勢,進而發展一安全警示的應用。
100:電子裝置
110:顯示單元
111:興趣區域
111_1:第一目標區域
111_2:第二目標區域
120:攝像單元
130、130_1、130_5、130_6、130_40、130_M、130_(M+1)、130_N:補光元件
130_a:第一補光元件
131:第一側
132:第二側
140:鄰近感測器
150:環境光感測器
160:處理單元
S101~S104、S301~S308、S401~S404、S501~S507、S701~S704、S901、S902、S1001~S1005、S1501~S1507、S1601~S1606:步驟
A、B、C、D:顯示分區
WL、W1、W2、WR:界線
圖1為本發明一實施例的電子裝置的方塊示意圖。
圖2為本發明一實施例的電子裝置的操作方法的步驟流程圖。
圖3為本發明第一實施例的電子裝置的操作方法的步驟流程圖。
圖4為本發明第一實施例的調光程序的步驟流程圖。
圖5為本發明第一實施例的第一種產生補光信息方式的流程示意圖。
圖6對應圖5,為顯示影像與補光元件的示意圖。
圖7接續圖5,為第一實施例的第一種產生補光信息的流程示意圖。
圖8A~8F為本發明第一實施例的人臉位置與補光操作的示意圖。
圖9為本發明第一實施例的第二種產生補光信息方式的流程示意圖。
圖10為決定第一補光元件的步驟流程圖。
圖11為顯示單元的多個顯示分區的示意圖。
圖12為人臉位置與第一補光元件的對應關係的示意圖。
圖13A~13F為本發明第一實施例的人臉位置與補光操作的示意圖。
圖14為本發明第二實施例的電子裝置的方塊示意圖。
圖15為本發明第二實施例的電子裝置的操作方法的步驟流程圖。
圖16為本發明第四實施例的電子裝置的操作方法的步驟流程圖。
圖17對應圖16,為顯示影像與補光元件的示意圖。
S101~S104:步驟
Claims (30)
- 一種電子裝置的操作方法,其中該電子裝置包括一攝像單元、一處理單元以及N個補光元件,該操作方法包括: 通過該攝像單元,獲取一第一影像; 通過該處理單元, 檢測該第一影像中的至少一人臉位置; 決定分別對應該至少一人臉位置的至少一興趣區域(Region of interest,ROI);以及 執行一調光程序,以基於該至少一人臉位置,來調整該N個補光元件中的每一者的亮度,且N為正整數。
- 如請求項1所述的電子裝置的操作方法,還包括: 通過該處理單元, 將該至少一興趣區域中的一個設為一目標興趣區域;以及 將該至少一人臉位置中的一個設為一目標人臉位置。
- 如請求項2所述的電子裝置的操作方法,還包括: 通過一鄰近感測器,以獲取對應於該至少一興趣區域與該至少一人臉位置的至少一人臉距離。
- 如請求項2所述的電子裝置的操作方法,還包括: 通過該處理單元, 計算該至少一興趣區域的面積大小; 根據該至少一興趣區域的面積大小,分別估計至少一人臉距離。
- 如請求項3或4所述的電子裝置的操作方法,還包括: 通過該處理單元, 將該至少一興趣區域中對應一最小人臉距離者,設為該目標興趣區域;以及 將該至少一人臉位置中對應該最小人臉距離者,設為該目標人臉位置。
- 如請求項5所述的電子裝置的操作方法,還包括: 響應於該最小人臉距離大於一距離閥值,通過該處理單元,控制該N個補光元件為一第一亮度。
- 如請求項6所述的電子裝置的操作方法,還包括: 通過一環境光感測器,以獲取一環境光信息;以及 通過該處理單元,以依據該環境光信息決定該第一亮度。
- 如請求項5所述的電子裝置的操作方法,還包括: 響應於該最小人臉距離小於或等於一距離閥值,通過該處理單元執行該調光程序。
- 如請求項8所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 基於該目標人臉位置,以將該目標興趣區域切分為一第一目標區域與一第二目標區域。
- 如請求項9所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 將該第一目標區域與該第二目標區域的影像,分別轉換為一第一灰階影像以及一第二灰階影像; 計算該第一灰階影像的平均灰階值與該第二灰階影像的平均灰階值之間的差值,以獲一灰階差值;以及 計算該灰階差值的一灰階絕對值。
- 如請求項10所述的電子裝置的操作方法,其中該調光程序還包括: 響應於該灰階絕對值小於或等於一灰階閥值,通過該處理單元,控制該N個補光元件為一第一亮度。
- 如請求項11所述的電子裝置的操作方法,還包括: 通過一環境光感測器,以獲取一環境光信息;以及 通過該處理單元,依據該環境光信息以決定該第一亮度。
- 如請求項10所述的電子裝置的操作方法,其中該調光程序還包括: 響應於該灰階絕對值大於一灰階閥值,通過該處理單元,以依據該灰階差值將該第一目標區域與該第二目標區域中的一個設為一目標調光區域。
- 如請求項13所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 依據該目標調光區域與該目標人臉位置,以產生N個補光信息;以及 依據該些N個補光信息,以調整該N個補光元件中的每一者的亮度。
- 如請求項14所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 基於該N個補光元件與該攝像單元的相對位置或基於該人臉位置, 將該N個補光元件,切分為M1個補光元件與M2個補光元件,其中M1與M2皆為正整數且M1+M2=N。
- 如請求項15所述的電子裝置的操作方法,其中該些M1個補光元件與該些M2個補光元件,分別對應於該第一目標區域與該第二目標區域。
- 如請求項16所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 將該些N個補光信息,切分為M1個補光信息與M2個補光信息; 依據該些M1個補光信息與該些M2個補光信息,分別控制該些M1個補光元件與該些M2個補光元件中至少一者的亮度逐漸遞增,直至 該灰階絕對值小於一灰階閥值,或 該至少一者的亮度達到一最大亮度。
- 如請求項17所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 依據該些M1個補光信息,控制該些M1個補光元件的亮度,以一第一幅度逐漸遞增,以及 依據該些M2個補光信息,控制該些M2個補光元件的亮度,以一第二幅度逐漸遞增。
- 如請求項18所述的電子裝置的操作方法,其中該第一幅度不同於該第二幅度。
- 如請求項14所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 依據該人臉位置,以決定該N個補光元件中的一個為一第一補光元件,並將該N個補光元件切分為一第一側與一第二側,其中該第一側的補光元件包括該第一補光元件。
- 如請求項20所述的電子裝置的操作方法,其中該調光程序還包括: 通過一顯示單元以在一顯示區域顯示該第一影像; 通過該處理單元, 將該顯示區域切分為多個顯示分區;以及 依據該人臉位置,決定該些顯示分區中的其中一個為一人臉落區。
- 如請求項21所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 計算對應於該人臉落區的各個補光元件位於顯示單元的一橫軸方向上的一第一寬度; 計算於該橫軸方向上的該人臉位置到該人臉落區的一邊界的一第二寬度;以及 依據該第一寬度與該第二寬度的一比例,決定該第一補光元件的位置。
- 如請求項22所述的電子裝置的操作方法,其中該第一寬度與該第二寬度,以像素數量表示。
- 如請求項14所述的電子裝置的操作方法,其中該調光程序還包括: 通過該處理單元, 決定該N個補光元件中的一個為一第一補光元件; 控制該第一補光元件為一第一亮度; 控制該N個補光元件中除該第一補光元件之外的補光元件為一第二亮度; 其中,該第一亮度大於該第二亮度。
- 如請求項24所述的電子裝置的操作方法,其中該第二亮度為零。
- 如請求項24所述的電子裝置的操作方法,還包括: 通過該處理單元, 判斷該目標興趣區域,是否包含一合法用戶的人臉影像。
- 如請求項26所述的電子裝置的操作方法,還包括: 若該目標興趣區域,包含該合法用戶的人臉影像; 通過該處理單元, 登入所述的電子裝置的一作業系統。
- 如請求項26所述的電子裝置的操作方法,還包括: 若該目標興趣區域包含一非法用戶的人臉影像; 通過該處理單元, 控制該攝像單元,獲取一第二影像;以及 將該第二影像透過一電子郵件地址提供給該合法用戶。
- 如請求項26所述的電子裝置的操作方法,其中該調光程序還包括: 若該目標興趣區域包含該非法用戶的人臉影像; 通過該處理單元, 依據該人臉位置,持續控制該第一補光元件為該第一亮度,以通過移動的第一補光元件追蹤一非法用戶的動向。
- 一種電子裝置,包括: 一攝像單元,用以獲取一第一影像; N個補光元件;以及 一處理單元,用以: 檢測該第一影像中的至少一人臉位置; 決定分別對應該至少一人臉位置的至少一興趣區域;以及 執行一調光程序,以基於該至少一人臉位置,來調整該N個補光元件中的每一者的亮度,且N為正整數。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063116142P | 2020-11-19 | 2020-11-19 | |
US63/116,142 | 2020-11-19 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202222067A TW202222067A (zh) | 2022-06-01 |
TWI802073B true TWI802073B (zh) | 2023-05-11 |
Family
ID=83062252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110141639A TWI802073B (zh) | 2020-11-19 | 2021-11-09 | 電子裝置及其操作方法 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI802073B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201604798A (zh) * | 2014-07-18 | 2016-02-01 | 宏達國際電子股份有限公司 | 用於執行臉部追蹤功能的方法及其電子裝置 |
CN110336954A (zh) * | 2019-07-11 | 2019-10-15 | 创新奇智(重庆)科技有限公司 | 自动补光调节方法、系统及存储介质 |
-
2021
- 2021-11-09 TW TW110141639A patent/TWI802073B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201604798A (zh) * | 2014-07-18 | 2016-02-01 | 宏達國際電子股份有限公司 | 用於執行臉部追蹤功能的方法及其電子裝置 |
CN110336954A (zh) * | 2019-07-11 | 2019-10-15 | 创新奇智(重庆)科技有限公司 | 自动补光调节方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202222067A (zh) | 2022-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10602126B2 (en) | Digital camera device for 3D imaging | |
US8139935B2 (en) | 3D camera with foreground object distance sensing | |
US8760502B2 (en) | Method for improving 3 dimensional effect and reducing visual fatigue and apparatus enabling the same | |
US9640145B2 (en) | Display apparatus and controlling method thereof | |
US20110242286A1 (en) | Stereoscopic Camera With Automatic Obstruction Removal | |
CN105674878B (zh) | 在透视图上显示热图的装置和方法 | |
US10074343B2 (en) | Three-dimensional image output apparatus and three-dimensional image output method | |
US8878915B2 (en) | Image processing device and image processing method | |
US10694115B2 (en) | Method, apparatus, and terminal for presenting panoramic visual content | |
KR102529479B1 (ko) | 제어장치, 제어방법, 및 기억매체 | |
US11062422B2 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
KR101897549B1 (ko) | 휴대 단말기에서 카메라 뷰 영역을 표시하는 장치 및 방법 | |
WO2019220752A1 (ja) | 自動追尾録画システムおよび録画制御装置 | |
TWI802073B (zh) | 電子裝置及其操作方法 | |
US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
WO2009119288A1 (ja) | コミュニケーションシステム及びコミュニケーションプログラム | |
TW201337867A (zh) | 數位告示系統及其方法 | |
KR102288039B1 (ko) | 관찰자를 추적할 수 있는 공중 3차원 디스플레이 장치 및 방법 | |
CN111726515A (zh) | 一种深度相机系统 | |
US20180108173A1 (en) | Method for improving occluded edge quality in augmented reality based on depth camera | |
EP3591615B1 (en) | Backlight image processing method, backlight image processing device and electronic device | |
US20240104179A1 (en) | Biometric authentication system, biometric authentication method, and recording medium | |
KR101515404B1 (ko) | 가상 카메라의 제어 장치 및 방법 | |
TWI825892B (zh) | 立體格式影像偵測方法與使用該方法的電子裝置 | |
TWI726411B (zh) | 影像縫合裝置及其操作方法 |