TW201541368A - 手部偵測方法及影像處理裝置 - Google Patents

手部偵測方法及影像處理裝置 Download PDF

Info

Publication number
TW201541368A
TW201541368A TW103115194A TW103115194A TW201541368A TW 201541368 A TW201541368 A TW 201541368A TW 103115194 A TW103115194 A TW 103115194A TW 103115194 A TW103115194 A TW 103115194A TW 201541368 A TW201541368 A TW 201541368A
Authority
TW
Taiwan
Prior art keywords
pixel
edge
image
pixels
value
Prior art date
Application number
TW103115194A
Other languages
English (en)
Other versions
TWI514290B (zh
Inventor
Shi-Jinn Horng
Wei-Hung Lin
Original Assignee
Univ Nat Taiwan Science Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan Science Tech filed Critical Univ Nat Taiwan Science Tech
Priority to TW103115194A priority Critical patent/TWI514290B/zh
Publication of TW201541368A publication Critical patent/TW201541368A/zh
Application granted granted Critical
Publication of TWI514290B publication Critical patent/TWI514290B/zh

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一種手部偵測方法,適用於影像處理裝置,包括下列步驟。接收一輸入影像;針對輸入影像,進行邊緣偵測處理,以產生邊緣影像;針對邊緣影像,進行二值化處理,以產生二值化邊緣影像,其中二值化邊緣影像包括具有第一像素值的多個邊緣畫素以及具有第二像素值的多個非邊緣畫素;自二值化邊緣影像的所述邊緣畫素中,搜尋起始畫素以及終點畫素;判斷起始畫素與終點畫素之間的下方區域的像素值是否符合關聯於輸入影像的動態膚色區間;若是,判斷起始畫素與終點畫素之間的上方區域是否具有多個手指特徵,據以確認手部的存在。

Description

手部偵測方法及影像處理裝置
本發明是有關於一種偵測方法及影像處理裝置,且特別是有關於一種手部偵測方法及影像處理裝置。
隨著科技不斷進步,人機介面的發展也因各種先進技術與創新應用而日新月異,利用手勢辨識人機介面來操控各種裝置越來越受到大眾所重視。
傳統的解決方案往往需要在使用者手指上配置感應器等輔助工具,此舉雖然可以增加手部偵測的準確性,但是亦增加使用者的負擔。另一較佳的方式直接以影像處理的方式分析使用者的手部移動,據以操控裝置。過去的手勢偵測與辨識方式,不外乎需要建立訓練資料庫,透過例如是哈爾特徵(Haar-like feature)、馬可夫鏈(Markov chain)等比對方式來偵測手部,或者利用膚色轉換的方式將背景去除掉,只保留具有相似膚色的區域,再透過外觀(contour)或凸殼(convex hull)等邊緣偵測方式來進行手部辨識。
然而,前述的比對方式需要大量資料庫的建立以及較長的比對時間,因此需要搭配高處理效能的裝置來進行辨識處理,不易實作於低成本的電子消費產品。此外,用膚色辨識的方式容易被光源及手部周圍的相似膚色區域影響且偵測距離有限。另一方面,為避免背景的邊緣資訊影響判斷,使用邊緣偵測的方式絕大部份都需在乾淨的背景下進行操作,不符合實際的使用情境。
有鑑於此,本發明提供一種手部偵測方法及影像處理裝置,其可以低成本的數位實作方式有效率地偵測出手部的特徵。
本發明提出的手部偵測方法,適用於影像處理裝置,包括下列步驟:接收輸入影像;針對輸入影像,進行邊緣偵測處理,以產生邊緣影像;針對邊緣影像,進行二值化處理,以產生二值化邊緣影像,其中二值化邊緣影像包括具有第一像素值的多個邊緣畫素以及具有第二像素值的多個非邊緣畫素;自二值化邊緣影像的所述邊緣畫素中,搜尋起始畫素以及終點畫素;判斷起始畫素與終點畫素之間的下方區域的像素值是否符合關聯於輸入影像的動態膚色區間;以及當起始畫素與終點畫素之間的下方區域的像素值符合動態膚色區間時,判斷起始畫素與終點畫素之間的上方區域是否具有多個手指特徵,據以確認手部的存在。
本發明另提出的影像處理裝置,包括儲存單元以及一或多個處理單元,其中處理單元耦接儲存單元。儲存單元用以記錄 多個模組,而處理單元用以存取並執行記錄在儲存單元中的模組。所述模組包括影像接收模組、邊緣偵測模組、二值化模組、搜尋模組、膚色判斷模組以及手部特徵判斷模組。影像接收模組用以接收輸入影像。邊緣偵測模組用以針對輸入影像進行邊緣偵測處理,以產生邊緣影像。二值化模組用以針對邊緣影像進行二值化處理,以產生二值化邊緣影像,其中二值化邊緣影像包括具有第一像素值的多個邊緣畫素以及具有第二像素值的多個非邊緣畫素。搜尋模組用以自邊緣影像的所述邊緣畫素中,搜尋起始畫素以及終點畫素。膚色判斷模組用以判斷起始畫素與終點畫素之間的下方區域的像素值是否符合關聯於輸入影像的動態膚色區間。當膚色判斷模組判斷起始畫素與終點畫素之間的下方區域的像素值符合動態膚色區間時,手部特徵判斷模組用以判斷於起始畫素與終點畫素之間的上方區域是否具有多個手指的特徵,據以確認手部的存在。
基於上述,本發明所提出的手部偵測方法及影像處理裝裝置先將輸入影像進行單一梯度的邊緣偵測而產生邊緣影像後,透過動態膚色濾波程序的結果來設定邊緣二值化門檻值,進而對邊緣影像進行二值化處理以產生二值化邊緣影像。接著,可自二值化邊緣影像找尋起始畫素與終點畫素,並且判斷其下方區域是否符合關聯於輸入影像的動態膚色區間,再自其上方區域尋找三個峰谷組合以判斷是否具有手指特徵,據以確認手部的存在,並且初步地定位出手部的位置。在無需訓練資料庫比對以及純膚色 辨識的情況下,本發明所提出的手部偵測方法及其裝置不僅可達到手部偵測,更可達到即時影像或視訊處理的效能,以運用於低成本的消費性電子產品上,增強本發明在實際應用中的適用性。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100‧‧‧影像處理裝置
102‧‧‧儲存單元
104‧‧‧處理單元
110‧‧‧影像接收模組
120‧‧‧邊緣偵測模組
130‧‧‧二值化模組
140‧‧‧搜尋模組
150‧‧‧膚色判斷模組
160‧‧‧手部特徵判斷模組
S202~S212‧‧‧手部偵測方法的流程
Sb、Eb、Ss、Es‧‧‧畫素
F d B‧‧‧距離
400‧‧‧直方圖
圖1繪示依據本發明一實施例之影像處理裝置的方塊圖。
圖2繪示依據本發明一實施例之手部偵測方法的流程圖。
圖3(a)~3(b)繪示依據本發明一實施例之二值化邊緣影像。
圖4繪示依據本發明一實施例之邊緣畫素的數量相對於畫素列的直方圖。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
圖1繪示依據本發明一實施例之一種影像處理裝置的方塊示意圖,但此僅是為了方便說明,並不用以限制本發明。首先 圖1先介紹影像處理裝置的所有構件以及配置關係,詳細功能將配合圖2一併揭露。
請參照圖1,本實施例的影像處理裝置100可針對一輸入影像進行手部偵測,以從輸入影像定位出手部位置。影像處理裝置100可以為個人電腦、筆記型電腦、平板電腦、數位相機、智慧型手機、掃描機等具有影像處理功能的電子裝置,本發明不在此設限。影像處理裝置100包括儲存單元102及一或多個處理單元104,其功能分述如下。
儲存單元102例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash memory)、硬碟或其他類似裝置或這些裝置的組合,而用以記錄可由處理單元104執行的多個模組,這些模組可載入處理單元104以對輸入影像進行手部偵測。
處理單元104例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。處理單元104耦接至儲存單元102,其可存取並執行記錄在儲存單元102中的模組。
上述模組包括影像接收模組110、邊緣偵測模組120、二值化模組130、搜尋模組140、膚色判斷模組150以及手部特徵判斷模組160。這些模組例如是電腦程式,其可載入處理單元104,從而對輸入影像執行手部偵測。以下即列舉實施例說明影像處理裝置100執行影像對比強化處理的詳細步驟。
圖2繪示依據本發明一實施例之手部偵測方法的流程圖。本實施例的方法適用於圖1的影像處理裝置100,以下即搭配影像處理裝置100中的各項元件說明本發明之手部偵測方法的詳細步驟。在本實施例中,將以影像處理裝置100耦接於具有攝像鏡頭與電荷耦合元件(charge coupled device,CCD)影像感測器等影像擷取裝置為例以進行說明。在另一實施例中,影像擷取裝置亦可內建於影像處理裝置100,本發明不在此設限。因此,在執行手部偵測方法之前,影像處理裝置100的儲存單元102已儲存預先自影像擷取裝置所擷取之包含多張影像的視訊串流。
請參照圖2,首先,影像接收模組110接收輸入影像(步驟S202)。詳言之,輸入影像包括多個輸入畫素,且這些輸入畫素是以行與列的方式排列成一個矩陣。在本實施例中,輸入影像為符合常用於描述數位影像訊號之YCbCr格式的彩色影像,因此每一輸入畫素包括Y像素值、Cb像素值以及Cr像素值。然而,在其它實施例中,輸入影像亦可以為位於其它色域的影像,本發明不在此設限。在此,將Y像素值、Cb像素值以及Cr像素值定義為輸入畫素的「成份值」,其中Y像素值定義為「亮度值」,並且 Cb像素值以及Cr像素值定義為「色彩資訊」。
接著,邊緣偵測模組120針對輸入影像,進行邊緣偵測處理,以產生邊緣影像(步驟S204)。一般在進行影像邊緣偵測時,往往需同時計算水平方向以及垂直方向的梯度(gradient)。此外,光源或背景往往會造成影像中的物件具有邊緣模糊的情況,而影像再經過縮小後同樣地會造成邊緣模糊的情況。由於本發明是針對手部進行偵測,而手部的垂直特徵較為明顯,因此為了可在遠距離偵測得到邊緣特徵,在本實施例中的邊緣偵測模組120將根據每一輸入畫素的成份值,利用垂直索貝爾濾波器(Vertical Sobel Filter)對輸入影像進行垂直方向的邊緣偵測。
詳言之,在本實施例中,邊緣偵測模組120先擷取輸入影像的每一輸入畫素的成份值,亦即Y像素值、Cb像素值以及Cr像素值。接著,邊緣偵測模組120可根據方程式(1)~方程式(3)分別針對每一輸入畫素的成份值進行垂直邊緣偵測處理,以產生成份導數值: 其中Y(i,j)、Cr(i,j)以及Cb(i,j)分別為輸入影像中座標位於(i,j)的輸入 畫素的Y像素值、Cb像素值以及Cr像素值,(*)為摺積運算子 (convolution operator),為垂直索貝爾濾波器,EY(i,j)、 ECr(i,j)以及ECb(i,j)為分別對應於Y像素值、Cb像素值以及Cr像素值成份導數值。
此外,為了能偵測到位於遠距離的手部特徵,對於每一輸入畫素,邊緣偵測模組120將對成份導數值進行加總,以產生邊緣偵測值。在此對成份導數值進行加總的目地在於增加邊緣強度的資訊,其可以方程式(4)來表示:E(i,j)=EY(i,j)+ECb(i,j)+ECr(i,j) 方程式(4)其中E(i,j)為座標位於(i,j)的輸入畫素所對應的邊緣偵測值。之後,邊緣偵測模組120則是利用上述邊緣偵測值E(i,j)來產生邊緣影像。
接著,二值化模組130針對邊緣影像,進行二值化處理,以產生二值化邊緣影像(步驟S206)。換言之,二值化模組130將以一個二值化的門檻值α來二值化邊緣影像,據以產生二值化邊緣影像。在本實施例中,其可以方程式(5)來表示: 其中TE(i,j)為二值化邊緣影像中座標位於(i,j)的像素值。當TE(i,j)為第一像素值時,代表其為具有邊緣特徵的畫素,在此定義為「邊緣畫素」;當TE(i,j)為第二像素值時,代表其為不具有邊緣特徵的畫素,在此定義為「非邊緣畫素」。在一實施例中,第一像素值可 以是255,而第二像素值可以是0。
值得注意的是,為了保留邊緣影像中手部的梯度以及有效濾除背景的資訊,二值化的門檻值α關係到手部的邊緣特徵是否明顯,以及雜訊是否太多而造成無法辨識或是誤判等情況。當α值越低,邊緣影像的邊緣資訊越明顯,然而其也越容易連結到非手部的其它邊緣區域,背景雜訊也越多,不利於後續的分析;反之,當α值越高,部份的邊源資訊將被濾除掉,而手部的邊緣特徵亦有可能不連續。基此,在本實施例中,影像處理裝置100更包括動態膚色濾波模組(未繪示),其可先根據輸入影像進行動態膚色濾波程序,以適應性地針對不同拍攝環境來調整二值化的門檻值α。
詳言之,動態膚色濾波程序在於過濾輸入影像中非膚色區域。在此必須先說明的是,本發明並非以膚色來判斷手部的型態,因此即便拍攝主體受到光源影響或是背景有相似的膚色而造成膚色區域的手部特徵破裂或是不完整,並不影響手部偵測方法的結果。首先,動態膚色濾波模組可根據輸入影像的輸入畫素之色彩資訊(Cb像素值以及Cr像素值)來建構Cb動態膚色區間MinCr<Cr<MaxCr以及Cr動態膚色區間MinCb<Cb<MaxCb,其MinCbMaxCbMinCr以及MaxCr分別為Cb動態膚色區間的最小值、最大值以及Cr動態膚色區間的最小值、最大值,AvgCr以及AvgCr分別為所述輸入像素的Cb像素值以及Cr像素值的平均值,並且滿足方程式(6)~(9):MinCr=AvgCr 方程式(6)
MaxCr=AvgCr+40 方程式(7)
Ma.xCb=AvgCb×1.1 方程式(8)
MinCb=MaxCb-40 方程式(9)接著,動態膚色濾波模組即可根據輸入畫素的Cb像素值以及Cr像素值是否同時符合Cb動態膚色區間以及Cr動態膚色區間來判斷所述輸入畫素為膚色畫素或是非膚色畫素。
在本實施例中,二值化模組130將透過動態膚色濾波程序的結果來推算輸入畫面中前後背景的亮度值,進而設定二值化的門檻值α,故在此將二值化的門檻值α稱為為「邊緣二值化門檻值」。二值化模組130將參考影像亮度平均值、膚色亮度平均值以及非膚色亮度平均值等三個數值來設定邊緣二值化門檻值。在此,影像亮度平均值為所有輸入畫素的亮度值(Y像素值)的平均值;膚色亮度平均值為膚色畫素的亮度值的平均值;非膚色亮度平均值為非膚色畫素的亮度值的平均值。在本實施例中,二值化模組130可先找出參考影像亮度平均值、膚色亮度平均值以及非膚色亮度平均值中的最小值Minlum、中間值Midlum以及最大值Maxlum後,依照方程式(10)取得邊緣二值化門檻值α,以使邊緣特徵較為明顯: 然而,在本實施例中,若利用方程式(11)所計算出的α小於65時,則二值化模組130仍將邊緣二值化門檻值α設定為65,以避免二 值化的結果出現過多的雜訊。
在二值化模組130產生二值化邊緣影像後,影像處理裝置100將利用手掌的掌心朝影像擷取裝置比出「5」的姿勢時手指與手掌微張的特性來搜尋找出手部的位置。首先,搜尋模組140自二值化邊緣影像的邊緣畫素中,搜尋起始畫素以及終點畫素(步驟S208)。詳言之,搜尋模組140可自二值化邊緣影像中,由上而下以及由左而右找出第一邊緣畫素以及第二邊緣畫素,並且判斷第一邊緣畫素與第二邊緣畫素之間的距離是否大於手掌寬度門檻值以及判斷第一邊緣畫素與第二邊緣畫素之間是否無其它邊緣畫素。在此設置手掌寬度門檻值的原因在於若第一邊緣畫素與第二邊緣畫素之間的距離太小,其對應的梯度會不清楚。此外,由於手掌的掌心垂直資訊較小,因此在進行二值化處理後所產生的邊緣畫素較少。因此,當搜尋模組140判斷第一邊緣畫素與第二邊緣畫素之間的距離大於手掌寬度門檻值以及第一邊緣畫素與第二邊緣畫素之間無其它邊緣畫素時,搜尋模組140將設定第一邊緣畫素以及第二邊緣畫素分別為起始畫素以及終點畫素;反之,搜尋模組140則會從二值化邊緣影像中繼續往右,再往下尋找新的第一邊緣畫素以及新的第二邊緣畫素。以圖(3)a的二值化邊緣影像300為例,搜尋模組140搜尋的起始畫素以及終點畫素可以分別為Sb以及Eb,其中Sb與Eb之間的距離為B
接著,膚色判斷模組150判斷起始畫素與終點畫素之間的下方區域的像素值是否符合關聯於輸入影像的動態膚色區間 (步驟S210)。在本實施例中,在此的下方區域可以為起始畫素與終點畫素之間的下方所形成的一個正方形區域,然而本發明不在此設限。當膚色判斷模組150判斷此下方區域所對應輸入像素的成份值絕大部份符合動態膚色區間時,即代表此下方區域所對應輸入像素具有大量的膚色成份,也就是極有可能為手掌區域,因此手部特徵判斷模組160可在後續的步驟S212中做更進一步的特徵判斷。當膚色判斷模組150判斷此下方區域所對應輸入像素的成份值絕大部份不符合動態膚色區間時,即代表起始畫素與終點畫素並非為手掌的特徵,因此影像處理裝置100重新執行步驟S208,使搜尋模組140重新搜尋新的起始畫素以及新的終點畫素。
另一方面,當膚色判斷模組150判斷起始畫素與終點畫素之間的下方區域的像素值符合動態膚色區間時,手部特徵判斷模組160判斷於起始畫素與終點畫素之間的上方區域是否具有多個手指的特徵,據以確認手部的存在(步驟S212)。換言之,當膚色判斷模組150判斷起始畫素與終點畫素之間的下方區域極有可能為手掌的特徵時,手部特徵判斷模組160可更進一步地判斷起始畫素與終點畫素之間的上方區域是否為手指的特徵。由於一般人類的手指最高高度不會超過手掌寬度的1.1倍,因此以圖3(b)的二值化邊緣影像300為例,手部特徵判斷模組160可從起始畫素Sb與終點畫素Eb分別往上Fd的距離尋找畫素Ss與畫素Es,其中F d =1.1×B。而在本實施例中,起始畫素Sb、終點畫素Eb、畫素Ss與畫素Es之間所形成的區域302即為前述的上方區域。
接著,手部特徵判斷模組160將判斷上方區域是否具有手指的特徵。詳言之,手部特徵判斷模組160將判斷上方區域內每一列畫素為峰點(peak)畫素列或是谷點(valley)畫素列及其配置的位置是否分別對應於手指的指尖特徵或是手指的指縫特徵。在本實施例中,手部特徵判斷模組160將先在上方區域內尋找是否存在三個峰谷(peak-valley)組合。在此的峰谷組合為兩相鄰的峰點畫素列間具有一定的距離,並且其之間存在谷點畫素列。由圖3(b)可看出,若手部特徵判斷模組160找到三個指尖的特徵,只要分別在各個指尖的兩側找到一個指縫的特徵,即可完成判斷。由於在手掌微張的狀態下,大姆指距離較遠,而小指的高度與其它手指的長度差距較大,並不為本實施例的判斷條件。換句話說,手部特徵判斷模組160在找到峰點畫素列時,判斷兩相鄰的峰點畫素之間的距離是否不大於寬度門檻值並且其之間是否存在谷點畫素列。在本實施例中,寬度門檻值可以為1/4手部寬度。以下將針對尋找三個峰谷組合的步驟做更進一步的說明。
首先,手部特徵判斷模組160可根據圖3(b)中的上方區域302中由下方往上(即,線段往線段的方向)進行判斷。手部特徵判斷模組160可累計上方區域302的水平投影的每一列有多少個邊緣畫素,並且記錄於向量His[0:m],其中m即為上方區域302的寬度。為方便明瞭,向量His[0:m]可以圖4的直方圖400來表示,其中直方圖400的橫軸為向量His[0:m]的索引(index),也就是畫素列的編號,直方圖400的縱軸為邊緣畫素的數量。手部 特徵判斷模組160可從向量His[0:m]尋找是否具有大於上方區域302高度例如是0.8倍以上的最大值。若沒有,則手部特徵判斷模組160往線段的方向繼續向上尋找;若有並且其最大值為向量His[0:m]中索引為k的數值(也就是說最大值為His[k]),則手部特徵判斷模組160可從向量His[0:m]中取得大於His[k]×0.8的數值N1所對應的索引,並且記錄於向量P中。假設在本實施例中,向量His[0:m]中大於N1所對應的索引為2、3、6以及9,則向量P=(2,3,6,9)。在此,向量P所記錄的索引為前述峰點畫素列的編號,也就是關聯於指尖的特徵。另一方面,手部特徵判斷模組160又從向量His[0:m]中取得小於例如是His[k]×0.5的數值N2所對應的索引,並且記錄於向量V中。假設在本實施例中,向量His[0:m]中小於N2所對應的索引為0、1、4、5、7、8、10以及11,則向量V=(0,1,4,5,7,8,10,11)。在此向量V所記錄的索引為前述谷點畫素列的編號,也就是關聯於指縫的特徵。
手部特徵判斷模組160可根據向量P以及向量V來判斷上方區域302內是否確實存在指尖與指縫的特徵,也就是判斷起始畫素Sb與終點畫素Eb是否存在三個峰谷組合。詳言之,手部特徵判斷模組160可從向量P中,以每兩相鄰的元素(element)為一組,尋找兩相鄰的元素之間的數值是否存在於向量V之中。舉例而言,向量P=(2,3,6,9)中的2與3為連續數值,因此兩數值之間並無任何向量V的元素。另一方面,3與6之間的數值為4以及5,其存在於向量V之中;6與9之間的數值為7以及8,其亦存在於向 量V之中。
接著,手部特徵判斷模組160判斷每兩個相鄰的峰點畫素列之間的距離是否皆不大於寬度門檻值。在此範例中,由於m=11,手部寬度為12,因此寬度門檻值則將設定為3,也就是1/4手部寬度。在此,手部特徵判斷模組160則會判斷出3與6之間以及6與9之間皆不大於3。當兩個相鄰的峰點畫素之間的距離皆不大於寬度門檻值時,手部特徵判斷模組160接著判斷最左的峰點畫素列與最右的峰點畫素列的兩側是否存在至少一個谷點畫素列。若是,手部特徵判斷模組160可判斷出上方區域302符合三個峰谷組合,以確認手部的存在。舉例來說,在本實施例中,手部特徵判斷模組160可判斷出向量P=(2,3,6,9)的元素2的左邊具有向量V的元素0以及1,並且向量P的元素9的右邊具有向量V的元素10以及11。
在一實施例中,在手部特徵判斷模組160在步驟S212中確認手部的存在後,可根據手指特徵於二值化邊緣影像的所在位置定位手部。也就是說,二值化邊緣影像的峰點畫素即對應於手部的指尖特徵,而谷點畫素即對應於手部的指縫特徵。在一實施例中,當手部特徵判斷模組160定位手部後,可將其進行標示,並且影像處理裝置100可重新執行步驟S208,以判斷輸入影像是否存在另一個手部特徵。此外,在一實施例中,在手部特徵判斷模組160在步驟S212中確認手部不存在後,影像處理裝置100亦會重新執行步驟S208,以繼續搜尋手部特徵。
在一實施例中,影像處理裝置100可在後續對手部的特徵進行追蹤。舉例來說,若手部保持朝上的狀態,因手部的移動範圍有限,因此搜尋模組140可縮小搜尋的空間與時間,並且無須再重新執行動態膚色濾波程序,手部特徵判斷模組160即可重新對手部進行定位。
綜上所述,本發明所提出的手部偵測方法及影像處理裝裝置先將輸入影像進行單一梯度的邊緣偵測而產生邊緣影像後,透過動態膚色濾波程序的結果來設定邊緣二值化門檻值,進而對邊緣影像進行二值化處理以產生二值化邊緣影像。接著,可自二值化邊緣影像找尋起始畫素與終點畫素,並且判斷其下方區域是否符合關聯於輸入影像的動態膚色區間,再自其上方區域尋找三個峰谷組合以判斷是否具有手指特徵,據以確認手部的存在,並且初步地定位出手部的位置。在無需訓練資料庫比對以及純膚色辨識的情況下,本發明所提出的手部偵測方法及其裝置不僅可達到手部的偵測,更可達到即時影像或視訊處理的效能,以運用於低成本的消費性電子產品上,增強本發明在實際應用中的適用性。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S202~S212‧‧‧手部偵測方法的流程

Claims (10)

  1. 一種手部偵測方法,適用於一影像處理裝置,包括:接收一輸入影像;針對該輸入影像,進行一邊緣偵測處理,以產生一邊緣影像;針對該邊緣影像,進行一二值化處理,以產生一二值化邊緣影像,其中該二值化邊緣影像包括具有一第一像素值的多個邊緣畫素以及具有一第二像素值的多個非邊緣畫素;自該二值化邊緣影像的所述邊緣畫素中,搜尋一起始畫素以及一終點畫素;判斷該起始畫素與該終點畫素之間的一下方區域的像素值是否符合關聯於該輸入影像的一動態膚色區間;以及當該起始畫素與該終點畫素之間的該下方區域的像素值符合該動態膚色區間時,判斷於該起始畫素與該終點畫素之間的一上方區域是否具有多個手指特徵,據以確認一手部的存在。
  2. 如申請專利範圍第1項所述的手部偵測方法,其中針對該輸入影像,進行該邊緣偵測處理,以產生該邊緣影像的步驟包括:對於該輸入影像的每一輸入畫素:擷取該輸入影像的每一輸入畫素的多個成份值;分別針對各所述成份值進行一垂直邊緣偵測處理,以產生多個成份導數值;以及針對所述成份導數值進行累加,以產生一邊緣偵測值;以及 根據各所述輸入畫素的該邊緣偵測值,產生該邊緣影像。
  3. 如申請專利範圍第2項所述的手部偵測方法,其中各所述輸入畫素的所述成份值包括一亮度值以及至少一色彩資訊,該動態膚色區間關聯於所述輸入畫素的所述色彩資訊,各所述輸入畫素包括符合該動態膚色區間的多個膚色畫素以及不符合該動態膚色區間的多個非膚色畫素,而針對該邊緣影像,進行該二值化處理,以產生該二值化邊緣影像的步驟包括:根據各所述輸入畫素的該亮度值,計算一影像亮度平均值、一膚色亮度平均值以及一非膚色亮度平均值,其中該影像亮度平均值為各所述輸入畫素的該亮度值的平均值,該膚色亮度平均值為各所述膚色畫素的該亮度值的平均值,該非膚色亮度平均值為各所述非膚色畫素的該亮度值的平均值;根據該影像亮度平均值、該膚色亮度平均值以及該非膚色亮度平均值,設定一邊緣二值化門檻值;以及根據該邊緣二值化門檻值,針對該邊緣影像的每一畫素進行該二值化處理,以產生該二值化邊緣影像。
  4. 如申請專利範圍第1項所述的手部偵測方法,其中自所述邊緣畫素中,搜尋該起始畫素以及該終點畫素的步驟包括:判斷所述邊緣畫素中的一第一邊緣畫素與一第二邊緣畫素之間的距離是否大於一手掌距離門檻值,並且該第一邊緣畫素與該第二邊緣畫素之間不具有其它所述邊緣畫素;以及若是,則設定該第一邊緣畫素以及該第二邊緣畫素分別為該 起始畫素以及該終點畫素。
  5. 如申請專利範圍第1項所述的手部偵測方法,其中當該起始畫素與該終點畫素之間的該下方區域的像素值符合該動態膚色區間時,判斷於該起始畫素與該終點畫素之間的該上方區域是否具有所述手指特徵,據以確認該手部的存在的步驟包括:判斷該上方區域中是否存在三個峰谷組合,其中所述三個峰谷組合包括對應於一指尖特徵的多個峰點畫素列以及對應於一指縫特徵的多個谷點畫素列,所述三個峰谷組合中任兩相鄰的所述峰點畫素列之間存在至少一所述谷點畫素列,所述三個峰谷組合中任兩相鄰的所述峰點畫素列之間的距離不大於一寬度門檻值,所述三個峰谷組合的兩側至少之一更包括至少另一所述谷點畫素列;以及若是,確認該手部的存在,並且根據所述手指特徵於該二值化邊緣影像的所在位置定位該手部。
  6. 一種影像處理裝置,包括:一儲存單元,記錄多個模組;以及一或多個處理單元,耦接該儲存單元,以存取並執行該儲存單元中記錄的所述模組,所述模組包括:一影像接收模組,接收一輸入影像;一邊緣偵測模組,針對該輸入影像,進行一邊緣偵測處理,以產生一邊緣影像;一二值化模組,針對該邊緣影像,進行一二值化處理, 以產生一二值化邊緣影像,其中該二值化邊緣影像包括具有一第一像素值的多個邊緣畫素以及具有一第二像素值的多個非邊緣畫素;一搜尋模組,自該邊緣影像的所述邊緣畫素中,搜尋一起始畫素以及一終點畫素;一膚色判斷模組,判斷該起始畫素與該終點畫素之間的一下方區域的像素值是否符合關聯於該輸入影像的一動態膚色區間;以及一手部特徵判斷模組,當該膚色判斷模組判斷該起始畫素與該終點畫素之間的該下方區域的像素值符合該動態膚色區間時,該手部特徵判斷模組判斷於該起始畫素與該終點畫素之間的一上方區域是否具有多個手指的特徵,據以確認一手部的存在。
  7. 如申請專利範圍第6項所述的影像處理裝置,其中對於該輸入影像的每一輸入畫素,該邊緣偵測模組擷取該輸入影像的每一輸入畫素的多個成份值,又分別針對各所述成份值進行一垂直邊緣偵測處理,以產生多個成份導數值,並且針對所述成份導數值進行累加,以產生一邊緣偵測值,以及該邊緣偵測模組根據各所述輸入畫素的該邊緣偵測值,產生該邊緣影像。
  8. 如申請專利範圍第7項所述的影像處理裝置,其中各所述輸入畫素的所述成份值包括一亮度值以及至少一色彩資訊,該影像處理裝置更包括: 一動態膚色濾波模組,根據所述輸入畫素的所述色彩資訊,定義一動態膚色區間,並且區分符合該動態膚色區間的所述輸入畫素為多個膚色畫素以及不符合該動態膚色區間的所述輸入畫素為多個非膚色畫素,其中該二值化模組根據各所述輸入畫素的該亮度值,計算一影像亮度平均值、一膚色亮度平均值以及一非膚色亮度平均值,其中該影像亮度平均值為各所述輸入畫素的該亮度值的平均值,該膚色亮度平均值為各所述膚色畫素的該亮度值的平均值,該非膚色亮度平均值為各所述非膚色畫素的該亮度值的平均值,該二值化模組根據該影像亮度平均值、該膚色亮度平均值以及該非膚色亮度平均值,設定一邊緣二值化門檻值,以及該二值化模組根據該邊緣二值化門檻值,針對該邊緣影像的每一畫素進行該二值化處理,以產生該二值化邊緣影像。
  9. 如申請專利範圍第6項所述的影像處理裝置,其中該搜尋模組判斷所述邊緣畫素中的一第一邊緣畫素與一第二邊緣畫素之間的距離是否大於一手掌距離門檻值,並且該第一邊緣畫素與該第二邊緣畫素之間不具有其它所述邊緣畫素;以及若是,則該搜尋模組設定該第一邊緣畫素以及該第二邊緣畫素分別為該起始畫素以及該終點畫素。
  10. 如申請專利範圍第6項所述的影像處理裝置,其中當該膚色判斷模組判斷該起始畫素與該終點畫素之間的該下方區域的像素值符合該動態膚色區間時,該手部特徵判斷模組判斷該上方 區域中是否存在三個峰谷組合,其中其中所述三個峰谷組合包括對應於一指尖特徵的多個峰點畫素列以及對應於一指縫特徵的多個谷點畫素列,所述三個峰谷組合中任兩相鄰的所述峰點畫素列之間存在至少一所述谷點畫素列,所述三個峰谷組合中任兩相鄰的所述峰點畫素列之間的距離不大於一寬度門檻值,所述三個峰谷組合的兩側至少之一更包括至少另一所述谷點畫素列,以及若是,該手部特徵判斷模組確認該手部的存在,並且根據所述手指特徵於該二值化邊緣影像的所在位置定位該手部。
TW103115194A 2014-04-28 2014-04-28 手部偵測方法及影像處理裝置 TWI514290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW103115194A TWI514290B (zh) 2014-04-28 2014-04-28 手部偵測方法及影像處理裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103115194A TWI514290B (zh) 2014-04-28 2014-04-28 手部偵測方法及影像處理裝置

Publications (2)

Publication Number Publication Date
TW201541368A true TW201541368A (zh) 2015-11-01
TWI514290B TWI514290B (zh) 2015-12-21

Family

ID=55220516

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103115194A TWI514290B (zh) 2014-04-28 2014-04-28 手部偵測方法及影像處理裝置

Country Status (1)

Country Link
TW (1) TWI514290B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI489317B (zh) * 2009-12-10 2015-06-21 Tatung Co 電子裝置的操作方法及系統
US8781221B2 (en) * 2011-04-11 2014-07-15 Intel Corporation Hand gesture recognition system
EP2680228B1 (en) * 2012-06-25 2014-11-26 Softkinetic Software Improvements in or relating to three dimensional close interactions.
TWM468724U (zh) * 2013-08-23 2013-12-21 Univ Kun Shan 指尖軌跡追蹤與記錄之自動光學偵測裝置

Also Published As

Publication number Publication date
TWI514290B (zh) 2015-12-21

Similar Documents

Publication Publication Date Title
JP4756705B2 (ja) バイオメトリクス・イメージングシステムおよび方法
TWI499966B (zh) 互動式操作方法
WO2017071064A1 (zh) 区域提取方法、模型训练方法及装置
WO2010032126A2 (en) A vein pattern recognition based biometric system and methods thereof
CN103870071B (zh) 一种触摸源识别方法及系统
US11402918B2 (en) Method for controlling terminal apparatus, apparatus for controlling terminal apparatus, and computer-program product
US9245194B2 (en) Efficient line detection method
US20070177774A1 (en) Fingerprint Recognition System Having Detecting Pore and Method Thereof
TWI603270B (zh) 偵測人員使用手持裝置的方法及裝置
US10423824B2 (en) Body information analysis apparatus and method of analyzing hand skin using same
KR101745601B1 (ko) 영상 처리를 이용한 손가락 개수 인식 방법 및 장치
CN108734069B (zh) 一种指静脉图像的质量分数计算方法及装置
Donida Labati et al. A scheme for fingerphoto recognition in smartphones
US20160140762A1 (en) Image processing device and image processing method
TWI428807B (zh) 光學式座標輸入裝置及其座標計算之方法
JP5254897B2 (ja) 手画像認識装置
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
TWI606405B (zh) 影像處理方法及影像處理系統
TWI514290B (zh) 手部偵測方法及影像處理裝置
KR101681197B1 (ko) 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치
JP2012003724A (ja) 三次元指先位置検出方法、三次元指先位置検出装置、及びプログラム
CN110991307B (zh) 人脸识别的方法、装置、设备及存储介质
TWI507919B (zh) 追蹤與記錄指尖軌跡的影像處理方法
TW201909021A (zh) 電子裝置與其指紋辨識方法
TW201401187A (zh) 指尖偵測虛擬觸控之方法及其系統

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees