TWI448987B - 使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備 - Google Patents

使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備 Download PDF

Info

Publication number
TWI448987B
TWI448987B TW100133489A TW100133489A TWI448987B TW I448987 B TWI448987 B TW I448987B TW 100133489 A TW100133489 A TW 100133489A TW 100133489 A TW100133489 A TW 100133489A TW I448987 B TWI448987 B TW I448987B
Authority
TW
Taiwan
Prior art keywords
hog
dynamic organ
descriptor
directional gradient
gradient histogram
Prior art date
Application number
TW100133489A
Other languages
English (en)
Other versions
TW201214336A (en
Inventor
Ji Young Ahn
Sung Gae Lee
Hyung Joon Koo
Chang Ick Kim
Won Jun Kim
Min Jin Kim
Original Assignee
Lg Display Co Ltd
Korea Advanced Inst Sci & Tech
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lg Display Co Ltd, Korea Advanced Inst Sci & Tech filed Critical Lg Display Co Ltd
Publication of TW201214336A publication Critical patent/TW201214336A/zh
Application granted granted Critical
Publication of TWI448987B publication Critical patent/TWI448987B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Description

使用者動態器官姿勢之識別介面及方法與使用該介面之用電 設備
本發明係關於一種使用者動態器官姿勢之識別方法，以及特別地，本發明關於一種使用者動態器官姿勢之識別方法及介面與使用該介面的用電設備。
隨著不同的多媒體系統根據影像資訊之開發，對於理解一影像中包含的資訊之技術以及將資訊應用於不同領域的需求增加。特別地，更多的注意用以通過在一影像中識別人類的姿勢，例如手的運動，建立一更容易的介面環境。
然而，在習知技術之中，當背景複雜化或者除一手之外的膚色區域存在時，難以精確識別一手。
以下將簡單解釋習知技術中一種手姿勢的識別方法。基於一高斯混合模型的知識使用一定數目的資料集在標準化RGB顏色空間中展開。使用通過該知識產生的一模型的類似性，一膚色影像在一圖框影像中偵測。進一步而言，一手運動影像使用圖框影像之間的亮度差產生。透過將手運動影像應用於偵測的膚色影像，產生一手似然影像。使用一積分影像特性，一手候選區域自手似然影像中偵測。使用手候選區域的中心坐標以及光流動成分，最終判斷一手姿勢。
上述習知技術之方法具有以下問題。當除了一手區域之外的膚色區域在一影像中存在時，難以在其間區分。進一步而言，當類似於人類運動的事物在一背景中存在時，難以偵測一手運動。 進一步而言，需要很多的資料集量，以及需要很多的時間以及努力根據資料集建立可靠的模型。進一步而言，本方法易受到室內照明變化之影響。由於用以拍攝一影像的照相機之噪音，使得手運動的假偵測頻繁出現。
如上所述，習知技術之方法產生效率及可靠性的降低。
因此，鑒於上述問題，本發明之目的在於提供一種使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備，藉以消除由於習知技術之限制及缺陷所產生之一個或多個問題。
本發明之一優點在於提供一種使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備，能夠提高效率及可靠性。
本發明其他的特徵及優點將在如下的說明書中部分地加以闡述，或者可以從本發明的實踐中得出。本發明的這些和其他優點可以透過本發明所記載的說明書和申請專利範圍中特別指明的結構並結合圖式部份，得以實現和獲得。
為了獲得本發明目的之這些和其他優點，現對本發明作具體化和概括性的描述，本發明的一種用電設備中使用的使用者動態器官之識別方法包含：使用一窗口，掃描通過一成像元件輸入的一目標影像；當判斷目標影像之一掃描區域包含有一動態器官時，產生此掃描區域之一有向性梯度直方圖(HOG)描述符；測量掃描區域之有向性梯度直方圖(HOG)描述符與動態器官的姿勢之一查詢模板之有向性梯度直方圖(HOG)描述符之間的一類似值；以及當此類似值符合一預定條件時，判斷掃描區域包含有 動態器官之姿勢。
在本發明之另一方面中，一種用電設備中使用的界面包含有：一成像元件；以及一動態器官姿勢識別部份，其使用一窗口，掃描通過成像元件輸入的一目標影像；當判斷目標影像之一掃描區域包含有一動態器官時，產生掃描區域之一有向性梯度直方圖(HOG)描述符；測量掃描區域之有向性梯度直方圖(HOG)描述符與動態器官的姿勢之一查詢模板之有向性梯度直方圖(HOG)描述符之間的一類似值；以及當此類似值符合一預定條件時，判斷掃描區域包含有動態器官之姿勢。
在本發明之再一方面中，一種用電設備包含有：一介面，其包含有一動態器官姿勢識別部份，動態器官姿勢識別部份使用一窗口，掃描通過成像元件輸入的一目標影像；當判斷目標影像之一掃描區域包含有一動態器官時，產生掃描區域之一有向性梯度直方圖(HOG)描述符；測量掃描區域之有向性梯度直方圖(HOG)描述符與動態器官的姿勢之一查詢模板之有向性梯度直方圖(HOG)描述符之間的一類似值；以及當此類似值符合一預定條件時，判斷掃描區域包含有動態器官之姿勢；以及一控制電路，係根據自介面的動態器官的姿勢之識別結果，控制此用電設備之作業。
可以理解的是，如上所述的本發明之概括說明和隨後所述的本發明之詳細說明均是具有代表性和解釋性的說明，並且是為了進一步揭示本發明之申請專利範圍。
以下，將結合圖式部份詳細描述本發明之實施例。
「第1圖」係為本發明一實施例之具有一手姿勢識別介面的設備之示意圖，以及「第2圖」係為本發明之實施例之一手姿勢的識別方法之示意圖。
請參閱「第1圖」，設備10可包含有一介面100以及一控制電路200。
設備10可定義為根據通過介面100輸入的資訊控制及作業且在作業中使用電力的所有類型設備中之一個。舉例而言，不同類型的設備，舉例而言，一顯示裝置，例如一電漿顯示面板、一液晶顯示裝置、或者一有機發光二極體、一洗衣機、一冷凍機、一空氣調節器、一工業設備等可用作根據本實施例之設備10。因此，設備10可稱為一用電設備10。
介面100可包含有一成像元件110以後一手姿勢識別部份120。
一照相機可用做成像元件110。成像元件110在其前部拍攝影像，以及然後拍攝之影像透過圖框輸入於手姿勢識別部份120之中。
手姿勢識別部份120自向其輸入的影像偵測及識別一手姿勢。
手姿勢的識別結果傳送至控制電路200。控制電路200產生且輸出對應於手姿勢的識別結果之一控制指令。
根據該控制指令，控制及作業用電設備10。舉例而言，當一顯示裝置用作設備10時，可執行不同的指令，例如關閉電源、改 變通道、調節一量值等。
將結合「第2圖」至「第9圖」解釋本發明之本實施例之手姿勢之識別方法。
執行一第一步驟ST1，在成像元件110之前部所視的一部份透過成像元件110拍攝，以便獲得影像，以及然後影像輸入至手姿勢識別部份120。為了便於解釋，假定對於一當前圖框輸入用以識別一手姿勢的影像之圖框影像可稱為一目標影像。「第3圖」係為本發明之實施例之通過成像元件110輸入的一目標影像之實例。
然後，執行一第二步驟ST2，其中使用一色彩模式自目標影像產生一膚色影像。較佳地，一色相飽和度亮度(Hue Saturation Intensity,HSI)色彩模式用作該色彩模式。在色相飽和度亮度(HSI)色彩模式之中，〞H〞係為表示一色相成分，〞S〞係為表示一飽和度之成分，以及〞I〞係為表示一亮度之成分。
因此，透過將色相飽和度亮度(HSI)色彩模式應用於輸入影像的每一畫素，能夠產生一膚色之影像。換句話而言，透過在目標影像的畫素之中偵測具有一膚色的畫素，能夠產生強調一膚色的膚色影像。色相或者色相與飽和度之兩者可用作決定膚色的一因素。因此，當一畫素之色相或者色相與飽和度符合一預定膚色條件時，可以確定畫素具有一膚色。因此，使用色彩模式，能夠產生對於目標影像的皮膚影像。「第4圖」係為根據本發明之實施例產生的一膚色影像之實例。
如上所述，在本發明之本實施例之中，可通過使用色相資訊的色相飽和度亮度(HSI)色彩模式產生膚色影像。由於色相飽和 度亮度(HSI)色彩模式使用色相資訊，因此其相比較於其他色彩模式，例如，一RGB色彩模式、一YCbCr色彩模式等能夠更快地偵測一期望顏色，例如，一膚色。因此，當使用色相飽和度亮度(HSI)色彩模式時，能夠快速執行產生膚色影像之過程。這樣最終提高了手姿勢識別之速率。
然而，可以理解的是，可以使用除色相飽和度亮度(HSI)色彩模式之外的上述色彩模式用以產生膚色影像。
然後，執行第三及第四步驟ST3及ST4，其中膚色影像透過具有預定尺寸的一窗口WD掃描，以及判斷在屬於透過窗口WD掃描的區域之畫素中，一膚色之畫素數目是否大於一第一臨限值。
「第5圖」係為根據本發明之實施例的窗口掃描之一實例之示意圖。以下將結合「第5圖」解釋窗口掃描。
請參閱「第5圖」，具有一寬度W及一高度H的窗口WD沿著一方向，例如一行方向(即，一x方向)移動，並且執行掃描。完全掃描一個行，即，一掃描行，以及然後執行掃描一下一掃描行。
透過掃描的窗口WD的一移動距離D，即沿著行方向掃描的相鄰窗口之間的一距離可相比較於窗口WD之寬度W為小。舉例而言，掃描一當前掃描區域，然後窗口WD透過小於對應於寬度W的畫素數目之畫素數目移動，以及然後掃描下一掃描區域。因此，沿著行方向的相鄰掃描區域可彼此相重疊。
進一步而言，沿著一列方向，即，一y方向的相鄰掃描區域可彼此相重疊。舉例而言，完全執行掃描一掃描行，然後窗口WD 以相比較於與高度H相對應的畫素數目更少的畫素數移位，以及然後掃描一下一掃描行。因此，沿著列方向的相鄰掃描區域可彼此相重疊。
較佳地，窗口WD的尺寸配設為與手姿勢的查詢模板之尺寸相同。手姿勢之查詢模板係為一種特定的手形狀模型，用以在目標影像之中識別一對應的手姿勢。
如上所述，關於掃描區域，判斷是否在屬於掃描區域的畫素之中，一膚色的畫素數目相比較於第一臨限值TH1更大。
當一膚色之畫素數目相比較於第一臨限值TH1更大時，執行一下一個步驟，即產生一高階統計(High Order Statistics,HOS)圖的第五步驟ST5。
然而，當一膚色之畫素數目與第一臨限值TH1相等，或者相比較於第一臨限值TH1更少時，不執行移動至第五步驟ST5而返回至第三步驟ST3。此種情況下，窗口WD移動且掃描下一掃描區域。
如上所述，第一臨限值TH1認為是用以首先決定掃描區域包含有一手影像之可能性的基準。特別地，當畫素之數目係為第一臨限值TH1或者更少時，判斷該掃描區域不包含有一手影像，以及因此，執行返回至前一步驟ST3，而代替移動至第五步驟ST5，並且再次執行窗口掃描。
透過通過上述具有一膚色的畫素數目是否滿足預定條件，首先判斷一手影像之存在，對於不包含有一手影像的區域不執行跟隨步驟。因此，手姿勢的識別速率能夠變快。
然後，執行第五步驟ST5，當在掃描區域之中具有膚色的畫素數目相比較於第一臨限值TH1更大時，產生掃描區域的高階統計(HOS)圖。
使用一高階統計(HOS)資訊產生高階統計(HOS)圖。換句話而言，在目標影像的全部區域之中，發現屬於掃描區域的畫素之亮度的一高階統計(HOS)資訊，以及因此改變一特徵空間。
為了發現每一畫素的高階統計(HOS)資訊，使用以下的第一表達式計算一二級動差。在第一表達式中，B(x,y)係為在一坐標(x,y)以及周圍畫素的一組畫素，以及NB係為B(x,y)之量值。I(x,y,n)係為在一第n個圖框中的坐標(x,y)之畫素的亮度，以及係為在第n個圖框中的B(x,y)之一平均亮度。關於第一表達式，由於二級動差之一範圍可大大超出影像亮度之最大值，因此該範圍之最高值可限制為一預定值，舉例而言，為影像亮度的最大值。舉例而言，當最高值限制為〞255〞時，高階統計(HOS)資訊透過以下第二表達式：產生。其中DSF係為一下降比例因子，並且在本實施例之中，例如，〞10〞可設定為DSF。
使用上述通過第一及第二表達式獲得之高階統計(HOS)資訊，能夠產生用於掃描區域的高階統計(HOS)圖。
如上所述，由於使用高階統計(HOS)資訊產生高階統計 (HOS)圖，因此，雖然由於成影元件110等在目標影像中產生噪音，也能夠產生手姿勢的穩定識別。這一點將結合「第6圖」至「第8圖」解釋。
「第6圖」表示產生一噪音的一目標影像之實例，「第7圖」係為「第6圖」之目標影像的一邊緣量值圖，以及「第8圖」係為根據本發明之本實施例產生的，對於「第6圖」的目標影像之一高階統計(HOS)圖。
「第7圖」之邊緣量值圖相比較於「第8圖」之高階統計(HOS)圖，在噪音存在於目標影像中的情況下，手之邊界在高階統計(HOS)圖之中相比較於邊緣量值圖更好地保留。
因此，由於使用高階統計(HOS)圖，不僅當作為目標影像輸入的一初始影像本身沒有噪音時，而且當目標影像具有一噪音時，能夠保證手姿勢識別的可靠性。
然後，執行一第六步驟ST6，根據高階統計(HOS)圖，產生對於掃描訊號的有向性梯度直方圖(Histograms of Oriented Gradients,HOG)描述符。
可產生對於查詢模板的一有向性梯度直方圖(HOG)描述符，以及這一步可在第六步驟ST6之中執行，或者可在第六步驟ST6之前執行且有向性梯度直方圖(HOG)描述符可儲存於一儲存裝置之中。產生查詢模板的有向性梯度直方圖(HOG)描述符表示模型化一模板手姿勢。
在產生有向性梯度直方圖(HOG)描述符之中，對於掃描區域與查詢模板的每一個，透過使用亮度梯度的大小及定向，透過 區塊產生一直方圖。該區塊具有之一尺寸相比較於窗口WD及查詢模板之尺寸更小。舉例而言，該區塊具有W/4*H/4之尺寸，以及W及H係分別為窗口WD的寬度及高度。
透過連接掃描區域與查詢模板的每一個之中所有區塊之直方圖，能夠產生掃描區域與查詢模板每一個的有向性梯度直方圖(HOG)描述符。查詢模板與掃描區域之每一個的區塊的直方圖可透過以下第三及第四表達式產生。第三表達式係為：，其中，以及。第四表達式係為：，其中，以及。
i係為區塊之標記，以及K係為定向之量化值。m(x,y)係為在一坐標(x,y)的一畫素值亮度梯度之大小，以及θ(x,y)係為量化之定向。r及n係分別為窗口掃描以及圖框數目的標記。ε係為小的正實數，例如為0.00001，以及其可設置為使得分母不為零。區塊標記表示一區塊之定位，以及窗口掃描標記係為表示掃描區域之一位置之因子。
透過連接通過第三及第四表達式獲得之直方圖，能夠產生對於查詢模板與掃描區域的有向性梯度直方圖(HOG)描述符。對 於查詢模板與掃描區域的有向性梯度直方圖(HOG)描述符可分別表示為H q 以及。
沿著x方向及y方向的相鄰區塊可彼此相重疊。舉例而言，沿著x方向的相鄰區塊可以區塊的一半之寬度彼此相重疊，以及沿著y方向的相鄰區塊可以區塊之高度的一半彼此相重疊。然而，可以理解的是，重疊寬度及高度可改變。
「第9圖」表示根據本發明之實施例之有向性梯度直方圖(HOG)描述符產生過程之實例。在「第9圖」之中，表示出透過直方窗口掃描產生左目標影像區域的有向性梯度直方圖(HOG)描述符。
請參閱「第9圖」，掃描區域之中每一畫素的亮度梯度之大小及方向透過一箭頭表示。箭頭的長度係為亮度梯度的大小。
對於掃描區域，直方圖透過區塊產生且這些區塊彼此相連接，用以最終產生一有向性梯度直方圖(HOG)描述符。在「第9圖」之中，表示出有向性梯度直方圖(HOG)描述符使用一5倉(bin)邊緣取向直方圖產生。此種情況下，這5倉(bin)可包含有對應於4個量化級別(分別向其分配0至45度之範圍，45度至90度之範圍，90度至135度之範圍，以及135度至180度之範圍)的4倉(bin)(分別順次自左至右表示)，以及一添加倉(bin)。該添加倉(bin)係為0度之定向。
然後，為了判斷掃描區域包含有對應於查詢模板的手姿勢，執行與模型化手姿勢的模板匹配。為此，舉例而言，執行一第七步驟ST7，測量查詢模板的有向性梯度直方圖(HOG)描述符與 掃描區域之有向性梯度直方圖(HOG)描述符之間的一類似值。
為了測量該類似值，可使用一餘弦相似度(cosine similarity)，通過餘弦相似度(cosine similarity)的相似度在以下的第五表達式中測量，其中，其中。
(H q ) T 係為H q 之一置換矩陣，ρ r 係為一餘弦相似度，以及f(ρ r )係為類似值測量函數。
然後，執行一第八步驟ST8，判斷通過第五表達式測量的類似值是否大於一第二臨限值TH2。
當類似值相比較於第二臨限值TH2更大時，判斷掃描區域包含有查詢模板之手姿勢。因此，能夠識別手姿勢。
當該類似值相比較於第二臨限值TH2相等或更小時，判斷掃描區域不包含有查詢模板之手姿勢。
如上所述，通過查詢模板的有向性梯度直方圖(HOG)描述符與掃描區域之有向性梯度直方圖(HOG)描述符之間的類似性是否符合預定條件，能夠判斷查詢模板的手姿勢是否在掃描區域中存在。
可準備分別對應於複數個控制指令的複數個查詢模板。此種情況下，優先號分配至複數個查詢模板。因此，當具有優先號的查詢模板之類似性不符合預定條件時，執行是否符合具有下一更低優先號的查詢模板之類似性的判斷。
當該類似值係為第二臨限值TH2或相比較於第二臨限值TH2更小時，執行一第九步驟ST9，其判斷是否全部目標影像完全掃 描。
當沒有完全掃描時，返回至第三步驟ST3且重複上述的順次步驟。
當全部掃描完成時，最終決定目標影像不包含有查詢模板之手姿勢。換句話而言，不識別手姿勢。
或者，當確定掃描區域包含有手姿勢時，可執行一是否全部目標影像完全掃描的判斷步驟。此種情況下，可執行返回至第三步驟ST3。這樣，可有用地應用於，例如當使用兩只手時，多個姿勢識別中。
當手姿勢根據上述方法識別時，產生對應的控制指令，以及用電設備10根據控制指令作業。
當手姿勢不能夠識別時，舉例而言，可保持一前述的控制指令，以及可保持用電設備10的作業不變化。
如上所述，在本發明之本實施例中，為了識別一手姿勢，一膚色區域自一目標影像中偵測，然後一膚色影像根據偵測的膚色區域產生，然後，對於膚色影像執行一窗口掃描，然後當掃描區域的膚色畫素之數目符合一預定條件時，產生一高階統計(HOS)圖，然後根據高階統計(HOS)圖產生一有向性梯度直方圖(HOG)描述符，以及然後判斷掃描區域之有向性梯度直方圖(HOG)描述符與一查詢模板的有向性梯度直方圖(HOG)描述符之類似度。
這樣，當膚色畫素之數目符合預定條件時，執行跟隨之步驟。因此，手姿勢之識別速率能夠非常快速。
進一步而言，雖然一噪音包含於輸入的目標影像之中，但是 包含有去除噪音的產生高階統計(HOS)圖之步驟。因此，能夠提供手姿勢識別的準確性及可靠性。
進一步而言，一查詢模板用作手姿勢之識別。因此，相比較於習知技術使用大量資料集的基於學知的方法，能夠減少時間及成本。
進一步而言，由於一手的形狀能夠使用基於高階統計(HOS)圖的有向性梯度直方圖(HOG)描述符有效模型化，因此甚至當一膚色背景存在或產生與其他主體部份相重疊時，本發明之本實施例之方法對於光線之變化較穩定，以及能夠精確識別一手區域。
因此，根據本發明之本實施例，能夠提高手姿勢識別的可靠性及效率。
「第10圖」至「第13圖」係為根據本發明之本實施例之在不同條件下，手姿勢識別之結果之畫面。
「第10圖」至「第13圖」係分別表示在一背景中存在一運動的環境下之結果，在一背景中存在一複雜的結構的環境之下之結果，在一手與一臉相重疊的環境下之結果，以及一膚色背景廣泛存在的環境下之結果。
請參閱「第10圖」至「第13圖」，甚至在不同環境下，能夠精確識別一手形狀。
在上述本發明之實施例之中，一手姿勢的識別方法作為一實例解釋。然而，可以理解的是，該方法能夠應用於器官，例如一腳、一臂、一腿等之姿勢識別，這些器官能夠視覺上表示使用者的意圖，即，動態器官。
雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍之內。關於本發明所界定之保護範圍請參照所附之申請專利範圍。
10‧‧‧設備
100‧‧‧介面
110‧‧‧成像元件
120‧‧‧手姿勢識別部份
200‧‧‧控制電路
WD‧‧‧窗口
D‧‧‧移動距離
W‧‧‧寬度
H‧‧‧高度
第1圖係為本發明一實施例之具有一手姿勢識別介面的設備之示意圖；第2圖係為本發明之實施例之一手姿勢的識別方法之示意圖；第3圖係為根據本發明之實施例的通過成像元件110輸入的一目標影像之實例之畫面；第4圖係為根據本發明之實施例產生的一膚色影像之實例之畫面；第5圖係為根據本發明之實施例的窗口掃描之一實例之示意圖；第6圖表示產生一噪音的一目標影像之實例之畫面；第7圖係為第6圖之目標影像的一邊緣量值圖之畫面；第8圖係為根據本發明之本實施例產生的，對於第6圖的目標影像之一高階統計(HOS)圖；第9圖表示根據本發明之實施例的有向性梯度直方圖(HOG)描述符產生過程之實例之示意圖；以及第10圖至第13圖係為根據本發明之本實施例之在不同條件 下，手姿勢識別之結果之畫面。

Claims (21)

  1. 一種用電設備中使用的使用者動態器官之識別方法，係包含：使用一窗口，掃描通過一成像元件輸入的一目標影像；當判斷該目標影像之一掃描區域包含有一動態器官時，產生該掃描區域之一有向性梯度直方圖(HOG)描述符；測量該掃描區域之該有向性梯度直方圖(HOG)描述符與該動態器官的姿勢之一查詢模板之有向性梯度直方圖(HOG)描述符之間的一類似值；以及當該類似值符合一預定條件時，判斷該掃描區域包含有該動態器官之該姿勢，其中產生該掃描區域之該有向性梯度直方圖(HOG)描述符包含：使用該掃描區域之亮度的一高階統計(HOS)資訊，產生該掃描區域之一高階統計(HOS)圖；以及根據該高階統計(HOS)圖，產生該掃描區域之該有向性梯度直方圖(HOG)描述符，其中該高階統計(HOS)資訊通過一第二表達式以及一第三表達式產生，其中該第二表達式係為(其中B(x,y)係為在一 坐標(x,y)以及周圍畫素的一組畫素，以及NB係為B(x,y)之大小量值，I(x,y)係為在該坐標(x,y)之該畫素的亮度，以及係為在該B(x,y)之一平均亮度，以及m (2)(x,y)係為一二級動差)，以及其中該第三表達式係為(其中UL係為一最高限度值，以及DSF係為一下降比例因子)。
  2. 如請求項第1項所述之用電設備中使用的使用者動態器官之識別方法，其中使用該窗口掃描該目標影像包含：向該目標影像應用一色相飽和度亮度(HSI)色彩模式，用以產生一膚色影像；以及使用該窗口掃描該膚色影像。
  3. 如請求項第2項所述之用電設備中使用的使用者動態器官之識別方法，其中當在屬於該掃描區域的畫素之中，具有一膚色的畫素之數目符合一預定條件時，該掃描區域包含有該動態器官。
  4. 如請求項第1項所述之用電設備中使用的使用者動態器官之識別方法，其中根據該高階統計(HOS)圖產生該掃描區域之該有向性梯度直方圖(HOG)描述符包含：使用該掃描區域之該畫素之亮度梯度的大小及方向，產生各區塊之直方圖；以及透過連接該等直方圖，產生該掃描區域之該有向性梯度直 方圖(HOG)描述符，其中該區塊具有一相比較於該窗口之尺寸更小之尺寸，以及該等相鄰之區塊彼此相重疊。
  5. 如請求項第1項所述之用電設備中使用的使用者動態器官之識別方法，其中該類似值使用該掃描區域之該有向性梯度直方圖(HOG)描述符與該查詢模板之該有向性梯度直方圖(HOG)描述符之間的一餘弦相似度(cosine similarity)，通過一第一表達式測量，以及其中該第一表達式係為，而 (其中H q 係為該查詢模板之該有向性梯度直方圖(HOG)描述符，係為該掃描區域之該有向性梯度直方圖(HOG)描述符，(H q ) T 係為H q 之一置換矩陣，ρ r 係為該餘弦相似度，以及f(ρ r )係為一類似值測量函數)。
  6. 如請求項第1項所述之用電設備中使用的使用者動態器官之識別方法，其中在透過該窗口掃描的該目標影像之複數個區域之中，沿著該窗口之一寬度方向的該等相鄰區域彼此相重疊，以及沿著該窗口之一長度方向的該等相鄰區域彼此相重疊。
  7. 如請求項第1項所述之用電設備中使用的使用者動態器官之識別方法，其中該動態器官係為一手、一腳、一頭、一臂、以及一腿中之一個。
  8. 一種用電設備中使用的界面，係包含有：一成像元件；以及一動態器官姿勢識別部份，係使用一窗口，掃描通過該成像元件輸入的一目標影像；當判斷該目標影像之一掃描區域包含有一動態器官時，產生該掃描區域之一有向性梯度直方圖(HOG)描述符；測量該掃描區域之該有向性梯度直方圖(HOG)描述符與該動態器官的姿勢之一查詢模板之有向性梯度直方圖(HOG)描述符之間的一類似值；以及當該類似值符合一預定條件時，判斷該掃描區域包含有該動態器官之該姿勢，其中該動態器官姿勢識別部份使用該掃描區域之亮度的一高階統計(HOS)資訊，產生該掃描區域之一高階統計(HOS)圖，以及根據該高階統計(HOS)圖產生該掃描區域之該有向性梯度直方圖(HOG)描述符，其中該高階統計(HOS)資訊通過一第二表達式以及一第三表達式產生，其中該第二表達式係為(其中B(x,y)係為在一坐標(x,y)以及周圍畫素的一組畫素，以及NB係為B(x,y)之大小量值，I(x,y)係為在該坐標(x,y)之該畫素的亮度， 以及係為在該B(x,y)之一平均亮度，以及m (2)(x,y)係為一二級動差)，以及其中該第三表達式係為(其中UL係為一最高限度值，以及DSF係為一下降比例因子)。
  9. 如請求項第8項所述之用電設備中使用的界面，其中該動態器官姿勢識別部份將一色相飽和度亮度(HSI)色彩模式應用於該目標影像用以產生一膚色影像，以及使用該窗口掃描該膚色影像。
  10. 如請求項第9項所述之用電設備中使用的界面，其中當在屬於該掃描區域的複數個畫素中，具有一膚色的畫素數目符合一預定條件時，該動態器官姿勢識別部份判斷該掃描區域包含有該動態器官。
  11. 如請求項第8項所述之用電設備中使用的界面，其中該動態器官姿勢識別部份使用該掃描區域的該畫素之亮度梯度的大小及方向，產生各區塊之直方圖，以及透過連接這些直方圖產生該掃描區域之該有向性梯度直方圖(HOG)描述符，以及其中該區塊具有一相比較於該窗口之尺寸更小之尺寸，以及該等相鄰之區塊彼此相重疊。
  12. 如請求項第8項所述之用電設備中使用的界面，其中該類似值使用該掃描區域之該有向性梯度直方圖(HOG)描述符與該查詢模板之該有向性梯度直方圖(HOG)描述符之間的一餘弦相 似度(cosine similarity)，通過一第一表達式測量，以及其中該第一表達式係為，而 (其中H q 係為該查詢模板之該有向 性梯度直方圖(HOG)描述符，係為該掃描區域之該有向性梯度直方圖(HOG)描述符，(H q ) T 係為H q 之一置換矩陣，ρ r 係為該餘弦相似度，以及f(ρ r )係為一類似值測量函數)。
  13. 如請求項第8項所述之用電設備中使用的界面，其中在透過該窗口掃描的該目標影像之複數個區域之中，沿著該窗口之一寬度方向的該等相鄰區域彼此相重疊，以及沿著該窗口之一長度方向的該等相鄰區域彼此相重疊。
  14. 如請求項第8項所述之用電設備中使用的界面，其中該動態器官係為一手、一腳、一頭、一臂、以及一腿中之一個。
  15. 一種用電設備，係包含有：一介面，係包含有一動態器官姿勢識別部份，該動態器官姿勢識別部份使用一窗口，掃描通過該成像元件輸入的一目標影像；當判斷該目標影像之一掃描區域包含有一動態器官時，產生該掃描區域之一有向性梯度直方圖(HOG)描述符；測量該掃描區域之該有向性梯度直方圖(HOG)描述符與該動態器官的姿勢之一查詢模板之有向性梯度直方圖(HOG)描述符之間的一類似值；以及當該類似值符合一預定條件時，判斷該掃 描區域包含有該動態器官之該姿勢；以及一控制電路，係根據自該介面的該動態器官的該姿勢之識別結果，控制該用電設備之作業，其中該動態器官姿勢識別部份使用該掃描區域之亮度的一高階統計(HOS)資訊，產生該掃描區域之一高階統計(HOS)圖，以及根據該高階統計(HOS)圖產生該掃描區域之該有向性梯度直方圖(HOG)描述符，其中該高階統計(HOS)資訊通過一第二表達式以及一第三表達式產生，其中該第二表達式係為(其中B(x,y)係為在一坐標(x,y)以及周圍畫素的一組畫素，以及NB係為B(x,y)之大小量值，I(x,y)係為在該坐標(x,y)之該畫素的亮度，以及係為在該B(x,y)之一平均亮度，以及m (2)(x,y)係為一二級動差)，以及其中該第三表達式係為(其中UL係為一最高限度值，以及DSF係為一下降比例因子)。
  16. 如請求項第15項所述之用電設備，其中該動態器官姿勢識別部份將一色相飽和度亮度(HSI)色彩模式應用於該目標影像用以產生一膚色影像，以及使用該窗口掃描該膚色影像。
  17. 如請求項第16項所述之用電設備，其中當在屬於該掃描區域的複數個畫素中，具有一膚色的畫素數目符合一預定條件時，該動態器官姿勢識別部份判斷該掃描區域包含有該動態器官。
  18. 如請求項第15項所述之用電設備，其中該動態器官姿勢識別部份使用該掃描區域的該畫素之亮度梯度的大小及方向，產生各區塊之直方圖，以及透過連接這些直方圖產生該掃描區域之該有向性梯度直方圖(HOG)描述符，以及其中該區塊具有一相比較於該窗口之尺寸更小之尺寸，以及該等相鄰之區塊彼此相重疊。
  19. 如請求項第15項所述之用電設備，其中該類似值使用該掃描區域之該有向性梯度直方圖(HOG)描述符與該查詢模板之該有向性梯度直方圖(HOG)描述符之間的一餘弦相似度(cosine similarity)，通過一第一表達式測量，以及其中該第一表達式係為，而 (其中H q 係為該查詢模板之該有向 性梯度直方圖(HOG)描述符，係為該掃描區域之該有向性梯度直方圖(HOG)描述符，(H q ) T 係為H q 之一置換矩陣，ρ r 係為該餘弦相似度，以及f(ρ r )係為一類似值測量函數)。
  20. 如請求項第15項所述之用電設備，其中在透過該窗口掃描的該目標影像之複數個區域之中，沿著該窗口之一寬度方向的該 等相鄰區域彼此相重疊，以及沿著該窗口之一長度方向的該等相鄰區域彼此相重疊。
  21. 如請求項第15項所述之用電設備，其中該動態器官係為一手、一腳、一頭、一臂、以及一腿中之一個。
TW100133489A 2010-09-17 2011-09-16 使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備 TWI448987B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100091745A KR101326230B1 (ko) 2010-09-17 2010-09-17 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치

Publications (2)

Publication Number Publication Date
TW201214336A TW201214336A (en) 2012-04-01
TWI448987B true TWI448987B (zh) 2014-08-11

Family

ID=45817276

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100133489A TWI448987B (zh) 2010-09-17 2011-09-16 使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備

Country Status (3)

Country Link
US (1) US8649559B2 (zh)
KR (1) KR101326230B1 (zh)
TW (1) TWI448987B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US20120328160A1 (en) * 2011-06-27 2012-12-27 Office of Research Cooperation Foundation of Yeungnam University Method for detecting and recognizing objects of an image using haar-like features
JP5913940B2 (ja) * 2011-12-01 2016-05-11 キヤノン株式会社 画像認識装置、画像認識装置の制御方法、およびプログラム
KR101455666B1 (ko) * 2013-02-28 2014-11-03 경북대학교 산학협력단 인증 장치 및 그 인증 방법
US9524028B2 (en) * 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
JP6221505B2 (ja) * 2013-08-22 2017-11-01 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR102330322B1 (ko) 2014-09-16 2021-11-24 삼성전자주식회사 영상 특징 추출 방법 및 장치
TWI628624B (zh) * 2017-11-30 2018-07-01 國家中山科學研究院 Improved thermal image feature extraction method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200601194A (en) * 2004-06-18 2006-01-01 Univ Southern Taiwan Tech Method of recognizing true human face for security system
US20070237387A1 (en) * 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
WO2007144640A1 (en) * 2006-06-16 2007-12-21 The Robert Gordon University Credo Method of and apparatus for processing image data

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US7035461B2 (en) * 2002-08-22 2006-04-25 Eastman Kodak Company Method for detecting objects in digital images
JP2004299025A (ja) * 2003-04-01 2004-10-28 Honda Motor Co Ltd 移動ロボット制御装置、移動ロボット制御方法及び移動ロボット制御プログラム
JP4481663B2 (ja) * 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US7869631B2 (en) * 2006-12-11 2011-01-11 Arcsoft, Inc. Automatic skin color model face detection and mean-shift face tracking
KR100916836B1 (ko) 2008-05-29 2009-09-14 고려대학교 산학협력단 지시형 제스처를 인식하는 방법 및 장치
US8243991B2 (en) * 2008-06-17 2012-08-14 Sri International Method and apparatus for detecting targets through temporal scene changes
US20100021056A1 (en) * 2008-07-28 2010-01-28 Fujifilm Corporation Skin color model generation device and method, and skin color detection device and method
JP4626692B2 (ja) 2008-09-12 2011-02-09 ソニー株式会社 物体検出装置、撮像装置、物体検出方法およびプログラム
JP2010079651A (ja) 2008-09-26 2010-04-08 Toshiba Corp 動作認識装置、方法及びプログラム
WO2010080121A1 (en) * 2008-12-18 2010-07-15 The Regents Of The University Of California, Santa Cruz Training-free generic object detection in 2-d and 3-d using locally adaptive regression kernels
US20100158363A1 (en) * 2008-12-19 2010-06-24 Qualcomm Incorporated System and method to detect skin color in an image
CN101872476A (zh) * 2009-04-24 2010-10-27 索尼株式会社 估计图像中对象姿势视角的方法、设备
CN101872477B (zh) * 2009-04-24 2014-07-16 索尼株式会社 检测图像中的对象的方法、装置，及包括该装置的系统
US8611604B2 (en) * 2009-06-03 2013-12-17 Chubu University Educational Foundation Object detection device
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8509526B2 (en) * 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
US8639042B2 (en) * 2010-06-22 2014-01-28 Microsoft Corporation Hierarchical filtered motion field for action recognition
US8792722B2 (en) * 2010-08-02 2014-07-29 Sony Corporation Hand gesture detection
JP5975598B2 (ja) * 2010-08-26 2016-08-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8768006B2 (en) * 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US8755625B2 (en) * 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US9111138B2 (en) * 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200601194A (en) * 2004-06-18 2006-01-01 Univ Southern Taiwan Tech Method of recognizing true human face for security system
US20070237387A1 (en) * 2006-04-11 2007-10-11 Shmuel Avidan Method for detecting humans in images
WO2007144640A1 (en) * 2006-06-16 2007-12-21 The Robert Gordon University Credo Method of and apparatus for processing image data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hae Jong Seo and Peyman Milanfar, "Detection of Human Actions from a Single Example", 2009 IEEE 12th International Conference on Computer Vision (ICCV), Pp. 1965-1970, 2009 *
Yang Taekyu, Kang Sukbum, "Tracking for Moving Object Using Invariant Moment and Particle Filter", Proceedings of the 27th Chinese Control Conference, Pp. 351-354, July 16-18, 2008 *

Also Published As

Publication number Publication date
TW201214336A (en) 2012-04-01
KR20120029738A (ko) 2012-03-27
KR101326230B1 (ko) 2013-11-20
US8649559B2 (en) 2014-02-11
US20120068920A1 (en) 2012-03-22

Similar Documents

Publication Publication Date Title
TWI448987B (zh) 使用者動態器官姿勢之識別介面及方法與使用該介面之用電設備
KR101298024B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US9111135B2 (en) Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
KR101298023B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
US8934675B2 (en) Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US20120170804A1 (en) Method and apparatus for tracking target object
US20130279756A1 (en) Computer vision based hand identification
TWI471815B (zh) 手勢辨識裝置及方法
JPWO2011007390A1 (ja) 画像処理装置、及びインターフェース装置
Hongyong et al. Finger tracking and gesture recognition with kinect
US8542905B2 (en) Determining the uniqueness of a model for machine vision
Wang et al. A new hand gesture recognition algorithm based on joint color-depth superpixel earth mover's distance
KR101105872B1 (ko) 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
KR101779476B1 (ko) 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
Jmaa et al. A new approach for digit recognition based on hand gesture analysis
Hussain et al. Tracking and replication of hand movements by teleguided intelligent manipulator robot
KR101212316B1 (ko) 공간 변환과 움직임 추정을 이용한 프레임 중앙점의 이동 경로 추출방법
WO2021075102A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Dai et al. Embedding invisible codes into normal video projection: Principle, evaluation, and applications
TWI553512B (zh) 一種手勢辨識追蹤方法
Sharma Hand Gesture Recognition System: As Assistive Technology to Control Machines
Harun et al. Shape-Based Matching: Application of Edge Detection Using Harris Point
Kuo et al. Hand Gesture Recognition Using Standard Deviation of Color Block and Thinning
TW201635196A (zh) 三維手勢影像辨識方法及其系統