TWI695311B - 一種利用手勢模擬滑鼠操作的方法、裝置及終端 - Google Patents

一種利用手勢模擬滑鼠操作的方法、裝置及終端 Download PDF

Info

Publication number
TWI695311B
TWI695311B TW107147676A TW107147676A TWI695311B TW I695311 B TWI695311 B TW I695311B TW 107147676 A TW107147676 A TW 107147676A TW 107147676 A TW107147676 A TW 107147676A TW I695311 B TWI695311 B TW I695311B
Authority
TW
Taiwan
Prior art keywords
gesture
user
mouse
operation event
event
Prior art date
Application number
TW107147676A
Other languages
English (en)
Other versions
TW201939260A (zh
Inventor
賀三元
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201939260A publication Critical patent/TW201939260A/zh
Application granted granted Critical
Publication of TWI695311B publication Critical patent/TWI695311B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公開了一種利用手勢模擬滑鼠操作的方法、裝置、及終端,該方法包括:獲取手勢採集設備採集使用者手勢所得到的手勢資訊;對所述手勢資訊進行識別,得到使用者的手勢操作事件;根據所述使用者的手勢操作事件查找預設映射集,所述預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,所述滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件;若在所述預設映射集中查找到所述使用者的手勢操作事件,則觸發與所述使用者的手勢操作事件對應的滑鼠操作事件。

Description

一種利用手勢模擬滑鼠操作的方法、裝置及終端
本說明書實施例關於手勢識別技術領域,尤其關於一種利用手勢模擬滑鼠操作的方法、裝置及終端。
隨著資訊技術的發展,智慧型終端已成為人們生活中不可缺少的部分,使用者可以通過智慧型終端實現多種操作。目前,在使用者通過智慧型終端實現操作的過程中,通常借助滑鼠對智慧型終端進行操作。但是,在實際使用過程中,將不可避免地出現滑鼠無法使用情況,例如,滑鼠故障、滑鼠電量用盡等情況,針對該種情況,現有技術中並無任何的應急措施,從而,在該種情況下,使用者則無法對智慧型終端進行操作,使用者體驗較差。
針對上述技術問題,本說明書實施例提供一種利用手勢模擬滑鼠操作的方法、裝置及終端,技術方案如下: 根據本說明書實施例的第一方面,提供一種利用手勢模擬滑鼠操作的方法,該方法包括: 獲取手勢採集設備採集使用者手勢所得到的手勢資訊; 對所述手勢資訊進行識別,得到使用者的手勢操作事件; 根據所述使用者的手勢操作事件查找預設映射集,所述預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,所述滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件; 若在所述預設映射集中查找到所述使用者的手勢操作事件,則觸發與所述使用者的手勢操作事件對應的滑鼠操作事件。 根據本說明書實施例的第二方面,提供一種利用手勢模擬滑鼠操作的裝置,該裝置包括: 獲取模組,用於獲取手勢採集設備採集使用者手勢所得到的手勢資訊; 識別模組,用於對所述手勢資訊進行識別,得到使用者的手勢操作事件; 查找模組,用於根據所述使用者的手勢操作事件查找預設映射集,所述預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,所述滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件; 觸發模組,用於若在所述預設映射集中查找到所述使用者的手勢操作事件,則觸發與所述使用者的手勢操作事件對應的滑鼠操作事件。 根據本說明書實施例的第三方面,提供一種終端,包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的計算機程式,其中,所述處理器執行所述程式時實現本說明書實施例提供的任一利用手勢模擬滑鼠操作的方法。 本說明書實施例所提供的技術方案,通過獲取手勢採集設備採集使用者手勢所得到的手勢資訊,對手勢資訊進行識別,得到使用者的手勢操作事件,根據該使用者的手勢操作事件查找包括至少一組手勢操作事件與滑鼠操作事件的對應關係的預設映射集,若在預設映射集中查找到使用者的手勢操作事件,則觸發與使用者的手勢操作事件對應的滑鼠操作事件,從而實現了利用手勢模擬滑鼠操作,為使用者提供了一種新穎的智慧型終端操作方法,在一定程度上可以滿足使用者需求,提升使用者體驗。 應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,並不能限制本說明書實施例。 此外,本說明書實施例中的任一實施例並不需要達到上述的全部效果。
為了使本領域技術人員更好地理解本說明書實施例中的技術方案,下面將結合本說明書實施例中的附圖,對本說明書實施例中的技術方案進行詳細地描述,顯然,所描述的實施例僅僅是本說明書的一部分實施例,而不是全部的實施例。基於本說明書中的實施例,本領域普通技術人員所獲得的所有其他實施例,都應當屬於保護的範圍。 請參見圖1,為本說明書一示例性實施例示出的一種利用手勢模擬滑鼠操作的應用場景示意圖。圖1中包括智慧型終端110、影像採集設備120,在該應用場景下,影像採集設備120可以針對使用者手勢(圖1中未示出)採集手勢資訊,將採集到的手勢資訊傳輸給智慧型終端110,智慧型終端110則可以執行本說明書實施例提供的利用手勢模擬滑鼠操作的方法,以通過執行該方法確定使用者手勢,並確定該使用者手勢所對應的滑鼠操作事件,觸發該滑鼠操作事件,實現對智慧型終端110進行操作。 舉例來說,假設使用者通過智慧型終端110觀看視訊,在觀看過程中,使用者想要暫停視訊播放,若使用者通過操作滑鼠(圖1中未示出)實現暫停視訊播放,具體動作過程可以包括:使用者移動滑鼠,使得智慧型終端110的顯示界面上顯示出滑鼠指針,進一步,使用者移動滑鼠,使得滑鼠指針移動至“暫停”控件上,最後,使用者按下滑鼠左鍵並鬆開,在滑鼠左鍵被鬆開後,視訊即暫停播放。 對應於上述通過操作滑鼠實現暫停視訊播放的動作過程,在本說明書實施例中,首先,使用者可以正對影像採集設備120作出用於指示在智慧型終端110的顯示界面上顯示出滑鼠指針的手勢,智慧型終端110則可以根據該手勢在顯示界面上顯示出滑鼠指針;進一步,使用者正對影像採集設備120作出用於指示在智慧型終端110的顯示界面上移動滑鼠指針的手勢,智慧型終端110可以根據該手勢在顯示界面上移動滑鼠指針,直至將滑鼠指針移動至“暫停”控件上;進一步,使用者正對影像採集設備120作出用於表示滑鼠左鍵被按下並鬆開的手勢,智慧型終端110可以根據該手勢觸發滑鼠指針點選“暫停”控件,實現暫停視訊播放。 需要說明的是,上述通過影像採集設備120採集使用者手勢的手勢資訊僅僅作為舉例,在實際應用中,還可以通過其他設備,例如紅外感測器採集使用者手勢的手勢資訊,本說明書實施例對此並不做限制。 還需要說明的是,圖1中所示例的影像採集120與智慧型終端110的佈設方式僅僅作為舉例,在實際應用中,智慧型終端110可自帶有攝像頭或紅外感測器,本說明書實施例對此並不做限制。 如下,結合上述圖1所示應用場景,示出下述實施例對本說明書實施例提供的利用手勢模擬滑鼠操作的方法進行說明。 請參見圖2,為本說明書一示例性實施例示出的一種利用手勢模擬滑鼠操作的方法的實施例流程圖,該方法在上述圖1所示應用場景的基礎上,可應用於圖1中所示例的智慧型終端110上,包括以下步驟: 步驟202:獲取手勢採集設備採集使用者手勢所得到的手勢資訊。 在本說明書實施中,基於圖1所示例的應用場景,影像採集設備120則為手勢採集設備,那麼,手勢採集設備採集使用者手勢所得到的手勢資訊即為影像採集120採集到的使用者手勢影像。 此外,由上述描述可知,手勢採集設備還可以為紅外感測器,對應的,手勢採集設備採集使用者手勢所得到的手勢資訊即為紅外感測器採集到的紅外感應訊號。 步驟204:對手勢資訊進行識別,得到使用者的手勢操作事件。 首先說明,在本說明書實施例中,為了實現利用手勢模擬滑鼠操作,可基於實際應用中對滑鼠的操作定義一些手勢,為了描述方便,將所定義的手勢稱為預設手勢。 在一實施例中,可以定義三類預設手勢,分別用於指示在智慧型終端110的顯示界面上顯示出滑鼠指針、用於指示滑鼠左鍵處於按下狀態,以及用於指示滑鼠左鍵處於未按下狀態,例如,請參見圖3,為本說明書一示例性實施例示出的預設手勢的示意圖,如圖3所示,該預設手勢至少可以包括:握拳手勢(圖3(a)所示)、手掌打開手勢(圖3(b)所示)、單指伸直手勢(圖3(c)所示)。其中,手掌打開手勢用於指示在智慧型終端110顯示界面上顯示出滑鼠指針,握拳手勢用於指示滑鼠左鍵處於按下狀態,單指伸直手勢則用於指示滑鼠左鍵處於未按下狀態。 同時,為了實現利用手勢模擬滑鼠操作,可以基於實際應用中滑鼠操作的類型劃分滑鼠操作事件,例如,可至少劃分出兩類滑鼠操作事件,分別為滑鼠點選事件、滑鼠移動事件。進一步,基於每一類型的滑鼠操作事件的操作特徵,建立滑鼠操作事件與手勢操作事件的對應關係,例如,對於滑鼠移動事件而言,其操作特徵是“滑鼠進行移動”,基於此,可以定義一類用於表示使用者的手勢發生移動的第一手勢操作事件,該第一手勢操作事件即對應滑鼠移動事件;對於滑鼠點選事件而言,其操作特徵是“滑鼠左鍵被按下”,由此可見,對於滑鼠點選事件而言,關於到使用者手勢的變換,基於此,可以定義一類用於表示使用者的手勢發生變換的第二手勢操作事件,該第二手勢操作事件即對應滑鼠點擊事件。 基於上述預設手勢,上述第一手勢操作事件和第二手勢操作事件的定義,可以得到如下表1所示例的手勢操作事件: 表1
Figure 107147676-A0304-0001
由上述表1可知,利用上述手勢操作事件映射滑鼠移動事件和滑鼠點選事件,可以實現手勢操作事件到現有的滑鼠事件的映射,例如,如下述表2所示,為手勢操作事件與現有的滑鼠事件之間映射關係的一種示例: 表2
Figure 107147676-A0304-0002
由上述表2可知,本說明書實施例中,使用者通過做出預設手勢,實現相應的手勢操作事件,即可複用現有的滑鼠事件,從而可以相容現有控件內部封裝的滑鼠事件。 此外,除上述表1中所示例的手勢操作事件以外,手勢操作事件還可以包括:手掌變單指事件,用於表示滑鼠指針的狀態從懸停狀態調整為工作狀態;單指變手掌事件,用於表示滑鼠指針的狀態從工作狀態調整為懸停狀態。 需要說明的是,當滑鼠指針的狀態為懸停狀態時,無法在顯示界面上移動滑鼠指針,若需移動滑鼠指針,則可以先通過手掌變單指事件,將滑鼠指針的狀態從懸停狀態調整為工作狀態。 由上述描述可知,不論是第一手勢操作事件,抑或是第二手勢操作事件,均關於到使用者在前後兩次所做出的手勢之間的區別(具體為手勢相同,但相對位置發生變化;手勢不同),因而,在本說明書實施例中,可以分別對當前獲取到的手勢資訊與前一次獲取到的手勢資訊進行識別,以得到使用者當前做出的手勢與使用者前一次做出的手勢,在此說明,為了描述方便,將使用者當前做出的手勢稱為第一手勢,將使用者前一次做出的手勢稱為第二手勢。 後續,可以首先判斷第一手勢與第二手勢是否屬於上述預設手勢,若是,則繼續判斷第一手勢與第二手勢是否相同,若相同,則進一步確定第一手勢相對於第二手勢的物理位移,若該物理位移大於預設閾值,則得到用於表示使用者的手勢由第二手勢所在位置移動到第一手勢所在位置的第一手勢操作事件;若第一手勢與二手勢不相同,則可以得到用於表示使用者的手勢由第二手勢變換為第一手勢的第二手勢操作事件。 需要說明的是,在上述過程中,通過確定第一手勢相對於第二手勢的物理位移大於預設閾值時,再得到第一手勢操作事件,可以避免由於使用者做出一些輕微移動而導致錯誤操作。 此外,在本說明書實施例中,若識別到的手勢不屬於上述預設手勢,則可以將滑鼠指針的狀態設置為懸停狀態。 如下,以手勢資訊為使用者的手勢影像為例,對手勢資訊進行識別的過程進行說明: 首先,在使用者手勢影像中擷取出使用者的手勢區域,例如,在實際應用中,使用者的手勢往往置於使用者身體之前,從而可以利用手勢區域與背景區域具有不同的深度值這一特徵,在使用者手勢影像中擷取出手勢區域。具體的,根據使用者手勢影像中像素點的深度值,統計得到該影像的灰度直方圖,灰度直方圖則可以表示出該影像中具有某種灰度級的像素點的個數。由於在使用者手勢影像中,手勢區域相對於背景區域的面積較小,且灰度值較小,因此,在前述灰度直方圖中,可以按照灰度值從大到小的順序,查找像素點個數變化較大的灰度值,將查找到的灰度值作為用於區域分割的灰度閾值,例如,灰度閾值為235,那麼,則可以根據該灰度閾值對使用者手勢影像進行二元化,在得到的二元化影像中,白色像素點所表示的區域即為手勢區域。 進一步,利用預設的特徵擷取算法對該手勢區域進行特徵擷取,例如,預設的特徵擷取算法可以為SIFT特徵擷取算法、基於小波和相對矩的形狀特徵擷取與分配算法、模型法等,所擷取到的特徵可以包括:手勢區域的質心、手勢區域的特徵向量、手指數量等等。 最後,通過擷取到的特徵進行手勢識別,確定使用者做出的手勢。 在上述描述中,在第一手勢與第二手勢相同的場景下,確定第一手勢相對於第二手勢的物理位移的具體過程,可以參見現有技術中的描述,本說明書實施例對此不再詳述。 後續,可以將確定出的物理位移換算成以英寸為單位,進一步使用該物理位移除以智慧型終端110的屏幕上每一像素點對應實際距離,該實際距離也以英寸為單位,得到的結果即為滑鼠指針移動的像素點的個數。 步驟206:根據使用者的手勢操作事件查找預設映射集,該預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件。 步驟208:若在預設映射集中查找到使用者的手勢操作事件,則觸發與使用者的手勢操作事件對應的滑鼠操作事件。 如下,對上述步驟206至步驟208進行詳細說明: 在本說明書實施例中,可以預先設置映射集,該映射集中包括至少一組手勢操作事件與滑鼠操作事件的對應關係,例如,按照上述描述,該映射集可以如下述表3所示: 表3
Figure 107147676-A0304-0003
基於上述表2所示例的映射集,在本說明書實施例中,得到使用者的手勢操作事件之後,則可以根據該手勢操作事件查找圖2所示例的映射集,若查找到該手勢操作事件,則觸發對應的滑鼠操作事件。 本發明所提供的技術方案,通過獲取手勢採集設備採集使用者手勢所得到的手勢資訊,對手勢資訊進行識別,得到使用者的手勢操作事件,根據該使用者的手勢操作事件查找包括至少一組手勢操作事件與滑鼠操作事件的對應關係的預設映射集,若在預設映射集中查找到使用者的手勢操作事件,則觸發與使用者的手勢操作事件對應的滑鼠操作事件,從而實現了利用手勢模擬滑鼠操作,為使用者提供了一種新穎的智慧型終端操作方法,在一定程度上可以滿足使用者需求,提升使用者體驗。 相應於上述方法實施例,本說明書實施例還提供一種利用手勢模擬滑鼠操作的裝置,請參見圖4,為本說明書一示例性實施例示出的一種利用手勢模擬滑鼠操作的裝置的實施例框圖,該裝置可以包括:獲取模組41、識別模組42、查找模組43,觸發模組44。 其中,獲取模組41,可以用於獲取手勢採集設備採集使用者手勢所得到的手勢資訊; 識別模組42,可以用於對所述手勢資訊進行識別,得到使用者的手勢操作事件; 查找模組43,可以用於根據所述使用者的手勢操作事件查找預設映射集,所述預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,所述滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件; 觸發模組44,可以用於若在所述預設映射集中查找到所述使用者的手勢操作事件,則觸發與所述使用者的手勢操作事件對應的滑鼠操作事件。 在一實施例中,所述手勢採集設備為影像採集設備,所述手勢資訊為所述影像採集設備採集到的使用者手勢影像。 在一實施例中,所述識別模組42可以包括(圖4中未示出): 區域擷取子模組,用於在所述使用者手勢影像中擷取出使用者的手勢區域; 特徵擷取子模組,用於利用預設的特徵擷取算法對所述手勢區域進行特徵擷取; 特徵識別子模組,用於通過擷取到的特徵進行手勢識別,得到使用者的手勢操作事件。 在一實施例中,所述使用者的手勢操作事件至少包括:用於表示所述使用者的手勢發生移動的第一手勢操作事件、用於表示所述使用者的手勢發生變換的第二手勢操作事件; 其中,所述第一手勢操作事件對應所述滑鼠移動事件,所述第二手勢操作事件對應所述滑鼠點擊事件。 在一實施例中,所述識別模組42可以包括(圖4中未示出): 手勢識別子模組,用於分別對當前獲取到的手勢資訊與前一次獲取到的手勢資訊進行識別,得到所述使用者當前做出的第一手勢與所述使用者前一次做出的第二手勢; 第一判斷子模組,用於判斷所述第一手勢與所述第二手勢是否屬於預設手勢; 第二判斷子模組,用於若所述第一手勢與所述第二手勢屬於預設手勢,則判斷所述第一手勢與所述第二手勢是否相同; 位移確定子模組,用於若所述第一手勢與所述第二手勢相同,則確定所述第一手勢相對於所述第二手勢的物理位移; 第一確定子模組,用於若所述物理位移大於預設閾值,則得到用於表示所述使用者的手勢由所述第二手勢所在位置移動到所述第一手勢所在位置的第一手勢操作事件; 第二確定子模組,用於若所述第一手勢與所述第二手勢不同,則得到用於表示所述使用者的手勢由所述第二手勢變換為所述第一手勢的第二手勢操作事件。 在一實施例中,所述預設手勢至少包括: 握拳手勢、手掌打開手勢、單指伸直手勢。 可以理解的是,獲取模組41、識別模組42、查找模組43,以及觸發模組44作為四種功能獨立的模組,既可以如圖4所示同時配置在裝置中,也可以分別單獨配置在裝置中,因此圖4所示的結構不應理解為對本說明書實施例方案的限定。 此外,上述裝置中各個模組的功能和作用的實現過程具體詳見上述方法中對應步驟的實現過程,在此不再贅述。 本說明書實施例還提供一種終端,其至少包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的計算機程式,其中,處理器執行所述程式時實現前述的利用手勢模擬滑鼠操作的方法。該方法至少包括:獲取手勢採集設備採集使用者手勢所得到的手勢資訊;對所述手勢資訊進行識別,得到使用者的手勢操作事件;根據所述使用者的手勢操作事件查找預設映射集,所述預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,所述滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件;若在所述預設映射集中查找到所述使用者的手勢操作事件,則觸發與所述使用者的手勢操作事件對應的滑鼠操作事件。 在一實施例中,所述手勢採集設備為影像採集設備,所述手勢資訊為所述影像採集設備採集到的使用者手勢影像。 在一實施例中,所述對所述手勢資訊進行識別,得到使用者的手勢操作事件,包括: 在所述使用者手勢影像中擷取出使用者的手勢區域; 利用預設的特徵擷取算法對所述手勢區域進行特徵擷取; 通過擷取到的特徵進行手勢識別,得到使用者的手勢操作事件。 在一實施例中,所述使用者的手勢操作事件至少包括:用於表示所述使用者的手勢發生移動的第一手勢操作事件、用於表示所述使用者的手勢發生變換的第二手勢操作事件; 其中,所述第一手勢操作事件對應所述滑鼠移動事件,所述第二手勢操作事件對應所述滑鼠點擊事件。 在一實施例中,所述對所述手勢資訊進行識別,得到使用者的手勢操作事件,包括: 分別對當前獲取到的手勢資訊與前一次獲取到的手勢資訊進行識別,得到所述使用者當前做出的第一手勢與所述使用者前一次做出的第二手勢; 判斷所述第一手勢與所述第二手勢是否屬於預設手勢,若是,則判斷所述第一手勢與所述第二手勢是否相同; 若相同,則確定所述第一手勢相對於所述第二手勢的物理位移;若所述物理位移大於預設閾值,則得到用於表示所述使用者的手勢由所述第二手勢所在位置移動到所述第一手勢所在位置的第一手勢操作事件; 若不同,則得到用於表示所述使用者的手勢由所述第二手勢變換為所述第一手勢的第二手勢操作事件。 在一實施例中,所述預設手勢至少包括:握拳手勢、手掌打開手勢、單指伸直手勢。 圖5示出了本說明書實施例所提供的一種更為具體的終端硬體結構示意圖,該終端可以包括:處理器510、記憶體520、輸入/輸出介面530、通訊介面540和匯流排550。其中處理器510、記憶體520、輸入/輸出介面530和通訊介面540通過匯流排550實現彼此之間在設備內部的通訊連接。 處理器510可以採用通用的CPU(Central Processing Unit,中央處理器)、微處理器、特定應用積體電路(Application Specific Integrated Circuit,ASIC)、或者一個或多個積體電路等方式實現,用於執行相關程式,以實現本說明書實施例所提供的技術方案。 記憶體520可以採用ROM(Read Only Memory,唯讀記憶體)、RAM(Random Access Memory,隨機存取記憶體)、靜態儲存設備,動態儲存設備等形式實現。記憶體520可以儲存操作系統和其他應用程式,在通過軟體或者固件來實現本說明書實施例所提供的技術方案時,相關的程式代碼保存在記憶體520中,並由處理器510來調用執行。 輸入/輸出介面530用於連接輸入/輸出模組,以實現資訊輸入及輸出。輸入輸出/模組可以作為組件配置在設備中(圖5中未示出),也可以外接於設備以提供相應功能。其中輸入設備可以包括鍵盤、滑鼠、觸控螢幕、麥克風、各類感測器等,輸出設備可以包括顯示器、揚聲器、振動器、指示燈等。 通訊介面540用於連接通訊模組(圖5中未示出),以實現本設備與其他設備的通訊交互。其中通訊模組可以通過有線方式(例如USB、網線等)實現通訊,也可以通過無線方式(例如移動網路、WIFI、藍牙等)實現通訊。 匯流排550包括一通路,在設備的各個組件(例如處理器510、記憶體520、輸入/輸出介面530和通訊介面540)之間傳輸資訊。 需要說明的是,儘管上述設備僅示出了處理器510、記憶體520、輸入/輸出介面530、通訊介面540以及匯流排550,但是在具體實施過程中,該設備還可以包括實現正常運行所必需的其他組件。此外,本領域的技術人員可以理解的是,上述設備中也可以僅包含實現本說明書實施例方案所必需的組件,而不必包含圖中所示的全部組件。 本說明書實施例還提供一種計算機可讀儲存媒體,其上儲存有計算機程式,該程式被處理器執行時實現前述的利用手勢模擬滑鼠操作的方法。該方法至少包括:獲取手勢採集設備採集使用者手勢所得到的手勢資訊;對所述手勢資訊進行識別,得到使用者的手勢操作事件;根據所述使用者的手勢操作事件查找預設映射集,所述預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,所述滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件;若在所述預設映射集中查找到所述使用者的手勢操作事件,則觸發與所述使用者的手勢操作事件對應的滑鼠操作事件。 計算機可讀媒體包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術來實現資訊儲存。資訊可以是計算機可讀指令、資料結構、程式的模組或其他資料。計算機的儲存媒體的例子包括,但不限於相變內存(PRAM)、靜態隨機存取記憶體(SRAM)、動態隨機存取記憶體(DRAM)、其他類型的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可擦除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他內存技術、唯讀光碟唯讀記憶體(CD-ROM)、數位多功能光碟(DVD)或其他光學儲存、磁盒式磁帶,磁帶磁碟儲存或其他磁性儲存設備或任何其他非傳輸媒體,可用於儲存可以被計算設備存取的資訊。按照本文中的界定,計算機可讀媒體不包括暫存電腦可讀媒體(transitory media),如調變的資料訊號和載波。 通過以上的實施方式的描述可知,本領域的技術人員可以清楚地瞭解到本說明書實施例可借助軟體加必需的通用硬體平臺的方式來實現。基於這樣的理解,本說明書實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來,該計算機軟體產品可以儲存在儲存媒體中,如ROM/RAM、磁碟、光碟等,包括若干指令用以使得一台計算機設備(可以是個人計算機,伺服器,或者網路設備等)執行本說明書實施例各個實施例或者實施例的某些部分所述的方法。 上述實施例闡明的系統、裝置、模組或單元,具體可以由計算機晶片或實體實現,或者由具有某種功能的產品來實現。一種典型的實現設備為計算機,計算機的具體形式可以是個人計算機、膝上型計算機、蜂巢式電話、相機電話、智慧型電話、個人數位助理、媒體播放器、導航設備、電子郵件收發設備、遊戲控制台、平板計算機、可穿戴設備或者這些設備中的任意幾種設備的組合。 本說明書中的各個實施例均採用遞增的方式描述,各個實施例之間相同相似的部分互相參見即可,每個實施例重點說明的都是與其他實施例的不同之處。尤其,對於裝置實施例而言,由於其基本相似於方法實施例,所以描述得比較簡單,相關之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的,其中所述作為分離部件說明的模組可以是或者也可以不是物理上分開的,在實施本說明書實施例方案時可以把各模組的功能在同一個或多個軟體和/或硬體中實現。也可以根據實際的需要選擇其中的部分或者全部模組來實現本實施例方案的目的。本領域普通技術人員在不付出創造性勞動的情況下,即可以理解並實施。 以上所述僅是本說明書實施例的具體實施方式,應當指出,對於本技術領域的普通技術人員來說,在不脫離本說明書實施例原理的前提下,還可以做出若干改進和潤飾,這些改進和潤飾也應視為本說明書實施例的保護範圍。
110‧‧‧無線存取點 120‧‧‧無線存取點 202‧‧‧步驟 204‧‧‧步驟 206‧‧‧步驟 208‧‧‧步驟 41‧‧‧第二切換單元 42‧‧‧切換通知單元 43‧‧‧無線存取點切換單元 44‧‧‧快取資料報文接收單元 510‧‧‧無線存取點二次切換單元 520‧‧‧記憶體 530‧‧‧處理器 540‧‧‧記憶體 550‧‧‧處理器
為了更清楚地說明本說明書實施例或現有技術中的技術方案,下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本說明書實施例中記載的一些實施例,對於本領域普通技術人員來講,還可以根據這些附圖獲得其他的附圖。 圖1為本說明書一示例性實施例示出的一種利用手勢模擬滑鼠操作的應用場景示意圖; 圖2為本說明書一示例性實施例示出的一種利用手勢模擬滑鼠操作的方法的實施例流程圖; 圖3為本說明書一示例性實施例示出的預設手勢的示意圖; 圖4為本說明書一示例性實施例示出的一種利用手勢模擬滑鼠操作的裝置的實施例框圖; 圖5示出了本說明書實施例所提供的一種更為具體的終端硬體結構示意圖。

Claims (9)

  1. 一種利用手勢模擬滑鼠操作的方法,該方法包括:獲取手勢採集設備採集使用者手勢所得到的手勢資訊;對該手勢資訊進行識別,得到使用者的手勢操作事件;分別對當前獲取到的手勢資訊與前一次獲取到的手勢資訊進行識別,得到該使用者當前做出的第一手勢與該使用者前一次做出的第二手勢;判斷該第一手勢與該第二手勢是否屬於預設手勢,若不屬於,則觸發用於指示將滑鼠指針的狀態設置為懸停狀態的滑鼠操作事件,其中,當滑鼠指針的狀態為懸停狀態時,無法在顯示界面上移動滑鼠指針;若屬於,則判斷該第一手勢與該第二手勢是否相同;若相同,則確定該第一手勢相對於該第二手勢的物理位移;若該物理位移大於預設閾值,則得到用於表示該使用者的手勢由該第二手勢所在位置移動到該第一手勢所在位置的第一手勢操作事件,該第一手勢操作事件對應滑鼠移動事件;若不同,則得到用於表示該使用者的手勢由該第二手勢變換為該第一手勢的第二手勢操作事件,該第二手勢操作事件對應滑鼠點選事件;根據該使用者的手勢操作事件查找預設映射集,該預 設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,該滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件;若在該預設映射集中查找到該使用者的手勢操作事件,則觸發與該使用者的手勢操作事件對應的滑鼠操作事件。
  2. 根據請求項1之方法,該手勢採集設備為影像採集設備,該手勢資訊為該影像採集設備採集到的使用者手勢影像。
  3. 根據請求項2之方法,該對該手勢資訊進行識別,得到使用者的手勢操作事件,包括:在該使用者手勢影像中擷取出使用者的手勢區域;利用預設的特徵擷取算法對該手勢區域進行特徵擷取;通過擷取到的特徵進行手勢識別,得到使用者的手勢操作事件。
  4. 根據請求項1之方法,該預設手勢至少包括:握拳手勢、手掌打開手勢、單指伸直手勢。
  5. 一種利用手勢模擬滑鼠操作的裝置,該裝置包括:獲取模組,用於獲取手勢採集設備採集使用者手勢所 得到的手勢資訊;識別模組,用於分別對當前獲取到的手勢資訊與前一次獲取到的手勢資訊進行識別,得到該使用者當前做出的第一手勢與該使用者前一次做出的第二手勢;判斷該第一手勢與該第二手勢是否屬於預設手勢,若不屬於,則觸發用於指示將滑鼠指針的狀態設置為懸停狀態的滑鼠操作事件,其中,當滑鼠指針的狀態為懸停狀態時,無法在顯示界面上移動滑鼠指針;若屬於,則判斷該第一手勢與該第二手勢是否相同;若相同,則確定該第一手勢相對於該第二手勢的物理位移;若該物理位移大於預設閾值,則得到用於表示該使用者的手勢由該第二手勢所在位置移動到該第一手勢所在位置的第一手勢操作事件,該第一手勢操作事件對應滑鼠移動事件;若不同,則得到用於表示該使用者的手勢由該第二手勢變換為該第一手勢的第二手勢操作事件,該第二手勢操作事件對應滑鼠點選事件;查找模組,用於根據該使用者的手勢操作事件查找預設映射集,該預設映射集包括至少一組手勢操作事件與滑鼠操作事件的對應關係,其中,該滑鼠操作事件至少包括滑鼠點選事件、滑鼠移動事件;觸發模組,用於若在該預設映射集中查找到該使用者的手勢操作事件,則觸發與該使用者的手勢操作事件對應的滑鼠操作事件。
  6. 根據請求項5之裝置,該手勢採集設備為影像採集設 備,該手勢資訊為該影像採集設備採集到的使用者手勢影像。
  7. 根據請求項6之裝置,該識別模組包括:區域擷取子模組,用於在該使用者手勢影像中擷取出使用者的手勢區域;特徵擷取子模組,用於利用預設的特徵擷取算法對該手勢區域進行特徵擷取;特徵識別子模組,用於通過擷取到的特徵進行手勢識別,得到使用者的手勢操作事件。
  8. 根據請求項5之裝置,該預設手勢至少包括:握拳手勢、手掌打開手勢、單指伸直手勢。
  9. 一種終端,包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的計算機程式,其中,該處理器執行該程式時實現如請求項1至4任一項之方法。
TW107147676A 2018-03-12 2018-12-28 一種利用手勢模擬滑鼠操作的方法、裝置及終端 TWI695311B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201810200113.4 2018-03-12
CN201810200113.4 2018-03-12
CN201810200113.4A CN108446073A (zh) 2018-03-12 2018-03-12 一种利用手势模拟鼠标操作的方法、装置及终端

Publications (2)

Publication Number Publication Date
TW201939260A TW201939260A (zh) 2019-10-01
TWI695311B true TWI695311B (zh) 2020-06-01

Family

ID=63194033

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107147676A TWI695311B (zh) 2018-03-12 2018-12-28 一種利用手勢模擬滑鼠操作的方法、裝置及終端

Country Status (3)

Country Link
CN (1) CN108446073A (zh)
TW (1) TWI695311B (zh)
WO (1) WO2019174398A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446073A (zh) * 2018-03-12 2018-08-24 阿里巴巴集团控股有限公司 一种利用手势模拟鼠标操作的方法、装置及终端
CN111221406B (zh) * 2018-11-23 2023-10-13 杭州萤石软件有限公司 一种信息交互方法及装置
CN109696958A (zh) * 2018-11-28 2019-04-30 南京华捷艾米软件科技有限公司 一种基于深度传感器手势识别的手势控制方法及系统
CN110221717B (zh) * 2019-05-24 2024-07-09 李锦华 虚拟鼠标驱动装置、用于虚拟鼠标的手势识别方法及设备
CN112068699A (zh) * 2020-08-31 2020-12-11 北京市商汤科技开发有限公司 一种交互方法、装置、电子设备和存储介质
CN112671972A (zh) * 2020-12-21 2021-04-16 四川长虹电器股份有限公司 一种手机控制大屏电视鼠标的移动的方法
CN114115536A (zh) * 2021-11-22 2022-03-01 北京字节跳动网络技术有限公司 一种交互方法、装置、电子设备和存储介质
CN114138119A (zh) * 2021-12-08 2022-03-04 武汉卡比特信息有限公司 手机互联分屏投射的手势识别系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201129918A (en) * 2009-10-13 2011-09-01 Pointgrab Ltd Computer vision gesture based control of a device
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法
TW201814435A (zh) * 2016-09-29 2018-04-16 阿里巴巴集團服務有限公司 基於手勢的互動方法及裝置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101339453B (zh) * 2008-08-15 2012-05-23 广东威创视讯科技股份有限公司 基于交互式输入设备的模拟鼠标输入方法
CN103926999B (zh) * 2013-01-16 2017-03-01 株式会社理光 手掌开合手势识别方法和装置、人机交互方法和设备
WO2015052588A2 (en) * 2013-10-10 2015-04-16 Itay Katz Systems, devices, and methods for touch-free typing
CN108446073A (zh) * 2018-03-12 2018-08-24 阿里巴巴集团控股有限公司 一种利用手势模拟鼠标操作的方法、装置及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201129918A (en) * 2009-10-13 2011-09-01 Pointgrab Ltd Computer vision gesture based control of a device
CN102854983A (zh) * 2012-09-10 2013-01-02 中国电子科技集团公司第二十八研究所 一种基于手势识别的人机交互方法
CN103530613A (zh) * 2013-10-15 2014-01-22 无锡易视腾科技有限公司 一种基于单目视频序列的目标人手势交互方法
TW201814435A (zh) * 2016-09-29 2018-04-16 阿里巴巴集團服務有限公司 基於手勢的互動方法及裝置

Also Published As

Publication number Publication date
CN108446073A (zh) 2018-08-24
WO2019174398A1 (zh) 2019-09-19
TW201939260A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
TWI695311B (zh) 一種利用手勢模擬滑鼠操作的方法、裝置及終端
CN111124888B (zh) 录制脚本的生成方法和装置及电子装置
CN108958627B (zh) 触控操作方法、装置、存储介质及电子设备
MY195861A (en) Information Processing Method, Electronic Device, and Computer Storage Medium
CN104978133A (zh) 一种用于智能终端的截屏方法和装置
JPWO2011142317A1 (ja) ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
EP4030749B1 (en) Image photographing method and apparatus
WO2014105012A1 (en) System and method for gesture based touchscreen control of displays
WO2017032006A1 (zh) 一种信息的显示方法及装置
JP2021531589A (ja) 目標対象の動作認識方法、装置及び電子機器
CN112506340A (zh) 设备控制方法、装置、电子设备及存储介质
CN104536661A (zh) 一种终端截屏方法
US20230316529A1 (en) Image processing method and apparatus, device and storage medium
WO2015131590A1 (zh) 一种控制黑屏手势处理的方法及终端
CN103455262A (zh) 一种基于移动计算平台的笔式交互方法及系统
CN104881225A (zh) 一种调节条的控制方法和装置
US10345895B2 (en) Hand and finger line grid for hand based interactions
US20180210597A1 (en) Information processing device, information processing method, and program
CN112703534A (zh) 图像处理方法及相关产品
WO2017143575A1 (zh) 对图片的内容进行检索的方法、便携式电子设备和图形用户界面
CN105022579A (zh) 基于图像处理的虚拟键盘的实现方法和装置
CN110174946A (zh) 鼠标操作模拟方法、模拟系统、存储介质、及电子设备
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN107678662B (zh) 一种基于按键的控制方法、装置及智能终端
CN104536564A (zh) 一种终端