TW201405443A - 手勢輸入系統及方法 - Google Patents
手勢輸入系統及方法 Download PDFInfo
- Publication number
- TW201405443A TW201405443A TW101125660A TW101125660A TW201405443A TW 201405443 A TW201405443 A TW 201405443A TW 101125660 A TW101125660 A TW 101125660A TW 101125660 A TW101125660 A TW 101125660A TW 201405443 A TW201405443 A TW 201405443A
- Authority
- TW
- Taiwan
- Prior art keywords
- area
- user
- gesture input
- face
- trigger
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一種由平面影像感測器與處理模組所組成之手勢輸入系統。平面影像感測器係用以擷取使用者之影像。處理模組係用以分析使用者之影像以決定對應至使用者之物件位置與臉部位置,根據物件位置與臉部位置決定使用者之工作區域,以及根據使用者在工作區域中之影像產生控制指令。
Description
本發明主要關於使用者介面設計,特別係有關於一種手勢輸入系統及方法,能夠提供使用者在可變之工作區域內運用手勢達到遠端操作之效果。
在使用者介面(User Interface,UI)這個領域,相關設計主要是衍生自電腦或其它電子消費性產品,例如:智慧型手機、平板電腦、筆記型電腦、多媒體播放器等等。目前常見之使用者介面多數是在顯示螢幕上提供圖形使用者介面(Graphic User Interface,GUI),配合游標(Mouse cursor)的移動與按鍵(Click)的組合達到選取、點選執行等功能。
然而,隨著科技的快速演進,人們渴望更多的操控自由,想要擺脫滑鼠與鍵盤的限制,於是發展出觸碰(Touch)、手勢(Gesture)等感知型(perceptual)的使用者介面。一般而言,儘管這些新設計在先天上就與原本滑鼠與鍵盤的操作模式不同,但人們除了期待新設計能夠提供更大的操控便利性之外,同時還期待能保有原本滑鼠與鍵盤的操作模式。
在感知型的使用者介面中,習知的平面(2D)手勢辨識技術雖然在成本及便利性上具有明顯之優勢,但因為沒有Z軸深度資訊,僅能提供像滑鼠一般操作模式的游標顯示,而無法讓使用者作出敲擊按鍵(Clicking)的動作,此外,更無法執行拖曳等複雜的操作。立體的(3D)手勢辨
識技術(例如:Kinect by Microsoft®)雖無此問題,但是由於其具有高成本、機構結構厚重/複雜等缺點,所以適用範圍仍相當有限。
因此,亟需有一種手勢輸入方法,透過使用者的平面影像提供可變之工作區域,讓使用者在該區域內運用手勢即可達到遠端操作之效果。
本發明之一實施例提供了一種手勢輸入系統,包括一平面影像感測器、以及一處理模組。上述平面影像感測器係用以擷取一使用者之影像。上述處理模組係用以分析上述使用者之影像以決定對應至上述使用者之一物件位置與一臉部位置,根據上述物件位置與上述臉部位置決定上述使用者之一工作區域,以及根據上述使用者在上述工作區域中之影像產生控制指令。
本發明之另一實施例提供了一種手勢輸入方法,包括以下步驟:透過一平面影像感測器擷取一使用者之影像;分析上述使用者之影像以決定對應至上述使用者之一物件位置與一臉部位置;根據上述物件位置與上述臉部位置決定上述使用者之一工作區域;以及根據上述使用者在上述工作區域中之影像產生控制指令。
關於本發明其他附加的特徵與優點,此領域之熟習技術人士,在不脫離本發明之精神和範圍內,當可根據本案實施方法中所揭露之手勢輸入系統及方法做些許的更動與潤飾而得到。
本章節所敘述的是實施本發明之最佳方式,目的在於說明本發明之精神而非用以限定本發明之保護範圍,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
第1圖係根據本發明一實施例所述之手勢輸入系統之示意圖。在手勢輸入系統100中,影像感測器110為一平面(2D)攝影機,用以擷取使用者之平面影像,並將擷取之影像傳送至多媒體電子裝置120,由多媒體電子裝置120分析該影像以決定使用者所輸入的手勢。多媒體電子裝置120可為一體成型(All In One,AIO)電腦、平板電腦、筆記型電腦、桌上型電腦、或智慧型電視(smart TV)等。影像感測器110可置於多媒體電子裝置120附近,例如:置於多媒體電子裝置120的上方或下方、或置於多媒體電子裝置120旁。在其它實施例,影像感測器110與多媒體電子裝置120可整合在同一裝置內,例如:影像感測器110可為內建於多媒體電子裝置120內之一元件,且本發明不在此限。
第2圖係根據本發明一實施例所述之多媒體電子裝置之架構示意圖。多媒體電子裝置120可包括對外介面10、顯示裝置20、輸入輸出模組30、儲存模組40、以及處理模組50。對外介面10係用以提供有線或無線的方式連接至影像感測器110,以接收使用者影像。顯示裝置20可為電子燈號裝置、映像管(Cathode Ray Tube,CRT)螢幕/面板、液晶(Liquid Crystal Display,LCD)螢幕/面板、或電漿(Plasma)螢幕/面板等具備顯示功能之裝置。輸入輸出模組30可包括麥克風、喇叭、鍵盤、滑鼠、觸控板等內
建或外接之週邊元件。儲存模組40可為揮發性記憶體,例如:隨機存取記憶體(Random Access Memory,RAM),或非揮發性記憶體,例如:快閃記憶體(Flash Memory),或硬碟、光碟,或上述媒體之任意組合。處理模組50可為通用處理器或微控制單元(Micro-Control Unit,MCU),用以執行電腦可執行之指令,以控制對外介面10、顯示裝置20、輸入輸出模組30、以及儲存模組40之運作,並執行本發明之手勢輸入方法。舉例來說,本發明之手勢輸入方法可實作為一軟體產品,該軟體程式碼可儲存於儲存模組40,之後再由處理模組50載入並執行。
值得注意的是,在另一實施例中,多媒體電子裝置120可進一步透過對外介面10連接至其它電子裝置,例如:冷氣機、冰箱、電扇、電腦、電視等等,多媒體電子裝置120將使用者手勢轉換為控制命令之後,可再把控制指令傳送至其它電子裝置以執行遠端操作。因此,本發明不限於第1圖所示之架構。
第3A~3D圖係根據本發明一實施例所述之手勢輸入系統之運作示意圖。圖中所示為影像感測器110所擷取到的影像,也就是呈現在影像感測器110前方的真實景象的鏡像(mirror image)。首先,如第3A圖所示,在影像感測器110前方有多位使用者,其中,當使用者A欲輸入手勢時,則舉起其左手。同時,多媒體電子裝置120針對影像進行手掌偵測(palm detection)以找出使用者A的手掌位置。進一步說明,為了增加手掌偵測的速度,使用者A可晃動其手掌,而多媒體電子裝置120則針對影像進行全域
的運動偵測(motion detection)以找出影像中有物件在移動的區塊,再針對該區塊進行手掌偵測。在此實施例,多媒體電子裝置120先以影像分析的方式框出使用者A的手掌,再以該區域中心點為使用者A的手掌位置,但本發明不在此限,例如:可將該區域中的任一點當作使用者A的手掌位置。
在其它實施例,使用者A可使用其它物件(例如:指揮棒)或其它手勢(例如:勝利手勢、握拳)取代其手掌進行操作,意即多媒體電子裝置120可藉由偵測該物件或手勢之特定形狀找出該物件或手勢的位置。
如第3B圖所示,多媒體電子裝置120針對影像進行臉部偵測(face detection)以找出手掌位置附近之人臉,並將該臉部與手掌進行配對,從而取得影像中使用者A的臉部位置。在此實施例,多媒體電子裝置120先以影像分析的方式框出使用者A的臉部,再以該區域中心點為使用者A的臉部位置,但本發明不在此限,例如:可將該區域中的任一點當作使用者A的臉部位置。
需注意的是,在另一實施例,可先進行第3B圖所示的臉部偵測之後再接著進行第3A圖所示的手掌偵測,兩者之執行可不具特定先後順序。也就是說,先決定使用者A的臉部位置後,再找出臉部位置附近之手掌,將該手掌與臉部進行配對。
如第3C圖所示,根據分析取得的使用者A的手掌位置與臉部位置,多媒體電子裝置120決定使用者A的工作區域R。在此實施例,是以使用者A的手掌位置與臉部位
置之間之距離為參數而決定出工作區域R的長與寬。或者,在另一實施例,可以將使用者A的手勢位置與臉部位置當作邊界而決定出工作區域R。
另外,多媒體電子裝置120還可週期性地重複執行如第3A、3B圖所示的手掌位置與臉部位置之決定步驟,並進一步更新工作區域R。或者,可統計手掌位置在工作區域R中之一平均移動範圍,並根據平均移動範圍週期性地更新工作區域R。
需注意的是,雖然第3C圖所示的工作區域R為一矩形區域,但在其它實施例亦可使用矩形以外的其它形狀(例如:圓形、菱形)來界定工作區域R。
如第3D圖所示,多媒體電子裝置120接著決定工作區域R中的觸發區域d1~d3。在一實施例,多媒體電子裝置120可直接決定要把工作區域R中的哪些子區域當作觸發區域d1~d3。在另一實施例,多媒體電子裝置120可將工作區域R映射(mapping)至一使用者介面,以決定觸發區域d1~d3。該使用者介面可為顯示於顯示裝置20的圖形使用者介面或電子燈號介面。
第4圖係根據本發明一實施例所述之工作區域與使用者介面之映射示意圖。工作區域R係以臉部位置(意即臉部的中心位置)為左上角端點、以手掌位置與臉部位置之間之距離為參數,往右下方框出長寬分別為180、120像素(pixel)之矩形區域。欲映射之使用者介面為一矩形之圖形使用者介面M,其長寬分別為1280、1080像素。多媒體電子裝置120可先根據圖形使用者介面M之長寬比,在工
作區域R中決定一映射區域m,其長寬分別為128、120像素。另外,在工作區域R中除了映射區域m之外的部份則可作為緩衝區域。最後再將映射區域m內之座標映射至圖形使用者介面M。而在映射完成後,觸發區域d1~d3則分別對應至圖形使用者介面M中的應用程式之捷徑圖式。
在決定出工作區域R與觸發區域d1~d3之後,多媒體電子裝置120便可根據使用者A的手掌位置與觸發區域d1~d3之間之接觸(contact)關係產生控制指令。
舉例來說,觸發區域d1~d3可分別對應至上述圖形使用者介面之應用程式APP1~APP3之捷徑圖式。當使用者A的手掌位置與觸發區域d1發生接觸關係時,則產生控制指令1-「執行應用程式APP1」;當使用者A的手掌位置與觸發區域d2發生接觸關係時,則產生控制指令2-「執行應用程式APP2」;當使用者A的手掌位置與觸發區域d3發生接觸關係時,則產生控制指令3-「執行應用程式APP3」。
或者,在另一實施例,多媒體電子裝置120可在工作區域R中決定單一觸發區域,然後進一步將接觸關係進行分類,並以接觸關係的類型產生不同的控制指令。舉例來說,當使用者A的手掌位置由單一觸發區域之外移入單一觸發區域之內時,則產生控制指令1’-「頻道向上」;當使用者A的手掌位置由單一觸發區域之內移出單一觸發區域之外時,則產生控制指令2’-「頻道向下」;當使用者A的手掌位置由單一觸發區域之外進出(含各進出一次多或次)單一觸發區域之任一邊框時,則產生控制指令3’-
「音量加大」;當使用者A的手掌位置由單一觸發區域之內出入(含各出入一次多或次)單一觸發區域之任一邊框時,則產生控制指令4’-「音量減小」。
在其它實施例,還可進一步結合上述多重觸發區以及接觸關係類型之概念,以產生其它更多或高階之控制指令,且本發明不在此限。
第5圖係根據本發明一實施例所述之手勢輸入方法之流程圖。首先,透過平面影像感測器擷取使用者之影像(步驟S510),然後分析使用者之影像以決定對應至使用者之一物件位置與一臉部位置,明確來說,可先針對影像進行物件偵測以取得使用者的物件位置(步驟S520),再針對影像進行臉部偵測以取得使用者的臉部位置(步驟S530)。特別是,上述物件可為使用者的手掌、或使用者手中所握持的物品。接著,分析使用者的物件與臉部之間的相對關係(步驟S540),明確來說,所述相對關係可指使用者的物件與臉部之間的大小相對關係、或指物件位置與臉部位置之間的相對距離。之後,根據使用者的物件與臉部之間的相對關係,可決定使用者之工作區域及工作區域中的觸發區域(步驟S550),然後根據使用者的物件位置與觸發區域之間之接觸關係產生控制指令(步驟S560)。
第6圖係根據本發明另一實施例所述之手勢輸入方法之流程圖。首先,透過平面影像感測器擷取使用者之影像(步驟S601),然後決定工作區域是否已存在(步驟S602),若否,則針對影像進行全域的運動偵測以找出影像中有物件在移動的區塊(步驟S603),再針對該區塊進
行手掌偵測以取得使用者的手掌位置(步驟S604)。接著,設定臉部搜尋範圍在使用者的手掌位置附近(步驟S605),並於針對臉部搜尋範圍內的影像進行臉部偵測以找出使用者的臉部位置(步驟S606)。舉例來說,若使用者慣用左手輸入手勢,則臉部搜尋範圍可設定在影像中使用者的手掌位置左側,反之,若使用者慣用右手輸入手勢,則臉部搜尋範圍可設定在影像中使用者的手掌位置右側。之後,根據影像中使用者的手掌位置與臉部位置,決定使用者的工作區域(步驟S607),並決定工作區域中的觸發區域(步驟S608),然後根據使用者的手掌位置與觸發區域之間的接觸關係產生控制指令(步驟S609)。
在步驟S602,若是,意即工作區域已存在,則可載入已存在的工作區域(步驟S610),僅針對此區域進行影像分析以減少計算量。類似於步驟S603、S604,先針對在載入的工作區域內的影像進行運動偵測以找出有物件在移動的區塊(步驟S611),再針對該區塊進行手掌偵測以取得使用者的手掌位置(步驟S612)。接著,決定手掌偵測是否成功(步驟S613),若是,則執行步驟S609以產生控制指令,若否,代表在載入的工作區域內已經有一段時間偵測不到手掌,於是執行步驟S603~S607以更新工作區域。在一實施例,針對步驟S604,可記錄偵測到的手掌位置,而後,於步驟S613發現偵測不到手掌時,可根據所記錄的手掌位置設定手掌偵測的範圍,以重新執行步驟S603~S607。
本發明雖以各種實施例揭露如上,然而其僅為範例參
考而非用以限定本發明的範圍,任何熟習此項技藝者,在不脫離本發明之精神和範圍內,當可做些許的更動與潤飾。因此上述實施例並非用以限定本發明之範圍,本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧手勢輸入系統
110‧‧‧影像感測器
120‧‧‧多媒體電子裝置
10‧‧‧對外介面
20‧‧‧顯示裝置
30‧‧‧輸入輸出模組
40‧‧‧儲存模組
50‧‧‧處理模組
R‧‧‧工作區域
d1~d3‧‧‧觸發區域
M‧‧‧圖形使用者介面
m‧‧‧映射區域
第1圖係根據本發明一實施例所述之手勢輸入系統之示意圖。
第2圖係根據本發明一實施例所述之多媒體電子裝置之架構示意圖。
第3A~3D圖係根據本發明一實施例所述之手勢輸入系統之運作示意圖。
第4圖係根據本發明一實施例所述之工作區域與使用者介面之映射示意圖。
第5圖係根據本發明一實施例所述之手勢輸入方法之流程圖。
第6圖係根據本發明另一實施例所述之手勢輸入方法之流程圖。
100‧‧‧手勢輸入系統
110‧‧‧影像感測器
120‧‧‧多媒體電子裝置
Claims (16)
- 一種手勢輸入系統,包括:一平面(2D)影像感測器,用以擷取一使用者之影像;以及一處理模組,用以分析上述使用者之影像以決定對應至上述使用者之一物件位置與一臉部位置,根據上述物件位置與上述臉部位置決定上述使用者之一工作區域,以及根據上述使用者在上述工作區域中之影像產生控制指令。
- 如申請專利範圍第1項所述之手勢輸入系統,其中上述處理模組更用以決定上述工作區域中之一觸發區域,以及決定上述物件位置與上述觸發區域之間之接觸(contact)關係,以產生控制指令。
- 如申請專利範圍第2項所述之手勢輸入系統,其中上述處理模組更用以將上述工作區域映射(mapping)至一使用者介面,以決定上述觸發區域。
- 如申請專利範圍第2項所述之手勢輸入系統,其中上述接觸關係為下列之一者:上述物件位置由上述觸發區域之外移入上述觸發區域之內;上述物件位置由上述觸發區域之內移出上述觸發區域之外;上述物件位置由上述觸發區域之外進出上述觸發區域之任一邊框;以及上述物件位置由上述觸發區域之內出入上述觸發區域之任一邊框。
- 如申請專利範圍第1項所述之手勢輸入系統,其中上述工作區域係由上述物件位置與上述臉部位置為邊界而決定,或由上述物件位置與上述臉部位置之間之距離為參數而決定。
- 如申請專利範圍第1項所述之手勢輸入系統,其中上述處理模組更用以週期性地重複執行上述物件位置與上述臉部位置,以更新上述工作區域。
- 如申請專利範圍第1項所述之手勢輸入系統,其中上述處理模組更用以統計上述物件位置在上述工作區域中之一平均移動範圍,以及根據上述平均移動範圍週期性地更新上述工作區域。
- 如申請專利範圍第1項所述之手勢輸入系統,其中上述處理模組更用以透過上述平面影像感測器偵測上述物件之晃動,以決定上述物件位置;以及透過上述平面影像感測器偵測上述物件附近之人臉,以決定上述臉部位置。
- 一種手勢輸入方法,包括:透過一平面(2D)影像感測器擷取一使用者之影像;分析上述使用者之影像以決定對應至上述使用者之一物件位置與一臉部位置;根據上述物件位置與上述臉部位置決定上述使用者之一工作區域;以及根據上述使用者在上述工作區域中之影像產生控制指令。
- 如申請專利範圍第9項所述之手勢輸入方法,其中上述產生控制指令之步驟更包括: 決定上述工作區域中之一觸發區域;以及根據上述物件位置與上述觸發區域之間之接觸(contact)關係產生控制指令。
- 如申請專利範圍第10項所述之手勢輸入方法,其中上述觸發區域之決定步驟更包括:將上述工作區域映射(mapping)至一使用者介面,以決定上述觸發區域。
- 如申請專利範圍第10項所述之手勢輸入方法,其中上述接觸關係為下列之一者:上述物件位置由上述觸發區域之外移入上述觸發區域之內;上述物件位置由上述觸發區域之內移出上述觸發區域之外;上述物件位置由上述觸發區域之外進出上述觸發區域之任一邊框;以及上述物件位置由上述觸發區域之內出入上述觸發區域之任一邊框。
- 如申請專利範圍第9項所述之手勢輸入方法,其中上述工作區域係由上述物件位置與上述臉部位置為邊界而決定,或由上述物件位置與上述臉部位置之間之距離為參數而決定。
- 如申請專利範圍第9項所述之手勢輸入方法,更包括:週期性地重複執行上述物件位置與上述臉部位置之決定步驟,以更新上述工作區域。
- 如申請專利範圍第9項所述之手勢輸入方法,更包括: 統計上述物件位置在上述工作區域中之一平均移動範圍;以及根據上述平均移動範圍週期性地更新上述工作區域。
- 如申請專利範圍第9項所述之手勢輸入方法,其中上述物件位置與上述臉部位置之決定步驟更包括:透過上述平面影像感測器偵測上述物件之晃動,以決定上述物件位置;以及透過上述平面影像感測器偵測上述物件附近之人臉,以決定上述臉部位置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101125660A TW201405443A (zh) | 2012-07-17 | 2012-07-17 | 手勢輸入系統及方法 |
CN201210272879.6A CN103543824B (zh) | 2012-07-17 | 2012-08-02 | 手势输入系统及方法 |
US13/900,439 US9335827B2 (en) | 2012-07-17 | 2013-05-22 | Gesture input systems and methods using 2D sensors |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW101125660A TW201405443A (zh) | 2012-07-17 | 2012-07-17 | 手勢輸入系統及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201405443A true TW201405443A (zh) | 2014-02-01 |
Family
ID=49946118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW101125660A TW201405443A (zh) | 2012-07-17 | 2012-07-17 | 手勢輸入系統及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9335827B2 (zh) |
CN (1) | CN103543824B (zh) |
TW (1) | TW201405443A (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104049760B (zh) * | 2014-06-24 | 2017-08-25 | 深圳先进技术研究院 | 一种人机交互命令的获取方法及系统 |
US9681799B1 (en) * | 2016-05-26 | 2017-06-20 | Dental Smartmirror, Inc. | Controlling an intraoral mirror with an integrated camera, and applications thereof |
US10942575B2 (en) * | 2017-06-07 | 2021-03-09 | Cisco Technology, Inc. | 2D pointing indicator analysis |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5454043A (en) * | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US6681031B2 (en) * | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US20030109322A1 (en) * | 2001-06-11 | 2003-06-12 | Funk Conley Jack | Interactive method and apparatus for tracking and analyzing a golf swing in a limited space with swing position recognition and reinforcement |
JP5127242B2 (ja) * | 2007-01-19 | 2013-01-23 | 任天堂株式会社 | 加速度データ処理プログラムおよびゲームプログラム |
US8726194B2 (en) * | 2007-07-27 | 2014-05-13 | Qualcomm Incorporated | Item selection using enhanced control |
JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
CN103442201B (zh) * | 2007-09-24 | 2018-01-02 | 高通股份有限公司 | 用于语音和视频通信的增强接口 |
TW200928892A (en) * | 2007-12-28 | 2009-07-01 | Wistron Corp | Electronic apparatus and operation method thereof |
US20120204133A1 (en) * | 2009-01-13 | 2012-08-09 | Primesense Ltd. | Gesture-Based User Interface |
KR101416235B1 (ko) * | 2008-02-12 | 2014-07-07 | 삼성전자주식회사 | 3차원 위치 입력 방법 및 장치 |
US8555207B2 (en) * | 2008-02-27 | 2013-10-08 | Qualcomm Incorporated | Enhanced input using recognized gestures |
TWM363746U (en) | 2009-04-13 | 2009-08-21 | Tlj Intertech Inc | Image-integrating based human-machine interface device |
US8181123B2 (en) * | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US8693724B2 (en) * | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US8432305B2 (en) * | 2009-09-03 | 2013-04-30 | Samsung Electronics Co., Ltd. | Electronic apparatus, control method thereof, remote control apparatus, and control method thereof |
JP5614014B2 (ja) | 2009-09-04 | 2014-10-29 | ソニー株式会社 | 情報処理装置、表示制御方法及び表示制御プログラム |
CN101901052B (zh) | 2010-05-24 | 2012-07-04 | 华南理工大学 | 双手互为参考的目标控制方法 |
US8723789B1 (en) * | 2011-02-11 | 2014-05-13 | Imimtek, Inc. | Two-dimensional method and system enabling three-dimensional user interaction with a device |
US8845431B2 (en) * | 2011-05-31 | 2014-09-30 | Microsoft Corporation | Shape trace gesturing |
US9030407B2 (en) * | 2011-12-21 | 2015-05-12 | Nokia Technologies Oy | User gesture recognition |
KR101620777B1 (ko) * | 2012-03-26 | 2016-05-12 | 애플 인크. | 증강된 가상 터치패드 및 터치스크린 |
-
2012
- 2012-07-17 TW TW101125660A patent/TW201405443A/zh unknown
- 2012-08-02 CN CN201210272879.6A patent/CN103543824B/zh active Active
-
2013
- 2013-05-22 US US13/900,439 patent/US9335827B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN103543824B (zh) | 2016-05-04 |
CN103543824A (zh) | 2014-01-29 |
US9335827B2 (en) | 2016-05-10 |
US20140022172A1 (en) | 2014-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11868543B1 (en) | Gesture keyboard method and apparatus | |
US10761610B2 (en) | Vehicle systems and methods for interaction detection | |
US9696899B2 (en) | Multi display apparatus and multi display method | |
US11443453B2 (en) | Method and device for detecting planes and/or quadtrees for use as a virtual substrate | |
US9195345B2 (en) | Position aware gestures with visual feedback as input method | |
EP2790089A1 (en) | Portable device and method for providing non-contact interface | |
WO2015161653A1 (zh) | 一种终端操作方法及终端设备 | |
JP2013539580A (ja) | デバイス上の動き制御方法及び装置 | |
US9588673B2 (en) | Method for manipulating a graphical object and an interactive input system employing the same | |
US20190318169A1 (en) | Method for Generating Video Thumbnail on Electronic Device, and Electronic Device | |
JP2017518553A (ja) | 携帯型デバイス上のユーザ操作モードを識別する方法及び携帯型デバイス | |
CN104360738A (zh) | 图形用户界面的空间手势控制方法 | |
CN106415471A (zh) | 终端的用户界面的处理方法、用户界面和终端 | |
KR20150007875A (ko) | 전자 장치의 촬영 이미지 생성 방법 및 장치 | |
US20120249468A1 (en) | Virtual Touchpad Using a Depth Camera | |
TW201405443A (zh) | 手勢輸入系統及方法 | |
US9235338B1 (en) | Pan and zoom gesture detection in a multiple touch display | |
CN103870146A (zh) | 一种信息处理方法及电子设备 | |
JP6699406B2 (ja) | 情報処理装置、プログラム、位置情報作成方法、情報処理システム | |
JP6008904B2 (ja) | 表示制御装置、表示制御方法、及び、プログラム | |
TW200951765A (en) | System of inputting instruction by image identification and method of the same | |
US9983685B2 (en) | Electronic apparatuses and methods for providing a man-machine interface (MMI) | |
Tartari et al. | Global interaction space for user interaction with a room of computers | |
Komuro | Vision-based 3D input interface technologies | |
Jang et al. | U-Sketchbook: Mobile augmented reality system using IR camera |