TW200949617A - A video based apparatus and method for controlling the cursor - Google Patents

A video based apparatus and method for controlling the cursor Download PDF

Info

Publication number
TW200949617A
TW200949617A TW097118232A TW97118232A TW200949617A TW 200949617 A TW200949617 A TW 200949617A TW 097118232 A TW097118232 A TW 097118232A TW 97118232 A TW97118232 A TW 97118232A TW 200949617 A TW200949617 A TW 200949617A
Authority
TW
Taiwan
Prior art keywords
image
finger
hand
user
cursor
Prior art date
Application number
TW097118232A
Other languages
English (en)
Other versions
TWI366780B (en
Inventor
Chen-Chiung Hsieh
Tung-Hua Liu
Ming-Hsien Lien
Kuo-Hua Lo
Hsiang-Min Yu
Original Assignee
Tatung Co
Univ Tatung
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tatung Co, Univ Tatung filed Critical Tatung Co
Priority to TW097118232A priority Critical patent/TWI366780B/zh
Priority to US12/138,448 priority patent/US20090284469A1/en
Publication of TW200949617A publication Critical patent/TW200949617A/zh
Application granted granted Critical
Publication of TWI366780B publication Critical patent/TWI366780B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Description

200949617 • usui-ii-us-ooi 27526twf.doc/n 九、發明說明： 【發明所屬之技術領域】 ^發明是有種以視訊來取代滑鼠 ^有關於利用手勢等視訊來取代滑以游榡控制裝^寺 【先前技術】 ❹ ❿ 近年來，資訊科技突飛猛進，皇 2及個人行動助理等資訊產 y，：、： 繁助，提供了人們在生活上食、藉，們的 各方面的需求，也使人們對資訊產 ^、月、樂 增，眘却太。b 、凡座口口之依賴性與日俱 貝訊產时已與日常生活產生密不可 滑鼠是電腦必備的週邊裝置，可用來押制斿俨的 移動與物件的點選，然而在 ^控制游標的 取代滑要額外攜帶滑鼠便相當麻煩。而現在 或匕型=尺寸觸控面板不容易操作;而電腦 *，其價袼更為昂的貴觸=:顯示器則因為尺寸較 【發明内容】 别尚不普及。 法，利用種以視訊為基礎之游標控制裝置與方 控制游標的=手勢的視訊影像來取代滑鼠的左右鍵以及 件，即J取二’本發明僅需配備攝影機等影像接收元 作便利性月鼠來控制游標，藉此可增加電子裝置的操 4 200949617 • υδυι-ιι-υδ-〇〇1 27526twf.doc/n ^ ν字型的手勢影像包括一第一手指影像與〜第二手指 ，像’並形成—v字型時，本發明提出一種游標控制裝置^ 可根據手部影像移動該游標、判斷是否按滑鼠左鍵、^ :鍵笛或，鼠左鍵；其中第一手指影像對應於滑：左 鍵匕第―手指影像對應於滑鼠右鍵，第一手指影像與第二 ^指影像所形成之V字型谷底的位置，則對應於游^的:
^承上述，本發明所提出之一種游標控制裝置，包括一 =收單ί、—影像處理單元、以及一游標顯示與按鍵 二换老70。影像接收單元用以擷取使用者之一手部影像； 元耦接於影像接收單元，用以判斷是否有V字 攄出現’若有’則抽取該v字型的三個特徵點，並 肺=游標的座標、—滑鼠左鍵以及—滑鼠右鍵。 n不與按鍵控制單元則根據所設定游標移動的速度， 續影像巾所抽取連續的對應游標座標 ，計算下一個用 簡=標的位置，與送出按鍵訊號與否。 影像的手:當使用者彎折對Γ第一手指 塗一主4 τ衣不點擊滑鼠左鍵；當使用者彎折對應於 手:與時，表示點擊滑鼠右鍵。其中’第-手扣可刀別為食指與中指，或反之亦可。 -手實施例中，當該使用者一併彎折對應於第 ΐΐϊ 手指影像之手指時，表示雙擊滑鼠左鍵。 像的垂中，上述影像處理單元根據手部影 心】斷手。Ρ影像是否有做出V字型手勢’其中 200949617 υδυι-ιι-υ6-001 27526twf.doc/n 谷底對應於游標的座標、兩個高點對應於滑鼠左鍵以及滑 鼠右鍵。 ' 在本發明一實施例中，上述游標控制裝置更以第一手 指影像的頂點位置長度變化表示點擊滑鼠左鍵與否，以第 二手指影像的頂點位置長度變化表示點擊滑鼠右鍵與否。 本發明所提出一游標控制方法，包括下列步^:首 先，擷取-使用者之-手部影像；然後進行背景去除以抽 取運動區域；接著對運祕域進行膚色侧以抽取該手部 影像的區域；判斷手部影像是否有做出V字型手勢，v字 ，二頂點分別對應於-游標的座標、_滑鼠左鍵以及一滑 f右鍵；若手部影像包括—第—手指影像與-第二手指影 二v字型谷底時’則根據這三個特徵點控 二ί左鍵以及滑鼠右鍵。其中，第-手指影像 指影像第二手指影像對應滑鼠右鍵、第一手 對應於游象所形成之V字型底部的位置變化則 測以上述在對運動區域進行膚色偵 訊、去除毛邊與修補H之步驟中，更包括過遽影像雜 抽取ΐίΓΓ—實施例中’上述在進行V字型手勢伽以 垂直投影；之步驟中更包括根據該手部影像的 現該手部影像中間夾—相對低點，則表示有出 在本發明一^ . 施例中，上述方法更包括當使用者彎折 200949617 υ〇υι-ιι-υ〇-001 27526twf.doc/n 對應於第一手指影像之第一手指時，表 =者彎折對應於第二手指影像之=;鼠= ::鼠右或=:第-手指與第二手指可分別為“ 在本發明-實施财，上財法更包括#使用者 =影像時，職據V字型谷底的位置變㈣_對_
本發明因採用手勢的視訊影像來取代滑鼠，使用 ^利用手勢即可操作游標、麟鼠左右鍵等魏，讓^ 裝置的使用更為便利。此外，本發明僅需目前電子 置(如手機或筆記型電腦)所普遍具備的攝影魏，即可^ 到取代滑鼠的魏。因此，在多數㈣f性電子產建 不需增加額外销成本’即可實施本糾之麟手’ 為讓本發明之上述特徵和優點能更日細賴 舉較佳實關，並配合所關式，作詳細制。、 【實施方式】 羞.一實施例 ㈣ΐ參照圖1，圖1為根據本發明第一實施例之游樟控 ^置的功能方塊圖。游標控制裝置觸包括影像接收^ π 110、影像處理單元12G、以及游標顯示與按鍵 :3〇。影像處理單元12〇 _觸收單元11〇 :=:1元13°之間。影像接收單元110則 =網路攝〜機(webeamera)、手機的攝影裝i等影像 置’而游標顯示與按鍵控制單元⑽則依據例如是液晶顯 7 200949617 υδυι-ιι-υ5-〇01 27526twf.doc/n 示器 ^機螢料齡裝置，肖叫算連續雜移動的距 離’與送出按鍵與否功能 影像處理使財之手部影像，而 則對該手部影像進行處理與辨識，用以
料賴，簡斷細麵切祕是否為V
縣ν字型手勢的三個特徵點分聊應於一游 標的位置、—滑鼠左鍵以及—滑鼠右鍵。 像與ί Hit勢的三個特徵點分別為—第一手指影 ' 手才曰衫像，以及所形成之一 Ύ字型谷底，：a：中 ，二，影像對應於該滑鼠左鍵，第二手指影像對應ς滑 鼠右鍵，第一手指影像與第二手指影像所形成之ν字型谷 底2位置變化則對應於游標的位置。第一手指影像與第二 手指影像則例如由中指與食指所形成(反之亦可），V字型 ，手部影像關如是勝利手勢。t使用者的手部影像為ν 字型手勢時，游標顯示與按鍵控制單元130則會根據使用 者的手勢來移動游標以及操作滑鼠的左右鍵功能 在影像處理方面，其過程則包括去除背景、膚色偵 測、過濾雜訊、垂直投影以及特徵點抽取等技術手段。在 去除月π方面，可以將第一張影像當成背景，接下來的影 像則減去第一張影像，可以得到運動區域；在膚色偵測方 面可以色座標HSV(Hue, Saturation，Value)來對運動區域 做膚色偵測’如此做可以避免人臉的出現造成誤判，以及 加快處理的速度；而在過濾雜訊方面則使用擴大(Dialati〇n) 和侵蝕(Erosion)來做去除毛邊與補小洞。v字型手勢影像 8 200949617 uov/i-i i-uo-001 27526twf.doc/n =測主要是_垂直投影量的兩高點夾—低點的特徵來 接下來’請參照圖2 所述的使用者手勢示意圖 接收單元’可連接至電腦 以擷取使用者的手部影像 圖2為根據本發明第一實施例 其中網路攝影機210即為影像 筆記型電腦或手機等電子裝置 ❹ 鲁 使用者的手部220則比出勝利 的v字型手勢，其中食指2〇2形成第一手指影像，而中指 204則形成第二手指影像。食指2〇2貝情應於滑鼠左鍵， 而中指204騎應於滑鼠右鍵。食指2〇2與中指2〇4的底 與中指綱的交接處，即v字型手勢的谷 底)則對應於游標的位置。#使用者移動手部時，影像 早兀12=即會根據底部施的移動來移動游標的位置。 3，圖r 操作滑鼠左右鍵的對應關仙請參照圖 士二域本發㈣—實闕之手部雜與操作滑鼠左 傻術·Ϊ 者僅f折職於第—手指影 202時，表示點擊滑鼠左鍵，如圖3⑷所示。 J 著折第二手指影像304的中指204時，表示點 如圖3(b)所示。當使用者一併彎折食指’皿 ”中心204時，則表示雙擊滑鼠左鍵。此時，第 ^ 與第二手指影像·會_併對應料，如圖^ r£;=直;=== 又 列如圖3⑷所不，手指影像3〇2長度由γ變為 9 200949617 «owx-^-^-OOl 27526twf.doc/n x，其餘類推。當使用者移動手部220時，影像處理單元 120則根據第一手指影像302與第二手指影像3〇4所形成 底部306的移動，來移動所對應的游標。 e
綜合上述，本實施例利用V字型手勢的視訊影像來取 代滑鼠以控制游標，以食指與中指的頂點位置長度變化來 判斷是否點擊(click)(按)滑鼠的左右鍵或雙擊滑鼠左鍵。使 用者以手部動作即可取代狀來操作游標，以及達到點擊 滑鼠左右鍵或雙擊賴鍵的功效。當然，手指與滑鼠左右 鍵的對應關係可經由設定錢，使其適不同慣用手(如 左的人。而在傳送滑鼠的訊號上，使用msdn函式庫 中操作滑鼠訊息的(mouse—event)提供之滑鼠移動與點擊按 紐工Λ能.。 =外’值得注意的是，本實施财直接應用於大多數 電子產品，例如行動電話。如圖4所示，圖4為 之手機應騎_。手機4ig包括螢幕42〇 二 =!:Γ15,螢幕420中則顯示游標422。使用者的 的手勢時，手機4⑽會以使用者的 與動作取代滑鼠來操作游標與滑鼠點選的 Γ;機元:20所負責的影像處理動作則可直接 細節則請參照上述圖 1二實施例幻說明，在此不加累述。 一種游標控制方法，請參 實施例之游標控制方法流 綜合上述，本發明可歸納出 照圖5，圖5為根據本發明第二 200949617 voi/i-i i-uo-001 27526twf.doc/n 程圖。 首先，擷取一使用者之一手部影像(步驟S51〇)，然後 進行背景去除(步驟S520),以取得運動區域；接著進^于膚 色偵測以抽取手部影像(步驟S53〇)，在此步驟中更包 濾雜訊以及補小洞等處理。接下來將既是運動區域又是膚 色區域的連通區域進行垂直投影(步驟S54〇)，然後偵測是 否有v字型手勢出現(步驟S55〇) ;若有形成兩高點夹= 點的投影形狀’雜取出此v字型手勢的三個特徵點(步 驟S560);這些特徵點分別是一第一手指影像與一第二手 指影像，與所形狀—v字型谷底，分麟應於—游桿的 =一滑鼠左鍵以及-滑鼠右鍵。然後，根據所抽取的 ，徵點進行游標顯示與按鍵控制，包括移動游標、控制滑 鼠左鍵以及滑鼠右鍵等（步驟S570)。 鬌 ^中’V字型手勢中的第—手指影像對應於滑鼠左 fc 一手#曰影像對應於滑鼠右鍵、第一手指影像與第二 1像彳杨成之V字型谷底的位置變彳b騎應游標的位 L座糕）。關於本方法之其餘細節請參照上述第一實施例 之说明。 丰上所述，本發明利用影像處理的技術，以使用者的 代滑鼠’讓使用者可直接以V字财勢來移動游 滑鼠左右鍵賴料動作。在操作電腦或是玩遊 到争夕矣，可以直接利用手來玩，就像Wii一樣，可以達 便利=的娱樂效果。藉此’本發明可增加電子裝置的使用 <Γ ，同時也可以省下購買滑鼠或觸控裝置等費用。此 11 ❹ ❹ 200949617 υουι-AJL-uo-OOl 27526twf.doc/n 外，本發明可直接應用於具有攝影裝置的電子裝置上，例
Si置=運Π增加額外的硬體，同時可直接利用 果能來達到影像辨識與滑鼠驅動的效 果，就產業利用性而言，即具商業價值。 在不識者， 【圖式簡單說明】 方塊=雜據本發料—實關之游餘織置的功能 圖。圖2為根據本發明第—實施例所述的使用者手勢示意 左右本發明第—實施例之手部影像與操作滑鼠 實施例之手機制示意圖。 圖。雜據本發明第二實施例之游標控制=流程 【主要元件符號說明】 1〇〇:游標控制裝置 UQ :影像接收單元 :影像處理單元 13〇 .游標顯示與按鍵控制單元 ·食 12 200949617 j. j.-v J-001 27526twf.doc/n 204 :中指 206、306 :底部 210 :網路攝影機 220、450 :手部 302 :手指影像 302 :第一手指影像 304 :第二手指影像 410 :手機 420 :螢幕 415 :攝影裝置 422 :游標 Y、X :長度 S510〜S570 :步驟

Claims (1)

  1. 200949617 X/UV/ X ~Λ J.-V -^-001 27526twf.d〇c/n 十、申請專利範面： l一種游標控制裝置，包括： 以及一影像餘單元，㈣擷取—錢者之—手部影像； 办像處理單元，耦接於該影像接收單元，用、 並判斷該手部影像是 ❹ e 二將此V字型手勢的三個特徵點分別對應 ，的座標、-滑鼠左鍵以及-滑鼠右鍵； 你t八中該V字型手勢的三個特徵點包括一第一丰γ岑 像八-第二手指影像，以及所形成之—V字型，= 像處，根據所抽取之該V字型手勢的三個特徵點= 該游標、該料左鍵以及該滑鼠右鍵，其巾該第—丰匕 :應=腎2鍵’該第二手指影像對應該滑鼠右二 Μ弟-手W像與該第二手指影像所形成之該 的位置變化則對應於該游標的位置。 ^谷底 2. 如申請專利_第！項所述之游標控制 更以該第—手指影像的頂點位置長度變化表示點擊該& 左鍵與否’⑽第二手指影像的頂點位置長度變化表示 擊該滑鼠右鍵與否。 3. 如申請專利範圍第1項所述之游標控制裴置，复φ 當該使用者彎折對應於該第一手指影像之一第—手指^， 表示點擊該滑鼠左鍵，#該使用者彎折對應於該第:手於 衫像之一第一手指時，表示點擊該滑鼠右鍵。 4. 如申請專利範圍第1項所述之游標控制裝置，其中 -uOl 27526twf.doc/n 200949617 當該使用者一併彎折對應於該第一丰 影像之H额-第二手树二手指 5•如申請專利範圍第！項所 該第-手指影像對應於該使用者的奸’其中 對應於該使用者財指。 9 手指影像 專利顧第1項所述之游標控制裝置，並中 對應於該使用者的食指。 弗一予扣衫像 7如申請專利_】項所述之游標控制裝置 該影像處理早7L更娜料料像_直投糊斷 影像是否做㈣V字好勢，其三碰齡卿2於料 標的座標、該滑鼠左鍵以及該滑鼠右鍵。 •…邊 8. 如申請專利範㈣丨項魏之游標控雜置 括-游標顯林按鍵控鮮元，用崎示 ^ 鍵訊號與否。 付汉廷出按 9. 一種游標控制方法，包括： 擷取一使用者之一手部影像； 進行月景去除以抽取運動區域； 對厂運動區域進行—膚色偵測以抽取該手部影 區域，並加以過濾雜訊； 、 .進行垂直投f彡’靖該手部影像是否做出-V字型手 勢，以及 若該手部影像包括該V字型手勢，則抽取該 乎勢的三個特徵點，並根據該v字型手勢的三個特徵點控 15 200949617^ 27526twf.doc/n 制一游標、一滑鼠左鍵以及一滑鼠右鍵； 其中，該V字型手勢的三個特徵點包括—第—.馬 像與-第二手指影像，以及所形成一 v字型谷底，該Z 手指影像對應於該滑鼠左鍵，該第二手指影像對應該滑鼠 右鍵、該第一手指影像與該第二手指影像所形成之該V字 型谷底的位置變化則對應該游標的位置。 10. 如申請專利範圍第9項所述之游標控制方法，其 ❹ 中在進行膚色偵測以抽取該手部影像的區域之步驟中更‘ 括背景去除、過濾雜訊、影像修補等。 i 11. 如申請專利範圍第9項所述之游標控制方法，其 中在判斷該手部影像是否做出該V字型手勢之步驟，更包 括根據該手部影像的垂直投影，判斷是否含有兩高點失= 低點的特徵。 12·如申請專利範圍第9項所述之游標控制方法， 包括： ^ 當該使用者彎折對應於該第一手指影像之一第一手 私時’表示點擊該滑鼠左鍵；當該使用者彎折對應於該第 二手指影像之一第二手指時，表示點擊該滑鼠右鍵，當該 使用者彎折對應於該第一手指影像與第二手指影像之一第 一手指與一第二手指時，表示雙擊該滑鼠左鍵。 13.如申請專利範圍第9項所述之游標控制方法，更 包括： 當該使用者移動該手部影像時，則根據該V字型谷底 的位置變化對應移動該游標。 16 200949617,^ 27526twf.doc/n 200949617,^ 27526twf.doc/n 像對應於該使用者的中指 14.如申請專利範圍第9項所述之游標控制方法 中該第一手指影像對應於該使用者的食指，該第_手^ = 15.如申請專利範圍第9項所述之游样 中該第一手指影像對應於該使用者的中 工制方法，其 像對應於該使用者的食指。 必弟一手和影 Ο
    17
TW097118232A 2008-05-16 2008-05-16 A video based apparatus and method for controlling the cursor TWI366780B (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW097118232A TWI366780B (en) 2008-05-16 2008-05-16 A video based apparatus and method for controlling the cursor
US12/138,448 US20090284469A1 (en) 2008-05-16 2008-06-13 Video based apparatus and method for controlling the cursor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW097118232A TWI366780B (en) 2008-05-16 2008-05-16 A video based apparatus and method for controlling the cursor

Publications (2)

Publication Number Publication Date
TW200949617A true TW200949617A (en) 2009-12-01
TWI366780B TWI366780B (en) 2012-06-21

Family

ID=41315692

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097118232A TWI366780B (en) 2008-05-16 2008-05-16 A video based apparatus and method for controlling the cursor

Country Status (2)

Country Link
US (1) US20090284469A1 (zh)
TW (1) TWI366780B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI478006B (zh) * 2010-04-13 2015-03-21 Hon Hai Prec Ind Co Ltd 游標控制裝置、顯示裝置及可攜式電子裝置
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
TWI502519B (zh) * 2012-11-21 2015-10-01 Wistron Corp 手勢辨識模組及手勢辨識方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100013765A1 (en) * 2008-07-18 2010-01-21 Wei Gu Methods for controlling computers and devices
US8525785B1 (en) * 2009-03-10 2013-09-03 I-Interactive Llc Multi-directional remote control system and method with highly accurate tracking
JP5733056B2 (ja) * 2011-06-30 2015-06-10 株式会社ナカヨ 仮想マウスによるデータ入力方法
KR101189633B1 (ko) * 2011-08-22 2012-10-10 성균관대학교산학협력단 손가락 움직임에 따른 포인터 제어명령어 인식 방법 및 손가락 움직임에 따라 포인터를 제어하는 모바일 단말
KR101459441B1 (ko) * 2012-12-18 2014-11-07 현대자동차 주식회사 차량 내 손가락 사이점을 이용한 사용자 인터페이스 조작 시스템 및 방법
US9547378B2 (en) * 2013-03-07 2017-01-17 Hewlett-Packard Development Company, L.P. Sensor on side of computing device
KR101374720B1 (ko) * 2013-07-15 2014-03-17 전자부품연구원 손동작 기반 가상 마우스 제어장치 및 그 방법
ITCO20130068A1 (it) * 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
US20150205360A1 (en) * 2014-01-20 2015-07-23 Lenovo (Singapore) Pte. Ltd. Table top gestures for mimicking mouse control
CN103793056A (zh) * 2014-01-26 2014-05-14 华南理工大学 基于距离向量的空中手势漫游控制方法
JP6488153B2 (ja) * 2015-02-27 2019-03-20 株式会社吉田製作所 カーソル制御方法、カーソル制御プログラム、スクロール制御方法、スクロール制御プログラム、カーソル表示システム、及び医療機器
KR101847295B1 (ko) * 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN112328106B (zh) * 2020-11-30 2022-11-22 重庆工业职业技术学院 一种更适合中指或食指缺失者使用的鼠标
CN114967927B (zh) * 2022-05-30 2024-04-16 桂林电子科技大学 一种基于图像处理的智能手势交互方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video
JP3419050B2 (ja) * 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US20050104850A1 (en) * 2003-11-17 2005-05-19 Chia-Chang Hu Cursor simulator and simulating method thereof for using a limb image to control a cursor

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI478006B (zh) * 2010-04-13 2015-03-21 Hon Hai Prec Ind Co Ltd 游標控制裝置、顯示裝置及可攜式電子裝置
TWI502519B (zh) * 2012-11-21 2015-10-01 Wistron Corp 手勢辨識模組及手勢辨識方法
CN103838364B (zh) * 2012-11-21 2016-12-21 纬创资通股份有限公司 手势辨识模块及手势辨识方法
US9639161B2 (en) 2012-11-21 2017-05-02 Wistron Corporation Gesture recognition module and gesture recognition method
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
US9256324B2 (en) 2013-10-08 2016-02-09 National Taiwan University Of Science And Technology Interactive operation method of electronic apparatus

Also Published As

Publication number Publication date
TWI366780B (en) 2012-06-21
US20090284469A1 (en) 2009-11-19

Similar Documents

Publication Publication Date Title
TW200949617A (en) A video based apparatus and method for controlling the cursor
Lee et al. Interaction methods for smart glasses: A survey
JP2021007022A (ja) 拡張現実システムのためのタッチフリーインターフェース
CN111726536B (zh) 视频生成方法、装置、存储介质及计算机设备
US9448620B2 (en) Input method and apparatus of portable device for mapping segments of a hand to a plurality of keys
WO2016011788A1 (zh) 一种基于增强现实技术的手持式阅览设备及其方法
CN103858074B (zh) 经由3d显示器与装置交互的系统和方法
JP6165485B2 (ja) 携帯端末向けａｒジェスチャユーザインタフェースシステム
TW200945174A (en) Vision based pointing device emulation
CN109219796A (zh) 实时视频上的数字触摸
WO2022116751A1 (zh) 交互方法、装置、终端、服务器和存储介质
TW201020896A (en) Method of gesture control
CN107690619A (zh) 用于处理触敏表面多个区域上触摸输入的设备和方法
CN111045511B (zh) 基于手势的操控方法及终端设备
TW200841183A (en) Remote workspace sharing
US10290120B2 (en) Color analysis and control using an electronic mobile device transparent display screen
WO2013120319A1 (zh) 移动终端及其屏幕解锁的方法
CN113892129B (zh) 创建三维外观的虚拟视差
CN102929547A (zh) 智能终端无接触交互方法
CN112148404A (zh) 头像生成方法、装置、设备以及存储介质
KR20190035373A (ko) 혼합 현실에서의 가상 모바일 단말 구현 시스템 및 이의 제어 방법
JP2012208723A (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
TW201106200A (en) Electronic device, operating method thereof, and computer program product thereof
TW201020935A (en) Recognition and constitution method and system for video-based two-dimensional objects
US20190096130A1 (en) Virtual mobile terminal implementing system in mixed reality and control method thereof

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees