TWI476706B - 偵測物件移動輸出命令的方法及其系統 - Google Patents

偵測物件移動輸出命令的方法及其系統 Download PDF

Info

Publication number
TWI476706B
TWI476706B TW101115305A TW101115305A TWI476706B TW I476706 B TWI476706 B TW I476706B TW 101115305 A TW101115305 A TW 101115305A TW 101115305 A TW101115305 A TW 101115305A TW I476706 B TWI476706 B TW I476706B
Authority
TW
Taiwan
Prior art keywords
movement
rotation
trajectory
movement trajectory
image
Prior art date
Application number
TW101115305A
Other languages
English (en)
Other versions
TW201344596A (zh
Inventor
Yu Hao Huang
Yi Fang Lee
Ming Tsan Kao
Nien Tse Chen
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to TW101115305A priority Critical patent/TWI476706B/zh
Priority to US13/865,599 priority patent/US9063585B2/en
Publication of TW201344596A publication Critical patent/TW201344596A/zh
Application granted granted Critical
Publication of TWI476706B publication Critical patent/TWI476706B/zh
Priority to US14/715,471 priority patent/US10599224B2/en
Priority to US16/702,522 priority patent/US11023052B2/en
Priority to US17/244,915 priority patent/US11402922B2/en
Priority to US17/851,087 priority patent/US20220326784A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Description

偵測物件移動輸出命令的方法及其系統
本發明是有關於一種輸出命令的方法及系統，且特別是一種偵測物件移動而輸出命令的方法及系統。
現有用於智慧型手機、一般手持裝置或顯示裝置上關於電話號碼或應用程式選單的選取方式，通常是根據觸控螢幕上顯示圖案進行目標物的直接觸碰選取與確認，或者是利用輸入裝置進行選取或輸入。舉例來說，在桌上型電腦或平板電腦上則是根據鍵盤、滑鼠、或觸控版進行選取與確認。或者，在非接觸式感測操作上利用手勢進行上下左右進行選取，手勢靠近當做確認。
一般來說，在使用者與電腦進行非接觸式感測操作上，常需針對一連串的選單進行選擇，最常使用的手勢為上下左右，但在正常操作下，使用者進行一個向右(左)的手勢完成後，若要再進行一次向右(左)的手勢，習慣性的會將手回到中間位置，因此在該情況下，偵測裝置會容易出現一個誤判為左(右)的手勢，而導致選單又回到原始位置，使得使用者無法任意選取想要的選項。
本發明提供一種偵測物件移動輸出命令的方法，其可有效率、準確及輕鬆控制一電子裝置。
本發明另提供一種偵測物件移動而輸出命令之系統，其可有效率、準確及輕鬆控制一電子裝置。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的了解。
為達上述之一或部份或全部目的或是其他目的，本發明之一實施例提出一種偵測物件移動輸出命令的方法，其包括以下步驟。首先，利用一影像擷取裝置擷取一物件移動所產生之複數張連續影像。之後，根據這些連續影像計算出物件移動所產生之一移動軌跡。接著，根據移動軌跡，對一電子裝置產生一對應的控制命令，以操作電子裝置上的一應用程式。
在本發明之一實施例中，上述根據這些連續影像計算出移動軌跡的方法包括以下步驟。首先，將每張影像之物件重心位置與前張影像之物件重心位置相減，以獲得每一時間間隔內之一移動向量。接著，依據每一時間間隔內之移動向量，計算出移動軌跡。
在本發明之一實施例中，上述依據每一時間間隔內之移動向量計算出移動軌跡的方法包括下列步驟。首先，利用每一時間間隔內之移動向量，偵測一物件旋轉資訊，其中物件旋轉資訊包含旋轉平面法向量、旋轉角度、角速度、速度、旋轉半徑或軌跡長度。接著，利用物件旋轉資訊，操作電子裝置上的應用程式。在本發明之一實施例中，上述利用物件旋轉資訊操作電子裝置上的應用程式的方法包括根據旋轉平面法向量與角度，以一預設角度刻度對應地輸出控制命令。在本發明之一實施例中，上述預設角度可根據軌跡速度或角速度進行動態刻度調整。在本發明之一實施例中，上述物件旋轉停止時，可根據停止前一段時間偵測之平均速度/角速度，以一反向加速度/角加速度進行減速。
在本發明之一實施例中，根據這些連續影像計算出物件移動所產生之移動軌跡之方法包括偵測這些影像中的物件影像之形狀變化、大小變化、亮度變化或位置變化，以判斷移動軌跡為一橫向移動軌跡或一縱向移動軌跡。
本發明之另一實施例提出一種偵測物件移動而輸出命令之系統，其包括一影像擷取裝置以及一處理單元。影像擷取裝置擷取一物件移動所產生之複數張連續影像。處理單元接收這些連續影像並根據這些連續影像計算出物件移動所產生之一移動軌跡，且處理單元適於根據移動軌跡對一電子裝置產生一對應的控制命令，以操作電子裝置上的一應用程式。
在本發明之一實施例中，上述系統更包括一不可見光源，其中不可見光源照射物件，且影像擷取裝置適於偵測不可見光源之光線。
在本發明之一實施例中，上述物件可為一使用者之手部。
基於上述，本發明之偵測物件移動而輸出命令的方法及系統可利用手在一平面上的旋轉手勢來操作選單的方式，例如：順時針旋轉兩圈時，則選單可往右移動兩格，而逆時針旋轉一圈則往左移動一格，如此使用者便可以在一空間中進行一連續手勢輸入而不易出現誤判，換言之，透過旋轉手勢輸入方式在多選單的選擇上相較於傳統採用手勢上下左右操作將會更有效率、準確及輕鬆。另外，偵測物件旋轉的方式主要是透過計算每一時間間隔內之物件移動的移動向量之差異(如向量旋轉角度之類)，如此相較於傳統需先使用物件移動後之多各位置而定義出一旋轉中心點的方式，本方法及系統之運算量及技術將較為簡易且有效。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。以下實施例中所提到的方向用語，例如：上、下、左、右、前或後等，僅是參考附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本發明。
圖1為本發明一實施例之一種偵測物件移動而輸出命令之系統示意圖。請參考圖1，本實施例之系統100可包括一影像擷取裝置110以及一處理單元120。影像擷取裝置110適於擷取一物件102移動所產生之複數張連續影像。具體來說，影像擷取裝置110可選擇為電荷耦合元件(Charge-coupled Device,CCD)以及互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor,CMOS)感測器其中之一者，或者為其它可偵測光強度之偵測器，其中由於本實施例會搭配使用一紅外線光源130作為照射物件102之用，因此，本實施例之影像擷取裝置110便會對應地使用紅外線影像感測器。當然，於其他實施例中，使用者亦可選擇其他適當的光源與對應地的影像感測器，上述為舉例說明。在本實施例中，圖1之物件102係以使用者之手部102作為實施範例，以下將以使用者之手部進行說明，但不限於此，其亦可為使用者拿一道具被感測，或是其他部位被感測。
請繼續參考圖1，處理單元120適於接收由影像擷取裝置110所擷取之使用者之手部102移動而產生的連續影像並根據連續影像計算出物件102移動所產生之一移動軌跡102a。之後，處理單元102便可根據移動軌跡102a對一電子裝置140(如：圖1之顯示裝置)產生一對應的控制命令，以操作電子裝置140上的一應用程式(如：後續之段落中之電話簿鍵盤撥號或電話簿選單之選擇與控制)。
具體來說，本實施例偵測物件102移動輸出命令的方法可先利用前述的影像擷取裝置110擷取使用者之手部102移動所產生之複數張連續影像，如圖2A所示，其中為了方便說明，圖2A係將使用者手部102移動之8張連續影像進行疊合而成之示意圖。之後，將每張影像之物件重心位置104與前張影像之物件重心位置104相減，便可獲得每一時間間隔內之一移動向量V1，如圖2B所示，其中圖2B係繪示圖2A之不同時間下之各物件的重心位置及物件重心移動之移動向量的示意圖。之後，便可依據每一時間間隔內之移動向量V1，從而計算出使用者之手部102移動之移動軌跡102a。在本實施例中，計算物件102之重心位置104的方式可以是透過所擷取到的物件影像之畫素座標與亮度值作為權重而進行計算。
從圖2B中可發現，每一時間間隔下移動向量V1與水平面的夾角θ1~θ7會不同，而每張畫面又通常是依固定頻率擷取的，因此便可獲得單位時間內角度變化的資訊，如此亦可根據此資訊作為計算移動軌跡102a之方法；或者亦僅可根據移動向量V1之變化來偵測移動軌跡102a。換言之，本實施例可利用每一時間間隔內之移動向量V1，而來偵測一物件旋轉資訊，其中由於單位時間內移動向量V1是可被計算出來的，因此物件旋轉資訊便可包含了旋轉平面法向量、旋轉角度、角速度、速度、旋轉半徑或軌跡長度等等這些資訊。如此一來便可透過物件旋轉資訊，進一步地來操作電子裝置140上的應用程式。
以下將以圖3A～圖3C進行透過物件旋轉資訊來操作電子裝置140上的應用程式之舉例說明。
請先參考圖3A，電子裝置140上的電話撥打程式200顯示有一撥號輪盤210以及一電話簿220，其中撥號輪盤210可透過物件旋轉資訊進行操作，如圖3A所示。具體來說，為了有效地控制撥號輪盤的旋轉速度，系統100可根據使用者之手部102所產生之旋轉平面法向量與角度，而以一預設角度刻度對應地輸出控制命令，例如：XY平面順時針(法向-Z)旋轉180度則輸出一向右命令，而逆時針(法向量+Z)旋轉360度可輸出兩向左命令，但不以該例為限。因此，當使用者逆時鐘旋轉手部102之旋轉角度為180度時，輪盤便會被轉動一格，而落入輸入一選定區212的數字或符號便會被輸出至一預備撥打號碼區230中，如圖3A至圖3C所繪示之流程。此時，若使用者輸入號碼完畢後欲撥打該號碼時，便可將手部102往靠近影像擷取裝置110的方向移動，這時，物件影像位置雖然不變，但其形狀大小或亮度便會有所改變，此時處理單元120便可據此輸出一控制命令，進行撥打該號碼。在本實施例中，使用者亦可順時針旋轉手部102進行反向操作或控制。
另外，為了讓使用者在控制輪盤上有更佳的操作手感，上述的預設角度亦可根據軌跡速度或角速度進行動態刻度調整，舉例來說：當手部102旋轉速度快時，則刻度相對小，例如：旋轉360度可輸出四次命令；相反地，當旋轉速度慢時，則刻度相對較大，如：旋轉360度時只輸出一次命令，上述僅為舉例說明，不以該例為限。同樣地，當使用者之手部102停止移動時，可根據停止前一段時間偵測之平均速度/角速度，以一反向加速度/角加速度進行減速，如此可使得該系統100可以在手部軌跡停止後以一內部慣性持續輸出角度(或命令)一段時間，其中該時間可取決於該平均速度(角速度)與該反向加速度(角加速度)關係。
圖4為圖1之使用者手部往垂直方向移動時所產生之示意圖，而圖5A為圖4之使用者手部往垂直方向移動後所開啟之電話簿選單示意圖。請同時參考圖1、圖4與圖5A，電話撥打程式200中的撥號輪盤210可透過使用者之手部旋轉而被操作，此時若使用者欲直接地選擇電話簿220內的資訊時，便可透過將手部往垂直方向平移，使得電話簿選單222被抽拉出來，而形成如圖5A之實施態樣，意即電話簿選單222可透過偵測物件102(使用者之手部102)垂直平移的方式而被拉起。
接著，當電話簿選單222被開啟後，使用者亦可旋轉手部102，此時系統便可透過上述偵測手勢旋轉的機制，選取撥打之名單，如圖5B至5C之繪示。同樣地，當使用者選定欲撥打之號碼後，亦可透過將手部102往靠近影像擷取裝置110的方向移動，這時，物件影像位置雖然不變，但其形狀大小或亮度便會有所改變，此時處理單元120便可據此輸出一控制命令，進行撥打該號碼。
綜上所述，本發明之偵測物件移動而輸出命令的方法及系統至少具有以下優點。首先，可利用手在一平面上的旋轉手勢來操作選單的方式，例如：順時針旋轉兩圈時，則選單可往右移動兩格，而逆時針旋轉一圈則往左移動一格，如此使用者便可以在一空間中進行一連續手勢輸入而不易出現誤判，換言之，透過旋轉手勢輸入方式在多選單的選擇上相較於傳統採用手勢上下左右操作將會更有效率、準確及輕鬆。另外，本實施例偵測物件旋轉的方式主要是透過計算每一時間間隔內之物件移動的移動向量之差異(如向量旋轉角度之類)，如此相較於傳統需先使用物件移動後之多各位置而定義出一旋轉中心點的方式，本方法及系統之運算量及技術將較為簡易且有效。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。
100．．．系統
102．．．物件
102a．．．移動軌跡
104．．．重心位置
110．．．影像擷取裝置
120．．．處理單元
130．．．紅外線光源
140．．．電子裝置
200．．．電話撥打程式
210．．．撥號輪盤
212．．．選定區
220．．．電話簿
230．．．預備撥打號碼區
V1～V7．．．移動向量
θ1~θ7．．．夾角
圖1為本發明一實施例之一種偵測物件移動而輸出命令之系統示意圖。
圖2A係將使用者手部102移動之8張連續影像進行疊合而成之示意圖。
圖2B係繪示圖2A之不同時間下之各物件的重心位置及物件重心移動之移動向量的示意圖。
圖3A～圖3C進行透過物件旋轉資訊來操作電子裝置上的應用程式之示意圖。
圖4為圖1之使用者手部往垂直方向移動時所產生之示意圖。
圖5A為圖4之使用者手部往垂直方向移動後所開啟之電話簿選單的示意圖
圖5B～圖5C進行透過物件旋轉資訊來操作電話簿選單之示意圖。
100．．．系統
102．．．物件
102a．．．移動軌跡
110．．．影像擷取裝置
120．．．處理單元
130．．．紅外線光源
140．．．電子裝置
200．．．電話撥打程式

Claims (12)

  1. 一種偵測物件移動輸出命令的方法，包括：利用一影像擷取裝置擷取一物件因旋轉而產生的移動所產生之複數張連續影像；根據該些連續影像計算出該物件因旋轉而產生的移動所產生之一移動軌跡，其中該移動軌跡為一旋轉軌跡，且根據該些連續影像計算出該物件因旋轉而產生的該移動軌跡的方法包括：將每張影像之物件重心位置與前張影像之物件重心位置相減，以獲得每一時間間隔內之一移動向量，其中每一時間間隔內之每一移動向量與一水平面的夾角分別是不同的；以及依據每一時間間隔內之該移動向量，計算出該移動軌跡，其中依據每一時間間隔內之該移動向量計算出該移動軌跡的方法包括：利用每一時間間隔內之該移動向量，偵測一物件旋轉資訊，其中該物件旋轉資訊包含旋轉平面法向量、旋轉角度、角速度、速度、旋轉半徑或軌跡長度；以及利用該物件旋轉資訊，操作一電子裝置上的一應用程式；以及根據該移動軌跡，輸出一對應的控制命令，其中利用該物件旋轉資訊輸出該對應的控制命令的方法包括： 根據該旋轉平面法向量與角度，以一預設角度刻度對應地輸出該控制命令，其中該預設角度可根據軌跡速度或角速度進行動態刻度調整。
  2. 如申請專利範圍第1項所述之方法，其中該物件旋轉停止時，可根據停止前一段時間偵測之平均速度/角速度，以一反向加速度/角加速度進行減速。
  3. 如申請專利範圍第1項所述之方法，其中在利用該影像擷取裝置擷取該物件因旋轉而產生的移動所產生之該些連續影像前，更包括：利用一不可見光源照射該物件，其中該影像擷取裝置適於偵測該不可見光源之光線。
  4. 如申請專利範圍第1項所述之方法，其中根據該些連續影像計算出該物件因旋轉而產生的移動所產生之該移動軌跡之方法包括：偵測該些影像中的該物件影像之形狀變化、大小變化、亮度變化或位置變化，以判斷該移動軌跡為一橫向移動軌跡或一縱向移動軌跡。
  5. 如申請專利範圍第1項所述之方法，其中該物件為一使用者之手部。
  6. 一種偵測物件移動而輸出命令之系統，包括：一影像擷取裝置，擷取一物件因旋轉而產生的移動所產生之複數張連續影像；以及一處理單元，接收該些連續影像並根據該些連續影像計算 出該物件因旋轉而產生的移動所產生之一移動軌跡，其中該移動軌跡為一旋轉軌跡，其中根據該些連續影像計算出該物件因旋轉而產生的該移動軌跡的方法包括：將每張影像之物件重心位置與前張影像之物件重心位置相減，以獲得每一時間間隔內之一移動向量，其中每一時間間隔內之每一移動向量與一水平面的夾角分別是不同的；以及依據每一時間間隔內之該移動向量，計算出該移動軌跡，其中依據每一時間間隔內之該移動向量計算出該移動軌跡的方法包括：利用每一時間間隔內之該移動向量，偵測一物件旋轉資訊，其中該物件旋轉資訊包含旋轉平面法向量、旋轉角度、角速度、速度、旋轉半徑或軌跡長度；以及利用該物件旋轉資訊，操作一電子裝置上的一應用程式；且該處理單元適於根據該移動軌跡輸出一對應的控制命令，其中利用該物件旋轉資訊輸出該對應的控制命令的方法包括：根據該旋轉平面法向量與角度，以一預設角度刻度對應地輸出該控制命令，其中該預設角度可根據軌跡速度或角速度進行動態刻度調整。
  7. 如申請專利範圍第6項所述之系統，更包括： 一不可見光源，照射該物件，其中該影像擷取裝置適於偵測該不可見光源之光線。
  8. 如申請專利範圍第6項之系統，其中該物件旋轉停止時，可根據停止前一段時間偵測之平均速度/角速度，以一反向加速度/角加速度進行減速。
  9. 如申請專利範圍第6項之系統，其中根據該些連續影像計算出該物件因旋轉而產生的移動所產生之該移動軌跡之方法包括：偵測該些影像中的該物件影像之形狀變化、大小變化、亮度變化或位置變化，以判斷該移動軌跡為一橫向移動軌跡或一縱向移動軌跡。
  10. 如申請專利範圍第6項所述之系統，其中該物件為一使用者之手部。
  11. 一種偵測物件移動輸出命令的方法，包括：利用一影像擷取裝置擷取一手部因旋轉而產生的移動所產生之複數張連續影像；根據該些連續影像計算出該手部因旋轉而產生的移動所產生之一移動軌跡；以及根據該移動軌跡，輸出一對應的控制命令，其中該移動軌跡為一旋轉軌跡。
  12. 一種偵測物件移動而輸出命令之系統，包括：一影像擷取裝置，擷取一手部因旋轉而產生的移動所產生之複數張連續影像；以及 一處理單元，接收該些連續影像並根據該些連續影像計算出該手部因旋轉而產生的移動所產生之一旋轉軌跡，且該處理單元適於根據該旋轉軌跡輸出一對應的控制命令。
TW101115305A 2012-04-30 2012-04-30 偵測物件移動輸出命令的方法及其系統 TWI476706B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW101115305A TWI476706B (zh) 2012-04-30 2012-04-30 偵測物件移動輸出命令的方法及其系統
US13/865,599 US9063585B2 (en) 2012-04-30 2013-04-18 Method for outputting command by detecting object movement and system thereof
US14/715,471 US10599224B2 (en) 2012-04-30 2015-05-18 Method for outputting command by detecting object movement and system thereof
US16/702,522 US11023052B2 (en) 2012-04-30 2019-12-03 Method for outputting command by detecting object movement and system thereof
US17/244,915 US11402922B2 (en) 2012-04-30 2021-04-29 Method for outputting command by detecting object movement and system thereof
US17/851,087 US20220326784A1 (en) 2012-04-30 2022-06-28 Method for outputting command by detecting object movement and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101115305A TWI476706B (zh) 2012-04-30 2012-04-30 偵測物件移動輸出命令的方法及其系統

Publications (2)

Publication Number Publication Date
TW201344596A TW201344596A (zh) 2013-11-01
TWI476706B true TWI476706B (zh) 2015-03-11

Family

ID=49476781

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101115305A TWI476706B (zh) 2012-04-30 2012-04-30 偵測物件移動輸出命令的方法及其系統

Country Status (2)

Country Link
US (5) US9063585B2 (zh)
TW (1) TWI476706B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI476706B (zh) * 2012-04-30 2015-03-11 Pixart Imaging Inc 偵測物件移動輸出命令的方法及其系統
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
US9582737B2 (en) * 2013-09-13 2017-02-28 Qualcomm Incorporated Context-sensitive gesture classification
US9639167B2 (en) 2014-05-30 2017-05-02 Eminent Electronic Technology Corp. Ltd. Control method of electronic apparatus having non-contact gesture sensitive region
CN111282261B (zh) * 2020-01-22 2023-08-08 京东方科技集团股份有限公司 人机交互方法及装置、体感游戏设备
DE102020106021A1 (de) * 2020-03-05 2021-09-09 Gestigon Gmbh Verfahren und system zum betreiben eines auswahlmenüs einer grafischen benutzeroberfläche basierend auf dem erfassen einer rotierenden freiraumgeste

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201019176A (en) * 2008-10-26 2010-05-16 Microsoft Corp Multi-touch object inertia simulation
US20100177209A1 (en) * 2004-08-11 2010-07-15 Hsuan-Hsien Lee Interactive device capable of improving image processing
TW201027398A (en) * 2009-01-09 2010-07-16 E Lead Electronic Co Ltd Method of controlling cursor with multiple and variable speeds through track pad
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
TW201120681A (en) * 2009-12-10 2011-06-16 Tatung Co Method and system for operating electric apparatus

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7345671B2 (en) * 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
US7046230B2 (en) * 2001-10-22 2006-05-16 Apple Computer, Inc. Touch pad handheld device
US7312785B2 (en) * 2001-10-22 2007-12-25 Apple Inc. Method and apparatus for accelerated scrolling
US7728821B2 (en) * 2004-08-06 2010-06-01 Touchtable, Inc. Touch detecting interactive display
JP4569555B2 (ja) * 2005-12-14 2010-10-27 日本ビクター株式会社 電子機器
US7786975B2 (en) * 2005-12-23 2010-08-31 Apple Inc. Continuous scrolling list with acceleration
EP1860534A1 (en) * 2006-05-22 2007-11-28 LG Electronics Inc. Mobile terminal and menu display method thereof
TW200810814A (en) 2006-08-17 2008-03-01 Pixart Imaging Inc Object-based 3-dimensional stereo information generation apparatus and method, and an interactive system using the same
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
US8736557B2 (en) * 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
AU2006252191B2 (en) * 2006-12-21 2009-03-26 Canon Kabushiki Kaisha Scrolling Interface
KR101406289B1 (ko) * 2007-03-08 2014-06-12 삼성전자주식회사 스크롤 기반 아이템 제공 장치 및 방법
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
CN101874404B (zh) * 2007-09-24 2013-09-18 高通股份有限公司 用于语音和视频通信的增强接口
JP2009080608A (ja) * 2007-09-26 2009-04-16 Panasonic Corp 入力装置
US8217906B2 (en) * 2007-11-16 2012-07-10 Sony Ericsson Mobile Communications Ab User interface, apparatus, method, and computer program for viewing of content on a screen
US9785330B1 (en) * 2008-02-13 2017-10-10 Apple Inc. Systems for and methods of providing inertial scrolling and navigation using a fingerprint sensor calculating swiping speed and length
US8904306B1 (en) * 2008-06-12 2014-12-02 Sprint Communications Company L.P. Variable speed scrolling
CN101650594A (zh) 2008-08-14 2010-02-17 宏碁股份有限公司 根据动态图像的控制方法
US20100058240A1 (en) * 2008-08-26 2010-03-04 Apple Inc. Dynamic Control of List Navigation Based on List Item Properties
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
US8610673B2 (en) * 2008-12-03 2013-12-17 Microsoft Corporation Manipulation of list on a multi-touch display
KR101565768B1 (ko) * 2008-12-23 2015-11-06 삼성전자주식회사 휴대단말의 잠금 모드 해제 방법 및 장치
US8303412B2 (en) * 2009-03-31 2012-11-06 Nintendo Co., Ltd. Game apparatus and game program
JP5256109B2 (ja) * 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
US9436380B2 (en) * 2009-05-19 2016-09-06 International Business Machines Corporation Radial menus with variable selectable item areas
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
KR20110069563A (ko) * 2009-12-17 2011-06-23 엘지전자 주식회사 영상표시장치 및 그 동작 방법
WO2011077696A1 (ja) * 2009-12-22 2011-06-30 パナソニック株式会社 動作解析装置および動作解析方法
KR101626621B1 (ko) * 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US20110299737A1 (en) 2010-06-04 2011-12-08 Acer Incorporated Vision-based hand movement recognition system and method thereof
US8416187B2 (en) * 2010-06-22 2013-04-09 Microsoft Corporation Item navigation using motion-capture data
US20120005632A1 (en) * 2010-06-30 2012-01-05 Broyles Iii Paul J Execute a command
US8766984B2 (en) * 2010-08-20 2014-07-01 Qualcomm Incorporated Graphics rendering methods for satisfying minimum frame rate requirements
JP5679169B2 (ja) * 2010-10-20 2015-03-04 株式会社ソニー・コンピュータエンタテインメント メニュー表示装置、メニュー表示制御方法及びプログラム
US20120262366A1 (en) * 2011-04-15 2012-10-18 Ingeonix Corporation Electronic systems with touch free input devices and associated methods
US20130055119A1 (en) * 2011-08-23 2013-02-28 Anh Luong Device, Method, and Graphical User Interface for Variable Speed Navigation
US9122311B2 (en) * 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US8760474B2 (en) * 2011-11-02 2014-06-24 Microsoft Corporation Virtualized data presentation in a carousel panel
TWI476706B (zh) * 2012-04-30 2015-03-11 Pixart Imaging Inc 偵測物件移動輸出命令的方法及其系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100177209A1 (en) * 2004-08-11 2010-07-15 Hsuan-Hsien Lee Interactive device capable of improving image processing
TW201019176A (en) * 2008-10-26 2010-05-16 Microsoft Corp Multi-touch object inertia simulation
TW201027398A (en) * 2009-01-09 2010-07-16 E Lead Electronic Co Ltd Method of controlling cursor with multiple and variable speeds through track pad
US20110119638A1 (en) * 2009-11-17 2011-05-19 Babak Forutanpour User interface methods and systems for providing gesturing on projected images
TW201120681A (en) * 2009-12-10 2011-06-16 Tatung Co Method and system for operating electric apparatus

Also Published As

Publication number Publication date
US20200103979A1 (en) 2020-04-02
TW201344596A (zh) 2013-11-01
US20220326784A1 (en) 2022-10-13
US11402922B2 (en) 2022-08-02
US20130285899A1 (en) 2013-10-31
US20150248172A1 (en) 2015-09-03
US9063585B2 (en) 2015-06-23
US20210247848A1 (en) 2021-08-12
US10599224B2 (en) 2020-03-24
US11023052B2 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
TWI476706B (zh) 偵測物件移動輸出命令的方法及其系統
US10534436B2 (en) Multi-modal gesture based interactive system and method using one single sensing system
US20140123077A1 (en) System and method for user interaction and control of electronic devices
US9417733B2 (en) Touch method and touch system
JP2006209563A (ja) インターフェース装置
KR20130105725A (ko) 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전
US20130293460A1 (en) Computer vision based control of an icon on a display
US10884518B2 (en) Gesture detection device for detecting hovering and click
JP2019051297A5 (ja) プログラム及び情報処理装置
CN106201065B (zh) 侦测物件移动输出命令的方法及其系统
TWM485448U (zh) 影像式虛擬互動裝置
US9423893B2 (en) Gesture detection device for detecting hovering and click
TWI479363B (zh) 具有指向功能的可攜式電腦及指向系統
JP6008904B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
TWI444875B (zh) 多點觸碰輸入裝置及其使用單點觸控感應板與影像感測器之資料融合之介面方法
JP2015106390A (ja) 情報入力装置、情報入力システム、情報入力方法及びプログラム
WO2017212641A1 (ja) ユーザインタフェース装置及びユーザインタフェース方法
Weng et al. A Vision-based Virtual Keyboard Design
TWM486800U (zh) 可變更角度的雙用途體感偵測攝像裝置