TWI471755B - 能操控電氣設備作動模式的操控裝置 - Google Patents

能操控電氣設備作動模式的操控裝置 Download PDF

Info

Publication number
TWI471755B
TWI471755B TW99100855A TW99100855A TWI471755B TW I471755 B TWI471755 B TW I471755B TW 99100855 A TW99100855 A TW 99100855A TW 99100855 A TW99100855 A TW 99100855A TW I471755 B TWI471755 B TW I471755B
Authority
TW
Taiwan
Prior art keywords
image
body motion
pixel
unit
operating
Prior art date
Application number
TW99100855A
Other languages
English (en)
Other versions
TW201124878A (en
Inventor
Chao Lieh Chen
Po Hung Chen
Original Assignee
Chao Lieh Chen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chao Lieh Chen filed Critical Chao Lieh Chen
Priority to TW99100855A priority Critical patent/TWI471755B/zh
Priority to US13/004,091 priority patent/US8897488B2/en
Publication of TW201124878A publication Critical patent/TW201124878A/zh
Application granted granted Critical
Publication of TWI471755B publication Critical patent/TWI471755B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Description

能操控電氣設備作動模式的操控裝置
本發明係有關於一種能操控電氣設備作動模式的操控裝置,尤其是指一種透過單一積體電路的使用,而能透過擷取的影像操控電氣設備的作動模式者。
在科技發達的今日,科技屋已成為一項熱門的研究話題,其目的就是要將家庭數位化、利用科技發揮創意,打造出未來的家庭環境。
目前大部分投入影像處理的開發人員(如人臉辨識、視線判斷及手勢動作判斷),大都使用複雜的演算法來計算臉部特徵,並以軟體為其主要開發工具。以軟體為主來執行影像處理,其功能較容易實現,但卻有無法即時處理、以及需要一套電腦設備來執行運算的致命缺陷。
最多人參考的人臉辨識方法,是Paul Viola及Michael Jones於2001年所提出的Robust Real-time Object Detection;而常見的手勢辨識方法,是利用固定背景相減加上膚色判斷,取出手部的物件,再利用類神經網路演算法,或者手部重心與手指的距離,來辨識手勢,以上方法雖然可以找出臉部特徵與辨識手勢,但是如果將其方法應用在影像訊號處理器上,演算法的運算複雜度過高,計算上會耗費太多時間,如果不使用外部記憶體,暫存整張影像會佔用大量影像訊號處理器的空間,此種方法在硬體設計上不容易實現。
另外,民眾在使用家電都需使用到手持裝置當操控介面,直到近幾年Multifinger Touch Panel技術成熟,運用在許多家電產品上,其中Apple公司研發的產品更是以直覺式的觸控技術為開發重點,使用者用手指碰觸螢幕來進行滑動瀏覽畫面、翻頁、放大縮小圖片或是對音響做音量大小調整等動作,此類似產品推入市場後造成廣大的回響,也徹底改變民眾在使用家電的習慣。
儘管手勢控制技術已不是新發明,在產業界與學術界都有相關雛型產品與文獻,這些文獻或產品,都各有優缺點,有些手勢辨識率高,但必須使用到輔助工具,例如手部需使用感測元件,像是裝有感測器之手套,或者需要一台PC來運算大量的影像輸入訊號,才可實現到即時的影像處理,且周遭環境也有許多地方須要克服,包含使用的距離、背景是否單純或者環境照度多少等等。
尤其近幾年可以看到各家大廠紛紛推出手勢結合家電或者電玩娛樂的產品,例如今年Toshiba在CES 2009展場發表出結合手勢控制的電視、SCE與Logitech合作推出針對Sony旗下遊戲產品所開發出的EyeToy,或是由加拿大公司Mgestyk所開發出手勢控制技術等等,讓原本在電影中出現極具科幻元素的操作方式,實現於日常生活中,不過有些產品需要特定的3D攝影鏡頭或者相關軟硬體開發套件,造成使用此功能還必須使用特定的相關產品方可動作,這樣與目前每一項家電都必須使用特定的遙控器是一樣的,最主要是產品價格方面,附屬商品零零總總加一加,所付出的費用,遠比使用傳統遙控器高出的多。
Optical-touch一般可分為紅外線以及影像像素感測器兩種,其方法均在LCD面板橫方向與直方向處佈置紅外線感測器或者影像像素感測器,以進行使用者手指座標掃描。其限制為手部必須非常靠近螢幕,並且需要一個微處理機進行掃描,否則將佔用筆記型電腦的CPU資源。
傳統以影像處理的方式進行使用者手部追蹤時,則皆使用外部記憶體將影像儲存,然後讀取像素進行回存、判斷處理等。由於牽涉記憶體之存取,大多使用軟體方式實現影像處理演算法,其限制除需要較高之記憶體成本之外,大量的資料讀寫會造成可觀的延遲,無法達到即時的控制,並且造成大量功率消耗,因此不適用於筆記型電腦和其他行動設備。
Paul Viola及Michael Jones所提出的即時物體偵測,以軟體來開發,可以準確的偵測到人臉,但是其做法,如果套用在硬體電路,演算法複雜度過高,且必需使用外部記憶體來暫存資料,在處理上,難以達到即時處理,且有著需要一台PC來運算的致命缺點。
另,由大葉大學電機工程系所提出的A Multiple-Face Detection Algorithm for Complex Backgrounds,可在複雜的背景下,經由光線補嘗、膚色分析、二值化影像處理、一次侵蝕操作、二次膨脹操作…等步驟後,分離出影像中屬於人臉的區域,而其開發環境為Borland的C++Builder。以軟體為主來開發,有一共通點,就是需要一台PC來做運算,當使用複雜度愈高的演算法,系統的負擔就愈重。
復由國立中央大學電機工程學系所提出的猜拳機,他們以固定背景之方式,做影像差分運算及膚色判斷,分離出影像中的手的區域。當影像背景固定,差分運算後,很容易就可以將二張影像不同的區域找出,加以膚色判斷,要找出手的區域,非常之容易。缺點是,當攝影機晃動,或者背景有其他物體移動,所運算出之前後影像差分結果,就不會像原本的那麼乾淨,因為,該猜拳機並沒有隨時刷新背景的圖。
又如中興大學電機工程學系提出之”看護系統之監控與辨識功能建立”,其在文中提到手勢辨識的方法,為直接對影像判斷屬於膚色的部份,偵測到膚色的部份後,再濾除部份雜點,再做邊緣偵測描繪出手部的邊緣,再對其手勢做判斷;而此一方式可能會導致系統無法即時運算,難以達到即時的影像處理。
再觀由成大建築學系所提出的「Interactive Media」-A Multimodal Approach to Interface Design for Human-Computer Interaction in Digital Design Environments”論文中提出的手勢辨識技術,其必須使用LED手套做為身體動作的輔助介面,並使用WebCAM做光點的感測裝置,以利用手套上的LED裝置光點的變化來進行如滑鼠般的指示、拖拉與點選等動作。
又,由中央大學資訊工程所提出的”可攜式手型辨識系統”論文,其雖僅使用硬體就可達到影像即時顯示,不過這篇文中有提出系統資源的限制,如使用者的背景色彩不可太過複雜,且背景顏色最好選較偏淡色系。
另,在科技發達的今日,為強調電氣使用的便利性,幾乎每一種電氣設備均配備有遙控功能,即利用遙控器以無線遙控方式控制電氣設備,常見的有電視機、冷氣機、電風扇、影音播放器、筆記型電腦、...等。然而,每一種電氣設備之遙控器均是專屬使用於該電氣設備,並無法共用,即電視機之遙控器只能用來控制電視機的啟閉、頻道、聲音及相關之影像設定功能,而冷氣機之遙控器也整能用來控制冷氣機的啟閉、溫度、強度及冷、暖氣或除濕等功能,但冷氣機之遙控器並無法被用來控制電視機,甚至是不同型號、廠牌之冷氣機或電視機之間,其所屬的遙控器也無法共用;因此,常常可見一般之住家,所擁有的遙控器數量相當繁多,根據調查,在台灣,平均每個家庭擁有的電氣設備之遙控器數量為3.3支,相當驚人;尤其遙控器上的按鍵功能相當繁多複雜,但常用的功能不外幾種基本功能。故,若能將這些大量繁雜的遙控器加以整合成單一能控制多種電氣設備之裝置,將能有效減少遙控器之使用數量,對使用者而言,因不需再存放多種不同電氣設備之遙控器,所以使用上較為便利。
今,本發明人即是鑒於上述之情形,於是利用Multi-Modal Man Machine Interface人類最直覺的身體動作,將這些大量繁雜的電氣設備遙控器,整合為一直覺操作與同時支援遙控多種電氣設備的遙控裝置。
本發明之主要目的,係提供一種能操控電氣設備作動模式的操控裝置,該影像操控裝置能透過擷取操作者的身體的動作,判斷出欲操控之電氣設備,且執行其所欲執行之動作,使此單一之操控裝置能操控多種電氣設備作動。
為達上述目的,本發明乃提供一種能操控電氣設備作動模式的操控裝置,該操控裝置包括一像素感測器及一影像訊號處理器,該影像訊號處理器為一處理影像輸出訊號之積體電路,其包含有一影像梯度計算暨二值化單元、一影像變動偵測單元以及一訊號傳輸單元,影像變動偵測單元進一步包含一計算影像移動軌跡單元、一手勢判斷單元;其主要係藉由該像素感測器擷取電氣設備操控者的影像後,由該影像訊號處理器進行判斷該操控者的身體動作,進而指示電氣設備執行對應該身體動作之動作模式。
本發明之能操控電氣設備作動模式的操控裝置進一步包括一視線判斷單元,係對經影像梯度計算暨二值化單元、影像變動偵測單元、計算影像移動軌跡單元處理後之影像,進行判斷該操控者的視線係落於哪個電氣設備上,作為控制電氣設備的選擇或啟閉,以取代傳統萬用遙控器對於遙控對象之選擇功能。
為令本發明之技術手段創作目的及達成功效有更完整及清楚的揭露,茲於下詳細說明之,並請一併參閱揭示之圖式及元件符號。
請參閱第一圖所示,本發明之能操控電氣設備作動模式的操控裝置包括:一像素感測器(1)及一影像訊號處理器(2)。
該像素感測器(1),係為擷取操控者之影像,並將影像輸入至該影像訊號處理器(2),而為操控者與電氣設備之介面,該像素感測器(1)可採用電荷耦合元件【CCD】或互補金屬氧化半導體【CMOS】。
該影像訊號處理器(2),為一處理影像輸出訊號之積體電路,其包含有一影像梯度計算暨二值化單元(21)、一影像變動偵測單元(22)以及一訊號傳輸單元(23),該影像變動偵測單元(22)包括一計算影像移動軌跡單元(221)及一手勢判斷單元(222)。
該影像梯度計算暨二值化單元(21)主要係將該像素感測器(1)擷取得到並輸入的影像進行即時梯度計算並將梯度二值化之運算,以得到輸入影像之二值化矩陣。其中:假設影像大小為M行、N列【M×N】,也就是水平掃描線有N條,垂直掃描線有M條;影像像素感測器掃描時之目前像素座標表示為(x ,y ),其中,,;當整張影像矩陣為IM×N 時,(x,y)處之灰階像素值為I(x ,y )。
令Sobel梯度運算子如下:
計算3×3九宮格內之x 方向邊緣和y 方向梯度如下:
因此掃描影像時只需要3條像素之緩衝,不需要儲存整張影像即可加總九宮格內兩方向梯度,令為Sobel_X(x ,y )和Sobel_Y(x ,y )可計算得到整張影像的梯度矩陣如下:
判斷九宮格內兩方向梯度Sobel_X(x ,y )和Sobel_Y(x ,y )其中之一是否介於兩個值之間,例如96和224。由於梯度值又可稱為聚焦值(focus value;FV),這兩個聚焦值表示身體動作主體(例如手)離鏡頭的距離,這樣的判斷用來鎖定身體某段部份以進行處理,例如手掌部份,其最前端指尖和手腕因為和鏡頭距離不同,因此有不同聚焦值,藉此排除手掌部份以外的大部分背景或者其他物體之影像計算。整張影像由這兩個聚焦值被二值化為大小為M×N矩陣Sobel_show_data。
Sobel_show_data =[Sobel_show_data (x ,y )] M × N =[D (96<Sobel_X (x ,y )<224)orD (96<Sobel_Y (x ,y )<224)] M × N
其中D表示邏輯判斷。Sobel_show_data矩陣內為每元素僅為1位元邏輯值,因此使用M×N位元緩衝記憶即可儲存,此緩衝記憶空間並可重複利用。令前一張影像之二值化矩陣為
buf_t1 =[buf_t 1(x ,y )] M × N =Sobel_show_data (t -1)
其中,t表示現在影像的時間戳記,t-1表示前一張時間戳記。
該影像變動偵測單元(22),係透過該計算影像移動軌跡單元(221)將前、後張影像之梯度二值化矩陣進行互斥或(XOR)運算,並將互斥或運算結果經一陣列式之膚色濾波器判斷膚色範圍,該膚色濾波器為一帶通濾波器。其中:將前、後張影像之梯度的二值化矩陣取互斥或運算,可以用來偵測身體動作主體是否移動;當偵測結果為0時,表示沒有偵測到移動,若偵測結果為1時,則表示有偵測到移動。又在膚色濾波器【例如8x8】範圍內,將偵測結果取x方向前八點(x ,到x -7)累加,令
再於膚色濾波器【例如8x8】範圍內,再跳列取y方向相加,
此值物理意義為(x,y)點(含)前面膚色濾波器遮罩範圍內總共有多少點是移動的,跳列取其一半目的為降頻取樣。將此膚色濾波器遮罩範圍內移動的總點數儲存為eye_buf_sum(x,y),表示在(x,y)這個位置且膚色濾波器遮罩範圍內偵測到多少身體移動點。
該計算影像移動軌跡單元(221)再利用該膚色濾波器遮罩內跳列相加之數值是否大於某數值,作為判斷目前(x,y)像素點是否為膚色之依據,並依此計算得到一軌跡點,多個軌跡點即構成膚色身體移動之軌跡,再由這些軌跡便可進行身體移動之判斷。其中:該膚色濾波器是由像素感測器(1)感測到的(x,y)處彩度cb和cr的範圍來判斷是否為膚色。
當y為奇數時,判斷該膚色濾波器遮罩內身體移動點數是否夠多且(x,y)這個位置是否為膚色,將此邏輯判斷結果稱為buf_show(x,y),判斷值為1表示是具有足夠多的膚色身體移動點,否則為0。
buf_show (x ,y )=D (20<eye_buf_sum (x ,y ))ANDD (Cb_show_en (x ,y )=1)ANDD (Cr_show_en (x ,y )=1)
當y為偶數時,讀取前一列相同位置之邏輯判斷結果,進行下一步利用。
buf _show _data =buf _show (x ,y -1)
而在計算膚色身體軌跡時,一開始(第奇數張影像)會先檢查累計整張MxN影像範圍內的邏輯判斷值(符號buf_show(x,y))是否達到2c 這麼多,如果是就平均整張M×N影像範圍內所有的膚色身體移動點座標。由於buf_show(x,y)是一邏輯判斷值,故此膚色身體移動點座標之計算並不需使用乘法。
在第偶數張影像時,平均前面算出來的膚色身體移動點座標點,得到軌跡點。上標(l )表示左手,相同方法可以抓取右手的軌跡點,其中上標(r )表示左手。由於我們取2c 個邏輯判斷值,因此座標點的平均不需要除法運算,只要捨去最低c個位元即可,如下:
其中>>c表示算術右移c位元,在電路實現裡面,即捨棄最低c個位元。以軌跡點為中心,上下左右各取60個像素的距離,也就是120×120的範圍內。
在出現膚色身體動作之後的第奇數張影像時,在這個範圍內再次偵測前述邏輯判斷值是否有2c 個這麼多,若有達到,統計其平均座標值作為下次的軌跡點。
該手勢判斷單元(222)係透過該計算影像移動軌跡單元(221)所計算得到之膚色身體移動之軌跡,再由這些軌跡進行身體移動之判斷,並將這些判斷轉換為控制電氣設備之指令,且經由該訊號傳輸單元(23)將該些指令傳輸至相關欲控制之電氣設備的指令接收端,使該電氣設備執行該些指令。
據此,該像素感測器(1)在擷取操控者之影像後,便將影像輸入至該影像訊號處理器(2)中,而透過該影像訊號處理器(2)之該影像梯度計算暨二值化單元(21)、該影像變動偵測單元(22)後,藉由該訊號傳輸單元(23)將欲操作之狀態傳輸至電氣設備,使該電氣設備執行相對應之動作。
進一步來說,本發明之影像訊號處理器(2)主要使用Edge Detection【邊緣】演算法(例如Sobel Operator[索貝爾運算子]或Laplacian Operator[拉普拉斯運算子]或任何其他梯度計算),來偵測影像的邊緣,即先平均影像中膚色的Y值(亮度)作為影像二值化的標準,並以前後張影像的差分運算,來擷取畫面中變動的部份,且將結果先做儲存,再以帶通濾波器及搭配Cb值(色彩)、Cr值(飽和度)的膚色辨識,分離出複雜背景與移動中的膚色物體,最後辨識出身體動作後,對被操控電氣設備下達操作指令。
本發明之影像訊號處理器(2)中的影像變動偵測單元(22)進一步包括一視線判斷單元(223)【參第二圖】,其主要是透過該像素感測器(1)在擷取操控者之影像後,將影像輸入至該影像訊號處理器(2)中依序經該影像梯度計算暨二值化單元(21)、該影像變動偵測單元(22)之計算影像移動軌跡單元(221)進行影像之處理,以抓取眼睛的位置,並以眼睛相對位置換算視線角度,啟動落在該視線範圍的電氣設備。即主要使用Edge Detection演算法(例如Sobel Operator或Laplacian Operator[拉普拉斯運算子]或任何其他梯度計算),來偵測影像的邊緣,再將邊緣二值化,且以前後張影像的差分運算,來擷取畫面中變動的部份,並以膚色濾波器及Cb值(色彩)、Cr值(飽和度)的膚色辨識,來濾除多餘、複雜背景問題,如此即可得到所需的眼睛位置,並以其相對位置來換算視線角度。藉此,便能透過視線選擇欲啟動之電氣設備,達到以單一遙控裝置控制眾多電氣設備之目的。
經由以上的實施說明,可知本發明至少具有如下所列之各項優點:
1.本發明僅使用由單一積體電路晶片構成之影像訊號處理器及單一低像素感應器(例如影像感測器)即可達成操控電氣設備作動之效能,而傳統操控電氣設備作動之手段多以軟體實現,且若要實現multi-modal,則需要多台影像感測器,發明相較之下,所需成本較低。
2.本發明可進行視線偵測結合多點身體動作偵測,使該遙控裝置能應用於控制多個電氣設備之場合。
3.本發明運用影像訊號處理器即時處理與管線(Pipeline)架構,和獨特的資料暫存(Buffer)設計技巧,將X方向、Y方向、以及時間三個維度空間(3D)複雜運算式,轉換成一個維度(1D)即時運算方式,可讓影像的處理更為快速。
4.一般之手勢偵測技術均需要訓練,或者事先儲存相關手勢再做比對,反觀本發明,則是抓取手部影像後,利用手部的動作變化,計算出其軌跡的改變,來完成指令的操作功能,完全不需任何訓練,或者比對手勢的步驟。
5.本發明之影像訊號處理器之各影像處理單元都是即時運算處理,即影像資料(像素)輸入的同時,就可以完成前一筆影像資料(像素)的運算,這些都是一般軟體影像處理無法比擬的。
6.由於本發明只需使用一顆處理影像輸出之積體電路即能完成以影像操控電氣設備的執行,完全不需額外連接外部記憶體,其體積、功耗、成本等優點都遠遠大於目前常見軟體、或者硬體相關的人機介面設計。
7.由於本發明完全不需使用乘法器與除法器,因此大幅降低硬體計算複雜度與電路面積,以高速的運算效能達到即時運算之目的。
8.本發明所需內部緩衝記憶最大只需M×N位元,以位元組計算只需(M×N/8)位元組,前後演算步驟並可共用,不需外部記憶體儲存整張影像。由於無須讀寫外部記憶體,因此大幅降低了功率消耗,且達到了以極低成本進行即時運算之目的。
9.影像處理器的效能以積體電路雛型FPGA驗證時使用27KB內部記憶體,包含記憶體使得電路總面積約為112萬邏輯閘。處理速度上每秒處理145張大小為640×480的影像。
10.由於使用FV值的範圍來設定要抓取的身體動作部位,因此可以濾除移動中的其他背景,比起傳統方法無法克服背景或者僅能移除固定背景大幅進步許多。
(1)...像素感測器
(2)...影像訊號處理器
(21)...影像梯度計算暨二值化單元
(22)...影像變動偵測單元
(221)...計算影像移動軌跡單元
(222)...手勢判斷單元
(223)...視線判斷單元
(23)...訊號傳輸單元
第一圖:本發明其一較佳實施例方塊圖
第二圖:本發明其二較佳實施例方塊圖
(1)...像素感測器
(2)...影像訊號處理器
(21)...影像梯度計算暨二值化單元
(22)...影像變動偵測單元
(221)...計算影像移動軌跡單元
(222)...手勢判斷單元
(23)...訊號傳輸單元

Claims (20)

  1. 一種能操控電氣設備作動模式的操控裝置,其包含:一像素感測器,其擷取及產生一操控者之至少二身體動作影像,每個該至少二身體動作影像包含數個像素;及一影像訊號處理器,其電性連接至該像素感測器,以接收該至少二身體動作影像,該影像訊號處理器用以處理該至少二身體動作影像之像素,以便辨識該操控者之身體動作,該影像訊號處理器包含:一影像計算單元,其計算該至少二身體動作影像之一第一像素身體動作區及一第二像素身體動作區;及一影像變動偵測單元,其電性連接至該影像計算單元,該影像變動偵測單元偵測該至少二身體動作影像之第一像素身體動作區及一第二像素身體動作區之影像變動,以便定義一身體動作訊號;其中該影像變動偵測單元計算一像素變動距離於該至少二身體動作影像之一第一像素身體動作區之一第一動作位置至該至少二身體動作影像之一第二像素身體動作區之一第二動作位置之間。
  2. 依申請專利範圍第1項所述之能操控電氣設備作動模式的操控裝置,其中下一個該像素變動距離為於該第二像素身體動作區之第二動作位置至另一像素身體動作區之另一動作位置之間。
  3. 依申請專利範圍第1項所述之能操控電氣設備作動模式的操控裝置,其中該第一像素身體動作區包含一左側邊緣、一右側邊緣、一上邊緣及一下邊緣,而該第二像素身體動作區包含一左側邊緣、一右側邊緣、一上邊緣及一下邊緣。
  4. 依申請專利範圍第1項所述之能操控電氣設備作動模式的操控裝置,其中利用一影像梯度計算暨二值化單元偵測該至少二身體動作影像之第一像素身體動作區及第二像素身體動作區之一邊緣,以便計算該至少二身體動作影像之一梯度及一移動向量。
  5. 依申請專利範圍第4項所述之能操控電氣設備作動模式的操控裝置,其中該影像梯度計算暨二值化單元選自一梯度計算運算子、一索貝爾運算子或一拉普拉斯運算子。
  6. 依申請專利範圍第1項所述之能操控電氣設備作動模式的操控裝置,其中該影像變動偵測單元包含一計算影像移動軌跡單元及一動作判斷單元,該計算影像移動軌跡單元計算一動作軌跡及一動作方向,該動作判斷單元判斷一身體動作。
  7. 依申請專利範圍第1項所述之能操控電氣設備作動模式的操控裝置,其中該影像變動偵測單元包含一膚色濾波器陣列,該膚色濾波器陣列偵測一膚色區。
  8. 依申請專利範圍第7項所述之能操控電氣設備作動模式的操控裝置,其中該膚色濾波器陣列選自一帶通濾波器。
  9. 依申請專利範圍第1項所述之能操控電氣設備作動模式的 操控裝置,其中利用一訊號傳輸單元電性連接至該影像變動偵測單元,如此該訊號傳輸單元將該影像變動偵測單元進行傳輸該身體動作訊號。
  10. 依申請專利範圍第1項所述之能操控電氣設備作動模式的操控裝置,其中該身體動作影像包含至少一身體部位動作影像、至少一手勢動作影像、至少一眼睛動作影像或至少一膚色影像。
  11. 一種能操控電氣設備作動模式的操控裝置的作業方法,其包含:利用一像素感測器擷取及產生一操控者之至少二身體動作影像,每個該至少二身體動作影像包含數個像素;將一影像訊號處理器電性連接至該像素感測器,以接收該至少二身體動作影像,該影像訊號處理器用以處理該至少二身體動作影像之像素,以便辨識該操控者之身體動作;利用一影像計算單元計算該至少二身體動作影像之一第一像素身體動作區及一第二像素身體動作區;及將一影像變動偵測單元電性連接至該影像計算單元,該影像變動偵測單元偵測該至少二身體動作影像之第一像素身體動作區及第二像素身體動作區之影像變動,以便定義一身體動作訊號,該影像變動偵測單元計算一像素變動距離於該至少二身體動作影像之第一像素身體動作區之第一動作位置至該至少二身體動作影像之第二像素身體動作區之第二動作位置之 間。
  12. 依申請專利範圍第11項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中下一個該像素變動距離為於該第二像素身體動作區之第二動作位置至另一像素身體動作區之另一動作位置之間。
  13. 依申請專利範圍第11項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中該第一像素身體動作區包含一左側邊緣、一右側邊緣、一上邊緣及一下邊緣,該第二像素身體動作區包含一左側邊緣、一右側邊緣、一上邊緣及一下邊緣。
  14. 依申請專利範圍第11項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中利用一影像梯度計算暨二值化單元偵測該至少二身體動作影像之第一像素身體動作區及第二像素身體動作區之一邊緣,以便計算該至少二身體動作影像之一梯度及一移動向量。
  15. 依申請專利範圍第14項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中該影像梯度計算暨二值化單元選自一梯度計算運算子、一索貝爾運算子或一拉普拉斯運算子。
  16. 依申請專利範圍第11項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中該影像變動偵測單元包含一計算影像移動軌跡單元及一動作判斷單元,該計算影像移動軌跡單元計算一動作軌跡及一動作方向,該動作判斷單元判斷一身體動作。
  17. 依申請專利範圍第11項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中該影像變動偵測單元包含一膚色濾波器陣列,該膚色濾波器陣列偵測一膚色區。
  18. 依申請專利範圍第17項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中該膚色濾波器陣列選自一帶通濾波器。
  19. 依申請專利範圍第11項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中利用一訊號傳輸單元電性連接至該影像變動偵測單元,如此該訊號傳輸單元將該影像變動偵測單元進行傳輸該身體動作訊號。
  20. 依申請專利範圍第11項所述之能操控電氣設備作動模式的操控裝置的作業方法,其中該身體動作影像包含至少一身體部位動作影像、至少一手勢動作影像、至少一眼睛動作影像或至少一膚色影像。
TW99100855A 2010-01-13 2010-01-13 能操控電氣設備作動模式的操控裝置 TWI471755B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW99100855A TWI471755B (zh) 2010-01-13 2010-01-13 能操控電氣設備作動模式的操控裝置
US13/004,091 US8897488B2 (en) 2010-01-13 2011-01-11 Body gesture control system for operating electrical and electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW99100855A TWI471755B (zh) 2010-01-13 2010-01-13 能操控電氣設備作動模式的操控裝置

Publications (2)

Publication Number Publication Date
TW201124878A TW201124878A (en) 2011-07-16
TWI471755B true TWI471755B (zh) 2015-02-01

Family

ID=44258558

Family Applications (1)

Application Number Title Priority Date Filing Date
TW99100855A TWI471755B (zh) 2010-01-13 2010-01-13 能操控電氣設備作動模式的操控裝置

Country Status (2)

Country Link
US (1) US8897488B2 (zh)
TW (1) TWI471755B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
WO2012123033A1 (de) * 2011-03-17 2012-09-20 Ssi Schaefer Noell Gmbh Lager Und Systemtechnik Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US20130009896A1 (en) * 2011-07-09 2013-01-10 Lester F. Ludwig 3d finger posture detection and gesture recognition on touch surfaces
CN102467237A (zh) * 2011-11-17 2012-05-23 厦门集芯科技有限公司 一种由非接触式手势动作实现鼠标功能的装置及其方法
CN103576848B (zh) * 2012-08-09 2016-07-13 腾讯科技(深圳)有限公司 手势操作方法和手势操作装置
DE102015209899B4 (de) * 2015-05-29 2019-06-19 Kuka Roboter Gmbh Auswahl eines Gerätes oder eines Objektes mit Hilfe einer Kamera
CN111796673B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 头戴设备的多指手势识别方法、存储介质
CN111796671B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 头戴设备的手势识别和控制方法、存储介质
CN111796674B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 基于头戴设备的手势触控灵敏度调节方法、存储介质
CN111796675B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 头戴设备的手势识别控制方法、存储介质
CN111796672B (zh) * 2020-05-22 2023-04-28 福建天晴数码有限公司 基于头戴设备的手势识别方法、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI263944B (en) * 2004-06-16 2006-10-11 Chien-Shu Lee Naked body image detection method
US20060271239A1 (en) * 2005-04-18 2006-11-30 Gonzalez-Banos Hector H Controlling a robot using pose
TW200834472A (en) * 2007-02-12 2008-08-16 Univ Nat Chiao Tung Image-based pointing-direction detection system and method
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594463A (en) 1993-07-19 1997-01-14 Pioneer Electronic Corporation Driving circuit for display apparatus, and method of driving display apparatus
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
EP2201761B1 (en) * 2007-09-24 2013-11-20 Qualcomm Incorporated Enhanced interface for voice and video communications
US8555207B2 (en) * 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI263944B (en) * 2004-06-16 2006-10-11 Chien-Shu Lee Naked body image detection method
US20060271239A1 (en) * 2005-04-18 2006-11-30 Gonzalez-Banos Hector H Controlling a robot using pose
US7606411B2 (en) * 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
TW200834472A (en) * 2007-02-12 2008-08-16 Univ Nat Chiao Tung Image-based pointing-direction detection system and method

Also Published As

Publication number Publication date
TW201124878A (en) 2011-07-16
US20110170745A1 (en) 2011-07-14
US8897488B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
TWI471755B (zh) 能操控電氣設備作動模式的操控裝置
US11429194B2 (en) Cursor mode switching
US20130307775A1 (en) Gesture recognition
TWI571772B (zh) 虛擬滑鼠驅動裝置及虛擬滑鼠模擬方法
JPH0844490A (ja) インターフェイス装置
TW201407420A (zh) 改善之視訊追蹤
US20130229348A1 (en) Driving method of virtual mouse
CN203241934U (zh) 用于手势识别的系统、用户输入装置及处理器
Roy et al. Real time hand gesture based user friendly human computer interaction system
WO2019134606A1 (zh) 终端的控制方法、装置、存储介质及电子设备
Ghodichor et al. Virtual mouse using hand gesture and color detection
Aggarwal et al. An Approach to Control the PC with Hand Gesture Recognition using Computer Vision Technique
Jain et al. Human computer interaction–Hand gesture recognition
Lee et al. Real time FPGA implementation of hand gesture recognizer system
JP4965590B2 (ja) ジェスチャを認識および追跡する方法
Prabhakar et al. AI And Hand Gesture Recognition Based Virtual Mouse
TWI499937B (zh) 利用手勢與手指的遙控方法及遙控裝置
CN117435044A (zh) 通过虚拟鼠标远程控制扩展现实的系统及方法
TW202405621A (zh) 通過虛擬滑鼠遠程控制擴展實境的系統及方法
KR20230035209A (ko) 전자기기 및 프로그램
CN112631485A (zh) 一种显示界面的缩放方法和缩放装置
JP2015106390A (ja) 情報入力装置、情報入力システム、情報入力方法及びプログラム
Huynh Gesture based non-obstacle interaction on mobile computing devices for dirty working environment
KR20150028065A (ko) 양손을 이용한 동작인식 입력방법
Sahu et al. Controlling Mouse Pointer Using Web Cam

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees