TWI631507B - 動作判識裝置及其控制方法 - Google Patents

動作判識裝置及其控制方法 Download PDF

Info

Publication number
TWI631507B
TWI631507B TW105106692A TW105106692A TWI631507B TW I631507 B TWI631507 B TW I631507B TW 105106692 A TW105106692 A TW 105106692A TW 105106692 A TW105106692 A TW 105106692A TW I631507 B TWI631507 B TW I631507B
Authority
TW
Taiwan
Prior art keywords
gesture
unit
value
user
action
Prior art date
Application number
TW105106692A
Other languages
English (en)
Other versions
TW201732530A (zh
Inventor
趙智凡
許鈺群
黃正昌
Original Assignee
德凡特未來股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 德凡特未來股份有限公司 filed Critical 德凡特未來股份有限公司
Priority to TW105106692A priority Critical patent/TWI631507B/zh
Priority to US15/448,664 priority patent/US10747328B2/en
Publication of TW201732530A publication Critical patent/TW201732530A/zh
Application granted granted Critical
Publication of TWI631507B publication Critical patent/TWI631507B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35444—Gesture interface, controlled machine observes operator, executes commands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/06—Details of telephonic subscriber devices including a wireless LAN interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Abstract

本發明係有關於一動作判識裝置及其控制方法，主要係藉由判斷使用者手勢動作的變化內容，進一步控制與操作一受控裝置，取代傳統使用手部觸摸之人機界面的輸入方式。所述之動作判識裝置係包括有一第一裝置、一第二裝置以及無線連線於該受控裝置；其中係以第一裝置偵測使用者之手勢動作變化，另以第二裝置進行該手勢動作變化的數值運算以及無線傳輸並輸出對應的一控制訊號，第二裝置中係包括有一動作判識單元以及耦接有一快速通訊連結單元，使得受控裝置接收該控制訊號，並且依據該使用者之手勢動作變化進行操作，使得人機操作界面更為方便，且有效提昇受控裝置之控制便利性，以及物聯網運用生活化之目的。

Description

動作判識裝置及其控制方法
本發明係有關於一動作判識裝置及其控制方法，尤指一種藉由判斷使用者手勢動作之變化內容，對應遙控控制一受控裝置進行操作之裝置及方法。
現有技術中，關於手勢辨識以控制電腦操作之技術，一般係以影像辨識判斷之方式，藉由影像辨識使用者之手勢，以影像辨識處理之方式針對目標物(例如使用者的手)，計算使用者手勢的移動位置，計算從啟始至結束之座標移動變化值，經過換算產生一位移值，進一步判斷其對應於控制電腦中應用程式之相對位置，以進行點選操作，例如以手勢動作進行打地鼠之遊戲。
另一種現有的手勢辨識控制技術，即為一般常見的手指觸控方式，此觸控技術之應用又可進一步分為手機或平板電腦的螢幕觸控輸入，以及筆記型電腦觸控板的多指輸入技術等。
然而上述之現有技術，皆僅為運用於電腦軟體之操作，並無法運用於連結控制具有距離之其它種類受控裝置的遙控操作，有待且必要加以改善。
本發明係有關於一種手勢動作判識及其控制方法，主要係藉由判斷使用者手勢動作的變化內容，進一步控制與操作一受控裝置，取代傳統使用手部觸摸之人機界面的輸入方式，能使得人機操作界面更為方便，且有效提昇受控裝置之控制便利性，以及物 聯網運用生活化之目的。
本發明之動作判識裝置，係包括有一第一裝置、一第二裝置以及一受控裝置。其中該第一裝置係包括有：一多來源資料分析動作辨識感測器，用以感應使用者手勢動作之變化；一藍牙通訊模組，係耦接於該多來源資料分析動作辨識感測器，以進行無線通訊；一Wi-Fi無線通訊模組，係耦接於該多來源資料分析動作辨識感測器，以進行無線通訊。
該第二裝置係包括：一藍牙/Wi-Fi通訊輸入界面，係為該第二裝置之訊號輸入界面，用以接收無線通訊之訊號；一感測器，係感測該第一裝置，作為連線之用；一中央運算單元，係耦接於該藍牙/Wi-Fi通訊輸入界面以及該感測器，為該第二裝置的中央運算與處理之用。
以及第二裝置中包括有一記憶體，係耦接於該中央運算單元，用以儲存複數個數值資料；一動作判識單元，係耦接於該中央運算單元，對該第一裝置所感應使用者手勢動作變化之數值進判識，產生一簡易的判識數值；一快速通訊連結單元，係耦接於該中央運算單元以及該動作判識單元，用以快速進行不同裝置之間的無線連線；一藍牙/Wi-Fi通訊輸出界面，係耦接於該快速通訊連結單元，用以將該簡易的判識數值所對應的一控制訊號以無線傳輸方式傳送出去。
該受控裝置係包括有一藍牙/Wi-Fi通訊模組，用以接收該簡易的判識數值所對應的該控制訊號，進行相對應的遙控控制與操作；以及其中該動作判識單元產生該簡易的判識數值後，由該中央運算單元對應該簡易的判識數值，產生對應的該控制訊號。
本發明所述之動作判識之方法，係以第一裝置偵測使用者之手勢動作變化，以第一裝置或第二裝置進行該手勢動作變化的數值運算以及無線傳輸並輸出對應的控制訊號，以受控裝置接收該控制訊號，依據該使用者之手勢動作變化進行操作。該動作判識 之方法係包括：由該第一裝置之一多來源資料分析動作辨識感測器所得之數值中取一數值；將該數值加密；產生一系列排列組合之數值；對應該排列組合之數值產生一簡化的數值；區分該簡化的數值；完成初步的動作判識。
本發明所述之動作判識之方法，其執行後係更包括有一快速通訊連接之方法，係將該第二裝置與該受控裝置進行無線連線，該快速通訊連接之方法，係包括：該受控裝置產生一數列值並加密；該第二裝置產生一數列值並加密；一雲端讀取一數列值並加密；若該受控裝置、該第二裝置及該雲端的數列值一致，則進行連線。
10、10a‧‧‧第一裝置器
12‧‧‧多來源資料分析動作辨識感測
13‧‧‧控制器
14‧‧‧藍牙通訊模組
16‧‧‧Wi-Fi無線通訊模組
18‧‧‧動作判識單元
20‧‧‧第二裝置
22‧‧‧藍牙/Wi-Fi通訊輸入界面
23‧‧‧感測器
24‧‧‧中央運算單元
25‧‧‧記憶體
26‧‧‧動作判識單元
28‧‧‧快速通訊連結單元
29‧‧‧藍牙/Wi-Fi通訊輸出界面
30‧‧‧受控裝置
32‧‧‧藍牙/Wi-Fi通訊模組
40‧‧‧雲端伺服器
88‧‧‧應用裝置
92‧‧‧智慧型手錶
94‧‧‧動作判識單元+快速通訊連結單元
98‧‧‧智慧型手環
99‧‧‧物聯裝置
M+、M-‧‧‧自我學習
圖1為本發明第一實施例之電路方塊示意圖。
圖2為本發明第二實施例之電路方塊示意圖。
圖3為本發明之動作判識單元產生相對應數值之方法流程圖。
圖4為將圖3所示之方法實際運用於裝置上之流程示意圖。
圖5A為本發明實施例中基本手勢變化之判識示意圖。
圖5B為本發明實施例中一般手勢變化之判識示意圖。
圖5C為本發明實施例中複雜手勢變化之判識示意圖。
圖6為本發明之快速通訊連結方法之流程圖。
圖7A為本發明之快速通訊連結方法之運用示意圖。
圖7B為本發明之快速通訊連結方法之第一實際運用實施例。
圖7C為本發明之快速通訊連結方法之第二際運用實施例。
圖7D為本發明之快速通訊連結方法之第三實際運用實施例。
圖8為本發明之實際運用實施例之簡易示意圖。
本發明係有關於一動作判識裝置及其控制方法，主要為判識使用者之手勢，在第一實施中，可藉由在使用者身上裝置一可以 感應的裝置，可以針對使用者的手勢移動作判定與辨別，並將訊號轉傳送至一可運算傳輸之裝置，再由該可運傳輸之裝置進一步控制具有一段距離之一受控裝置，以達成由使用者藉由手勢動作遙控控制該受控裝置進行操作。另一實施例，則能夠以使用者身上之可以進行動作感應的裝置，直接進行遙控一距離外之受控裝置，並執行操作與控制。
圖1第一實施例中包括有一第一裝置10、一第二裝置20、一受控裝置30，以及可以包括有一雲端伺服器40。所述之第一裝置10中係包括有一多來源資料分析動作辨識感測器12、藍牙通訊模組14以及一Wi-Fi無線通訊模組16。所述之第二裝置20中包括有：一藍牙/Wi-Fi通訊輸入界面22、一感測器23、一中央運算單元24、一記憶體25、一動作判識單元26、一快速通訊連結單元28以及一藍牙/Wi-Fi通訊輸出界面29。所述之受控裝置30中則包括設置有一藍牙/Wi-Fi通訊模組32；雲端伺服器40則以雲端無線通訊之方式與第二裝置20以及受控裝置30進行無線連接。
第一裝置10中多來源資料分析動作辨識感測器12於實際運用上係可為一G-Sensor感應器，或是可包括但不僅僅限制於重力感測裝置，可以與陀螺儀、地磁計或肌動圖(Mechanomyography,MMG)等等多種相關感測器的訊號之間共同交互分析人體的動作辨識，係作為偵測使用者動作之用，尤指為使用者手勢或手部之動作。多來源資料分析動作辨識感測器12係耦接於藍牙通訊模組14以及Wi-Fi無線通訊模組16，主要係將所偵測到的使用者手部動作之變化訊號藉由藍牙無線通訊方式或是Wi-Fi無線通訊方式傳送至第一裝置10或第二裝置20。
於實際運用上，該第一裝置10可包括但不限定為一手環、一戒指、一手錶、一錶帶、一腕帶或一手套，並且在上述之產品中係設置有所述之多來源資料分析動作辨識感測器12、藍牙通訊模組14以及一Wi-Fi無線通訊模組16及其所關連的耦接方式，如 此，使得所述之手環、戒指、手錶、錶帶、腕帶或手套能夠進行判識使用者之手勢或是手部之變化動作。
第二裝置20之藍牙/Wi-Fi通訊輸入界面22係耦接中央運算單元24，用以接收所述第一裝置10所傳送之使用者手勢動作的相關訊號，轉由中央運算單元24加以判識並且運算。中央運算單元24耦接有感測器23，所述之感測器23係可用以感測第一裝置10之存在，可進一步作為第一裝置10與第二裝置20連線之用。中央運算單元24係耦接有記憶體25，可以將所辨識之使用者於手部動作變化後所產生之資料加以儲存，以備日後進行使用者手勢動作而判識為同一種動作時，能夠進行對應之遙控操作功能，意即第二裝置20的中央運算單元本身設計為具有學習之作用，可以將所辨識後之手勢動作經由定義其對應之操作，之後並加以儲存，可供之後對受控裝置進行操作辨識之用。
中央運算單元24之輸出係個別耦接於動作判識單元26以及快速通訊連結單元28中，所述之動作判識單元26之輸出係再耦接於快速通訊連結單元28中。動作判識單元26主要係作為判斷所偵測到之使用者手勢的動作變化，能針對不同的手勢變化內容進行對應不同的操作定義，其進一步之內容將於圖3中說明。所述之快速通訊連結單元28不僅與中央運算單元24耦接，並且與動作判識單元26耦接，主要作用是使該第二裝置20能夠快速的與第一裝置10進行連線，亦可以快速地與受控裝置30進行連線，或者是與雲端伺服器40相互連線。
在第二裝置20中，使用者之手勢動作變化經過動作判識單元26之辨識與判別後，藉由快速通訊連結單元28之連線傳輸作用，使第一裝置10、第二裝置20以及受控裝置30相互連線，可以使第一裝置10藉由第二裝置20之相對應定義與設定，進一步遙控受控裝置30的操作。當裝設於使用者身上之第一裝置10感應到使用者不同之手勢動作，即發出訊號傳送至第二裝置20，經過第 二裝置20動作辨識處理後，產生對應的控制訊號，再傳送至受控裝置30中。受控裝置30中有藍牙/Wi-Fi通訊模組32可執行與第二裝置20之間的無線通訊，可將第二裝置20動作辨識處理後所獲得之控制訊號傳送至受控裝置30，進一步控制受控裝置30進行不同之應用操作。
實際運用上，所述之第二裝置20，可包括但不限定為智慧型手機、平板電腦、智慧型手錶或是各類型之智慧型手持裝置(例如工業用、醫療專業用或企業公司行號所專用之智慧型手持裝置)等。所述之受控裝置30可包括但不限定為遙控無人機、遙控汽車、遙控飛機、遙控船、一般家電用品、智慧型照明設備或是智慧型居家環境等。上述之遙控無人機、遙控汽車、遙控飛機、遙控船、一般家電用品、智慧型照明設備或是智慧型居家環境，則同樣地必須具備設置有如圖1中受控裝置30中之藍牙/Wi-Fi通訊模組32，俾利於控制訊號之傳輸。
所述之雲端伺服器40係無線連接於與第二裝置20以及受控裝置30，主要作用為進行網路雲端之自我學習作用(M+與M-)。雲端伺服器40可以儲存大量的不同使用者曾經使用或曾經學習過之不同的手勢移動變化，藉由雲端伺服器之大量儲存形成一龐大的學習資料庫，該資料庫可對於不同使用者進行不同目的之儲存作用。當同一個使用者再次使用同樣複雜的手勢時，若有連線於網路的雲端伺服器40，即可對應出該學習資料庫，以辨識更為複雜之手勢操作。
圖2之第二實施例係由第一裝置10a直接進行遙控受控裝置30之電路方塊示意圖，第一裝置10a相較於第一實施例之差異處在於第一裝置10a更包括有一控制器13以及一動作判識單元18，其相互連接之關係為多來源資料分析動作辨識感測器12之輸出個別耦接至控制器13以及動作判識單元18中，當多來源資料分析動作辨識感測器12偵測到使用者之手勢動作變化後，將訊號傳送 至動作判識單元18直接進行判斷，以及傳送至控制器13中由控制器13對該動作判識單元18進行控制，以產生相對應之控制訊號，之後可藉由藍牙通訊模組14或是Wi-Fi無線通訊模組與該受控裝置30之藍牙/Wi-Fi通訊模組32進行無線連線，並進一步控制該受控裝置30依據該第一裝置10所偵測到之手勢動作變化進行相對應的操作。所述之動作判識單元18於實際實施時可以相同於第一實施例中第二裝置20中所設置的動作判識單元26。
圖3為本發明動作判識之控制方法，主要係針對本發明之動作判識單元26之主要運算的控制方法作一說明，其作用如前所述，係用以判斷使用者手勢的動作變化之內容產生相對應之數值，能針對不同的手勢變化內容進行對應不同的操作定義。所述動作判識之控制方法包括：由多來源資料分析動作辨識感測器所得之數值中取一數值S60，將該數值加密S61，之後產生一系列排列組合之數值S62，對應該排列組合之數值產生簡化的數值S63，再區分該簡化的數值S64，完成初步動作判識S65。之後中央運算單元24會依據該初步之動作判識對應產生一控制信號，再由快速通訊連結單元28與受控制裝置30所無線連線之連線關係，將該控制訊號傳送至受控裝置30中，進一步控制受控裝置30之操作。
其中步驟S61所述之加密，於實際運用時可包括但不限定為RSA加密法(非對稱加密演算法)、拉普拉斯(Laplace)加密法、DES(Data Encryption Standard：資料加密標準)加密法、AES(Advanced Encryption Standard：先進加密標準)加密法或一般對稱加密法。步驟S63中所述預存之數值表(Table)可為製造廠商所預設之一手勢動作變化所對應之感測數值，或為使用者自行設定預存之個人化手勢動作對應之感測數值。以及所述之特徵匹配(Feature Matching)可包括但不限定為圖像特徵匹配、特徵擷取、SIFT(Scale Invariant Feature Transform)、SURF(Speeded Up Robust Features)或ORB(Oriented Brief；ORB)等。
另外，步驟S64所述之區分作用在於，若是屬於複雜之動作，則需經過雲端伺服器40之後端學習功能，將該複雜之動作變化內容加以學習並儲存之。此雲端伺服器40之學習作用係在該第一裝置10或第二裝置20有與該雲端伺服器40互相無線通訊連線時進行，其中亦可包括受控裝置30以無線連線之方式連線於雲端伺服器40中。
圖4係有關於動作判識單元之運用簡易流程圖。步驟S70所示之動作判識裝置可包括但不限定為智慧型手機、智慧型手錶、筆記型電腦或智慧型電視等等。藉由所述之動作判識裝置產生原始數值S72，再以動作判識單元產生相對應數值之方法S74，進一步獲取動作判識數值S76。
圖5A~圖5C所示為本發明實施例中不同手勢動作變化判識之示意圖。圖5A表示為以拳頭手勢執行八種基本之手勢變化，但本發明不以使用拳頭為限，包括但不限於以手指、腳、頭部或其它動作方式皆可以進行基本手勢之揮動或是轉動任意方向，包括基本的向上、向下、向左、向右、前進、後退，順時鐘旋轉以及逆時鐘旋轉等基本的手勢變化。圖5B表示為以拳頭手勢執行一較為複雜之變化路徑，可畫一簡單的圖形，例如以拳頭在空間中畫一星形之手勢動作變化，此手勢動作變化所產生之數值將會被歸類為複雜之動作，會經由相關可運算之一單元，例如手機、平板電腦、智慧手錶或雲端伺服器電腦40，加以學習並儲存之，以利於日後之運用。圖5C係為更複雜之空中寫字辨識之圖式，同樣地，可將使用者所為之複雜的空中寫字辨識，經由相關可運算之一單元，例如手機、平板電腦、智慧手錶或雲端伺服器電腦40，加以學習並儲存之，以利於日後之運用。
圖6為本發明之快速通訊連結方法，係包括：受控裝置產生一數列值並加密S80；第二裝置產生一數列值並加密S81；雲端讀取一數列值並加密；判斷三方的數列值是否一致S83；若是，執行 三方連線S84；若否，不連線S85。
其中步驟S80、S81、S82所述之加密，於實際運用時可包括但不限定為：RSA加密法(非對稱加密演算法)、拉普拉斯(Laplace)加密法DES加密法、AES加密法或一般對稱加密法等等。以及步驟S84所述之三方連線，係指第二裝置20、受控裝置30以及雲端伺服器40等三者之間進行連線之作用。
圖6所示快速通訊連結方法之作用，在於使受控裝置30與第二裝置20能夠快速的連線，以執行進一步之控制操作動作。此快速通訊連結方法通常為第一次進行不同裝置之間無線連線時所使用，當已經有進行過相互連線之後，日後於開啟裝置電源後，不同之裝置間即會自行進行相互連線之作用。所述之快速通訊連結方法，亦包括運用於圖2中所示的實施例，即僅有第一裝置10與受控裝置30之無線連線以進行控制操作時，該快速通訊連結方法係使該第一裝置10與受控裝置30進行無線連線，而直接以第一裝置10遙控控制該受控裝置30之操作。
圖7A~圖7D所示為該快速通訊連結方法之實際運用示意圖。圖7A表示該快速通訊連結方法可以使得複數個應用裝置88相互間進行無線連線，該複數個應用裝置88包括但不限定為相同或不同之應用裝置88，亦可為混合運用之方式，例如複數個智慧型手機與複數個平板電腦以及複數個筆記型電腦相互連結混合運用。圖7B係以一QR Code的方式，使得智慧型手機與筆記型電腦相互連線。圖7C係以一圖像辨識方式，使得智慧型手機與筆記型電腦相互連線。圖7D係以一近場無線通訊通訊方式(NFC；Near Field Communication)，使得智慧型手機與筆記型電腦相互連線。可使得不同裝置之間進行無線連線。
圖8係為本發明整體架構之簡要示意圖，主要係將一智慧型手錶92結合本發明之動作判識單元+快速通訊連結單元94的運算與辨識；之後所產生之結果係供使用者能採用配戴一智慧型手 環98對於一物聯裝置99進行控制。於實際運用上，使用者配戴智慧型手環98之後，即可對於物聯裝置99，例如遙控無人機、家庭之家電用品或家用之照明設備等，使用者能進行手勢控制與操作，取代傳統使用手部觸摸之人機界面的輸入方式。
綜上所述，本發明提出一種動作判識裝置及其控制方法，使得人機操作界面更為方便，且有效提昇受控裝置之控制便利性，以及物聯網運用生活化之目的，顯見本發明案具備申請專利之要件。然，本發明說明內容所述，僅為較佳實施例之舉例說明，當不能以之限定本發明所保護之範圍，任何局部變動、修正或增加之技術，仍不脫離本發明所保護之範圍中。

Claims (7)

  1. 一種動作判識裝置，係包括：一第一裝置，係包括有：一多來源資料分析動作辨識感測器，用以感應使用者手勢動作之變化；一藍牙通訊模組，係耦接於該多來源資料分析動作辨識感測器，以進行無線通訊；一Wi-Fi無線通訊模組，係耦接於該多來源資料分析動作辨識感測器，以進行無線通訊；一第二裝置，係包括有：一藍牙/Wi-Fi通訊輸入界面，係為該第二裝置之訊號輸入界面，用以接收無線通訊之訊號；一感測器，係感測該第一裝置，作為連線之用；一中央運算單元，係耦接於該藍牙/Wi-Fi通訊輸入界面以及該感測器，為該第二裝置的中央運算與處理之用；一記憶體，係耦接於該中央運算單元，用以儲存複數個數值資料；一動作判識單元，係耦接於該中央運算單元，對該第一裝置所感應使用者手勢動作變化之數值進判識，產生一簡易的判識數值；一快速通訊連結單元，係耦接於該中央運算單元以及該動作判識單元，用以快速進行不同裝置之間的無線連線；一藍牙/Wi-Fi通訊輸出界面，係耦接於該快速通訊連結單元，用以將該簡易的判識數值所對應的一控制訊號以無線傳輸方式傳送出去；以及一受控裝置，係包括有一藍牙/Wi-Fi通訊模組，用以接收該簡易的判識數值所對應的該控制訊號，進行相對應的遙控控制與操作；其中該動作判識單元產生該簡易的判識數值後，由該中央運算單元對應該簡易的判識數值，產生對應的該控制訊號；且其中該第一裝置為一手環、一戒指、一手錶、一錶帶、一腕帶或一手套；該第二裝置為一智慧型手機、一平板電腦、一智慧型手錶或是一智慧型手持裝置；透過該第一裝置的手勢動作經過該第二裝置的該動作判識單元判識後所輸出的該控制訊號，以對該受控裝置進行遙控與操作。
  2. 如請求項第1項所述之動作判識裝置，更包括有一雲端伺服器，係以無線連接方式與該第二裝置以及該受控裝置相互無線連線，用以進行手勢動作變化辨識之自我學習與記憶。
  3. 如請求項第1項所述之動作判識裝置，其中該多來源資料分析動作辨識感測器係為一重力感測器、一陀螺儀、一地磁計或一肌動圖。
  4. 一種動作判識之方法，係應用於如請求項第1項所述的動作判識裝置中，係以該第一裝置偵測使用者之手勢動作變化，以該第二裝置進行該手勢動作變化的數值運算以及無線傳輸並輸出對應的控制訊號，以該受控裝置接收該控制訊號，依據該使用者之手勢動作變化進行操作；該動作判識之方法係包括：由該第一裝置之一多來源資料分析動作辨識感測器所得之數值中取一數值；將該數值加密；產生一系列排列組合之數值；對應該排列組合之數值產生一簡化的數值；區分該簡化的數值屬於簡易或是複雜之動作；完成初步的動作判識。
  5. 如請求項第4項所述之動作判識之方法，其執行後係更包括有一快速通訊連接之方法，係將該第二裝置與該受控裝置進行無線連線，該快速通訊連接之方法，係包括：該受控裝置產生一數列值並加密；該第二裝置產生一數列值並加密；一雲端讀取一數列值並加密；若該受控裝置、該第二裝置及該雲端的數列值一致，則進行連線。
  6. 如請求項第4或5項所述之動作判識之方法，其中該加密係以RSA加密法(非對稱加密演算法)、拉普拉斯(Laplace)加密法、DES(Data Encryption Standard：資料加密標準)加密法、AES(Advanced Encryption Standard：先進加密標準)加密法或一對稱加密法所執行。
  7. 如請求項第5項所述之動作判識之方法，其中該雲端之實踐，係以一雲端伺服器所執行。
TW105106692A 2016-03-04 2016-03-04 動作判識裝置及其控制方法 TWI631507B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105106692A TWI631507B (zh) 2016-03-04 2016-03-04 動作判識裝置及其控制方法
US15/448,664 US10747328B2 (en) 2016-03-04 2017-03-03 Motion recognition apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105106692A TWI631507B (zh) 2016-03-04 2016-03-04 動作判識裝置及其控制方法

Publications (2)

Publication Number Publication Date
TW201732530A TW201732530A (zh) 2017-09-16
TWI631507B true TWI631507B (zh) 2018-08-01

Family

ID=59723539

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105106692A TWI631507B (zh) 2016-03-04 2016-03-04 動作判識裝置及其控制方法

Country Status (2)

Country Link
US (1) US10747328B2 (zh)
TW (1) TWI631507B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI779481B (zh) * 2021-02-05 2022-10-01 洛克火箭股份有限公司 以智能戒指實現的無線控制系統其無線控制方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102522150B1 (ko) * 2016-03-31 2023-04-14 삼성전자주식회사 단말장치 및 그 제어방법
CN108052901B (zh) * 2017-12-13 2021-05-25 中国科学院沈阳自动化研究所 一种基于双目的手势识别智能无人机远程操控方法
CN108717271A (zh) * 2018-05-30 2018-10-30 辽东学院 人机交互控制方法、装置、系统及可读存储介质
WO2020029138A1 (zh) * 2018-08-08 2020-02-13 深圳市智童乐慧科技有限公司 一种模块自由更换的识别方法及系统
CN109085885A (zh) * 2018-08-14 2018-12-25 李兴伟 智能戒指
CN110554654A (zh) * 2019-05-17 2019-12-10 上海繁易信息科技股份有限公司 一种具备物联功能的人机界面系统及连接方法
CN110515457A (zh) * 2019-08-21 2019-11-29 辽宁科技大学 一种远程识别手势的装置及方法
TWI802115B (zh) * 2021-11-30 2023-05-11 仁寶電腦工業股份有限公司 無人機的控制裝置及其控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110190052A1 (en) * 2010-02-03 2011-08-04 Nintendo Co., Ltd. Game system, controller device and game method
TW201204061A (en) * 2010-03-15 2012-01-16 Inst Rundfunktechnik Gmbh Method and device for the remote control of terminal units
TW201240495A (en) * 2011-03-29 2012-10-01 Univ Nat Kaohsiung 1St Univ Sc Remote vehicle control system and control method thereof
TW201514761A (zh) * 2013-10-04 2015-04-16 Tatung Co 控制電子裝置的方法、手持電子裝置與監控系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9101796A (nl) * 1991-10-25 1993-05-17 Nederland Ptt Werkwijze voor het authenticeren van communicatiedeelnemers, systeem voor toepassing van de werkwijze en eerste communicatiedeelnemer en tweede communicatiedeelnemer voor toepassing in het systeem.
DE102004004799B4 (de) * 2004-01-30 2010-02-18 Advanced Micro Devices, Inc., Sunnyvale Hardware/Software-Partitionierung für verschlüsselte WLAN-Verbindungen
US7693516B2 (en) * 2004-12-28 2010-04-06 Vtech Telecommunications Limited Method and system for enhanced communications between a wireless terminal and access point
US8112281B2 (en) * 2007-12-19 2012-02-07 Enbiomedic Accelerometer-based control of wearable audio recorders
DE102009057725A1 (de) * 2009-12-10 2011-06-16 Siemens Enterprise Communications Gmbh & Co. Kg Signalgebende Vorrichtung, Signalisiervorrichtung, Signalgebungsverfahren sowie Signalisierverfahren
WO2013012976A1 (en) * 2011-07-21 2013-01-24 Bae Systems Information And Electronic Systems Integration Inc. Ergonomic remote control glove
IL216071A0 (en) * 2011-10-31 2012-02-29 Cardo Systems Inc System and method for performing a quick creation of bluetooth communication between mobile devices
US9176588B2 (en) * 2013-01-14 2015-11-03 Maxm Integrated Products, Inc. System and method for discerning complex gestures using an array of optical sensors
KR102277752B1 (ko) * 2014-01-06 2021-07-16 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110190052A1 (en) * 2010-02-03 2011-08-04 Nintendo Co., Ltd. Game system, controller device and game method
TW201204061A (en) * 2010-03-15 2012-01-16 Inst Rundfunktechnik Gmbh Method and device for the remote control of terminal units
TW201240495A (en) * 2011-03-29 2012-10-01 Univ Nat Kaohsiung 1St Univ Sc Remote vehicle control system and control method thereof
TW201514761A (zh) * 2013-10-04 2015-04-16 Tatung Co 控制電子裝置的方法、手持電子裝置與監控系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI779481B (zh) * 2021-02-05 2022-10-01 洛克火箭股份有限公司 以智能戒指實現的無線控制系統其無線控制方法

Also Published As

Publication number Publication date
US20170255270A1 (en) 2017-09-07
TW201732530A (zh) 2017-09-16
US10747328B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
TWI631507B (zh) 動作判識裝置及其控制方法
US9965044B2 (en) Information processing method, apparatus, and device
CN105677049B (zh) 具有多主机切换的输入装置
US9921687B2 (en) Always-available input through finger instrumentation
JPWO2016185845A1 (ja) インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム
KR101452343B1 (ko) 웨어러블 디바이스
WO2018010021A1 (en) Pointer control in a handheld computer by way of hid commands
CN110515457A (zh) 一种远程识别手势的装置及方法
EP3145115B1 (en) Input apparatus and controlling method thereof
US9880733B2 (en) Multi-touch remote control method
US20180067552A1 (en) Input device, system and method for finger touch interface
TW201430627A (zh) 觸控筆操作識別系統及方法
KR20160039589A (ko) 손가락 센싱 방식을 이용한 무선 공간 제어 장치
US20200275835A1 (en) System and method for contact less control of an appliance technical field
CN200997112Y (zh) 配合电子装置使用的输入装置
KR20140022673A (ko) 모션 인식방식의 통합 리모콘 제공 애플리케이션 장치 및 방법
WO2018081958A1 (zh) 主动笔及基于主动笔的手势检测方法
JP6446967B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20160173564A1 (en) Handheld device for controlling computer and method of controlling computer
US20190041997A1 (en) Pointer control in a handheld computer by way of hid commands
CN105807919B (zh) 一种控制方法及电子设备
CN103809846A (zh) 一种功能调用方法及电子设备
CN104219786B (zh) 一种终端连接的方法
CN107066125B (zh) 鼠标及鼠标图形对象的显示方法
KR20150124009A (ko) 손동작을 이용한 로봇 코칭 시스템