TW201447646A - 使用者裝置之物件控制方法及其設備 - Google Patents

使用者裝置之物件控制方法及其設備 Download PDF

Info

Publication number
TW201447646A
TW201447646A TW103109521A TW103109521A TW201447646A TW 201447646 A TW201447646 A TW 201447646A TW 103109521 A TW103109521 A TW 103109521A TW 103109521 A TW103109521 A TW 103109521A TW 201447646 A TW201447646 A TW 201447646A
Authority
TW
Taiwan
Prior art keywords
terminal
hand
gesture
camera
user
Prior art date
Application number
TW103109521A
Other languages
English (en)
Other versions
TWI633460B (zh
Inventor
Jin-Young Jeon
Ji-Young Kang
Dae-Sung Kim
Jin-Yong Kim
Bo-Young Lee
Seung-Kyung Lim
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of TW201447646A publication Critical patent/TW201447646A/zh
Application granted granted Critical
Publication of TWI633460B publication Critical patent/TWI633460B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供使用懸浮手勢的使用者裝置之物件控制方法及其設備。該物件控制方法包括：在顯示幕上顯示至少一個物件；檢測用於選擇顯示幕上的物件的多手指懸浮手勢；在檢測到多手指懸浮手勢時啟動照相機；識別在通過照相機輸入的圖像中的手；以及當手消失在照相機的可視角度外時進入用於發送選擇的物件的檔傳遞待命狀態。

Description

使用者裝置之物件控制方法及其設備
本發明是有關於一種使用者裝置之物件控制方法及其設備，且特別是有關於一種使用懸浮手勢的使用者裝置之物件控制方法及其設備。
隨著諸如智慧手機、平板個人電腦(PC)和筆記本電腦的移動設備的廣泛使用，正在不斷開發啟用觸控式螢幕的使用者裝置。啟用觸控式螢幕的設備允許使用者通過顯示器控制各個功能和利用諸如通過觸摸手勢、語音和運動的各種交互作用來輸入資訊。
因為移動設備的功能變得複雜，各種使用者交互作用需要執行一定的功能。通常，通過在使用者裝置的螢幕上提供的使用者介面(UI)，使用者需要根據設備的設計原理進行一系列動作以執行特定的功能。例如，為了傳遞某些內容到另一個設備，有必要連續地做出用於在各設備之間建立連接的輸入、用於選擇內容的輸入、用於進入傳遞功能表的輸入、以及用於請求傳遞的輸入。 這樣的使用者動作缺乏直觀性，因此該設備功能是很難操作的，特別是對那些不熟悉設備的人。因此，正在進行許多研究，以便於使用者通過直觀的手勢來操作使用者裝置。
本發明被實現用於解決至少上述的問題和不足並且提供至少以下所述的優點。
因此，本發明的一方面提供一種能夠利用直觀的手勢操作使用者裝置的功能的該使用者裝置之物件控制方法及其設備。
本發明的另外一方面提供一種能夠利用直觀的手勢執行使用者裝置的某些功能(諸如檔傳遞和檔刪除功能)的該使用者裝置之物件控制方法及其設備。
依據本公開的一方面，提供一種終端的物件控制方法。該方法包括：在顯示幕上顯示至少一個物件；檢測用於選擇顯示幕上的物件的多手指懸浮手勢；在檢測到多手指懸浮手勢時啟動照相機；識別在通過照相機輸入的圖像中的手；以及當手消失在照相機的可視角度外時進入用於發送選擇的物件的檔傳遞待命狀態。
依據本公開的另一方面，提供一種終端。該終端包括：無線通訊單元，其發送和接收無線信號；顯示單元，其顯示至少一個物件；感測單元，其感測對該物件的使用者手勢；照相機單元，其拍攝使用者手勢的圖像；以及控制單元，其控制該感測單 元以檢測用於選擇顯示幕上的物件的多手指懸浮手勢，在檢測到多手指懸浮手勢時啟動照相機單元，識別在通過照相機單元輸入的圖像中的手，以及當手消失在照相機單元的可視角度外時控制該終端進入用於發送選擇的物件的檔傳遞待命狀態。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧終端
110‧‧‧顯示單元
120‧‧‧輸入單元
130‧‧‧無線通訊單元
140‧‧‧音訊處理單元
150‧‧‧照相機單元
160‧‧‧感測單元
170‧‧‧全球定位系統(GPS)接收單元
180‧‧‧存儲單元
190‧‧‧控制單元
210~295‧‧‧步驟
310、410、710、730‧‧‧圖像
320、420、520‧‧‧手
330‧‧‧懸浮區域
510‧‧‧內容
610~670‧‧‧步驟
A‧‧‧發送器終端
B‧‧‧接收器終端
720‧‧‧
810‧‧‧
910‧‧‧
圖1是說明根據本發明的實施例的移動終端的配置的方塊圖。
圖2是說明根據本發明的實施例的終端的物件控制方法的流程圖。
圖3說明用於在根據本發明的實施例的物件控制方法中傳遞物件的使用者交互作用。
圖4說明用於在根據本發明的實施例的物件控制方法中刪除物件的使用者交互作用。
圖5說明在根據本發明的實施例的物件控制方法中對應於抓取手勢的視覺回饋效果。
圖6是說明根據本發明的實施例的物件控制方法的檔傳遞過程的信號流程圖。
圖7說明在根據本發明的實施例的物件控制方法中的物件傳 遞過程。
圖8說明在根據本發明的實施例的物件控制方法中接收檔的視覺回饋。
圖9說明在根據本發明的實施例的物件控制方法中的運動影像檔傳遞過程。
參考附圖來詳細地描述本發明的各實施例。該說明書和所附權利要求書中使用的術語和單詞不按照通常或詞典的含義來解釋，而是應按照遵循本發明的技術概念的含義和概念來解釋。因此，應該理解會存在各種等同替換和修改的示例，其能夠替換在提交本申請時的本說明書和附圖中所示配置中描述的實施例。在附圖中，為使本發明清楚，某些元件可以被增大或省略或示意描述，並且不反映該元件的實際大小。因此，本發明不侷限於元件以及之間的距離的相對大小。
在以下描述中，使用者裝置能夠檢測使用者的輸入手勢，如觸摸和懸浮，這是基於在觸控式螢幕和觸摸輸入工具之間的距離確定的。使用者裝置也能夠檢測具有一個輸入因子(factor)的單個輸入和具有至少兩個輸入因子的多個輸入。
在下面的描述中，術語“懸浮(hovering)”表示在距觸控式螢幕預定距離範圍內利用觸摸輸入工具做出的輸入手勢。例如，可以在其中使用者裝置能夠識別觸摸輸入工具以產生輸入信 號的範圍中利用觸摸輸入工具做出懸浮手勢。
在下面的描述中，術語“手勢”表示用於做出輸入的使用者動作，並且該手勢可以被分類成多懸浮手勢和手的手勢中的一個。這裡，多懸浮手勢表示使用者動作被識別為懸浮，並傳遞到觸控式螢幕並且可以對應於基於懸浮的手指手勢。手的手勢表示通過照相機識別為圖像輸入的手的動作，並可以對應於照相機輔助的手勢。
本發明的物件控制方法和裝置可以應用到移動終端。移動終端可以是如下的任何一個：行動電話機、智慧型電話機、平板PC、手持PC、可攜式多媒體播放機(PMP)、個人數位助理(PDA)等。在下文中，描述針對於應用到移動終端的本發明的物件控制方法和裝置。
圖1是說明根據本發明的實施例的移動終端的配置的方塊圖。
參照圖1，根據本發明的實施例的終端100包括顯示單元110、輸入單元120、無線通訊單元130、音訊處理單元140、照相機單元150、感測單元160、全球定位系統(GPS)接收單元170、存儲單元180和控制單元190。
顯示單元110顯示與終端100的各個功能相關聯的各種螢幕。顯示單元110在控制單元190的控制下將從控制單元190輸入的視頻資料轉換為用於在螢幕上顯示的類比信號。顯示單元110可顯示與終端的操作關聯的各個螢幕，諸如鎖屏、主螢幕、應 用程式(或app)執行螢幕、功能表螢幕、鍵盤螢幕、消息編輯螢幕和網際網路螢幕。
顯示單元110利用根據使用者的多懸浮手勢的不同的圖形處理在螢幕上展示的物件。例如，如果檢測到基於多懸浮的抓取手勢時，顯示單元可以顯示具有如下圖形效果的螢幕或物件，其中螢幕或物件的尺寸縮小。在這種情況下，圖形效果可以根據使用者的手和螢幕之間的距離，表示為該物件的顯示尺寸的縮小或放大。如果基於多懸浮手勢的釋放手勢被檢測到，則圖形效果影響要在顯示單元110的螢幕上被增大的物件的尺寸。在這種情況下，顯示在顯示單元110的螢幕上的物件可以是從另一終端接收的目的檔。顯示單元110還可以提供根據從其它終端接收到的資料量逐漸增大螢幕的尺寸的圖形效果。
顯示單元110可以利用液晶顯示器(LCD)、有機發光二極體(OLED)、主動矩陣OLED(AMOLED)、撓性顯示器和透明顯示器中的一個來實現。
顯示單元110可以包括用於顯示與該終端的操作關聯的各種螢幕的顯示面板和覆蓋所述顯示面板的表面以檢測觸摸手勢並產生相應的輸入信號的觸摸面板。例如，觸摸面板被放置在顯示面板上。觸摸面板可以被實現為嵌入在顯示單元110的前表面上的附加類型或嵌入在顯示單元110中的單元上(on-cell)類型或單元中(in-cell)類型。觸摸面板可以是電阻型、電容型和電磁感應型的其中一種。顯示單元110可以根據終端100的旋轉(或方位)動態 地顯示應用執行資訊和根據方位的變化支援在橫向模式和縱向模式之間的切換。
輸入單元120回應於使用者輸入生成各種輸入信號。輸入單元110可以接收數位或字母資訊的輸入，並包括多個字母數位鍵和功能鍵，如側鍵(side key)、快速鍵和起始鍵(home key)。輸入單元120可以向控制單元190生成與使用者設置和功能控制關聯的鍵信號。當觸摸面板被實現為全觸控式螢幕時，輸入單元120可以作為虛擬觸控板提供。
當包括觸摸面板時，顯示單元110可作為輸入單元120的一部分來工作。在這種情況下，可以通過觸摸面板產生用於控制該終端的輸入信號。觸摸面板可以檢測通過觸摸輸入工具(例如使用者的手和觸摸筆)作出的觸摸手勢，並產生相應的輸入信號。特別是，在使用電容型觸摸面板時，觸摸面板可以根據在觸摸輸入工具和螢幕之間的距離檢測電容並且根據該電容值識別使用者的手勢。在觸摸輸入工具和螢幕之間的距離可以通過距離測量感測器(例如紅外線感測器)來測量。輸入單元120可回應於使用者的輸入手勢(如觸摸、多點觸摸、信號懸浮和多懸浮手勢)來產生輸入信號。
無線通訊單元130被提供用於終端的通信功能。無線通訊單元130與移動通信網路建立通信通道以用於進行諸如語音通信、視訊會議和資料通信的通信。無線通訊單元130可以包括射頻(RF)接收器，用於低雜訊放大和降頻(down-converting)所接收的 信號。無線通訊單元130可以包括蜂窩通信模組(例如，第三代蜂窩通信模組、第3.5代蜂窩通信模組、和第四代蜂窩式通信模組)、數位廣播模組(例如DMB模組)和短距離通信模組。這裡，短距離通信模組可以包括如下的至少一個：Wi-Fi模組、藍牙模組、和Wi-Fi直連模組。短距離通信模組可以與另一終端建立通信通道以在控制單元190的控制下交換特定的檔或資料。
終端100可支援接入點(AP)模式。在AP模式下，終端100可以與附著到作為AP的終端100的設備交換資料。當終端100連接到某個AP用於與連接到AP的另一終端通信時，可以通過AP來交換檔。
音訊處理單元140可包括：揚聲器(SPK)，用於輸出在終端100中產生或解碼的音訊信號；以及麥克風(MIC)，用於接收音訊信號，以支援語音通信和視訊會議以及記錄功能。音訊處理單元140對包括語音的音訊資料執行數位-類比(DA)轉換以產生到揚聲器(SPK)的類比信號，並且對通過麥克風(MIC)輸入的包括語音的音訊資料執行類比-數位(AD)轉換，以產生到控制單元160的數位信號。音訊處理單元150可提供有轉碼器(編碼器/解碼器)，其可以包括用於處理分組資料的資料轉碼器，和用於處理包括語音的音訊信號的音訊轉碼器。音訊處理單元150使用該音訊轉碼器將通過麥克風輸入的類比音訊信號轉換為數位音訊信號，並且將數位音訊信號傳遞到控制單元190。
提供照相機單元150用於拍攝圖像。照相機單元150包 括：照相機感測器，用於將光轉換為電信號；圖像信號處理器，用於將照相機感測器獲取的類比視圖信號轉換為數位信號；以及數位訊號處理器(DSP)，用於處理由圖像信號處理器輸出的數位資料(例如，縮放、降噪、RCG信號轉換等)，以產生適合於觸控式螢幕的視訊訊號。這裡，照相機感測器可以是電荷耦合器件(CCD)和互補金屬氧化物半導體(CCD)感測器的任何一個。
照相機單元150可以提供有用於識別使用者的手勢的感測器功能。照相機單元150可在控制單元190的控制下操作多種功能。例如，當預定的應用在控制單元190的控制下運行時，照相機單元150可將通過透鏡輸入的圖像傳遞到控制單元190。
感測單元160檢測使用者輸入手勢和使用者裝置100周圍的環境變化，並產生將被發送到控制單元190的相應的資訊。感測單元160可以包括如下的至少一個：能夠檢測觸摸手勢的觸摸感測器、用於檢測觸摸輸入工具的靠近的接近感測器、用於測量在觸摸輸入工具和設備之間的距離的距離測量感測器、用於收集視頻圖像的圖像感測器、用於識別在三維空間中的運動和動作的運動識別感測器、用於檢測方位的方位感測器和用於檢測運動速度的加速度感測器。
GPS單元170在控制單元190的控制下從GPS衛星接收GPS信號。GPS單元170連接到GPS衛星以接收GPS信號。GPS單元170將收到的GPS信號傳遞到控制單元170。控制單元190根據GPS信號計算移動終端的當前位置。
GPS單元170可用於建立與另一終端的連接。例如，如果檢測到多懸浮手勢，則控制單元190可以通過GPS單元170發送使用者裝置的GPS資訊到GPS伺服器。如果在預定時間內從GPS伺服器接收到另一終端的GPS座標資訊，則控制單元190可從相應的伺服器接收檔。
存儲單元180存儲終端100的作業系統(OS)和各種應用程式(或應用(app))和在終端100產生的資料。該資料可以包括所有類型的資料，諸如與應用的操作關聯的應用資料和從外部(例如，外部伺服器，另一移動終端和個人電腦)接收的資料。存儲單元180可以存儲通過終端提供的使用者介面和與終端100的功能相關聯的各種設置。
存儲單元180可存儲用於識別由使用者做出的手勢的手勢識別程式。手勢識別程式識別基於懸浮的多懸浮手勢和照相機輔助手勢。手勢識別程式能夠從通過照相機單元150輸入的圖像中提取手的區域並且識別手的形狀。如果使用者的手在形狀上改變及其在圖像中的動作改變，則手勢識別程式辨別該動作和匹配該動作的手勢。
存儲單元180可存儲關於能夠由手做出的不同手勢的資訊，諸如手指的排列、手指的位置、手的行為和手的形狀。存儲單元180還可存儲對應於使用者的手勢的預定的命令。對應於使用者的手勢的命令可以在製造期間設置以及由使用者重置。
控制單元190控制終端的整個操作和終端的內部元件之 間的信號流並處理資料。控制單元190控制從電池對內部元件的供電。如果終端開啟，則控制單元190控制終端的引導過程並且根據使用者的配置執行終端的應用程式。
控制單元190從觸控式螢幕接收輸入信號並且基於所述輸入信號辨別使用者的手勢。控制單元190檢測觸摸輸入的接近並且計算在觸摸輸入工具和觸控式螢幕之間的距離。這裡，觸摸輸入工具可以是觸摸筆或使用者的手，並且在以下描述中，假定觸摸輸入工具是使用者的手。
如果在觸摸輸入工具和觸控式螢幕之間的距離處於預定的範圍內，則控制單元190檢測到懸浮手勢。控制單元190可區別單懸浮手勢和多懸浮手勢。單懸浮手勢具有由觸摸輸入工具做出的單個懸浮因素。多懸浮手勢具有通過觸摸輸入做出的至少兩個懸浮因素。
控制單元190基於多懸浮區域的位置資訊計算懸浮區域的變化，並且基於懸浮區域的改變確定使用者的多懸浮手勢。這裡，位置資訊可以包括懸浮區域的座標。例如，控制單元190可以計算多懸浮手勢的初始懸浮區域的中心點，如果在中心點之間的距離減小，則確定做出基於懸浮的抓取手勢。否則，如果在中心點之間的距離增加，則控制單元190確定做出了基於懸浮的釋放手勢。控制單元190還可通過使用手勢識別程式從通過照相機單元150輸入的圖像中提取手的區域並且基於手的區域計算手的形狀。如果手的形狀改變，則控制單元190可以執行圖案匹配過 程來確定照相機輔助手勢。
如果檢測到使用者的手勢，例如多懸浮手勢或手的手勢，則控制單元190執行對應於手勢的功能或匹配該手勢的預定的命令以及在顯示單元110上顯示執行螢幕。
圖2是說明根據本發明的實施例的終端的物件控制方法的流程圖。
參照圖2，在步驟210，終端100根據使用者輸入或預定的時間表在顯示單元的螢幕上顯示至少一個物件。這裡，物件表示在螢幕上展示來表示由終端提供的數位化資訊的物件。該物件可以是在顯示單元110的螢幕上展示的任何圖示和縮略圖圖像。物件表示資料檔案，例如文字檔、語音檔、視頻檔、影像檔和URL資訊檔。
在這種情況下，終端100可以操作於懸浮識別模式。當運行支援懸浮識別功能的某些應用或執行懸浮功能時，可以啟動該懸浮識別模式。懸浮識別功能能夠識別當按照全屏模式顯示某些內容時做出的懸浮手勢，或由使用者選擇的多個物件，但並不限於此。
在步驟220中，終端100檢測在預定距離範圍內的多懸浮手勢。例如，終端100根據人體的一部分(例如使用者的手)的靠近測量電容變化。終端100可以檢測在兩個或以上的區域的電容變化。終端100基於電容變化計算在使用者的手和螢幕之間的距離。如果在使用者的手和螢幕之間的距離減小到預定的範圍(例 如，3cm)，則終端100確定懸浮手勢的發生。如果檢測到懸浮手勢，則終端100可檢查懸浮手勢的位置。
如果在至少兩個區域中檢測到懸浮手勢，則終端100確定該懸浮手勢是多懸浮手勢。也就是，如果在對應位置的預定距離範圍中檢測到多個輸入工具(如多個手指)，則終端100可以識別在兩個或以上的區域中檢測的懸浮因素為有效資料。
在步驟230，終端100確定在預定時間中做出的多懸浮手勢是否為抓取手勢。終端100基於各個初始懸浮區域確定懸浮方向、距離、以及使用者手勢的速度。
詳細地，終端100使用多懸浮的距離和移動方向計算位置向量，並且基於計算的位置向量確定是否出現了抓取手勢。終端100確定懸浮區域的中心點，並且如果在中心點之間的距離減小，則確定已經做出該抓取手勢。控制單元190還可確定包括兩個或以上的懸浮區域的輪廓，並且如果輪廓區域的尺寸減小，則確定已經做出該抓取手勢。
如果檢測到基於懸浮的抓取手勢，則在步驟240中終端100確定在螢幕上顯示的物件為用於執行特定功能的選擇的物件。雖然終端100可以確定在顯示單元110上顯示的一個物件，但是可以維持由使用者輸入已經選擇的物件的被選擇狀態。
終端100可輸出關於通過抓取手勢選擇的物件的視覺回饋效果。例如，終端100可提供對應於抓取手勢的視覺效果，就好像使用者抓取和提升實體物件一樣。
如果該物件被選擇，則在步驟250中終端100啟動照相機單元150。在這裡，照相機單元150可以是安裝在終端100的前側的前置照相機。照相機150作為用於識別使用者的手的感測器工作，並且在背景運行。
在步驟260中，終端100識別通過在照相機單元150輸入的圖像中的使用者的手。例如，終端100基於在通過照相機單元150輸入的圖像中的顏色資訊來檢查背景以分離手的區域。終端100從手的區域中提取的手的特徵點並且計算手的輪廓。該終端可以使用手的輪廓識別手的形狀和動作。終端100基於手的形狀和動作執行圖案匹配以檢測手的手勢。
在步驟270中，終端100確定使用者的手是否已經消失在照相機單元150的可視角度外。如果基於顏色資訊可以從圖像中分離手的區域，則終端100確定使用者的手已經從照相機單元150的可視角度中消失。
如果確定使用者的手已經從照相機單元150的可視角度中消失，則在步驟275中，終端100控制選擇的物件進入檔傳遞待命狀態。終端100與另一終端建立通信通道以發送傳遞待命信號，以及如果已經建立通信通道，則在其上發送傳遞待命信號。參考圖6做出關於檔傳遞待命狀態的具體描述。
在步驟290，終端100確定是否從第二終端接收到傳遞請求信號。傳遞請求信號可以是由第二終端發送的回應信號。如果接收到傳遞請求信號，則在步驟295中終端100向已經發送傳遞 請求信號的第二終端傳遞由所選擇的物件表示的檔或資料。
如果確定使用者的手沒有從照相機單元150的可視角度中消失，則在步驟280中終端100可以檢測照相機輔助手勢。例如，當已經在照相機單元150的可視角度中選擇一特定的物件時使用者可以做出手勢的繪製。終端100可從通過照相機單元150輸入的圖像中檢查使用者的手的輪廓，並通過圖案匹配演算法確定由使用者的手做出的繪圖動作。
如果檢測到手的手勢，則在步驟285中終端100執行與選擇的物件關聯的手的手勢對應的功能。例如，如果物件刪除命令被定義為與繪圖動作關聯，則終端100回應於該繪圖手勢執行物件刪除命令。
圖3說明用於在根據本發明的實施例的物件控制方法中傳遞物件的使用者交互作用。
參考圖3，顯示單元110可以根據使用者的請求或預定的時間表在螢幕上顯示至少一個物件。顯示單元110可以按照全屏模式顯示某個物件或在螢幕上顯示多個物件。
例如，使用者可以執行由終端提供的相冊功能。該終端可以如圖3(a)中所示按照全屏模式顯示某一圖像310。該終端還可以顯示圖像的清單，並在螢幕上展示從清單中選擇的圖像。
使用者可以讓手320靠近螢幕來做出手勢，用於對螢幕上顯示的特定圖像執行功能。這裡，終端100可以配置在螢幕和觸摸輸入工具之間的預定距離以區別懸浮和觸摸手勢。該預定距 離可以是用於檢測觸摸輸入工具的位置的閾值。
如果使用者的手320靠近螢幕的預定距離範圍，終端100可以檢測對應於手指的兩個或以上的懸浮區域330。如圖3(a)所示，終端100可檢測手指靠近並且提取四個懸浮區域330。在這種情況下，儘管五個手指靠近螢幕的預定距離範圍，但是由於手指的不同長度，終端可能無法檢測到所有的五個手指。
使用者可以做出好像抓取某個實體物件的手勢。然後，終端100檢查懸浮區域對中心點的移動，並檢測基於懸浮的抓取手勢。終端回應於該抓取手勢選擇顯示在螢幕上的物件，即該圖像。
終端啟動照相機單元150以拍攝圖像，如圖3(b)所示。終端100通過照相機單元150獲取圖像輸入，從圖像中分離手區域，並識別手的形狀和輪廓。終端可依靠是否從通過照相機單元150輸入的圖像中提取手的區域來確定使用者的手從照相機150的可視角度中消失。
如圖3(c)所示，使用者可以將手320移出照相機單元150的可視角度。然後，控制單元確定使用者的手320消失在照相機單元150的可視角度之外，並進入準備傳遞選擇的圖像的檔傳遞待命狀態。在這種情況下，終端可以具有與第二終端已經建立的通信通道。在檔傳遞待命狀態中，該終端可以向第二終端發送檔傳遞待命信號。
圖4說明用於在根據本發明的實施例的物件控制方法中 刪除物件的使用者交互作用。
參照圖4，使用者可以執行由終端提供的相冊功能，並在全屏模式中顯示某一圖像410。如果檢測到用於選擇圖像410的多懸浮手勢，例如抓取手勢，則終端啟動照相機單元150。
使用者可以在照相機150的可視角度內用手420做出手勢，例如，如圖4(a)所示的投擲手勢。該終端從通過照相機單元150輸入的圖像中分離手的區域並且識別手的運動和形狀。
如果通過圖案匹配過程確定使用者的手的運動是投擲運動，則終端可以刪除利用抓取手勢選擇的圖像，如圖4(b)所示。
圖5說明在根據本發明的實施例的物件控制方法中對應於抓取手勢的視覺回饋效果。
參照圖5，使用者可以利用他/她的手指在終端上做出好像抓取實體物件的手勢以選擇某個內容。然後該終端檢測該使用者的手勢為基於懸浮的抓取手勢，並選擇在顯示單元的螢幕上顯示的內容510。
終端可以向使用者提供對應於物件的選擇的視覺回饋。該終端可以減少所顯示的內容510的尺寸。如果在使用者的手520和螢幕之間的距離改變，則終端可以根據距離的改變增加或減少經圖解處理的內容510的尺寸。例如，終端可以提供視覺回饋效果，好像使用者在觸控式螢幕上抓取並提升實體物件。因此，使用者可能會經歷這樣的視覺效果，好像在現實世界中如實體物件一樣抓取並提升該內容。
如果使用者在上述狀態下移動該手，則終端在使用者的手520的移動方向中移動經圖解處理的內容510，如圖5(b)所示。
圖6是說明根據本發明的實施例的物件控制方法的檔傳遞過程的信號流程圖。
參考圖6，分別從發送器終端A和接收器終端B的視角觀點描述檔傳遞過程。終端可以操作為發送器終端A和接收器終端B兩者。假設發送器終端A和接收器終端B通過通信通道(例如配對通道，Wi-Fi直連通道和藍牙通道)連接。
如果在發送器終端A選擇特定內容，然後使用者的手消失在照相機的可視角度之外，則在步驟610中發送器終端A進入用於傳遞選擇的內容的檔傳遞待命狀態。發送器終端A確定是否存在與之已經建立通信通道的任何終端，並且如果有的話，則在步驟620中發送器終端A向接收器終端B發送檔傳遞待命信號。接收器終端B可以在接收檔傳遞待命信號時在顯示單元上輸出檔傳遞待命警告資訊(例如傳遞待命消息)，但不限於此。
接收器終端B之後從發送器終端A接收檔傳遞待命請求信號，在步驟630中檢測多懸浮，並在步驟640中基於該多懸浮的運動確定釋放手勢。詳細地，如果兩個懸浮區域的距離增大，則接收器終端B確定已經做出該釋放手勢。接收器終端B也可確定包括兩個或以上的懸浮區域的外部線路，並且如果懸浮區域移出該外部線路，則確定已經做出該釋放手勢。
如果檢測到釋放手勢，則在步驟650中接收器終端B回 應於該檔傳遞待命信號向發送器終端A發送回應信號。在接收回應信號時，在步驟660中發送器終端A開始向接收器終端B發送所選擇的目的檔。在步驟670中接收器終端B可以接收由發送器終端A發送的物件資訊。
圖7說明在根據本發明的實施例的物件控制方法中的物件傳遞過程。
參考圖7，當已經在發送器終端A和接收器終端B之間建立通信通道時，使用者可以通過如圖3所示的在懸浮狀態中做出抓取的手勢來獲得用於檔傳遞的交互作用，然後將手移出發送器終端A的照相機的可視角度。
然後發送器終端A選擇在顯示單元上顯示的圖像710作為要傳遞的物件，並進入檔傳遞待命模式。此時，發送器終端A向第二終端(即，接收器終端B)發送檔傳遞待命信號來通知要發送的內容的存在。在這種情況下，接收器終端B基於該檔傳遞待命信號知曉要接收的內容的存在。
使用者可以無需觸摸地做出彷彿從在接收器終端B的預定範圍內的距離中釋放物件的手勢。接收器終端B檢測手指的靠近，並檢測兩個或以上的懸浮區域，並且如果懸浮區域移動遠離彼此，則確定已經做出該釋放手勢。
如果檢測到釋放手勢，則接收器設備B向發送器終端A發送回應信號以回應檔傳遞待命信號。然後發送器終端A向接收器終端B發送選擇的圖像。接收器終端B可以在接收圖像730之 後顯示圖像730，如圖7(b)所示。
在終端之間的檔傳遞可以通過藍牙通信、Wi-Fi直接通信、GPS單元和伺服器通信、以及基於AP的通信中的一個來執行。
圖8說明在根據本發明的實施例的物件控制方法中接收檔的視覺回饋。
參照圖8，終端可以通過通信通道從另一終端接收與特定內容對應的檔或資料。如果接收到該檔或資料，則該終端提供表達該物件傳遞狀態的視覺回饋效果。例如，終端可以根據物件的接收資料在螢幕上示出其中所接收的物件的尺寸增加的圖形效果。使用者可根據在顯示單元的螢幕上顯示的物件的尺寸檢查檔傳遞的進度或完成度。
圖9說明在根據本發明的實施例的物件控制方法中的運動影像檔傳遞過程。
參照圖9，假設發送器終端A正在播放運動圖像。如果在運動圖像播放模式中檢測到基於懸浮的抓取手勢，則發送器終端A進入運動圖像傳遞待命狀態，並向接收器終端B發送傳遞待命信號。
此後，如果在接收器終端B中檢測到基於懸浮的釋放手勢，則接收器終端B發送回應信號到發送器終端A，以回應於該傳遞待命信號。在接收到回應信號時，發送器終端A向接收器終端B發送當前正在播放的運動圖像。發送器終端A可以發送播放資訊以及所述運動圖像內容。
例如，當發送器終端A向接收器終端B發送當前播放的運動圖像內容時，接收器終端B可以從在發送器終端A中暫停播放的時間處播放該運動圖像。
根據本發明的終端的物件控制方法及裝置能夠允許使用者直觀地操作顯示在螢幕上的內容。本發明的物件控制方法和裝置能夠允許使用者通過在真實世界中使用的相同手勢向另一終端傳遞內容或刪除內容。本發明的物件控制方法和裝置能夠提供用於執行終端的特定功能而不使用階層式功能表結構的迅速執行命令的用戶體驗(UX)。
雖然已經使用特定的術語描述了本發明的終端的物件控制方法和裝置，但是說明書和附圖將看作是說明性的而非限制的用意，以便幫助本發明的理解。對本領域技術人員顯然的是：在不背離本發明的精神和範圍的情況下，可以對其做出各種修改和改變。
210~295‧‧‧步驟

Claims (25)

  1. 一種終端的物件控制方法，所述方法包括：在顯示幕上顯示至少一個物件；檢測用於選擇所述顯示幕上的所述物件的多手指懸浮手勢；在檢測到所述多手指懸浮手勢時啟動照相機；識別在通過所述照相機輸入的圖像中的手；以及當手消失在所述照相機的可視角度外時進入用於發送選擇的物件的檔傳遞待命狀態。
  2. 如申請專利範圍第1項所述的方法，還包括：當手在所述照相機的所述可視角度內做出運動時，根據該運動執行與所述選擇的物件關聯的預定功能。
  3. 如申請專利範圍第1項所述的方法，其中檢測所述多手指懸浮手勢包括：檢測在所述顯示幕上的至少兩個懸浮區域；以及當在兩個所述懸浮區域之間的距離減少時確定做出了所述多手指懸浮手勢。
  4. 如申請專利範圍第1項所述的方法，其中所述選擇的物件改變了尺寸。
  5. 如申請專利範圍第4項所述的方法，其中根據在所述顯示幕和所述手之間的距離，所述選擇的物件減少或增加尺寸。
  6. 如申請專利範圍第1項所述的方法，其中顯示至少一個物件包括按照全屏模式顯示所述選擇的物件或顯示根據使用者輸入選擇的多個物件。
  7. 如申請專利範圍第1項所述的方法，還包括： 識別使用者的手；獲得通過所述照相機輸入的所述手的圖像；基於所述圖像的顏色資訊從背景區域中分離手的區域；從所述手的區域中識別所述手的輪廓；以及通過對所述手的輪廓執行圖案匹配來識別所述手的運動和形狀。
  8. 如申請專利範圍第1項所述的方法，其中進入所述檔傳遞待命狀態包括將終端的操作模式轉換為傳遞待命模式。
  9. 如申請專利範圍第8項所述的方法，其中進入所述檔傳遞待命狀態包括：確定是否連接第二終端；當連接所述第二終端時，發送傳遞待命信號；以及當未連接所述第二終端時，與所述第二終端建立通信通道以發送所述傳遞待命信號。
  10. 如申請專利範圍第9項所述的方法，還包括；在發送所述傳遞待命信號之後從所述第二終端接收回應信號；以及在接收到所述回應信號時向所述第二終端發送所述選擇的物件。
  11. 如申請專利範圍第1項所述的方法，還包括：當回應於檔傳遞請求與所述第二終端連接時檢測多懸浮手勢；回應於所述多懸浮手勢向所述第二終端發送回應信號；接收由所述第二終端發送的物件；以及 在所述顯示幕上顯示所述接收的物件。
  12. 如申請專利範圍第11項所述的方法，其中檢測所述多懸浮手勢包括：檢測在所述顯示幕上的至少兩個懸浮區域；以及當在至少兩個所述懸浮區域之間的距離增加時確定做出了回應於所述檔傳遞請求的多手指懸浮手勢。
  13. 如申請專利範圍第11項所述的方法，其中顯示所述接收的物件包括顯示根據接收所述物件的資料在尺寸上增大所述物件的視覺回饋。
  14. 一種終端，包括：無線通訊單元，配置來發送和接收無線信號；顯示單元，配置來顯示至少一個物件；感測單元，配置來感測對所述物件的使用者手勢；照相機單元，配置來拍攝所述使用者手勢的圖像；以及控制單元，配置來控制所述感測單元以檢測用於選擇所述顯示幕上的所述物件的多手指懸浮手勢，在檢測到所述多手指懸浮手勢時啟動所述照相機單元，識別在通過所述照相機單元輸入的所述圖像中的手，以及當所述手消失在所述照相機單元的可視角度外時控制所述終端進入用於發送所述選擇的物件的檔傳遞待命狀態。
  15. 如申請專利範圍第14項所述的終端，其中當所述手在所述照相機單元的所述可視角度內做出運動時，所述控制單元控制來根據所述運動執行與所述選擇的物件關聯的預定功能。
  16. 如申請專利範圍第14項所述的終端，其中所述感測單元 產生關於在所述顯示幕上檢測的至少兩個懸浮區域的資訊並且將所述資訊發送給所述控制單元，以及其中當在兩個所述懸浮區域之間的距離減少時所述控制單元確定做出了所述多手指懸浮手勢。
  17. 如申請專利範圍第14項所述的終端，其中所述顯示單元改變通過所述多手指懸浮手勢選擇的所述選擇物件的尺寸。
  18. 如申請專利範圍第14項所述的終端，其中所述顯示單元根據在所述顯示幕和所述手之間的距離減少或增加所述物件的尺寸。
  19. 如申請專利範圍第14項所述的終端，其中所述顯示單元以全屏模式顯示所述選擇的物件或顯示根據使用者輸入選擇的多個物件。
  20. 如申請專利範圍第14項所述的終端，其中所述控制單元獲得通過所述照相機單元輸入的所述圖像，基於所述圖像的顏色資訊從背景區域中分離手的區域，從所述手的區域中識別所述手的輪廓，以及通過對所述手的輪廓執行圖案匹配來識別所述手的運動和形狀。
  21. 如申請專利範圍第14項所述的終端，其中所述控制單元確定是否連接第二終端，當連接所述第二終端時，發送傳遞待命信號，以及當未連接所述第二終端時，與所述第二終端建立通信通道以發送傳遞待命信號。
  22. 如申請專利範圍第21項所述的終端，其中所述控制單元控制在發送傳遞所述待命信號之後從所述第二終端接收回應信號，以及在接收到所述回應信號時向所述第二終端發送所述選擇 的物件。
  23. 如申請專利範圍第14項所述的終端，其中所述控制單元控制來：當回應於檔傳遞請求與第二終端連接時檢測多懸浮手勢時，回應於所述多懸浮手勢向所述第二終端發送回應信號，接收由所述第二終端發送的物件，以及在所述顯示幕上顯示所述接收的物件。
  24. 如申請專利範圍第23項所述的終端，其中當在所述顯示幕上檢測的至少兩個懸浮區域之間的距離增加時，所述控制單元確定做出了回應於所述檔傳遞請求的多手指懸浮手勢。
  25. 如申請專利範圍第23項所述的終端，其中所述顯示單元顯示根據接收到所述物件的資料增大所述物件的尺寸的視覺回饋。
TW103109521A 2013-03-14 2014-03-14 使用者裝置之物件控制方法及其設備 TWI633460B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??10-2013-0027600 2013-03-14
KR1020130027600A KR102091028B1 (ko) 2013-03-14 2013-03-14 사용자 기기의 오브젝트 운용 방법 및 장치

Publications (2)

Publication Number Publication Date
TW201447646A true TW201447646A (zh) 2014-12-16
TWI633460B TWI633460B (zh) 2018-08-21

Family

ID=50478169

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103109521A TWI633460B (zh) 2013-03-14 2014-03-14 使用者裝置之物件控制方法及其設備

Country Status (10)

Country Link
US (1) US9372617B2 (zh)
EP (1) EP2778853B1 (zh)
JP (1) JP6366309B2 (zh)
KR (1) KR102091028B1 (zh)
CN (1) CN104049737B (zh)
AU (1) AU2014201588B2 (zh)
BR (1) BR102014006152A2 (zh)
CA (1) CA2846531C (zh)
RU (1) RU2662690C2 (zh)
TW (1) TWI633460B (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140791B1 (ko) * 2013-10-11 2020-08-03 삼성전자주식회사 터치 컨트롤러, 터치 컨트롤러를 포함하는 디스플레이 장치 및 전자 장치, 및 터치 센싱 방법
US20150188988A1 (en) * 2013-12-27 2015-07-02 Htc Corporation Electronic devices, and file sharing methods thereof
US11809811B2 (en) * 2014-10-25 2023-11-07 Yieldmo, Inc. Methods for serving interactive content to a user
CN104407797B (zh) * 2014-10-27 2017-11-07 联想(北京)有限公司 一种信息处理方法及电子设备
US9971442B2 (en) * 2014-10-29 2018-05-15 Microchip Technology Germany Gmbh Human interface device and method
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
JP2016130925A (ja) 2015-01-14 2016-07-21 レノボ・シンガポール・プライベート・リミテッド 複数の電子機器が連携動作をする方法、電子機器およびコンピュータ・プログラム
CN104714642A (zh) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 一种移动终端及其手势识别处理方法和系统
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
CN105786388A (zh) * 2016-03-02 2016-07-20 惠州Tcl移动通信有限公司 一种基于近距离感应的应用控制方法、系统及移动终端
CN105785376A (zh) * 2016-05-11 2016-07-20 滁州学院 一种标枪投掷电子测量仪
US20180032170A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. System and method for estimating location of a touch object in a capacitive touch panel
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US20210278904A1 (en) * 2016-11-08 2021-09-09 Sony Corporation Information processing device, information processing method, and program
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
KR102316024B1 (ko) * 2017-03-02 2021-10-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 사용자 인터페이스 표시 방법
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
CN111052047B (zh) * 2017-09-29 2022-04-19 苹果公司 用于自动手势和手指识别的静脉扫描设备
US20190324621A1 (en) * 2018-04-23 2019-10-24 Qualcomm Incorporated System and Methods for Utilizing Multi-Finger Touch Capability to Efficiently Perform Content Editing on a Computing Device
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
JP2020177315A (ja) * 2019-04-16 2020-10-29 アルパイン株式会社 電子装置
CN110164440B (zh) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 基于捂嘴动作识别的语音交互唤醒电子设备、方法和介质
CN110515468A (zh) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置和存储介质
CN111443802B (zh) * 2020-03-25 2023-01-17 维沃移动通信有限公司 测量方法及电子设备
CN112486363B (zh) * 2020-10-30 2023-12-19 华为技术有限公司 一种跨设备的内容分享方法、电子设备及系统
WO2022226736A1 (zh) * 2021-04-26 2022-11-03 华为技术有限公司 一种多屏交互的方法、装置、终端设备和车辆
CN115480662A (zh) * 2021-05-28 2022-12-16 华为技术有限公司 悬浮操控时的感应区域分离方法、装置、悬浮操控遥控器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265689A (ja) * 1992-03-19 1993-10-15 Hitachi Ltd 情報処理装置
JP3480738B2 (ja) * 1992-06-23 2003-12-22 株式会社東芝 情報処理装置における表示方法及び情報処理装置
JP2004334590A (ja) * 2003-05-08 2004-11-25 Denso Corp 操作入力装置
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
KR101503835B1 (ko) 2008-10-13 2015-03-18 삼성전자주식회사 멀티터치를 이용한 오브젝트 관리 방법 및 장치
WO2010098050A1 (ja) * 2009-02-25 2010-09-02 日本電気株式会社 電子機器のインターフェース、電子機器、並びに電子機器の操作方法、操作プログラム及び操作システム
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US20110088002A1 (en) 2009-10-13 2011-04-14 Carl Johan Freer Method and platform for gestural transfer of digital content for mobile devices
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
US8593398B2 (en) * 2010-06-25 2013-11-26 Nokia Corporation Apparatus and method for proximity based input
JP5360166B2 (ja) * 2010-09-22 2013-12-04 株式会社ニコン 画像表示装置
JP2012133729A (ja) * 2010-12-24 2012-07-12 Sony Corp 情報処理装置、情報処理方法、およびプログラム
JP2012173980A (ja) * 2011-02-21 2012-09-10 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
TWI471792B (zh) * 2011-03-30 2015-02-01 Edamak Corp 近接暨觸控面板之多物件偵測方法
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
RU2455676C2 (ru) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
RU2601831C2 (ru) * 2011-12-28 2016-11-10 Нокиа Текнолоджиз Ой Предоставление открытого экземпляра приложения

Also Published As

Publication number Publication date
JP6366309B2 (ja) 2018-08-01
CA2846531C (en) 2021-11-02
KR20140112920A (ko) 2014-09-24
EP2778853A2 (en) 2014-09-17
CN104049737A (zh) 2014-09-17
RU2014109966A (ru) 2015-09-20
CA2846531A1 (en) 2014-09-14
AU2014201588A1 (en) 2014-10-02
US9372617B2 (en) 2016-06-21
AU2014201588B2 (en) 2019-03-21
US20140282070A1 (en) 2014-09-18
EP2778853A3 (en) 2015-01-21
KR102091028B1 (ko) 2020-04-14
RU2662690C2 (ru) 2018-07-26
JP2014179099A (ja) 2014-09-25
CN104049737B (zh) 2019-05-28
TWI633460B (zh) 2018-08-21
BR102014006152A2 (pt) 2016-02-23
EP2778853B1 (en) 2017-12-27

Similar Documents

Publication Publication Date Title
TWI633460B (zh) 使用者裝置之物件控制方法及其設備
CN105335001B (zh) 具有弯曲显示器的电子设备以及用于控制其的方法
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
KR102135052B1 (ko) 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법
US9773158B2 (en) Mobile device having face recognition function using additional component and method for controlling the mobile device
KR102031142B1 (ko) 영상 디스플레이를 제어하는 전자 장치 및 방법
WO2020258929A1 (zh) 文件夹界面切换方法及终端设备
WO2018082269A1 (zh) 菜单显示方法及终端
US20120235926A1 (en) Handheld devices and related data transmission methods
US20140053079A1 (en) Apparatus and method for proximity based input
US11054930B2 (en) Electronic device and operating method therefor
US20140245223A1 (en) Mobile terminal and method for controlling display of object on touch screen
US20150253962A1 (en) Apparatus and method for matching images
US9292107B1 (en) Mobile telephone as computer mouse
CN110874141A (zh) 图标移动的方法及终端设备
KR102157621B1 (ko) 휴대장치 및 그 컨텐츠 공유 방법
KR20150008958A (ko) 휴대 단말기에서 전자문서 작성 방법 및 장치
US20170242562A1 (en) Remote Controller