TWI543018B - An input device, an input method, and storage medium - Google Patents

An input device, an input method, and storage medium Download PDF

Info

Publication number
TWI543018B
TWI543018B TW102129418A TW102129418A TWI543018B TW I543018 B TWI543018 B TW I543018B TW 102129418 A TW102129418 A TW 102129418A TW 102129418 A TW102129418 A TW 102129418A TW I543018 B TWI543018 B TW I543018B
Authority
TW
Taiwan
Prior art keywords
hand
shape
movement
time point
user
Prior art date
Application number
TW102129418A
Other languages
English (en)
Other versions
TW201423482A (zh
Inventor
Kenji Akiyoshi
Original Assignee
Nec Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Solution Innovators Ltd filed Critical Nec Solution Innovators Ltd
Publication of TW201423482A publication Critical patent/TW201423482A/zh
Application granted granted Critical
Publication of TWI543018B publication Critical patent/TWI543018B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Analysis (AREA)

Description

輸入裝置、輸入方法以及記憶媒體
本發明，係有關於輸入裝置、輸入方法以及記憶媒體。
以用戶之手部動作為基準，判別用戶之操作指令之輸入裝置，是已知的。例如，在專利文件1，公告以操作由三次元顯示器所形成的假想操作面之用戶之手部動作為基準，判別用戶之操作之影像辨識裝置。又，在專利文件2，公告以被拍攝的用戶之手勢為基準，決定在顯示器上顯示的影像之排列方法之顯示控制裝置。又，在專利文件3，公告以觸控面板(Touch Panel)之觸摸動作之移動量基準，判別用戶之觸摸動作，為押下操作(敲點操作)、或手勢操作之資訊處理裝置。
[先行技術文件] [專例文件]
專利文件1：日本特開2011-175623號公報
專利文件2：日本特開2011-248606號公報
專利文件3：日本特開2009-151691號公報
關於在專利文件1上所記載之技術，將拍攝影像，對應連結至作為選擇操作之對象之選擇允許區域(例如，按鍵(buttom)或圖標(Icon)之顯示區域)所定義的操作畫面，以拍攝影像中之用戶之手部動作(例如，在相當於選擇允許區域之位置上，手的一定時間之停止)當基準，來辨識選擇用戶之選擇區域之操作(以下，稱為「選擇操作」)之裝置。在如此的輸入裝置上，除了選擇操作外，如果能夠判別和選擇操作不同的手勢操作，則操作之變化性增加，對用戶而言，可提高便利性。
在觸控螢幕之情況，藉由敲點操作，選擇顯示圖標等之選擇允許區域時，用戶手指觸摸的區域，只為選擇允許區域，在移動至選擇允許區域時，手指從觸控螢幕離開。因此，往選擇允許區域移動中之用戶之手部動作，在觸控螢幕上，不被測出。例如，如在引用文件3上所示地，輸入裝置，只藉以觸控螢幕捕捉到的用戶之手的移動量之資訊，能夠容易地區別觸摸動作，是選擇操作(敲擊操作等)，或手勢操作。
但是，在不使用觸控螢幕，而使用攝影機(Camera)拍攝用戶之手部動作，來判別用戶之輸入之時，往選擇允許區域移動中之用戶之手部動作，被攝影機拍攝。亦即，無法藉由測出的有無，判別選擇操作之前之手之移動與手勢操作。因此，在引用文件3公開的方法，無法判別選擇允許區域之選擇操作與手勢操作，所以，有所謂的無法增加輸入裝置能夠判別之操作變化性之問題。
本發明，係有鑑於此的發明，其目的在於提供一種除了選擇操作外，亦能夠判別手勢操作之輸入裝置、輸入方 法以及記憶媒體。
有關本發明之第一個觀點之輸入裝置，係以對應連結至定義選擇允許區域之操作畫面之拍攝影像中之用戶之手部動作當基準，來判別用戶之輸入之輸入裝置， 其特徵在於：包括以在因上述手部移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作之輸入判別裝置。
有關本發明之第二個觀點之輸入方法，係以對應連結至顯示成為選擇操作之對象之選擇允許區域之操作畫面之拍攝影像中之用戶之手部動作當基準，來判別用戶之輸入之輸入方法， 其特徵在於：以因上述手部移動產生的複數的上述的拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作。
有關本發明之第三個觀點之記憶媒體，係記憶程式之電腦可以讀取的非暫時性的記憶媒體，其特徵在於：上述程式，使以對應連結至顯示選擇允許區域之操作畫面之拍攝影像中之用戶之手部動作當基準，來控制判別用戶之輸入之輸入裝置之電腦， 實現因上述手部移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區 域之選擇操作，或和上述選擇操作不同之手勢操作之輸入判別功能。
藉由本發明，提供一種除了選擇操作外，能夠判別手勢操作之輸入裝置、輸入方法、及記憶媒體。
100‧‧‧輸入裝置
110‧‧‧操作部
120‧‧‧顯示部
130‧‧‧拍攝部
140‧‧‧影像記憶部
150‧‧‧控制部
151‧‧‧影像取得部
152‧‧‧移動測出部
153‧‧‧方向比較部
154‧‧‧形狀比較部
155‧‧‧輸入判別部
156‧‧‧傳輸部
160‧‧‧記憶部
T1~T2‧‧‧時間點
PA~PB‧‧‧部分
C1~C4‧‧‧中心
G1~G2、GA~GC‧‧‧重心位置
F1~F2、FA~FC‧‧‧指尖
RA~RB‧‧‧指導顯示
L1~L2‧‧‧距離
S101、S102~S112、S201、S202~S211‧‧‧步驟
[第1圖]係有關於本發明之實施例之輸入裝置之輸入狀態圖。
[第2A圖]係表示在輸入裝置之顯示部上所顯示的操作畫面。
[第2B圖]係表示以在輸入裝置之拍攝部所拍攝的拍攝影像圖。
[第2C圖]係表示在輸入裝置之操作畫面上，對應連結拍攝影像之外觀圖。
[第3A圖]係為了說明手勢操作之圖。
[第3B圖]係為了說明手勢操作之圖。
[第3C圖]係為了說明選擇操作之圖。
[第4圖]係表示在第1圖上所示的輸入裝置之內部構造之方塊圖。
[第5圖]係為了說明表示在第4圖上所示的控制部之功能之功能方塊圖。
[第6圖]係為了說明儲存在第4圖上所示的記憶部之手勢判別表格和命令表格之圖。
[第7A圖]係為了說明在用戶之手的移動樣式中，描繪右旋轉之圓之移動樣式圖。
[第7B圖]係為了說明在用戶之手的移動樣式中，描繪左旋轉之圓之移動樣式圖。
[第7C圖]係為了說明在用戶之手的移動樣式中，描繪左方向之直線移動之移動樣式圖。
[第7D圖]係為了說明在用戶之手的移動樣式中，描繪右方向之直線移動之移動樣式圖。
[第8圖]係實施例1之輸入處理之流程圖。
[第9圖]係為了說明在輸入處理被使用的拍攝影像之圖。
[第10圖]係為了說明手區域之圖。
[第11圖]係表示特定選擇允許區域之方向之外觀圖。
[第12A圖]係表示當比較選擇允許區域之方向和用戶之手的移動方向之時，特定用戶之手的移動方向之外觀圖。
[第12B圖]係表示當比較選擇允許區域之方向和用戶之手的移動方向時，從選擇允許區域之方向和用戶之手的移動方向，算出方向差異度之外觀圖。
[第13A圖]係表示選擇操作時之用戶之手的形狀之變化之圖。
[第13B圖]係表示手勢操作時之用戶之手的形狀之變化之圖。
[第14圖]係為了說明實施例1之輸入裝置之效果之圖。
[第15圖]係為了說明在第4圖上所示的記憶部上準備的FIFO佇列之圖。
[第16圖]係實施例2之輸入處理之流程圖。
[第17A圖]當特定用戶之手的移動方向和形狀變化時，特定用戶之手的移動方向之變化之外觀圖。
[第17B圖]當特定用戶之手的移動方向和形狀變化時，特定用戶之手的形狀之變化之外觀圖。
[第18圖]係表示方向差異度、形狀差異度、加算值，以一定時間間隔被算出的外觀圖。
[第19圖]係為了說明實施例2之輸入裝置之效果之圖。
[第20A圖]係為了說明輸入裝置之變形例之圖，作為選擇允許區域之方向和移動開始時間點之用戶之手的位置當基準而製作之方向比較圖。
[第20B圖]係以方向比較圖當基準，來特定方向差異度之外觀圖。
[第21A圖]係為了說明反饋(FeedBack)部之動作，用戶之手之移動軌跡當作光線軌跡來顯示之外觀圖。
[第21B圖]圓形狀之導引顯示之透光率，以累積值當基準來變化之外觀圖。
[第22圖]係為了說明輸入裝置之變形例之圖。
[第23A圖]係為了說明輸入裝置之變形例，表示用戶之手之移動速度快速時之處理之圖。
[第23B圖]係表示用戶之手之移動速度緩慢時之處理之圖。
以下，關於本發明之實施例之輸入裝置，參照圖 面，作說明。
[第一實施例]
本實施例之輸入裝置100，包括以攝影機拍攝的用戶之手部動作當基準，判別對用戶之機器之輸入(例如，表示對用戶之機器之操作指令、命令、圖標等之選擇允許區域之選擇等)之功能。輸入裝置100，係例如持有在第1圖中所示的外觀之個人電腦。首先，參照第2圖和第3圖，來說明執行輸入裝置100之處理之概要。
輸入裝置100，在選擇允許區域上顯示成為選擇對象之影像(圖標或按鈕)，例如包括顯示在第2A圖中所示的操作畫面之顯示部120，和拍攝在第2B圖中所示的拍攝影像之拍攝部130。被拍攝之影像(以下，稱為「拍攝影像」)，如第2C圖中所示，對應連結至操作畫面。例如，輸入裝置100，拍攝影像上之各座標點，藉由仿射(Affine)變換等之座標變換，和操作畫面上之座標點對應連結。如此地，一旦反映了指尖在拍攝影像上之某部分，即接受操作畫面上之對應連結的部分所指出的操作。因此，可以不使用滑鼠或觸控螢幕等之指點設備(Pointing device)，而能夠指定操作畫面上之位置之操作的輸入。選擇允許區域，按照成為輸入操作之對象之應用之狀態，在操作畫面上被設定。在選擇允許區域，亦可以同時顯示例如宛如可以押下的按鈕的影像，或成為選擇對象之圖標之影像。亦即，如果是畫面的上端或下端之用戶可以辨識的部分，則亦可以在選擇允許區域上，不顯示特別的影像。輸入裝置100，例如和應用軟體通信，而取得選擇允許區域之座標，記憶在 RAM。以下，選擇允許區域之座標，可以隨時參照RAM之既定區域來取得。輸入裝置100，以拍攝影像中之用戶之手部動作當基準，判別用戶之輸入為選擇操作或和選擇操作不同的手勢操作，作為具體的操作輸入之種類別。在此，所謂的「手勢操作」，係為了機器操作而預先決定的比手畫腳等之既定動作，例如如第3A圖上所示之手的圓周動作，或例如所謂的如第3B圖上所示之伸出手指，以手腕或手肘當支點，搖動手之動作(以下，稱作「拂去(Flick)動作」)或使手迴轉的動作(以下，稱作「轉圈(Rolling)動作」。又，所謂的「選擇操作」(亦稱「指點操作」)，係用戶打算選擇在畫面上顯示的選擇允許區域之動作。然而，在「選擇操作」，亦包含在指點區域上移動中之用戶的手部動作。
一旦用戶執行選擇操作，用戶之手及在選擇允許區域具有的方向上來移動。此時，用戶常常一邊看著操作畫面，一邊使手平行移動，所以如第3C圖上所示地，被拍攝之手的形狀，不太有變化。另一方面，在手勢操作之時，用戶大多以手腕當支點搖動手的樣子來移動手，所以如第3A或3B圖上所示地，被拍攝之手的形狀，有大的變化。輸入裝置100，以根據移動所產生的用戶之手之形狀之變化，來判別用戶之輸入為選擇操作或手勢操作。
以下，詳細說明關於輸入裝置100之構造。
輸入裝置100，如第4圖上所示地，由操作部110、顯示部120、拍攝部130、影像記憶部140、控制部150、記憶部160所構成。
操作部110，由鍵盤等輸入裝置所構成。操作部110，接受來自用戶之處理開始命令等，並傳送至後敘之控制部150。
顯示部120，由液晶顯示器等之顯示裝置所構成。顯示部120，遵從控制部150之控制，顯示各種影像。
拍攝部130，由CCD(Charge Coupled Device Image Sensor)攝影機或CMOS(Complementary Metal Oxide Semiconductor)攝影機等之拍攝裝置所構成。拍攝部130，例如，被設置在顯示部120上部之中央。拍攝部130，係依序地拍攝用戶之手之影像(包含圖像)之同時，附加拍攝時刻在各框架(Frame)上，依序地傳送至影像記憶部140。
影像記憶部140，由RAM(Random Access Memory)等視訊記憶體(Video Memory)所構成。影像記憶部140，記憶由拍攝部130所傳送的影像資料。
控制部150，例如，由處理器等之運算裝置、此運算裝置可以使用作為工作區域之RAM、及記憶程式或初始值之資料之ROM(Read Only Memory)所構成。控制部150，遵從由ROM下載至RAM之程式而動作，執行包含後序之「輸入處理」之種種動作。控制部150，藉由遵從「輸入處理」來動作，而作用為如第5圖中所示地，影像取得部151、移動測出部152、方向比較部153、形狀比較部154、輸入判別部155、傳達部156之功能。然而，關於這些功能，在後序的說明「輸入處理」的地方來闡述。
記憶部160，由DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)、快閃記憶體、及硬碟等之資料可以讀寫之記憶裝置所構成。在記憶部160，儲存著「手勢判別表格」、「命令表格」等之各種資料。
「手勢判別表格」，係為了判別用戶之手勢，亦即用戶之手之軌跡是否符合預先記憶之複數之移動樣式中之任一個之資訊。「移動樣式資訊」，如第6圖中所示地，由關聯「識別資訊」和「特徵資料」之資訊所構成。
「識別資訊」，係用戶之手之移動樣式，為了唯一地識別預先記憶之複數之各個移動樣式之資訊(識別碼)。例如，在第6圖的例子，用戶之手部動作，如第7A圖所示的對於之右迴轉圓周動作，稱為「圓周(右迴轉)」，如第7B圖所示的對於左迴轉之圓周動作，稱為「圓周(左迴轉)」、如第7C圖所示的對於左方向之拂去動作，稱為「直線移動(左方向)」、如第7D圖所示的對於右方向之拂去動作，稱為「直線移動(右方向)」，對於互相不同的手部動作，指定唯一的識別資訊。然而，識別資訊之格式，並不限定於特定的格式。例如，亦可為1、2、3‧‧‧的數值，亦可為A、B、C‧‧‧之符號。
「特徵資料」，係為了特定用戶之手之移動樣式之資訊。特徵資料，例如，由預先萃取出用戶之手描繪的移動軌跡之特徵並儲存的特徵量資料所構成。特徵量資料，預先被記憶在ROM等之記憶裝置，被運用在藉由使用移動向量之樣式辨識之手勢操作的判別等。控制部150，藉由比對用戶之手之軌跡和特徵資料，來判別用戶之手之移動軌跡符合其中哪一個移動樣式。
「命令表格」，係為了判別用戶之手勢操作，符合複數之操作命令中之哪一個之資訊。命令表格，如第6圖中所示，由關連「識別資訊」和「控制命令」之資訊所構成。
「控制命令」，係為了控制機器之控制資訊。「控制命令」，例如，被輸入至音樂播放軟體等之應用軟體或作業系統等之播放、停止，快轉，跳脫、決定、取消、音量變更等之控制資訊。
接著，關於具有如此構造的輸入裝置100之動作，作說明。
控制部150，一旦從操作部110接收處理開始命令，即對拍攝部130下達拍攝開始之命令。一旦拍攝部130被下達拍攝開始之命令，即依序地將拍攝之影像，傳送至影像記憶部140。又，控制部150，一旦從操作部110接收處理開始命令，即執行應用軟體，同時開始為了輸入各種控制資訊至此應用軟體之「輸入處理」。以下，參照第8圖之流程圖，來說明「輸入處理」。
控制部150之影像取得部151，從影像記憶部140，取得拍攝人之手之最新的既定期間份之拍攝影像(例如，如第9圖中所示地，拍攝時刻1時23分40秒50~1時24分00秒50為止之20秒之複數框架之影像資料)(步驟S101)。亦即，控制部150，從影像取得部151，取得拍攝時序不同之複數之拍攝影像。
返回至第8圖之流程，控制部150之移動測出部152，萃取出關於複數框架之每一拍攝影像，反映食指指出狀 態之人之手之區域(以下稱為「手區域」)(步驟S102)。然而，萃取出之手區域，可以是手的形狀本身(例如，第10圖之虛線所圍繞的部分PA)，亦可以是包含手的最小的長方形區域(例如，第10圖之虛線所圍繞的部分PB)。
返回至第8圖之流程，移動測出部152，以各框架之拍攝影像中之手區域之位置變化為基準，判別是否測出移動開始(步驟S103)。一個具體的例子，為移動測出部152，比較在步驟S101取得的複數之拍攝影像之手區域之位置，並以在各框架之手之位置之差(手之移動量)和拍攝時序之差異(時間差)為基準，求得手之移動速度。如此地，以求得的速度為基準，並在以步驟S101取得的影像之既定時間內，來判別用戶之手是否有從停止狀態(手之移動速度在一定速度以下之狀態)轉移至移動狀態(手之移動速度在一定速度以上之狀態)之時間點。在無轉移的時間點之情況下，移動測出部152，判別用戶之手沒轉移至移動狀態(步驟S103：No)，而返回至步驟S101，重複步驟S101~步驟S103，直到測出轉移時間點為止。相反地，在轉移至移動狀態之情況下(步驟S103：Yes)，將轉移至移動狀態之時間點之拍攝時刻(以下，稱為移動開始時間點T1)保存在RAM，並推進至步驟S104。
移動測出部152，以移動開始後之各框架之手區域之位置的變化為基準，在移動開始時間點T1以後之拍攝影像中，判別是否有用戶之手從移動狀態轉移至停止狀態之時間點(步驟S104)。移動測出部152，藉由以手區域之位置之差(手之移動量)和拍攝時序之差異(時間差)為基準，所求得的手之移動 速度，來判別是否有和步驟S103相反的從移動狀態轉移至停止狀態之時間點。其結果，在用戶之手不轉移至停止狀態之情況下(步驟S104：No)，返回至步驟S101，重複步驟S101~步驟S104。在轉移至停止狀態之情況下(步驟S104：Yes)，將轉移至停止狀態之時間點之拍攝時刻(以下，稱為移動停止時間點T2)保存在RAM，並推進至步驟S105。
移動測出部152，從影像記憶部140，取得移動開始時間點T1之拍攝影像和移動停止時間點T2之拍攝影像，保存在RAM(步驟S105)。例如，在步驟S103，如果測出1時23分45秒67為移動開始時間點T1，在步驟S104，測出1時23分46秒67為移動開始時間點T2，則將此2框架(1時23分45秒67之框架和1時23分46秒67之框架)之拍攝影像，保存在RAM。
控制部150之方向比較部153，基於用戶之手之移動開始時間點T1之拍攝影像，來特定對於在移動開始時間點T1之用戶之手之位置之選擇允許區域之方向(步驟S106)。此方向，能夠以例如記憶在RAM之既定區域之選擇允許區域之重心之座標，和在步驟S102所萃取出的手區域之重心，為基準來求得。在選擇允許區域為複數的之時，關於每個選擇允許區域，各自特定其方向。例如，如第11圖所示地，當選擇允許區域有4個時，方向比較部153，亦可特定連結在移動開始時間點T1之手區域之重心位置G1和各選擇允許區域之中心(C 1~4)之連結線的角度(例如，從如圖中上方向之既定之基準方向之順時針角度。以下，說明操作畫面上之角度，在各圖中， 是相同的)，作為選擇允許區域之方向。
返回至第8圖之流程，方向比較部153，比較在步驟S106取得的選擇允許區域之方向，和用戶之手之移動方向。如此地，取得此比較結果，做為表示方向之差異程度之「方向差異度」。然而，用戶之手之移動方向，例如能夠以在步驟S105保存的移動開始時間點T1和移動停止時間點T2之框架之手區域之位置當基準來求得。在選擇允許區域為複數時，關於每個選擇允許區域，各自取得其方向差異度(步驟S107)。例如，方向比較部153，特定連結在移動開始時間點T1之用戶之手之重心位置G1和移動停止時間點T2之用戶之手之重心位置G2之連結線的角度(例如，如第12A圖所示地，圖中上面方向為0°時之角度)。如此地，如第12B圖所示地，算出特定的角度和選擇允許區域之方向之角度之差異，並取得算出的差異中之最小差異值(在第12B圖之例子為17°)，作為方向差異度。一般地，在移動手作為選擇操作的一環之情況下，用戶從移動開始時間點(此例，為移動開始時間點T1)到移動停止時間點(此例，為移動停止時間點T2)為止，使手向任一個選擇允許區域之向移動。另一方面，在手勢操作之情況下，如第3B圖(拂去動作)或第19圖(轉圈動作)，移動方向和朝向從移動開始時間點之選擇允許區域之方向，是無關的。因此，表示用戶之手是否朝向操作畫面上設定的選擇允許區域之任一區域移動之方向差異度，成為表示手之移動是否為選擇操作的一環之可能性之係數。方向差異度愈小，則愈有可能用戶之手往選擇允許區域之任一區域移動。總之，方向差異度愈小，則用戶之手之 移動為選擇操作的一環之確率愈高。相反地，方向差異度愈大，則用戶之手之移動不為選擇操作，而為手勢操作之確率愈高。
返回至第8圖，控制部150之形狀比較部154，比較移動開始時間點的用戶之手的形狀與移動停止時間點的用戶之手的形狀。然後，取得其比較結果，作為表示形狀之變化之程度之「形狀差異度」(步驟S108)。例如，形狀比較部154，比較移動開始時間點T1之手區域之重心位置G1與指尖F1之位置關係，和移動停止時間點T2之手區域之重心位置G2與指尖F2之位置關係，算出形狀差異度。更具體地，形狀比較部154，算出連結移動開始時間點T1之手區域之重心位置G1與指尖F1之連結線之角度，和連結移動停止時間點T2之手區域之重心位置G2與指尖F2之連結線之角度之差(例如，右旋轉之角度和左旋轉之角度之小的一方)，作為形狀差異度。如此被算出之形狀差異度，和往選擇允許區域之任一個之移動是不同的，而成為用戶之手為既定之手勢操作之一環來移動之可能性之指標。一般地，在移動手當作選擇操作之一環之情況下，是因為用戶不使手變形來移動。另一方面，在手勢操作之情況下，如第3B圖(拂去動作)或第19圖(轉圈動作)，比選擇操作時，手會有較大的變形。總之，形狀差異度愈大，用戶之手之移動作為手勢操作的一環之可能性愈高。如第13A圖之例子所示地，在考慮用戶之手部動作為選擇操作之時，形狀差異度為小的值(在第13A圖之例子，345°和347°之差=2°)。如第13圖之例子所示地，在考慮用戶之手部動作，為和選擇 操作不同的手勢操作之時，形狀差異度，比考慮為選擇操作時，為具有較大的值(在第13B圖之例子，328°和83°之差=115°)。
返回至第8圖，控制部150之輸入判別部155，方向差異度和形狀差異度，以既定的加權來加算(步驟S109)。例如，在步驟S107取得的方向差異度為D，在步驟S108取得的形狀差異度為S，方向差異度D和形狀差異度S各自的加權係數為w1、w2，根據以下之(第1式)求得加算值ADD。然而，各加權值，係根據事先實驗而求得的被記憶在ROM之設定值。或者，用戶亦可以匹配自身的操作習慣，來設定。在此，w1和w2之值皆為正值。
ADD=w1 x D+w2 x S‧‧‧(第1式)
輸入判別部155，判別加算後之值(例如，加算值ADD)是否在既定的臨界值以下(步驟S110)。在既定的臨界值以下時(步驟S110：Yes)，將用戶之手部動作，判別為選擇操作，而處理往前進到步驟S111。在不是如此之時(步驟S110：No)，將用戶之手部動作，判別為手勢操作，而輸入判別部155，將處理往前進到步驟S112。此加算值ADD，以表示用戶之手朝向選擇允許區域之任一區域之程度之方向差異度D，和表示用戶之手之形狀變化之大小之形狀差異度S當基準而求得的，而表示為用戶之手部動作為手勢操作，或為選擇動作之一環之係數。在w1和w2為正值的情況下，ADD愈大，則為手勢動作之或然率愈高。因此，求得ADD，在其大小超過臨界值之時，因為判別為手勢動作，所以可以執行按照用戶之意圖之 輸入判別。
在被判定為選擇操作時(步驟S110：Yes)，輸入判別部155，以在步驟S106取得的選擇允許區域之方向、和移動開始時間點T1之用戶之手之重心位置G1、及移動停止時間點T2之用戶之手之重心位置G2當基準，判別是哪一個選擇允許區域被選擇。然後，傳達部156，將輸入判別部155判別的資訊，同時將表示選擇允許區域被選擇之命令，通知應用軟體(步驟S111)。
返回至步驟S110，在被判定為手勢操作時(步驟S110：No)，輸入判別部155，比對從移動開始至移動停止為止之手之重心描繪的移動軌跡，和如第6圖所示的手勢判別表格之特徵資料，來判別用戶之手勢。然後，傳達部156，從命令表格，取得被指定至判別過的手勢(亦即，識別資訊)之控制命令，並將取得的控制命令，傳達至應用軟體(步驟S112)。亦即，傳達部156，將判別後的輸入結果，傳達至作為操作對象之應用。然而，在手勢判別表格上無相應之特徵資料時，傳達部156並不輸入控制命令，而照舊地結束步驟S112。
如果輸入結束後，控制部150，返回至步驟S101，再重複步驟S101~步驟S111之處理。
如以上所說明地，使用用戶之手之形狀之變化之資訊，來判別用戶之手部動作，所以本實施例之輸入裝置100，能夠更精確地判別用戶之手部動作為選擇操作或手勢操作。例如，如第13A圖和第13B圖上所示地，用戶之手即使同樣地往選擇允許區域之方向移動，藉由使用用戶之手之形狀之變化 之資訊，亦能夠判別第13A圖之情況為「選擇操作」、第13B圖之情況為「手勢操作」。因此，輸入裝置100，除了選擇操作外，亦可以同時辨識手勢操作，其結果，輸入裝置100能夠實現各種各樣變化的輸入操作，對用戶而言，能提高輸入之便利性。
又，因為除了手之形狀之變化，亦使用手之移動方向之資訊，來判別用戶之動作，所以輸入裝置100，能夠更精確地判別用戶之手部動作為選擇操作或手勢操作。例如，如第14圖上所示地，即使在因移動而手之形狀不太變化之情況下，亦能夠將不朝向選擇允許區域移動之用戶之手部動作，不判別為「選擇操作」，而判別為「手勢操作」。
[第二實施例]
實施例1之輸入裝置100，以移動開始時間點和移動停止時間點之手之形狀之變化為基準，判別用戶之輸入為選擇操作或手勢操作。代替此方法，以遵循從移動開始到移動停為止之手之形狀之時間序列之階段性、或連續性的變化當基準，來判別用戶之輸入之構造，亦有其效果。在本實施例，公開以遵循手之形狀之時間序列之階段性、或連續性的變化當基準，來判別用戶之輸入之輸入裝置。
實施例2之輸入裝置100，和實施例1同樣地，如第4圖所示地，由操作部110、顯示部120、拍攝部130、影像記憶部140、控制部150、及記憶部160所構成。
在本實施例之輸入裝置100，於記憶部160，確保如第15圖所示地，可以保存複數框架分(例如3框架分)之影像 資料之FIFO(First In First Out)形式之記憶區域(以下，稱作FIFO佇列)。在各框架分之記憶區域中，記憶現時間點(最新)之拍攝手之拍攝影像、只在時間T前之拍攝影像n-2、只在時間2T前之拍攝影像n-3‧‧‧。控制部150，以時間間隔T，從影像記憶部140，取得最新1框架分之影像資料，並將取得的影像資料排列在FIFO佇列。結果，在每個時間T，新的拍攝影像被記憶在FIFO佇列，而在目前被記憶的拍攝影像中，取走最先被排列進去之拍攝影像(在第15圖，拍攝影像n-4)。然而，在以下之說明，被保存在FIFO佇列之拍攝影像，以從舊到新的順序，依序稱為影像資料A、影像資料B、影像資料C。然而，在控制部150，從影像記憶部140取得影像之時間間隔T，並不限定於特定的間隔，而可以任意的設定。例如，以工廠出貨時之設定或用戶的設定操作當基準，可為1秒間隔，亦可為1框架間隔。
輸入裝置100之其他部分，發揮和實施例1同名之各部位之同樣功能。
接著，說明關於實施例2之輸入裝置100之動作。
控制部150，一旦從操作部110接收處理開始命令，即對拍攝部130下達拍攝開始之命令。拍攝部130一旦被下達拍攝開始之命令，依序地將拍攝影像，傳送至影像記憶部140。又，控制部150一旦從操作部110接收處理開始命令，即執行應用軟體，同時開始為了將各種控制資訊輸入至此應用軟體之「輸入處理」。以下，參照第16圖之流程圖，關於「輸入處理」作說明。
移動測出部152，例如使用和實施例1之步驟S103同樣的手法，判別用戶之手是否從停止狀態轉移到移動狀態(步驟S201)。在不轉移至移動狀態時(步驟S201：No)，重複步驟S201直到轉移至移動狀態為止。在轉移至移動狀態時(步驟S201：Yes)，則推進至步驟S202。
影像取得部151，判斷控制部150是否更新FIFO佇列之內容，亦即，從上次FIFO佇列更新時，是否經過了時間T(步驟S202)。在FIFO佇列不被更新時，或在用戶之手轉移至移動狀態後，開始執行步驟S202之時(步驟S202：No)，重複步驟S202直到FIFO佇列被更新為止。在FIFO佇列被更新之時(步驟S202：Yes)，推進至步驟S203。
方向比較部153，特定每時間間隔T之用戶之手之移動方向之變化。更具體地說，方向比較部153，比較由影像A和影像B所特定的時間2T前到時間T前為止之用戶之手之移動(以下，稱為「前時間點之移動方向」)，和影像B和影像C所特定的時間T前到現時間點為止之用戶之手之移動(以下，稱為「現時間點之移動方向」)。然後，取得此比較結果，作為表示前時間點和現時間點之移動方向之差異程度之「方向差異度」(步驟S203)。例如，方向比較部153，如第17A圖所示地，特定連結影像A之時間點之用戶之手之重心位置GA和在影像B之時間點之用戶之手之重心位置GB之連結線之角度(圖中之例，為88°)，作為前時間點之移動方向。又，特定連結影像B之時間點之用戶之手之重心位置GB和在影像C之時間點之用戶之手之重心位置GC之連結線之角度(圖中之例，為 96°)，作為現在時間點之移動方向。如此地，取得特定的2個角度差，當作方向差異度D。，然而，在以下之說明，為了容易理解，於方向差異度D上，如第18圖所示地，移動測出後，在取得順序上附上號碼，成為D0、D1、D2‧‧‧。(以下，表現為Di：i=0，1，2，3，‧‧‧)。一般地，在移動手作為選擇操作之一環時，用戶從移動開始時間點到移動停止時間點為止，不改變方向而使手移動。所以各期間之方向差異度D或其累積加算值愈小，則其手之移動成為選擇操作之一環之或然率愈高。相反地，累積加算值愈大，則其手之移動成為和選擇操作不同之手勢操作之或然率愈高。
返回至第16圖之流程，形狀比較部154，特定每一定時間間隔T之用戶之手之形狀之變化。更具體地說，形狀比較部154，比較影像B之時間點之用戶之手之形狀(以下，稱作「前時間點之形狀」)和影像C之時間點之用戶之手之形狀(以下，稱作「現時間點之形狀」)。然後取得此比較結果，做為表示形狀變化之程度之「形狀差異度」(步驟S204)。例如，如第17(B)圖所示地，形狀比較部154，算出連結影像B之時間點之手區域之重心位置GB和指尖FB之連結線之角度(在圖例，為351°)，和連結影像C之時間點之手區域之重心位置GC和指尖FC之連結線之角度(在圖例，為53°)之差，作為形狀差異度S。然而，在以下之說明，為了容易理解，於形狀差異度S上，如第18圖所示地，移動測出後，在取得順序上附上號碼，成為S0、S1、S2‧‧‧。(以下，表現為Si：i=0，1，2，3，‧‧‧)。一般地，在移動手作為選擇操作之一環時，用戶 從移動開始時間點(在此例，為移動開始時間點T1)到移動停止時間點(在此例，為移動停止時間點T2)為止，不改變手的形狀而使手移動。所以各期間之形狀差異度S或其累積加算值愈小，則其手之移動成為選擇操作之一部分之或然率愈高。相反地，形狀差異度S之累積加算值愈大，則其手之移動成為和選擇操作不同之手勢操作之或然率愈高。
返回至第16圖，輸入判別部155，以既定的加權，加算方向差異度Di和形狀差異度Si(步驟S205)。例如，方向差異度Di和形狀差異度Si各自的加權係數為w1、w2，根據以下之(第2式)來求得加算值ADDi(i=0，1，2，3，‧‧‧)。然而，各加權值，係根據事先實驗而求得的被記憶在ROM之設定值。或者，用戶可以匹配自身的操作習慣，來設定。在此，w1和w2之值皆為正值。
ADDi=w1 x Di+w2 x Si‧‧‧(第2式)
輸入判別部155，將在移動開始測出後取得的加算值ADD之全部，累積加算(步驟S206)。例如，輸入判別部155，把最近算出之加算值，當作ADDn，從以下之(第3式)，求得累積值ACC。
ADC=ADD0+ADD1+‧‧‧+ADDn‧‧‧(第3式)
輸入判別部155，判別累積值ACC是否在既定的臨界值以上(步驟S207)。在累積值ACC在既定的臨界值以上時(步驟S207：Yes)，輸入判別部155，判別用戶之輸入為手勢操作，推進至步驟S208。否則(步驟S207：No)，推進至步驟S210。此累積值ACC，從移動開始時間點T1到移動停止時間 點T2為止，以用戶變更手之移動方向之程度和變更手之形狀(角度)之程度當基準而求得的，而表示為用戶的手部動作是為了手勢操作，或是選擇動作之一環之係數。在w1和w2之值為正值時，ACC愈大，則為手勢操作之或然率愈高。因此，求得ACC，在其大小超越臨界值之時，因判別為手勢操作，所以可以執行按照用戶之意圖之輸入判別。
在累積值ACC在既定的臨界值以上時(步驟S207：Yes)，移動測出部152，使用例如和實施例1之步驟S104同樣的手法，判別用戶之手是否從移動狀態轉移至停止狀態(步驟S208)。在不轉移至停止狀態時(步驟S208：No)，重複步驟S208，直到轉移至停止狀態為止。在轉移至停止狀態時(步驟S208：Yes)，則推進至步驟S209。
輸入判別部155，比對從移動開始至移動停止之手之重心描繪的移動軌跡，和第6圖所示之手勢判別表格之特徵資料，來判別用戶之手勢。接著，傳達部156將指定至判別之手勢之控制命令，從命令表格取得，並輸入至應用軟體(步驟S209)。
返回至第16圖之步驟S207，在累積值ACC在未達既定的臨界值時(步驟S207：No)，移動測出部152使用例如和實施例1之步驟S104同樣的手法，判別用戶之手是否從移動狀態轉移至停止狀態(步驟S210)。在不轉移至停止狀態(步驟S210：No)時，控制部150返回至步驟S202，而重複步驟S202~步驟S210。在轉移至停止狀態時(步驟S210：Yes)，則推進至步驟S211。
輸入判別部155，使用例如和實施例1之步驟S111同樣的手法，來判別哪一個選擇允許區域被選擇。然後，將傳達部156表示選擇允許區域被選擇之資訊(控制信號)，通知應用軟體(步驟S211)。
如以上說明的，根據本實施例，不只使用移動開始時間點或移動停止時間點之手之形狀，亦使用移動中之手之形狀或方向變化之資訊，來判別用戶之輸入。一般地，在手移動作為選擇操作之一環時，用戶從移動開始時間點到移動停止時間點為止，並不太改變移動方向而使手移動。或不改變手的形狀而使手移動。另一方面，在手勢動作時，如第3B圖(拂去動作)或第19圖(轉圈動作)，是改變移動方向或手的形狀來移動手。但是，即使是手勢動作，亦有例如第19圖所示地，移動開始時間點T1之手之形狀和移動停止時間點T2之手之形狀為相同形狀，移動方向亦為朝向選擇允許區域之方向之情形。上述實施例之輸入裝置100，在如此的情況下，亦能夠適當地判別選擇操作或是手勢操作，所以有高的判別精度。
然而，上述之各實施例為一個範例，而可以有各種的變更及應用。
例如，在上述之各實施例中，輸入裝置100，以手之移動方向和手之形狀之變化資訊當基準，來判別用戶之輸入，但是亦可不使用移動方向之資訊而只使用形狀之變化當基準，來判別用戶之輸入。例如，如果是實施例1之範例，輸入判別部155，亦可在步驟S108取得的形狀差異度S在既定的臨界值以下時，將用戶之手部動作判別為選擇操作，如果不是 在既定的臨界值以下時，則將用戶之手部動作判別為手勢操作。又，如果是實施例2之範例，輸入判別部155，亦可不以加算值ADD0~ADDn為止之累積加算值，而以形狀差異度S0~Sn為止之累積值當基準，來判別用戶之輸入。又，亦可代替累積加算值，使用形狀差異度S0~Sn之平均值。
又，在步驟S107或步驟S203，以表示取得移動方向之差異之程度之「方向差異度」來構成。除此之外，方向比較部153，亦可以取得表示選擇允許區域之方向和用戶之手之移動方向之一致的程度，或以表示現時間點之移動方向和前時間點之移動方向之一致的程度之「方向一致度」來代替。
此時，方向比較部153，亦可將移動距離加至用戶之手之移動方向，而算出方向一致度。例如，方向比較部153，以在步驟S106取得的選擇允許區域之方向，和移動開始時間點之用戶之手之位置當基準，創建階段性地設定區域的方向比較圖(例如，如第20A圖所示，階段性地設定具有連結移動開始時間點T1之用戶之手之重心位置G1和各選擇允許區域之中心之連結線上的作為對角線之矩形之區域A~E)。如此地，方向比較部153，將從用戶之手之重心位置離開之大致區域之大小值，指定至各區域。方向比較部153，取得指定至位於移動停止時間點T2之用戶之手之重心位置G2之區域(第20B圖之例，為區域C)之值，作為方向一致度。亦即，靠近選擇允許區域之位置上大約一致方向上，使容易被判別為選擇操作地，來設定加權值。如果藉由如此的構造，則可以實現精確度高的輸入判別。
又，在步驟S108或步驟S204，以取得表示手之形狀變化之程度之「形狀差異度」來構成，但是，形狀比較部154，亦可是以取得表示移動開始時間點T1之手之形狀和移動停止時間點T2手之形狀一致的程度，或表示前時間點之手之形狀和現時間點之手之形狀一致的程度之「形狀一致度」來構成。此時，形狀一致度愈高，則使手之移動愈容易被判定成選擇操作之一環，來設定加權值。
又在步驟S109或步驟S205，以方向差異度(方向差異度D或Di)和形狀差異度(形狀差異度S或S i)，用既定的加權加算，求得加算值，並基以此加算值，來判別用戶之手部動作為選擇操作或手勢操作所構成。除此之外，輸入判別部155，亦可以基於方向一致度和形狀一致度，用既定的加權來加算後的值，來判別用戶之手部動作為選擇操作或手勢操作。
又，輸入裝置100，在操作畫面上，顯示指示理想的手勢操作之手之啟動之指引(Guide)之構造，作為支援手勢操作之構造，有其效果。例如，如第21A圖之RA或RB，輸出指導理想的手部動作之帶狀之半透明之指導顯示給用戶。此時，控制部150，亦可包括沿著指導顯示，輸出可以辨認之用戶之手描繪的移動軌跡之功能之反饋(Feedback)部。例如，反饋部，在用戶之手靠近指導顯示之帶狀並沿著帶狀移動時，如第21A圖所示，顯示對應至用戶之手之位置，而沿著帶狀移動之星狀之光跡。又，反饋部，亦可按照手之移動為手勢操作之程度內，變更指引之顯示樣式，作為更近一步之輸入支援。此時，例如，以在步驟S206算出的累積值ACC之值之變化當基 準，使指導顯示之透明度隨時作變化。具體地，反饋部，如第21B圖之RC，累積值ACC之值越大，指導顯示之透明度越低。藉由如此的構造，對用戶而言，能夠知道被判別為手勢操作。
又，在上述實施例，於步驟S109或步驟S205，以連結手之重心位置和指尖之連結線之角度之變化為基準，求得手之形狀之變化(形狀差異度)。除此之外，形狀比較部154，亦可以手之重心位置和指尖之距離為基準，來捕捉手之形狀之變化。形狀比較部154，如第22圖所示，亦可算出移動開始時間點T1或前時間點之手之重心位置和指尖之距離L1，和移動停止時間點T 2或現時間點之手之重心位置和指尖之距離L2之差，作為形狀差異度。在形狀差異度之計算上，又可使用連結手之重心位置和指尖之連結線之角度之變化之資訊。藉由如此的構造，能夠更精確地捕捉到手之形狀之變化。
又，形狀比較部154，亦可以手之移動距離當基準，來補正算出形狀差異度或形狀一致度。例如，形狀比較部154，算出從前時間點之手之重心位置到現時間點之手之重心位置為止的距離，作為手之移動距離，使算出之移動距離愈大，則形狀差異度愈小地，又使移動距離愈大，形狀一致度愈大地，來補正算出的形狀差異度和形狀一致度。例如，亦可以形狀差異度除以移動距離，成為新的形狀差異度。或亦可以形狀一致度乘以移動距離，成為新的形狀一致度。例如，如第23A圖所示地，在移動距離大之時(亦即，手之移動速度快之時)，即使有多少角度之變化，亦能夠捕捉到手之形狀之微小變化。相反地，如第23B圖所示地，在移動距離小之時(亦即，手之移動 速度慢之時)，即使角度變化很小，亦能夠捕捉到手之形狀之大變化。藉由如此的構造，以移動速度和手之形狀之變化之總和的評估值為基準之判別處理，能夠提升輸入判別之系統。
又，在上述實施例，傳達部156，以將判別後之控制命令傳達至應用軟體來構成。但是，成為傳達以輸入之判別結果當基準之控制命令之對象之軟體，並不限定於應用軟體。輸入判別部155，亦可將判別後之控制命令，例如，輸入至作業系統。又，亦可以是判別後之控制命令，透過通信線或無線，輸入至輸入裝置100以外的其它裝置的構造。亦即，輸入裝置，和執行作為操作處理之應用或作業系統之裝置，可以在另外不同的地方。此時，可以不將判別後之輸入傳達至同一裝置之應用，而設置透過並列埠或USB(universal Serial Bus)端子，將輸入結果，傳達至執行應用之其他裝置之輸出裝置，作為傳達部。
又，在上述實施例，表示個人電腦，作為輸入裝置100之一個範例，但輸入裝置100並不限定於個人電腦，亦可以是包括判別來自用戶之輸入之其他種類的電器機器。例如，輸入裝置100亦可是電視、錄影機、電玩、固定電話機、攜帶電話機、智慧型手機、平板終端機、PDA(Personal Digital Assistant)等。
本實施例之輸入裝置100，亦可藉由專用的系統來實現，亦可藉由平常的電腦系統來實現。例如藉由將為了執行上述動作的程式，分配儲存在電腦可以讀取之記憶媒體，並將上述程式安裝在電腦，以執行上述之處理，來構成輸入裝置 100。又，事先儲存在網際網路等網路上之伺服器包括之磁碟裝置，例如亦能夠下載至電腦。又上述之功能，亦可藉由OS和應用軟體，共同來實現。此時，亦可只有OS以外的部分，分配儲存在媒體，又亦可下載至電腦等。
上述記錄程式之記憶媒體，能夠使用USB記憶體、軟碟機、CD(Compact Disc)、DVD(Digital Versatile Disc)、Blu-Ray(註冊商標)Disc、MO(Magneto-Optical disk)、SD記憶卡(Secure Digital memory card)、Memory Stick(註冊商標)、其他、磁碟、光碟、光磁碟、半導體記憶體，磁帶等之電腦可以讀取的非暫時性之記憶媒體。又，亦可以將電腦程式重疊在載波，透過通信網路來傳遞上述電腦程式。例如，將上述電腦程式，揭示在通信網路上之佈告欄(BBS：Bulletin Board System)，透過網路，傳遞上述電腦程式。如此地，亦可以是能夠藉由執行上述電腦程式，來實現輸入裝置100之各功能之構造。
本發明，並無脫離本發明之廣義之精神和範圍，而可以有各種各樣的實施例或變形。又，上述之實施例，是為了說明本發明，但並不限定本發明之範圍。亦即，本發明之範圍，不藉由實施例，而是藉由申請專利範圍來表示。如此，申請專利範圍內及其同等之發明的意義之範圍內所實施的各樣的變形，皆視為在本發明之範圍內。
上述之實施例之一部分或全部，能夠被記載在如以下所述之附記，但不限定於以下附記所記載的。
(附記1)
一種輸入裝置，係以對應連結至定義選擇允許區域之操作畫面之拍攝影像中之用戶之手部動作當基準，來判別用戶之輸入之輸入裝置，其包括輸入判別裝置，以在因上述手部移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作。
(附記2)
如附記1所述的輸入裝置，其中上述輸入判別裝置，以在上述複數之拍攝影像，因上述手移動的方向和上述移動產生的上述手之形狀之變化當基準，來判別用戶之輸入為上述選擇允許區域之選擇動作或手勢動作。
(附記3)
如附記2所述的輸入裝置，又包括移動測出裝置，測出上述手之移動開始時間點以及移動停止時間點，其中，上述輸入判別裝置，以比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀而特定的上述手之形狀之變化，和上述移動開始時間點之上述手之位置與上述移動停止時間點之上述手之位置當基準而特定的上述手之移動方向，當基準，來判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作。
(附記4)
如附記2所述的輸入裝置，又包括移動測出裝置，測出上述手之移動開始時間點以及移動停止時間點， 其中，上述輸入判別裝置，以比較從上述移動開始時間點到移動停止時間點之每一既定時間間隔之上述手之形狀之變化，和從上述移動開始時間點到移動停止時間點之上述每一既定時間間隔之上述手之移動方向之變化，當基準，來判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作。
(附記5)
如附記3所述的輸入裝置，又包括：形狀比較裝置，比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀，算出表示形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及方向比較裝置，以上述移動開始時間點之上述手之位置與上述移動停止時間點之上述手之位置當基準，來特定上述手之移動方向，並特定以上述移動開始時間點之上述手之位置當基準之上述選擇允許區域之方向，比較特定的上述手之移動方向和特定的上述選擇允許區域之方向，算出表示方向之差異之程度之方向差異度與表示一致之程度之方向一致度；其中，上述輸入判別裝置，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度，而以該加算值當基準，判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作。
(附記6)
如附記4所述的輸入裝置，又包括：形狀比較裝置，在每一上述既定時間間隔，比較現時間點之上述手之形狀和上述既定時間前之上述手之形狀，算出表示 形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及方向比較裝置，在每一上述既定時間間隔，比較現時間點之移動方向和前時間點之移動方向，算出表示方向之差異之程度之方向差異度和表示一致之程度之方向一致度；其中，上述輸入判別裝置，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度；將上述移動開始時間點當作累積開始時間點，在每個上述既定時間間隔，累積加算上述加算之值；在上述累積加算值超過既定之臨界值之時，將用戶之輸入，判別為手勢操作，而在上述移動停止時間點為止，或上述累積開始後之預先決定之時間內，上述累積加算值不超過既定之臨界值之時，將用戶之輸入，判別為上述選擇允許區域之選擇操作。
(附記7)
如附記6所述的輸入裝置，上述之手，係手指指出之狀態之用戶之手；其中，上述形狀比較裝置，比較上述前時間點之上述手之重心位置與指尖之位置關係，和上述既定時間前之上述手之重心位置與指尖之位置關係，算出上述形狀差異度與上述形狀一致度。
(附記8)
如附記6及7所述的輸入裝置，其中，在上述操作畫面上， 對用戶顯示理想的指導上述之手之移動軌跡之帶狀之半透明之指導顯示；其又包括反饋部，沿著上述指導顯示，可以視覺識別地輸出上述手描繪的移動軌跡，同時以上述累積算出值當基準，使指導顯示之透明度隨時變化。
(附記9)
一種輸入方法，係以對應連結至顯示成為選擇操作之對象之選擇允許區域之操作畫面之拍攝影像中之用戶之手部動作當基準，來判別用戶之輸入之輸入方法，其中，以因上述手部移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作。
(附記10)
一種記憶媒體，係記憶程式之電腦可以讀取的非暫時性的記憶媒體，其中，上述程式，使以對應連結至顯示選擇允許區域之操作畫面之拍攝影像中之用戶之手部動作當基準，來控制判別用戶之輸入之輸入裝置之電腦，實現因上述手部移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或和上述選擇操作不同之手勢操作之輸入判別功能。
本發明，以在2012年8月17日所申請的日本國專利申請2012-181223號為基準。本說明書中，係參照日本國專利申請2012-181223號之說明書、申請專利範圍、全體圖面， 整合而成的說明書
[產業上之利用可能性]
本發明，能夠利用在以拍攝用戶之手之影像為基準判別用戶之輸入之輸入裝置。
100‧‧‧輸入裝置
110‧‧‧操作部
120‧‧‧顯示部
130‧‧‧拍攝部

Claims (8)

  1. 一種輸入裝置，以對應連結至定義選擇允許區域之操作畫面之拍攝影像中之用戶之手動作當基準，來判別用戶之輸入，其特徵在於：包括輸入判別裝置，以在因上述手移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作，其中上述輸入判別裝置，以在上述複數之拍攝影像，因上述手移動的方向和上述移動產生的上述手之形狀之變化當基準，來判別用戶之輸入為上述選擇允許區域之選擇動作或手勢動作；移動測出裝置，測出上述手之移動開始時間點以及移動停止時間點，其中上述輸入判別裝置，以比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀而特定的上述手之形狀之變化，和上述移動開始時間點之上述手之位置與上述移動停止時間點之上述手之位置當基準而特定的上述手之移動方向，當基準，來判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作；形狀比較裝置，比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀，算出表示形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及方向比較裝置，以上述移動開始時間點之上述手之位置與 上述移動停止時間點之上述手之位置當基準，來特定上述手之移動方向，並特定以上述移動開始時間點之上述手之位置當基準之上述選擇允許區域之方向，比較特定的上述手之移動方向和特定的上述選擇允許區域之方向，算出表示方向之差異之程度之方向差異度和表示一致之程度之方向一致度；其中，上述輸入判別裝置，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度，而以該加算值當基準，判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作。
  2. 一種輸入裝置，以對應連結至定義選擇允許區域之操作畫面之拍攝影像中之用戶之手動作當基準，來判別用戶之輸入，其特徵在於：包括輸入判別裝置，以在因上述手移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作，其中上述輸入判別裝置，以在上述複數之拍攝影像，因上述手移動的方向和上述移動產生的上述手之形狀之變化當基準，來判別用戶之輸入為上述選擇允許區域之選擇動作或手勢動作；移動測出裝置，測出上述手之移動開始時間點以及移動停止時間點，其中，上述輸入判別裝置，以從上述移動開始時間點到上述移動停止時間點之每一既定時間間隔之上述 手之形狀之變化，和從上述移動開始時間點到上述移動停止時間點之上述每一既定時間間隔之上述手之移動方向之變化，當基準，來判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作；形狀比較裝置，在每一上述既定時間間隔，比較現時間點之上述手之形狀和上述既定時間前之上述手之形狀，算出表示形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及方向比較裝置，在每一上述既定時間間隔，比較現時間點之移動方向和前時間點之移動方向，算出表示方向之差異之程度之方向差異度和表示一致之程度之方向一致度；其中，上述輸入判別裝置，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度；將上述移動開始時間點當作累積開始時間點，在每一上述既定時間間隔，累積加算上述加算之值；在上述累積加算值超過既定之臨界值之時，將用戶之輸入，判別為手勢操作，而在上述移動停止時間點為止，或上述累積開始後之預先決定之時間內，上述累積加算值不超過既定之臨界值之時，將用戶之輸入，判別為上述選擇允許區域之選擇操作。
  3. 如申請專利範圍第2項所述的輸入裝置，上述之手係手指指出之狀態之用戶之手；其中，上述形狀比較裝置，比較上述現時間點之上述手之 重心位置與指尖之位置關係，和上述既定時間前之上述手之重心位置與指尖之位置關係，算出上述形狀差異度與上述形狀一致度。
  4. 如申請專利範圍第2或3項所述的輸入裝置，其中，在上述操作畫面上，對用戶顯示理想的指導上述之手之移動軌跡之帶狀之半透明之指導顯示；其又包括反饋部，沿著上述指導顯示，可以視覺辨認地輸出之上述手描繪的移動軌跡，同時以上述累積算出值當基準，使指導顯示之透明度隨時變化。
  5. 一種輸入方法，以對應連結至顯示成為選擇操作之對象之選擇允許區域之操作畫面之拍攝影像中之用戶之手動作當基準，來判別用戶之輸入，其特徵在於：以因上述手移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作，其中在上述複數之拍攝影像，因上述手移動的方向和上述移動產生的上述手之形狀之變化當基準，來判別用戶之輸入為上述選擇允許區域之選擇動作或手勢動作；測出上述手之移動開始時間點以及移動停止時間點，比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀而特定的上述手之形狀之變化，和上述移動開始時間點之上述手之位置與上述移動停止時間點之上述手之位置當基準而特定的上述手之移動方向當基準， 來判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作；比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀，算出表示形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及以上述移動開始時間點之上述手之位置與上述移動停止時間點之上述手之位置當基準，來特定上述手之移動方向，並特定以上述移動開始時間點之上述手之位置當基準之上述選擇允許區域之方向，比較特定的上述手之移動方向和特定的上述選擇允許區域之方向，算出表示方向之差異之程度之方向差異度和表示一致之程度之方向一致度；其中，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度，而以該加算值當基準，判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作。
  6. 一種輸入方法，以對應連結至顯示成為選擇操作之對象之選擇允許區域之操作畫面之拍攝影像中之用戶之手動作當基準，來判別用戶之輸入，其特徵在於：以因上述手移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或是和上述選擇操作不同之手勢操作，其中在上述複數之拍攝影像，因上述手移動的方向和上述移動產生的上述手之形狀之變化當基準，來判別用戶之輸入為 上述選擇允許區域之選擇動作或手勢動作；以及測出上述手之移動開始時間點以及移動停止時間點，其中，上述輸入判別裝置，以從上述移動開始時間點到上述移動停止時間點之每一既定時間間隔之上述手之形狀之變化，和從上述移動開始時間點到上述移動停止時間點之上述每一既定時間間隔之上述手之移動方向之變化當基準，來判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作；在每一上述既定時間間隔，比較現時間點之上述手之形狀和上述既定時間前之上述手之形狀，算出表示形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及在每一上述既定時間間隔，比較現時間點之移動方向和前時間點之移動方向，算出表示方向之差異之程度之方向差異度和表示一致之程度之方向一致度；其中，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度；將上述移動開始時間點當作累積開始時間點，在每一上述既定時間間隔，累積加算上述加算之值；在上述累積加算值超過既定之臨界值之時，將用戶之輸入，判別為手勢操作，而在上述移動停止時間點為止，或上述累積開始後之預先決定之時間內，上述累積加算值不超過既定之臨界值之時，將用戶之輸入，判別為上述選擇允許區域之選擇操作。
  7. 一種記憶程式之電腦可以讀取的非暫時性的記憶媒體， 其特徵在於：上述程式，使以對應連結至顯示選擇允許區域之操作畫面之拍攝影像中之用戶之手動作當基準，來控制判別用戶之輸入之輸入裝置之電腦，實現因上述手移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或和上述選擇操作不同之手勢操作之輸入判別功能，其中在上述複數之拍攝影像，因上述手移動的方向和上述移動產生的上述手之形狀之變化當基準，來判別用戶之輸入為上述選擇允許區域之選擇動作或手勢動作；測出上述手之移動開始時間點以及移動停止時間點，比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀而特定的上述手之形狀之變化，和上述移動開始時間點之上述手之位置與上述移動停止時間點之上述手之位置當基準而特定的上述手之移動方向當基準，來判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作；比較上述移動開始時間點之上述手之形狀與上述移動停止時間點之上述手之形狀，算出表示形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及以上述移動開始時間點之上述手之位置與上述移動停止時間點之上述手之位置當基準，來特定上述手之移動方向，並特定以上述移動開始時間點之上述手之位置當基準之上述選擇允 許區域之方向，比較特定的上述手之移動方向和特定的上述選擇允許區域之方向，算出表示方向之差異之程度之方向差異度和表示一致之程度之方向一致度；其中，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度，而以該加算值當基準，判別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作。
  8. 一種記憶程式之電腦可以讀取的非暫時性的記憶媒體，其特徵在於：上述程式，使以對應連結至顯示選擇允許區域之操作畫面之拍攝影像中之用戶之手動作當基準，來控制判別用戶之輸入之輸入裝置之電腦，實現因上述手移動產生的複數的上述拍攝影像之上述手之形狀之變化當基準，來判別用戶的輸入為上述選擇允許區域之選擇操作，或和上述選擇操作不同之手勢操作之輸入判別功能，其中在上述複數之拍攝影像，因上述手移動的方向和上述移動產生的上述手之形狀之變化當基準，來判別用戶之輸入為上述選擇允許區域之選擇動作或手勢動作；以及測出上述手之移動開始時間點以及移動停止時間點，其中上述輸入判別裝置，以從上述移動開始時間點到上述移動停止時間點之每一既定時間間隔之上述手之形狀之變化，和從上述移動開始時間點到上述移動停止時間點之上述每一既定時間間隔之上述手之移動方向之變化當基準，來判 別用戶之輸入為上述選擇允許區域之選擇操作或手勢操作；在每一上述既定時間間隔，比較現時間點之上述手之形狀和上述既定時間前之上述手之形狀，算出表示形狀之差異之程度之形狀差異度和表示一致之程度之形狀一致度；以及在每一上述既定時間間隔，比較現時間點之移動方向和前時間點之移動方向，算出表示方向之差異之程度之方向差異度和表示一致之程度之方向一致度；其中，以既定的加權，加算上述形狀差異度與上述形狀一致度，和上述方向差異度與上述方向一致度；將上述移動開始時間點當作累積開始時間點，在每一上述既定時間間隔，累積加算上述加算之值；在上述累積加算值超過既定之臨界值之時，將用戶之輸入，判別為手勢操作，而在上述移動停止時間點為止，或上述累積開始後之預先決定之時間內，上述累積加算值不超過既定之臨界值之時，將用戶之輸入，判別為上述選擇允許區域之選擇操作。
TW102129418A 2012-08-17 2013-08-16 An input device, an input method, and storage medium TWI543018B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012181223A JP5665140B2 (ja) 2012-08-17 2012-08-17 入力装置、入力方法、及びプログラム

Publications (2)

Publication Number Publication Date
TW201423482A TW201423482A (zh) 2014-06-16
TWI543018B true TWI543018B (zh) 2016-07-21

Family

ID=50286613

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102129418A TWI543018B (zh) 2012-08-17 2013-08-16 An input device, an input method, and storage medium

Country Status (10)

Country Link
US (1) US9753545B2 (zh)
EP (1) EP2887318A4 (zh)
JP (1) JP5665140B2 (zh)
KR (1) KR101624215B1 (zh)
CN (1) CN104584080B (zh)
CA (1) CA2882004A1 (zh)
HK (1) HK1207192A1 (zh)
IL (1) IL237225A0 (zh)
TW (1) TWI543018B (zh)
WO (1) WO2014027666A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
JP6178741B2 (ja) * 2013-09-24 2017-08-09 京セラドキュメントソリューションズ株式会社 電子機器
US9996638B1 (en) * 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
WO2015125213A1 (ja) * 2014-02-18 2015-08-27 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
JP6579866B2 (ja) * 2015-08-31 2019-09-25 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
JP6650595B2 (ja) * 2015-09-24 2020-02-19 パナソニックＩｐマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
EP3182250B1 (en) * 2015-12-18 2019-10-30 Aptiv Technologies Limited System and method for monitoring 3d space in front of an output unit for the control of the output unit
US10025376B2 (en) 2016-04-27 2018-07-17 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
EP3377962A1 (en) * 2016-04-27 2018-09-26 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
JP2018005815A (ja) * 2016-07-08 2018-01-11 大日本印刷株式会社 入力システム及びその入力装置
US10162422B2 (en) * 2016-10-10 2018-12-25 Deere & Company Control of machines through detection of gestures by optical and muscle sensors
JP6719434B2 (ja) * 2017-09-25 2020-07-08 Kddi株式会社 機器制御装置、機器制御方法及び機器制御システム
JP6958951B2 (ja) * 2018-03-02 2021-11-02 Ｎｅｃソリューションイノベータ株式会社 操作推定装置、操作推定方法、及びプログラム
CN111062312B (zh) * 2019-12-13 2023-10-27 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
JP7489048B2 (ja) * 2020-06-01 2024-05-23 国立研究開発法人産業技術総合研究所 ジェスチャ認識装置、システム及びそのプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5239328B2 (ja) 2007-12-21 2013-07-17 ソニー株式会社 情報処理装置及びタッチ動作認識方法
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
JP5114795B2 (ja) 2010-01-29 2013-01-09 島根県 画像認識装置および操作判定方法並びにプログラム
IL204436A (en) * 2010-03-11 2016-03-31 Deutsche Telekom Ag A system and method for remote control of online TV by waving hands
JP2011204019A (ja) * 2010-03-25 2011-10-13 Sony Corp ジェスチャ入力装置、ジェスチャ入力方法およびプログラム
JPWO2011142317A1 (ja) * 2010-05-11 2013-07-22 日本システムウエア株式会社 ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
JP2011248606A (ja) 2010-05-26 2011-12-08 Canon Inc 表示制御装置および表示制御方法
US9262015B2 (en) 2010-06-28 2016-02-16 Intel Corporation System for portable tangible interaction
CN102236414A (zh) * 2011-05-24 2011-11-09 北京新岸线网络技术有限公司 三维显示空间中的图片操作方法和系统

Also Published As

Publication number Publication date
US20150234469A1 (en) 2015-08-20
US9753545B2 (en) 2017-09-05
TW201423482A (zh) 2014-06-16
WO2014027666A1 (ja) 2014-02-20
KR20150034258A (ko) 2015-04-02
EP2887318A4 (en) 2016-04-27
JP2014038527A (ja) 2014-02-27
KR101624215B1 (ko) 2016-06-07
CN104584080A (zh) 2015-04-29
HK1207192A1 (zh) 2016-01-22
CN104584080B (zh) 2017-03-01
CA2882004A1 (en) 2014-02-20
EP2887318A1 (en) 2015-06-24
JP5665140B2 (ja) 2015-02-04
IL237225A0 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
TWI543018B (zh) An input device, an input method, and storage medium
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US10732742B2 (en) Information processing program and method for causing a computer to transform a displayed object based on input area and force of a touch input
JP5991041B2 (ja) 仮想タッチスクリーンシステム及び双方向モード自動切換方法
US8854433B1 (en) Method and system enabling natural user interface gestures with an electronic system
US8466934B2 (en) Touchscreen interface
TWI569171B (zh) 手勢辨識
CN109643206B (zh) 控制装置、显示装置、程序及检测方法
US20100107099A1 (en) Proximity interface apparatuses, systems, and methods
US8922351B2 (en) Display apparatus, information processing system, recording medium and television receiver
US20110122080A1 (en) Electronic device, display control method, and recording medium
US20150301647A1 (en) Touch panel-type input device, method for controlling the same, and storage medium
US11886643B2 (en) Information processing apparatus and information processing method
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
CN104714736A (zh) 一种退出全屏锁定状态的控制方法及终端
JP6033061B2 (ja) 入力装置およびプログラム
CN104951211A (zh) 一种信息处理方法和电子设备
EP3568745B1 (en) Hover interaction using orientation sensing
JP7463914B2 (ja) 入力受付プログラムおよび入力受付システム
CN114415929A (zh) 电子设备的控制方法、装置、电子设备和可读存储介质
TW202340927A (zh) 頭戴式顯示器、點擊輸入訊號產生方法及其非暫態電腦可讀取記錄媒體
TWI454971B (zh) 電子裝置控制方法以及使用此電子裝置控制方法的電子裝置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees