TW201329793A - 基於手勢之輸入之縮放 - Google Patents

Abstract

本發明係關於用於提供一輸入至一裝置之方法，其包括如下步驟：感測一基於手勢互動、分類該基於手勢互動且取決於該分類，輸入一指令至該裝置，其中該指令取決於該基於手勢互動之實現特性(特定言之，該基於手勢互動之軌跡及/或速度及/或時間上之歷時)且用與該基於手勢互動無關之至少一參數縮放。本發明亦係關於一對應裝置。為進一步改良一使用者與一裝置之間之互動，可提供回饋提供構件。

Description

基於手勢之輸入之縮放

本發明係關於一種用於提供一基於手勢輸入至一裝置之方法及對應裝置。

越來越多電子裝置容許與一使用者之一基於手勢互動。觸感介面(例如，單點或多點觸控敏感觸控螢幕)可以感測藉由一使用者使用他的手或他的一或多個手指觸控該介面而實行之一手勢之軌跡。按照該軌跡之空間及/或時間性質，將一對應指令輸入至電子器件之一處理單元，該處理單元接著實行對應動作。例如，自右至左之一線性軌跡被解譯為用於將一螢幕上之一物體自右移動至左或自繪示於該螢幕上之一頁改變至下一頁之一滑動或輕彈手勢。另一受歡迎實例為放大顯示手勢，在觸感介面感測相互遠離而移動之兩個手指之存在時放大一顯示器上之一物體。

近年來，已提出具有一基於手勢輸入能力之電子裝置，其等無需由該使用者與該裝置之一觸感互動表面之一直接接觸，此係因為由在裝置前面之使用者簡單地實現之手勢係使用一相機感測且按照在該裝置內實行之影像分析而分析此一3D手勢之性質之故。

藉由基於手勢互動型態，可在一使用者與一電子裝置之間達成一更自然互動方式，而仍需要改良，此係因為此等電子裝置之互動構件仍強迫可未必對應於與該裝置互動之一自然或直觀方式之某一類型之互動型態之故。

因此，本發明之目的在於提供一種用於基於手勢與一裝置互動之方法，該方法甚至更可撓且容許使互動型態適於更自然互動方案。

此目的係用如技術方案1之方法而達成。如技術方案1之方法為用於提供一基於手勢輸入至一裝置之一方法，其包括如下步驟：感測一手勢、分類該手勢及取決於該分裂，輸入一指令至該裝置，其中該指令取決於該手勢之實現特性(特定言之，該手勢之軌跡及/或速度及/或時間上之歷時)且用與該手勢無關之至少一參數縮放。在此上下文中，術語「手勢」係關於與裝置之任意形式之非口語互動，其中可見身體動作傳達特性訊息。藉由考慮與該手勢無關之參數，基於該手勢之分類之藉由一裝置實行之動作可適於在其中提供一手勢之特定狀況，藉此提供與該裝置互動之一更直觀又自然方式。

在本發明之上下文中，術語「輸入」係關於可藉由裝置識別以實行預定任務或動作之任意種類之指令。

較佳地，該參數可為該裝置之一參數及/或存在於該裝置之一顯示器上之一物體之一參數及/或做出或實現手勢之物體與該裝置之間之距離之至少一者。

例如，取決於實體裝置之尺寸及/或該裝置之一顯示器上之物體之尺寸兩者，手勢可在自較小至較大尺寸之手勢及/或較短及較長尺寸之手勢之範圍。較佳地，至少一參數可因此為該裝置或該物體之一維、二維或三維中之尺 寸。取決於繪示於一裝置之一螢幕上之一物體之尺寸，因此可相應地調適手勢之縮放。

較佳地，手勢之實現特性之間之縮放與至少一參數可直接成比例以提供相同指令。因此，作為一實例，為將一小物體自一螢幕之一側移動至另一側，僅需要一短的基於非觸控手勢，然而，對於一較大物體，為達成相同結果，該手勢可為較大，其為一較長的基於非觸控手勢。作為另一實例，用他的手指接近於裝置實現一小手勢(例如，一滑動)之一使用者若他想要在自離裝置更遙遠之一位置實行手勢時提供相同輸入，則可提供一較大手勢(例如，用他的手之一滑動)。

發明之藉由一參數之一手勢之縮放方法不僅限於一裝置之一螢幕上所繪示之物體，而且可擴展至該裝置本身。當將一基於非觸控互動構件併入至一電子裝置中時，根據本發明之一特定實施例之互動構件係經組態以考慮該裝置之實體尺寸以界定輸入手勢之縮放。因此，對於一小的手持式類型裝置(例如，一智慧型電話)，或對於一較大裝置(例如，一電子書)，實行相同動作所需之手勢可在尺寸上調適成該等裝置之尺寸。

較佳地，用於與一裝置互動以提供一輸入至該裝置之方法可按照與該裝置之至少一基於觸控互動及至少一基於非觸控互動之一組合，其中一類型之互動影響回應於另一類型之互動之歸因於與該裝置之互動之輸入。因此，一基於觸控互動對相對於該互動之藉由裝置實行之動作之效應變 得取決於另一類型之互動，例如，若基於非觸控互動為不同，則相同類型之基於觸控互動將引起兩個不同之由該裝置實行之動作。藉此，該裝置對某一互動之回應可適於特定狀況，因此呈現與該裝置之更可撓且更直觀之互動。

在此上下文中，術語「基於觸控」係關於一使用者與一裝置之間之任意種類之互動，在該互動期間，使用者實體上觸控該裝置。一基於觸控互動可關於觸控裝置之一預定區域、在該裝置之表面之上滑動，或僅固持該裝置。該觸控可為(例如)藉由使用者之手指或一尖筆之一單點觸控事件或一多點觸控事件，在該多點觸控事件期間，一個以上之手指觸控該裝置。

在此上下文中，術語「基於非觸控」係關於一使用者與裝置之間任意種類之互動，其無需使用者與裝置之間之一實體接觸。

此處，基於非觸控互動及/或基於觸控互動可為一基於手勢互動。

較佳地，該方法可提供與一裝置之一基於手勢之互動及其特徵在於該互動係按照未觸控該裝置之至少一基於手勢互動及期間使用者觸控該裝置之至少一基於觸控互動之一序列，其中一互動之至少一實現特性(特定言之，軌跡及/或速度及/或時間上之歷時及/或壓力)影響歸因於與該裝置之互動之輸入。

因此，一裝置觸控互動(例如，在一觸感互動表面上實現之一個一維或二維手勢)與一基於非觸控手勢(其可為由 使用者之手指、手或臂實行之一個三維手勢)組合，使得一使用者當與裝置互動時在無需適於該裝置之情況下可複製他在真實生活中習慣之動作。藉由使用按照其他互動之特性之參數而影響一互動，該互動變得更可撓且同時更直觀。作為一實例，可藉由抓取裝置之表面上之一物體而實行一物體拾取及替換動作，因此觸控該裝置且將其移動至該裝置上之另一位置而無需連續觸控該裝置本身。因此，可增強關注與該裝置之互動之撓性。在不具有抓取動作之情況下，一移動非觸控手勢不會引起相同結果。

根據一變體，可相繼或交替發生基於非觸控互動(例如，一手勢)及基於觸控互動。此容許一使用者實現真實生活型態，諸如，上述拾取及平移動作。

較佳地，至少一基於非觸控互動(特定言之，手勢)與至少一基於觸控互動可在時間上至少部分地重疊。因此，相較於該技術，可在使用者組合基於觸控及基於非觸控互動方案之情況下致能更複雜互動型態。例如，在一使用者想要旋轉繪示於一顯示器上之一物體之情況下，該使用者可藉由觸控該裝置而選擇一旋轉軸，且用另一手實現指導圍繞所要旋轉軸之旋轉之一輕彈或滑動手勢。

有利地是，可在裝置之前側、後側或一側壁之至少一者上發生期間使用者觸控該裝置之互動。藉由未將一裝置之互動敏感區限制於前側(界定為慣常面向使用者之側)，使用者在實行他與裝置之互動時未被迫經由此一側互動，而且可自由挑選他希望如何與該裝置之互動。

有利地是，期間使用者觸控裝置之互動可啟動一基於鍵輸入、一基於電腦滑鼠輸入、一基於軌球或一基於觸控或多點觸控輸入之至少一者。一或多個互動技術之提供進一步增強互動型態之撓性。

根據一較佳實施例，可使用併入裝置中之一或多個相機構件及/或包括一加速計、一陀螺儀、一超音感測構件等之至少一者之一或多個遠程控制單元而感測一基於非觸控手勢。此等元件容許以一穩定且可靠方式感測基於非觸控手勢。超音可用於感測基於觸控互動及基於非觸控互動兩者，然而，對於兩類型之互動而言需要專屬感測構件及運算法。

有利地是，互動之序列可包括：a)用於起始至裝置之一輸入之一登錄階段，b)用於提供該輸入至該裝置之一持續階段，及c)用於確認至該裝置之該輸入之一終止階段。在該登錄階段期間，該裝置將告知使用者它可以接收使用者之輸入以藉此增加系統之使用者親和性，同時使用者使用終止階段以確認他的輸入使得可防止至該裝置之偽造輸入。

較佳地，在步驟c)中，一基於觸控互動可用於確認步驟b)中經由一基於非觸控互動(例如，由使用者實現之未觸控裝置之一手勢)所提供之一輸入。該基於觸控確認互動改良由於無意識的基於非觸控互動之偽造輸入之防止，像圍繞裝置之預定體積內之手勢，在該預定體積中可藉由該裝置感測該等基於非觸控互動。

有利地是，該方法可藉由實現包括如下之步驟之一序列而用於選擇一物體且提供關於該選擇之物體之一指令至該裝置：d)使用一基於觸控互動(像一手勢)選擇該物體，及e)基於一基於非觸控互動(像一手勢)提供關於該選擇之物體之一輸入。像在一真實生活情形中，使用者因此應在提供一輸入之前觸控該物體以選擇該物體，其可在真實生活中更自然地實行。

如上文所描述之方法特別有利於提供一輸入以將一物體自一第一位置移動至一不同位置，其包括如下之手勢序列：f)感測由一使用者在一第一位置處觸控裝置提供之一捏合或擠壓或旋轉手勢，g)感測未觸控該裝置之一平移手勢，及h)感測藉由在一第二位置處或一第二位置上方之一基於觸控或基於非觸控手勢之一釋放手勢。例如，一圖示可自一螢幕上之一第一位置移動至一第二位置或甚至展示於該螢幕上之一物體可在該螢幕上拾取且移動超出該螢幕至該螢幕之外側之一功能區域上。在識別該物體降落之第二位置後，可實行歸因於該螢幕之外側之功能區域之動作，例如，列印、刪除等。

在一捏合或擠壓手勢期間，該裝置之一基於觸控使用者互動構件係經組態以識別兩個或兩個以上物體(例如，存在於互動表面上之相互接近而移動之指尖)，然而釋放手勢(期間發生觸控)對應於反向移動。在一旋轉手勢之情況中，一物體圍繞一第二不動物體迴轉或兩個物體描述一彎曲軌跡。對於藉由一基於非觸控使用者互動構件而感測之 基於非觸控手勢而言，一平移手勢對應於期間座標隨著時間改變之一手勢。該釋放基於非觸控手勢對應於感測及識別相互遠離而移動之至少兩個元件(諸如手指)或在相反方向上之一旋轉。藉由用於輸入一指令以將一螢幕上之一物體移動至一不同位置之發明方法，致能與一裝置互動之一自然方式。

根據另一有利使用，如上文所描述之方法可包括如下步驟：i)感測一基於觸控互動，j)回應於該基於觸控互動，設定一參數，k)同時感測一基於非觸控手勢，及l)回應於該基於非觸控手勢及該所設定之參數，對裝置指導一對應動作。在此方法中，同時發生一基於非觸控手勢及一基於觸控手勢兩者，其中由該基於觸控手勢設定之參數增強指令輸入型態之撓性。例如，此方法係藉由觸控該裝置而合適於界定一旋轉軸，然而，用一使用者之另一手之一滑動或輕彈手勢將開始物體圍繞該所界定之軸之旋轉。在此上下文中，一像滑動之手勢係關於一本質線性軌跡，其中一輕彈手勢對應於快於某一臨限值所實行之一滑動手勢。對於一滑動及一輕彈手勢，輸入至該裝置之指令可為不同。

根據一較佳實施例，至少一基於非觸控互動可按照一環境參數，特定言之，關於光度、一電場、一磁場、電磁輻射、壓力、溫度、濕度、振動。因此，不僅基於非觸控手勢(像3D手勢)而且藉由該裝置之一對應感測構件而感測之一環境參數可影響回應於一基於觸控互動之歸因於與該裝置之互動之輸入。

例如，在該感測構件識別該裝置定位於黑暗中之情況下，與該裝置之任意基於非觸控互動在容許一進一步輸入之前將引起照亮該裝置之一螢幕或鍵盤之背光；然而在該感測構件識別該裝置定位於一明亮環境中之情況下，至該裝置之相同輸入可引發一不同動作，例如，擊打一鍵將在螢幕上立即顯示對應字母。

本發明亦係關於一種電腦程式產品，其包括具有用於履行所描述之方法之步驟之電腦可執行指令之一或多個電腦可讀媒體。

本發明之目的亦係用包括至少一基於觸控使用者互動構件及至少一基於非觸控使用者互動構件之裝置而達成，該裝置經組態以實行如上文所描述之方法之一者或一組合。該裝置致能在該使用者與該裝置之間之一更自然互動，此係因為使用者可應用對應於真實生活動作(諸如拾取及替換動作)之手勢之故。

較佳地，該裝置可包括至少一基於觸控使用者互動構件及至少一基於非觸控使用者互動構件，其中該基於非觸控使用者互動構件係經組態以在圍繞該裝置之一預定體積內感測一基於非觸控互動(特定言之，一手勢)；及至少一回饋提供構件，其經組態以在一物體(特定言之，一使用者之一手)進入至該預定體積中時輸出一第一視覺及/或聲音輸出。因此，該使用者將立即辨識該裝置是否備妥接受輸入(即使在無一觸控存在下)。

較佳地，該裝置可經組態使得僅在使用者用另一手觸控 該裝置之一預定區域之情況下提供第一回饋。因此，可防止至該裝置之一無意輸入。

有利地是，該回饋提供構件可經組態以當物體係在預定體積內側及/或觸控該裝置時，輸出一第二視覺及/或聲音及/或觸覺輸出(特定言之，不同於第一輸出)。因此，在使用者進入預定體積之登錄階段之後，第二回饋輸出告知使用者該裝置正在接受手勢。此階段亦稱為互動持續階段。因此，進一步改良使用者親和性。

有利地是，該回饋提供構件可經進一步組態以只要一互動(特定言之，一手勢)係由基於觸控使用者互動及/或基於非觸控使用者互動構件感測，則輸出第二輸出。因此，在任意時間，將告知使用者該裝置仍在登錄一手勢之事實。

根據一有利實施例，回饋提供構件可經組態以當將互動終止時及/或當將該裝置關機或置於閒置狀態中時，輸出一第三視覺及/或聲音及/或觸覺輸出(特定言之，不同於第一及/或第二輸出)。因此，使用者在成功終止互動後自該裝置接收一終止回饋信號。在物體離開圍繞該裝置之預定體積之情況下，亦可輸出該終止回饋。因此，使用者將知道該裝置不在接受輸入。

較佳地，該裝置可包括在其前側上之一顯示器，及該回饋提供構件係經組態使得在一物體存在於該裝置之後側上之預定體積中之情況下，在顯示器上提供一視覺指示。就此言之，該前側為在正常使用時面向使用者之該裝置之側，然而後側為背向該使用者之該裝置之相反側。

因此，例如，在一基於非觸控手勢或提供於後側上之一觸感互動構件上所提供之一基於觸控手勢期間，試圖經由該裝置之後側經由一互動而提供一輸入之一使用者將在任意時間知道，該裝置備妥接受來自該使用者之輸入。此進一步增強該裝置之使用者親和性。

根據一較佳實施例，該裝置可為一手持式或一可攜式電子裝置，實例為一行動電話、一智慧型電話、一導航器、一電子書、一音訊及/或視訊播放器、一可攜式電腦等。本發明特別有利於互動區域有限且慣常不大於200 cm²之小裝置。

在下文中，將參考附圖詳細解釋本發明之特定實施例之一詳細描述。

圖1繪示根據本發明之一第一實施例之一裝置。該電子裝置包括一第一基於觸控使用者互動構件3及一第二基於非觸控使用者互動構件5。

根據各種實施例，基於觸控使用者互動構件3可為一基於鍵互動構件、一基於滑鼠或拖曳墊/拖曳球互動構件或一基於觸控或多點觸控觸感互動表面之任一者。在一特定實施例中，該基於觸控使用者互動構件3較佳為一多點觸控敏感互動表面。在圖1中，僅一觸感互動構件3為可見，然而，根據發明裝置1之進一步變體，該裝置1之外殼7之後側及/或該外殼7之側壁亦可包括額外基於觸控互動構件。該觸感互動構件3可包括利用(例如)電容、表面聲波、 聲音脈衝辨識或其他觸控技術之一觸控螢幕或觸控墊，或可包括(諸如)較佳使用聲音脈衝辨識觸控技術之致能為觸感之裝置外殼之部分。

此實施例中之基於非觸控互動構件5為鄰近使用者互動構件3而定位之一相機。至於基於觸控使用者互動構件3，進一步非接觸互動構件可存在於外殼7之後側及/或側壁上。

電子裝置1可為一手持式或可攜式裝置之任一者，諸如一電話、一智慧型電話、一電子書、一導航裝置、一音訊及/或視訊播放裝置、一個人電腦、一遊戲主機等。然而，本發明概念亦可併入於其他類型之電子裝置中。

基於非觸控使用者互動構件5(諸如，相機)係經組態使得可感測、分析及分類由使用者(例如，用使用者之手或手指)在一預定體積9(此處被繪示為圍繞裝置1之一球體)內做出或實現之使用者手勢。例如，於該電子裝置1內提供影像分析構件以分析藉由相機5所獲得之影像以識別使用者之手或手指之移動，使得可自該手勢之性質識別對應輸入型樣使得裝置1內之一處理單元可自基於非觸控使用者互動構件5接收指令。手勢性質(或手勢實現特性)可包括空間或軌跡之擴展、歷時、手指之相對移動等之任一者或一組合。

以一可比較方式，基於觸控使用者互動構件3係經組態使得一輸入(例如，該使用者互動構件3上之一手勢)經感測、分析及分類以識別使用者想要提供之對應指令。

除了基於觸控使用者互動構件3之外，裝置1可包括如技術中已知之額外特徵，例如，一麥克風11、一揚聲器13、(例如)用於使其他裝置充電及與其他裝置通信之連接介面15、17或若干鍵或甚至一完全或限定鍵盤。此外，該裝置1可包括無線通信構件。

在圖1中，於其內基於非觸控使用者互動構件可識別使用者手勢之預定體積9已經展示為圍繞裝置之一球體。當然，此預定體積9可具有圍繞裝置1之任意形狀。

代替使用一相機或如互動構件5之相機，可使用可以識別手勢之任意其他合適基於非觸控使用者互動構件，例如，使用加速計或陀螺儀或超音感測構件等之遠程控制。

相較於先前技術之裝置，根據本發明之電子裝置1容許一使用者按照基於觸控及基於非觸控互動型態之組合而提供輸入至該裝置。此具有如下優點：可在與一電子裝置互動時在實現可比較動作時複製在真實世界中所實行之手勢。因此，致能與裝置互動之一更自然及直觀方式。此將關於本發明之實施例而予以詳細解釋。

圖2a繪示關於用於提供輸入至一電子裝置(諸如，圖1中所繪示之電子裝置1)之方法之本發明之一第二及第三實施例。

圖2a之第I行及第II行係關於第二實施例，第I行至第III行係關於本發明之第三實施例。

第I行繪示一使用者之活動，然而第II行繪示根據本發明之電子裝置1之反應。

當一使用者用他的手及/或手指之一者及/或用他在他的手中攜帶之一物體進入預定體積9時(步驟21)，基於非觸控互動構件5將感測進入至該預定體積9中且提供對應輸出至電子裝置1之處理單元(步驟23)。

在此登錄階段之後，使用者持續與裝置1互動且提供一輸入25，其可包括複數個子手勢27、29、31(為由基於非觸控使用者互動構件5感測之基於非觸控手勢及由基於觸控使用者互動構件3感測之基於觸控手勢(例如，一手指在觸感介面上之滑動)之一組合)，以在該電子裝置1中起始某些動作。在此手勢輸入或持續階段期間，使用者互動構件5及3感測步驟33中關注基於觸控互動及步驟35中關注基於非觸控互動之使用者之手勢或子手勢，且分析該經感測之資料以分類該手勢及/或子手勢以識別對應於使用者之互動型態之輸入(步驟37)。已識別該等對應動作，則處理單元接收指令以實行所要活動(步驟39)。

根據本發明，識別對應於使用者之互動型態之動作之步驟將取決於經感測之基於非觸控互動35與經感測之基於觸控互動33之間之關係36。事實上，取決於如何實行一類型之互動，將調適歸因於另一類型之互動之輸入。

該基於觸控使用者互動亦可關於擊打裝置1之外殼7上之鍵。

在步驟41中，當使用者之手指或手或由使用者攜帶之物體退出預定體積9時，終止互動，其藉由基於非觸控使用者互動構件5感測(步驟43)。

應注意，相較於用於判定退出(步驟41、43)之體積9之尺寸，判定進入(步驟21、23)之體積9之尺寸可為不同及/或可使用者組態(根據一些實施例)。

因此，電子裝置1係經組態使得可將相繼或並行實行之基於非觸控及基於觸控互動提供至該裝置1且使得兩類型之互動相互影響。此容許使用者互動型態之更多撓性使得致能與裝置互動之一更自然及直觀方式。

除了關於第二實施例之已描述之步驟(其等亦為第三實施例之部分)之外，根據本發明之第三實施例包括一回饋機構。該回饋機構示意性繪示於第III行中且較佳在任意時間經組態以告知使用者有關裝置1正在接受使用者輸入之事實。可將經組態以實現回饋機構之回饋提供構件併入於如圖1中所繪示之裝置中。該回饋提供構件攜帶參考數字45且以虛線指示。

詳細地，在物體進入至預定體積9中(步驟21及23)後，回饋提供構件45(參見圖1中以若干虛線之參考數字45)係經組態使得輸出一視覺及/或聲音回饋信號。例如，揚聲器13可輸出表示裝置1已感測到使用者已進入至預定球體9中之事實之一信號。同時，或作為一替代，一視覺圖示或信號、一閃光LED或類似物可指示此狀態。因此，使用者將知道，裝置1已辨識使用者進入預定體積9使得由該使用者提供之手勢可藉由該裝置而感測及識別(步驟47)。

根據一變體，第一回饋輸出47僅在滿足一預定條件之情況下由電子裝置提供。例如，僅若使用者用另一手固持該 裝置且按下指示意欲一使用者輸入之某一按鈕，則提供回饋。替代地，觸控感測構件3亦可識別使用者固持該裝置之事實。藉由此額外特徵，可防止至裝置1之一非意欲基於手勢輸入。

接著，在持續階段期間，回饋提供構件45係經組態使得藉由裝置1輸出一第二視覺及/或聲音信號(通常不同於第一視覺及/或聲音信號)(步驟49)。第二回饋輸出49可在預定體積9內存在實行手勢之物體期間或僅在辨識一手勢期間提供使得使用者在任意時間知道，可輸出手勢或當前該裝置已感測一使用者在該預定體積9內實現或做出之移動。

在輸入一基於觸控手勢之情況下，由回饋提供構件45提供之視覺及/或聲音回饋信號可伴隨一觸覺(例如，一振動回饋信號)或由其替換，再次告知使用者一裝置當前正在感測一輸入(步驟49)。

最後，在完成輸入後，及當使用者離開預定體積9時，回饋提供構件45係經組態以輸出一第三信號(視覺及/或聲音)以告知使用者現在他已離開預定體積9，在該預定體積9內他可提供輸入至裝置1。第三輸出51較佳不同於第一及/或第二輸出。

因此，在與裝置互動之過程期間之任意時間，使用者知道有關裝置1正在接受手勢之事實、互動(像手勢)被感測及他已有意或無意離開預定體積9之事實。

此回饋提供構件45較佳連同組合像裝置1中所繪示之基於非觸控互動構件5與基於觸控互動構件3之一裝置而實 現，但亦可在僅存在一類型之互動構件之情況下發現其發明應用。

圖2b繪示包括根據用於第二及第三實施例中及圖2a中所繪示之輸入25之一變體之子互動55及57之一序列之一輸入提供互動53。在此實例中，互動55係關於一基於非觸控互動(像，由使用者提供之一手勢)，且互動57係關於使用者互動構件3上之一基於觸控互動(其再次亦可關於在裝置1之一鍵盤上敲擊之某一鍵)。

為防止至裝置1之無意輸入，圖2a中所繪示之步驟35中之分析步驟首先檢查一確認或終止動作59是否已由使用者提供，其中終止動作59較佳對應於一基於觸控互動，其可在步驟33中感測。該終止動作59可(例如)為裝置1之外殼上之某一鍵或互動構件3之一簡單觸控。

在繼基於非觸控手勢55之後確認互動59已由使用者提供之情況下，且此外，一基於觸控互動57經感測，在步驟39中指導輸入A，然而，在不存在確認互動59下，在步驟39中指導輸入B。

圖3繪示根據圖2a中所繪示之第二或第三實施例且可用如圖1中所繪示之電子裝置1實現之方法之一第一發明使用。

在此發明實施例中，一基於觸控互動及一基於非觸控互動(此處為一手勢)同時實行以提供輸入至電子裝置1。然而使用者在某一位置63處用一手61觸控該裝置1(其可藉由該電子裝置1之基於觸控使用者互動構件而感測)，同時使用 者之第二個手65(未觸控該裝置1，但定位於預定體積9內)實行一手勢(此處為一輕彈或滑動移動67)。

在此實施例中，裝置1之外殼7之頂部上之位置63處之基於觸控互動係用於識別繪示於裝置1之一螢幕71上之一物體69之一旋轉軸73，其中由第二個手65實現之輕彈或滑動手勢起始物體69圍繞軸73之一旋轉。藉由將他的手定位在位置75處(藉由圖3上之虛線所繪示)，可起始圍繞軸77之一新旋轉。因此該基於觸控互動影響回應於該基於非觸控互動而由該裝置實行之動作。

此實施例僅繪示用以實現複雜輸入型樣與一電子裝置1之一基於觸控互動及一基於非觸控互動之一組合之有利使用之一實例。但與裝置之互動仍可保有自然及直觀。

圖4a至圖4c繪示如圖1及圖2中所繪示之根據本發明之第一實施例之裝置及根據本發明之第二或第三實施例之方法之一第二發明使用。圖4a至圖4c繪示使用者與裝置1之間之一互動，在該互動期間一基於觸控使用者互動與一基於非觸控使用者互動相互跟隨。

在使用者已進入預定體積9之後，該使用者趨近存在於裝置1之一螢幕83上之一物體81，且在觸控基於觸控使用者互動構件3時藉由實行一捏合或擠壓手勢，在該捏合或擠壓手勢期間兩個或兩個以上手指相互更接近而移動(藉由箭頭82所指示)，已感測捏合手勢之基於觸控使用者互動構件3將指導電子裝置1之處理單元選擇物體81(例如，一檔案之圖示)，且等候關注該選擇物之體81之進一步指 令。作為一替代，使用者亦可實行一旋轉手勢以拾取該物體81。

圖4b繪示根據該方法之此發明使用之互動序列之第二步驟。在選擇步驟之後，使用者在將他的手指保持在一起時拾取物體81且遠離互動表面移動(藉由箭頭84所指示)，就像使用者將處置一真實生活之物體。該手勢朝向顯示器83上之一第二位置85持續平移該所拾取之物體81。在於體積9內移動使用者之手期間，基於非觸控使用者互動構件5(如相對於圖1所繪示及描述)將(例如)藉由分析複數個隨後影像(其中使用者之手之位置隨著影像改變)而感測平移手勢且相應地指導裝置1之處理單元。在該基於非觸控平移手勢期間，該裝置1可經組態以將使用者之手之投影連同物體顯示在顯示器上。該平移移動類似於圖3中所繪示之根據本發明之第一使用中之滑動手勢。此處，然而，該滑動手勢受在接觸階段期間實行之手勢影響，使得對應動作引起一重新定位而非如根據本發明之第一實例中之物體之旋轉。

接著，最後，為將物體81重新定位在第二位置85處，使用者打開他的手指(藉由箭頭86所指示)以釋放所拾取之物體(如圖4c中所繪示)，或以相較於拾取步驟之相反方式做出一旋轉手勢。該對應手勢可為遠離互動表面3但在預定體積9內由基於非觸控互動構件5感測之一基於非觸控手勢，或基於觸控使用者互動構件3上之一基於觸控釋放手勢。

在發明方法之一實作使用之此實例中，可相對於圖4a至圖4c中所繪示之物體81實行使用者慣常當他想要拾取及替換一物體時在真實生活中所實行之一活動。因此，相較於使用者被迫在螢幕上實行所有手勢之一互動方案，該互動為更自然及更直觀，因此更容易使用。

代替將一物體81自顯示器83上之第一位置移動至該顯示器上之另一位置85，其亦可經移動超過顯示區域在其他某處至裝置1之外殼7上之一功能區域上。基於非觸控使用者互動構件5可以識別使用者在何處釋放該物體81，及若識別第二位置對應於一功能區域，則歸因於觸控螢幕之外側之此功能區域之動作(例如，列印一檔案、刪除該檔案、在一網路之上發送該檔案等)可藉由處理單元而起始。

如圖4a至圖4c中所繪示之使用基於觸控及基於非觸控互動(此處為手勢)之一序列之拾取及替換動作僅為與電子裝置互動之一個實作實例，組合基於觸控及基於非觸控手勢之其他互動型態可在不脫離本發明之範疇之情況下而實現。

圖5a繪示可與第一至第三實施例之任一者組合之本發明之一第四實施例。圖5a之左側繪示一較小電子裝置101(例如，具有一基於非觸控互動構件103之一行動電話)及一預定空間或體積105，在該預定空間或體積105內，該基於非觸控互動構件103可以感測由一使用者提供之手勢。就此言之，該基於非觸控互動構件103與如裝置1中所使用及圖1中所繪示之互動構件5可比較。

在圖5a之右手側，繪示一較大電子裝置111，例如，一膝上型電腦或一電子書。該較大電子裝置111亦包括一基於非觸控互動構件103，其與較小裝置101中之基於非觸控互動構件103相同。該基於非觸控互動構件103接受圍繞該較大電子裝置111之一預定體積113內之使用者手勢。此處該預定體積113大於較小裝置之體積105。

根據本發明，取決於互動構件103是否併入至該較小或較大電子裝置101及111中，實行一預定任務(像將一物體自一螢幕107及115上之一側A移動至另一側B)所需要之一手勢之參數(像軌跡之尺寸及歷時)用尺寸(例如，裝置101或111之寬度、對角線、表面面積或體積)縮放以容許一更直觀使用者互動裝置。因此，裝置之尺寸越大，提供輸入所需之手勢越大。

相較於較小裝置之情況中所實行之手勢109，由較大裝置中之使用者實行之手勢117(此處繪示為至右之一箭頭)較大。例如，為將一物體自顯示器上之A移動至B，對於較小裝置101而言，一手指滑動為足夠，然而，對於較大裝置111而言，將使用用整個手之一滑動以使該物體自位置A移動至位置B。

藉由用裝置本身之一實體參數縮放基於非觸控手勢之軌跡之尺寸及/或時間上之歷時，可達成按照縮放之一自動調適。基於非觸控使用者互動構件之手勢分析單元係經組態以根據(例如)關於裝置之尺寸之一預定參數調適其手勢分析。

根據第四實施例之一變體，該等手勢不僅可用一裝置之實體大小縮放(像圖5a中所繪示)，而且亦用存在於顯示器上之物體之大小縮放。此處，在較大電子裝置111之螢幕115上繪示一較大物體121及一較小物體123。為移動該較大物體121，一使用者將期望需要一較大手勢，然而對於較小物體123而言，該使用者將期望一較小手勢。例如，關於較小物體，一手指滑動將為足夠，然而，關於較大物體121，將使用一手滑動以達成相同結果。再次，手勢分析單元亦可經組態以考慮存在於裝置之一顯示器上之物體之參數。

圖5b繪示縮放概念之一變體。在此變體中，該手勢用物體125(此處為一使用者之手)離裝置1之距離縮放。在圖5b之上部分中，手125接近於裝置1。該圖之左部分展示在裝置1前面之手125，及右部分展示一側視圖，其繪示手與裝置1之間之距離127。在圖5b之下部分中，手125進一步遠離裝置1(距離129)，如自展示側視圖之圖之右側可見到。

為將一物體131自位置133移動至位置135並且往回，第一情況中(其中手125接近於裝置1)之手勢可藉由僅將手指自右輕微移動至左且往回(如用箭頭137所展示)而實現。為在第二情況中達成相同移動，使用者可用一又更大手勢軌跡(藉由箭頭139所指示)移動整個手125。

圖6繪示本發明之一第五實施例，其繪示包括如圖1中所繪示之第一實施例中之基於觸控互動構件3及基於非觸控互動構件5之一電子裝置151，使得一使用者可在觸控該裝 置151時提供一基於觸控互動及/或在他進入圍繞該電子裝置151之一預定體積153時提供一基於非觸控手勢。此處，該裝置151亦包括前側155(其為一使用者慣常看到之裝置之側)上之一顯示器157，該顯示器157連同基於觸控互動構件3形成一觸感螢幕。

該裝置進一步包括具有第一實施例之回饋提供構件45之特徵之一回饋提供構件159，其中，此外，根據本發明之第五實施例之回饋提供構件159係經組態使得在一使用者經由裝置151之後側161(其中該後側為與前側155相反之側且慣常背向一使用者)而提供一基於觸控或基於非觸控互動之情況下，在顯示器157上提供一視覺回饋163。該視覺回饋163用於對自前側看到裝置151之一使用者指示可經由裝置151之後側161提供一輸入。

例如，顯示器157上所展示之回饋信號可表示使用者之手之指尖在定位於裝置151之後側161上時至該裝置151之後側表面或前側表面上之投影。在圖6中，此藉由顯示器157上之五個圓160示意性繪示。

此實施例可與第一至第四實施例之任一者組合。

圖7繪示本發明之一第六實施例。圖7繪示包括根據第一實施例之裝置1之元件及特徵之一裝置171。攜帶前文亦已經使用之相同參考數字之元件將不會再次詳細描述，但以引用方式併入本文中。

除了一基於觸控使用者互動構件3及一基於非觸控使用者互動構件5之外，電子裝置171亦包括用於感測一或多個 環境參數作為一第二類型之基於非觸控互動之一感測構件173。此等環境參數可關於光度、一電場、一磁場、電磁輻射、壓力、溫度、濕度、振動或地理座標。

由感測構件173量測之參數(其等因此未鏈結至對裝置之一基於觸控互動)亦可影響回應於互動構件3上所提供之一基於觸控互動而藉由裝置171所實現之動作。

例如，在感測構件識別裝置係定位在黑暗中之情況下，與該裝置之任意互動(基於觸控及/或基於非觸控)在容許一進一步輸入之前將引起照亮該裝置之一螢幕或鍵盤之背光；然而，在感測構件識別該裝置係定位在一明亮環境中之情況下，與該裝置之相同互動可引發一不同輸入，例如，擊打一鍵將在螢幕上立即顯示對應字母。

如相對於圖1及圖7所描述之裝置以及方法之各種元件及特徵可個別組合或相互組合以達成容許與使用者互動之一自然或直觀方式之額外直觀裝置或方法。

1‧‧‧電子裝置/裝置

3‧‧‧第一基於觸控使用者互動構件/觸感互動構件

5‧‧‧第二基於非觸控使用者互動構件/相機

7‧‧‧外殼

9‧‧‧預定體積

11‧‧‧麥克風

13‧‧‧揚聲器

15‧‧‧連接介面

17‧‧‧連接介面

25‧‧‧輸入

27‧‧‧子手勢

29‧‧‧子手勢

31‧‧‧子手勢

45‧‧‧回饋提供構件

47‧‧‧第一回饋輸出

49‧‧‧第二回饋輸出

51‧‧‧第三輸出

61‧‧‧手

63‧‧‧某一位置

65‧‧‧手

69‧‧‧物體

71‧‧‧螢幕

73‧‧‧旋轉軸

77‧‧‧軸

81‧‧‧物體

83‧‧‧螢幕/顯示器

85‧‧‧第二位置

101‧‧‧電子裝置

103‧‧‧基於非觸控互動構件

105‧‧‧預定空間或體積

107‧‧‧螢幕

109‧‧‧手勢

111‧‧‧電子裝置

113‧‧‧預定體積

115‧‧‧螢幕

117‧‧‧手勢

125‧‧‧手

131‧‧‧物體

133‧‧‧位置

135‧‧‧位置

151‧‧‧電子裝置

153‧‧‧預定體積

155‧‧‧前側

157‧‧‧顯示器

159‧‧‧回饋提供構件

161‧‧‧後側

163‧‧‧視覺回饋

171‧‧‧電子裝置

A‧‧‧輸入/位置/側

B‧‧‧輸入/位置/側

圖1繪示關於包括基於觸控使用者互動構件及基於非觸控使用者互動構件之一電子裝置之本發明之一第一實施例，圖2a示意性繪示根據第二及第三實施例之用於提供一基於手勢輸入至一裝置之一方法，圖2b繪示形成一輸入之子互動之一序列，其中第一類型之一互動藉由第二類型之一互動確認，圖3繪示用於提供一基於手勢輸入之發明方法之一使用 之一第一實作實例，圖4a至圖4c繪示用於提供一基於手勢輸入至一裝置之發明方法之一使用之一第二實例，圖5a繪示關於根據一參數之縮放手勢之本發明之一第四實施例，圖5b繪示第四實施例之一變體，及圖6繪示關於一回饋機構之本發明之一第五實施例，及圖7繪示關於包括基於觸控使用者互動構件及環境性質感測構件之一電子裝置之本發明之一第六實施例。

Claims (15)

1. 一種用於與一裝置互動之方法，其包括如下步驟：感測一基於手勢互動；分類該基於手勢互動及取決於該分類；輸入一指令至該裝置，其中該指令取決於該基於手勢互動之實現特性，特定言之，該基於手勢互動之軌跡及/或速度及/或時間上之歷時，且用與該基於手勢互動無關之至少一參數縮放。
2. 如請求項1之方法，其中該參數為該裝置之一參數及/或存在於該裝置之一顯示器上之一物體之一參數及/或做出或實現該基於手勢互動之該物體與該裝置之間之距離之至少一者。
3. 如請求項1或2之方法，其中該至少一參數為一維、二維或三維中之尺寸。
4. 如請求項1至3中任一項之方法，其中該縮放直接成比例。
5. 如請求項1至4中之一項之用於與一裝置互動之方法，其中該互動係基於與該裝置之至少一基於觸控互動及至少一基於非觸控互動之一組合，其中一類型之互動影響回應於另一類型之互動之歸因於與該裝置之該互動之該輸入。
6. 如請求項5之方法，其中該互動包括未觸控該裝置之至少一基於手勢互動及至少一基於觸控互動，其中該一互動之特定言之軌跡及/或速度及/或時間上之歷時及/或壓力之至少一實現特性影響歸因於與該裝置之該互動之該 輸入。
7. 如請求項6之方法，其中基於觸控互動與基於非觸控互動相繼、交替或在時間上至少部分地重疊而發生，特定言之，該等基於觸控互動係手勢。
8. 如請求項1至7中任一項之方法，其中互動之該組合包括：a.用於起始至該裝置之一輸入之一登錄階段，b.用於提供該輸入至該裝置之一持續階段，及c.用於確認至該裝置之該輸入之一終止階段。
9. 如請求項8之方法，其中在步驟c)中，一基於觸控互動係用於確認經由一基於非觸控互動在步驟b)中所提供之一輸入，該基於非觸控互動特定言之為由該使用者實現之未觸控該裝置之一手勢。
10. 一種電腦程式產品，其包括具有用於履行如請求項1至9中任一項之方法之步驟之電腦可執行指令之一或多個電腦可讀媒體。
11. 一種包括至少一基於觸控使用者互動構件及至少一基於非觸控使用者互動構件之裝置，其經組態用於實行如請求項1至9中任一項之方法。
12. 一種特定言之如請求項11之裝置，其包括：a.至少一基於觸控使用者互動構件及至少一基於非觸控使用者互動構件，其中該基於非觸控使用者互動構件係經組態以於圍繞該裝置之一預定體積內感測一基於非觸控互動，特定言之一手勢，及 b.至少一回饋提供構件，其經組態以在特定言之一使用者之一手之一物體進入至該預定體積中時輸出一第一視覺及/或聲音輸出。
13. 如請求項12之裝置，其中該回饋提供構件係經組態以在該物體係在該預定體積內側及/或觸控該裝置時輸出特定言之不同於該第一輸出之一第二視覺及/或聲音及/或觸覺輸出。
14. 如請求項13之裝置，其中該回饋提供構件係經組態以輸出該第二輸出，只要一互動係由該基於觸控使用者互動構件感測及/或特定言之一手勢之一互動係由該基於非觸控使用者互動構件感測及/或其中該回饋提供構件係經組態以在該互動及/或手勢經終止時及/或在該裝置經關機或置於閒置狀態中時輸出特定言之不同於該第一及/或第二輸出之一第三視覺及/或聲音及/或觸覺輸出。
15. 如請求項12至14中任一項之裝置，其進一步包括在其前側上之一顯示器，及其中該回饋提供構件係經組態使得在一物體存在於該裝置之後側之該預定體積中之情況中，一視覺指示提供於該顯示器上。