TW201405411A - 手勢結合擴增實境之圖標控制方法 - Google Patents

手勢結合擴增實境之圖標控制方法 Download PDF

Info

Publication number
TW201405411A
TW201405411A TW101127442A TW101127442A TW201405411A TW 201405411 A TW201405411 A TW 201405411A TW 101127442 A TW101127442 A TW 101127442A TW 101127442 A TW101127442 A TW 101127442A TW 201405411 A TW201405411 A TW 201405411A
Authority
TW
Taiwan
Prior art keywords
icon
real
hand
image
control method
Prior art date
Application number
TW101127442A
Other languages
English (en)
Other versions
TWI475474B (zh
Inventor
Yao-Tsung Yeh
Original Assignee
Mitac Int Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitac Int Corp filed Critical Mitac Int Corp
Priority to TW101127442A priority Critical patent/TWI475474B/zh
Priority to US13/952,830 priority patent/US20140028716A1/en
Publication of TW201405411A publication Critical patent/TW201405411A/zh
Application granted granted Critical
Publication of TWI475474B publication Critical patent/TWI475474B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種手勢結合擴增實境之圖標控制方法，利用一可攜式電子裝置執行，包括：一影像擷取單元擷取得到序列的多數實境影像，各該實境影像中包括一手部及一作為該手部之背景的景點環境，且一顯示單元即時顯示該等實境影像；依據其中一實境影像辨識出景點，進而從該記憶體中篩選出對應的景點資訊；提供至少一與該景點資訊相關的圖標，並使該圖標疊加於該實境影像上；及針對該等實境影像中的手部連同實境影像上疊加的圖標進行辨識，依據辨識結果產生一預設的有關於對該圖標的操作的輸入指令。

Description

手勢結合擴增實境之圖標控制方法
本發明是有關於一種輸入方法，特別是指一種利用手勢結合擴增實境之圖標控制方法。
擴增實境(Augmented Reality，簡稱AR)，是一種即時計算攝影機所擷取的影像中物件的位置及角度並在螢幕中顯示該影像的技術，藉此將螢幕上的虛擬世界與現實世界結合。
目前已發展之擴增實境的應用，例如中華民國公開第201123934號專利揭露一種即時擴增實境裝置，與一導航裝置及一影像擷取裝置搭配使用。該案中，即時擴增實境裝置預存「物件的實際長度及實際寬度」，並根據影像擷取裝置擷取的即時影像中的「物件的虛擬長度及虛擬寬度」，計算出影像擷取方向的仰角、偏角，然後依據導航裝置預存的導航資訊產生一指引資訊，合成於即時影像中。藉此讓即時影像作為導航影像，減少對地圖的使用。
然而前述擴增實境裝置僅單純用來輔助使導航影像真實而易於辨識，使用者仍是透過該導航裝置的觸控面板或實體按鈕進行輸入操作。
因此，本發明之目的，即在提供一種利用一可攜式電子裝置執行之創新的手勢結合擴增實境之圖標控制方法。
於是，本發明手勢結合擴增實境之圖標控制方法，利 用該可攜式電子裝置執行。該可攜式電子裝置包括一顯示單元、一影像擷取單元、一儲存有多數筆景點資訊及一有關該方法之程式碼的記憶體，及一與前述元件電連接的控制器；該控制器讀取該程式碼執行該圖標控制方法的以下步驟：(A)令該影像擷取單元擷取得到序列的多數實境影像，並且令該顯示單元即時顯示該等實境影像，各該實境影像中包括一手部及一作為該手部之背景的景點環境；(B)依據其中一實境影像辨識出有關該影像擷取單元所對準之景點，進而從該記憶體中篩選出對應的景點資訊；(C)提供至少一與該景點資訊相關的圖標，並使該圖標疊加於該實境影像上；及(D)針對該等實境影像中的手部連同實境影像上疊加的圖標進行辨識，依據辨識結果產生一預設的可由該控制器讀取且執行的輸入指令，該輸入指令是有關於對該圖標的操作。
本發明的目的還可採用以下技術進一步實現：所述可攜式電子裝置還包括一與該控制器連接且接收一衛星定位信號的衛星定位模組；該步驟(B)是依據該衛星定位模組接收的衛星定位信號得知該可攜式電子裝置所在的經緯度座標，並且在該記憶體中篩選在該經緯度座標通常可視範圍內的景點資訊，再依據從該實境影像中辨識的結果推斷該實境影像中的景點，接著篩選出該景點資訊 。
另外，該步驟(D)是針對該等實境影像中的手部連同所疊加的圖標進行平面座標位置辨識，當辨識該手部鄰近該圖標，產生該輸入指令。
或者，該步驟(D)是針對該等實境影像中的手部連同所疊加的圖標進行平面座標位置辨識及手勢辨識，得到一代表一對該圖標進行操作動作的手勢資訊且產生對應該手勢資訊的該輸入指令。
在該步驟(D)中，當辨識該手部的其中一手指呈直線形，得到之手勢資訊為指，並辨識出指尖以及該圖標在其中一實境影像中的平面座標位置，當辨識出該指尖接近該圖標平面座標位置，依據該手勢資訊連同最接近該呈直線形之手指之指尖的圖標產生選取該圖標的輸入指令。在產生該選取該圖標的輸入指令之後，當辨識該手部的複數手指呈現封閉形狀，得到之手勢資訊為捏持，連同該被選取的圖標產生拖曳該圖標的輸入指令，拖曳路徑即該手部移動路徑。在產生該拖曳該圖標的輸入指令之後，當辨識該手部的複數手指呈現開放弧形，得到之手勢資訊為放開，產生終止輸入的輸入指令。
該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執行區塊，當該步驟(D)先產生了拖曳該圖標至該執行區塊內的輸入指令，接著產生了終止輸入的輸入指令，則產生執行或開啟該圖標所對應之一應用程式或一資料夾或一資料之輸入指令。
或者，採用以下技術進一步實現：該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執行區塊，在該步驟(D)中是針對該等實境影像中的手部連同所疊加的圖標進行平面座標位置辨識及手勢辨識，當辨識該手部位在該執行區塊內且其中複數手指從封閉形狀變化呈開放弧形，則產生執行或開啟最接近該手指之指尖的圖標所對應之一應用程式或一資料夾或一資料之輸入指令。
前述各技術方案中，該步驟(C)可以是依據該景點資訊中的一景點經緯度座標，使該圖標疊合於該實境影像中對應該座標的位置。
前述各技術方案中，本發明方法可以是藉由以下機制啟動：該控制器依據該影像擷取單元所擷取之多張連續的實境影像鎖定一符合一預設的手部條件之物即啟動該方法，該手部條件以下其中之一者，一掌狀樣板、指頭狀樣板，以及是佔據特定影像範圍的淺景物。
本發明之功效在於提供新穎的圖標控制方式，讓使用者以其手部伸到可攜式電子裝置前，對擴增實境影像中的圖標進行虛擬操作，可攜式電子裝置即能執行預設的對應的輸入指令。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之二個較佳實施例的詳細說明中，將可清楚的呈現。
在本發明被詳細描述之前，要注意的是，在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1與圖2，本發明手勢結合擴增實境之圖標控制方法的第一較佳實施例，利用一可攜式電子裝置100執行。該可攜式電子裝置100包括一使用時朝向一使用者而供該使用者觀看的顯示單元1、一朝前而與該使用者同向的影像擷取單元2、一記憶體3、一接收一衛星定位信號的衛星定位(GPS)模組4，及一與前述元件電連接的控制器5。 記憶體3儲存有多數筆景點資訊及一有關該手勢結合擴增實境之圖標控制方法之程式碼。景點資訊例如經緯度座標、景點地址、地圖、建議行程，及景點介紹等。
一開始，該影像擷取單元2連續擷取實境影像，並由該顯示單元1顯示之。當一使用者以其手部伸到可攜式電子裝置100的影像擷取單元2前方，該控制器5依據多張連續的實境影像鎖定一符合一預設的手部條件之物，該可攜式電子裝置100即啟動本發明之方法。該手部條件例如是一掌狀樣板(pattern)、指頭狀樣板，或者是佔據特定影像範圍的淺景物。
當本發明之方法啟動，該控制器5讀取該程式碼而執行的步驟如下：步驟S11-令該影像擷取單元2不改變方位地繼續擷取影像，得到序列的多數張例如圖3所示的實境影像P1，各該實境影像P1中包括會隨著時間變動的該手部，及一作為該手部之背景且原則上短時間內不會隨著時間變動的景點 環境。
步驟S12-令該顯示單元1繼續即時地顯示該等實境影像P1。
步驟S13-控制器5另一方面依據GPS模組4接收的衛星定位信號，得知該可攜式電子裝置100所在的經緯度座標，並且在該記憶體3中篩選在該經緯度座標通常可視範圍內的景點資訊，再依據其中一實境影像P1辨識後推斷該實境影像P1中的景點(例如建築物)，接著篩選出有關該影像擷取單元2所對準之景點的景點資訊。
須說明的是，本發明有關「找出該影像擷取單元2所對準之景點的景點資訊」的方式，不以此處揭露之技術為限。也可以不利用衛星定位信號而在未知該可攜式電子裝置100所在的經緯度的狀態下，直接依據實境影像P1辨識景點後比對篩選出記憶體3中的景點資訊。
步驟S14-提供一或多個圖標並使該圖標疊加於該實境影像P1上，供使用者以手勢對其進行虛擬操控。各該圖標代表一種操作功能，例如「首頁」或「返回上一頁」，或者代表與其中一筆景點資訊相關的應用程式，例如「播放影片」，或者代表與其中一筆景點資訊相關的資料夾或文件、網頁等任何形式資料，例如「台北101大樓」、「地圖」、「建議行程」、「景點介紹」等。
步驟S15-針對接下來的多數張實境影像P1中的手部連同所疊加的圖標進行辨識，在本實施例是辨識手勢，得到一代表一對該圖標進行操作動作的手勢資訊且產生一輸 入指令。但本發明不以辨識手勢為限，也可以簡化-例如，該控制器5依據該等實境影像P1連同所疊加的圖標計算手部與圖標位置，當手部位置與圖標位置距離小於一預設臨界值即產生預設的輸入指令。
步驟S16-執行該輸入指令。
以下以圖3至圖6舉例說明上述方法中，步驟S14至S16的具體執行流程。
如圖3所示，控制器5(圖1)在步驟S14是提供一個代表「首頁」的圖標I1。當使用者以手勢執行點選該圖標I1的動作，控制器5在步驟S15中，辨識該手部的其中一手指呈直線形，得到一手勢資訊為「指」，並辨識出指尖以及該圖標I1在其中一實境影像P1中的平面座標位置。當辨識出該指尖接近該圖標I1平面座標位置，依據該手勢資訊(「指」)連同指尖所對應的圖標I1，產生一預設的對該圖標I1進行操作的輸入指令，在本實施例是「開啟」。
但是本發明在本步驟的處理方式不以前述為限，對應於代表不同意義的圖標，手勢資訊所產生對該圖標I1的預設的輸入指令也不同。此外，本步驟也可以簡化而不進行手勢辨識，例如，當辨識該手部鄰近該圖標I1，即執行該預設的輸入指令。
控制器5執行步驟S16，也就是開啟首頁之後，控制器5提供如圖4所示的圖標I2~I4，例如分別代表「景點介紹」、「建議行程」、「地圖」。當使用者以手勢執行點選其中的圖標I2的動作而讓控制器5再次執行後續之步驟S15(辨識 手勢)及S16(執行輸入指令)後，返回步驟S14。此時控制器5提供如圖5所示的與步驟S13篩選出的景點資訊相關的圖標I5、I6，例如分別代表「台北101大樓」、「美麗華摩天輪」。該圖標I5、I6分別是依據「台北101大樓」、「美麗華摩天輪」的景點資訊中的景點座標疊加於該實境影像P1上對應該座標的位置。當使用者點選其中的圖標I5而讓控制器5再次執行後續之步驟S15(辨識手勢)及S16(執行輸入指令)後，返回步驟S14。此時控制器5則提供如圖6所示的內容為台北101大樓景點介紹的頁面。上述圖標I1~I6及頁面皆疊加於該實境影像P1上。
由於本實施例之步驟S13已依據衛星定位信號得知該可攜式電子裝置100所在的經緯度座標，又已經篩選出景點資訊(含經緯度座標)，因此該可攜式電子裝置100可利用其導航模組(圖未示)進行該景點的導航。該可攜式電子裝置100可包含有軟體程式，以及對應該軟體程式的圖標或列表等，讓使用者得以啟動上述導航功能。
參閱圖1、圖2及圖9，本發明手勢結合擴增實境之圖標控制方法的第二較佳實施例與第一較佳實施例的差異主要在於步驟S15的執行細節，以及步驟S12還令該顯示單元1顯示一占有一定面積且被特別標示的執行區塊10。
在本實施例中，記憶體3儲存的有關該手勢結合擴增實境之圖標控制方法之程式碼規劃有較多樣的手勢辨識條件，或者記憶體3儲存有手勢辨識條件的列表。該步驟S15中，若控制器5辨識該手部的其中一手指如圖7所示呈直 線形，得到之手勢資訊為「指」，連同最接近該呈直線形之手指之指尖的圖標I1產生「選取該圖標」的輸入指令。若控制器5辨識該手部的複數手指如圖8所示呈現封閉形狀，得到之手勢資訊為「捏持」，連同該被選取的圖標I1產生「拖曳該圖標」的輸入指令，拖曳路徑即該手部移動路徑。
當使用者將圖標I1拖曳至如圖9所示的位置，也就是該執行區塊10內，若該控制器5辨識該手部的複數手指如圖10所示呈現開放弧形，得到之手勢資訊為「放開」，產生「終止輸入」的輸入指令。此時，自動產生「執行」或「開啟」該圖標I1所對應之一應用程式或一資料夾或一資料之輸入指令。該控制器5在步驟S16中執行後出現圖11所示的實境影像。
當使用者依照上述規則，以先「指」後「捏持」的方式將圖11中的圖標I2拖曳至如圖12所示之位置，也就是執行區塊10內，再如圖13所示放開後，控制器5辨識而產生開啟該圖標I2所對應資料夾的輸入指令。接著，控制器5提供如圖13所示的圖標I5、I6，圖標I5、I6疊加於該實境影像P1上對應該座標的位置，分別代表「台北101大樓」的景點介紹、「美麗華摩天輪」的景點介紹。當使用者依照上述規則，以先「指」後「捏持」的方式將圖13中的圖標I5拖曳至如圖14所示之位置，也就是執行區塊10內，再放開後，控制器5辨識而產生開啟該圖標I5所對應內容的輸入指令。經步驟S16執行該輸入指令後，呈現如圖 15所示影像。
須說明的是，本實施例的步驟S15也可簡化，該控制器5依據該等實境影像P1連同所疊加的圖標計算手部、執行區塊10與圖標位置並產生輸入指令。當手部位置與圖標位置距離小於一預設臨界值即產生「選取及可拖曳」的輸入指令，當手部位置連同圖標進入該執行區塊10，即產生「執行」或「開啟」的輸入指令。
綜上所述，本發明提供新穎的圖標控制方式，讓使用者以其手部伸到可攜式電子裝置100前，對擴增實境影像中的圖標進行虛擬操作，可攜式電子裝置100即能執行預設的對應的輸入指令，故確實能達成本發明之目的。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
S11~S16‧‧‧步驟
100‧‧‧可攜式電子裝置
1‧‧‧顯示單元
2‧‧‧影像擷取單元
3‧‧‧記憶體
4‧‧‧GPS模組
5‧‧‧控制器
10‧‧‧執行區塊
P1‧‧‧實境影像
I1~I6‧‧‧圖標
圖1是一系統方塊圖，說明本發明可攜式電子裝置的系統架構；圖2是一流程圖，說明本發明手勢結合擴增實境之圖標控制方法的執行步驟；圖3~圖6分別是一實境影像圖，說明本發明第一較佳實施例的操作畫面；及圖7~圖15分別是一實境影像圖，說明本發明第二較佳實施例的操作畫面。
S11~S16‧‧‧步驟

Claims (11)

  1. 一種手勢結合擴增實境之圖標控制方法，利用一可攜式電子裝置執行，該可攜式電子裝置包括一顯示單元、一影像擷取單元、一儲存有多數筆景點資訊及一有關該方法之程式碼的記憶體，及一與前述元件電連接的控制器；該控制器讀取該程式碼執行該圖標控制方法的以下步驟：(A)令該影像擷取單元擷取得到序列的多數實境影像，並且令該顯示單元即時顯示該等實境影像，各該實境影像中包括一手部及一作為該手部之背景的景點環境；(B)依據其中一實境影像辨識出有關該影像擷取單元所對準之景點，進而從該記憶體中篩選出對應的景點資訊；(C)提供至少一與該景點資訊相關的圖標，並使該圖標疊加於該實境影像上；及(D)針對該等實境影像中的手部連同實境影像上疊加的圖標進行辨識，依據辨識結果產生一預設的可由該控制器讀取且執行的輸入指令，該輸入指令是有關於對該圖標的操作。
  2. 依據申請專利範圍第1項所述之圖標控制方法，所述可攜式電子裝置還包括一與該控制器連接且接收一衛星定位信號的衛星定位模組；該步驟(B)是依據該衛星定位模組接收的衛星定位信號得知該可攜式電子裝置所在 的經緯度座標，並且在該記憶體中篩選在該經緯度座標通常可視範圍內的景點資訊，再依據從該實境影像中辨識的結果推斷該實境影像中的景點，接著篩選出該景點資訊。
  3. 依據申請專利範圍第1項所述之圖標控制方法，其中，該步驟(D)是針對該等實境影像中的手部連同所疊加的圖標進行平面座標位置辨識，當辨識該手部鄰近該圖標，產生該輸入指令。
  4. 依據申請專利範圍第1項所述之圖標控制方法，其中，該步驟(D)是針對該等實境影像中的手部連同所疊加的圖標進行平面座標位置辨識及手勢辨識，得到一代表一對該圖標進行操作動作的手勢資訊且產生對應該手勢資訊的該輸入指令。
  5. 依據申請專利範圍第4項所述之圖標控制方法，其中，在該步驟(D)中，當辨識該手部的其中一手指呈直線形，得到之手勢資訊為指，並辨識出指尖以及該圖標在其中一實境影像中的平面座標位置，當辨識出該指尖接近該圖標平面座標位置，依據該手勢資訊連同最接近該呈直線形之手指之指尖的圖標產生選取該圖標的輸入指令。
  6. 依據申請專利範圍第5項所述之圖標控制方法，其中，在該步驟(D)中，在產生該選取該圖標的輸入指令之後，當辨識該手部的複數手指呈現封閉形狀，得到之手勢資訊為捏持，連同該被選取的圖標產生拖曳該圖標的 輸入指令，拖曳路徑即該手部移動路徑。
  7. 依據申請專利範圍第6項所述之圖標控制方法，其中，在該步驟(D)中，在產生該拖曳該圖標的輸入指令之後，當辨識該手部的複數手指呈現開放弧形，得到之手勢資訊為放開，產生終止輸入的輸入指令。
  8. 依據申請專利範圍第7項所述之圖標控制方法，其中，該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執行區塊；當該步驟(D)先產生了拖曳該圖標至該執行區塊內的輸入指令，接著產生了終止輸入的輸入指令，則產生執行或開啟該圖標所對應之一應用程式或一資料夾或一資料之輸入指令。
  9. 依據申請專利範圍第1項所述之圖標控制方法，其中，該步驟(A)還令該顯示單元顯示一占有一定面積且被特別標示的執行區塊，在該步驟(D)中是針對該等實境影像中的手部連同所疊加的圖標進行平面座標位置辨識及手勢辨識，當辨識該手部位在該執行區塊內且其中複數手指從封閉形狀變化呈開放弧形，則產生執行或開啟最接近該手指之指尖的圖標所對應之一應用程式或一資料夾或一資料之輸入指令。
  10. 依據申請專利範圍第1至9項中任一項所述之圖標控制方法，其中，該步驟(C)是依據該景點資訊中的一景點經緯度座標，使該圖標疊合於該實境影像中對應該座標的位置。
  11. 依據申請專利範圍第1至9項中任一項所述之圖標控制 方法，是藉由以下機制啟動：該控制器依據該影像擷取單元所擷取之多張連續的實境影像鎖定一符合一預設的手部條件之物即啟動該方法，該手部條件以下其中之一者，一掌狀樣板、指頭狀樣板，以及是佔據特定影像範圍的淺景物。
TW101127442A 2012-07-30 2012-07-30 Gesture combined with the implementation of the icon control method TWI475474B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW101127442A TWI475474B (zh) 2012-07-30 2012-07-30 Gesture combined with the implementation of the icon control method
US13/952,830 US20140028716A1 (en) 2012-07-30 2013-07-29 Method and electronic device for generating an instruction in an augmented reality environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW101127442A TWI475474B (zh) 2012-07-30 2012-07-30 Gesture combined with the implementation of the icon control method

Publications (2)

Publication Number Publication Date
TW201405411A true TW201405411A (zh) 2014-02-01
TWI475474B TWI475474B (zh) 2015-03-01

Family

ID=49994451

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101127442A TWI475474B (zh) 2012-07-30 2012-07-30 Gesture combined with the implementation of the icon control method

Country Status (2)

Country Link
US (1) US20140028716A1 (zh)
TW (1) TWI475474B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617930B (zh) * 2016-09-23 2018-03-11 李雨暹 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP6205189B2 (ja) * 2013-06-28 2017-09-27 オリンパス株式会社 情報提示システム及び情報提示システムの制御方法
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
US10083238B2 (en) * 2015-09-28 2018-09-25 Oath Inc. Multi-touch gesture search
EP3386204A1 (en) * 2017-04-04 2018-10-10 Thomson Licensing Device and method for managing remotely displayed contents by augmented reality
US10824296B2 (en) * 2018-08-22 2020-11-03 International Business Machines Corporation Configuring an application for launching
US10776619B2 (en) 2018-09-27 2020-09-15 The Toronto-Dominion Bank Systems and methods for augmenting a displayed document
US11422669B1 (en) 2019-06-07 2022-08-23 Facebook Technologies, Llc Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
US11334212B2 (en) * 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7425950B2 (en) * 2001-10-11 2008-09-16 Yappa Corporation Web 3D image display system
DE102005058240A1 (de) * 2005-12-06 2007-06-14 Siemens Ag Trackingsystem und Verfahren zur Posenbestimmung
TWM413920U (en) * 2008-02-29 2011-10-11 Tsung-Yu Liu Assisted reading system utilizing identification label and augmented reality
TWI385559B (zh) * 2008-10-21 2013-02-11 Univ Ishou Expand the real world system and its user interface method
TW201020896A (en) * 2008-11-19 2010-06-01 Nat Applied Res Laboratories Method of gesture control
WO2010073616A1 (ja) * 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
TWM362475U (en) * 2009-03-10 2009-08-01 Tzu-Ching Chia Tour-guiding device
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
KR101643869B1 (ko) * 2010-05-06 2016-07-29 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP2012065263A (ja) * 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
US9710554B2 (en) * 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
US8890896B1 (en) * 2010-11-02 2014-11-18 Google Inc. Image recognition in an augmented reality application
US9111418B2 (en) * 2010-12-15 2015-08-18 Bally Gaming, Inc. System and method for augmented reality using a player card
KR20120085474A (ko) * 2011-01-24 2012-08-01 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
TWM415291U (en) * 2011-04-22 2011-11-01 Maction Technologies Inc Driving navigation device combined with image capturing and recognizing functions
US20120299962A1 (en) * 2011-05-27 2012-11-29 Nokia Corporation Method and apparatus for collaborative augmented reality displays
TWM419175U (en) * 2011-08-10 2011-12-21 Univ Tainan Technology Guidance map with augmented reality function
KR20140069124A (ko) * 2011-09-19 2014-06-09 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US9087412B2 (en) * 2011-09-26 2015-07-21 Nokia Technologies Oy Method and apparatus for grouping and de-overlapping items in a user interface
US9128520B2 (en) * 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US20130176202A1 (en) * 2012-01-11 2013-07-11 Qualcomm Incorporated Menu selection using tangible interaction with mobile devices
JP5891843B2 (ja) * 2012-02-24 2016-03-23 ソニー株式会社 クライアント端末、サーバ、およびプログラム
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9204245B2 (en) * 2013-07-25 2015-12-01 Elwha Llc Systems and methods for providing gesture indicative data via a head wearable computing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI617930B (zh) * 2016-09-23 2018-03-11 李雨暹 空間物件搜尋排序方法、系統與電腦可讀取儲存裝置

Also Published As

Publication number Publication date
TWI475474B (zh) 2015-03-01
US20140028716A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
TWI475474B (zh) Gesture combined with the implementation of the icon control method
US11048333B2 (en) System and method for close-range movement tracking
US9910498B2 (en) System and method for close-range movement tracking
JP5900393B2 (ja) 情報処理装置、操作制御方法及びプログラム
JP5807686B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9489040B2 (en) Interactive input system having a 3D input space
JP5885309B2 (ja) ジェスチャ認識のためのユーザ・インタフェース、装置および方法
US20140123077A1 (en) System and method for user interaction and control of electronic devices
US20090172606A1 (en) Method and apparatus for two-handed computer user interface with gesture recognition
AU2016200885B2 (en) Three-dimensional virtualization
CN108536273A (zh) 基于手势的人机菜单交互方法与系统
US20130285904A1 (en) Computer vision based control of an icon on a display
WO2014194148A2 (en) Systems and methods involving gesture based user interaction, user interface and/or other features
EP2965181B1 (en) Enhanced canvas environments
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
KR101338958B1 (ko) 멀티터치 단말기에서 가상물체의 3차원 움직임 조작시스템 및 방법
US10444985B2 (en) Computing device responsive to contact gestures
CN109144235B (zh) 基于头手协同动作的人机交互方法与系统
US9323431B2 (en) User interface for drawing with electronic devices
KR20110049162A (ko) 휴대용 영상 처리기에서 가상 입출력 장치 및 방법
Lee et al. Mouse operation on monitor by interactive analysis of intuitive hand motions
KR102086495B1 (ko) 사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치
CN103677229A (zh) 手势结合扩增实境的图标控制方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees