TWI705356B - 虛擬實境場景下的輸入方法和裝置 - Google Patents

虛擬實境場景下的輸入方法和裝置 Download PDF

Info

Publication number
TWI705356B
TWI705356B TW106126428A TW106126428A TWI705356B TW I705356 B TWI705356 B TW I705356B TW 106126428 A TW106126428 A TW 106126428A TW 106126428 A TW106126428 A TW 106126428A TW I705356 B TWI705356 B TW I705356B
Authority
TW
Taiwan
Prior art keywords
input
virtual
focus
starting point
attention
Prior art date
Application number
TW106126428A
Other languages
English (en)
Other versions
TW201816549A (zh
Inventor
焦雷
尹歡密
Original Assignee
香港商阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 香港商阿里巴巴集團服務有限公司 filed Critical 香港商阿里巴巴集團服務有限公司
Publication of TW201816549A publication Critical patent/TW201816549A/zh
Application granted granted Critical
Publication of TWI705356B publication Critical patent/TWI705356B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Acyclic And Carbocyclic Compounds In Medicinal Compositions (AREA)
  • Prostheses (AREA)
  • Machine Translation (AREA)
  • Position Input By Displaying (AREA)

Abstract

本發明提供一種虛擬實境場景下的輸入方法和裝置。所述方法包括：在接收到啟動輸入的指令時，在虛擬實境場景中展示輸入起點和若干虛擬按鍵，其中，所述輸入起點與所述若干虛擬按鍵之間具有特定的位置關係，所述位置關係為所述輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡；當確定關注焦點到達所述輸入起點時，開啟虛擬按鍵的輸入檢測；當檢測到所述關注焦點由所述輸入起點出發，移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。本發明提供的輸入對於使用者而言操作簡單，且識別的準確率較高，不會引起誤判，可以提升使用者在虛擬實境場景中的互動體驗。

Description

虛擬實境場景下的輸入方法和裝置
本發明涉及電腦應用領域，尤其涉及一種虛擬實境場景下的輸入方法和裝置。
VR(Virtual Reality，虛擬實境)技術，是一種綜合利用電腦圖形系統和各種控制介面，在電腦上產生可互動的三維互動環境，面向使用者提供沉浸感的技術。
為了提升使用者與虛擬實境場景之間的互動性，在虛擬實境場景中通常會面向使用者提供豐富的可操作的虛擬按鍵。使用者可以在虛擬場景中，透過選中場景中提供的這些可操作按鍵，來觸發相應的輸入，與虛擬實境場景進行互動。
有鑑於此，本發明提供一種虛擬實境場景下的輸入方法和裝置。
具體地，本發明是透過如下技術方案實現的：一種虛擬實境場景下的輸入方法，所述方法包括：在接收到啟動輸入的指令時，在虛擬實境場景中展示 輸入起點和若干虛擬按鍵，其中，所述輸入起點與所述若干虛擬按鍵之間具有特定的位置關係，所述位置關係為所述輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡；當確定關注焦點到達所述輸入起點時，開啟虛擬按鍵的輸入檢測；當檢測到所述關注焦點由所述輸入起點出發，移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。
一種虛擬實境場景下的輸入裝置，所述裝置包括：按鍵展示單元，在接收到啟動輸入的指令時，在虛擬實境場景中展示輸入起點和若干虛擬按鍵，其中，所述輸入起點與所述若干虛擬按鍵之間具有特定的位置關係，所述位置關係為所述輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡；開啟檢測單元，當確定關注焦點到達所述輸入起點時，開啟虛擬按鍵的輸入檢測；按鍵輸入單元，當檢測到所述關注焦點由所述輸入起點出發，移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。
由以上描述可以看出，本發明可以在虛擬實境場景中展示具有特定的位置關係的輸入起點和若干虛擬按鍵，並可以指導使用者控制關注焦點從輸入起點出發，當檢測到所述關注焦點由所述輸入起點出發移動至首個虛擬按鍵 時，確定該虛擬按鍵被使用者輸入。整個過程使用者操作簡單，且識別的準確率較高，不會引起誤判，提升使用者在虛擬實境場景中的互動體驗。
S201~S203‧‧‧步驟
700‧‧‧虛擬實境場景下的輸入裝置
701‧‧‧按鍵展示單元
702‧‧‧開啟檢測單元
703‧‧‧按鍵輸入單元
704‧‧‧軌跡採集單元
705‧‧‧輔助展示單元
706‧‧‧效果更改單元
圖1是相關技術中的一種虛擬鍵盤示意圖。
圖2是本發明一實施例示出的一種虛擬實境場景下的輸入方法的流程示意圖。
圖3是本發明一實施例示出的一種輸入起點與虛擬按鍵的位置關係示意圖。
圖4是本發明一實施例示出的另一種輸入起點與虛擬按鍵的位置關係示意圖。
圖5是本發明一實施例示出的另一種輸入起點與虛擬按鍵的位置關係示意圖。
圖6是本發明一實施例示出的一種關注焦點的移動軌跡的示意圖。
圖7是本發明一實施例示出的一種用於虛擬實境場景下的輸入裝置的一硬體架構圖。
圖8是本發明一實施例示出的一種虛擬實境場景下的輸入裝置的方塊圖。
這裡將詳細地對示例性實施例進行說明，其示例表示在圖式中。下面的描述涉及圖式時，除非另有表示，不同 圖式中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式並不代表與本發明相一致的所有實施方式。相反，它們僅是與如所附申請專利範圍中所詳述的、本發明的一些方面相一致的裝置和方法的例子。
在本發明使用的術語是僅僅出於描述特定實施例的目的，而非旨在限制本發明。在本發明和所附申請專利範圍中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式，除非上下文清楚地表示其他含義。還應當理解，本文中使用的術語“和/或”是指並包含一個或多個相關聯的列出項目的任何或所有可能組合。
應當理解，儘管在本發明可能採用術語第一、第二、第三等來描述各種資訊，但這些資訊不應限於這些術語。這些術語僅用來將同一類型的資訊彼此區分開。例如，在不脫離本發明範圍的情況下，第一資訊也可以被稱為第二資訊，類似地，第二資訊也可以被稱為第一資訊。取決於語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當……時”或“響應於確定”。
在相關技術中，在電腦上使用者可以透過滑鼠控制游標移動和點擊虛擬鍵盤上的按鍵，滑鼠游標相當於使用者在顯示頁面中的關注焦點，透過對該關注焦點的移動，選取使用者關注的虛擬按鍵，並點擊該虛擬按鍵，完成操控。在觸控手機上使用者可以透過觸摸點擊虛擬鍵盤上的按鍵，在觸控方案中，使用者確定關注的虛擬按鍵後，可以透過手指觸控該虛擬按鍵，完成操控。
然而，在虛擬實境場景中，由於使用者需要在空間內進行移動，因而無法提供穩定的滑鼠操作平臺，導致滑鼠無法適用於VR環境。另一方面，使用者由於佩戴VR眼鏡，無法看到自己雙手的位置，因而也無法直接透過手指進行選擇和點擊上述虛擬鍵盤上的虛擬按鍵。
在虛擬實境場景中，VR眼鏡可以透過對使用者的頭部運動或視線焦點進行監測，確定出使用者的關注焦點，使得使用者可以透過頭部運動或視線移動，控制關注焦點的位移，以實現對虛擬按鍵的選擇。
目前，這樣控制方式可以分為“移動”和“點擊”兩個階段。主要原理為：當頭部或視線焦點處於運動狀態時，可判定為“移動”階段，當停止運動的時間長度達到預設時間長度時，可判定為“點擊”。這樣的實現方式對於使用者的操控熟練度具有較高要求，兩個階段之間的區分並不十分明顯，容易造成對“移動”和“點擊”的誤判。
請參考圖1所示的虛擬鍵盤，假定使用者需要輸入“1938”，那麼關注焦點的移動路徑應當為下述的路徑①→路徑②→路徑③。然而，路徑①需要途徑虛擬按鍵1、5、9，如果使用者的移動出現速度較慢、不流暢等問題時，例如在途經5時存在短暫停留，那麼就可能識別為使用者“確認”輸入5，導致誤判。類似地，路徑②需要途經無關的數字6，而路徑③需要途經無關的數字6、5等。
有鑑於此，本發明提出一種虛擬實境場景下的輸入方 案，可以在虛擬實境場景中展示具有特定的位置關係的輸入起點和若干虛擬按鍵，並可以指導使用者控制關注焦點從輸入起點出發，當檢測到所述關注焦點由所述輸入起點出發移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入。整個過程使用者操作簡單，且識別的準確率較高，不會引起誤判，提升使用者在虛擬實境場景中的互動體驗。
圖2是本發明一實施例示出的一種虛擬實境場景下的輸入方法的流程示意圖。
請參考圖2，所述虛擬實境場景下的輸入方法可以應用與VR客戶端，所述VR客戶端，是指基於VR技術開發的可以面向使用者提供三維沉浸體驗的客戶端軟體；比如，基於VR的APP；上述VR客戶端，可以將開發人員開發出的虛擬實境場景模型，透過與VR客戶端對接的VR終端，向使用者輸出，從而使得佩戴VR終端的使用者，能夠在虛擬實境場景中得到三維沉浸體驗。所述虛擬實境場景下的輸入方法可以包括以下步驟：
步驟201，在接收到啟動輸入的指令時，在虛擬實境場景中展示輸入起點和若干虛擬按鍵，所述輸入起點與所述若干虛擬按鍵之間具有特定的位置關係，所述位置關係為所述輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡。
在本實施例中，所述啟動輸入的指令通常由使用者觸發，比如：使用者可以透過預設的物理按鍵、肢體動作、語音等方式輸入所述啟動輸入的指令。在接收到啟動輸入 的指令時，可以在當前虛擬實境場景中展示輸入起點和若干虛擬按鍵。其中，所述虛擬按鍵的形狀可以由開發人員進行設置，比如：圓形或者方形等。所述輸入起點可以為一條直線、一個點，所述輸入起點也可以為一個圓形區域，該圓形區域中的任意一點和所述若干虛擬按鍵之間都需要滿足所述特定的位置關係。
在本實施例中，為避免使用者誤操作所導致的誤判問題，所述特定的位置關係可為所述輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡。
步驟202，當確定關注焦點到達所述輸入起點時，開啟虛擬按鍵的輸入檢測。
步驟203，當檢測到所述關注焦點由所述輸入起點出發，移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。
在本實施例中，使用者可以控制關注焦點由所述輸入起點出發，移動至所要輸入的虛擬按鍵所在的位置區域，以實現對該虛擬按鍵的輸入。無需使用者長時間的將關注焦點停留在虛擬按鍵上即可準確的判斷使用者的動作意圖，操作簡單，輸入速度快，且識別的準確率較高，提升使用者在虛擬實境場景中的互動體驗。
以下透過VR場景模型創建，關注焦點的位移追蹤，虛擬按鍵的輸入三個階段，對本發明的技術方案進行詳細描述。
一、VR場景模型創建
在本例中，開發人員可以透過特定的建模工具，完成VR場景模型的創建。所述建模工具，在本例中不進行特別的限定；例如，開發人員可以使用諸如Unity、3dsMax、Photoshop等較為成熟的建模工具完成VR場景模型的創建。
其中，開發人員在透過建模工具創建VR場景模型的過程中，該VR場景模型，以及該VR場景的紋理貼圖，都可來源於現實生活中的真實場景；例如，可以事先透過攝像，採集材質紋理貼圖，和真實場景的平面模型，然後透過Photoshop或3dmax等建模工具，來處理紋理和構建真實場景的三維模型，然後導入到unity3D平臺(簡稱U3D)，在U3D平臺中透過音效、圖形介面、外掛程式、燈光等多個維度進行畫面渲染，然後編寫互動代碼，最後完成VR場景模型的建模。
在本例中，開發人員除了需要創建VR場景模型以外，為了使使用者能夠在VR場景中更好的完成互動，還可以透過所述建模工具，創建輸入起點與若干虛擬按鍵，所述虛擬按鍵可以包括：用於輸入數字的數字按鍵，用於輸入字母的鍵盤類按鍵等。所述虛擬按鍵的具體形態，在本例中不進行特別限定，在實際應用中，可以基於使用者體驗進行個性化定制。可選的，所述若干虛擬按鍵之間可以具有適當的空隙，以避免誤判。
在本例中，當開發人員完成VR場景模型以及所述虛擬按鍵和輸入起點的建模後，所述VR客戶端可以將所述VR場景模型透過與所述VR客戶端對接的VR終端(比如VR頭盔)，向使用者輸出。在接收到來自使用者的啟動輸入的指令時，可以在所述VR場景中展示輸入起點和所述虛擬按鍵。
二、關注焦點的位移追蹤
在本例中，在VR客戶端輸出的VR場景中，可以預設在使用者視野中顯示一個關注焦點(也稱之為視覺焦點)。使用者在佩戴VR終端在VR場景中進行沉浸體驗的過程中，可以透過頭部或者手部的姿態來控制VR場景中的關注焦點的位移，與VR場景進行互動。
VR客戶端可以透過VR終端搭載的傳感硬體，來追蹤使用者的頭部或者手部的位移，由傳感硬體來實時的採集使用者在佩戴VR終端時頭部或者手部的位移資料。
其中，所述傳感硬體，在實際應用中可以包括角速度感測器，加速度感測器，重力感測器等。
所述傳感硬體在採集到使用者的頭部或者手部的位移資料後，可以實時的將採集到的位移資料回傳給VR客戶端，VR客戶端在接收到傳感硬體回傳的位移資料後，可以根據該位移資料，來控制VR場景中輸出的關注焦點同步的進行位移。
例如，在實現時，VR終端可以基於接收到的位移資 料，計算使用者的頭部和手部相對於VR場景中的X軸和Y軸的偏移量，然後基於計算出的偏移量來實時的控制關注焦點的位移。
在本例中，除了可以透過VR終端搭載的傳感硬體，追蹤使用者的頭部或者手部的位移，控制關注焦點同步的進行位移以外，VR客戶端還可以在控制關注焦點與使用者的頭部和手部同步的進行位移的過程中，實時的追蹤該關注焦點的位移，並實時的記錄關注焦點在VR場景中的座標位置，然後根據實時記錄的該關注焦點的座標位置，來產生關注焦點在VR場景中的位移軌跡。
三、虛擬按鍵的輸入
在本例中，使用者可以透過控制關注焦點的移動軌跡從VR場景中的輸入起點出發，經由一條可用移動軌跡，移動至該可用移動軌跡對應的虛擬按鍵所在的區域，來觸發該虛擬按鍵的輸入。
在本例中，VR客戶端展示輸入起點和若干虛擬按鍵後，可以實時進行關注焦點的位移追蹤，並在確定關注焦點到達所述輸入起點時，開啟虛擬按鍵的輸入檢測，並在檢測到所述關注焦點由所述輸入起點移動至首個虛擬按鍵所在的位置區域時，可確定該虛擬按鍵被使用者選中，並結束本次虛擬按鍵的輸入檢測。在未開啟虛擬按鍵的輸入檢測時，即便使用者控制關注焦點移動至某個虛擬按鍵，也不會觸發該虛擬按鍵的輸入。換言之，本例可關注焦點 的位移追蹤是實時進行的，而虛擬按鍵的輸入檢測是有觸發機制的，不是實時進行檢測。舉例來說，假設使用者控制關注焦點經由輸入起點移動至虛擬按鍵0時，則確定0被輸入。如果使用者繼續控制關注焦點由0移動至1，而由於在0被選中後，虛擬按鍵的輸入檢測已經結束，所以不會觸發1的輸入。只有當使用者控制關注焦點重新移動至輸入起點之後，才會開啟虛擬按鍵的輸入檢測，如果所述關注焦點經所述輸入起點後又繼續移動到1，才會確認1被使用者輸入。
在實際應用中，使用者可控制關注焦點從輸入起點出發，經由曲線移動至某一虛擬按鍵，以實現該虛擬按鍵的輸入。使用者也可以控制關注焦點從輸入起點出發，經由直線移動至該虛擬按鍵，以實現該虛擬按鍵的輸入，即所述輸入起點到所述虛擬按鍵之間的不被其他按鍵干擾的可用移動軌跡可以是直線，也可以是曲線，本發明對此不作特殊限制。
在本例中，為了提示使用者虛擬按鍵的輸入方法，在接收到啟動輸入的指令時，還可用在虛擬實境場景中展示與所述輸入方法相關的動畫或輔助線，以提示使用者如何進行虛擬按鍵的輸入。可選的，由於兩點之間線段距離最短，所述動畫或輔助線可以提示使用者控制關注焦點從輸入起點出發，沿直線將關注焦點移動至某一虛擬按鍵。具體地，虛擬實境場景中所述輸入原點與所述若干虛擬按鍵之間的距離通常不會太遠，使用者可以透過輕微的肢體動 作即可控制關注焦點從所述輸入起點出發，以直線或近乎直線的方式移動到某一虛擬按鍵所在的位置區域，以實現對該虛擬按鍵的輸入。其中，所述動畫和輔助線的創建方式也可以參照前述VR場景模型創建，本發明在此不在一一贅述。
在本例中，為了讓使用者獲知關注焦點是否已到達輸入起點，可以在關注焦點到達輸入起點時，更改關注焦點的展示效果。比如：可以預設關注焦點為黑色，當關注焦點到達輸入起點時，可以將關注焦點調為綠色，以提示使用者可以進行虛擬按鍵的輸入，還可以在虛擬按鍵成功輸入後，再將關注焦點的顏色調回黑色等。當然，在實際應用中，所述展示效果還可以為關注焦點的形狀等其他展示特性，本發明對此不作特殊限制。
下面結合輸入起點與虛擬按鍵的不同位置關係來描述虛擬按鍵的輸入。
1)若干虛擬按鍵沿直線排列
請參考圖3所示的輸入起點與虛擬按鍵的位置關係。所述若干虛擬按鍵可沿直線排列成一行。為使輸入起點與所述若干虛擬按鍵之間具有所述特定的位置關係，所述輸入起點可以位於所述若干虛擬按鍵所組成的位置區域的兩側，確保所述輸入起點與每個虛擬按鍵之間都存在一條或者多個不被其他虛擬按鍵干擾的可用移動軌跡。比如，如3所示出的路徑①是輸入起點至虛擬按鍵1的可用移動軌 跡，路徑②是輸入起點至虛擬按鍵9的可用移動軌跡等。當使用者想要輸入1時，可以控制關注焦點從所述輸入起點出發，沿路徑1移動至虛擬按鍵1。
2)若干虛擬按鍵沿弧線排列
請參考圖4所示的輸入起點與虛擬按鍵的位置關係。所述若干虛擬按鍵可沿弧線排列。為使輸入起點與所述若干虛擬按鍵之間具有所述特定的位置關係，所述輸入起點可以位於所述若干虛擬按鍵所組成的弧形區域的內側，確保所述輸入起點與每個虛擬按鍵之間都存在一條或者多個不被其他虛擬按鍵干擾的可用移動軌跡。比如，如4所示出的路徑①是輸入起點至虛擬按鍵1的可用移動軌跡，路徑②是輸入起點至虛擬按鍵9的可用移動軌跡等。當使用者想要輸入1時，可以控制關注焦點從所述輸入起點出發，沿路徑1移動至虛擬按鍵1。
3)若干虛擬按鍵呈圓環形排列
請參考圖5所示的輸入起點與虛擬按鍵的位置關係。所述若干虛擬按鍵可呈圓環形排列。為使輸入起點與所述若干虛擬按鍵之間具有所述特定的位置關係，所述輸入起點可以位於所述若干虛擬按鍵所組成的圓環形內圈的內側，確保所述輸入起點與每個虛擬按鍵之間都存在一條或者多個不被其他虛擬按鍵干擾的可用移動軌跡。比如，如4所示出的路徑①是輸入起點至虛擬按鍵1的可用移動軌 跡，路徑②是輸入起點至虛擬按鍵9的可用移動軌跡等。當使用者想要輸入1時，可以控制關注焦點從所述輸入起點出發，沿路徑1移動至虛擬按鍵1。
可選的，在另一個例子中，由於使用者在實際操作中可能會出現誤差，在沒有將關注焦點移動至目標虛擬按鍵所在的位置區域時，就誤認為已經完成目標虛擬按鍵的輸入。在這種情況下，為了不影響使用者的使用體驗，可允許使用者有一定的操作誤差。
具體地，當檢測到關注焦點由所述輸入起點出發，但未移動至任一虛擬按鍵所在的位置區域就停止移動或改變方向移動時，採集本次虛擬按鍵的輸入檢測過程中關注焦點的移動軌跡，並可以在所述關注焦點的移動軌跡滿足預設條件時，可以確定一個目標虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。在實際實現中，針對每個虛擬按鍵，可以預先在所述虛擬按鍵所在的位置區域中選定一個參考點，為便於描述可以記為點A，點A可以為所述虛擬按鍵所在位置區域的中心點等。此外，可以將輸入起點記為點O，將採集到所述關注焦點的移動軌跡上的任意一點記為點P，將關注焦點停止移動或反向移動時所述關注焦點所在的點記為點B。
請參考圖6所示的關注焦點的移動軌跡的示意圖。其中，點O為輸入起點，方形區域示出的是虛擬按鍵9，點A為預先在虛擬按鍵9中選中的參考點，OB為關注焦點的實際移動軌跡，點B為關注焦點從輸入起點出發後停止移動 時的點，點P為關注焦點的移動軌跡上任意一點。
上述預設條件可以包括：
(1)P到預設線段OA所在直線的距離在預設的第一閾值區間內。
在本例中，在計算P到預設線段OA所在直線的距離時，可以基於點P做一條到線段OA所在直線的垂線，假設交點為M(未圖示)，則PM的長度就是P到預設線段OA所在直線的距離。其中，所述第一閾值區間可以由開發人員進行設置，確保P點與線段OA所在的直線偏離不遠即可。
(2)
Figure 106126428-A0202-12-0015-1
在
Figure 106126428-A0202-12-0015-2
上的投影長度在預設的第二閾值區間內。
在本例中，所述投影長度為線段OM的長度，所述第二閾值區間也可以由開發人員進行設置，比如：[0，(1+d)×|OA|]，其中，|OA|表示線段OA的長度，d的取值可以為0.1。
(3)
Figure 106126428-A0202-12-0015-3
在
Figure 106126428-A0202-12-0015-4
上的投影長度在預設第三閾值區間內。
在本例中，請繼續參考圖6，
Figure 106126428-A0202-12-0015-5
在
Figure 106126428-A0202-12-0015-6
上的投影長度為線段ON的長度，所述第三閾值區間也可以由開發人員進行設置，比如：[k×|OA|，(1+d)×|OA|]，其中，k的取值可以為0.8，d的取值可以為0.1。
在本例中，當所述關注焦點的移動軌跡滿足上述三個條件時，可以確定虛擬按鍵9被使用者輸入，並結束本次虛擬按鍵的輸入檢測。在實際實現中，可以分別計算所述關注焦點的移動軌跡與每個虛擬按鍵的參考點是否判斷上 述條件，並將滿足上述條件的虛擬按鍵作為目標虛擬按鍵輸入。此外，上述判斷方式對圓形排布的虛擬鍵盤尤為重要，可以有效避免誤判。
當然，在實際應用中，也可以採用上述預設條件來檢測使用者的關注焦點是否由輸入起點出發移動至某個虛擬按鍵，即可以在開啟虛擬按鍵的輸入檢測後，採集關注焦點的移動軌跡，並可實時判斷該移動軌跡與各虛擬按鍵是否滿足上述預設條件，當該移動軌跡與某個虛擬按鍵滿足上述預設條件時，可以確認該虛擬按鍵被使用者輸入。
與前述虛擬實境場景下的輸入方法的實施例相對應，本發明還提供了虛擬實境場景下的輸入裝置的實施例。
本發明虛擬實境場景下的輸入裝置的實施例可以應用在裝載有虛擬實境客戶端的終端設備上。裝置實施例可以透過軟體實現，也可以透過硬體或者軟硬體結合的方式實現。以軟體實現為例，作為一個邏輯意義上的裝置，是透過其所在終端設備的處理器將非易失性記憶體中對應的電腦程式指令讀取到內存中運行形成的。從硬體層面而言，如圖7所示，為本發明虛擬實境場景下的輸入裝置所在終端設備的一種硬體結構圖，除了圖7所示的處理器、記憶體、網路介面、以及非易失性記憶體之外，實施例中裝置所在的終端設備通常根據該終端設備的實際功能，還可以包括其他硬體，對此不再贅述。
圖8是本發明一實施例示出的一種虛擬實境場景下的輸入裝置的方塊圖。
請參考圖8，所述虛擬實境場景下的輸入裝置700可以應用在圖7所示的終端設備中裝載的虛擬實境客戶端中，包括有：按鍵展示單元701、開啟檢測單元702、按鍵輸入單元703、軌跡採集單元704、輔助展示單元705以及效果更改單元706。
其中，按鍵展示單元701，在接收到啟動輸入的指令時，在虛擬實境場景中展示輸入起點和若干虛擬按鍵，其中，所述輸入起點與所述若干虛擬按鍵之間具有特定的位置關係，所述位置關係為所述輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡； 開啟檢測單元702，當確定關注焦點到達所述輸入起點時，開啟虛擬按鍵的輸入檢測； 按鍵輸入單元703，當檢測到所述關注焦點由所述輸入起點出發，移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。
軌跡採集單元704，當檢測到關注焦點由所述輸入起點出發，但未移動至任一虛擬按鍵所在的位置區域就停止移動或改變方向移動時，採集本次虛擬按鍵的輸入檢測過程中關注焦點的移動軌跡；所述按鍵輸入單元703，進一步當所述關注焦點的移動軌跡滿足如下條件時，確定目標虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測：所述關注焦點的移動軌跡中任意一點P到預設線段OA 所在直線的距離在預設的第一閾值區間內，且
Figure 106126428-A0202-12-0018-15
在
Figure 106126428-A0202-12-0018-16
上的投影長度在預設的第二閾值區間內，且
Figure 106126428-A0202-12-0018-17
在
Figure 106126428-A0202-12-0018-18
上的投影長度在預設第三閾值區間內；其中，O為輸入起點，A為從所述目標虛擬按鍵所在位置區域中預先選取的點，B為確定關注焦點停止移動或反向移動時所述關注焦點所在的點。
可選的，當所述若干虛擬按鍵沿直線排列時，所述輸入起點位於所述若干虛擬按鍵所組成的長條形區域的兩側。
可選的，當所述若干虛擬按鍵沿弧線排列時，所述輸入起點位於所述若干虛擬按鍵所組成的弧形區域的內側。
可選的，當所述若干虛擬按鍵呈圓環形排列時，所述輸入起點位於所述若干虛擬按鍵所組成的圓環形內圈的內側。
輔助展示單元705，在接收到啟動輸入的指令時，在虛擬實境場景中展示動畫或輔助線，以提示使用者何如輸入虛擬按鍵。
效果更改單元706，當開啟虛擬按鍵的輸入檢測時，更改關注焦點的展示效果。
可選的，所述若干虛擬按鍵之間具有空隙。
上述裝置中各個單元的功能和作用的實現過程具體詳見上述方法中對應步驟的實現過程，在此不再贅述。
對於裝置實施例而言，由於其基本對應於方法實施例，所以相關之處參見方法實施例的部分說明即可。以上 所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部模組來實現本發明方案的目的。本領域具有通常知識者在不付出創造性勞動的情況下，即可以理解並實施。
以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。

Claims (16)

  1. 一種虛擬實境場景下的輸入方法，其特徵在於，該方法包括：在接收到啟動輸入的指令時，在虛擬實境場景中展示輸入起點和若干虛擬按鍵，其中，該輸入起點與該若干虛擬按鍵之間具有特定的位置關係，該位置關係為該輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡；當確定關注焦點到達該輸入起點時，開啟虛擬按鍵的輸入檢測；當檢測到該關注焦點由該輸入起點出發，移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。
  2. 根據申請專利範圍第1項所述的方法，其中，該方法還包括：當檢測到關注焦點由該輸入起點出發，但未移動至任一虛擬按鍵所在的位置區域就停止移動或改變方向移動時，採集本次虛擬按鍵的輸入檢測過程中關注焦點的移動軌跡；當該關注焦點的移動軌跡滿足如下條件時，確定目標虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測： 該關注焦點的移動軌跡中任意一點P到預設線段OA所在直線的距離在預設的第一閾值區間內，且
    Figure 106126428-A0202-13-0002-25
    在
    Figure 106126428-A0202-13-0002-26
    上的投影長度在預設的第二閾值區間內，且
    Figure 106126428-A0202-13-0002-27
    在
    Figure 106126428-A0202-13-0002-28
    上的投影長度在預設第三閾值區間內；其中，O為輸入起點，A為從該目標虛擬按鍵所在位置區域中預先選取的點，B為確定關注焦點停止移動或反向移動時該關注焦點所在的點。
  3. 根據申請專利範圍第1項所述的方法，其中，當該若干虛擬按鍵沿直線排列時，該輸入起點位於該若干虛擬按鍵所組成的長條形區域的兩側。
  4. 根據申請專利範圍第1項所述的方法，其中，當該若干虛擬按鍵沿弧線排列時，該輸入起點位於該若干虛擬按鍵所組成的弧形區域的內側。
  5. 根據申請專利範圍第1項所述的方法，其中，當該若干虛擬按鍵呈圓環形排列時，該輸入起點位於該若干虛擬按鍵所組成的圓環形內圈的內側。
  6. 根據申請專利範圍第1項所述的方法，其中，該方法還包括：在接收到啟動輸入的指令時，在虛擬實境場景中展示動畫或輔助線，以提示使用者何如輸入虛擬按鍵。
  7. 根據申請專利範圍第1項所述的方法，其中，該方法還包括：當開啟虛擬按鍵的輸入檢測時，更改關注焦點的展示效果。
  8. 根據申請專利範圍第1項所述的方法，其中，該若干虛擬按鍵之間具有空隙。
  9. 一種虛擬實境場景下的輸入裝置，其特徵在於，該裝置包括：按鍵展示單元，在接收到啟動輸入的指令時，在虛擬實境場景中展示輸入起點和若干虛擬按鍵，其中，該輸入起點與該若干虛擬按鍵之間具有特定的位置關係，該位置關係為該輸入起點至每個虛擬按鍵之間都存在一條或多條不被其他虛擬按鍵干擾的可用移動軌跡；開啟檢測單元，當確定關注焦點到達該輸入起點時，開啟虛擬按鍵的輸入檢測；按鍵輸入單元，當檢測到該關注焦點由該輸入起點出發，移動至首個虛擬按鍵時，確定該虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測。
  10. 根據申請專利範圍第9項所述的裝置，其中，該裝置還包括： 軌跡採集單元，當檢測到關注焦點由該輸入起點出發，但未移動至任一虛擬按鍵所在的位置區域就停止移動或改變方向移動時，採集本次虛擬按鍵的輸入檢測過程中關注焦點的移動軌跡；該按鍵輸入單元，進一步當該關注焦點的移動軌跡滿足如下條件時，確定目標虛擬按鍵被使用者輸入，並結束本次虛擬按鍵的輸入檢測：該關注焦點的移動軌跡中任意一點P到預設線段OA所在直線的距離在預設的第一閾值區間內，且
    Figure 106126428-A0202-13-0004-29
    在
    Figure 106126428-A0202-13-0004-30
    上的投影長度在預設的第二閾值區間內，且
    Figure 106126428-A0202-13-0004-31
    在
    Figure 106126428-A0202-13-0004-32
    上的投影長度在預設第三閾值區間內；其中，O為輸入起點，A為從該目標虛擬按鍵所在位置區域中預先選取的點，B為確定關注焦點停止移動或反向移動時該關注焦點所在的點。
  11. 根據申請專利範圍第9項所述的裝置，其中，當該若干虛擬按鍵沿直線排列時，該輸入起點位於該若干虛擬按鍵所組成的長條形區域的兩側。
  12. 根據申請專利範圍第9項所述的裝置，其中，當該若干虛擬按鍵沿弧線排列時，該輸入起點位於該若干虛擬按鍵所組成的弧形區域的內側。
  13. 根據申請專利範圍第9項所述的裝置，其中， 當該若干虛擬按鍵呈圓環形排列時，該輸入起點位於該若干虛擬按鍵所組成的圓環形內圈的內側。
  14. 根據申請專利範圍第9項所述的裝置，其中，該裝置還包括：輔助展示單元，在接收到啟動輸入的指令時，在虛擬實境場景中展示動畫或輔助線，以提示使用者何如輸入虛擬按鍵。
  15. 根據申請專利範圍第9項所述的裝置，其中，該裝置還包括：效果更改單元，當開啟虛擬按鍵的輸入檢測時，更改關注焦點的展示效果。
  16. 根據申請專利範圍第9項所述的裝置，其中，該若干虛擬按鍵之間具有空隙。
TW106126428A 2016-10-27 2017-08-04 虛擬實境場景下的輸入方法和裝置 TWI705356B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201610958077.9A CN107015637B (zh) 2016-10-27 2016-10-27 虚拟现实场景下的输入方法和装置
CN201610958077.9 2016-10-27
??201610958077.9 2016-10-27

Publications (2)

Publication Number Publication Date
TW201816549A TW201816549A (zh) 2018-05-01
TWI705356B true TWI705356B (zh) 2020-09-21

Family

ID=59439484

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106126428A TWI705356B (zh) 2016-10-27 2017-08-04 虛擬實境場景下的輸入方法和裝置

Country Status (10)

Country Link
US (1) US20180121083A1 (zh)
EP (1) EP3533047A4 (zh)
JP (1) JP6896853B2 (zh)
KR (1) KR102222084B1 (zh)
CN (1) CN107015637B (zh)
MY (1) MY195449A (zh)
PH (1) PH12019500939A1 (zh)
SG (1) SG11201903548QA (zh)
TW (1) TWI705356B (zh)
WO (1) WO2018081615A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107728918A (zh) * 2017-09-27 2018-02-23 北京三快在线科技有限公司 浏览连续页面的方法、装置及电子设备
US10936124B2 (en) * 2018-05-21 2021-03-02 Compal Electronics, Inc. Interactive projection system and interactive projection method
CN109408055B (zh) * 2018-10-10 2020-02-21 苏州好玩友网络科技有限公司 Unity环境下的跨平台GUI触摸事件解析方法
CN111782098A (zh) * 2020-07-02 2020-10-16 三星电子（中国）研发中心 一种页面导航方法、装置和智能设备
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system
US11119570B1 (en) 2020-10-29 2021-09-14 XRSpace CO., LTD. Method and system of modifying position of cursor
WO2022220459A1 (en) * 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems
CN113093978A (zh) * 2021-04-21 2021-07-09 山东大学 一种基于环形虚拟键盘输入方法及电子设备
WO2024100935A1 (ja) * 2022-11-11 2024-05-16 パナソニックＩｐマネジメント株式会社 入力装置および入力方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086165A1 (en) * 2007-09-28 2009-04-02 Beymer David James System and method of detecting eye fixations using adaptive thresholds
US20140333665A1 (en) * 2013-05-10 2014-11-13 Roger Sebastian Sylvan Calibration of eye location
US20160202903A1 (en) * 2015-01-12 2016-07-14 Howard Gutowitz Human-Computer Interface for Graph Navigation

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6903723B1 (en) * 1995-03-27 2005-06-07 Donald K. Forest Data entry method and apparatus
US6005549A (en) * 1995-07-24 1999-12-21 Forest; Donald K. User interface method and apparatus
JP3511462B2 (ja) * 1998-01-29 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 操作画像表示装置およびその方法
US7750891B2 (en) * 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7103565B1 (en) * 1999-08-27 2006-09-05 Techventure Associates, Inc. Initial product offering system
US6901430B1 (en) * 1999-11-05 2005-05-31 Ford Motor Company Online system and method of locating consumer product having specific configurations in the enterprise production pipeline and inventory
US6826541B1 (en) * 2000-11-01 2004-11-30 Decision Innovations, Inc. Methods, systems, and computer program products for facilitating user choices among complex alternatives using conjoint analysis
JP2003108286A (ja) * 2001-09-27 2003-04-11 Honda Motor Co Ltd 表示方法、表示用プログラム及び記録媒体
US7389294B2 (en) * 2001-10-31 2008-06-17 Amazon.Com, Inc. Services for generation of electronic marketplace listings using personal purchase histories or other indicia of product ownership
US7199786B2 (en) * 2002-11-29 2007-04-03 Daniel Suraqui Reduced keyboards system using unistroke input and having automatic disambiguating and a recognition method using said system
US7382358B2 (en) * 2003-01-16 2008-06-03 Forword Input, Inc. System and method for continuous stroke word-based text input
SG135918A1 (en) * 2003-03-03 2007-10-29 Xrgomics Pte Ltd Unambiguous text input method for touch screens and reduced keyboard systems
EP1920393A2 (en) * 2005-07-22 2008-05-14 Yogesh Chunilal Rathod Universal knowledge management and desktop search system
US8456425B2 (en) * 2008-01-30 2013-06-04 International Business Machines Corporation Self-adapting keypad
US20110029869A1 (en) * 2008-02-29 2011-02-03 Mclennan Hamish Method and system responsive to intentional movement of a device
CN101667092A (zh) * 2008-05-15 2010-03-10 杭州惠道科技有限公司 实时预测用户输入的人机界面
US20090309768A1 (en) * 2008-06-12 2009-12-17 Nokia Corporation Module, user interface, device and method for handling accidental key presses
US20100100849A1 (en) * 2008-10-22 2010-04-22 Dr Systems, Inc. User interface systems and methods
US8525784B2 (en) * 2009-02-20 2013-09-03 Seiko Epson Corporation Input device for use with a display system
WO2010110550A1 (en) * 2009-03-23 2010-09-30 Core Logic Inc. Apparatus and method for providing virtual keyboard
US8627233B2 (en) * 2009-03-27 2014-01-07 International Business Machines Corporation Radial menu with overshoot, fade away, and undo capabilities
US20120149477A1 (en) * 2009-08-23 2012-06-14 Taeun Park Information input system and method using extension key
US20110063231A1 (en) * 2009-09-14 2011-03-17 Invotek, Inc. Method and Device for Data Input
JP2011081469A (ja) * 2009-10-05 2011-04-21 Hitachi Consumer Electronics Co Ltd 入力装置
US8884872B2 (en) * 2009-11-20 2014-11-11 Nuance Communications, Inc. Gesture-based repetition of key activations on a virtual keyboard
US8621380B2 (en) * 2010-01-06 2013-12-31 Apple Inc. Apparatus and method for conditionally enabling or disabling soft buttons
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US20130069883A1 (en) * 2010-05-20 2013-03-21 Nec Corporation Portable information processing terminal
US9977496B2 (en) * 2010-07-23 2018-05-22 Telepatheye Inc. Eye-wearable device user interface and augmented reality method
EP2616908A2 (en) * 2010-09-15 2013-07-24 Jeffrey R. Spetalnick Methods of and systems for reducing keyboard data entry errors
CN103649876B (zh) * 2010-11-20 2017-02-15 纽昂斯通信有限公司 使用上下文键盘在计算设备上执行操作
US20120162086A1 (en) * 2010-12-27 2012-06-28 Samsung Electronics Co., Ltd. Character input method and apparatus of terminal
US9519357B2 (en) * 2011-01-30 2016-12-13 Lg Electronics Inc. Image display apparatus and method for operating the same in 2D and 3D modes
US8704789B2 (en) * 2011-02-11 2014-04-22 Sony Corporation Information input apparatus
JP5799628B2 (ja) * 2011-07-15 2015-10-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9122311B2 (en) * 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US8803825B2 (en) * 2011-09-27 2014-08-12 Carefusion 303, Inc. System and method for filtering touch screen inputs
US20150113483A1 (en) * 2011-09-30 2015-04-23 Willem Morkel Van Der Westhuizen Method for Human-Computer Interaction on a Graphical User Interface (GUI)
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US9372593B2 (en) * 2011-11-29 2016-06-21 Apple Inc. Using a three-dimensional model to render a cursor
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US9035878B1 (en) * 2012-02-29 2015-05-19 Google Inc. Input system
JP5610644B2 (ja) * 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
US8713464B2 (en) * 2012-04-30 2014-04-29 Dov Nir Aides System and method for text input with a multi-touch screen
JP2013250882A (ja) * 2012-06-01 2013-12-12 Sharp Corp 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム
US9098196B2 (en) * 2012-06-11 2015-08-04 Lenovo (Singapore) Pte. Ltd. Touch system inadvertent input elimination
JP2013065328A (ja) * 2012-11-13 2013-04-11 Konami Digital Entertainment Co Ltd 選択装置、選択方法、ならびに、プログラム
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
CN102968215B (zh) * 2012-11-30 2016-03-30 广东威创视讯科技股份有限公司 一种触摸屏操作方法和装置
KR102047865B1 (ko) * 2013-01-04 2020-01-22 삼성전자주식회사 터치 키 입력 유효성을 판별하는 단말 장치와 이에 이용되는 터치 키 입력 유효성 판별 방법 및 장치
US20140247232A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Two step gaze interaction
US8959620B2 (en) * 2013-03-14 2015-02-17 Mitac International Corp. System and method for composing an authentication password associated with an electronic device
US8887103B1 (en) * 2013-04-22 2014-11-11 Google Inc. Dynamically-positioned character string suggestions for gesture typing
GB2514603B (en) * 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
US8988344B2 (en) * 2013-06-25 2015-03-24 Microsoft Technology Licensing, Llc User interface navigation
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
JP6253284B2 (ja) * 2013-07-09 2017-12-27 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
US20150089431A1 (en) * 2013-09-24 2015-03-26 Xiaomi Inc. Method and terminal for displaying virtual keyboard and storage medium
WO2015052588A2 (en) * 2013-10-10 2015-04-16 Itay Katz Systems, devices, and methods for touch-free typing
KR102104136B1 (ko) * 2013-12-18 2020-05-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 제어 장치를 위한 증강 현실 오버레이
US9557825B2 (en) * 2014-06-10 2017-01-31 Maxwell Minoru Nakura-Fan Finger position sensing and display
KR20160001180A (ko) * 2014-06-26 2016-01-06 삼성전자주식회사 가상 키보드의 디스플레이를 위한 방법 및 그 전자 장치
US20170206004A1 (en) * 2014-07-15 2017-07-20 Amar Y Servir Input of characters of a symbol-based written language
CN104199606B (zh) * 2014-07-29 2018-10-09 北京搜狗科技发展有限公司 一种滑行输入的方法和装置
US10534532B2 (en) * 2014-08-08 2020-01-14 Samsung Electronics Co., Ltd. Electronic device and method for processing letter input in electronic device
WO2016085212A1 (ko) * 2014-11-24 2016-06-02 삼성전자 주식회사 디스플레이를 제어하는 전자 장치 및 방법
CN104506951B (zh) * 2014-12-08 2018-09-04 青岛海信电器股份有限公司 一种文字输入方法、装置及智能终端
US20170031461A1 (en) * 2015-06-03 2017-02-02 Infosys Limited Dynamic input device for providing an input and method thereof
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US20170052701A1 (en) * 2015-08-19 2017-02-23 Vrideo Dynamic virtual keyboard graphical user interface
JP6684559B2 (ja) * 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
KR20180053402A (ko) * 2015-10-19 2018-05-21 오리랩 인크. 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체
US10223233B2 (en) * 2015-10-21 2019-03-05 International Business Machines Corporation Application specific interaction based replays
US9898192B1 (en) * 2015-11-30 2018-02-20 Ryan James Eveson Method for entering text using circular touch screen dials
CN105824409A (zh) * 2016-02-16 2016-08-03 乐视致新电子科技（天津）有限公司 虚拟现实的交互控制方法及装置
US20170293402A1 (en) * 2016-04-12 2017-10-12 Microsoft Technology Licensing, Llc Variable dwell time keyboard
JP6078684B1 (ja) * 2016-09-30 2017-02-08 グリー株式会社 プログラム、制御方法、および情報処理装置
US10627900B2 (en) * 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090086165A1 (en) * 2007-09-28 2009-04-02 Beymer David James System and method of detecting eye fixations using adaptive thresholds
US20140333665A1 (en) * 2013-05-10 2014-11-13 Roger Sebastian Sylvan Calibration of eye location
US20160202903A1 (en) * 2015-01-12 2016-07-14 Howard Gutowitz Human-Computer Interface for Graph Navigation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Rick Komerska and Colin Ware, A study of haptic linear and pie menus in a 3d fish tank VR environment, 12th International Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, 2004. HAPTICS '04. Proceedings. *

Also Published As

Publication number Publication date
CN107015637B (zh) 2020-05-05
EP3533047A4 (en) 2019-10-02
EP3533047A1 (en) 2019-09-04
TW201816549A (zh) 2018-05-01
KR102222084B1 (ko) 2021-03-05
KR20190068615A (ko) 2019-06-18
PH12019500939A1 (en) 2019-12-02
JP2020502628A (ja) 2020-01-23
SG11201903548QA (en) 2019-05-30
MY195449A (en) 2023-01-23
US20180121083A1 (en) 2018-05-03
CN107015637A (zh) 2017-08-04
WO2018081615A1 (en) 2018-05-03
JP6896853B2 (ja) 2021-06-30

Similar Documents

Publication Publication Date Title
TWI705356B (zh) 虛擬實境場景下的輸入方法和裝置
CN109891368B (zh) 活动对象在增强和/或虚拟现实环境中的切换
CN107533373B (zh) 虚拟现实中经由手与对象的场境敏感碰撞的输入
Wacker et al. Arpen: Mid-air object manipulation techniques for a bimanual ar system with pen & smartphone
US10511778B2 (en) Method and apparatus for push interaction
KR101711619B1 (ko) 컴퓨터 장치의 원격 제어
Forlines et al. Hybridpointing: fluid switching between absolute and relative pointing with a direct input device
US20220261066A1 (en) Systems, Methods, and Graphical User Interfaces for Automatic Measurement in Augmented Reality Environments
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
Song et al. GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application
KR102110811B1 (ko) Hci 시스템 및 방법
TW201816554A (zh) 基於虛擬實境的互動方法及裝置
CN103858073A (zh) 增强现实系统的免触摸界面
CN108595010B (zh) 虚拟现实中虚拟物体的交互方法及装置
CN206097049U (zh) 一种人机交互设备
Reitmayr et al. iorb-unifying command and 3d input for mobile augmented reality
US20220375171A1 (en) Systems and Methods for User Interaction with Artificial Reality Environments
Mahdikhanlou et al. Object manipulation and deformation using hand gestures
Chen et al. Unobtrusive touch‐free interaction on mobile devices in dirty working environments
JP4438351B2 (ja) 指示入力装置、指示入力システム、指示入力方法、及びプログラム
KR102143358B1 (ko) 손가락 장착형 무선 컨트롤 장치 및 이를 이용한 무선 컨트롤 방법
EP3374847B1 (en) Controlling operation of a 3d tracking device
Darbar Extending Interaction Space in Augmented Reality: Contributions in Optical-See-Through and Projection-Based Augmented Environments
Karthick et al. Artificial Intelligence Based Enhanced Virtual Mouse Hand Gesture Tracking Using Yolo Algorithm