TWI766258B - 用於選擇在設備的顯示媒介上的交互物件的方法 - Google Patents

用於選擇在設備的顯示媒介上的交互物件的方法 Download PDF

Info

Publication number
TWI766258B
TWI766258B TW109110631A TW109110631A TWI766258B TW I766258 B TWI766258 B TW I766258B TW 109110631 A TW109110631 A TW 109110631A TW 109110631 A TW109110631 A TW 109110631A TW I766258 B TWI766258 B TW I766258B
Authority
TW
Taiwan
Prior art keywords
interactive object
interactive
reference position
display
display medium
Prior art date
Application number
TW109110631A
Other languages
English (en)
Other versions
TW202044007A (zh
Inventor
牛旭恒
方俊
李江亮
Original Assignee
大陸商北京外號信息技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京外號信息技術有限公司 filed Critical 大陸商北京外號信息技術有限公司
Publication of TW202044007A publication Critical patent/TW202044007A/zh
Application granted granted Critical
Publication of TWI766258B publication Critical patent/TWI766258B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供了一種用於選擇在設備的顯示媒介上的交互物件的方法，其中，所述顯示媒介上的一個位置被設定為基準位置，一個或多個交互物件顯示在所述顯示媒介上並且能夠被選擇，所述一個或多個交互物件在顯示媒介上的顯示位置會隨著所述設備的位置或姿態的改變而改變，所述方法包括：獲得所述一個或多個交互物件在顯示媒介上的顯示位置；以及根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件。

Description

用於選擇在設備的顯示媒介上的交互物件的方法
本發明涉及一種交互方法，更具體地涉及一種用於選擇在設備的顯示媒介上的交互物件的方法。
本部分的陳述僅僅是為了提供與本發明相關的背景資訊，以說明理解本發明，這些背景資訊並不一定構成現有技術。
隨著科技的進步，各種電子設備變得越來越普及。在電子設備的顯示媒介上可以顯示可供使用者操作的各種交互物件，例如圖示、標誌、文字、圖形、虛擬人物、虛擬物體、等等。使用者在操作這些交互物件之前，通常都需要選中交互物件。在現有技術中，通常都是通過滑鼠或使用者手指點擊顯示媒介上的交互物件來實現對交互物件的選擇，這在很多情況下是不方便的。特別是在使用者用一隻手持有電子設備的情況下，其必須使用另一隻手才能實現對電子設備的顯示媒介上的交互物件的選擇。
因此，需要一種能夠快速方便地選擇在設備的顯示媒介上的交互物件的方法。
本發明的一個方面涉及一種用於選擇在設備的顯示媒介上 的交互物件的方法，其中，所述顯示媒介上的一個位置被設定為基準位置，一個或多個交互物件顯示在所述顯示媒介上並且能夠被選擇，所述一個或多個交互物件在顯示媒介上的顯示位置會隨著所述設備的位置或姿態的改變而改變，所述方法包括：獲得所述一個或多個交互物件在顯示媒介上的顯示位置；以及根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件。
可選地，其中，所述獲得所述一個或多個交互物件在顯示媒介上的顯示位置包括：在所述設備的位置或姿態發生變化期間和/或之後確定所述一個或多個交互物件在顯示媒介上的顯示位置。
可選地，其中，所述獲得所述一個或多個交互物件在顯示媒介上的顯示位置包括：重複地獲得所述一個或多個交互物件在顯示媒介上的顯示位置。
可選地，其中，所述根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件包括：根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離；以及根據所確定的距離來自動選擇交互物件。
可選地，其中，所述根據所確定的距離來自動選擇交互物件包括：如果交互物件與所述基準位置之間的距離小於閾值，則選擇所述交互物件。
可選地，其中，如果多個交互物件中的每一個與所述基準位置之間的距離都小於所述閾值，則選擇最接近所述基準位置的交互物件。
可選地，其中，所述根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離包括：重複地根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離。
可選地，其中，所述根據所確定的距離來自動選擇交互物件包括：如果交互物件與所述基準位置之間的距離持續減小，並且當前的距離小於閾值，則選擇所述交互物件。
可選地，其中，所述根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件包括：根據每一個交互物件在顯示媒介上的顯示位置來確定所述基準位置相對於所述交互物件的方向；根據每一個交互物件在顯示媒介上的顯示位置的變化來確定所述交互物件在顯示媒介上的移動方向；以及根據所述基準位置相對於交互物件的方向和交互物件在顯示媒介上的移動方向來自動選擇交互物件。
可選地，其中，所述根據所述基準位置相對於交互物件的方向和交互物件在顯示媒介上的移動方向來自動選擇交互物件包括：如果交互物件在顯示媒介上的移動方向與所述基準位置相對於所述交互物件的方向最接近，則選擇所述交互物件。
可選地，其中，所述根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件包括：根據每一個交互物件在顯示媒介上的顯示位置來確定所述基準位置相對於所述交互物件的方向；根據每一個交互物件在顯示媒介上的顯示位置的變化來確定所述交互物件在顯示媒介上的移動方向；根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離；以及根據所述基準位置相對於交互物件的方向、交互物件在顯示媒介上的移動方向、以及交互物件與基準位置之間的距離，來自動選擇交互物件。
可選地，其中，所述基準位置是顯示媒介上的一個固定位置。
可選地，其中，所述基準位置在所述選擇交互物件之前保持不變。
可選地，其中，通過如下方式將所述顯示媒介上的一個位置 設定為基準位置：將顯示媒介上的某個預設的或者默認的位置設定為所述基準位置；根據使用者的指示來設定所述基準位置；或者根據當前所選擇的交互物件在顯示媒介上的顯示位置來設定所述基準位置。
本發明的另一個方面涉及一種存儲介質，其中存儲有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現上述的方法。
本發明的再一個方面涉及一種電子設備，其包括處理器和記憶體，所述記憶體中存儲有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現上述的方法。
通過採用本發明的方案，可以實現對在設備的顯示媒介上的交互物件的快速、方便的選擇，提高了使用者操作設備的效率，改善了用戶的使用體驗。
為期許本發明之目的、功效、特徵及結構能夠有更為詳盡之瞭解，茲舉較佳實施例並配合圖式說明如後。
100:光標籤
101:第一光源
102:第二光源
103:第三光源
ID:標識資訊
41:交互物件
42:交互物件
43:交互物件
44:交互物件
45:交互物件
701:虛擬的圓
501:步驟501
502:步驟502
601:步驟601
602:步驟602
603:步驟603
圖1示出了一種示例性的光標籤；
圖2示出了一種示例性的光標籤網路；
圖3示出了設備的顯示媒介的一個截屏；
圖4示意性地示出了根據一個實施例的設備的顯示媒介；
圖5示出了根據一個實施例的用於選擇在圖4所示的顯示媒介上的交互物件的方法；
圖6示意性地示出了根據一個實施例的、在改變設備的位置或姿態後的顯示媒介；
圖7示意性地示出了具有一個虛擬的圓的圖6所示的顯示媒介；
圖8示意性地示出了根據一個實施例的、在改變設備的位置或姿態後的顯 示媒介；
圖9示意性地示出了根據一個實施例的、當設備的位置或姿態發生改變時顯示媒介上的交互物件的顯示位置變化圖；
圖10示意性地示出了根據一個實施例的、當設備的位置或姿態發生改變時顯示媒介上的交互物件的顯示位置變化圖；
圖11示意性地示出了根據一個實施例的顯示媒介；
圖12示意性地示出了根據一個實施例的、當設備的位置或姿態發生改變時顯示媒介上的交互物件的顯示位置變化圖；
圖13示意性地示出了根據一個實施例的顯示媒介；
圖14示出了根據一個實施例的用於選擇顯示媒介上的交互物件的方法。
為了使本發明的目的，技術方案及優點更加清楚明白，以下結合附圖通過具體實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，並不用於限定本發明。
在本文中，交互物件可以指在設備的顯示媒介上顯示的可供使用者操作的各種物件，所述交互物件在顯示媒介上的顯示位置會隨著設備的位置或姿態的改變而改變。設備可以是具有顯示媒介或者能夠與顯示媒介通信的各種計算設備或電子設備，例如手機、平板電腦、智慧眼鏡、智慧頭盔、智慧手錶、等等。顯示媒介可以集成到設備上並隨著設備移動。顯示媒介也可以是與設備分離的部件，並可以與設備進行通信(例如，顯示媒介可以從設備接收要呈現的場景的資訊)，在這種情況下，在設備發生位置或姿態改變時，顯示媒介上呈現的場景會發生相應的改變，但顯示媒介本身可以保持其位置或姿態不變。顯示媒介例如可以是電子螢幕、幕布等，但並不局限於此，其可以是各種能夠用於顯示交互物件的媒介。例如，在一些智慧眼鏡中，通過投影儀將包含交互物件的圖像投影到棱鏡、透鏡、 反射鏡等，並最終投射到人眼中。這些棱鏡、透鏡、反射鏡等也被認為屬於顯示媒介。設備的顯示媒介上的交互物件例如可以與現實世界場景中的實際物體相關聯，但也可以是在設備顯示媒介上顯示的虛擬物件(例如，在虛擬實境或增強現實應用中顯示的虛擬物件)。交互物件的表現形式例如可以是顯示媒介上顯示的圖示、標誌、文字、圖形、虛擬人物、虛擬物體、等等。
下文以在設備顯示媒介上顯示的光通信裝置的圖示作為交互物件進行舉例說明。
光通信裝置也稱為光標籤，這兩個術語在本文中可以互換使用。光標籤能夠通過發出不同的光來傳遞資訊，其具有識別距離遠、可見光條件要求寬鬆、指向性強的優勢，並且光標籤所傳遞的資訊可以隨時間變化，從而可以提供大的資訊容量和靈活的配置能力。相比于傳統的二維碼，光標籤具有更遠的識別距離和更強的資訊交互能力，從而可以為用戶提供巨大的便利性。在PCT專利申請PCT/CN2017/099642、中國專利申請CN201711374915.9、中國專利申請CN201811119052.5等中描述了一些種類的光標籤，上述專利申請的全部內容通過引用被併入本文。
光標籤中通常可以包括控制器和至少一個光源，所述控制器可以通過不同的驅動模式來驅動光源，以向外傳遞不同的資訊。圖1示出了一種示例性的光標籤100，其包括三個光源(分別是第一光源101、第二光源102、第三光源103)。光標籤100還包括控制器(在圖1中未示出)，其用於根據要傳遞的資訊為每個光源選擇相應的驅動模式。例如，在不同的驅動模式下，控制器可以使用不同的驅動信號來控制光源的發光方式，從而使得當使用具有成像功能的設備拍攝光標籤100時，其中的光源的圖像可以呈現出不同的外觀(例如，不同的顏色、圖案、亮度、等等)。通過分析光標籤100中的光源的成像，可以解析出各個光源此刻的驅動模式， 從而解析出光標籤100此刻傳遞的資訊。
為了基於光標籤向使用者提供相應的服務，每個光標籤可以被分配一個標識資訊(ID)，所述標識資訊用於由光標籤的製造者、管理者或使用者等唯一地識別或標識光標籤。通常，可由光標籤中的控制器驅動光源以向外傳遞所述標識資訊，而使用者可以使用設備對光標籤進行圖像採集來獲得所述光標籤傳遞的標識資訊，從而可以基於所述標識資訊來訪問相應的服務，例如，訪問與光標籤的標識資訊相關聯的網頁、獲取與標識資訊相關聯的其他資訊(例如，與所述標識資訊對應的光標籤的位置資訊)、等等。設備可以通過其上的攝像頭對光標籤進行連續的圖像採集來獲得包含光標籤的多張圖像，並通過分析每張圖像中的光標籤(或光標籤中的各個光源)的成像以識別出光標籤傳遞的資訊。
可以將光標籤的標識資訊(ID)以及其他資訊(例如位置資訊)存儲於伺服器中。在現實中，可以將大量的光標籤構建成一個光標籤網路。圖2示出了一種示例性的光標籤網路，所述光標籤網路包括多個光標籤和至少一個伺服器，其中，與每個光標籤相關的資訊可保存在伺服器上。例如，可以在伺服器上保存每個光標籤的標識資訊(ID)或其他資訊，例如與所述光標籤相關的服務資訊、與所述光標籤相關的描述資訊或屬性，如光標籤的位置資訊、物理尺寸資訊、物理形狀資訊、朝向資訊等。設備可以使用識別出的光標籤的標識資訊來從伺服器查詢獲得與所述光標籤有關的其他資訊。光標籤的位置資訊可以是指所述光標籤在物理世界中的實際位置，其可以通過地理座標資訊來指示。伺服器可以是在計算裝置上運行的軟體程式、一台計算裝置或者由多台計算裝置構成的集群。
當使用者使用設備識別出光標籤時，可以在設備的顯示媒介上顯示出與這些光標籤對應的圖示。圖3示出了設備的顯示媒介的一個截屏，在所述設備的顯示媒介的上半部分用於顯示與光標籤對應的圖示(作 為交互物件)。如圖3所示，在顯示媒介的上半部分示出了兩個圓形的圖示，其對應於在設備的攝像頭的視野中的兩個光標籤。當設備的位置或姿態改變時，兩個光標籤在設備視野中的位置會發生改變，相應地，與這兩個光標籤對應的兩個圖示的顯示位置也會發生改變。
圖4示意性地示出了根據一個實施例的設備的顯示媒介。在所述顯示媒介上以四個圓形圖標示出了四個交互物件41、42、43、44。在顯示媒介上還顯示了一個十字形的標誌，其用於指示顯示媒介上的一個基準位置，所述基準位置是顯示媒介的中心位置，但是可以理解，基準位置也可以是顯示媒介上的其他位置。在一個實施例中，基準位置是預設的或默認的，並且可以始終保持不變。在一個實施例中，基準位置也可以由設備的使用者來指定，例如，使用者可以通過點擊顯示媒介上的某個位置來將其指定為基準位置。所述基準位置一旦被確定並沒有再次指定之前，並不會隨著設備的位置或姿態的改變而改變。四個交互物件41、42、43、44可以與現實世界場景中的實際物體(例如光標籤)相關聯，也可以是在設備顯示媒介上顯示的虛擬物件(例如，在虛擬實境或增強現實應用中顯示的虛擬物件)。交互物件41、42、43、44在顯示媒介上的顯示位置會隨著設備的位置或姿態的改變而改變。例如，當交互物件41、42、43、44對應于現實世界場景中的實際物體時，隨著設備的位置或姿態改變，其上的攝像頭的視野會發生改變，從而實際物體在設備顯示媒介上的顯示位置會發生改變，相應地，與這些實際物體對應的交互物件41、42、43、44在顯示媒介上的顯示位置也會發生改變。當交互物件41、42、43、44是在虛擬實境或增強現實應用中顯示的虛擬物件時，這些虛擬物件的顯示位置會隨著設備(例如智慧眼鏡、智慧頭盔等)的位置或姿態改變而改變。在一個實施例中，可以不在顯示媒介上顯示用於指示基準位置的標誌，以避免干擾正常顯示。
圖5示出了根據一個實施例的用於選擇在圖4所示的顯示媒介上的交互物件的方法，其中，所述顯示媒介中的一個位置被確定為基準位置。在圖4所示的實施例中，設備的顯示媒介的中心位置被預設為基準位置。圖5所示的方法包括：
步驟501：獲得每一個交互物件在顯示媒介上的顯示位置。
設備可以在其位置或姿態的改變期間或改變後，確定每一個交互物件在顯示媒介上的顯示位置。當交互物件與現實世界場景中的實際物體(例如光標籤)相關聯時，可以根據設備所檢測到的實際物體在設備視野中的位置來相應地確定交互物件在顯示媒介上的顯示位置。當交互物件是在設備顯示媒介上顯示的虛擬物件(例如，在虛擬實境或增強現實應用中顯示的虛擬物件)時，可以根據設備(例如智慧眼鏡、智慧頭盔等)中內置的各種感測器(例如，加速度計、陀螺儀等等)來跟蹤設備的位置或姿態變化，從而獲得交互物件在設備的顯示媒介上的顯示位置。交互物件在顯示媒介上通常會佔據一個區域(例如一個圓形區域)，因此，為了方便地表示其顯示位置，在一個實施例中可以選擇其中心位置作為其顯示位置，當然，其他方式也是可行的。
當使用者希望選擇顯示媒介上的某個交互物件時，其可以通過對設備進行平移、旋轉等來改變設備的位置或姿態。例如，如果使用者希望選擇顯示媒介上的交互物件42，其可以平移或旋轉設備，以使得交互物件42在顯示媒介上的顯示位置能夠更靠近基準位置(在本實施例中為顯示媒介的中心位置)。在平移或旋轉設備的過程中，交互物件41、43、44的顯示位置也會相應地發生改變。圖6示意性地示出了根據一個實施例的、在改變設備的位置或姿態後的顯示媒介。
在一個實施例中，設備也可以定期地或者重複地獲得每一個交互物件在顯示媒介上的顯示位置。例如，設備可以以一定的時間間隔(例 如，每0.05秒、每0.1秒、每0.2秒、每0.3秒、每0.5秒、每1秒、等等)來重複地獲得每一個交互物件在顯示媒介上的顯示位置，從而獲得每一個交互物件的在一系列時間點處的一系列顯示位置。
在設備的位置或姿態發生改變時，有些交互物件可能會離開設備的顯示媒介的顯示範圍(也即，離開設備的視野)，在這種情況下，可以不再確定這些離開的交互物件的顯示位置；而有些交互物件可能會進入設備的顯示媒介的顯示範圍(也即，進入設備的視野)，在這種情況下，可以獲得這些進入的交互物件的顯示位置。
步驟502：根據所獲得的顯示位置和所述基準位置來選擇交互物件。
在獲得了交互物件在顯示媒介上的顯示位置之後，設備可以根據顯示位置和所述基準位置來選擇交互物件。設備可以在每次確定了交互物件在顯示媒介上的顯示位置之後，根據所確定的顯示位置和所述基準位置來選擇交互物件。設備也可以定期地或者重複地根據所確定的顯示位置和所述基準位置來選擇交互物件。所述顯示位置例如可以是交互物件的最後確定的顯示位置，也可以是在一段時間內確定的交互物件的一系列顯示位置中的一個、多個、一部分或者全部。
在一個實施例中，可以根據每一個交互物件的最後確定的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離，如果交互物件與基準位置之間的距離小於某個預設閾值，則選擇所述交互物件。
圖7示意性地示出了具有一個虛擬的圓的圖6所示的顯示媒介。所述虛擬的圓701以基準位置為圓心，以預設閾值為半徑。虛擬的圓701可以顯示在顯示媒介上，以說明使用者更好地實現對交互物件的選擇，也可以不顯示在顯示媒介上。
在以交互物件41、42、43、44的中心作為其顯示位置的情 況下，可以確定每一個交互物件的中心與基準位置的距離，如果某個交互物件的中心與基準位置的距離小於預設閾值，則其中心會進入圓701的範圍內。如圖7所示，交互物件42的中心處於圓701的範圍內，這意味著交互物件42與基準位置的距離小於預設閾值，因此設備可以自動選擇交互物件42，以對其進行後續的各種操作。在設備選擇了交互物件之後，可以對所選擇的交互物件進行特殊標示(例如，高亮顯示)，以告知使用者當前選擇的交互物件。
在上述通過判斷交互物件與基準位置之間的距離是否小於某個閾值來選擇交互物件的實施例中，有可能同時有兩個或更多個交互物件滿足條件。在一個實施例中，可以選擇最接近基準位置的交互物件。在一個實施例中，可以同時選擇這些交互物件。在一個實施例中，可以進一步指示設備的使用者從這些滿足條件的交互物件中進行選擇，例如，可以給使用者顯示一個提示框，其中包含滿足條件的多個交互物件的清單，並由用戶在其中選擇某一個交互物件。
在一個實施例中，除了考慮交互物件與基準位置之間的距離之外，設備還可以進一步考慮距離的變化趨勢。具體地，設備可以定期地或者重複地確定每一個交互物件在顯示媒介上的顯示位置，並且重複地根據每一個交互物件的最後確定的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離。如果交互物件與基準位置之間的距離持續減小，並且當前的距離小於閾值，則自動選擇所述交互物件。例如，如果使用者在選擇了交互物件42(如圖7所示的顯示媒介)之後，希望選擇交互物件41，則所述使用者可以平移或旋轉設備，以使得交互物件41在顯示媒介上的顯示位置能夠更靠近基準位置。在平移或旋轉設備的過程中，交互物件42、43、44的顯示位置也會相應地發生改變。圖8示意性地示出了根據一個實施例的、在改變設備的位置或姿態後的顯示媒介。與圖7所示的 顯示媒介相比，圖8的顯示媒介顯示出交互物件41逐漸接近基準位置，但與基準位置的距離仍大於預設閾值，交互物件42逐漸遠離基準位置，但與基準位置的距離仍小於預設閾值。交互物件43和44離開了顯示媒介的顯示範圍，不再顯示。在這種情況下，儘管交互物件42與基準位置的距離小於預設閾值，但由於其逐漸遠離基準位置，因此，設備並不選擇交互物件42。在使用者進一步平移或旋轉設備後，交互物件41與基準位置的距離繼續減小並小於預設閾值，此時設備可以選擇交互物件41。
如果同時有兩個或更多個交互物件與基準位置之間的距離都持續減小，並且當前的距離都小於閾值，則可以選擇最接近基準位置的交互物件，或者同時選擇這些交互物件，或者進一步指示設備的使用者從這些滿足條件的交互物件中進行選擇。
在一個實施例中，設備可以根據交互物件的移動方向來選擇交互物件。具體地，設備可以根據每一個交互物件在顯示媒介上的顯示位置來確定基準位置相對於所述交互物件的方向；根據每一個交互物件在顯示媒介上的顯示位置的變化來確定所述交互物件在顯示媒介上的移動方向；以及，根據基準位置相對於交互物件的方向和交互物件在顯示媒介上的移動方向來選擇交互物件。在確定基準位置相對於交互物件的方向時，設備可以選擇一段時間內交互物件在顯示媒介上的一系列顯示位置中的任意一個來作為交互物件在顯示媒介上的顯示位置，例如，一段時間開始時交互物件在顯示媒介上的顯示位置，一段時間結束時交互物件在顯示媒介上的顯示位置，或者一段時間的中間時刻時交互物件在顯示媒介上的顯示位置。設備也可以選擇上述一系列顯示位置中的一部分或全部顯示位置的均值來作為交互物件在顯示媒介上的顯示位置。設備可以選擇一段時間內交互物件在顯示媒介上的一系列顯示位置中的任意兩個或更多個來確定交互物件的移動方向。如果在一個或多個交互物件中，某個交互物件在顯示 媒介上的移動方向與基準位置相對於所述交互物件的方向最接近，則可以選擇所述交互物件。圖9示意性地示出了根據一個實施例的、當設備的位置或姿態發生改變時顯示媒介上的交互物件的顯示位置變化圖，其中，使用由虛線繪製的圓來表示交互物件41、42、43、44的初始顯示位置，使用由實線繪製的圓來表示交互物件41、42、43、44在設備改變位置或姿態之後的顯示位置。另外，在圖9中用實線箭頭示出了各個交互物件的移動方向，用虛線箭頭示出了基準位置相對於各個交互物件的初始顯示位置的方向。從圖9可以看出，交互物件42的移動方向與基準位置相對於其的方向最接近，因此可以選擇交互物件42，以對其進行相應的操作。
在一個實施例中，如果某個交互物件在顯示媒介上的移動方向與基準位置相對於所述交互物件的方向之間的接近程度(例如，夾角)滿足預定條件(例如所述夾角小於某個預設的角度值，例如10°)，則可以選擇所述交互物件。
通過基準位置相對於交互物件的方向以及交互物件在顯示媒介上的移動方向來選擇交互物件，可以避免設備在選擇交互物件的過程中的大幅度移動，從而極大地提升選擇交互物件的效率，改善使用者的交互體驗。
在一個實施例中，設備可以根據交互物件的移動方向以及其與基準位置的距離來選擇交互物件。具體地，設備可以根據每一個交互物件在顯示媒介上的顯示位置來確定基準位置相對於所述交互物件的方向；根據每一個交互物件在顯示媒介上的顯示位置的變化來確定所述交互物件在顯示媒介上的移動方向；根據每一個交互物件的最後確定的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離；以及，根據基準位置相對於交互物件的方向、交互物件在顯示媒介上的移動方向、以及交互物件與基準位置之間的距離，來選擇交互物件。圖10示意性地示出了 根據一個實施例的、當設備的位置或姿態發生改變時顯示媒介上的交互物件的顯示位置變化圖。與圖9相比，圖10中的顯示媒介上還具有交互物件45，且基準位置相對於交互物件45的方向與基準位置相對於交互物件42的方向基本相同，交互物件45的移動方向與交互物件42的移動方向也基本相同。在這種情況下，僅考慮交互物件的移動方向與基準位置相對於其的方向的接近程度可能很難確定應選擇交互物件42還是交互物件45(例如，兩者的方向接近程度可能相同或差別不大)，在這種情況下，可以進一步考慮交互物件與基準位置之間的距離。由於交互物件42更接近基準位置，因此可以選擇交互物件42，以對其進行相應的操作。
在一個實施例中，在設備選擇交互物件後，可以根據當前所選擇的交互物件在顯示媒介上的顯示位置來設定基準位置。例如，在選擇交互物件後，基準位置可以改變到當前所選擇的交互物件在顯示媒介上的顯示位置。所選擇的交互物件可以被特殊標示(例如，高亮顯示)，以告知使用者其是當前選擇的交互物件並且基準位置當前位於所述交互物件的顯示位置。之後，在選擇下一個交互物件的過程中，顯示媒介上的基準位置可以保持不變(例如，不隨設備的位置和姿態的改變而改變)，直到選擇了下一個交互物件。圖11示意性地示出了在圖9所示的交互物件顯示位置變化之後的顯示媒介，其中，可以使用一個六邊形來標識當前所選中的交互物件42，並可以將交互物件42或者六邊形當前在顯示媒介上的顯示位置設定為新的基準位置。圖12示意性地示出了根據一個實施例的、當設備的位置或姿態發生改變時顯示媒介上的交互物件的顯示位置變化圖，其中，使用者在選擇了交互物件42後，想選擇交互物件41，為此，使用者可以改變設備的位置或姿態以使得交互物件41向顯示媒介上的基準位置移動。根據顯示媒介上的各個交互物件在顯示媒介上的移動方向與基準位置相對於交互物件的方向之間的接近程度，可 以判斷出應當選擇交互物件41。圖13示意性地示出了在選擇了交互物件41之後的顯示媒介，其中，可以使用一個六邊形來標識當前所選中的交互物件41，並可以將交互物件41或者六邊形當前在顯示媒介上的顯示位置設定為新的基準位置。這是非常有利地，因為用戶通常會注視當前所選擇的交互物件，這樣可以使得使用者能夠方便地知悉當前的基準位置，並通過向期望的下一交互物件進行小幅度的移動(例如，使得設備向下一交互物件所在的方向進行小幅度的轉動)來選擇下一交互物件，從而提高交互效率，改善用戶的交互體驗。
在一個實施例中，在設備的移動期間，可以確定每個交互物件的顯示位置與所述基準位置之間的距離變化量，並可以選擇距離減小最快或者減小最多的交互物件。所述方式實際上與圖9和圖12所示的根據基準位置相對於交互物件的方向和交互物件在顯示媒介上的移動方向來選擇交互物件的方式類似。通常，在設備移動期間，如果某個交互物件在顯示媒介上的移動方向與基準位置相對於所述交互物件的方向之間的接近程度最高，則所述交互物件與所述基準位置之間的距離減小最快或者減小最多。在一些實施例中，可以設定距離減小量閾值或者距離減小速度閾值來避免可能的誤操作。
在另一個實施例中，顯示媒介上的基準位置也可以根據使用者的指示而改變，例如，使用者可以在顯示媒介上點擊來確定新的基準位置。
在一些情況中，在設備的顯示媒介上呈現的交互物件可能是一些具有三維空間位置的物件，例如在虛擬實境或者增強現實場景中佈置的一些虛擬物件，交互物件的位置例如可以由三維座標來表示。由於三維空間中的物件相對於設備可以具有不同的深度或者距離，因此有時可能難以根據這些交互物件在設備顯示媒介上的呈現位置來選擇交互物件(例 如，某些交互物件儘管在空間中間隔較遠，但是可能在設備顯示媒介上具有比較接近的呈現位置)，這種情況在空間中的交互物件比較多時尤為嚴重。為此，在一個實施例中，提供了一種用於選擇在設備的顯示媒介上呈現的交互物件的方法，其中，一個或多個交互物件位於所述設備周圍的空間中並且能夠顯示在所述顯示媒介上，以及其中，所述一個或多個交互物件相對於所述設備的位置會隨著所述設備的位置或姿態的改變而改變。所述方法如圖14所示，並可以包括如下步驟：
步驟601：設置位於所述設備周圍的空間中的選擇區域，其中，所述選擇區域相對於所述設備的位置在被重新設置之前保持不變。
選擇區域可以是三維立體結構，例如球體、圓柱體、立方體或者其他規則或不規則立體結構。設置選擇區域可以包括設置選擇區域相對於設備的位置(例如，相對於設備的距離和方向)、設置選擇區域的形狀、設置選擇區域的大小、等等。但可以理解，選擇區域的形狀、大小、或者相對於設備的位置等也可以是預設的或者默認的。選擇區域相對於所述設備的位置在被重新設置之前保持不變，因此，所述選擇區域在空間中的位置會隨著設備的位置或姿態改變而改變，就好像其被固定耦接到設備一樣。在一個實施例中，例如可以通過選擇設備顯示媒介上的某個位置來設置選擇區域相對於設備的方向，並可以通過拖動滑動塊、輸入數值等方式來設置選擇區域相對於設備的距離。類似地，可以根據當前所選擇的交互物件在空間中的位置來設定選擇區域相對於設備的位置。
步驟602：根據所述設備的位置和姿態以及所述一個或多個交互物件的位置，獲得所述一個或多個交互物件相對於所述設備的位置。
在設備的移動或者旋轉過程中，可以通過已知的各種方式測量或者跟蹤設備的位置和/或姿態變化，例如，可以使用設備內置的加速度感測器、磁力感測器、方向感測器、重力感測器、陀螺儀、攝像頭等通過 本領域已知的方法(例如，慣性導航、視覺里程計、SLAM、VSLAM、SFM等)來測量或跟蹤其位置變化和/或姿態變化。根據設備的位置和姿態以及一個或多個交互物件的位置，可以獲得所述一個或多個交互物件相對於所述設備的位置。
步驟603：根據所述選擇區域相對於所述設備的位置以及所述一個或多個交互物件相對於所述設備的位置來從所述一個或多個交互物件中自動選擇交互物件。
在一個實施例中，如果根據所述選擇區域相對於所述設備的位置以及所述交互物件相對於所述設備的位置判斷所述交互物件位於所述選擇區域內，則可以選擇所述交互物件。
在本發明的一個實施例中，可以以電腦程式的形式來實現本發明。電腦程式可以存儲於各種存儲介質(例如，硬碟、光碟、快閃記憶體等)中，當所述電腦程式被處理器執行時，能夠用於實現本發明的方法。
在本發明的另一個實施例中，可以以電子設備的形式來實現本發明。所述電子設備包括處理器和記憶體，在記憶體中存儲有電腦程式，當所述電腦程式被處理器執行時，能夠用於實現本發明的方法。
本文中針對“各個實施例”、“一些實施例”、“一個實施例”、或“實施例”等的參考指代的是結合所述實施例所描述的特定特徵、結構、或性質包括在至少一個實施例中。因此，短語“在各個實施例中”、“在一些實施例中”、“在一個實施例中”、或“在實施例中”等在整個本文中各處的出現並非必須指代相同的實施例。此外，特定特徵、結構、或性質可以在一個或多個實施例中以任何合適方式組合。因此，結合一個實施例中所示出或描述的特定特徵、結構或性質可以整體地或部分地與一個或多個其他實施例的特徵、結構、或性質無限制地組合，只要所述組合不是非邏輯性的或不能工作。本文中出現的類似於“根據A”或“基 於A”的表述意指非排他性的，也即，“根據A”可以涵蓋“僅僅根據A”，也可以涵蓋“根據A和B”，除非特別聲明或者根據上下文明確可知其含義為“僅僅根據A”。在方法流程中按照一定順序進行描述的各個步驟並非必須按照所述循序執行，相反，其中的一些步驟的執行順序可以改變，並且一些步驟可以併發執行，只要不影響方案的實現即可。另外，本申請附圖中的各個元素僅僅為了示意說明，並非按比例繪製。
由此描述了本發明的至少一個實施例的幾個方面，可以理解，對本領域技術人員來說容易地進行各種改變、修改和改進。這種改變、修改和改進意于在本發明的精神和範圍內。雖然本發明已經通過優選實施例進行了描述，然而本發明並非局限於這裡所描述的實施例，在不脫離本發明範圍的情況下還包括所作出的各種改變以及變化。
綜上，雖然本發明已以優選實施例揭露如上，但上述優選實施例並非用以限制本發明，本領域的普通技術人員，在不脫離本發明的精神和範圍內，均可作各種更動與潤飾，因此本發明的保護範圍以權利要求界定的範圍為准。
故，本發明在同類產品中具有極佳之進步性以及實用性，同時查遍國內外關於此類之技術資料文獻後，確實未發現有相同或近似之構造或技術存在於本案申請之前，因此本案應已符合『發明性』、『合於產業利用性』以及『進步性』的專利要件，爰依法提出申請之。
501:步驟501
502:步驟502

Claims (16)

  1. 一種用於選擇在設備的顯示媒介上呈現的交互物件從而選擇現實世界場景中的光通信裝置的方法，其中，所述顯示媒介上的一個位置被設定為基準位置，一個或多個交互物件顯示在所述顯示媒介上並且能夠被選擇，所述交互物件與現實世界場景中的光通信裝置相關聯，所述一個或多個交互物件在顯示媒介上的顯示位置會隨著所述設備的位置或姿態的改變而改變，所述方法包括：通過改變所述設備的位置或姿態，改變所述設備上的攝像頭的視野；根據所述設備檢測到的所述光通信裝置在所述設備上的攝像頭的視野中的位置來確定所述一個或多個交互物件在所述設備的顯示媒介上的顯示位置；獲得所述一個或多個交互物件在顯示媒介上的顯示位置；以及根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件，從而自動選擇與該交互物件關聯的光通信裝置。
  2. 如申請專利範圍第1項所述的方法，其中，所述獲得所述一個或多個交互物件在顯示媒介上的顯示位置包括：在所述設備的位置或姿態發生變化期間和/或之後確定所述一個或多個交互物件在顯示媒介上的顯示位置。
  3. 如申請專利範圍第1項所述的方法，其中，在選擇交互物件後，根據當前所選擇的交互物件在顯示媒介上的顯示位置來設定所述基準位置。
  4. 如申請專利範圍第1-3項中任一項所述的方法，其中，根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互 物件包括：根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離；以及根據所確定的距離來自動選擇交互物件。
  5. 如申請專利範圍第4項所述的方法，其中，所述根據所確定的距離來自動選擇交互物件包括：如果交互物件與所述基準位置之間的距離小於閾值，則選擇所述交互物件。
  6. 如申請專利範圍第5項所述的方法，其中，如果多個交互物件中的每一個與所述基準位置之間的距離都小於所述閾值，則選擇最接近所述基準位置的交互物件。
  7. 如申請專利範圍第4項所述的方法，其中，所述根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離包括：重複地根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離。
  8. 如申請專利範圍第7項所述的方法，其中，所述根據所確定的距離來自動選擇交互物件包括：如果交互物件與所述基準位置之間的距離持續減小，並且當前的距離小於閾值，則選擇所述交互物件。
  9. 如申請專利範圍第1-3項中任一項所述的方法，其中，根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件包括： 根據每一個交互物件在顯示媒介上的顯示位置來確定所述基準位置相對於所述交互物件的方向；根據每一個交互物件在顯示媒介上的顯示位置的變化來確定所述交互物件在顯示媒介上的移動方向；以及根據所述基準位置相對於交互物件的方向和交互物件在顯示媒介上的移動方向來自動選擇交互物件。
  10. 如申請專利範圍第9項所述的方法，其中，所述根據所述基準位置相對於交互物件的方向和交互物件在顯示媒介上的移動方向來自動選擇交互物件包括：確定每個交互物件在顯示媒介上的移動方向與所述基準位置相對於所述交互物件的方向的接近程度，並選擇具有最高接近程度的交互物件；或者如果交互物件在顯示媒介上的移動方向與所述基準位置相對於所述交互物件的方向之間的接近程度滿足預定條件，則選擇所述交互物件。
  11. 如申請專利範圍第1-3項中任一項所述的方法，其中，所述根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件包括：確定每個交互物件的顯示位置與所述基準位置之間的距離變化量；以及選擇距離減小最快或者減小最多的交互物件。
  12. 如申請專利範圍第1-3項中任一項所述的方法，其中，所述根據所獲得的顯示位置和所述基準位置來從所述一個或多個交互物件中自動選擇交互物件包括：根據每一個交互物件在顯示媒介上的顯示位置來確定所述基準位置相對於 所述交互物件的方向；根據每一個交互物件在顯示媒介上的顯示位置的變化來確定所述交互物件在顯示媒介上的移動方向；根據每一個交互物件的最後獲得的顯示位置和所述基準位置來確定所述交互物件與基準位置之間的距離；以及根據所述基準位置相對於交互物件的方向、交互物件在顯示媒介上的移動方向、以及交互物件與基準位置之間的距離，來自動選擇交互物件。
  13. 如申請專利範圍第1-3項中任一項所述的方法，其中，所述基準位置不隨著所述設備的位置或姿態的改變而改變。
  14. 如申請專利範圍第1項或第2項所述的方法，其中，通過如下方式將所述顯示媒介上的一個位置設定為基準位置：將顯示媒介上的某個預設的或者默認的位置設定為所述基準位置；或者根據使用者的指示來設定所述基準位置。
  15. 一種電腦程式產品，在所述電腦程式產品被處理器執行時，能夠用於實現如申請專利範圍第1-14項中任一項所述的方法。
  16. 一種電子設備，包括處理器和記憶體，所述記憶體中存儲有電腦程式，在所述電腦程式被處理器執行時，能夠用於實現如申請專利範圍第1-14項中任一項所述的方法。
TW109110631A 2019-03-27 2020-03-27 用於選擇在設備的顯示媒介上的交互物件的方法 TWI766258B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910237492.9A CN111752425B (zh) 2019-03-27 2019-03-27 用于选择在设备的显示媒介上的交互对象的方法
CNCN201910237492.9 2019-03-27

Publications (2)

Publication Number Publication Date
TW202044007A TW202044007A (zh) 2020-12-01
TWI766258B true TWI766258B (zh) 2022-06-01

Family

ID=72610900

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109110631A TWI766258B (zh) 2019-03-27 2020-03-27 用於選擇在設備的顯示媒介上的交互物件的方法

Country Status (3)

Country Link
CN (1) CN111752425B (zh)
TW (1) TWI766258B (zh)
WO (1) WO2020192544A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114089879B (zh) * 2021-11-15 2022-08-05 北京灵犀微光科技有限公司 一种增强现实显示设备的光标控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075335A1 (en) * 1996-08-05 2002-06-20 Junichi Rekimoto Information processing device and method
US20100191356A1 (en) * 2000-10-02 2010-07-29 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
TW201028911A (en) * 2009-01-23 2010-08-01 Compal Electronics Inc Method for operating a space menu and electronic device with operating space menu
CN109062476A (zh) * 2018-08-01 2018-12-21 Oppo（重庆）智能科技有限公司 应用的菜单处理方法、移动终端及计算机可读存储介质
CN109196447A (zh) * 2016-03-31 2019-01-11 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459979B1 (ko) * 2004-03-01 2014-11-07 애플 인크. 가속도계에 기초하여 휴대용 장치를 작동시키기 위한 방법 및 장치
CN101644987A (zh) * 2008-08-08 2010-02-10 深圳富泰宏精密工业有限公司 移动终端及其菜单选择的方法
US20100100849A1 (en) * 2008-10-22 2010-04-22 Dr Systems, Inc. User interface systems and methods
CN201766640U (zh) * 2010-08-26 2011-03-16 北京播思软件技术有限公司 一种根据姿态实现屏幕内容或菜单滚动的移动通信终端
US9201467B2 (en) * 2011-01-26 2015-12-01 Sony Corporation Portable terminal having user interface function, display method, and computer program
US10504231B2 (en) * 2014-05-21 2019-12-10 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
US10068373B2 (en) * 2014-07-01 2018-09-04 Samsung Electronics Co., Ltd. Electronic device for providing map information
CN106970734B (zh) * 2016-01-13 2020-12-18 阿里巴巴集团控股有限公司 一种显示设备的任务启动方法和装置
CN105718840B (zh) * 2016-01-27 2018-07-24 西安小光子网络科技有限公司 一种基于光标签的信息交互系统及方法
CN107402685A (zh) * 2016-05-18 2017-11-28 中兴通讯股份有限公司 移动终端及其操作方法和操作装置
CN106446737B (zh) * 2016-08-30 2019-07-09 西安小光子网络科技有限公司 一种多个光标签的快速识别方法
CN107957774B (zh) * 2016-10-18 2021-08-31 阿里巴巴集团控股有限公司 虚拟现实空间环境中的交互方法及装置
CN106527903B (zh) * 2016-12-08 2020-04-07 青岛海信电器股份有限公司 触摸控制方法及装置
CN107562312B (zh) * 2017-08-25 2019-12-31 维沃移动通信有限公司 一种图标移动方法和移动终端
EP3797345A4 (en) * 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
CN108897881B (zh) * 2018-07-05 2023-08-22 腾讯科技（深圳）有限公司 交互式图像显示方法、装置、设备和可读存储介质
CN109298813A (zh) * 2018-08-02 2019-02-01 珠海格力电器股份有限公司 一种应用展示方法、装置、终端及可读存储介质
CN305453172S (zh) * 2018-11-06 2019-11-22

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020075335A1 (en) * 1996-08-05 2002-06-20 Junichi Rekimoto Information processing device and method
US20100191356A1 (en) * 2000-10-02 2010-07-29 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
TW201028911A (en) * 2009-01-23 2010-08-01 Compal Electronics Inc Method for operating a space menu and electronic device with operating space menu
CN109196447A (zh) * 2016-03-31 2019-01-11 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
CN109062476A (zh) * 2018-08-01 2018-12-21 Oppo（重庆）智能科技有限公司 应用的菜单处理方法、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
TW202044007A (zh) 2020-12-01
CN111752425A (zh) 2020-10-09
WO2020192544A1 (zh) 2020-10-01
CN111752425B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
US9224237B2 (en) Simulating three-dimensional views using planes of content
US9591295B2 (en) Approaches for simulating three-dimensional views
US20220129060A1 (en) Three-dimensional object tracking to augment display area
US9437038B1 (en) Simulating three-dimensional views using depth relationships among planes of content
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
JP6013583B2 (ja) 有効インターフェース要素の強調のための方式
US10409443B2 (en) Contextual cursor display based on hand tracking
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
EP3047363B1 (en) Approaches for three-dimensional object display
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
KR102539579B1 (ko) 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
KR20200100848A (ko) 가상 콘트롤러를 위한 손쓰임을 결정하는 방법
WO2015200406A1 (en) Digital action in response to object interaction
CN103270537A (zh) 图像处理设备、图像处理方法和程序
US9389703B1 (en) Virtual screen bezel
JP2014525089A5 (zh)
CN111742281B (zh) 用于针对显示在显示器上的第一内容提供根据外部对象的移动的第二内容的电子装置及其操作方法
WO2018025511A1 (ja) 情報処理装置、方法、および、コンピュータプログラム
TWI766258B (zh) 用於選擇在設備的顯示媒介上的交互物件的方法
KR20230053717A (ko) 터치스크린 제스처를 사용하여 정밀 포지셔닝하기 위한 시스템 및 방법
US9898183B1 (en) Motions for object rendering and selection
WO2023250361A1 (en) Generating user interfaces displaying augmented reality graphics
KR20240037800A (ko) 전자 장치 및 전자 장치의 제어 방법
TW202147173A (zh) 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體
Bauer Large Display Interaction Using Mobile Devices