TWI660302B - 使用者介面的互動方法和裝置、使用者設備以及電腦程式產品 - Google Patents

使用者介面的互動方法和裝置、使用者設備以及電腦程式產品 Download PDF

Info

Publication number
TWI660302B
TWI660302B TW104132291A TW104132291A TWI660302B TW I660302 B TWI660302 B TW I660302B TW 104132291 A TW104132291 A TW 104132291A TW 104132291 A TW104132291 A TW 104132291A TW I660302 B TWI660302 B TW I660302B
Authority
TW
Taiwan
Prior art keywords
interactive element
user interface
interaction
user
interactive
Prior art date
Application number
TW104132291A
Other languages
English (en)
Other versions
TW201629742A (zh
Inventor
約翰松 帕努
Original Assignee
華為技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華為技術有限公司 filed Critical 華為技術有限公司
Publication of TW201629742A publication Critical patent/TW201629742A/zh
Application granted granted Critical
Publication of TWI660302B publication Critical patent/TWI660302B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一種包含處理器和用於提供使用者介面的顯示器的裝置，其中所述處理器用於在所述使用者介面的前景中提供至少一個第一互動元素，提供至少一個第二互動元素，所述第二互動元素佈置在所述使用者介面的背景中，接收使用者與所述背景中的所述第二互動元素互動的指示，以及基於與所述第二互動元素的所述互動的所述指示觸發由所述第二互動元素確定的功能。此外，定義了一種用於操作使用者介面的方法。

Description

使用者介面的互動方法和裝置、使用者設備以及電腦程式產品
本發明大體涉及使用者互動，具體涉及一種用於實現與使用者介面的互動的互動方法和裝置、使用者設備以及電腦程式產品。
當前的圖形化使用者介面（UI）通常允許使用者通過直接控制遵循二維隱喻的平面上佈置的各個圖形圖示和視覺指示器與電子設備進行互動。三維（3D）使用者介面表示三維中類似的圖形圖示和視覺指示器。然而，使用者通常繼續在平面上操作。
基於圖形化使用者介面的特定設置，使用者可以提供指向各個圖形圖示或視覺指示器的輸入以執行圖形圖示或視覺指示器表示的功能。例如，使用者可通過觸摸或點擊圖形圖示或利用與圖形圖示關聯的手勢來直接控制螢幕上的圖形圖示。例如，使用者可利用定點設備來點擊或選擇圖形圖示或視覺指示器，或者利用觸敏設備來直接點擊圖形圖示或視覺指示器。
圖形化使用者介面通常大小受限。因此，使用者介面展示的元素和對應功能的數目有限。雖然3D使用者介面可以利用增大的互動空間，但互動仍然基於在平（二維）面上進行互動這個理念，並且互動通常只與使用者介面的活動部分或上下文相關。使用者介面的其餘部分無法直接由使用者操作。
鑒於上述內容，本發明的目標在於提升與使用者介面的互動，尤其在於擴展使用者介面提供的功能。前述目標和其他目標可以通過獨立權利要求的特徵來實現。其他實施形式在從屬權利要求、具體說明和附圖中顯而易見。
根據第一方面，提供了一種包括用於提供使用者介面的顯示器的裝置。所述裝置還包括處理器，所述處理器用於在所述使用者介面的前景中提供至少一個第一互動元素；提供至少一個第二互動元素，所述第二互動元素佈置在所述使用者介面的背景中；接收使用者與所述背景中的所述第二互動元素互動的指示；以及基於與所述第二互動元素的所述互動的所述指示觸發由所述第二互動元素確定的功能。
應理解，即使根據本發明的各方面和實施形式可以指所述使用者介面的互動元素的圖形化使用者介面和視覺表示，所述使用者介面不是只限於互動元素的視覺表示並且此外或作為替代，還定義以任意組合的不同模態表示的互動元素，例如基於互動元素的聲學或體感表示。例如，所述使用者介面可包括互動元素的圖形表示，這可以通過由觸覺感知使用相同或其他互動元素的力或振動觸覺回饋增強以增強呈現給操作所述使用者介面的使用者的資訊。
所述使用者介面的互動元素，例如所述第一和第二互動元素，可以是所述使用者介面的任意類型的功能部件，這可以在所述使用者介面上表示並且這可以允許使用者觸發與所述互動元素關聯的某些功能。互動元素可以是，例如，一個或多個圖示、按鈕或其他圖形物件、聲音或其他聲學物件、由力表示的物件，振動或運動或其他觸覺物件。
使用者可通過提供相應使用者輸入來與所述互動元素互動，所述使用者輸入可以用於識別所述使用者介面內受影響的互動元素。基於所述使用者輸入和所述受影響的互動元素，處理器可生成互動指示並且可向所述使用者介面或底層處理部件或引擎提供資訊。通常而言，只有在所述使用者介面的所述前景中提供的那些互動元素可以是活動的，使得所述使用者的任何互動可以指向所述前景的互動元素。然而，所述使用者與所述使用者介面的所述背景中的互動元素，例如所述第二互動元素，的互動也可以被處理以生成所述使用者與所述背景中的所述互動元素的所述互動的相應指示，以及觸發所述背景中的所述互動元素確定的功能。這擴展了所述使用者介面的所述功能，因為不僅所述使用者介面的所述前景中的活動互動元素，而且所述使用者介面的所述背景中的非活動互動元素均受所述使用者互動的影響。因此，可用功能進一步通過所述背景中的所述互動元素擴展。
優選地，所述使用者介面可以是三維使用者介面。由所述使用者介面表示的任何模態的所述互動元素可以以連結到空間環境的實際方式表示，例如通過將互動元素視覺化為三維物件，如使用3D聲學在空間中對表示互動元素的聲音進行渲染，以及提供局部觸覺或觸感回饋。
除非另有說明，在本文中使用的術語「或」被理解為一個相容性合取詞或析取詞。因此，表達「A或B」意味著A或B或者A和B，這也可以表示為「A和/或B」。
在根據所述第一方面的所述裝置的第一可能實施方式中，回應於與所述第二互動元素的所述互動的完成觸發所述功能。所述互動可由任意類型的使用者輸入定義，所述使用者輸入可包括由所述使用者執行或發起的一個或多個動作，例如懸停於所述第二互動元素之上或拖動所述第二互動元素或執行與所述第二互動元素相關的相應手勢。所述互動可通過完成所述一個或多個動作，例如通過點擊所述第二互動元素，放置所述第二互動元素或完成所述手勢來結束，以完成所述互動並觸發相應功能。這具有以下優點：可以發起與所述第二互動元素的互動並且所述使用者可具有額外時間來確定所述初始使用者輸入是否正確地連結到預期的互動元素。如果所述使用者確定受影響的互動元素不正確，他或她可能中斷或中止所述互動並發起指向所述預期的互動元素的新互動。
在根據所述第一方面的所述裝置的第二可能實施方式中，所述使用者介面的所述前景是所述使用者介面的活動上下文，所述使用者介面的所述背景定義了所述使用者介面的另一上下文。所述使用者介面可以包括多個互動元素，例如所述第一互動元素和所述第二互動元素，這些互動元素可以佈置在所述使用者介面的所述前景或所述背景中或者至少部分在所述使用者介面的所述前景中以及至少部分在所述使用者介面的所述背景中。所述使用者介面的所述前景定義了所述使用者介面的所述活動的上下文或使用者空間，這包括所述使用者可以直接互動的那些互動元素。因此，所述使用者介面的所述前景還可指所述使用者介面的前面。所述使用者介面可包括一個或多個上下文或使用者空間中的資訊的其他層次，每層均包括可以最初處於非活動狀態的互動元素，即使使用者可與這些互動元素進行互動。其他上下文或使用者空間可指所述使用者介面的所述背景。相應地，所述使用者介面的所述背景中的互動元素可以是可感知的以提供與所述使用者介面的功能相關的其他資訊。然而，所述使用者介面的所述背景中的互動元素還可被所述前景的互動元素覆蓋，因此可能無法被感知或者可能只有部分可在所述使用者介面上感知。這具有以下優點：所述使用者介面表示的資訊和互動性可以在多個層次上提供，使得在不影響所述使用者介面的直觀可用性的情況下在所述使用者介面內提供最多的資訊。
在根據所述第一方面的所述裝置的第三可能實施方式中，在所述使用者與所述第二互動元素的所述互動期間，所述第一互動元素至少部分保持在所述前景中，所述第二互動元素至少部分保持在所述背景中。即使所述第二互動元素至少部分或全部保持在所述背景中以及所述第一互動元素至少部分或全部保持在所述前景中，可與所述第二互動元素進行互動。這具有以下優點：至少可以部分避免所述使用者介面的所述第二互動元素的上下文轉換，並且所述第一互動元素提供的功能可能在後續互動中仍然可用。
在根據所述第一方面的所述裝置的第四可能實施方式中，所述第一互動元素回應於與所述第一互動元素的第一互動，所述第二互動元素回應於與所述第二互動元素的第二互動，所述第二互動與所述第一互動同時執行。所述處理器可用於接收所述使用者與所述前景中的所述第一互動元素的所述第一互動的第一指示，以及接收所述使用者與所述背景中的所述第二互動元素的所述第二互動的第二指示。所述第二互動的所述第二指示可對應於所述使用者與觸發所述功能的所述第二互動元素的所述互動的所述指示。所述處理器可確定所述第一和第二互動的至少一部分是否同時執行。例如，所述使用者可發起與所述第一互動元素的所述第一互動，並且在完成所述第一互動之前可發起與所述第二互動元素的所述第二互動。同樣地，所述第一和第二互動可幾乎同時或者僅在延遲內發起，所述延遲可以基於所述使用者介面的類型和設置進行預定義。例如，通過使用不同的輸入裝置，使用多個手指或觸敏顯示器或使用多個模態，例如指向或觸摸所述第一互動元素並且輸入指向所述第二互動元素的語音命令，可以發起同時互動。
在根據所述第一方面的所述裝置的第五可能實施方式中，所述前景中的所述第一互動元素包括控制碼。所述控制碼可以是所述互動元素的一部分，例如專用區域或額外的嵌套互動元素，並且可以連結到所述使用者介面的一般功能，例如各個互動元素的啟動或去啟動，或者所述使用者介面的一個或多個互動元素的焦點或上下文的改變。這具有以下優點：所述互動元素可以在不影響所述互動元素原先定義的功能的情況下具有所述使用者介面的一般功能。具體而言，已經配置的使用者介面可以很容易通過使用相應控制碼的一般功能進行擴展。
在根據所述第一方面的所述裝置的第六可能實施方式中，所述處理器用於回應於所述使用者與所述控制碼的互動，將所述第一互動元素至少部分移出或旋轉出所述前景，使得所述第二互動元素變得至少部分可感知。這具有以下優點：在所述使用者介面的初始設置中，所述第一互動元素可以完全或至少部分覆蓋所述第二互動元素並且可以通過所述控制碼進行控制以展示所述第二互動元素的其他詳情。
在根據所述第一方面的所述裝置的第七可能實施方式中，所述處理器還用於回應於所述使用者與所述控制碼的互動啟動所述第二互動元素。相應地，所述使用者與所述控制碼的所述互動可對應於根據可能實施形式的與所述第一互動元素的所述第一互動，所述第一互動可啟動所述背景中的所述第二互動元素。這具有以下優點：指向所述使用者介面的使用者輸入的處理可以更加高效地進行，因為在確定使用者輸入在所述前景、所述背景或所述使用者介面的其他上下文中的可用互動元素上的焦點期間，所述背景中啟動的互動元素可以被優先處理。優選地，所述處理器可接收任意使用者輸入並且可利用接收到的使用者輸入來確定一個或多個受影響的互動元素。如果所述前景中沒有互動元素受到所述使用者輸入的影響，所述處理器可首先考慮所述前景的互動元素並且可評估所述使用者介面的所述背景或另一上下文的互動元素。通過啟動所述背景中的所述第二互動元素，所述處理器可能已經考慮了所述背景的所述第二互動元素和所述前景中的所述互動元素，或者可能在所述使用者介面的所述背景或任何其他上下文的任何其他互動元素之前檢查被啟動的第二互動元素。
在根據所述第一方面的所述裝置的第八可能實施方式中，所述第一互動元素佈置在所述使用者介面的所述前景中的幾何對象的第一表面上，所述第二互動元素佈置在所述背景中的所述幾何物件的第二表面上。所述幾何物件可以是所述使用者介面的元物件。關於所述幾何物件，所述使用者介面可包括表示互動元素的其他元物件或幾何物件。所述幾何物件或所述部分元物件的所述表面可以用於表示一個或多個互動元素。優選地，所述第一表面和所述第二表面是所述幾何對象的相鄰表面。至少一個所述表面可定義所述使用者介面的所述前景，其他表面，可以是部分不可感知的，可定義所述使用者介面的所述背景。這具有以下優點：所述互動元素可以清晰地佈置在所述使用者介面內的所述元物件上，從而提高所述使用者介面的清晰性和可用性。
在根據所述第一方面的所述裝置的第九可能實施方式中，所述處理器還用於旋轉所述幾何物件以回應於所述使用者與所述第一表面的互動，使得所述第二表面變得部分可感知。優選地，所述處理器可用於回應於所述使用者與根據實施形式的所述第一表面上的所述第一互動元素的控制碼的互動旋轉所述幾何對象。這提供了更為直觀的使用者介面，因為所述使用者可與所述控制碼互動以及，例如，滑動或拖動所述控制碼以通過在實際操作中預期的方式旋轉所述幾何物件。所述第二表面可能變得至少部分可感知，例如，通過在所述旋轉之後或期間視覺化顯示包含所述第二互動元素的所述第二表面。此外，或者作為替代，所述第二表面以不同模態也變得可感知。例如，通過旋轉所述幾何物件，所述第二表面上的所述第二互動元素可以通過聲學或觸覺方式渲染給所述使用者。
在根據所述第一方面的所述裝置的第十可能實施方式中，所述裝置還包括聲學感測器，用於檢測表示與所述第二互動元素的所述互動的語音命令。這可實現多模態顯示器，其中所述使用者可以與所述使用者介面的圖形表示互動並且還可提供語音命令。所述使用者可與所述第一互動元素互動，從而優先啟動所述背景中的所述第二互動元素，並且可提供語音命令，所述語音命令可表示與所述第二互動元素的所述互動，例如根據實施形式的所述第二互動。
優選地，所述裝置還可包括一個或多個輸入感測器，所述輸入感測器用於在任何其他模態，例如觸覺感測器中檢測所述使用者與所述裝置或所述使用者介面的互動，所述觸覺感測器可與所述顯示器一起構成所述裝置的觸敏顯示器。優選地，所述第二互動可以是指示所述第二互動元素上的所述第二互動元素的語音命令、點擊、按兩下或滑動中的至少一個。優選地，所述第一互動可以是根據實施形式的所述第一互動元素的控制碼上的滑動。
根據所述第一方面的所述裝置的第十一實施方式，所述裝置還包括渲染器，用於渲染所述使用者介面。所述渲染器可能是或者包括圖形渲染器，用於在顯示器上渲染包含所述第一和第二互動元素的所述使用者介面。此外，或者作為替代，所述渲染器可以是或者包括任何其他模態的渲染器，例如用於以相應模態提供所述互動元素的表示的聲學渲染器或者觸覺渲染器。
根據所述第一方面的所述裝置的第十二實施方式，由所述第二互動元素確定的所述功能定義了與所述第一互動元素相關的其他功能。所述第一互動元素可以指向一個或多個功能，例如第一組功能，所述第二互動元素可以定義與所述一個或多個功能相關的更為詳細的功能或擴展功能。這具有以下優點：將所述使用者介面的所述前景聚焦為必要或基本功能並且使所述使用者能夠快速訪問和啟動由所述背景中的所述第二互動元素定義的更為詳細的功能或擴展功能。
根據所述第一方面的所述裝置的第十三實施方式，所述處理器還用於回應於與所述第一互動元素，例如根據實施形式的所述第一互動元素的控制碼，的互動的中止將所述第一互動元素自動恢復到所述前景。這具有以下優點：增加了所述使用者介面的可用性，因為所述使用者可以直接中止或中斷與所述第一互動元素的互動，從而恢復所述使用者介面的所述前景。
在根據所述第一方面的所述裝置的又一第十四可能實施形式中，所述處理器還用於回應於所述第一互動的中止，在觸發由所述第二互動元素確定的所述功能之後，返回至所述使用者介面的初始狀態。這具有以下優點：所述使用者可通過繼續與所述第一互動元素的所述互動繼續所述功能的所述觸發。例如，只要所述使用者與所述第一互動元素互動，所述第二互動元素可在執行所述功能期間改變以顯示或提供關於所述功能的所述執行的資訊，例如提供所述功能的執行的當前狀態和相關系統資訊。
在根據所述第一方面的所述裝置的第十五可能實施形式中，所述返回可以連續執行，所述處理器還用於回應於與所述第一互動元素的互動的其他指示，中止此類返回。這具有以下優點：所述使用者具有額外的時間來糾正使用者輸入。
在一優選實施形式中，所述使用者介面為三維使用者介面。
根據第二方面，提供一種使用者設備，所述使用者設備包括根據一個實施形式的裝置。具體而言，所述使用者設備可以包括一種裝置，所述裝置包括顯示器，用於提供使用者介面，以及處理器，用於在所述使用者介面的前景中提供第一互動元素，提供至少一個第二互動元素，所述第二互動元素佈置在所述使用者介面的背景中，接收使用者與所述背景中的所述第二互動元素互動的指示，以及基於與所述第二互動元素的所述互動的所述指示觸發由所述第二互動元素確定的功能。應理解，根據所述第二方面的所述使用者設備可包括根據所述第一方面的一個或多個實施形式的裝置的特徵的任意組合。
在根據所述第二方面的所述使用者設備的第一可能實施方式中，所述使用者設備為移動設備，例如可擕式計算設備、膝上電腦或平板設備；通信設備，例如行動電話或智慧手機；或者電子設備，例如機上盒、媒體播放機或其他家庭娛樂設備或電子小工具。
在第三方面中，提供了一種用於操作使用者介面的方法，所述方法包括以下步驟：在所述使用者介面的前景中提供至少一個第一互動元素，提供至少一個第二互動元素，所述第二互動元素佈置在所述使用者介面的背景中，接收使用者與所述背景中的所述第二互動元素互動的指示，以及基於與所述第二互動元素的所述互動的所述指示觸發由所述第二互動元素確定的功能。所述方法通過實現與所述使用者介面的所述背景中的互動元素的直接互動提供與具有擴展功能的使用者介面的高效且直觀的互動。
在根據所述第三方面的所述方法的第一可能實施方式中，回應於與所述第二互動元素的所述互動的完成執行所述功能的所述觸發。
在根據所述第三方面的所述方法的第二可能實施方式中，所述方法還包括回應於所述使用者與所述控制碼的互動，將所述第一互動元素至少部分移出或旋轉出所述前景使得所述第二互動元素變得至少部分可感知。
在根據所述第三方面的所述方法的第三可能實施方式中，所述方法還包括回應於所述使用者與所述第一互動元素的控制碼的互動啟動所述第二互動元素。
在根據所述第三方面的所述方法的第四可能實施方式中，所述方法還包括回應於所述使用者與幾何物件的第一表面的互動旋轉所述幾何對象，使得所述幾何物件的第二表面變得至少部分可感知。
在根據所述第三方面的所述方法的又一可能實施形式中，所述方法可包括以指向根據所述第一方面的所述裝置或根據所述第二方面的所述使用者設備的任意組合的一個或多個實施形式的功能的步驟。
根據第四方面，提供了一種用於執行根據所述第三方面的一項實施形式的方法的帶有程式碼的電腦程式，其中當所述電腦程式在電腦上運行時執行所述方法。
根據第五方面，提供了一種電腦程式產品，所述電腦程式產品包括儲存在其上待由使用者設備使用的可讀儲存媒體，所述程式碼包括用於執行根據所述第三方面的所述方法的可能實施形式的各個方法步驟的指令。
根據又一第六方面，提供了一種使用者介面的資料結構，其中所述資料結構包括含第一和第二互動元素的多個互動元素，其中基於所述資料結構，提供所述使用者介面，使得在所述使用者介面的前景中提供至少一個第一互動元素，並且至少一個第二互動元素佈置在所述使用者介面的背景中。對於每個互動元素，所述資料結構定義一個或多個功能，其中響應於使用者與所述第二互動元素的互動的指示，觸發所述第二互動元素的所述一個或多個功能。
因此，本發明的實施方式可以提高一種高效且直觀的方式與使用者介面互動，這實現了更大一組功能並且提供了與擴展功能更快速地互動。
圖1所示為根據本發明的一個或多個實施例的包含多個裝置的高級系統圖。在系統100中，裝置102a、102b可通過接入點104連接至網路（未示出）以通過網路發送和接收資料。如裝置102n和接入點104之間的點線所示，連接可以是可選的或臨時的。因此，獨立和離線電子設備，例如不需要連接至網路的eBook閱讀器和其他電子設備，也完全被本發明實施例包含。
裝置102a可以包括一個或多個顯示器106、處理器108和記憶體110。記憶體110可儲存程式碼，該程式碼可由處理器108讀取並在處理器108上執行以配置裝置102a執行由程式碼定義的操作。例如，處理器108可用於執行一種用於操作使用者介面的方法。處理器108可處理常式代碼或相關資料，這些也可儲存在記憶體110中，並且可生成包含將在顯示器106上渲染的使用者介面的輸出。使用者介面可包括一個或多個互動元素（未示出），其中每個互動元素可被至少部分提供在使用者介面的前景或背景中。例如，該使用者介面可以是三維圖形化使用者介面，處理器108可向渲染引擎（未示出）提供輸出以在顯示器106上渲染互動元素的三維表示。
裝置102a還可包括一個或多個輸入感測器112、114，其中輸入感測器112、114可用於向處理器108提供使用者生成的輸入。處理器108可分析該使用者輸入以識別受該使用者輸入影響的使用者介面的互動元素並執行與識別的互動元素關聯的功能。例如，處理器108可執行定義使用者介面行為的功能部件或引擎，並向使用者介面的功能部件或引擎提供使用者輸入以識別互動元素並執行相應的功能。
輸入感測器112可以是觸控感測器，其可以佈置在顯示器106之上或與顯示器106一起佈置。輸入感測器112可以能夠檢測使用者的手指或使用者操作的手寫筆的直接接觸。基於該接觸在使用者介面112上的位置和互動的相應歷史，例如手勢，處理器108可識別與該接觸的當前位置相關的對應互動元素，並且可執行與識別的互動元素關聯的功能，這可能考慮了互動的當前位置或歷史。例如，使用者可觸摸介面元素並向一個方向滑動或移動互動元素。通過移開手指，可以完成互動並且互動元素可放置在最後的位置上。該互動可觸發由關聯的互動元素、使用者介面或其處理部件或引擎定義的其他功能。
輸入感測器114可以是聲學輸入感測器，例如麥克風，其可檢測包括所需互動元素指示的語音命令。例如，使用者可使用標籤或任意其他合適的標識識別所需互動元素，並且還可描述將執行與所需互動元素相關的所需動作。處理器108可識別語音命令並向使用者介面或其處理部件或引擎提交表徵互動的資料。
雖然已經顯示裝置102a具有若干部件，包括顯示器106和兩個輸入感測器112、114，但應理解，每個裝置102b、……、102n可包括任意組合的相同或類似部件。應理解裝置102a、……、102n可包括相同或其他模態的其他輸出設備，例如揚聲器或振動觸覺回饋層，或者可包括其他輸入感測器，例如鍵盤、攝像機、深度感測器，以及能夠連接至外部輸入裝置的介面。
圖2和圖3所示為根據本發明實施例的例示在使用者介面中使用的互動元素的表示。互動元素200、300可包括一列按鈕202a、……、202n，每個按鈕可定義互動元素200、300的某個功能並且可使用標識或表徵底層功能的文本或圖示來進行標記，例如為檔相關的互動元素例示標籤「按鈕1」、……、「按鈕8」或者任意其他合適的標籤，例如「保存」、「載入」等。
互動元素300還可包括控制碼302，其可佈置在交換元素300的周圍或中心。控制碼302可以是，例如，互動元素的控制碼元素或任意其他指定的區域。控制碼302可觸發使用者介面的一般功能，該功能可影響互動元素300的行為。例如，控制碼302可用於移動和/或旋轉、折疊、丟棄、啟動、刷新互動元素300或以任意合適的方式影響互動元素300。
雖然圖2和圖3中所示的互動元素200和300分別示為包含多個按鈕202a、……、202n，但各個按鈕202a、……、202n可以定義使用者介面的各個互動元素。相應地，使用者介面可允許互動元素以分層和嵌套的方式從一組其他互動元素中組成。
圖4示出了根據本發明實施例的三維使用者介面。使用者介面400可包括使用者介面400的前景中的互動元素402和多個互動元素404a、404b、……、404n，這些互動元素可佈置在使用者介面400的背景中。每個互動元素402、404a、……、404n可以是，例如，圖2和圖3中所示的互動元素200、300中的一個。前景中的當前互動元素，例如互動元素402，可以動態用於包括控制碼以簡化與互動元素402的互動。只要互動元素402移至背景，控制碼（未示出）可被自動移除。控制碼或旋轉控制碼可以佈置在互動元素402之上，例如在標題列中或任何其他指定區域，這可能觸發互動元素402的行為或使用者介面400的一般行為。例如，互動元素402可以包括圖3所示的互動元素300的控制碼302。
互動元素402、404a、……、404n可以表示為佈置在三維環境，例如佈置在中心周圍的圈圈或圓柱或扇形中的三維或二維物件。然而，應理解互動元素402、404a、……、404n可以以任意合適的方式佈置在三維環境中。
三維使用者介面400的前景和互動元素402可以表示活動的上下文或使用者空間，其優先順序高於使用者介面400的背景和互動元素404a、……、404n。因此，使用者可直接與使用者介面400的前景中的第一互動元素402互動。然而，使用者也可直接訪問使用者介面400的背景中的其他互動元素404a、……、404n。因此，無論互動元素402、404a、……、404n是否在前景或背景中均可被啟動。相應地，使用者介面400滿足使用者的期望：如果某個事物看起來是互動元素，那麼它應當為互動元素。
使用者可以使用一組手勢來控制使用者介面400和互動元素402、404a、……、404n，這樣可以允許使用者比在傳統的二維或三維使用者介面中更方便地快速訪問擴展功能。使用者可，例如，通過與第一互動元素402互動，例如通過點擊互動元素402或互動元素402的相應控制碼（未示出）並在顯示器上按住並滑動手指來旋轉所有或至少部分互動元素402、404a、……、404n。
控制碼可以用於旋轉互動元素402以接收使用者介面400的互動元素404a、……、404n提供的其他資訊。當第一互動元素402全部在前景中時，這些資訊可被感知並且其他資訊可能變得更容易看見，例如將第二互動元素404a或404n至少部分移入使用者介面的前景中以及將互動元素402至少部分移出使用者介面的前景。
圖5a和圖5b所示為根據本發明的一個或多個實施例的與使用者介面互動的過程。使用者介面500可以包括第一互動元素502和第二互動元素504，這些元素可以以扇形方式佈置在第一互動元素502之後。第一互動元素502可在使用者介面500的前景中提供，第二互動元素504可在使用者介面500的背景中提供。第一和第二互動元素502、504可對應於圖2至圖4所示的互動元素並且可具有與底層互動元素類似或不同的設置和配置。第一和第二互動元素502、504可被佈置在三維物件的表面，其可以是在使用者介面500的三維環境中渲染的平面、面板或任意合適的三維物件。然而，本發明不局限於互動元素的特定佈局或者互動元素502、504內的各個按鈕和其他互動元素的佈置或設置。
如圖5a所示，使用者可操作觸敏顯示器，例如圖1中的裝置102a的顯示器106和輸入感測器112，並且可使用手指來與第一互動元素502的控制碼506進行互動。使用者介面500可通過顯示球體508或者任意其他合適的確認來確認與第一互動元素502的控制碼506的互動以顯示互動的狀態，球體508或者任意其他合適的確認可被鎖定到控制碼506的當前位置並且也可改變外觀，例如顏色或者任意其他屬性。應理解，確認不需要是視覺確認並且對應的振動觸覺回饋或者任何其他模態的任意其他回饋可以在與第一互動元素502成功互動的情況下提供給使用者。
最初，互動元素502可以完全覆蓋第二互動元素504，或者第一互動元素502可以至少部分覆蓋第二互動元素504。通過與第一互動元素502的控制碼506的互動，第一互動元素502可以向使用者旋轉，從而顯示第一互動元素502之後的第二互動元素504的更多細節。
如圖5b所示，使用者在使用第一手指與第一互動元素502的控制碼506的互動之後不久和/或同時，可使用第二手指與第二互動元素504進行互動。例如，使用者可使用第二手指選擇第二互動元素504的一個按鈕。相應地，第二互動元素504提供的功能可以與第二手指互動，同時第一手指保持固定。可以通過在執行功能之前釋放一個手指來中止互動。因此，使用者可以決定何時通過釋放第一或第二手指來選擇正確的動作。使用第二手指啟動功能的手勢可以包括點擊、按兩下、滑動或任何其他合適的手勢。此外，使用者介面可以支援將各個互動元素懸停於使用者介面500的前景和背景中以觸發相應的功能。
與使用球體508確認與第一互動元素502的控制碼506的互動類似，可以使用另一球體510或參照球體508進行論述的任意其他確認方法來確認與第二手指的互動。
只要第二互動元素504表示的所需功能被啟動，使用者通過從螢幕表面釋放這兩個手指可以返回至使用者介面500的先前狀態。第一互動元素502，其可以被向下拖動，可傾斜回原始狀態，並且可執行所需和所選功能。
可使用一隻手的兩根手指來執行與使用者介面500的互動，這在觸摸移動設備上尤其有益，觸摸移動設備通常允許與一隻手的快速交換。類似地，與第二互動元素504的互動還可以通過使用語音命令或者任意其他模態實現以訪問並觸發第二互動元素504提供的擴展功能。因此，本發明的實施形式提供更為流暢的互動模型，該模型尤其可用於移動設備中。此外，更多互動內容可以用於使用者，並且互動內容可以更高效地創建。
圖6所示為根據本發明實施例的另一使用者介面和互動。使用者介面600可以是三維圖形化使用者介面並且可包括第一互動元素602和第二互動元素604，這些元素可以佈置在幾何物件的相鄰表面上。類似於與圖5a和圖5b中的第一互動元素502的互動，使用者可按住並向下滑動第一互動元素602，這可由箭頭606確認或指示。箭頭606或對應球體可覆蓋在使用者介面606上和/或可提供給使用者作為任意其他模態的確認，例如，參照圖5a和圖5b中的確認球體508、510論述的那樣。三維物件的旋轉可以露出第二互動元素604，其可實現其他功能。通過提供語音命令或者使用任意其他互動技術，使用者可，例如，使用第二手指與第二互動元素604互動。
圖7是根據本發明的一項實施例的方法的流程圖。方法700可以是用於操作使用者介面的方法。方法700可通過在裝置的輸出設備上，例如在電子設備的顯示器上提供使用者介面開始於步驟702。方法可在步驟704和706中繼續，其中分別在使用者介面的前景中提供第一元素以及在使用者介面的背景中提供或佈置第二元素。最初，前景中的第一元素可以至少部分覆蓋背景中佈置的任意元素。此外，在初始狀態，背景中的元素可以至少部分可見。根據本發明實施例，第一和第二元素可以是互動元素。
方法700可以開始於步驟708中以確定使用者的互動是否已經發生。如果在步驟708中檢測到互動，則方法700可繼續到步驟710，其中確定使用者介面的元素，該元素已受到互動的影響。如果在步驟712中已經檢測到使用者與背景中的第二元素的互動，互動指示可生成並且進一步提供給使用者介面。在步驟714中，第二元素確定的功能可基於與第二元素的互動的指示觸發。
在互動指向另一元素的情況下，方法700可在步驟716中處理其他元素的功能。方法700可前進至步驟708並且繼續監控與使用者介面的互動。
方法700可由使用者介面的引擎執行，該引擎可以執行各個步驟並且也可維持互動和受影響的元素的狀態。使用者介面或使用者介面的引擎可通過使用優先處理方法在步驟710中確定受影響的元素，該方法實現了與前景中的元素和背景中的元素的互動。方法700可首先考慮前景中的元素以確定受影響的元素，如果在前景中未發現受影響的元素，則可考慮背景中的其他元素以確定受互動影響的元素。此外，方法700也可處理多個互動，這些互動可能至少部分同時執行或者可以用於優先考慮背景中的元素處理。例如，第一互動可指向位於前景中的第一元素，第二互動可指向背景中的第二元素。如果第一和第二互動同時執行，方法700可在步驟710中優先考慮第二元素。例如，方法700可在考慮背景中的其他元素之前在步驟710期間考慮前景中的元素以及背景中的第二元素。因此，與第一元素的第一互動可啟動或優先考慮第二元素的處理。
雖然已詳細地描述了本發明及其優點，但是應理解，可以在不脫離如申請專利範圍所界定的本發明的精神和球體的情況下對本發明做出各種改變、替代和更改。
100‧‧‧系統
102a‧‧‧裝置
102b‧‧‧裝置
102n‧‧‧裝置
104‧‧‧接入點
106‧‧‧顯示器
108‧‧‧處理器
110‧‧‧記憶體
112‧‧‧輸入感測器
114‧‧‧輸入感測器
200‧‧‧互動元素
202a‧‧‧按鈕
202n‧‧‧按鈕
300‧‧‧互動元素
302‧‧‧控制碼
400‧‧‧使用者介面
402‧‧‧互動元素
404a‧‧‧互動元素
404b‧‧‧互動元素
404n‧‧‧互動元素
500‧‧‧使用者介面
502‧‧‧第一互動元素
504‧‧‧第二互動元素
506‧‧‧控制碼
508‧‧‧球體
510‧‧‧球體
600‧‧‧使用者介面
602‧‧‧第一互動元素
604‧‧‧第二互動元素
606‧‧‧箭頭
700‧‧‧方法
702、704、706、708、710、712、714、716‧‧‧步驟
結合以下說明和所附圖式可以更好地理解本發明的特定特徵、方面和優點。 圖1是根據本發明的一個或多個實施例的包含多個裝置的高級系統圖。 圖2示出了根據本發明實施例的互動元素。 圖3示出了根據本發明實施例的另一互動元素。 圖4所示為根據本發明實施例的使用者介面。 圖5a和圖5b描繪了根據本發明實施例的與使用者介面的互動。 圖6所示為根據本發明的一個或多個實施例的另一使用者介面。 圖7是根據本發明的一個或多個實施例的用於操作使用者介面的方法的流程圖。

Claims (14)

  1. 一種用於操作使用者介面的裝置，包括：顯示器，用於提供所述使用者介面；以及處理器，用於在所述使用者介面的前景中提供至少一個第一互動元素，提供至少一個第二互動元素，所述第二互動元素佈置在所述使用者介面的背景中，接收使用者與所述背景中的所述第二互動元素互動的指示，以及基於與所述第二互動元素的所述互動的所述指示觸發由所述第二互動元素確定的功能；其中，所述使用者介面的所述前景中的所述第一互動元素至少部分覆蓋所述背景中佈置的任意元素，所述使用者介面的所述背景中的所述第二互動元素至少部分可見；所述第一互動元素和所述第二互動元素表示為佈置在三維環境，其中在所述使用者與所述第二互動元素的所述互動的期間，所述第一互動元素至少部分保持在所述前景中，所述第二互動元素至少部分保持在所述背景中。
  2. 如申請專利範圍第1項所述的用於操作使用者介面的裝置，其中回應於與所述第二互動元素的所述互動的完成觸發所述功能。
  3. 如申請專利範圍第1項或第2項所述的用於操作使用者介面的裝置，其中所述使用者介面的所述前景是所述使用者介面的活動上下文，所述使用者介面的所述背景定義了所述使用者介面的另一上下文。
  4. 如申請專利範圍第1項或第2項所述的用於操作使用者介面的裝置，其中所述第一互動元素回應於與所述第一互動元素的第一互動，所述第二互動元素回應於與所述第二互動元素的第二互動，所述第二互動與所述第一互動同時執行。
  5. 如申請專利範圍第1項或第2項所述的用於操作使用者介面的裝置，其中所述前景中的所述第一互動元素包括控制碼。
  6. 如申請專利範圍第5項所述的用於操作使用者介面的裝置，其中所述處理器用於回應於所述使用者與所述控制碼的互動，將所述第一互動元素至少部分移出或旋轉出所述前景，使得所述第二互動元素變得至少部分可感知。
  7. 如申請專利範圍第6項所述的用於操作使用者介面的裝置，其中所述處理器用於回應於所述使用者與所述控制碼的互動啟動所述第二互動元素。
  8. 如申請專利範圍第1項或第2項所述的用於操作使用者介面的裝置，其中所述第一互動元素佈置在所述使用者介面的所述前景中的幾何對象的第一表面，所述第二互動元素佈置在所述背景中的所述幾何物件的第二表面。
  9. 如申請專利範圍第8項所述的用於操作使用者介面的裝置，其中所述處理器用於回應於所述使用者與所述第一表面的互動旋轉所述幾何對象，使得所述第二表面變得部分可感知。
  10. 如申請專利範圍第1項或第2項所述的用於操作使用者介面的裝置，更包括：聲學感測器，用於檢測表示與所述第二互動元素的所述互動的語音命令。
  11. 如申請專利範圍第1項或第2項所述的用於操作使用者介面的裝置，其中由所述第二互動元素定義的所述功能定義了與所述第一互動元素相關的其他功能。
  12. 一種如申請專利範圍第1項或第2項所述的包含裝置的使用者設備。
  13. 一種用於操作使用者介面的方法，包括：在所述使用者介面的前景中提供至少一個第一互動元素；提供至少一個第二互動元素，所述第二互動元素佈置在所述使用者介面的背景中；其中，所述使用者介面的所述前景中的所述第一互動元素至少部分覆蓋所述背景中佈置的任意元素，所述使用者介面的所述背景中的所述第二互動元素至少部分可見；所述第一互動元素和所述第二互動元素表示為佈置在三維環境；接收使用者與所述背景中的所述第二互動元素互動的指示；以及基於與所述第二互動元素的所述互動的所述指示觸發由所述第二互動元素確定的功能，其中在所述使用者與所述第二互動元素的所述互動的期間，所述第一互動元素至少部分保持在所述前景中，所述第二互動元素至少部分保持在所述背景中。
  14. 一種電腦程式產品，載入用於在電腦上運行時執行如申請專利範圍第13項所述的用於操作使用者介面的方法的帶有程式碼的電腦程式。
TW104132291A 2014-10-02 2015-09-30 使用者介面的互動方法和裝置、使用者設備以及電腦程式產品 TWI660302B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??14187509.6 2014-10-02
EP14187509.6A EP3002666A1 (en) 2014-10-02 2014-10-02 Interaction method for user interfaces

Publications (2)

Publication Number Publication Date
TW201629742A TW201629742A (zh) 2016-08-16
TWI660302B true TWI660302B (zh) 2019-05-21

Family

ID=51687833

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104132291A TWI660302B (zh) 2014-10-02 2015-09-30 使用者介面的互動方法和裝置、使用者設備以及電腦程式產品

Country Status (9)

Country Link
US (1) US11099723B2 (zh)
EP (1) EP3002666A1 (zh)
JP (2) JP6832847B2 (zh)
KR (2) KR101981158B1 (zh)
CN (1) CN106464749B (zh)
AU (1) AU2015327573B2 (zh)
BR (1) BR112017006638A2 (zh)
TW (1) TWI660302B (zh)
WO (1) WO2016050086A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170052683A1 (en) * 2015-08-20 2017-02-23 International Business Machines Corporation Altering a display perspective to avoid scrolling
CN110300950B (zh) 2017-02-06 2023-06-16 平蛙实验室股份公司 触摸感测系统中的光学耦合
US20180267691A1 (en) * 2017-03-20 2018-09-20 Tempo Music Design Oy Method and system for generating audio associated with a user interface
WO2019045629A1 (en) 2017-09-01 2019-03-07 Flatfrog Laboratories Ab IMPROVED OPTICAL COMPONENT
CN110032323B (zh) * 2018-01-12 2021-12-28 荷兰移动驱动器公司 电子设备及手势导航方法
US12055969B2 (en) 2018-10-20 2024-08-06 Flatfrog Laboratories Ab Frame for a touch-sensitive device and tool therefor
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
EP4066089B1 (en) 2019-11-25 2024-09-25 FlatFrog Laboratories AB A touch-sensing apparatus
EP4100822A4 (en) * 2020-02-08 2024-02-28 FlatFrog Laboratories AB TOUCH DEVICE WITH LOW LATENCY INTERACTIONS
US11893189B2 (en) 2020-02-10 2024-02-06 Flatfrog Laboratories Ab Touch-sensing apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057497A1 (en) * 2003-09-15 2005-03-17 Hideya Kawahara Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
CN101500328A (zh) * 2008-02-02 2009-08-05 德信智能手机技术（北京）有限公司 一种在手机上实现三维交互的装置和方法
US20130113737A1 (en) * 2011-11-08 2013-05-09 Sony Corporation Information processing device, information processing method, and computer program

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043818A (en) * 1996-04-30 2000-03-28 Sony Corporation Background image with a continuously rotating and functional 3D icon
US5745109A (en) * 1996-04-30 1998-04-28 Sony Corporation Menu display interface with miniature windows corresponding to each page
JP2002182783A (ja) * 2000-10-02 2002-06-26 Sharp Corp 電子機器
TWI238348B (en) * 2002-05-13 2005-08-21 Kyocera Corp Portable information terminal, display control device, display control method, and recording media
US7283852B2 (en) 2003-09-10 2007-10-16 Nokia Corporation Movable functional elements for mobile communication device
EP1710673A3 (en) * 2005-03-17 2011-12-14 CLARION Co., Ltd. Method, program and device for displaying menu
JP4719488B2 (ja) 2005-03-17 2011-07-06 クラリオン株式会社 メニュー編集プログラム及びメニュー編集装置
US7676767B2 (en) * 2005-06-15 2010-03-09 Microsoft Corporation Peel back user interface to show hidden functions
KR20090005680A (ko) * 2007-07-09 2009-01-14 삼성전자주식회사 원통형 입체 형상의 메뉴를 제공하기 위한 ｇｕｉ 제공방법및 이를 적용한 멀티미디어 기기
WO2011017316A1 (en) * 2009-08-07 2011-02-10 Thomson Licensing System and method for searching in internet on a video device
KR100966848B1 (ko) * 2009-09-16 2010-06-29 주식회사 아크로디아코리아 회전식 직육면체 메뉴 바 디스플레이 방법 및 장치
KR101692550B1 (ko) * 2009-10-27 2017-01-03 엘지전자 주식회사 이동 통신 단말기에서의 메뉴 표시 방법 및 이를 적용한 이동 통신 단말기
JP5664036B2 (ja) 2010-09-07 2015-02-04 ソニー株式会社 情報処理装置、プログラム及び制御方法
KR20120026145A (ko) * 2010-09-09 2012-03-19 에스케이플래닛 주식회사 단말기 및 그의 정확한 터치신호를 위한 보조물 제공 방법
KR101312954B1 (ko) 2011-03-31 2013-10-01 주식회사 리코시스 3차원 테마를 표현하는 커버페이지를 제공하는 사용자 인터페이스 장치 및 그 구동 방법
WO2012135373A2 (en) 2011-04-01 2012-10-04 Analog Devices, Inc. A dedicated user interface controller for feedback responses
US9235318B2 (en) * 2012-02-01 2016-01-12 Facebook, Inc. Transitions among hierarchical user-interface layers
KR101946364B1 (ko) * 2012-05-01 2019-02-11 엘지전자 주식회사 적어도 하나의 마이크 센서를 갖는 모바일 디바이스 및 그 제어방법
US9448694B2 (en) * 2012-11-09 2016-09-20 Intel Corporation Graphical user interface for navigating applications
US9535503B2 (en) * 2013-01-29 2017-01-03 Blackberry Limited Methods and devices for simultaneous multi-touch input
KR102057629B1 (ko) * 2013-02-19 2020-01-22 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9594470B2 (en) * 2013-09-12 2017-03-14 Blackberry Limited Methods and software for facilitating the selection of multiple items at an electronic device
KR102201733B1 (ko) * 2013-09-30 2021-01-12 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057497A1 (en) * 2003-09-15 2005-03-17 Hideya Kawahara Method and apparatus for manipulating two-dimensional windows within a three-dimensional display model
CN101500328A (zh) * 2008-02-02 2009-08-05 德信智能手机技术（北京）有限公司 一种在手机上实现三维交互的装置和方法
US20130113737A1 (en) * 2011-11-08 2013-05-09 Sony Corporation Information processing device, information processing method, and computer program

Also Published As

Publication number Publication date
BR112017006638A2 (pt) 2017-12-19
KR101981158B1 (ko) 2019-05-22
AU2015327573B2 (en) 2018-10-18
AU2015327573A1 (en) 2017-04-27
WO2016050086A8 (en) 2016-06-30
TW201629742A (zh) 2016-08-16
CN106464749B (zh) 2020-12-01
JP2019087284A (ja) 2019-06-06
JP6832847B2 (ja) 2021-02-24
WO2016050086A1 (en) 2016-04-07
KR20170062526A (ko) 2017-06-07
KR20190008441A (ko) 2019-01-23
US20170205995A1 (en) 2017-07-20
EP3002666A1 (en) 2016-04-06
CN106464749A (zh) 2017-02-22
JP2017534975A (ja) 2017-11-24
US11099723B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
TWI660302B (zh) 使用者介面的互動方法和裝置、使用者設備以及電腦程式產品
JP6054892B2 (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
US9146672B2 (en) Multidirectional swipe key for virtual keyboard
JP5985761B2 (ja) モバイルコンピューティングデバイスの使用利き手に基づくユーザインタフェースの適合
US10289269B2 (en) Operation panel for electronic device
KR102021048B1 (ko) 사용자 입력을 제어하기 위한 방법 및 그 전자 장치
US20110283212A1 (en) User Interface
JP2014532949A (ja) ユーザ・インターフェースの間接的対話
US9927973B2 (en) Electronic device for executing at least one application and method of controlling said electronic device
WO2007069835A1 (en) Mobile device and operation method control available for using touch and drag
JP2014099155A (ja) 仮想キーボードを提供するための方法及びその電子装置
US10019148B2 (en) Method and apparatus for controlling virtual screen
WO2014205605A1 (en) Method to select portion of graphical user interface
US20140258860A1 (en) System and method for providing feedback to three-touch stroke motion
WO2016183912A1 (zh) 菜单布局方法及装置
US20150268736A1 (en) Information processing method and electronic device
US20150100912A1 (en) Portable electronic device and method for controlling the same
JP2010049318A (ja) 移動制御プログラム
US11782599B1 (en) Virtual mouse for electronic touchscreen display
JP6478260B2 (ja) 電子機器、電子機器の制御方法及びプログラム
KR101898162B1 (ko) 다중 센서감지를 통해 다른 기기로 추가기능 및 피드백을 제공하는 기기 및 방법
US20240086026A1 (en) Virtual mouse for electronic touchscreen display
EP2722745A1 (en) A method for operating a gesture-controlled graphical user interface
KR20170002165A (ko) 사용자 정의 제스처 설정 시스템 및 이를 이용한 제스처 설정 방법