TW201923528A - 直接操縱多層使用者介面的方法 - Google Patents

直接操縱多層使用者介面的方法 Download PDF

Info

Publication number
TW201923528A
TW201923528A TW107128534A TW107128534A TW201923528A TW 201923528 A TW201923528 A TW 201923528A TW 107128534 A TW107128534 A TW 107128534A TW 107128534 A TW107128534 A TW 107128534A TW 201923528 A TW201923528 A TW 201923528A
Authority
TW
Taiwan
Prior art keywords
processor
layer
input
command
mobile computing
Prior art date
Application number
TW107128534A
Other languages
English (en)
Inventor
喬納森 齊斯
羅蘋泰瑞莎 奧利弗
羅伯特 塔茨
道格拉斯 布雷姆
蘇海爾 賈利勒
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201923528A publication Critical patent/TW201923528A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547Touch pads, in which fingers can move on a surface
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K17/00Electronic switching or gating, i.e. not by contact-making and –breaking
    • H03K17/94Electronic switching or gating, i.e. not by contact-making and –breaking characterised by the way in which the control signals are generated
    • H03K17/96Touch switches
    • H03K17/962Capacitive touch switches
    • H03K17/9622Capacitive touch switches using a plurality of detectors, e.g. keyboard
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

在一些實施例中,行動計算裝置的處理器可接收用於關於行動設備處的內容執行功能的輸入,其中行動設備處的內容至少被分割成具有一或多個物件的第一命令層和具有一或多個物件的第二命令層。處理器可判定所接收的輸入是關聯於第一命令層的第一物件還是關聯於第二命令層的第二物件。處理器可基於是第一命令層還是第二命令層被判定為關聯於所接收的輸入來決定要對第一或第二物件之一執行的功能,並且處理器可對第一物件或第二物件執行所決定的功能。

Description

直接操縱多層使用者介面的方法
本案內容係關於直接操縱多層使用者介面的方法。
本專利申請案主張於2017年10月14日提出申請的題為「Managing And Mapping Multi-Sided Touch(管理和映射多面觸摸)」的美國臨時專利申請案S/N. 62/572,453、於2017年10月14日提出申請的題為「Methods For Integrating Multi-Touch Across Rear/Side Surfaces And A Front Display(用於整合跨背面/側面和前顯示器的多點觸摸的方法)」的美國臨時專利申請案S/N. 62/572,465、於2017年10月14日提出申請的題為「Methods of Direct Manipulation of Multi-Layered User Interfaces(直接操縱多層使用者介面的方法)」的美國臨時專利申請案S/N. 62/572,455、於2017年10月14日提出申請的題為「Methods For Detecting Device Context In Order To Alter Touch Capacitance(用於偵測設備上下文以變更觸摸電容的方法)」的美國臨時專利申請案S/N. 62/572,460、以及於2017年10月14日提出申請的題為「Method And Apparatus To Accommodate Both Wireless Charging And Back Touch Sensing(用於容適無線充電和背面觸摸感測的方法和裝置)」的美國臨時專利申請案S/N. 62/572,471的優先權權益。這些文件的內容經由引用納入於此。
行動計算裝置可以使用各種各樣的輸入方法。除了按鈕和其他實體輸入裝置之外,行動計算裝置通常包括能夠偵測顯示區域內的觸摸的存在和位置的電子顯示器(亦即,「觸控式螢幕」)。行動計算裝置的眾多軟體應用利用觸控式螢幕輸入,且因此觸控式螢幕極大地擴展了與行動計算裝置的可能使用者互動的類型和範圍。
然而,觸控式螢幕互動要求使用者集中注意力以看到要觸摸的目標(例如,圖示、文字等)或對輸入的回應。此外,要經由與觸控式螢幕的互動來控制愈發複雜的軟體應用可能是困難的或麻煩的。此外,與行動計算裝置的許多互動需要一隻手來握持行動計算裝置,從而另一隻手的手指可以與觸控式螢幕互動。
各種實施例包括可在具有一或多個觸摸感測器的行動計算裝置的處理器上實現的方法,該方法用於管理行動計算裝置的多層控制。各種實施例可包括:行動計算裝置的處理器在行動計算裝置處接收用於關於行動設備處的內容執行功能的輸入,其中行動設備處的內容至少被分割成具有一或多個物件的第一命令層和具有一或多個物件的第二命令層;決定所接收的輸入是關聯於第一命令層的第一物件還是關聯於第二命令層的第二物件;基於是第一命令層還是第二命令層被決定為關聯於所接收的輸入來決定要對第一物件或第二物件之一執行的功能;及對第一物件或第二物件執行所決定的功能。
在一些實施例中,在行動計算裝置處接收用於關於行動設備處的內容執行功能的輸入可包括:在行動計算裝置的觸摸感測器之一處接收用於關於行動設備處的內容執行功能的輸入。一些實施例可進一步包括:從行動計算裝置的記憶體獲取命令層轉譯表;及決定接收到該輸入的觸摸感測器,其中決定要對第一物件或第二物件之一執行的功能可包括:使用該轉譯表基於所決定的觸摸感測器來決定與所接收的輸入和相關聯命令層相關聯的功能。
在一些實施例中,第一命令層可包括由行動設備顯示的影像的第一影像層,第二命令層可包括所顯示的影像的第二影像層,並且對第一物件或第二物件執行所決定的功能可包括對第一影像層的元素或第二影像層的元素執行所決定的功能。
在一些實施例中,第一命令層可包括由行動設備顯示的影像的前景層,第二命令層可包括所顯示的影像的背景層,並且對第一物件或第二物件執行所決定的功能可包括對前景層的元素或背景層的元素執行所決定的功能。
在一些實施例中,第一命令層可包括由行動設備顯示的影像的第一維度,第二命令層可包括所顯示的影像的第二維度,並且對第一物件或第二物件執行所決定的功能可包括對影像的第一維度或影像的第二維度執行所決定的功能。
在一些實施例中,第一命令層可包括由行動設備顯示的文字的第一文字層,第二命令層可包括所顯示的文字的第二文字層,並且對第一物件或第二物件執行所決定的功能可包括對第一文字層的元素或第二文字層的元素執行所決定的功能。
在一些實施例中,第一命令層可包括由行動設備顯示的擴展現實影像中由處理器產生的數位物件影像層,第二命令層可包括在所顯示的擴展現實影像中顯示的真實物件的真實影像層,並且對第一物件或第二物件執行所決定的功能可包括對第一擴展現實影像層內的擴展現實影像元素或真實影像層內的真實元素執行所決定的功能。
在一些實施例中,第一命令層可包括在行動設備上執行的第一應用,第二命令層可包括在行動設備上執行的第二應用,並且對第一物件或第二物件執行所決定的功能可包括向第一應用或第二應用發送執行所決定的功能的指令。
在一些實施例中,第一命令層可包括被配置成從該行動計算裝置接收命令的第一設備的表示,第二命令層可包括被配置成從該行動計算裝置接收命令的第二設備的表示,並且對第一物件或第二物件執行所決定的功能可包括向第一設備或第二設備發送執行所決定的功能的指令。
在一些實施例中,基本上佈置在行動計算裝置正面的一或多個觸摸感測器的第一組可被映射到第一命令層,而基本上佈置在行動計算裝置背面的一或多個觸摸感測器的第二組可被映射到第二命令層。在此類實施例中,所接收的輸入是由處理器在重疊的時間從第一組的觸摸感測器之一和第二組的觸摸感測器之一接收的兩個或更多個輸入之一。在此類實施例中,基本上佈置在行動計算裝置側面的一或多個觸摸感測器的第三組可被映射到第一命令層和第二命令層中的一者或多者,並且在一些實施例中,所接收的輸入可以是由處理器在重疊的時間從第三組的觸摸感測器之一以及來自第一組和第二組中的觸摸感測器接收的兩個或更多個輸入之一。
進一步的實施例可包括行動計算裝置,該行動計算裝置包括一或多個觸摸感測器和處理器,該處理器耦合到該一或多個觸摸感測器並配置有處理器可執行指令以執行上面概述的任何方法的操作。進一步的實施例可包括其上儲存有處理器可執行指令的非瞬態處理器可讀儲存媒體,該處理器可執行指令被配置成使具有一或多個觸摸感測器的行動計算裝置的處理器執行上面概述的任何方法的操作。進一步的實施例可包括行動計算裝置,其具有一或多個觸摸感測器和用於執行上面概述的任何方法的功能的裝置。
將參照附圖來詳細地描述各種實施例。在可能之處,相同元件符號將貫穿附圖用於代表相同或類似部分。對特定實例和實現所作的引用是用於說明性目的,而無意限定本發明或請求項的範疇。
術語「行動計算裝置」在本文中用於代表各種小型計算設備中的任何一種或全部,尤其是包括觸摸感測器(例如,配置成偵測並定位設備表面上的使用者觸摸的電容式感測器、壓力觸摸感測器、觸控式螢幕顯示器和其他合適的感測器)、可程式設計處理器和記憶體以及用於接收使用者輸入的電路系統的計算設備。各種實施例特別適用的計算設備的實例包括智慧型電話、配置成由使用者握住邊緣的平板計算設備、可穿戴計算設備(包括智慧眼鏡、擴展現實眼鏡、以及其他類似設備)、其他類似計算平臺和其他類似設備。
觸控式螢幕互動要求使用者集中注意力以看到要觸摸的目標(例如,圖示、文字等)或對輸入的回應。此外,要經由與觸控式螢幕的互動來控制更複雜的軟體應用可能是困難的或麻煩的。此外,與行動計算裝置的許多互動需要一隻手來握持行動計算裝置,從而另一隻手的手指可以與觸控式螢幕互動。
各種實施例實現了除了觸控式螢幕顯示器之外亦包括在各表面上的複數個觸敏輸入感測器(諸如除了觸控式螢幕顯示器之外還有位於設備的背面區域、側面、頂部邊緣和底部邊緣的一或多個觸摸感測器)的行動計算裝置的廣泛功能性和操作控制。經由將在兩個或更多個行動計算裝置觸敏輸入感測器上偵測到的觸摸及/或手勢關聯到執行應用的功能、操作狀態或條件、或在該行動計算裝置控制下的其他設備,各種實施例實現了可用各種應用和設備實現的更多的功能性和更廣泛的使用者輸入控制。經由將個體觸摸感測器與由輸入定義的功能性的不同命令層相關,各種實施例使得具有多個觸摸感測器的行動計算裝置能夠經由應用和操作狀態來配置,以實現擴展的對內容的多個元素或維度的使用者控制,從而改善使用者體驗。各種實施例經由使得兩個(或更多個)不同物件或物件集合能夠被獨立地控制、命令或操縱而不改變選擇或介面功能表來改進行動計算裝置的操作,其中控制輸入可以在任何時間——包括在相同時間(例如,同時)——經由單獨的使用者介面來輸入。換句話說,各種實施例經由使得能夠獨立地(包括但不限於,同時或在重疊的時間)處理用於控制不同物件或物件集合的不同命令來改進行動計算裝置的操作。這與一般的行動計算裝置形成對比,在一般的行動計算裝置中,觸摸感測器的輸入被映射到單個命令層,並且兩個不同的物件不能同時或在重疊的時間被獨立地控制、命令或操縱。
作為實例,一些實施例可使得使用者能夠經由觸摸行動計算裝置的兩個(或更多個)觸摸感測器(例如,正面感測器和背面感測器)——包括但不限於同時或重疊時間的觸摸——來在顯示影像的應用(例如,成像編輯應用)中個別地和獨立地控制(例如,移動、調整大小、旋轉、編輯等)前景影像或影像物件(或多個影像/物件)和背景影像/影像物件,如圖5A和5C所示。作為另一實例,一些實施例可使得使用者能夠個別地和獨立地操縱(例如,移動、調整大小、編輯、突出顯示等)文字文件內的兩個文字層,諸如經由在正面觸摸感測器上輸入用於控制第一文字層(例如,主文件文字)的觸摸手勢以及在背面觸摸感測器上輸入用於控制第二文字層(例如,評論、突出顯示、註腳、引用、高亮顯示、背景等)的觸摸手勢,如圖5B所示。作為另一實例,在具有多個觸摸感測器並且實現各種實施例的行動計算裝置上執行的擴展現實應用可使得使用者能夠使用一個觸摸感測器(例如,正面感測器)控制真實影像層,同時亦(包括但不限於在重疊時間)使用另一觸摸感測器(例如,背面感測器)控制擴展現實影像元素(例如,資訊氣球、動畫等),如圖5D所示。作為另一實例,具有多個觸摸感測器並實現各種實施例的行動計算裝置可使得使用者能夠經由在正面感測器上輸入觸摸手勢以控制一個應用同時在背面感測器上輸入觸摸手勢以控制另一應用來個別地且獨立地控制兩個應用,如圖5E所示。作為另一實例,具有多個觸摸感測器並實現各種實施例的行動計算裝置可使得使用者能夠經由在正面感測器上輸入觸摸手勢以控制一個設備(諸如物聯網路(IoT)燈泡)同時在背面感測器上輸入觸摸手勢以控制另一設備(諸如IoT恒溫器)來經由分開的使用者介面個別地且獨立地控制兩個其他設備,如圖5F所示。在這些實例中的每一者中,在行動計算裝置上執行的使用者配置設置和應用可以配置或定義命令層,命令層包括映射到特定觸摸手勢並且與特定觸摸感測器相關聯的特定功能性,以向開發者和使用者提供利用多個觸摸感測器實現對內容、功能性和其他設備的多維控制的靈活性。
各種實施例可實現在各種各樣的行動計算裝置內,其一實例在圖1A和1B中圖示。參考圖1A和1B,行動計算裝置100可包括主體110,主體110具有正面區域112、背面區域114、在正面區域112與背面區域114之間的兩側116a、116b、以及在正面區域112與背面區域114之間的頂部區域118。正面區域112可包括觸摸感測器102,觸摸感測器102可以用觸控式螢幕顯示器的形式被納入到顯示器內。背面區域114可包括觸摸感測器104。側面116a、116b中的一者或兩者可包括觸摸感測器106a、106b。頂部區域118可包括觸摸感測器108。因此,行動計算裝置100的主體110可在正面區域112、背面區域114、一或多個側面116a、116b和頂部區域118上包括一或多個觸摸感測器。觸摸感測器102、104、106a、106b、108可被配置成接收來自使用者手指120、128的輸入124、132,及/或來自使用者拇指122、130的輸入126、134。在一些實施例中,觸摸感測器102、104、106a、106b、108中的每一者可包括一或多個觸摸感測器。
觸摸感測器102、104、106a、106b、108被配置成偵測在感測器被物體(特別是使用者的手、拇指或手指)觸摸(或幾近觸摸)的位置處的電容變化。儘管在圖1A和1B中圖示了觸摸感測器102、104、106a、106b、108上的手指和拇指觸摸124、126、132、134,但是感測器可以偵測來自與使用者身體的任何接觸的電容變化,諸如與使用者的手掌或臉部的接觸、觸控筆或另一類似輸入裝置的接觸等等。在一些實施例中,觸摸感測器102、104、106a、106b、108可以偵測兩個或更多個接觸位置(例如,多點觸摸感測器)。在一些實施例中,觸摸感測器102、104、106a、106b、108可以偵測一或多個接觸的壓力。來自各種觸摸感測器102、104、106a、106b、108的輸出可被提供給處理器(例如,被包括在觸摸感測器102、104、106a、106b、108內或耦合到觸摸感測器102、104、106a、106b、108的處理器),該處理器被配置成決定可被視為行動計算裝置100的使用者輸入的觸摸的位置。
在一些實施例中,行動計算裝置100及/或觸摸感測器102、104、106a、106b、108的處理器可以決定一或多個接觸的歷時小於、等於或大於閾值時間段。在一些實施例中,此類處理器可以決定一或多個觸摸感測器102、104、106a、106b、108上的一或多個接觸的特性。例如,接觸特性可包括接觸歷時、接觸點的數量、接觸點的大小、接觸序列、同時接觸的模式、以及接觸期間施加的壓力或力的位準。與使用者抓握行動計算裝置相關聯的接觸可從各種輸入決定,包括在觸摸感測器102、104、106a、106b、108的多個位置處的併發接觸的組合,其可持續至少最小歷時。在一些實施例中,行動計算裝置的處理器可區分敲擊、按兩下、長按、滑掃或輕彈、拖動、包括複數個觸摸及/或壓力輸入的預定義手勢、抓握、其他接觸、或其任何組合。預定義手勢可以是與觸摸感測器102、104、106a、106b、108的一或多個接觸的集合或序列。預定義手勢可由使用者配置,由行動計算裝置上的應用建立,或者可提供作為出廠預設設置。在一些實施例中,觸摸感測器102、104、106a、106b、108可被配置成在實體接觸之前或在沒有實體接觸的情況下偵測使用者的手指或拇指鄰近或幾近接觸(例如,「懸停」)。
儘管本文通常用基於電容變化偵測觸摸的觸摸感測器的形式論述觸摸感測器102、104、106a、106b、108,但是此類感測器僅用作適於與各種實施例一起使用的一種類型的輸入感測器的實例。在各種實施例中可以使用其他類型的輸入感測器,諸如電阻感測輸入感測器、紅外感測輸入感測器、電阻力感測器等。
各個實施例可在各種各樣的通訊系統200內實現,其中的一個實例在圖2中圖示。參考圖1A-2,通訊系統200可包括行動計算裝置100以及一或多個其他設備,例如視聽設備202、一或多個物聯網路(IoT)設備,諸如智慧燈泡或智慧照明系統204、智慧恒溫器206、IoT安全攝像機208和IoT集線器設備210。
行動計算裝置100可經由有線或無線通訊鏈路230-238與一或多個其他設備202-210通訊。在一些實施例中,IoT設備204-210可以經由一或多個無線通訊鏈路彼此通訊。在一些實施例中,行動計算裝置100可以經由IoT集線器設備210與一或多個IoT設備204-208通訊。當實現為無線通訊鏈路時,通訊鏈路230-238可包括複數個載波信號、頻率、或頻帶,其中每一者可包括複數個邏輯通道。無線通訊鏈路230-238可以利用一或多個無線電存取技術(RAT)。可在無線通訊鏈路中使用的RAT的實例包括3GPP長期進化(LTE)、3G、4G、5G、全球行動性系統(GSM)、分碼多工存取(CDMA)、寬頻分碼多工存取(WCDMA)、全球互通微波存取(WiMAX)、分時多工存取(TDMA)、以及其他行動電話通訊技術蜂巢RAT。可在通訊系統100內的各種無線通訊鏈路中的一者或多者中使用的RAT的其他實例包括中等距離協定(諸如Wi-Fi、LTE-U、LTE-Direct、LAA、MuLTEfire)和相對短距離RAT(諸如ZigBee、藍芽和藍芽低能量(LE))。
在各種實施例中,行動計算裝置100的處理器可被配置成與視聽設備202和IoT設備204-210通訊及/或對其進行控制(例如,向其發送資訊,從其接收資訊及/或向其發送命令),如下面進一步描述的。
圖3是適於實現各種實施例的實例行動計算裝置300的功能方塊圖。參考圖1A-3,行動計算裝置300可類似於行動計算裝置100。例如,行動計算裝置300可以是多SIM計算設備,諸如多SIM多待(MSMS)計算設備。行動計算裝置300可包括至少一個用戶身份模組(SIM)介面302,其可接納與第一訂閱相關聯的第一SIM(「SIM-1」)304a。在一些實施例中,該至少一個SIM介面302可被實現為多個SIM介面302,其可接納與至少第二訂閱相關聯的至少第二SIM。
各種實施例中的SIM可以是通用積體電路卡(UICC),其配置有SIM及/或通用SIM(USIM)應用,以使得能夠存取各種不同的網路。UICC亦可提供對電話簿和其他應用的儲存。替換地,在分碼多工存取(CDMA)網路中,SIM可以是卡上的UICC可移除使用者身份模組(R-UIM)或CDMA用戶身份模組(CSIM)。
每個SIM 304a可具有CPU、ROM、RAM、EEPROM和I/O電路。在各種實施例中使用的第一SIM 304a和任何額外SIM中的一者或多者可包含使用者帳戶資訊、國際行動站辨識符(IMSI)、SIM應用工具包(SAT)命令集以及電話簿連絡人儲存空間。第一SIM 304a和任何額外SIM中的一者或多者可進一步儲存歸屬辨識符(例如,系統標識號(SID)/網路標識號(NID)對、歸屬PLMN(HPLMN)碼等)以指示SIM網路服務供應商提供者。積體電路卡身份(ICCID)SIM序號可被印刷在一或多個SIM 304a上以供標識。在一些實施例中,可提供額外的SIM以經由虛擬SIM(VSIM)應用(未圖示)在行動計算裝置300上使用。例如,VSIM應用可經由置備相應的SIM簡檔來在行動計算裝置300上實現遠端SIM。
行動計算裝置300可包括至少一個控制器(諸如通用處理器306),其可耦合至編碼器/解碼器(CODEC)308。CODEC 308可進而耦合至揚聲器310和話筒312。通用處理器306亦可耦合到至少一個記憶體314。記憶體314可以是儲存處理器可執行指令的非瞬態有形電腦可讀取儲存媒體。例如,指令可包括經由相應基頻RF資源鏈的發射鏈和接收鏈來路由與訂閱有關的通訊資料。記憶體314可以儲存作業系統(OS)、以及使用者應用軟體和可執行指令。通用處理器306和記憶體314可各自耦合到至少一個基頻數據機處理器316。行動計算裝置300之每一者SIM 304a可與包括至少一個基頻數據機處理器316和至少一個射頻(RF)資源318的基頻RF資源鏈相關聯。
RF資源318可包括接收器和發射器電路系統,其耦合到至少一個天線320並且被配置成執行與計算設備300的每個SIM 304a相關聯的無線服務的傳送/接收功能。RF資源318可實現分開的傳送和接收功能性,或者可包括組合了發射器和接收器功能的收發機。RF資源318可被配置成支援根據不同的無線通訊協定操作的多個無線電存取技術/無線網路。RF資源318可包括或提供到不同組的放大器、數位類比轉換器、類比數位轉換器、濾波器、壓控振盪器等的連接。多個天線320及/或接收塊可耦合到RF資源318以促成利用天線和接收器/發射器頻率和協定(例如,LTE、WiFi、藍芽及/或類似物)的各種組合的多模通訊。
行動計算裝置300的基頻數據機處理器可被配置成執行包括與至少一個SIM相關聯的至少一個數據機堆疊的軟體。SIM和相關聯的數據機堆疊可被配置成支援滿足不同使用者要求的各種通訊服務。此外,特定SIM可置備有執行不同訊號傳遞規程的資訊以用於存取與這些服務相關聯的核心網路的域以及用於處置其資料。
在一些實施例中,通用處理器306、記憶體314、基頻數據機處理器316和RF資源318可被包括在片上系統設備322中。SIM 304a及其對應的介面302可在片上系統設備322的外部。此外,各種輸入和輸出設備可耦合到片上系統設備322的部件,例如介面或控制器。適於在行動計算裝置300中使用的實例使用者輸入部件可包括但不限於按鍵板324、觸控式螢幕326(諸如斜邊緣觸控式螢幕)、以及一或多個觸摸感測器327。一或多個觸摸感測器327可類似於參考圖1A-2描述的觸摸感測器102、104、106a、106b、108。
在各種實施例中,一或多個觸摸感測器327可連接到一或多個微控制器328,並且微控制器328可連接到通用處理器306。在各種實施例中,微控制器328可配置有微控制器可執行指令以執行決定在一或多個觸摸感測器327上是否發生接觸的操作。在各種實施例中,微控制器328可配置有微控制器可執行指令以執行決定接觸位置的操作。在各種實施例中,微控制器328可配置有微控制器可執行指令以執行將包括接觸參數資訊的接觸指示發送到通用處理器306的操作。在各種實施例中,通用處理器306可從微控制器328接收接觸指示。
圖4A是圖示根據各種實施例的管理按順序接收的多感測器輸入的方法400a的程序流程圖。參考圖1A–4A,方法400a可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。
在方塊402,行動計算裝置的處理器可接收與關於內容執行功能有關的輸入(例如,使用者輸入),該內容至少被分割成具有一或多個物件的第一命令層和具有一或多個物件的第二命令層。在一個實施例中,內容可以被分割為多個命令層,每一層具有一或多個可控物件。在各種實施例中,處理器可從行動計算裝置的一或多個觸摸感測器接收輸入。在一些實例中,該多個命令層之每一者命令層可與特定命令集相關聯,該特定命令集使得關於與該命令層相關聯的一或多個物件執行一或多個操作。
在判斷方塊404,處理器可判定所接收的輸入是關聯於第一命令層的第一物件還是關聯於第二命令層的第二物件。在一些實施例中,處理器可產生及/或決定輸入與第一物件、第一命令層、第二物件及/或第二命令層的一或多個關聯。在一些實施例中,可根據定義輸入和與每個命令層相關聯的命令或功能之間的關聯的一或多個關聯表中的一者或多者來執行該判定。在一些實施例中,每個輸入可根據各種輸入特性來定義,諸如從其接收到輸入的特定感測器、輸入的形狀、輸入的幅度(例如,力、大小、速度)或定義輸入的其他類似特性。在一些實施例中,可使用機器學習技術來執行該決定,該機器學習技術決定輸入的特性並將此類特性關聯到與命令層或命令層的物件相關聯的特定命令。在一些實施例中,下面描述的方法的組合可以用於決定所接收的輸入同命令層或與命令層相關聯的物件的關聯。
作為實例,行動設備的處理器可在行動計算裝置的觸摸感測器之一處接收輸入,並將該輸入關聯到要對在行動設備上處理及/或渲染的內容的特定部分(例如,第一層的文字、影像、視訊、音訊等)執行的功能。各種物件到各種命令層到各種觸摸感測器的關聯可使用執行擴展現實應用的行動計算裝置的實例來解釋,其中顯示器將應用產生的圖形渲染到由相機影像捕捉的影像顯示上(見圖5D)。在該實例中,行動計算裝置的處理器可在正面觸摸感測器102上接收用於操縱(例如,縮放、調暗、平搖等)所顯示的相機影像(例如,顯示在擴展現實頭戴式顯示器上)的使用者輸入,並且在背面觸摸感測器104上接收用於操縱(例如,調整大小、移動、旋轉等)增強現實影像或物件的使用者輸入。處理器可經由以下操作來處理此類使用者輸入:決定在正面觸摸感測器102處接收的輸入與控制相機影像顯示的第一命令層相關聯,並決定所接收的輸入(例如,觸摸手勢,諸如敲擊、滑掃等)關聯於與控制相機影像(例如,如圖5D所示的城市景觀)的第一命令層相關聯(亦即,由第一命令層執行)的功能。類似地,處理器可在背面觸摸感測器104上接收輸入,並決定在觸摸感測器104上接收的輸入關聯於控制由應用產生的增強現實影像或物件的第二命令層功能性。處理器可決定在背面觸摸感測器104上接收的輸入關聯於與第二命令層相關聯或由第二命令層控制的影像物件(例如,如圖5D所示的龍528的影像)。作為進一步實例,處理器可在另一觸摸感測器106a、106b或108上接收輸入,並決定此類輸入是關聯於第一命令層(真實影像)還是關聯於第二命令層(增強現實物件),並使用此類輸入來進一步控制相應的影像或視覺物件。替換地,處理器可決定在另一觸摸感測器106a、106b或108上接收的輸入關聯於由第三命令層控制的第三物件,諸如在所顯示的影像上呈現資訊氣球526,如圖5D所示。該擴展現實應用僅是各種實施例如何使得使用者能夠對具有如本文所述的多個觸摸感測器的行動計算裝置上的應用、物件和設備執行多維控制的一個實例。
回應於決定所接收的輸入關聯於第一命令層的第一物件(亦即,判斷方塊404 =「第一物件」),處理器可在方塊406決定要對第一物件執行的功能。在一些實施例中,處理器可根據定義輸入和與第一命令層相關聯的命令之間的關聯的一或多個關聯表(例如,命令層轉譯表600,在下面進一步描述)中的一者或多者來產生及/或決定要對(諸)物件及/或命令層執行的一或多個功能。在一些實例中,處理器可根據一或多個輸入特性來定義所接收的輸入,這些輸入特性諸如從其接收到輸入的特定感測器(例如,觸摸感測器102、104、106a、106b、108)、輸入的形狀、輸入的幅度(例如,力、大小、速度)、或定義輸入的另一類似特性。在一些實施例中,處理器可使用機器學習技術來決定輸入的特性並將此類特性關聯到與第一命令層相關聯的特定功能。
在方塊408,處理器可對第一物件執行所決定的功能。
回應於決定所接收的輸入關聯於第二命令層的第二物件(亦即,判斷方塊404 =「第二物件」),處理器可在方塊410決定要對第二物件執行的功能。在一些實施例中,處理器可根據定義輸入和與第二命令層相關聯的命令之間的關聯的一或多個關聯表來產生及/或決定要對(諸)物件及/或命令層執行的一或多個功能。在一些實施例中,處理器可根據一或多個輸入特性來定義所接收的輸入,這些輸入特性諸如從其接收到輸入的特定感測器(例如,觸摸感測器102、104、106a、106b、108)、輸入的形狀、輸入的幅度(例如,力、大小、速度)、或定義輸入的另一類似特性。在一些實施例中,處理器可使用機器學習技術來決定輸入的特性並將此類特性關聯到與第二命令層相關聯的特定功能。
在方塊412,處理器可對第二物件執行所決定的功能。
方法400的操作可被應用於在具有多個觸摸感測器的行動計算裝置上執行的廣泛的應用和實現。在以下段落中描述了此類應用和實現的一些非限制性實例。
在一些實施例中,處理器可從行動計算裝置的記憶體獲取命令層轉譯表,決定接收到輸入的觸摸感測器,並使用與所決定的觸摸感測器相關聯的命令層轉譯表來標識應該執行的功能。換句話說,處理器可基於所決定的觸摸感測器使用轉譯表來決定與所接收的使用者輸入和相關聯的命令層相關聯的功能,如下面參考圖6進一步描述的。
在一些實施例中,行動計算裝置的處理器可以將基本上佈置在行動計算裝置正面的一或多個觸摸感測器的第一組(例如,觸摸感測器102,其可包括一或多個感測器)映射到第一命令層,並且將基本上佈置在行動計算裝置背面的一或多個觸摸感測器的第二組(例如,觸摸感測器104,其可包括一或多個感測器)映射到第二命令層。在一些實施例中,處理器可以將基本上佈置在行動計算裝置側面的一或多個觸摸感測器的第三組(例如,觸摸感測器106a、106b、108,其各自可包括一或多個感測器)映射到第一命令層和第二命令層中的一者或多者。
在一些實施例中,第一命令層可包括由行動設備顯示的文字的第一文字層,而第二命令層可包括所顯示的文字的第二文字層,如下面參考圖5B所述。
在一些實施例中,第一命令層可包括由行動設備顯示的影像的第一影像層,而第二命令層可包括所顯示的影像的第二影像層。例如,第一命令層可包括由行動設備顯示的影像的前景層,而第二命令層可包括所顯示的影像的背景層,如下面參考圖5A所述。作為另一實例,第一命令層可包括由行動設備顯示的影像的第一維度,而第二命令層可包括所顯示的影像的第二維度,如下面參考圖5C所述。
在一些實施例中,第一命令層可包括由行動設備顯示的擴展現實影像中由處理器產生的數位物件影像層,而第二命令層可包括在所顯示的擴展現實影像中顯示的真實物件的真實影像層,如下面參考圖5D所述。
在一些實施例中,第一命令層可包括在行動設備上執行的第一應用,而第二命令層可包括在行動設備上執行的第二應用,如下面參考圖5E所描述的。
在一些實例中,與第一觸摸感測器(例如,正面感測器)相關聯的第一命令層可包括可被傳達給被配置成從行動計算裝置接收命令的第一設備的命令,而與第二觸摸感測器(例如,背面感測器)相關聯的第二命令層可包括可被傳達給被配置成從行動計算裝置接收命令的第二設備的命令,如下面參考圖5F所描述的。
圖4B是圖示根據各種實施例的管理按順序接收的多感測器輸入的方法400b的程序流程圖。參考圖1A-4B,方法400b可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。在方塊402-412,處理器可執行如參照圖4A所描述的方法400a的相似地編號的方塊的操作。
在方塊414,處理器可從行動計算裝置的記憶體獲取命令層轉譯表。在一些實施例中,處理器可從在行動計算裝置上執行的應用獲取一或多個轉譯表。在一些實施例中,處理器可從行動計算裝置的作業系統、從記憶體(例如,非揮發性記憶體)、或從行動計算裝置的不同於在行動計算裝置上執行的應用的另一軟體及/或硬體部件獲取一或多個轉譯表。在一些實施例中,轉譯表可以是靜態轉譯表。在一些實施例中,轉譯表可以是處理器可基於動態、即時或執行時資訊產生的動態轉譯表。例如,處理器可基於行動計算裝置的一或多個條件或狀態、在行動計算裝置上執行的應用、對與行動計算裝置通訊的一或多個其他設備(例如,視聽設備202、智慧恒溫器206、IoT安全攝像機208、IoT集線器設備210)的標識、以及其他合適的動態或即時資訊來產生動態轉譯表。作為另一實例,處理器可回應於使用者輸入來產生一或多個動態轉譯表,諸如在校準、訓練或配置常式中,其中使用者提供輸入或命令以使得處理器能夠將特定觸摸感測器及/或使用者輸入及/或應用與使用者選擇的命令層和功能性相關。命令層轉譯表的使用在下文進一步描述。
在方塊416,處理器可決定接收到輸入的觸摸感測器。例如,處理器可決定在觸摸感測器102、104、106a、106b、108和327之一處接收到輸入。
在判斷方塊404,處理器可部分地基於輸入的一或多個特性來判定所接收的輸入是關聯於第一命令層的第一物件還是關聯於第二命令層的第二物件。在一個實例中,方塊404的判定可以至少基於接收到輸入的觸摸感測器。在一個實例中,該判定可基於命令層轉譯表。隨後,處理器可執行如參考圖4A所述的方塊406-412中的操作。
圖4C圖示了根據各種實施例的管理對如圖1A和1B所示並且如前述的具有多個使用者輸入感測器的行動計算裝置上的使用者輸入的回應的方法400c。為便於引述,術語「多感測器控制」在本文中用於代表管理在行動計算裝置的一個以上觸摸感測器(例如,觸摸感測器102、104、106a、106b、108)處接收的使用者輸入,以使得使用者能夠經由用不同觸摸感測器上的觸摸手勢進行互動來控制不同設備(例如,顯示器、IoT設備等)、不同應用、及/或在行動計算裝置上處理的內容(例如,文字、影像、聲音等)的不同層或部分。各種實施例以觸摸感測器的形式進行論述,但是亦可以使用行動計算裝置的其他輸入感測器和其他輸入接收設備,諸如電源按鈕、音量按鈕或另一按鈕、開關、滑塊等。參考圖1A–4C,方法400c可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。
在判斷方塊418,行動計算裝置的處理器可判定是否接收到多感測器控制觸發。在各種實施例中,多感測器控制觸發可以是決定或命令,回應於此決定或命令,處理器可接收多感測器控制輸入並處理多感測器控制輸入。
回應於判定尚未接收到多感測器控制觸發(亦即,判斷方塊418 =「否」),處理器可在判斷方塊418繼續判定是否已接收到多感測器控制觸發。
回應於判定已接收到多感測器控制觸發(亦即,判斷方塊418 =「是」),處理器可在方塊420決定要從行動計算裝置的記憶體獲取的一或多個轉譯表(例如,下面參考圖6描述的轉譯表600)。在一些實施例中,處理器可從在行動計算裝置上執行的應用獲取一或多個轉譯表。在一些實施例中,處理器可從行動計算裝置的作業系統、從記憶體、或從行動計算裝置的不同於在行動計算裝置上執行的應用的另一軟體及/或硬體部件獲取一或多個轉譯表。
在方塊422,處理器可獲取所決定的一或多個轉譯表。
在方塊424,處理器可從行動計算裝置的一或多個觸摸感測器(例如,觸摸感測器102、104、106a、106b、108、327)接收輸入。
在方塊426,處理器可標識所接收的輸入。在一些實施例中,行動計算裝置的處理器可區分敲擊、按兩下、長按、滑掃或輕彈、拖動、包括複數個觸摸及/或壓力輸入的預定義手勢、抓握、釋放、懸停、其他接觸,或與觸摸感測器的併發互動、同時互動、或互動序列的任何組合。如本文所使用的,術語「敲擊」是指超過對表面的純觸摸的使用者觸摸,因為在正常使用和攜帶設備時很可能觸摸到行動計算裝置的側面和背面上的觸摸感測器。因此,「敲擊」可以是對觸摸表面的有力推動(亦即,強敲擊),其可以與對設備的無意觸摸或握持區分開。
在方塊428,處理器可決定接收到輸入的一或多個觸摸感測器。在一些實施例中,處理器可決定接收到輸入的觸摸感測器是否為正面感測器、背面感測器、側面感測器等。在一些實施例中,關於輸入的資訊還可包括對一或多個觸摸感測器的標識。在此類實施例中,方塊426和428的操作可以在單個操作中執行。在一些實施例中,與觸摸感測器相關聯的微控制器(例如,328)可以提供觸摸感測器的標識。在一些實施例中,處理器可基於該處理器籍以接收到關於輸入的資訊的引腳、埠或其他實體輸入端來決定接收到輸入的觸摸感測器。
在方塊430,處理器可使用所決定的一或多個轉譯表來決定與所標識的輸入和所決定的一或多個觸摸感測器相關聯的多感測器功能。
在方塊432,處理器可基於所決定的功能和所接收的輸入的一或多個輸入參數來產生命令。在一些實施例中,所產生的命令可以因計算設備上下文而異及/或因在行動計算裝置上執行的應用而異。在一些實施例中,所接收的輸入的一或多個輸入參數可包括對所接收的輸入的標識(例如,輸入的類型)。在一些實施例中,該一或多個輸入參數可包括程度,範圍,類型,幅度,寬度,長度,速度,方向,向量,速度、方向或向量的變化,輸入的數量,一或多個輸入的歷時,低於、超過及/或等於閾值(或兩個或更多個閾值)的值,以及前述各項的任何組合。
在方塊434,處理器可執行所產生的命令。在一些實施例中,執行所產生的命令可包括由處理器執行該命令以執行在行動計算裝置上執行的應用的與特定觸摸感測器相關聯的功能,如下面參考圖5E和17進一步描述的。在一些實施例中,執行所產生的命令可包括由處理器執行該命令以操作行動計算裝置的功能,如下面參考圖12進一步描述的。在一些實施例中,執行所產生的命令可包括將該命令發送、發佈或傳送到與該行動計算裝置通訊的另一設備(例如,IoT設備),其中用於第一設備(例如,IoT燈泡204)的第一命令被分割為第一命令層,而用於第二設備(例如,IoT恒溫器206)的第二命令被分割為第二命令層,如下面參考圖5F和18進一步描述的。
在判斷方塊436,處理器可判定是否停用多感測器控制。在一些實施例中,停用多感測器控制可包括將行動計算裝置置於其中處理器不接收多感測器控制輸入及/或不處理多感測器控制輸入的操作狀態。在一些實施例中,處理器可基於計時器、時鐘或另一基於時間的功能來判定是否停用多感測器控制,在該計時器、時鐘或另一基於時間的功能期滿時,處理器可停用多感測器控制。在一些實施例中,處理器可基於輸入,命令,應用的停用、應用進入或改變為後臺或閒置模式、行動計算裝置進入閒置狀態、低功率狀態、睡眠模式、或另一類似的操作狀態等來判定是否停用多感測器控制。
回應於判定不停用多感測器控制(亦即,判斷方塊436 =「否」),處理器可在方塊424從一或多個觸摸感測器接收另一輸入。
回應於判定要停用多感測器控制(亦即,判斷方塊436 =「是」),處理器可停用多感測器控制並在判斷方塊418等待接收另一多感測器控制觸發。
圖4D圖示了根據各種實施例的管理對如圖1A和1B所示的具有多個使用者輸入感測器的行動計算裝置上的使用者輸入的回應的方法400d。參考圖1A–4D,方法400d可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。各種實施例以觸摸感測器的形式進行論述,但是亦可以使用行動計算裝置的其他輸入感測器和其他輸入接收設備,諸如電源按鈕、音量按鈕或另一按鈕、開關、滑塊等。在方塊418-422、428和436,行動計算裝置的處理器可執行如所描述的方法400c的相似編號的方塊的操作。
在方塊440,處理器可從一或多個觸摸感測器(例如,觸摸感測器102、104、106a、106b、108、327)接收輸入。
在方塊442,處理器可判定所接收的輸入是關聯於第一命令層的第一物件還是關聯於第二命令層的第二物件。該判定可至少部分地基於所決定的接收到輸入的觸摸感測器(例如,觸摸感測器102、104、106a、106b、108)。在一些實施例中,處理器可根據定義輸入和與第一和第二物件及/或第一和第二命令層相關聯的命令之間的關聯的一或多個關聯表中的一者或多者來判定所接收的輸入是關聯於第一命令層的第一物件還是關聯於第二命令層的第二物件。在一些實例中,處理器可根據一或多個輸入特性來定義所接收的輸入,這些輸入特性諸如從其接收到輸入的特定感測器(例如,觸摸感測器102、104、106a、106b、108)、輸入的形狀、輸入的幅度(例如,力、大小、速度)、或定義輸入的另一類似特性。在一些實施例中,處理器可使用機器學習技術來決定輸入的特性並將此類特性關聯到與第一物件(或第一命令層)或第二物件(或第二命令層)相關聯的特定功能。
在方塊444,處理器可基於是第一命令層還是第二命令層被判定為關聯於所接收的輸入來決定要對第一或第二物件之一執行的功能。
在方塊446,處理器可對第一物件或第二物件執行所決定的功能。
圖5A-5F圖示了在行動計算裝置500上實現的各種實施例的實例。參考圖1A-5F,行動計算裝置500可包括行動計算裝置(例如,100、300)的硬體部件及/或軟體部件,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。各種實施例以觸摸感測器的形式進行論述,但是亦可以使用行動計算裝置的其他輸入感測器和其他輸入接收設備,諸如電源按鈕、音量按鈕或另一按鈕、開關、滑塊等。
參考圖5A,在一些實施例中,行動計算裝置500可顯示影像502,其可包括前景層和背景層,前景層包括在影像502的前景中的一或多個物件(例如,物件504),而背景層包括在影像502的背景中的一或多個物件(例如,物件506)。
在一些實施例中,行動計算裝置500的處理器可將影像502的物件分割為第一命令層和第二命令層。例如,處理器可將物件504分割為第一命令層,並且可將物件506分割為第二命令層。
在一些實施例中,行動計算裝置500的處理器可判定所接收的輸入是關聯於第一命令層還是關聯於第二命令層。例如,在觸摸感測器102處接收的輸入可以關聯於第一命令層,而在觸摸感測器104處接收的輸入可以關聯於第二命令層。在一些實施例中,處理器可決定要對影像502中在相關聯命令層中的物件執行的影像功能。例如,處理器可決定(例如,在觸摸感測器102處)所接收的輸入關聯於物件504已被分割為的第一命令層。處理器可基於所接收的輸入來決定要執行的影像功能,並且可以對影像502的前景層及/或物件504執行所決定的影像功能。作為另一實例,處理器可決定(例如,在觸摸感測器104處)所接收的輸入關聯於物件506已被分割為的第二命令層。處理器可基於所接收的輸入來決定要執行的影像功能,並且可以對影像504的背景層及/或物件506執行所決定的影像功能。
在一些實施例中,影像功能可包括物件的任何選擇、更改、變換或處理,包括改變物件的大小、尺寸、顏色、旋轉、聚焦、模糊、紋理、歪斜、拉伸、彎曲、扭曲、複製、粘貼、剪切或其他變換。
圖5B圖示了根據各種實施例的顯示具有第一文字層和第二文字層的文字的行動計算裝置500。行動計算裝置500可以顯示文字508。文字508可包括第一文字層510和第二文字層512。例如,第一文字層510可包括所顯示的詞、符號、影像、圖形等。作為另一實例,第二文字層512可包括非文字區域,其包括文字508的背景。
在一些實施例中,行動計算裝置500的處理器可將文字508分割為第一命令層和第二命令層。例如,處理器可將第一文字層510分割為第一命令層並將第二文字層512分割為第二命令層。
在一些實施例中,行動計算裝置100的處理器可判定所接收的輸入是關聯於第一命令層還是關聯於第二命令層。例如,在觸摸感測器102處接收的輸入可以關聯於第一命令層,而在觸摸感測器104處接收的輸入可以關聯於第二命令層。在一些實施例中,處理器可決定要對相關聯命令層中的文字248執行的文字功能。例如,處理器可決定(例如,在觸摸感測器102處)所接收的輸入關聯於文字層510已被分割為的第一命令層。處理器可基於所接收的輸入來決定要執行的文字功能,並且可以對第一文字層510及/或第一文字層510的元素(例如,對一或多個字母、詞、符號、段落、內嵌影像等)執行所決定的文字功能。作為另一實例,處理器可決定(例如,在觸摸感測器104處)所接收的輸入關聯於第二文字層512已被分割為的第二命令層。處理器可基於所接收的輸入來決定要執行的文字功能,並且可對第二文字層512執行所決定的文字功能。在一些實施例中,與第二文字層相關聯的功能可以是以下功能:更改或調節整個句子、段落、頁面或整個文件(例如、全域文件功能);背景顏色、紋理、圖案、形狀等;文件方向、大小、格式等;及通常與除文字輸入之外的文字功能相關聯的其他類似功能。
一些實施例使得使用者能夠基於接收到使用者輸入的特定觸摸感測器來控制物件(例如,516、518)在多個維度上、關於多個維度、或沿著多個維度的顯示。圖5C圖示了顯示影像514的行動計算裝置500,影像514包括三維物件516、518在沿X、Y和Z軸520的三個空間維度內的二維再現。然而,根據一些實施例可籍以控制所顯示物件的維度不限於空間維度,並且可包括用於任何其他視覺調整的維度或範圍。
在一些實施例中,行動計算裝置500的處理器可將所顯示影像514或影像內的物件(例如,516或518)分割為與第一觸摸感測器(例如,正面感測器102)相關聯的第一命令層以沿著/關於第一維度控制所顯示影像、以及與第二觸摸感測器(例如,背面感測器104)相關聯的第二命令層以用於沿著/關於第二維度控制所顯示影像。例如,處理器可以將在第一觸摸感測器上接收的使用者輸入處理為用於關於/沿著第一維度(例如,X維度)旋轉或平移物件(例如,516或518)的輸入,並且將在第二觸摸感測器上接收的使用者輸入處理為用於關於/沿著第二維度(例如,Y維度)旋轉或平移物件(例如,516或518)的輸入,以使得使用者能夠從不同方向及/或位置查看三維物件。在一些實施例中,行動計算裝置500的處理器可以進一步將影像514或影像內的物件(例如,516或518)分割成與第三觸摸感測器(例如,右側感測器116b)相關聯的第三命令層以用於沿著/關於第三維度控制所顯示的影像。例如,處理器可以將在第三觸摸感測器上接收的使用者輸入處理為用於關於/沿著第三維度(例如,Z維度)旋轉或平移物件(例如,516或518)的輸入。在一些實施例中,行動計算裝置500的處理器可以進一步將影像514或影像內的物件(例如,516或518)分割成與第四觸摸感測器(例如,左側感測器116a)相關聯的第四命令層以用於沿著/關於第四維度(諸如時間、顏色、透明度、聚焦、紋理等)控制所顯示的影像。例如,處理器可以將在第四觸摸感測器上接收的使用者輸入處理為用於沿時間維度改變物件(例如,516或518)的輸入,以使得使用者能夠查看物件隨時間的變化。作為另一實例,處理器可以將在第四觸摸感測器上接收的使用者輸入處理為用於沿光譜維度改變物件(例如,516或518)的顏色的輸入,以使得使用者能夠查看呈各種顏色的物件。在一些實施例中,行動計算裝置500的處理器可以進一步將影像514或影像內的物件(例如,516或518)分割成與其他觸摸感測器(諸如頂側感測器108)相關聯的其他維度。
在一些實施例中,行動計算裝置500的處理器可以從觸摸感測器接收輸入並決定相關聯的命令層(例如,第一、第二、第三等命令層),決定要對/沿著/關於與相關聯的命令層對應的維度執行的影像功能,並對影像執行所決定的功能。例如,處理器可決定(例如,在觸摸感測器102處)所接收的輸入關聯於影像物件(例如,516或518)的第一維度(例如,X維度)已被分割為的第一命令層。繼續該實例,處理器可基於所接收的輸入決定要關於第一維度對影像物件執行的影像功能是旋轉,且隨後經由關於/沿著X軸旋轉物件來對該物件執行所決定的影像功能。在一些實施例中,影像功能可包括在相關聯維度中、關於或沿著相關聯維度對影像的任何選擇、更改、變換或處理,包括物件的旋轉、平移、顏色改變、大小調整、聚焦、模糊、紋理、歪斜、拉伸、彎曲、扭曲、複製、粘貼、剪切或其他變換。
圖5D圖示了根據各種實施例的與顯示擴展現實影像的視聽設備通訊的行動計算裝置500。參考圖1A-5D,視聽設備202可以顯示影像522,影像522可包括包含真實物件和數位物件的擴展現實影像。在一些實施例中,視聽設備202可包括能夠提供資訊和影像的擴展現實(XR)顯示的可穿戴設備,其可包括虛擬實境(VR)、增強現實(AR)、混合現實(MR)、以及資訊及/或影像的其他類似呈現。
「擴展現實」是指一定範圍的數位輸出(可包括影像、文字、聲音、觸覺輸出、以及可用其他感官偵測到的輸出),其包括全數位輸出以及數位資訊與真實環境的整合。例如,視聽設備202可包括透明或半透明顯示器,其形成視聽設備202的表面,使用者可以經由該表面進行觀看。在一些實施例中經由視聽設備202的顯示器可見的真實環境的各態樣在本文中被稱為「真實物件」,諸如真實物件524。此外,視聽設備202的顯示器可以示出對使用者也可見的數位資訊。在視聽設備202的顯示器上顯示的數位資訊在本文被稱為「數位物件」,諸如數位物件526和528。數位物件可包括虛幻影像、文字、圖示、動畫和其他可顯示的數位資訊。
在一些實施例中,與視聽設備202通訊的行動計算裝置100的處理器可將影像522的物件分割為第一命令層和第二命令層。例如,處理器可將真實物件524分割為第一命令層,並將數位物件526和528分割為第二命令層。
在一些實施例中,行動計算裝置100的處理器可判定所接收的輸入是關聯於第一命令層還是關聯於第二命令層。例如,在第一觸摸感測器102處接收的輸入可以關聯於第一命令層,而在第二觸摸感測器104處接收的輸入可以關聯於第二命令層。在一些實施例中,處理器可決定要對影像522中在相關聯命令層中的物件執行的影像功能。例如,處理器可決定(例如,在觸摸感測器102處)所接收的輸入關聯於真實物件524已被分割為的第一命令層。處理器可基於所接收的輸入來決定要執行的擴展現實影像功能,並對真實物件524執行所決定的擴展現實影像功能。作為另一實例,處理器可決定(例如,在觸摸感測器104處)所接收的輸入關聯於數位物件526和528已被分割為的第二命令層。處理器可基於所接收的輸入來決定要執行的擴展現實影像功能,並對數位物件526及/或528執行所決定的擴展現實影像功能。
圖5E圖示了根據各種實施例的被配置成控制在行動計算裝置上執行的複數個應用的行動計算裝置500。參考圖1A-5E,行動計算裝置500的處理器可被配置成與各自在行動計算裝置500上執行的第一應用530和第二應用532通訊及/或對其進行控制(例如,向其發送資訊,從其接收資訊及/或向其發送命令)。
在各種實施例中,行動計算裝置500可以在行動計算裝置500的一或多個觸摸感測器(例如,觸摸感測器102、104、106a、106b、108、327中的任一者)處接收輸入。在一些實施例中,第一應用530和第二應用532的功能可以被分割為不同的命令層。例如,第一命令層可以與第一應用530的功能相關聯,而第二命令層可以與第二應用532的功能相關聯。
在一些實施例中,行動計算裝置500的處理器可判定所接收的輸入是關聯於第一命令層還是關聯於第二命令層。例如,在第一觸摸感測器102處接收的輸入可以關聯於第一命令層。作為另一實例,在第二觸摸感測器104處接收的輸入可以關聯於第二命令層。在一些實施例中,處理器可決定要對與相關聯命令層相關聯的應用執行的功能。例如,處理器可決定(例如,在觸摸感測器102處)所接收的輸入關聯於第一應用功能已被分割為的第一命令層。處理器可基於所接收的輸入來決定要執行的第一應用功能,並且可以執行所決定的第一應用功能。例如,處理器可以向第一應用530發送資訊、指令、命令等。作為另一實例,處理器可決定(例如,在觸摸感測器104處)所接收的輸入關聯於第二應用功能已被分割為的第二命令層。處理器可基於所接收的輸入來決定要執行的第二應用功能,並且執行所決定的第二應用功能。例如,處理器可以向第二應用532發送資訊、指令、命令等。
圖5F圖示了根據各種實施例的被配置成與多個設備通訊及/或控制複數個設備的行動計算裝置500。參考圖1A-5F,行動計算裝置100的處理器可被配置成與各種設備(諸如視聽設備202和IoT設備204-210)通訊及/或對其進行控制(例如,向其發送資訊,從其接收資訊及/或向其發送命令)。在圖5F中圖示了智慧照明系統204和智慧恒溫器206僅作為行動通訊設備100可以配置成與之通訊的設備的兩個實例。
在一些實施例中,其他設備(例如,智慧照明系統204和智慧恒溫器206)的功能可以被分割為不同的命令層。例如,第一命令層可以與智慧照明系統204的功能相關聯,而第二命令層可以與智慧恒溫器206的功能相關聯。在各種實施例中,其他設備(例如,視聽設備202、智慧恒溫器206、IoT安全攝像機208和IoT集線器設備210)的功能可以被分割為其他命令層。
在一些實施例中,行動計算裝置100的處理器可判定所接收的輸入是關聯於第一命令層還是關聯於第二命令層。例如,在第一觸摸感測器102處接收的輸入可以關聯於第一命令層。作為另一實例,在第二觸摸感測器104處接收的輸入可以關聯於第二命令層。在一些實施例中,處理器可決定要對與相關聯命令層相關聯的設備執行的功能。例如,處理器可決定(例如,在觸摸感測器102處)所接收的輸入關聯於智慧照明系統命令已被分割為的第一命令層。處理器可基於所接收的輸入來決定要執行的智慧照明系統功能,並且執行所決定的智慧照明系統功能。例如,處理器可以向智慧照明系統204發送資訊,從智慧照明系統204接收資訊,及/或向智慧照明系統204發送指令。作為另一實例,處理器可決定(例如,在觸摸感測器104處)所接收的輸入關聯於智慧恒溫器命令已被分割為的第二命令層。處理器可基於所接收的輸入來決定要執行的智慧恒溫器功能,並且執行所決定的智慧恒溫器功能。例如,處理器可以向智慧恒溫器206發送資訊,從智慧恒溫器206接收資訊,及/或向智慧恒溫器206發送指令。類似地,其他各種設備和系統的功能可以被分割為不同的命令層。
圖6圖示了適於實現各種實施例的實例多感測器輸入轉譯表600。為便於引述,術語「多感測器輸入」在本文中用於代表在行動計算裝置的一個以上觸摸感測器(例如,觸摸感測器102、104、106a、106b、108)處接收的使用者輸入,以使得使用者能夠經由用不同觸摸感測器上的觸摸手勢進行互動來控制不同設備(例如,顯示器、IoT設備等)、不同應用、及/或在行動計算裝置上處理的內容(例如,文字、影像、聲音等)的不同層或部分。各種實施例以觸摸感測器的形式進行論述,但是亦可以使用行動計算裝置的其他輸入感測器和其他輸入接收設備,諸如電源按鈕、音量按鈕或另一按鈕、開關、滑塊等。提供圖6僅作為任何數量的資料結構的一個實例,這些資料結構可用於取決於計算設備狀態及/或執行應用將來自正面、背面、側面、頂部及/或底部感測器的感測器輸入的各種組合與特定動作或功能性相關聯。此外,其他形式的取決於設備狀態和執行應用將感測器輸入的各種組合與特定功能性相關聯可被用於實現各種實施例,諸如以軟體、硬體或軟體和硬體的組合實現的級聯決策樹。因此,轉譯表600意欲作為各種實施例的資料結構類型實現的非限制性實例。在一些實施例中,該資料結構可以由行動計算裝置的處理器(例如,通用處理器306等)產生。在一些實施例中,可使用機器學習技術產生該資料結構。
在使用轉譯表實現的實施例中,多感測器輸入轉譯表600可包括多種類型的資料,包括任何數量或組合的感測器輸入、設備參數、應用及/或動作。在圖6所圖示的實例中,多感測器輸入轉譯表600包括對應於資料類型的數列602、604、606、608、610、612、614、616、618。實例資料列包括:對應於列602的感測器1輸入;對應於列604的感測器2輸入;對應於列606的感測器N輸入;對應於列608的設備參數1;對應於列610的設備參數N;對應於列612的應用1;對應於列614的應用N;對應於列616的動作1;及對應於列618的動作N。多感測器輸入轉譯表600可被配置成關聯各種資料類型的資料,包括來自列602、604、606的至少一個感測器輸入和來自列616、618的至少一個動作。各種資料類型的資料之間的關係可在多感測器輸入轉譯表600中經由行620、622、624、626、628、630表示。
多感測器輸入轉譯表600可包括感測器輸入資料類型的資料,其可被稱為感測器輸入資料。感測器輸入資料可表示與數個觸摸感測器(例如,圖1A-3中的觸摸感測器102、104、106a、106b、108、327)的互動。可由各種觸摸感測器辨識的感測器互動的非限制性實例包括抓握、敲擊、按壓、滑掃、手勢、釋放、或懸停,以及與觸摸感測器的併發互動、同時互動或互動序列的任何組合。感測器輸入資料可表示與觸摸感測器的互動的性質,諸如與觸摸感測器的互動的位置、區域、歷時、方向、速度、壓力、數量、頻率或序列。
多感測器輸入轉譯表600中對應於感測器輸入資料類型的每一列602、604、606可與觸摸感測器相關聯。對應於感測器輸入資料類型的列602、604、606的數量可取決於觸摸感測器的數量,最高達N個觸摸感測器。例如,列602可對應於行動計算裝置100背面的觸摸感測器,列604可對應於行動計算裝置100正面的觸摸感測器,而列606可對應於行動計算裝置100的任何數量的側面的任何數量的觸摸感測器。在一些實施例中,不同的列可用於行動計算裝置100的每一側上的觸摸感測器(例如,感測器106a、106b)。
多感測器輸入轉譯表600可包括設備參數資料類型的資料,其可被稱為設備參數資料。設備參數資料可表示除了與觸摸感測器的互動之外的任何數量和組合的行動計算裝置參數。例如,設備參數資料可包括來自行動計算裝置的其他感測器的讀數或信號,諸如光感測器、加速計、陀螺儀、溫度感測器、電壓及/或電流感測器、紅外感測器等。設備參數資料可包括行動計算裝置的位置資料,諸如全球定位系統(GPS)資料。設備參數資料可包括行動計算裝置的有線或無線連接資料(諸如蜂巢、Wi-Fi、藍芽、近場通訊(NFC)等)、或有線周邊設備連接資料,包括該行動計算裝置所連接到的設備的連接狀態或標識。設備參數資料可包括行動計算裝置狀態資料,諸如行動計算裝置的功率狀態(例如,全功率、低功率、充電、具體的電池充電或功率位準等)或活動狀態(例如,活動、睡眠、休眠等)。對應於設備參數資料類型的每一列608、610可與設備參數資料相關聯。對應於設備參數資料類型的列608、610的數量可取決於設備參數資料的數量,最高達N個設備參數資料。設備參數資料的數量可取決於與多感測器輸入轉譯表600的行620、622、624、626、628、630中的感測器輸入資料組合相關聯的設備參數資料的數量。
多感測器輸入轉譯表600可包括應用資料類型的資料,其可被稱為應用資料。應用資料可表示對行動計算裝置上任何數量和組合的應用的標識。行動計算裝置上的應用可包括作業系統(OS)使用者介面(UI)、集成到作業系統中以實現行動計算裝置的本機功能的應用、或由作業系統開發者或行動計算裝置製造商、分銷商、銷售商或使用者載入到行動計算裝置的應用。作為實例,應用可包括:電話應用、相機或視訊應用、照片庫應用、影像編輯應用、媒體播放機應用、文字處理應用、日曆應用、地圖應用、顯示器控制應用、訊息接發應用、電子郵件應用、遊戲應用、家庭助理應用(諸如Google Home、Amazon Echo、Apple HomePod)、web瀏覽器應用、時鐘應用、鍵盤、警報管理器應用、行動計算裝置簡檔管理器應用、隱私應用、應用啟動器或切換器等。對應於設備參數資料類型的每一列608、610可與設備參數資料相關聯。對應於應用資料類型的列612、614的數量可取決於應用資料的數量,最高達N個應用資料。應用資料的數量可取決於與多感測器輸入轉譯表600的行620、622、624、626、628、630中的感測器輸入資料組合相關聯的應用資料的數量。
多感測器輸入轉譯表600可包括動作資料類型的資料,其可被稱為動作資料。動作資料可表示回應於感測器輸入資料、設備參數資料或應用資料的組合的任何組合在行動計算裝置上實現的任何數量和組合的動作。動作資料可包括用於在行動計算裝置上實現動作的代碼或針對該代碼的觸發值、辨識符、或引用。動作可包括行動計算裝置上的作業系統或應用的任何數量或組合的功能。作為實例,動作可包括:拍照;開始、停止或暫停錄製視訊或聲音;改變影像或視訊的背景影像;調節不同焦距的影像或視訊的焦點;調節影像或視訊的背景模糊程度或其他分割效果;調節影像或視訊的臉部美化效果;在前後攝像頭之間切換;調節可疊加在影像、視訊或地圖上的擴展現實(XR)特徵;調節顯示器上的其他XR內容,諸如增加影像、視訊或地圖中圖形的亮度;在影像、視訊或地圖中感興趣的人或物體上放置邊界框;在影像、視訊或地圖中的幾個人或物體之間移動選擇;選擇在影像、視訊或地圖中的目標上顯示額外資訊;顯示具有關於靶心圖表像、視訊或地圖的資訊的圖形框;放大/縮小影像、視訊或地圖;放大地圖中的特定錨點;在影像庫或視訊庫中顯示縮略圖影像網格;突出顯示影像或在影像庫、視訊庫或音訊庫中進行錄製;預覽影像庫、視訊庫、音訊庫、訊息收件箱、電子郵件收件箱、連絡人列表或約會日曆中的項目;或者在影像庫、視訊錄製庫或視訊庫、錄音庫或音訊庫、訊息收件箱、電子郵件收件箱、連絡人列表、約會日曆中或之間前後移動。動作的進一步實例包括:關閉鈴聲;切換靜音或振動模式;增大或減小鈴聲音量;禁用或啟用警報燈,打開或關閉螢幕;增大或減小螢幕亮度;讀出當前時間;或輪換行動計算裝置的模式,諸如將行動計算裝置置於隱私模式,其中所顯示的內容被過濾以適合其他人(例如,僅某些類型的圖片可能出現在圖庫中,某些文字可能不會出現,某些應用可能不會出現,等等)。動作的進一步實例包括:應答、保持、返回或終止電話或網際網路協定語音(VOIP)撥叫;將電話或VOIP撥叫靜音或取消靜音;或增大或減小電話或VOIP撥叫的音量。動作的進一步實例包括滑鼠類型動作,諸如:放置游標、調節遊標位置、觸發文字選擇、複製或粘貼;滾動;或右鍵點擊類型操作,諸如在應用內打開更深層的特徵/動作、觸發功能表。動作的進一步實例包括經由切換或選擇不同鍵盤來改變鍵盤(例如,從文字鍵盤到標點符號或表情符號鍵盤);或者校正使用者的文字輸入偏移(亦即,目標鍵和實際觸摸位置之間的差異)。動作的進一步實例包括:自動啟動應用;調出應用切換器;切換到堆疊中的前一個或下一個應用;切換回當前應用;滾動應用切換器;使後臺應用向前;將應用發送到後臺;控制後臺應用;或顯示主螢幕。動作的進一步實例包括提示特殊介面以進行單手觸摸。動作的進一步實例包括將行動計算裝置轉換為家庭助理(諸如,Google Home、Amazon Echo、Apple HomePod)。動作的進一步實例包括將行動計算裝置移動到準備狀態以將感測器輸入資料或設備參數資料解讀為不同的命令。動作的進一步實例包括控制與所連接的計算設備的互動,諸如顯示或隱藏、移動(等等)擴展現實內容。動作的進一步實例包括增加或減小觸摸感測器的靈敏度。對應於設備參數資料類型的每一列608、610可與設備參數資料相關聯。對應於動作資料類型的列616、618的數量可取決於動作資料的數量,最高達N個動作資料。動作資料的數量可取決於與多感測器輸入轉譯表600的行620、622、624、626、628、630中的感測器輸入資料組合相關聯的應用資料或設備參數資料的數量。
多感測器輸入轉譯表600的行620、622、624、626、628、630可關聯各列602、606、606、608、610、612、614、616、618的數據。處理器(例如,圖2的通用處理器206)可存取多感測器輸入轉譯表600中的行620、622、624、626、628、630,該行在列602、604、606的組合中具有與行動計算裝置經由觸摸感測器組合接收的感測器輸入資料相對應的感測輸入資料的組合。處理器可基於行620、622、624、626、628、630的列608、610、612、614、616、628的任何組合中的設備參數資料、應用資料或動作資料的任何組合來從行620、622、624、626、628、630的列616、618中的動作資料決定要執行的動作。
在一些實施例中,與多感測器輸入轉譯表600的行620、622、624、626、628、630中的感測器輸入資料組合相關聯的應用資料可添加額外列612、614或者被覆蓋。例如,執行應用可回應於感測器輸入資料組合而與動作相關聯。可經由添加列612、614來將執行應用的應用資料添加到多感測器輸入轉譯表600中具有感測器輸入資料組合的行620、622、624、626、628、630。在另一實例中,執行應用可回應於針對其他應用的感測器輸入資料組合而搶佔動作,並且多感測器輸入轉譯表600的行620、622、624、626、628、630中的感測器輸入資料組合可與該執行應用相關聯;並經由用該執行應用的應用資料覆蓋另一應用的應用資料來解除與該另一應用的關聯。
在一些實施例中,與多感測器輸入轉譯表600的行620、622、624、626、628、630中的感測器輸入資料組合相關聯的設備參數資料或動作資料可用額外列608、610、616、618來擴展或基於行620、622、624、626、628、630中的應用資料而被覆蓋。類似於應用資料添加實例,設備參數資料或相關聯的動作資料可與多感測器輸入轉譯表600的行620、622、624、626、628、630中的感測器輸入資料和應用資料的組合相關聯。可經由添加列608、610、616、618來將與執行應用相關聯的設備參數資料或動作資料添加到多感測器輸入轉譯表600中具有感測器輸入資料和應用資料的組合的行620、622、624、626、628、630。在執行應用搶佔針對其他應用的動作的實施例中,針對執行應用的設備參數資料或動作資料可與行620、622、624、626、628、630中的感測器輸入資料和執行應用資料的組合相關聯;並且經由用執行應用的設備參數資料或動作資料來覆蓋該其他應用的設備參數資料或動作資料,該其他應用的設備參數資料或動作資料可與行620、622、624、626、628、630中的感測器輸入資料和執行應用資料的組合解除關聯。
在各種實施例中,經由添加將感測器輸入資料組合與新的應用資料、設備參數資料或動作資料相關聯的新行,與已經包含應用資料、設備參數資料或動作資料的行620、622、624、626、628、630中的感測器輸入資料組合相關聯的新的應用資料、設備參數資料或動作資料可被添加到多感測器輸入轉譯表600。在一些實施例中,可針對來自觸摸感測器組合的各種輸入、設備參數集、應用或動作集實現多個多感測器輸入轉譯表600。在一些實施例中,處理器可將多感測器輸入轉譯表600儲存在行動計算裝置的記憶體(例如,圖3的記憶體314)上、將多感測器輸入轉譯表600載入到該記憶體、或從該記憶體存取多感測器輸入轉譯表600,此類記憶體包括非揮發性儲存記憶體、揮發性主記憶體(諸如隨機存取記憶體(RAM))及/或揮發性快取緩衝記憶體。
圖7圖示了根據各種實施例的管理按順序接收的多感測器輸入的方法700。參考圖1A-7,方法700可在行動計算裝置(例如,圖1A-3中的100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器206)控制。為了涵蓋在各種實施例中實現的替換配置,實現方法700的硬體在本文中被稱為「處理設備」。
在方塊702,處理設備可從第一觸摸感測器(例如,圖1A-3中的觸摸感測器102、104、106a、106b、108、327)接收第一輸入。在一些實施例中,使用者可與行動計算裝置的具有觸摸感測器的表面或區域(例如,圖1A和1B中的正面區域112、背面區域114、側面116a、116b和頂部區域118)互動。與觸摸感測器的使用者互動可觸發與觸摸感測器相關聯的處理設備或微控制器(例如,圖3中的微控制器328)的回應。該回應可包括被配置成指示與觸摸感測器的互動的性質的信號或資料,諸如與觸摸感測器的互動的位置、區域、歷時、方向、速度、壓力、數量、頻率或序列。在一些實施例中,處理設備可被配置成從與觸摸感測器的互動的其他性質中推導出與觸摸感測器的互動的一些此類性質,如本文中參考圖8中的方法800進一步描述的。處理設備可接收被配置成指示與觸摸感測器的互動的性質的信號或資料。
在判斷方塊704中,處理設備可判定來自第一觸摸感測器的第一輸入是否是多感測器輸入的潛在部分。在一些實施例中,多感測器輸入可以是與第一觸摸感測器的使用者互動和與第二觸摸感測器的使用者互動的組合。與第一觸摸感測器的使用者互動和與第二觸摸感測器的使用者互動的特定組合可經由與對多感測器輸入的多感測器輸入回應相關聯來定義多感測器輸入。在一些實施例中,對多感測器輸入的定義可在行動計算裝置上被儲存在行動計算裝置的記憶體(例如,圖3的記憶體314)中。例如,對多感測器輸入的定義可被儲存在多感測器輸入資料結構(例如,圖6的多感測器輸入轉譯表600)中,該多感測器輸入資料結構被配置成將與第一觸摸感測器的使用者互動和與第二觸摸感測器的使用者互動的組合跟多感測器輸入回應相關聯。為了決定第一輸入是否是多感測器輸入的潛在部分,處理設備可將第一輸入與多感測器輸入資料結構中與第一觸摸感測器相關聯的資料(例如,圖6的列602、604、606中的感測器資料)進行比較。有可能第一輸入可被決定為任何數量的多感測器輸入的一部分,但是來自第二觸摸感測器的後續第二輸入可能不適合與第一輸入相組合的多感測器輸入的定義。因此,可能第一輸入被決定為多感測器輸入的潛在部分,因為可能不決定多感測器輸入的第二輸入將跟隨在第一輸入後面。在此類情況下,第一輸入可能不會與第二輸入相組合以觸發多感測器輸入回應,這裡參考方塊712進一步描述。
回應於判定來自第一觸摸感測器的第一輸入不是多感測器輸入的潛在部分(亦即,判斷方塊704=「否」),處理設備可在方塊712決定第一輸入是單感測器輸入。處理設備可在判斷方塊704中不在多感測器輸入的定義中標識第一輸入。由此,可能完全不需要繼續判定來自第二觸摸感測器的相繼第二輸入結合第一輸入是否組合構成多感測器輸入。因此,處理設備可將第一輸入分類為單感測器輸入,並且終止經由在方塊702從第一觸摸感測器接收第一輸入而觸發的方法700的實例。
回應於判定來自第一觸摸感測器的第一輸入是多感測器輸入的潛在部分(亦即,判斷方塊704=「是」),處理設備可在方塊708等待來自第二觸摸感測器的第二輸入。在一些實施例中,多感測器輸入可以是在多感測器輸入序列歷時內與第一觸摸感測器的第一使用者互動和與第二觸摸感測器的第二使用者互動按順序的組合。多感測器輸入序列歷時可表示從接收第一輸入起的指定時段(諸如時間、電晶體觸發等),處理設備可在此期間接收第二輸入。處理設備可在回應第一輸入之前等待多感測器輸入序列歷時以允許使用者有機會與第二觸摸感測器互動以作為第一和第二觸摸感測器上的輸入序列來實現多感測器輸入。
在判斷方塊710,處理設備可判定來自第二觸摸感測器的第二輸入是否是在多感測器輸入序列歷時期間接收到的。在一些實施例中,處理設備可在多感測器輸入序列歷時期間接收第二輸入,而在一些實施例中,多感測器輸入序列歷時可在處理設備接收第二輸入之前期滿。
回應於判定來自第二觸摸感測器的第二輸入不是在多感測器輸入序列歷時期間接收到的(亦即,判斷方塊710=「否」),處理設備可在方塊712決定第一輸入是單感測器輸入,如本文所描述的。
在一些實施例中,處理設備可在方塊702接收到來自第一電容輸入裝置的第一輸入之後且在判斷方塊710判定來自第二觸摸感測器的第二輸入不是在多感測器輸入序列歷時期間被接收到之前的任何時間在方塊706接收來自第二電容輸入裝置的第二輸入。在一些實施例中,處理設備可並行地執行方法700的多個實例,並且在方法700的其他實例中在方塊706接收的第二輸入可以是在方塊702接收的第一實例。
在方塊706從第二電容輸入裝置接收第二輸入之後並且回應於判定來自第二觸摸感測器的第二輸入是在多感測器輸入序列歷時期間接收到的(亦即,判斷方塊710=「是」),處理設備可判定來自第一觸摸感測器的第一輸入和來自第二觸摸感測器的第二輸入是否組合成為多感測器輸入。類似於在判斷方塊704中判定第一輸入是否是多感測器輸入的潛在部分,處理設備可使用多感測器輸入資料結構以判定第二輸入是否與第一輸入組合成為多感測器輸入,該多感測器輸入資料結構被配置成將與第一觸摸感測器和第二觸摸感測器的使用者互動的組合跟多感測器輸入回應相關聯。在一些實施例中,處理設備可將第二輸入與多感測器輸入資料結構中的資料(例如,圖6的列602、604、606中的感測器資料)進行比較以判定第二輸入是否匹配多感測器輸入資料結構的任何條目,並且將這些條目與在判斷方塊704標識的與第一輸入匹配的條目進行比較。在一些實施例中,處理設備可將第二輸入與多感測器輸入資料結構中在判斷方塊704標識的與第一輸入匹配的條目中的資料進行比較。第一輸入和第二輸入的匹配條目或在第一輸入的條目中匹配第二輸入的資料可指示第一輸入和第二輸入定義了多感測器輸入資料結構中的多感測器輸入。第一輸入和第二輸入沒有匹配條目或在第一輸入的條目中不匹配第二輸入的資料可指示第一輸入和第二輸入沒有定義多感測器輸入資料結構中的多感測器輸入。
回應於判定來自第一觸摸感測器的第一輸入和來自第二觸摸感測器的第二輸入未組合成為多感測器輸入(亦即,判斷方塊714=「否」),處理設備可在方塊716決定第一輸入和第二輸入是單感測器輸入。類似於在方塊712決定第一輸入是單感測器輸入,處理設備可能不在判斷方塊714在多感測器輸入的定義中標識第一輸入和第二輸入的組合。這樣,可能完全不需要針對第一輸入和第二輸入的組合繼續實現方法700。因此,處理設備可將第一輸入和第二輸入分類為單感測器輸入,並且終止經由在方塊702中從第一觸摸感測器接收第一輸入而觸發的方法700的實例。
回應於判定來自第一觸摸感測器的第一輸入和來自第二觸摸感測器的第二輸入確實組合成為多感測器輸入(亦即,判斷方塊714=「是」),處理設備可在方塊718執行多感測器輸入回應。如本文所述,多感測器輸入資料結構可將多感測器輸入與多感測器輸入回應相關聯。處理設備可執行來自多感測器輸入資料結構的多感測器輸入回應的代碼(例如,圖6中的列616、618中的動作資料),或者引用多感測器輸入資料結構(例如,圖6中的列616、618中的動作資料)。
圖8圖示了根據各種實施例的管理多感測器輸入以獨立地控制或操縱單獨的物件、元素或層的方法800。參考圖1A-8,方法800可在行動計算裝置(例如,圖1A-3中的100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。為了涵蓋在各種實施例中實現的替換配置,實現方法800的硬體在本文中被稱為「處理設備」。
在一些實施例中,方塊716和718可以按與參考圖7中的方法700針對方塊716和718所描述的類似的方式實現。
在方塊802,處理設備可接收來自第一觸摸感測器(例如,圖1A-3中的觸摸感測器102、104、106a、106b、108、327)的第一輸入以及來自第二觸摸感測器(例如,圖1A-3中的觸摸感測器102、104、106a、106b、108、327)的第二輸入。在一些實施例中,使用者可與行動計算裝置的具有觸摸感測器的多個表面或區域(例如,圖1A和1B中的正面區域112、背面區域114、側面116a、116b和頂部區域118)互動。與觸摸感測器的使用者互動可觸發與這些觸摸感測器相關聯的處理設備或微控制器(例如,圖3中的微控制器328)的回應。這些回應可包括被配置成指示與觸摸感測器的互動的性質的信號或資料,諸如與觸摸感測器的互動的位置、區域、歷時、方向、速度、壓力、數量、頻率或序列。在一些實施例中,處理設備可被配置成從與觸摸感測器的互動的其他性質中推導出與這些觸摸感測器的互動的一些此類性質,如本文中參考圖7中的方法700進一步描述的。處理設備可接收被配置成指示與觸摸感測器的互動的性質的信號或資料。在一些實施例中,與各觸摸感測器的使用者互動可同時或併發地發生(例如,兩個或更多個互動在重疊的時間發生)。類似地,處理設備可在不同時間、併發地、或在重疊的時間接收第一輸入和第二輸入。
在判斷方塊804中,處理設備可判定來自第一觸摸感測器的第一輸入和來自第二觸摸感測器的第二輸入是否組合成為多感測器輸入。在一些實施例中,多感測器輸入可以是與第一觸摸感測器的使用者互動和與第二觸摸感測器的使用者互動的組合。與第一觸摸感測器的使用者互動和與第二觸摸感測器的使用者互動的特定組合可經由與對多感測器輸入的多感測器輸入回應相關聯來定義多感測器輸入。在一些實施例中,對多感測器輸入的定義可在行動計算裝置上被儲存在行動計算裝置的記憶體(例如,圖3的記憶體314)中。例如,對多感測器輸入的定義可被儲存在多感測器輸入資料結構(例如,圖6的多感測器輸入轉譯表600)中,該多感測器輸入資料結構被配置成將與第一觸摸感測器的使用者互動和與第二觸摸感測器的使用者互動的組合跟多感測器輸入回應相關聯。為了判定第一輸入和第二輸入是否組合成為多感測器輸入,處理設備可將第一輸入與多感測器輸入資料結構中與第一觸摸感測器相關聯的資料(例如,圖6的列602、604、606中的感測器資料)進行比較並且將第二輸入與多感測器輸入資料結構中與第二觸摸感測器相關聯的資料(例如,圖6的列602、604、606中的感測器資料)進行比較。在一些實施例中,處理設備可將第一輸入和第二輸入與多感測器輸入資料結構中的資料進行比較,以判定第一輸入和第二輸入是否匹配多感測器輸入資料結構的任何條目,並將第一輸入的條目和第二輸入的條目彼此進行比較以發現匹配的條目。在一些實施例中,處理設備可將第二輸入與多感測器輸入資料結構中與第一輸入匹配的條目中的資料進行比較。第一輸入和第二輸入的匹配條目或在第一輸入的條目中匹配第二輸入的資料可指示第一輸入和第二輸入定義了多感測器輸入資料結構中的多感測器輸入。有可能第一輸入及/或第二輸入可被標識為任何數量的多感測器輸入的一部分,但是組合起來並不對應相同定義的多感測器輸入。第一輸入和第二輸入沒有匹配條目或在第一輸入的條目中不匹配第二輸入的資料可指示第一輸入和第二輸入沒有定義多感測器輸入資料結構中的多感測器輸入。
回應於判定來自第一觸摸感測器的第一輸入和來自第二觸摸感測器的第二輸入未組合成為多感測器輸入(亦即,判斷方塊804=「否」),處理設備可在方塊716決定第一輸入和第二輸入是單感測器輸入。
回應於判定來自第一觸摸感測器的第一輸入和來自第二觸摸感測器的第二輸入確實組合成為多感測器輸入(亦即,判斷方塊804=「是」),處理設備可在方塊718執行多感測器輸入回應。
圖9圖示了根據各種實施例的判定所接收的輸入是否是多感測器輸入的方法900。參考圖1A-9,方法900可在行動計算裝置(例如,圖1A-3中的100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。為了涵蓋在各種實施例中實現的替換配置,實現方法900的硬體在本文中被稱為「處理設備」。
在方塊902,處理設備可分析從觸摸感測器(例如,圖1A-3中的觸摸感測器102、104、106a、106b、108、327)接收的輸入。所接收的輸入可以是從第一觸摸感測器接收的第一輸入和從第二觸摸感測器接收的第二輸入中的任何一者,如本文參考圖7和8中的方法700、800的方塊702、706和802所描述的。所接收的輸入實際上可包括多個收到輸入,這些收到輸入組合構成與觸摸感測器的單個使用者互動。如本文所述,所接收的輸入可包括被配置成指示與觸摸感測器的互動的性質的信號或資料,諸如與觸摸感測器的互動的位置、區域、歷時、方向、速度、壓力、數量、頻率或序列。處理設備可從收到輸入中標識由收到輸入指示的任何品質。處理設備亦可根據收到輸入的所標識性質來推導出收到輸入的性質。例如,收到輸入的所標識性質可僅包括與觸摸感測器的使用者互動的位置,其可指示觸摸感測器陣列中的觸摸感測器或觸摸感測器上的位置。多個位置可被包括在收到輸入中。處理設備可決定收到輸入的位置關於時間的變化。根據收到輸入的位置關於時間的變化,處理設備可決定收到輸入的性質。以下是多個非窮舉或限制性實例。處理設備可基於記錄位置的時間來決定收到輸入的歷時。處理設備可基於位置變化來決定收到輸入的方向。處理設備可基於位置關於時間的變化來決定收到輸入的速度。處理設備可基於所記錄的位置來決定由收到輸入覆蓋的區域。處理設備可基於參考時間記錄的位置模式來決定收到輸入的位置處的壓力。處理設備可基於所記錄的位置模式和缺少所記錄的位置來決定與收到輸入的觸摸感測器的數個互動。處理設備可基於參考時間記錄的位置模式和缺少所記錄的位置來決定與收到輸入的觸摸感測器的互動的頻率。處理設備可基於參考時間記錄的位置模式和缺少所記錄的位置以及其他所接收的或推導出的性質來決定與收到輸入的觸摸感測器的互動的序列。可使用各種技術、演算法或啟發法來推導出收到輸入的性質。
在方塊904,處理設備可標識與觸摸感測器的互動的類型及/或性質。基於對收到輸入的分析,處理設備可決定與電容輸入感測器的互動的各態樣,其可指示與觸摸感測器的互動的類型及/或性質。處理設備可決定與觸摸感測器的互動的類型及/或性質的多個非窮舉或限制實例,包括:輕敲;重敲;快速敲擊;多次敲擊;敲擊位置;按壓;按壓的歷時;按壓的壓力;按壓的位置;滑掃;單指滑掃;多指滑掃;滑掃速度、滑掃長度、滑掃位置;手勢;手勢的形狀;懸停;懸停的高度;懸停的歷時;懸停的位置;抓握;抓交握性、用於抓握的手或手指的數量、抓握位置;抓握的壓力;或抓握區域;用於進行互動的身體或物體的一部分。可使用各種技術、演算法或啟發法來推導出與觸摸感測器的互動的性質及/或類型。
在判斷方塊906,處理設備可判定收到輸入是否匹配針對多感測器輸入的感測器輸入資料。如本文描述的,行動計算裝置可包括多感測器輸入資料結構(例如,圖6的多感測器輸入轉譯表600),其被配置成將與觸摸感測器的使用者互動的組合和多感測器輸入回應(例如,圖6的列616、618中的動作資料)進行關聯。多感測器輸入資料結構可包括感測器輸入資料(例如,圖6的列602、604、606中的感測器資料),其可表示與觸摸感測器的互動,包括與觸摸感測器的互動的性質及/或類型。為了判定收到輸入是否與多感測器輸入的感測器輸入資料匹配,處理設備可以將收到輸入中與觸摸感測器的互動的性質及/或類型與多感測器輸入資料結構中的感測器輸入資料進行比較。處理設備可以判定收到輸入中與觸摸感測器的互動的性質及/或類型是否與任何感測器輸入資料匹配。
回應於判定收到輸入不匹配多感測器輸入的任何感測器輸入資料(亦即,判斷方塊906=「否」),處理設備可在方塊712決定收到輸入是單感測器輸入,如本文參考圖7中的方法700所描述的,或者處理設備可在方塊716決定多個收到輸入是單感測器輸入,如本文參考圖7中的方法700或圖8中的方法800所描述的。
回應於判定收到輸入確實匹配多感測器輸入的任何感測器輸入資料(亦即,判斷方塊906=「是」),處理設備可在方塊908標識具有該感測器輸入資料的多感測器輸入。如本文所述的,多感測器輸入資料結構可包括將感測器輸入資料與多感測器輸入回應相關聯的條目(例如,圖6的行620、622、624、626、628、630)。根據將收到輸入與感測器輸入資料進行匹配,處理設備可標識多感測器輸入資料結構中具有該感測器輸入資料的條目。這些條目可對應於由該條目的感測器輸入資料定義的多感測器輸入。
在其中僅接收到一個輸入的一些實施例中,處理設備可在方塊708等待來自第二觸摸感測器的第二輸入,如本文參考圖7中的方法700所描述的。
在接收到僅多個輸入的一些實施例中,處理設備可在判斷方塊912判定多個收到輸入是否匹配條目的感測器輸入資料。根據將收到輸入與感測器輸入資料進行匹配,處理設備可標識多感測器輸入資料結構中具有對應多個收到輸入的感測器輸入資料的條目。具有對應多個收到輸入的感測器輸入資料的條目可對應於由該條目的感測器輸入資料定義的多感測器輸入。
圖10圖示了根據各種實施例的啟用多感測器輸入模式以管理多感測器輸入的方法1000。參考圖1A-10,方法1000可在行動計算裝置(例如,圖1A-3中的100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。為了涵蓋在各種實施例中實現的替換配置,實現方法1000的硬體在本文中被稱為「處理設備」。
在方塊1002,處理設備可以偵測對多感測器輸入模式的觸發。多感測器輸入模式可被配置成使得能夠處理與原本可能不被啟用成偵測一些或任何使用者互動的觸摸感測器(例如,圖1A-3中的觸摸感測器102、104、106a、106b、108、327)的使用者互動。此類觸摸感測器可包括行動計算裝置的不是行動計算裝置的正面或觸控式螢幕的表面或區域(例如,圖1A和1B中的正面區域112、背面區域114、側面116a、116b和頂部區域118)的電容輸入感測器。
在一些實施例中,該觸發可以是從與觸摸感測器的使用者互動接收的輸入,包括配置成偵測特定使用者互動以觸發多感測器輸入模式但是原本可能不被啟用成偵測一些或任何其他使用者互動的觸摸感測器。例如,使用者將中指和食指放在一起的獨特抓握,這不是用於握持行動計算裝置的正常方式。在另一實例中,獨特的敲擊或背面/側面手勢可觸發監聽其他背面/側面手勢。換言之,處理設備可僅在觀察猛烈的背面敲擊,這通常不與標準握持抓握相關聯。一旦標識出這種獨特敲擊,隨後處理設備就可開始監聽其他種類的背面/側面觸摸。
在一些實施例中,該觸發可以是由處理設備接收的表示設備參數的信號或資料,其可被稱為設備參數資料。設備參數資料可表示除了與觸摸感測器的互動之外的任何數量和組合的行動計算裝置參數。例如,設備參數資料可包括來自行動計算裝置的其他感測器的讀數或信號,諸如光感測器、加速計、陀螺儀、溫度感測器、電壓及/或電流感測器、紅外感測器等。設備參數資料可包括行動計算裝置的位置資料,諸如全球定位系統(GPS)資料。設備參數資料可包括行動計算裝置的有線或無線連接資料(諸如蜂巢、Wi-Fi、藍芽、近場通訊(NFC)等)、或有線周邊設備連接資料,包括該行動計算裝置所連接到的設備的連接狀態或標識。設備參數資料可包括行動計算裝置狀態資料,諸如行動計算裝置的功率狀態(例如,全功率、低功率、充電、具體的電池充電或功率位準等)或活動狀態(例如,活動、睡眠、休眠等)。在一些實施例中,該觸發可包括作為在行動計算裝置上執行的應用的實現的一部分由處理設備處理的信號或指令。在一些實施例中,該觸發可以是數個或組合的收到輸入、設備參數、或應用相關信號或指令。
在方塊1004,處理設備可進入多感測器輸入模式。處理設備可決定並載入多感測器輸入資料結構(例如,圖6的多感測器輸入轉譯表600),其被配置成解讀具有行動計算裝置的多個電容感測器輸入的使用者互動。在一些實施例中,取決於所接收的觸發,處理設備可出於不同目的而進入多感測器輸入模式,該觸發可提示處理設備決定並載入與特定目的相關聯的多感測器輸入資料結構。例如,正面朝下放在檯面上的行動計算裝置結合與行動計算裝置背面的觸摸感測器的不同使用者互動可出於不同目的而觸發多感測器輸入模式。觸摸感測器上的敲擊可啟動家庭助理應用,而沿著觸摸感測器的縱軸的滑掃可調節行動計算裝置的揚聲器的音量。在另一實例中,若環境亮度非常高並且與上次設置顯示器亮度時不同,則與觸摸感測器的使用者互動可調節顯示器亮度位準。
在方塊1006,處理設備可啟用觸摸感測器以偵測先前可能不偵測的輸入及/或使得處理設備能夠處理來自觸摸感測器的輸入(處理設備先前不處理觸摸感測器的輸入)。在一些實施例中,觸摸感測器可被啟動、被更頻繁地監視、被啟用以向處理設備發送輸入、或者增加靈敏度,其中任何一者可包括啟用與觸摸感測器相關聯的微控制器(例如,圖3中的微控制器328)或者微控制器特徵。在一些實施例中,處理設備可使其自身能夠處理從觸摸感測器接收的所有或更多輸入,或者監視觸摸感測器或增加對觸摸感測器的監視。
在啟用觸摸感測器以偵測其先前可能不偵測的輸入及/或使得處理設備能夠處理來自觸摸感測器的輸入(處理設備先前不處理觸摸感測器的輸入)之後,處理設備可在方塊702接收來自第一觸摸感測器的第一輸入,如本文參考圖7中的方法700或圖9中的方法900所描述的;或者處理設備可在方塊802接收來自第一觸摸感測器的第一輸入和來自第二觸摸感測器的第二輸入,如本文參考圖8中的方法800所描述的。
圖11圖示了根據各種實施例的管理在多感測器輸入模式中接收的多感測器輸入的方法1100。參考圖1A-11,方法1100可在行動計算裝置(例如,圖1A-3中的100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。為了涵蓋在各種實施例中實現的替換配置,實現方法1100的硬體在本文中被稱為「處理設備」。
在一些實施例中,方塊702、718、902、904、908可以按與參考圖7中的方法700針對方塊702和718、以及參考圖9中的方法900針對方塊902、904、908所描述的類似的方式實現。
在方塊702,處理設備可從第一觸摸感測器(例如,圖1A-3中的觸摸感測器102、104、106a、106b、108、327)接收第一輸入。在方塊902,處理設備可分析來自觸摸感測器的收到輸入。在方塊904,處理設備可標識與觸摸感測器的互動的類型及/或性質。
在方塊1102,處理設備可標識與收到輸入匹配的多感測器輸入的感測器輸入資料(例如,圖6的列602、604、606中的感測器資料)。如本文描述的,行動計算裝置可包括多感測器輸入資料結構(例如,圖6的多感測器輸入轉譯表600),其被配置成將與觸摸感測器的使用者互動和多感測器輸入回應(例如,圖6的列616、618中的動作資料)進行關聯。多感測器輸入資料結構可包括感測器輸入資料,其可表示與觸摸感測器的互動,包括與觸摸感測器的互動的性質及/或類型。為了標識與多感測器輸入的感測器輸入資料匹配的收到輸入,處理設備可以將收到輸入中與觸摸感測器的互動的性質及/或類型與多感測器輸入資料結構中的感測器輸入資料進行比較。處理設備可以判定收到輸入中與觸摸感測器的互動的性質及/或類型是否與任何感測器輸入資料匹配。
在方塊908,處理設備可標識具有感測器輸入資料的多感測器輸入。在方塊718,處理設備可執行多感測器輸入回應。
圖12圖示了根據各種實施例的將觸摸感測器讀數映射到行動計算裝置的應用功能的方法1200。參考圖1A-12,方法1200的操作可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306及/或微控制器328)控制。
在方塊1210,處理器可從行動計算裝置上的至少一個觸摸感測器接收多感測器輸入,該至少一個觸摸感測器不同於行動計算裝置的觸控式螢幕。例如,使用者觸摸行動計算裝置上的觸摸感測器可引起由觸摸感測器量測的電容變化。處理器可接收所量測的電容變化作為多感測器輸入。所接收的量測可以反映各種類型的輸入的特性,包括接觸歷時、接觸點的數量、接觸點的大小、接觸序列或連續接觸系列、同時接觸的模式、以及接觸期間施加的壓力或力的位準。例如,作為抓握行動計算裝置的一部分,使用者觸摸位於行動計算裝置的後殼體(例如,背面區域114)上的後面板觸摸感測器可引起與抓握事件相關聯的可辨識的電容變化。作為進一步實例,使用者在後面板觸摸感測器上做出手勢(諸如跨後殼體的一部分的曲線滑掃)可引起不同的與該手勢相關聯的可辨識的電容變化。
在方塊1220,處理器可使用上下文感知資料來決定行動計算裝置的操作上下文。上下文感知資料可包括來自各種源的資訊,其有助於定義形成其中接收多感測器輸入的設定(亦即,操作上下文)的環境。使用者可預期多感測器輸入將在第一操作上下文中執行第一操作,但是在第二操作上下文中不執行第一操作及/或將執行第二操作。
例如,處理器可利用來自上下文感知資料的提示來觸發用於多表面觸摸的更全面偵測模式。多表面觸摸可包括與行動計算裝置的不同側上的觸摸感測器接觸。例如,當前在觸控式螢幕的顯示器上活動的應用進行可用的額外功能或改變行動計算裝置的觸摸感測器偵測模式。同樣,行動計算裝置的位置、取向及/或移動可提供觸發以進行可用的額外功能或改變行動計算裝置的觸摸感測器偵測模式。例如,將行動計算裝置平著放置在桌子上可觸發用於多表面觸摸的偵測模式或偵測模式變化。另外,搖動行動計算裝置可觸發允許使用者使用多表面觸摸來執行功能的模式。作為進一步實例,處理器可利用環境特性來觸發多表面觸摸的特定偵測模式。例如,若環境亮度非常高並且與上次設置顯示器亮度時不同,則在背面觸摸感測器上偵測到的觸摸或移動可轉譯為亮度位準調整。
在方塊1230,處理器可決定與在方塊1210中接收的多感測器輸入和在方塊1220中決定的操作上下文相關聯的功能(例如,第一功能)。方塊1230中的決定可涉及標識或選擇適合用於所決定的操作上下文的特定多感測器輸入轉譯表或表集合。適當的多感測器輸入轉譯表可提供從一或多個觸摸感測器接收的多感測器輸入與處理器可執行或使行動計算裝置的另一部件執行的功能之間的相關性。處理器可從記憶體(例如,圖3中的314)獲取特定的轉譯表。替換地或補充地,方塊1230中的決定可涉及級聯規則集及/或參數化方法,其應用所決定的操作上下文和所接收的多感測器輸入以決定功能。
在方塊1240,處理器可執行被配置成使行動計算裝置執行在方塊1230中決定的功能的操作。所執行的操作可改變控制觸摸感測器的設置,改變使用哪個多感測器輸入轉譯表,或者改變與觸摸感測器相關的功能。例如,使用者在行動計算裝置的背面執行第一「觸發」手勢。一旦處理器辨識出該觸發手勢,在預定時段內,處理器可接收快捷手勢,該快捷手勢被配置成在接下來幾秒內啟動行動計算裝置上的特定應用。補充地或替換地,所執行的操作可改變行動計算裝置的其他設置。此外,所執行的操作可將訊息及/或指令發送到另一部件以執行所決定的功能。例如,通常執行與行動計算裝置及/或在行動計算裝置上活動的應用相關聯的操作。
在一些實施例中,處理器可重複方法1200的操作以將進一步的觸摸感測器讀數映射到行動計算裝置的應用功能。執行方法1200的操作可改變操作上下文,由此改變或進行與所接收的多感測器輸入相關聯的可用額外功能。例如,在方塊1210中接收的多感測器輸入可表示對行動計算裝置的獨特抓握,諸如使用者將中指和食指放在一起,這不是握持行動計算裝置的正常方式。另外,行動計算裝置的操作上下文可包括多表面接觸不被辨識為輸入功能的狀態(亦即,多表面控制關閉)。以此方式,當多表面控制關閉時接收到對應於獨特抓握的多感測器輸入可觸發方塊1240中的操作,該等操作打開多表面控制。作為另一實例,在方塊1210中接收的多感測器輸入可表示被配置成解鎖其他背面/側面手勢的獨特敲擊或背面/側面手勢。以此方式,設備可被配置成監視猛烈的背面敲擊(其通常不與標準握持抓握相關聯)。一旦標識出此類猛烈的背面敲擊,隨後處理器就可監視觸發最近不可用功能的其他種類的背面/側面觸摸。類似地,獨特的敲擊或背面/側面手勢可觸發處理器監聽其他後續的背面/側面手勢。例如,處理器可始終監視特定電容簡檔,諸如來自行動計算裝置背面的猛烈敲擊,其通常不與對設備的標準握持相關聯。一旦偵測到該特定電容簡檔,隨後處理器就可開始監視其他種類的電容簡檔。
處理器可回應於在方塊1210中接收到額外多感測器輸入而重複方法1200的操作。作為另一實例,處理器可重複方法1200的操作達在與行動計算裝置上的活動應用相關聯的參數中所指示的預定義反覆運算次數或預定義時段。
圖13中圖示使用上下文感知資料來決定行動計算裝置的操作上下文的實例方法1300。在一些實施例中,方法1300可以表示在方法1100(圖11)的方塊1120中決定操作上下文的更詳細視圖。可經由由推理引擎組合或融合與收到輸入相關聯的複數個資料、來自一或多個活動應用的參數、及/或來自與行動計算裝置相關聯的一或多個部件的狀態資訊(諸如與接收多感測器輸入的條件相關的眾多不同類型的資料)來決定行動計算裝置的操作上下文。在一些實施例中,推理引擎可組合或融合與接收到多感測器輸入的條件相關聯的即時和非即時上下文感知資料,以便決定操作上下文。
上下文感知資料可包括與行動計算裝置相關聯的任何合適類型的即時及/或非即時資料,諸如舉例而言,觸控式螢幕活動應用參數1310、後臺活動應用參數1320、觸控式螢幕狀態1330、其他板載部件狀態、周邊部件狀態1350、多感測器輸入詳情1360、其他感測器輸入1370、以及任何其他合適的上下文感知資料、及/或其任何組合。觸控式螢幕活動應用參數1310可包括針對活躍地控制觸控式螢幕上的全部或部分顯示的應用的可被接收作為多感測器輸入的可用或當前允許輸入列表。例如,在閱讀電子郵件(亦即,活動應用)時,若使用者側向轉動行動計算裝置並在正面用兩個拇指抓住它且在背面支撐它,則觸控式螢幕可立即改變為橫向鍵盤並提供使用者介面以用於接收可用於回復該電子郵件的輸入。作為另一實例,正面和背面觸摸可用於補充彼此略微不同的可供性。例如,在文字簡訊中,使用者敲擊觸控式螢幕可將遊標放置在使用者敲擊的特定詞顯示處。使用者隨後可觸摸行動計算裝置的背面以更精細地將遊標定位在詞或字母之間。這利用了每一側的相對優勢:使用正面和側面觸摸輸入的組合可能有助於允許使用者找到觸摸目標隨後直接觸摸它。背面觸摸可使得使用者能夠以細細微性方式移動選擇器或遊標而不會被正面的手指擋住。類似地,在照片庫應用活動的情況下,滑掃向後觸摸感測器可在圖片網格中移動突出顯示的訊框。此後,敲擊手勢可選擇或顯示上下文功能表。
後臺活動應用參數1320可包括針對在行動計算裝置上活躍地執行但沒有活躍地控制觸控式螢幕上的全部或部分顯示的應用的可被接收作為多感測器輸入的可用或當前允許輸入列表。觸控式螢幕狀態1330可提供關於觸控式螢幕是打開、關閉、調暗還是處於某種其他狀態的資訊。例如,在觸控式螢幕處於關閉狀態的情況下,所接收的多感測器輸入可意欲用於特定的後臺應用。類似地,其他板載部件狀態1340(諸如行動計算裝置的電池中的剩餘電量或行動計算裝置是否處於省電模式)可提供關於是否應忽略多感測器輸入或者是否應關閉除觸控式螢幕以外的觸摸感測器的資訊。周邊部件狀態1350可提供關於多感測器輸入是否可能意欲用於控制該周邊部件的資訊。例如,若虛擬實境護目鏡或音訊耳機可操作地耦合到行動計算裝置,則可使用所接收的多感測器輸入來控制此類周邊部件。多感測器輸入詳情1360可包括與多感測器輸入相關聯的電容簡檔,並標識哪個(些)觸摸感測器或一或多個特定觸摸感測器的哪個部分偵測到觸摸電容變化。其他感測器輸入1370可提供來自行動計算裝置的其他感測器的資訊,該資訊可用於決定行動計算裝置的操作上下文。例如,鄰近度、取向及/或運動感測器可用於辨識行動計算裝置面朝下放在檯面上、在口袋中、在移動、靜止、或者在可告知行動計算裝置的當前操作上下文的一些其他情況中。
在一些實施例中,除了使用上下文感知資料之外,推理引擎還可使用不僅與多感測器輸入相關聯的相關資料(例如,即時、非即時或其組合)來決定操作上下文。例如,推理引擎可使用一天中的真實時間、日期、位置和可能有助於決定行動計算裝置的當前操作上下文的其他類似資訊。
推理引擎1301可使用所有這些資訊來決定當前操作上下文。例如,推理引擎1301可產生與所決定的操作上下文相對應的上下文評估。隨後可使用上下文評估來決定如何處理所接收的多感測器輸入。
在一些實施例中,推理引擎1301可利用狀態機(例如,基於決定性規則的狀態機及/或統計狀態機)來分析資料,例如來自可用資源(諸如1310、1320、1330、1340、1350、1360、1370)的資料並推斷出關於操作上下文的決定。推理引擎的規則庫和統計狀態機可離線、線上或部分離線和線上地進行訓練。另外,推理引擎1301亦可在決定操作上下文時與知識支援系統或其他遠端資料來源交換資訊。
圖14圖示了根據一些實施例的關於多感測器影像功能來管理行動計算裝置的多感測器控制的方法1400。參考圖1A–14,方法1400可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。在方塊420-428,行動計算裝置的處理器可執行如所描述的方法400c或400d的相似編號的方塊的操作。
在判斷方塊1402,行動計算裝置的處理器可判定是否已初始化一或多個多感測器影像功能。多感測器影像功能可包括將正面、背面、側面、頂部等觸摸感測器的輸入與要對在行動計算裝置上顯示的一或多個影像執行的特定動作或功能性相關聯的操作。在各種實施例中,可以分析和分割影像的元素,以使得可以選擇、操縱及/或操作各個經分割影像。在一些實施例中,影像的元素可以被分割成前景和背景元素。在一些實施例中,可以單獨地選擇、操縱及/或操作前景或背景的元素。作為一個實例,被配置成處置或操縱影像的應用可以調用多感測器影像功能,諸如用於顯示儲存在行動計算裝置的記憶體中的影像檔的照片庫應用、用於控制相機設備的操作並處理用相機捕捉的影像的相機應用、以及配置成更改影像檔的一或多個實施例的照片編輯應用、或另一類似應用。作為另一實例,作業系統應用(諸如被配置成處置或操縱靜態或動畫背景(例如,「壁紙」)、前景元素(例如,可選元素,諸如圖示等)等的那些作業系統應用)可以調用多感測器影像功能。
回應於判定尚未初始化多感測器影像功能(亦即,判斷方塊1402 =「否」),處理器可在判斷方塊1402再次判定是否已初始化多感測器影像功能。
回應於判定已經初始化多感測器影像功能(亦即,判斷方塊1402 =「是」),處理器可以在方塊420決定要獲取的一或多個轉譯表。該決定可涉及標識或選擇適合與多感測器影像功能一起使用的(諸)特定轉譯表。適當的轉譯表可以提供在一或多個觸摸感測器處接收的輸入與多感測器影像功能之間的相關性。在方塊422,處理器可從記憶體獲取所決定的一或多個轉譯表。
在方塊1404,處理器可使用該一或多個轉譯表來決定與所標識的輸入和所決定的觸摸感測器相關聯的多感測器影像功能。在一些實施例中,處理器可基於所獲取的轉譯表來決定與背面觸摸感測器(例如,觸摸感測器104)及/或正面觸摸感測器(例如,觸摸感測器102)的輸入相關聯的多感測器影像功能。在一些實施例中,處理器可將正面及/或背面觸摸感測器的輸入轉譯成不同的多感測器影像功能。
例如,處理器可以將由正面輸入感測器(例如,觸控式螢幕顯示器)偵測到的輸入轉譯成要對在觸控式螢幕顯示器上呈現的影像的前景執行的照片應用功能。作為另一實例,處理器可以將由背面區域輸入感測器(例如,背面區域觸摸感測器)偵測到的輸入轉譯成要對在觸控式螢幕顯示器上呈現的影像的背景執行的照片應用功能。因此,在該實施例中,使用者可以調整前景影像和背景影像,而不必在兩個影像之間切換。
例如,要對影像的背景執行的照片應用功能可包括更改影像的背景(例如,僅背景)。在一些實施例中,照片應用可被配置成區分影像的前景元素和背景元素。在一些實施例中,更改影像的背景可包括調整顏色、色調、色度、模糊位準、銳度位準、亮度位準、應用濾鏡、或另一類似調整,包括其組合。在一些實施例中,更改影像的背景可包括滾動經由前景可出現在其上的不同背景影像。在一些實施例中,更改影像的背景可包括改變背景相對於前景的位置。在一些實施例中,更改影像的背景可包括選擇影像背景的一或多個元素,例如,以對所選元素執行一或多個更改。其他實例是可能的,包括前述各項的組合。
作為另一實例,用於影像前景的照片應用功能可包括更改影像的前景(或僅前景)。此類更改的實例可包括調整顏色、色調、色度、模糊位準、銳度位準、亮度位準、應用濾鏡、或另一類似調整,包括其組合;滾動經由可出現在背景上的不同前景影像;改變前景相對於背景的位置。在一些實施例中,更改影像的前景可包括選擇影像前景的一或多個元素,例如,以對所選元素執行一或多個更改。其他實例是可能的,包括前述各項的組合。
作為另一實例,處理器可以將由正面輸入感測器(例如,觸控式螢幕顯示器)及/或背面輸入感測器偵測到的輸入轉譯成由被配置成處置或操縱壁紙、樣式、圖示外觀操縱、或使用者介面的其他元素的作業系統應用執行的操作。例如,處理器可以將由正面輸入感測器(例如,觸控式螢幕顯示器)偵測到的輸入轉譯成移動一或多個圖示、更改一或多個圖示的外觀、更改一或多個圖示的佈置或配置的操作,以及其他類似操作。作為另一實例,處理器可以將由背面區域輸入感測器(例如,背面區域觸摸感測器)偵測到的輸入轉譯成改變壁紙或其他類似背景影像、選擇背景影像、更改背景影像的長寬比的操作,以及其他類似操作。因此,在該實施例中,使用者可使用多感測器影像功能來快速且容易地調整前景元素和背景元素。
作為另一實例,處理器可將由正面輸入感測器(例如,觸控式螢幕顯示器)及/或背面輸入感測器偵測到的輸入轉譯成由遊戲應用執行的操作,以使得使用者能夠使用多感測器影像功能來與遊戲的前景元素和背景元素互動。例如,處理器可以將由正面輸入感測器(例如,觸控式螢幕顯示器)偵測到的輸入轉譯成移動、選擇、改變、命令一或多個遊戲前景元素或與之互動的操作。作為另一實例,處理器可將由背面區域輸入感測器(例如,背面區域觸摸感測器)偵測到的輸入轉譯成移動、選擇、改變、命令一或多個遊戲背景元素或與之互動的操作。
在方塊1406,處理器可基於所決定的功能和所接收的輸入的一或多個輸入參數來產生多感測器影像命令。
在方塊1408,處理器可執行所產生的多感測器影像命令。隨後,處理器可以執行判斷方塊436的操作(圖4C和4D)。
圖15圖示了根據一些實施例的關於多感測器文字功能來管理行動計算裝置的多感測器控制的方法1500。參考圖1A-15,方法1500可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。在方塊420-428,行動計算裝置的處理器可執行如上文所描述的方法400c或400d的相似編號的方塊的操作。
在判斷方塊1502,行動計算裝置的處理器可判定是否已初始化一或多個多感測器文字功能。多感測器文字功能可包括將正面、背面、側面、頂部等觸摸感測器的輸入與要對在行動計算裝置上顯示的文字及/或文字後面的背景執行的特定動作或功能性相關聯的操作。在各種實施例中,可以選擇、操縱及/或操作文字元素或背景元素。在一些實施例中,可以單獨地選擇、操縱及/或操作文字及/或背景的元素。作為一個實例,可以調用多感測器文字功能的應用包括電子郵件應用、文字簡訊接發應用、文字處理應用、Web瀏覽器和其他類似的應用。作為另一實例,應用內的功能可以調用多感測器文字功能,例如「放大鏡」功能。放大鏡功能可包括用於增加顯示器(例如,觸控式螢幕326)的一區域內的文字(及/或影像)的表觀尺寸的軟體指令。
回應於判定尚未初始化多感測器文字功能(亦即,判斷方塊1502 =「否」),處理器可在判斷方塊1502中繼續判定是否已初始化多感測器文字功能。
回應於判定已經初始化多感測器文字功能(亦即,判斷方塊1502 =「是」),處理器可以在方塊420決定要獲取的一或多個轉譯表。該決定可涉及標識或選擇適合與多感測器文字功能一起使用的(諸)特定轉譯表。適當的一或多個轉譯表可以指示在一或多個觸摸感測器處接收的輸入與多感測器文字功能之間的相關性。在方塊422,處理器可從記憶體獲取所決定的一或多個轉譯表。
在方塊1504,處理器可使用該一或多個轉譯表來決定與所標識的輸入和所決定的觸摸感測器相關聯的多感測器文字功能。在一些實施例中,處理器可基於所獲取的轉譯表來決定與背面觸摸感測器(例如,觸摸感測器104)及/或正面觸摸感測器(例如,觸摸感測器102)的輸入相關聯的多感測器文字功能。在一些實施例中,處理器可將正面及/或背面觸摸感測器的輸入轉譯成不同的多感測器文字功能。
例如,處理器可以將正面輸入感測器(例如,觸控式螢幕顯示器)的輸入轉譯成用於選擇其中的文字或影像可被「放大」的聚焦區域的功能。作為另一實例,處理器可將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成用於移動聚焦區域下方的文字或影像的功能(例如,移動在「放大鏡」下的文字或影像)。
作為另一實例,處理器可以將正面輸入感測器(例如,觸控式螢幕顯示器)的輸入轉譯成用於選擇文字的詞或區域的功能。作為另一實例,處理器可以將背面輸入感測器(例如,觸摸感測器)的輸入轉譯成用於更改或操縱文字的所選詞或區域的功能。作為另一實例,處理器可以將背面輸入感測器的輸入轉譯成用於選擇要對文字的所選詞或區域執行的操作的功能。其他實例也是可能的,包括前述各項的組合。
在方塊1506,處理器可基於所決定的功能和所接收的輸入的一或多個輸入參數來產生放大鏡應用命令。
在方塊1508,處理器可執行所產生的放大鏡應用命令。隨後,處理器可以執行判斷方塊436的操作(圖4c和4d)。
圖16圖示了根據一些實施例的關於擴展現實功能來管理行動計算裝置的多感測器控制的方法1600。參考圖1A-16,方法1600可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。在方塊420-428,行動計算裝置的處理器可執行如上文所描述的方法400c或400d的相同編號的方塊的操作。
在判斷方塊1602,行動計算裝置的處理器可判定是否已初始化一或多個擴展現實功能。在一些實施例中,行動計算裝置可以與擴展現實設備(諸如擴展現實頭戴式裝置(例如,視聽設備202))通訊。在一些實施例中,與擴展現實設備建立通訊可包括、涉及或觸發擴展現實功能的初始化、以及在行動計算裝置上執行的擴展現實應用,或另一類似操作或應用。在各種實施例中,行動計算裝置上的觸摸感測器的輸入可以控制擴展現實設備及/或擴展現實應用的一或多個功能。
回應於判定尚未初始化一或多個擴展現實功能(亦即,判斷方塊1602 =「否」),處理器可在判斷方塊1602繼續判定是否已初始化擴展現實應用。
回應於判定已經初始化一或多個擴展現實功能(亦即,判斷方塊1602 =「是」),處理器可以在方塊420決定要獲取的一或多個轉譯表。該決定可涉及標識或選擇適合與擴展現實功能一起使用的(諸)特定轉譯表。適當的一或多個轉譯表可以將在各種輸入感測器上接收到的各種輸入與擴展現實應用及/或擴展現實設備的功能相關聯。在方塊422,處理器可從記憶體獲取所決定的一或多個轉譯表。
在方塊1604,處理器可使用該一或多個轉譯表來決定與所標識的輸入和所決定的觸摸感測器相關聯的擴展現實功能。在一些實施例中,處理器可基於所獲取的轉譯表來決定與背面觸摸感測器(例如,觸摸感測器104)及/或正面觸摸感測器(例如,觸摸感測器102)的輸入相關聯的擴展現實功能。在一些實施例中,處理器可將正面及/或背面觸摸感測器的輸入轉譯成不同的擴展現實功能。
在一些實施例中,處理器可以將正面輸入感測器(例如,觸控式螢幕顯示器)的輸入轉譯成要對在擴展現實設備中顯示的真實影像層中的元素(例如,真實物件)執行的擴展現實功能。在一些實施例中,處理器可以將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成要對在擴展現實設備中顯示的擴展現實影像層內的擴展現實影像元素(例如,數位物件)執行的擴展現實功能。
在一些實施例中,要對真實影像元素(諸如真實物件)執行的擴展現實功能可包括放大成真實物件(例如,放大真實物件)、從真實物件縮小、改變真實物件上的聚焦(例如,增加或減少對所選擇或所指示的真實物件的聚焦位準)、在視圖中的兩個或更多個真實物件之間切換、或其他功能,包括其組合。
在一些實施例中,要對數位物件形式的擴展現實影像元素執行的擴展現實功能可包括與數位物件的任何形式的互動。與數位物件互動可包括選擇數位物件(例如,選擇影像、圖示、文字等),滾動文字,移動數位物件,調整或更改數位物件的呈現等。
在一些實施例中,處理器可將正面和背面觸摸感測器的輸入轉譯成擴展現實功能。例如,處理器可回應於接收到正面觸摸感測器和背面觸摸感測器的基本上同時的輸入(例如,正面觸摸感測器和背面觸摸感測器的「滑掃」輸入,就像使用者在「扭曲」行動計算裝置一樣)而「旋轉」數位物件。
在方塊1606,處理器可基於所決定的功能和所接收的輸入的一或多個輸入參數來產生擴展現實命令。
在方塊1608,處理器可執行所產生的擴展現實命令。在一些實施例中,處理器可以將所產生的命令發送、發佈、傳送等等到擴展現實設備。在一些實施例中,擴展現實設備的處理器可以執行來自行動計算裝置的處理器的命令。
隨後,行動計算裝置的處理器可以執行判斷方塊436的操作(圖4C和4D)。
圖17圖示了根據一些實施例的關於基於行動計算裝置的各種觸摸感測器的輸入控制多個應用來管理行動計算裝置的多感測器控制的方法1700。參考圖1A-17,方法1700可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。在方塊420-428,行動計算裝置的處理器可執行如上文所描述的方法400c或400d的相同編號的方塊的操作。
在判斷方塊1702,行動計算裝置的處理器可判定是否已初始化多應用控制功能。在一些實施例中,行動計算裝置可以獨立地執行、執行等兩個或更多個軟體應用,而無需改變選擇、介面功能表等。在一些實施例中,同時或幾乎同時執行兩個或更多個此類應用可以觸發多應用控制功能的初始化。在各種實施例中,行動計算裝置上的觸摸感測器的輸入可以控制第一應用或第二應用的一或多個功能。
回應於判定尚未初始化多應用控制功能(亦即,判斷方塊1702 =「否」),處理器可在判斷方塊1702繼續判定是否已初始化多應用控制功能。
回應於判定已經初始化多應用控制功能(亦即,判斷方塊1702 =「是」),處理器可以在方塊420決定要獲取的一或多個轉譯表。該決定可涉及標識或選擇適合與兩個應用一起使用的(諸)特定轉譯表。適當的轉譯表可以提供在一或多個觸摸感測器處接收的輸入與第一應用或第二應用的功能之間的相關性。在方塊422,處理器可從記憶體獲取所決定的一或多個轉譯表。
在方塊1704,處理器可使用該一或多個轉譯表來決定與所標識的輸入和所決定的觸摸感測器相關聯的應用功能(亦即,第一或第二應用的功能)。在一些實施例中,處理器可基於所獲取的轉譯表來決定與背面觸摸感測器(例如,觸摸感測器104)及/或正面觸摸感測器(例如,觸摸感測器102)的輸入相關聯的應用功能。在一些實施例中,處理器可將正面及/或背面觸摸感測器的輸入轉譯成不同的應用功能。
在一些實施例中,處理器可以將正面輸入感測器(例如,觸控式螢幕顯示器)的輸入轉譯成要在第一應用內或對第一應用執行的應用功能。在一些實施例中,處理器可以將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成要在第二應用內或對第二應用執行的應用功能。
例如,第一應用可以是基於正面感測器的輸入來控制的遊戲應用。作為另一實例,第二應用可以是電話應用,其例如呈現來電撥叫請求的通知。處理器可以將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成電話應用的功能,例如,接受撥叫、拒絕撥叫、用文字簡訊來回應撥叫等。在一些實施例中,處理器可以將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成電話應用的功能,以控制正在進行的或所建立的通訊通信期,諸如使行動計算裝置的話筒靜音、增加或減少揚聲器音量、或另一類似的電話應用功能。
作為另一實例,第二應用可以在第一應用上或在第一應用內呈現通知。例如,日曆應用可以在當前正使用的「前景」應用上呈現事件提醒,或者文字簡訊應用可以在當前正使用的「前景」應用上呈現所接收的文字簡訊的通知。處理器可以將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成用於與通知互動的功能,諸如,撤銷通知、選擇通知、切換到使用產生通知的應用等。處理器可以將正面輸入感測器(例如,觸控式螢幕顯示器)的輸入轉譯成用於與當前正使用的應用互動的功能。
在方塊1706,處理器可基於所決定的功能和所接收的輸入的一或多個輸入參數來產生應用命令。
在方塊1708,處理器可執行所產生的應用命令。在一些實施例中,處理器可以在指定的第一或第二應用內執行所產生的應用命令。
隨後,行動計算裝置的處理器可以執行判斷方塊436的操作(圖4C和4D)。
圖18圖示了根據一些實施例的用於基於行動計算裝置的各種觸摸感測器的輸入控制多個設備來管理行動計算裝置的多感測器控制的方法1800。參考圖1A-18,方法1800可在行動計算裝置(例如,100、300)的硬體部件及/或軟體部件中實現,其操作可由行動計算裝置的一或多個處理器(例如,通用處理器306)控制。在方塊420-428,行動計算裝置的處理器可執行如上文所描述的方法400c或400d的相同編號的方塊的操作。
在判斷方塊1802,行動計算裝置的處理器可判定是否已初始化多設備控制功能。在一些實施例中,行動計算裝置可以與一或多個其他設備通訊,諸如IoT設備(例如,IoT設備204-208)。在一些實施例中,行動計算裝置可以直接與一或多個其他設備通訊,例如,經由有線或無線通訊鏈路。在一些實施例中,行動計算裝置可以經由中繼裝置(諸如IoT集線器設備210)與一或多個其他設備通訊。在一些實施例中,與一或多個其他設備建立通訊可包括、涉及或觸發多設備控制功能的初始化。在各種實施例中,行動計算裝置上的觸摸感測器的輸入可以控制一或多個其他設備的一或多個功能。
回應於判定尚未初始化多設備控制功能(亦即,判斷方塊1802 =「否」),處理器可在判斷方塊1802中繼續判定是否已初始化多設備控制功能。
回應於判定已經初始化多設備控制功能(亦即,判斷方塊1802 =「是」),處理器可以在方塊420決定要獲取的一或多個轉譯表。該決定可涉及標識或選擇適合與一或多個其他設備一起使用的(諸)特定轉譯表。適當的轉譯表可以提供在一或多個觸摸感測器處接收的輸入與一或多個其他設備的功能之間的相關性。在方塊422,處理器可從記憶體獲取所決定的一或多個轉譯表。
在方塊1804,處理器可使用該一或多個轉譯表來決定與所標識的輸入和所決定的觸摸感測器相關聯的設備功能(亦即,一或多個其他設備的功能)。在一些實施例中,處理器可基於所獲取的轉譯表來決定與背面觸摸感測器(例如,觸摸感測器104)及/或正面觸摸感測器(例如,觸摸感測器102)的輸入相關聯的設備功能。在一些實施例中,處理器可將正面及/或背面觸摸感測器的輸入轉譯成不同設備的功能。
在一些實施例中,處理器可以將正面輸入感測器(例如,觸控式螢幕顯示器)的輸入轉譯成第一設備的設備功能。在一些實施例中,處理器可以將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成第二設備的設備功能。
例如,第一設備可以是行動計算裝置,並且處理器可以基於正面感測器的輸入來控制該行動計算裝置的功能(例如,對在該行動計算裝置上執行的應用的輸入、對該行動計算裝置的功能的控制等)。作為另一實例,第一設備可以是第一其他設備,諸如IoT設備204-208之一,並且處理器可基於正面感測器的輸入來控制第一其他設備的功能。作為另一實例,第二設備可以是第二其他設備(例如,IoT設備204-208之一),並且處理器可基於背面區域輸入感測器(例如,觸摸感測器)的輸入來控制第二其他設備的功能。
例如,處理器可以將正面輸入感測器(例如,觸控式螢幕顯示器)的輸入轉譯成要在行動計算裝置上執行的應用內執行的應用功能。作為另一實例,當應用正在行動計算裝置上執行時並且回應於正面輸入感測器(例如,觸控式螢幕顯示器)的輸入,處理器可以將背面區域輸入感測器(例如,觸摸感測器)的輸入轉譯成將由第一其他設備執行的設備功能。在一些實施例中,處理器可基於正面輸入感測器(例如,觸控式螢幕顯示器)的輸入來控制第一其他設備的功能,並且處理器可基於背面區域輸入感測器(例如,觸摸感測器)的輸入來控制第二其他設備的功能。
例如,處理器可以將正面輸入感測器及/或背面輸入感測器的輸入轉譯成將由IoT燈泡或照明系統(例如,IoT燈泡或照明系統204)執行的設備功能,諸如打開或關閉燈泡或系統、增加亮度、調暗亮度、改變發光顏色等。作為另一實例,處理器可以將正面輸入感測器及/或背面輸入感測器的輸入轉譯成將由智慧恒溫器(例如,智慧恒溫器206)執行的設備功能,諸如打開或關閉加熱及/或致冷系統、更改恒溫器設置、從恒溫器獲取資訊等。作為另一實例,處理器可以將正面輸入感測器及/或背面輸入感測器的輸入轉譯成將由IoT安全攝像機(例如,IoT安全攝像機208)執行的設備功能,諸如改變安全攝像機上的設置、移動或轉動安全攝像機、啟動或停用安全攝像機/系統、聚焦於安全攝像機視野內的物體等。作為另一實例,處理器可以將正面輸入感測器及/或背面輸入感測器的輸入轉譯成將由智慧TV設備執行的設備功能,諸如執行TV的一或多個遙控功能。其他實例是可能的,以及前述各項的組合。
在方塊1806,處理器可基於所決定的功能和所接收的輸入的一或多個輸入參數來產生設備命令。
在方塊1808,處理器可執行所產生的設備命令。在一些實施例中,處理器可以將所產生的命令發送、發佈、傳送等等到第一或第二其他設備。
隨後,行動計算裝置的處理器可以執行判斷方塊436的操作(圖4C和4D)。
各種實施例可實現在一或多個各種各樣的行動計算裝置內,其中智慧型電話形式的實例在圖19A和19B中示出。參考圖1-19B,行動計算裝置100可包括殼體1920,殼體1920由塑膠、金屬、陶瓷、玻璃或此類材料的組合構成,用於容納各種部件中的全部或一些。行動計算裝置100可包括耦合到各種系統和部件的處理器1902。具體而言,處理器1902可耦合到內部記憶體1906、觸控式螢幕控制器1904、輸入感測器控制器1905(例如,觸摸感測器控制器19)、無線電通訊部件、揚聲器1914和話筒1915。處理器1902可以是指定用於一般或特定處理任務的單核或多核處理器。內部記憶體1906可以是揮發性或非揮發性記憶體,並且亦可以是安全及/或加密的記憶體、或者不安全及/或未加密記憶體,或其任何組合。
觸控式螢幕控制器1904可耦合到觸控式螢幕顯示器1912,諸如電阻感測觸控式螢幕、電容感測觸控式螢幕、紅外感測觸控式螢幕等。電容感測觸控式螢幕顯示器1912可包括一或多個觸摸感測器(例如,102)。觸摸感測器控制器1905和處理器1902可耦合到一或多個多觸摸感測器1932,諸如觸摸感測器(例如,102、104、106a、106b、108、327)。一或多個觸摸感測器1932可位於行動計算裝置100的後面板(例如,後部區域114)、側面(例如,116a、116b)、頂部及/或底部。
行動計算裝置100可包括耦合到天線1910以用於發送和接收通訊的一或多個無線電信號收發機1908(例如,Peanut、藍芽、藍芽LE、ZigBee、Wi-Fi®、射頻(RF)無線電等)。該一或多個無線電信號收發機1908可彼此耦合及/或耦合到處理器1902。無線電信號收發機1908可實現各種無線傳輸協定堆疊和介面。例如,行動計算裝置100可包括耦合到處理器的蜂巢網路無線數據機晶片1916,其使得能夠經由蜂巢網路進行通訊。
行動計算裝置100可包括耦合到處理器1902的周邊設備連接介面1918。周邊設備連接介面1918可被配置成接納一或多個類型的公共或專有的實體和通訊連接,諸如USB、FireWire、Thunderbolt或PCIe。周邊設備連接介面1918亦可被耦合至類似地配置的周邊設備連接埠(未圖示)。
行動計算裝置100可包括耦合到處理器1902的電源1922(例如,電池),例如一次性電池或可再充電電池。可再充電電池亦可耦合到周邊設備連接埠以從行動計算裝置100外部的源接收充電電流。補充地或替換地,可再充電電池可經由無線充電來充電,諸如經由無線充電天線1942。無線充電控制器1944可耦合到充電天線1942和電源1922,並且被配置成基於電源1922的電荷狀態、無線充電天線1942感測到的無線充電的可用性、及/或從處理器1902接收的控制信號來調節電源1922的充電/再充電。
在各種實施例中,行動計算裝置100可包括一或多個話筒1915。例如,行動計算裝置可具有話筒1915,以一般用於在撥叫期間從使用者接收語音或其他音訊能量。行動計算裝置100亦可包括用於提供音訊輸出的揚聲器1914。行動計算裝置100亦可包括用於接收使用者輸入的一或多個實體按鈕1924、1926。
本文描述的處理器可以是能經由軟體指令(應用)配置以執行各種功能(包括上述各種實施例的功能)的任何可程式設計微處理器、微型電腦或一或多個多處理器晶片。在一些設備中,可提供多個處理器,諸如一個處理器專用於無線通訊功能並且一個處理器專用於執行其他應用。典型地,軟體應用可被儲存在內部記憶體中,隨後它們被存取並被載入到處理器中。處理器可包括足以儲存應用軟體指令的內部記憶體。在許多設備中,內部記憶體可以是揮發性或非揮發性記憶體(諸如快閃記憶體),或這兩者的混合。出於本說明書的目的,對記憶體的一般性引述是指可由處理器存取的記憶體,包括內部記憶體或插入到設備中的可移除記憶體、以及在處理器本身內部的記憶體。
所圖示和描述的各種實施例是僅作為圖示請求項的各種特徵的實例來提供的。然而,關於任何給定實施例來示出和描述的特徵不必限於相關聯的實施例並且可以與所示出和描述的其他實施例聯用或者組合。另外,請求項並不意欲由任何一個實例實施例限制。例如,方法500-1700的一或多個操作可以替換成方法500-1700的一或多個操作或與之組合,反之亦然。
上述方法描述和程序流程圖僅作為說明性實例而提供,且並非意欲要求或暗示各個實施例的操作必須按所提供的次序來執行。如本發明所屬領域中具有通常知識者將領會的,前述各實施例中的操作次序可按任何次序來執行。諸如「此後」、「隨後」、「接著」等措辭並非意欲限定操作次序;這些措辭被用來指引讀者遍歷方法的描述。進一步,對單數形式的請求項元素的任何引述,例如使用冠詞「一」、「某」或「該」的引述不應解釋為將該元素限定為單數。
結合本文中所揭示的實施例來描述的各種說明性邏輯區塊、模組、電路、和演算法操作可實現為電子硬體、電腦軟體、或這兩者的組合。為清楚地圖示硬體與軟體的這一可互換性,各種說明性部件、方塊、模組、電路和操作在上面是以其功能性的形式作一般化描述的。此類功能性是被實現為硬體還是軟體取決於具體應用和施加於整體系統的設計約束。具有通常知識者可針對每種特定應用以不同方式來實現所描述的功能性,但此類實施例決策不應被解讀為致使脫離請求項的範疇。
用於實現結合本文所揭示的實施例描述的各種說明性邏輯、邏輯區塊、模組、和電路的硬體可用設計成執行本文所描述功能的通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯裝置、個別閘門或電晶體邏輯、個別的硬體部件、或其任何組合來實現或執行。通用處理器可以是微處理器,但在替換方案中,處理器可以是任何習知處理器、控制器、微控制器、或狀態機。處理器亦可以被實現為接收器智慧物件的組合,例如DSP與微處理器的組合、複數個微處理器、與DSP核心協調的一或多個微處理器、或任何其他此類配置。替換地,一些操作或方法可由專用於給定功能的電路系統來執行。
在一或多個實施例中,所描述的功能可在硬體、軟體、韌體或其任何組合中實現。若在軟體中實現,則這些功能可作為一或多個指令或代碼儲存在非瞬態電腦可讀取儲存媒體或非瞬態處理器可讀儲存媒體上。本文中揭示的方法或演算法的操作可在處理器可執行軟體模組或處理器可執行指令中實施,該處理器可執行軟體模組或處理器可執行指令可常駐在非瞬態電腦可讀或處理器可讀儲存媒體上。非瞬態電腦可讀或處理器可讀儲存媒體可以是能被電腦或處理器存取的任何儲存媒體。作為實例而非限定,此類非瞬態電腦可讀或處理器可讀儲存媒體可包括RAM、ROM、EEPROM、快閃記憶體、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存智慧物件、或能被用來儲存指令或資料結構形式的期望程式碼且能被電腦存取的任何其他媒體。如本文中所使用的盤(disk)和碟(disc)包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中盤(disk)往往以磁的方式再現資料而碟(disc)用鐳射以光學方式再現資料。以上的組合亦被包括在非瞬態電腦可讀和處理器可讀取媒體的範疇內。另外,方法或演算法的操作可作為一條代碼及/或指令或者代碼及/或指令的任何組合或集合而常駐在可被納入電腦程式產品中的非瞬態處理器可讀儲存媒體及/或電腦可讀取儲存媒體上。
提供所揭示的實施例的先前描述是為了使本發明所屬領域中任何具有通常知識者皆能製作或使用本請求項。對這些實施例的各種修改對本發明所屬領域中具有通常知識者來說將是顯而易見的,且本文所定義的一般原理可被應用於其他實施例而不背離請求項的精神或範疇。由此,本案並非意欲限定於本文中示出的實施例,而是應被授予與所附請求項和本文中揭示的原理和新穎性特徵一致的最廣義的範疇。
100‧‧‧行動計算裝置
102‧‧‧觸摸感測器
104‧‧‧觸摸感測器
106a‧‧‧觸摸感測器
106b‧‧‧觸摸感測器
108‧‧‧觸摸感測器
110‧‧‧主體
112‧‧‧正面區域
114‧‧‧背面區域
116a‧‧‧兩側
116b‧‧‧兩側
118‧‧‧頂部區域
120‧‧‧使用者手指
122‧‧‧使用者拇指
124‧‧‧輸入
126‧‧‧輸入
128‧‧‧使用者手指
130‧‧‧使用者拇指
132‧‧‧輸入
134‧‧‧輸入
200‧‧‧通訊系統
202‧‧‧視聽設備
204‧‧‧智慧燈泡或智慧照明系統
206‧‧‧智慧恒溫器
208‧‧‧IoT安全攝像機
210‧‧‧IoT集線器設備
230‧‧‧有線或無線通訊鏈路
232‧‧‧有線或無線通訊鏈路
234‧‧‧有線或無線通訊鏈路
236‧‧‧有線或無線通訊鏈路
238‧‧‧有線或無線通訊鏈路
300‧‧‧行動計算裝置
302‧‧‧用戶身份模組(SIM)介面
304a‧‧‧第一SIM
306‧‧‧通用處理器
308‧‧‧CODEC
310‧‧‧揚聲器
312‧‧‧話筒
314‧‧‧記憶體
316‧‧‧基頻數據機處理器
318‧‧‧個射頻(RF)資源
320‧‧‧天線
322‧‧‧片上系統設備
324‧‧‧按鍵板
326‧‧‧觸控式螢幕
327‧‧‧觸摸感測器
328‧‧‧微控制器
400a‧‧‧方法
400b‧‧‧方法
400c‧‧‧方法
400d‧‧‧方法
402‧‧‧方塊
404‧‧‧方塊
406‧‧‧方塊
408‧‧‧方塊
410‧‧‧方塊
412‧‧‧方塊
414‧‧‧方塊
416‧‧‧方塊
418‧‧‧方塊
420‧‧‧方塊
422‧‧‧方塊
424‧‧‧方塊
426‧‧‧方塊
428‧‧‧方塊
430‧‧‧方塊
432‧‧‧方塊
434‧‧‧方塊
436‧‧‧方塊
440‧‧‧方塊
442‧‧‧方塊
444‧‧‧方塊
446‧‧‧方塊
500‧‧‧行動計算裝置
502‧‧‧顯示影像
504‧‧‧處理器可將物件
506‧‧‧物件
508‧‧‧文字
510‧‧‧第一文字層
512‧‧‧第二文字層
514‧‧‧影像
516‧‧‧三維物件
518‧‧‧三維物件
520‧‧‧X、Y和Z軸
522‧‧‧影像
524‧‧‧真實物件
526‧‧‧數位物件
528‧‧‧數位物件
530‧‧‧第一應用
532‧‧‧第二應用
600‧‧‧多感測器輸入轉譯表
602‧‧‧數列
604‧‧‧數列
606‧‧‧數列
608‧‧‧數列
610‧‧‧數列
612‧‧‧數列
614‧‧‧數列
616‧‧‧數列
618‧‧‧數列
620‧‧‧行
622‧‧‧行
624‧‧‧行
626‧‧‧行
628‧‧‧行
630‧‧‧行
700‧‧‧方法
702‧‧‧方塊
704‧‧‧方塊
706‧‧‧方塊
708‧‧‧方塊
710‧‧‧方塊
712‧‧‧方塊
714‧‧‧方塊
716‧‧‧方塊
718‧‧‧方塊
800‧‧‧方法
802‧‧‧方塊
804‧‧‧方塊
900‧‧‧方法
902‧‧‧方塊
904‧‧‧方塊
906‧‧‧方塊
908‧‧‧方塊
912‧‧‧方塊
1000‧‧‧方法
1002‧‧‧方塊
1004‧‧‧方塊
1006‧‧‧方塊
1100‧‧‧方法
1102‧‧‧方塊
1200‧‧‧方法
1210‧‧‧方塊
1220‧‧‧方塊
1230‧‧‧方塊
1240‧‧‧方塊
1300‧‧‧方法
1301‧‧‧推理引擎
1310‧‧‧觸控式螢幕活動應用參數
1320‧‧‧後臺活動應用參數
1330‧‧‧觸控式螢幕狀態
1340‧‧‧其他板載部件狀態
1350‧‧‧周邊部件狀態
1360‧‧‧多感測器輸入詳情
1370‧‧‧其他感測器輸入
1400‧‧‧方法
1402‧‧‧判斷方塊
1404‧‧‧方塊
1406‧‧‧方塊
1408‧‧‧方塊
1500‧‧‧方法
1502‧‧‧判斷方塊
1504‧‧‧方塊
1506‧‧‧方塊
1508‧‧‧方塊
1600‧‧‧方法
1602‧‧‧判斷方塊
1604‧‧‧方塊
1606‧‧‧方塊
1608‧‧‧方塊
1700‧‧‧方法
1702‧‧‧判斷方塊
1704‧‧‧方塊
1706‧‧‧方塊
1708‧‧‧方塊
1800‧‧‧方法
1802‧‧‧判斷方塊
1804‧‧‧方塊
1806‧‧‧方塊
1808‧‧‧方塊
1902‧‧‧處理器
1904‧‧‧觸控式螢幕控制器
1905‧‧‧輸入感測器控制器
1906‧‧‧內部記憶體
1908‧‧‧無線電信號收發機
1910‧‧‧天線
1912‧‧‧觸控式螢幕顯示器
1914‧‧‧揚聲器
1915‧‧‧話筒
1916‧‧‧蜂巢網路無線數據機晶片
1918‧‧‧周邊設備連接介面
1920‧‧‧殼體
1922‧‧‧電源
1924‧‧‧實體按鈕
1926‧‧‧實體按鈕
1932‧‧‧多觸摸感測器
1942‧‧‧無線充電天線
1944‧‧‧無線充電天線
納入於此且構成本說明書一部分的附圖示說了本發明的示例性實施例,並與所提供的概括描述和詳細描述一起用來解釋本文中的特徵。
圖1A是與具有觸摸感測器的行動計算裝置的使用者互動的立體視圖。
圖1B是與具有觸摸感測器的行動計算裝置的使用者互動的立體視圖。
圖2是適於與各實施例聯用的通訊系統的系統方塊圖。
圖3是適於實現各種實施例的行動計算裝置的部件方塊圖。
圖4A是圖示根據各種實施例的管理按順序接收的多感測器輸入的方法的程序流程圖。
圖4B是圖示根據各種實施例的管理按順序接收的多感測器輸入的方法的程序流程圖。
圖4C是圖示根據各種實施例的管理按順序接收的多感測器輸入的方法的程序流程圖。
圖4D是圖示根據各種實施例的管理按順序接收的多感測器輸入的方法的程序流程圖。
圖5A圖示了根據各種實施例的顯示具有前景影像層和背景影像層的影像的行動計算裝置。
圖5B圖示了根據各種實施例的顯示具有第一文字層和第二文字層的文字的行動計算裝置。
圖5C圖示了顯示多維影像的行動計算裝置。
圖5D圖示了根據各種實施例的與顯示擴展現實影像的視聽設備通訊的行動計算裝置。
圖5E圖示了根據各種實施例的被配置成控制在行動計算裝置上執行的多個應用的行動計算裝置。
圖5F圖示了根據各種實施例的被配置成與多個設備通訊及/或控制多個設備的行動計算裝置。
圖6是適於實現各種實施例的實例多感測器輸入轉譯表。
圖7是圖示根據各種實施例的管理按順序接收的多感測器輸入的方法的程序流程圖。
圖8是圖示根據各種實施例的管理多感測器輸入以獨立地控制或操縱單獨的物件、元素或層的方法的程序流程圖。
圖9是圖示根據各種實施例的決定所接收的輸入是否是多感測器輸入的方法的程序流程圖。
圖10是圖示根據各種實施例的啟用多感測器輸入模式以管理多感測器輸入的方法的程序流程圖。
圖11是圖示根據各種實施例的管理在多感測器輸入模式中接收的多感測器輸入的方法的程序流程圖。
圖12是圖示根據各種實施例的將觸摸感測器讀數映射到行動計算裝置的應用功能的方法的程序流程圖。
圖13是圖示使用上下文感知資料來決定行動計算裝置的操作上下文的方法的程序流程圖。
圖14是圖示根據一些實施例的關於照片應用來管理行動計算裝置的多感測器控制的方法的程序流程圖。
圖15是圖示根據一些實施例的關於放大鏡應用來管理行動計算裝置的多感測器控制的方法的程序流程圖。
圖16是圖示根據一些實施例的關於擴展現實應用來管理行動計算裝置的多感測器控制的方法的程序流程圖。
圖17是圖示根據一些實施例的關於基於行動計算裝置的各種觸摸感測器的輸入控制多個應用來管理行動計算裝置的多感測器控制的方法的程序流程圖。
圖18是圖示根據一些實施例的管理行動計算裝置的多感測器控制以基於行動計算裝置的各種觸摸感測器的輸入來控制多個設備的方法的程序流程圖。
圖19A和19B是適於與各種實施例聯用的實例行動計算裝置的部件示圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無

Claims (56)

  1. 一種管理具有一或多個觸摸感測器的一行動計算裝置的多層控制的方法,該方法包括以下步驟: 由該行動計算裝置的一處理器在一行動計算裝置處接收用於關於該行動設備處的內容執行一功能的一輸入,其中該行動設備處的該內容至少被分割成具有一或多個物件的一第一命令層和具有一或多個物件的一第二命令層; 判定該所接收的輸入是關聯於該第一命令層的一第一物件還是關聯於該第二命令層的一第二物件; 基於是該第一命令層還是該第二命令層被判定為關聯於該所接收的輸入來決定要對該第一物件或該第二物件之一執行的一功能;及 對該第一物件或該第二物件執行該所決定的功能。
  2. 如請求項1之方法,其中由該行動計算裝置的該處理器在該行動計算裝置處接收用於關於該行動設備處的內容執行一功能的該輸入包括以下步驟:在該行動計算裝置的該等觸摸感測器之一處接收用於關於該行動設備處的內容執行一功能的該輸入。
  3. 如請求項1之方法,進一步包括以下步驟: 從該行動計算裝置的一記憶體獲取一命令層轉譯表;及 決定接收到該輸入的一觸摸感測器; 其中決定要對該第一物件或該第二物件之一執行的該功能包括以下步驟:使用該轉譯表基於該所決定的觸摸感測器來決定與該所接收的輸入和該相關聯命令層相關聯的該功能。
  4. 如請求項1之方法,其中: 該第一命令層包括由該行動設備顯示的一影像的一第一影像層,而該第二命令層包括該所顯示的影像的一第二影像層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一影像層的一元素或該第二影像層的一元素執行該所決定的功能。
  5. 如請求項1之方法,其中: 該第一命令層包括由該行動設備顯示的一影像的一前景層,而該第二命令層包括該所顯示的影像的一背景層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該前景層的一元素或該背景層的一元素執行該所決定的功能。
  6. 如請求項1之方法,其中: 該第一命令層包括由該行動設備顯示的一影像的一第一維度,而該第二命令層包括該所顯示的影像的一第二維度;並且 對該第一物件或該第二物件執行該所決定的功能包括對該影像的該第一維度或該影像的該第二維度執行該所決定的功能。
  7. 如請求項1之方法,其中: 該第一命令層包括由該行動設備顯示的文字的一第一文字層,而該第二命令層包括該所顯示的文字的一第二文字層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一文字層的一元素或該第二文字層的一元素執行該所決定的功能。
  8. 如請求項1之方法,其中: 該第一命令層包括由該行動設備顯示的一擴展現實影像中由一處理器產生的數位物件影像層,而該第二命令層包括在該所顯示的擴展現實影像中顯示的一真實物件的真實影像層;並且 對該第一物件或該第二物件執行該所決定的功能包括對第一擴展現實影像層內的一擴展現實影像元素或該真實影像層內的一真實元素執行該所決定的功能。
  9. 如請求項1之方法,其中: 該第一命令層包括在該行動設備上執行的一第一應用,而該第二命令層包括在該行動設備上執行的一第二應用;並且 對該第一物件或該第二物件執行該所決定的功能包括向該第一應用或該第二應用發送執行該所決定的功能的一指令。
  10. 如請求項1之方法,其中: 該第一命令層包括被配置成從該行動計算裝置接收命令的一第一設備的一表示,而該第二命令層包括被配置成從該行動計算裝置接收命令的一第二設備的一表示;並且 對該第一物件或該第二物件執行該所決定的功能包括向該第一設備或該第二設備發送執行該所決定的功能的一指令。
  11. 如請求項1之方法,其中基本上佈置在該行動計算裝置之一正面的該一或多個觸摸感測器的一第一組被映射到該第一命令層,而基本上佈置在該行動計算裝置之一背面的該一或多個觸摸感測器的一第二組被映射到該第二命令層。
  12. 如請求項11之方法,其中該所接收的輸入是由該處理器在重疊的時間從該第一組的觸摸感測器之一和該第二組的觸摸感測器之一接收的兩個或更多個輸入之一。
  13. 如請求項11之方法,其中基本上佈置在該行動計算裝置之一側面的該一或多個觸摸感測器的一第三組被映射到該第一命令層和該第二命令層中的一者或多者。
  14. 如請求項13之方法,其中該所接收的輸入是由該處理器在重疊的時間從該第三組的該等觸摸感測器之一以及來自該第一組和該第二組中的一觸摸感測器接收的兩個或更多個輸入之一。
  15. 一種行動計算裝置,包括: 一或多個觸摸感測器; 一記憶體;及 一處理器,其耦合至該一或多個觸摸感測器和該記憶體,並且配置有一處理器可執行指令以執行操作,該等操作包括: 接收用於關於內容執行一功能的一輸入,其中該內容至少被分割成具有一或多個物件的一第一命令層和具有一或多個物件的一第二命令層; 判定該所接收的輸入是關聯於該第一命令層的一第一物件還是該第二命令層的一第二物件; 基於是該第一命令層還是該第二命令層被判定為關聯於該所接收的輸入來決定要對該第一物件或該第二物件之一執行的一功能;及 對該第一物件或該第二物件執行該所決定的功能。
  16. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得在該行動計算裝置處接收用於關於該行動設備處的內容執行一功能的該輸入包括:在該行動計算裝置的該等觸摸感測器之一處接收用於關於該行動設備處的內容執行一功能的該輸入。
  17. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,該等操作進一步包括: 從該記憶體獲取一命令層轉譯表;及 決定接收到該輸入的一觸摸感測器, 其中該處理器配置有處理器可執行指令以執行操作,以使得決定要對該第一物件或該第二物件之一執行的該功能包括:使用該轉譯表基於該所決定的觸摸感測器來決定與該所接收的輸入和該相關聯命令層相關聯的該功能。
  18. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得: 該第一命令層包括由該行動設備顯示的一影像的一第一影像層,而該第二命令層包括該所顯示的影像的一第二影像層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一影像層的一元素或該第二影像層的一元素執行該所決定的功能。
  19. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得: 該第一命令層包括由該行動設備顯示的一影像的一前景層,而該第二命令層包括該所顯示的影像的一背景層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該前景層的一元素或該背景層的一元素執行該所決定的功能。
  20. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得: 該第一命令層包括由該行動設備顯示的一影像的一第一維度,而該第二命令層包括該所顯示的影像的一第二維度;並且 對該第一物件或該第二物件執行該所決定的功能包括對該前景層的一元素或該背景層的一元素執行該所決定的功能。
  21. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得: 該第一命令層包括由該行動設備顯示的文字的一第一文字層,而該第二命令層包括該所顯示的文字的一第二文字層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一文字層的一元素或該第二文字層的一元素執行該所決定的功能。
  22. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得: 該第一命令層包括由該行動設備顯示的一擴展現實影像中由一處理器產生的數位物件影像層,而該第二命令層包括在該所顯示的擴展現實影像中顯示的一真實物件的真實影像層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一擴展現實影像層內的一擴展現實影像元素或該真實影像層內的一真實元素執行該所決定的功能。
  23. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得: 該第一命令層包括在該行動設備上執行的一第一應用,而該第二命令層包括在該行動設備上執行的一第二應用;並且 對該第一物件或該第二物件執行該所決定的功能包括向該第一應用或該第二應用發送執行該所決定的功能的一指令。
  24. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得: 該第一命令層包括被配置成從該行動計算裝置接收命令的一第一設備的一表示,而該第二命令層包括被配置成從該行動計算裝置接收命令的一第二設備的一表示;並且 對該第一物件或該第二物件執行該所決定的功能包括向該第一設備或該第二設備發送執行該所決定的功能的一指令。
  25. 如請求項15之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得基本上佈置在該行動計算裝置之一正面的該一或多個觸摸感測器的一第一組被映射到該第一命令層,而基本上佈置在該行動計算裝置之一背面的該一或多個觸摸感測器的一第二組被映射到該第二命令層。
  26. 如請求項25之行動計算裝置,其中該所接收的輸入是由該處理器在重疊的時間從該第一組的觸摸感測器之一和該第二組的觸摸感測器之一接收的兩個或更多個輸入之一。
  27. 如請求項25之行動計算裝置,其中該處理器配置有處理器可執行指令以執行操作,以使得基本上佈置在該行動計算裝置之一側面的該一或多個觸摸感測器的一第三組被映射到該第一命令層和該第二命令層中的一者或多者。
  28. 如請求項27之行動計算裝置,其中該所接收的輸入是由該處理器在重疊的時間從該第三組的該等觸摸感測器之一以及來自該第一組和該第二組中的一觸摸感測器接收的兩個或更多個輸入之一。
  29. 一種其上儲存有處理器可執行指令的非瞬態處理器可讀儲存媒體,該等指令被配置成使具有一或多個觸摸感測器的一行動計算裝置的一處理器執行用於管理該行動計算裝置的多層控制的操作,該等操作包括: 接收用於關於內容執行一功能的一輸入,其中該內容至少被分割成具有一或多個物件的一第一命令層和具有一或多個物件的一第二命令層; 判定該所接收的輸入是關聯於該第一命令層的一第一物件亦是關聯於該第二命令層的一第二物件; 基於是該第一命令層還是該第二命令層被判定為關聯於該所接收的輸入來決定要對該第一物件或該第二物件之一執行的一功能;及 對該第一物件或該第二物件執行該所決定的功能。
  30. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得接收用於關於內容執行一功能的該輸入包括在該行動計算裝置的該等觸摸感測器之一處接收該輸入。
  31. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,該等操作進一步包括: 從該行動計算裝置的一記憶體獲取一命令層轉譯表;及 決定接收到該輸入的一觸摸感測器; 其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得決定要對該第一物件或該第二物件之一執行的該功能包括:使用該轉譯表基於該所決定的觸摸感測器來決定與該所接收的輸入和該相關聯命令層相關聯的該功能。
  32. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得: 該第一命令層包括由該行動設備顯示的一影像的一第一影像層,而該第二命令層包括該所顯示的影像的一第二影像層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一影像層的一元素或該第二影像層的一元素執行該所決定的功能。
  33. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得: 該第一命令層包括由該行動設備顯示的一影像的一前景層,而該第二命令層包括該所顯示的影像的一背景層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該前景層的一元素或該背景層的一元素執行該所決定的功能。
  34. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得: 該第一命令層包括由該行動設備顯示的一影像的一第一維度,而該第二命令層包括該所顯示的影像的一第二維度;並且 對該第一物件或該第二物件執行該所決定的功能包括對該影像的該第一維度或該影像的該第二維度執行該所決定的功能。
  35. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得: 該第一命令層包括由該行動設備顯示的文字的一第一文字層,而該第二命令層包括所顯示的文字的一第二文字層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一文字層的一元素或該第二文字層的一元素執行該所決定的功能。
  36. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得: 該第一命令層包括由該行動設備顯示的一擴展現實影像中由一處理器產生的數位物件影像層,而該第二命令層包括在該所顯示的擴展現實影像中顯示的一真實物件的真實影像層;並且 對該第一物件或該第二物件執行該所決定的功能包括對該第一擴展現實影像層內的一擴展現實影像元素或該真實影像層內的一真實元素執行該所決定的功能。
  37. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得: 該第一命令層包括在該行動設備上執行的一第一應用,而該第二命令層包括在該行動設備上執行的一第二應用;並且 對該第一物件或該第二物件執行該所決定的功能包括向該第一應用或該第二應用發送執行該所決定的功能的一指令。
  38. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得: 該第一命令層包括被配置成從該行動計算裝置接收命令的一第一設備的一表示,而該第二命令層包括被配置成從該行動計算裝置接收命令的一第二設備的一表示;並且 對該第一物件或該第二物件執行該所決定的功能包括向該第一設備或該第二設備發送執行該所決定的功能的一指令。
  39. 如請求項29之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得基本上佈置在該行動計算裝置之一正面的該一或多個觸摸感測器的以第一組被映射到該第一命令層,而基本上佈置在該行動計算裝置之一背面的該一或多個觸摸感測器的一第二組被映射到該第二命令層。
  40. 如請求項39之非瞬態處理器可讀儲存媒體,其中該等所接收的輸入是由該處理器在重疊的時間從該第三組的該等觸摸感測器之一以及來自該第一組和該第二組中的一觸摸感測器接收的兩個或更多個輸入之一。
  41. 如請求項39之非瞬態處理器可讀儲存媒體,其中該等所儲存的處理器可執行指令被配置成使該行動設備的該處理器執行操作,以使得基本上佈置在該行動計算裝置之一側面的該一或多個觸摸感測器的一第三組被映射到該第一命令層和該第二命令層中的一者或多者。
  42. 如請求項41之非瞬態處理器可讀儲存媒體,其中該等所接收的輸入是由該處理器在重疊的時間從該第三組的該等觸摸感測器之一以及來自該第一組和該第二組中的一觸摸感測器接收的兩個或更多個輸入之一。
  43. 一種行動計算裝置,包括: 一或多個觸摸感測器; 用於接收用於關於內容執行一功能的一輸入的裝置,其中該行動設備處的該內容至少被分割成具有一或多個物件的一第一命令層和具有一或多個物件的一第二命令層; 用於判定該所接收的輸入是關聯於該第一命令層的一第一物件還是關聯於該第二命令層的一第二物件的裝置; 用於基於是該第一命令層還是該第二命令層被判定為關聯於該所接收的輸入來決定要對該第一物件或該第二物件之一執行的一功能的裝置;及 用於對該第一物件或該第二物件執行該所決定的功能的裝置。
  44. 如請求項43之行動計算裝置,其中用於在該行動計算裝置處接收用於關於內容執行一功能的該輸入的裝置包括用於在該等觸摸感測器之一處接收該輸入的裝置。
  45. 如請求項43之行動計算裝置,進一步包括: 用於從該行動計算裝置的一記憶體獲取一命令層轉譯表的裝置;及 用於決定接收到該輸入的一觸摸感測器的裝置; 其中用於決定要對該第一物件或該第二物件之一執行的該功能的裝置包括:用於使用該轉譯表基於該所決定的觸摸感測器來決定與該所接收的輸入和該相關聯命令層相關聯的該功能的裝置。
  46. 如請求項43之行動計算裝置,其中: 該第一命令層包括由該行動設備顯示的一影像的一第一影像層,而該第二命令層包括該所顯示的影像的一第二影像層;並且 用於對該第一物件或該第二物件執行該所決定的功能的裝置包括用於對該第一影像層的一元素或該第二影像層的一元素執行該所決定的功能的裝置。
  47. 如請求項43之行動計算裝置,其中: 該第一命令層包括由該行動設備顯示的一影像的一前景層,而該第二命令層包括該所顯示的影像的一背景層;並且 用於對該第一物件或該第二物件執行該所決定的功能的裝置包括用於對該前景層的一元素或該背景層的一元素執行該所決定的功能的裝置。
  48. 如請求項43之行動計算裝置,其中: 該第一命令層包括由該行動設備顯示的一影像的一第一維度,而該第二命令層包括該所顯示的影像的一第二維度;並且 用於對該第一物件或該第二物件執行該所決定的功能的裝置包括用於對該影像的該第一維度或該影像的該第二維度執行該所決定的功能的裝置。
  49. 如請求項43之行動計算裝置,其中: 該第一命令層包括由該行動設備顯示的文字的一第一文字層,而該第二命令層包括該所顯示的文字的一第二文字層;並且 用於對該第一物件或該第二物件執行該所決定的功能的裝置包括用於對該第一文字層的一元素或該第二文字層的一元素執行該所決定的功能的裝置。
  50. 如請求項43之行動計算裝置,其中: 該第一命令層包括由該行動設備顯示的一擴展現實影像中由一處理器產生的數位物件影像層,而該第二命令層包括在該所顯示的擴展現實影像中顯示的一真實物件的真實影像層;並且 用於對該第一物件或該第二物件執行該所決定的功能的裝置包括用於對該第一擴展現實影像層內的一擴展現實影像元素或該真實影像層內的一真實元素執行該所決定的功能的裝置。
  51. 如請求項43之行動計算裝置,其中: 該第一命令層包括在該行動設備上執行的一第一應用,而該第二命令層包括在該行動設備上執行的一第二應用;並且 用於對該第一物件或該第二物件執行該所決定的功能的裝置包括用於向該第一應用或該第二應用發送執行該所決定的功能的一指令的裝置。
  52. 如請求項43之行動計算裝置,其中: 該第一命令層包括被配置成從該行動計算裝置接收命令的一第一設備的一表示,而該第二命令層包括被配置成從該行動計算裝置接收命令的一第二設備的一表示;並且 用於對該第一物件或該第二物件執行該所決定的功能的裝置包括用於向該第一設備或該第二設備發送執行該所決定的功能的一指令的裝置。
  53. 如請求項43之行動計算裝置,其中基本上佈置在該行動計算裝置之一正面的該一或多個觸摸感測器的一第一組被映射到該第一命令層,而基本上佈置在該行動計算裝置之一背面的該一或多個觸摸感測器的一第二組被映射到該第二命令層。
  54. 如請求項53之行動計算裝置,其中該所接收的輸入是由該處理器在重疊的時間從該第三組的該等觸摸感測器之一以及來自該第一組和該第二組中的一觸摸感測器接收的兩個或更多個輸入之一。
  55. 如請求項53之行動計算裝置,其中基本上佈置在該行動計算裝置之一側面的該一或多個觸摸感測器的一第三組被映射到該第一命令層和該第二命令層中的一者或多者。
  56. 如請求項55之行動計算裝置,其中該所接收的輸入是由該處理器在重疊的時間從該第三組的該等觸摸感測器之一以及來自該第一組和該第二組中的一觸摸感測器接收的兩個或更多個輸入之一。
TW107128534A 2017-10-14 2018-08-16 直接操縱多層使用者介面的方法 TW201923528A (zh)

Applications Claiming Priority (12)

Application Number Priority Date Filing Date Title
US201762572455P 2017-10-14 2017-10-14
US201762572471P 2017-10-14 2017-10-14
US201762572453P 2017-10-14 2017-10-14
US201762572460P 2017-10-14 2017-10-14
US201762572465P 2017-10-14 2017-10-14
US62/572,460 2017-10-14
US62/572,465 2017-10-14
US62/572,455 2017-10-14
US62/572,471 2017-10-14
US62/572,453 2017-10-14
US16/101,692 2018-08-13
US16/101,692 US10901606B2 (en) 2017-10-14 2018-08-13 Methods of direct manipulation of multi-layered user interfaces

Publications (1)

Publication Number Publication Date
TW201923528A true TW201923528A (zh) 2019-06-16

Family

ID=66096392

Family Applications (3)

Application Number Title Priority Date Filing Date
TW107125628A TW201915702A (zh) 2017-10-14 2018-07-25 管理和映射多面觸摸
TW107128534A TW201923528A (zh) 2017-10-14 2018-08-16 直接操縱多層使用者介面的方法
TW107128563A TW201923522A (zh) 2017-10-14 2018-08-16 用於偵測設備上下文以更改觸摸電容的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107125628A TW201915702A (zh) 2017-10-14 2018-07-25 管理和映射多面觸摸

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107128563A TW201923522A (zh) 2017-10-14 2018-08-16 用於偵測設備上下文以更改觸摸電容的方法

Country Status (6)

Country Link
US (7) US11126258B2 (zh)
EP (3) EP3695300B1 (zh)
CN (3) CN111226191A (zh)
SG (2) SG11202001955TA (zh)
TW (3) TW201915702A (zh)
WO (3) WO2019074567A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761960B (zh) * 2020-08-04 2022-04-21 宏達國際電子股份有限公司 切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體
TWI779310B (zh) * 2019-09-26 2022-10-01 華碩電腦股份有限公司 電子裝置之控制方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126258B2 (en) 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch
CN108279805B (zh) * 2018-01-31 2022-03-25 北京小米移动软件有限公司 保护膜检测方法、装置及存储介质
US10845921B2 (en) * 2018-05-21 2020-11-24 Motorola Mobility Llc Methods and systems for augmenting images in an electronic device
KR102519800B1 (ko) * 2018-07-17 2023-04-10 삼성디스플레이 주식회사 전자 장치
CN110912960B (zh) * 2018-09-18 2023-04-28 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质
US11157094B2 (en) * 2018-12-12 2021-10-26 Dell Products, L.P. Touch input switching for multi-form factor information handling system (IHS)
CN113228688B (zh) * 2018-12-26 2024-04-05 美国斯耐普公司 在计算设备上创建壁纸图像的系统和方法
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11450044B2 (en) * 2019-03-20 2022-09-20 Kt Corporation Creating and displaying multi-layered augemented reality
EP3928182A1 (en) * 2019-05-20 2021-12-29 Google LLC Mobile device-based radar system for providing a multi-mode interface and method therefor
WO2020250352A1 (ja) * 2019-06-12 2020-12-17 日本電信電話株式会社 タッチパネル型情報端末装置およびその情報入力処理方法
WO2020256692A1 (en) * 2019-06-17 2020-12-24 Google Llc Mobile device-based radar system for applying different power modes to a multi-mode interface
US10955933B2 (en) * 2019-07-29 2021-03-23 Cirque Corporation Hybrid circuit for a touch pad keyboard
US11194429B2 (en) * 2019-09-05 2021-12-07 Panasonic Intellectual Property Management Co., Ltd. Information display terminal
US11256367B2 (en) 2019-09-27 2022-02-22 Apple Inc. Techniques for handling unintentional touch inputs on a touch-sensitive surface
KR20210048941A (ko) 2019-10-24 2021-05-04 삼성전자주식회사 전자 장치 및 그의 디스플레이 동작 제어 방법
CN113138690A (zh) * 2020-01-20 2021-07-20 北京小米移动软件有限公司 触控屏、移动终端、控制方法、装置及存储介质
US20210258350A1 (en) * 2020-02-19 2021-08-19 Lookout, Inc. Privacy preservation in network connections
US11089196B1 (en) * 2020-04-22 2021-08-10 Dell Products L.P. Capacitive switch for controlling a camera module for an information handling system
CN111596858B (zh) * 2020-05-15 2021-06-15 李小东 手持电子设备操控方法及手持电子设备
US11715327B2 (en) * 2020-06-22 2023-08-01 Motorola Mobility Llc Electronic devices and methods for selecting display locations for content presentation
CN117354773A (zh) * 2020-06-30 2024-01-05 荣耀终端有限公司 交互控制方法、装置、终端和存储介质
EP3945402B1 (en) * 2020-07-29 2024-03-27 Tata Consultancy Services Limited Method and device providing multimodal input mechanism
US11782149B2 (en) * 2021-01-08 2023-10-10 Google Llc Systems and methods for managing motion detection of an electronic device, and associated electronic devices
US11740726B2 (en) * 2021-03-08 2023-08-29 International Business Machines Corporation Touch sensitivity management
US20220334578A1 (en) * 2021-04-14 2022-10-20 Ford Global Technologies, Llc Remote Control System For A Vehicle And Trailer
JP2023020731A (ja) * 2021-07-30 2023-02-09 富士フイルムビジネスイノベーション株式会社 装置およびプログラム
CN113342247B (zh) * 2021-08-04 2021-11-02 北京达佳互联信息技术有限公司 素材处理方法、装置、电子设备及存储介质
US20230170976A1 (en) * 2021-11-30 2023-06-01 Qualcomm Incorporated Beam selection and codebook learning based on xr perception
US20240077868A1 (en) * 2022-09-07 2024-03-07 Schweitzer Engineering Laboratories, Inc. Configurable multi-sensor input

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US8144129B2 (en) 2007-01-05 2012-03-27 Apple Inc. Flexible touch sensing circuits
US8358226B2 (en) 2007-10-28 2013-01-22 Synaptics Incorporated Determining actuation of multi-sensor-electrode capacitive buttons
WO2010007813A1 (ja) 2008-07-16 2010-01-21 株式会社ソニー・コンピュータエンタテインメント 携帯型画像表示装置、その制御方法及び情報記憶媒体
KR101737829B1 (ko) 2008-11-10 2017-05-22 삼성전자주식회사 휴대 단말기의 모션 입력 장치 및 그의 운용 방법
JP5363259B2 (ja) 2009-09-29 2013-12-11 富士フイルム株式会社 画像表示装置、画像表示方法およびプログラム
US20110087963A1 (en) 2009-10-09 2011-04-14 At&T Mobility Ii Llc User Interface Control with Edge Finger and Motion Sensing
US8988356B2 (en) 2009-12-31 2015-03-24 Google Inc. Touch sensor and touchscreen user input combination
KR20110081040A (ko) 2010-01-06 2011-07-13 삼성전자주식회사 투명 디스플레이를 구비한 휴대단말에서 컨텐츠 운용 방법 및 장치
US8432368B2 (en) 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
US9519356B2 (en) * 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
TW201220152A (en) * 2010-11-11 2012-05-16 Wistron Corp Touch control device and touch control method with multi-touch function
US8797283B2 (en) * 2010-11-22 2014-08-05 Sony Computer Entertainment America Llc Method and apparatus for performing user-defined macros
CN103534674A (zh) * 2011-02-08 2014-01-22 海沃氏公司 多模态触摸屏交互装置、方法和系统
US10969833B2 (en) 2011-04-19 2021-04-06 Nokia Technologies Oy Method and apparatus for providing a three-dimensional data navigation and manipulation interface
US20120268411A1 (en) 2011-04-19 2012-10-25 Symbol Technologies, Inc. Multi-modal capacitive touchscreen interface
US20130159939A1 (en) * 2011-10-12 2013-06-20 Qualcomm Incorporated Authenticated gesture recognition
US20130106710A1 (en) 2011-10-31 2013-05-02 Nokia Corporation Methods, apparatuses, and computer program products for adjusting touchscreen sensitivity
KR101869083B1 (ko) * 2011-12-01 2018-06-19 현대모비스 주식회사 정전 용량식 터치 스크린의 터치 감도 제어방법 및 이를 이용한 디스플레이 장치
US9257098B2 (en) * 2011-12-23 2016-02-09 Nokia Technologies Oy Apparatus and methods for displaying second content in response to user inputs
US20130194235A1 (en) * 2012-02-01 2013-08-01 Logitec Europe S.A. Multi-sensor input device
US20130257746A1 (en) * 2012-03-29 2013-10-03 Dmitriy Sergeyevich Cherkasov Input Module for First Input and Second Input
US20130265276A1 (en) 2012-04-09 2013-10-10 Amazon Technologies, Inc. Multiple touch sensing modes
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
US20140078086A1 (en) 2012-09-20 2014-03-20 Marvell World Trade Ltd. Augmented touch control for hand-held devices
US9557846B2 (en) 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
US9152247B2 (en) 2012-10-24 2015-10-06 Google Inc. Computing device with force-triggered non-visual responses
US9477313B2 (en) * 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US9152271B2 (en) 2013-02-06 2015-10-06 Honeywell International Inc. Automatic and dynamic sensitivity control of projected capacitive touch sensitive detection systems
KR102120099B1 (ko) * 2013-02-06 2020-06-09 엘지전자 주식회사 양면 터치 인식 가능한 디지털 디바이스 및 제어 방법
US20140292636A1 (en) * 2013-03-29 2014-10-02 Plantronics, Inc. Head-Worn Infrared-Based Mobile User-Interface
US9772764B2 (en) 2013-06-06 2017-09-26 Microsoft Technology Licensing, Llc Accommodating sensors and touch in a unified experience
KR101584590B1 (ko) 2013-07-11 2016-01-13 삼성전자주식회사 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
CN105324736B (zh) * 2013-07-23 2018-09-11 英特尔公司 触摸式和非触摸式用户交互输入的技术
KR20150019165A (ko) 2013-08-12 2015-02-25 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102097639B1 (ko) 2013-11-05 2020-04-06 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US20150177945A1 (en) 2013-12-23 2015-06-25 Uttam K. Sengupta Adapting interface based on usage context
US10831318B2 (en) 2013-12-24 2020-11-10 Intel Corporation Adaptive enclosure for a mobile computing device
US9389830B2 (en) * 2013-12-24 2016-07-12 Arthur Tan-Chi Yuan Combined multi-source input interface
US20150227166A1 (en) 2014-02-13 2015-08-13 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
US9727161B2 (en) * 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US10042547B2 (en) * 2014-06-17 2018-08-07 Vmware, Inc. User interface control based on pinch gestures
US9304643B2 (en) 2014-06-24 2016-04-05 Synaptics Incorporated Classifying input objects interacting with a capacitive button
US20160004384A1 (en) * 2014-07-03 2016-01-07 Hisashi Sato Method of universal multi-touch input
US20160026309A1 (en) * 2014-07-25 2016-01-28 Hannstar Display (Nanjing) Corporation Controller
US10306174B1 (en) * 2014-09-15 2019-05-28 Google Llc Multi sensory input to improve hands-free actions of an electronic device
US10345967B2 (en) * 2014-09-17 2019-07-09 Red Hat, Inc. User interface for a device
CN111651159A (zh) * 2014-11-21 2020-09-11 习得智交互软件开发公司 提供原型设计工具的方法及非暂时性计算机可解读的媒介
US9788277B2 (en) 2015-01-15 2017-10-10 Mediatek Inc. Power saving mechanism for in-pocket detection
KR20160101580A (ko) 2015-02-17 2016-08-25 삼성전자주식회사 터치 스크린 패널의 활성화 영역 제어 방법 및 그 전자 장치
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US20170115782A1 (en) 2015-10-23 2017-04-27 Microsoft Technology Licensing, Llc Combined grip and mobility sensing
US10768804B2 (en) 2016-09-06 2020-09-08 Microsoft Technology Licensing, Llc Gesture language for a device with multiple touch surfaces
US11126258B2 (en) 2017-10-14 2021-09-21 Qualcomm Incorporated Managing and mapping multi-sided touch

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI779310B (zh) * 2019-09-26 2022-10-01 華碩電腦股份有限公司 電子裝置之控制方法
TWI761960B (zh) * 2020-08-04 2022-04-21 宏達國際電子股份有限公司 切換輸入裝置的方法、頭戴式顯示器及電腦可讀儲存媒體

Also Published As

Publication number Publication date
TW201915702A (zh) 2019-04-16
US20190114021A1 (en) 2019-04-18
US11635810B2 (en) 2023-04-25
US20190114005A1 (en) 2019-04-18
SG11202001955TA (en) 2020-04-29
CN111194436B (zh) 2024-03-19
CN111226191A (zh) 2020-06-02
EP3695302A1 (en) 2020-08-19
WO2019074577A1 (en) 2019-04-18
US20210382550A1 (en) 2021-12-09
US10901606B2 (en) 2021-01-26
US11126258B2 (en) 2021-09-21
US20210278896A1 (en) 2021-09-09
TW201923522A (zh) 2019-06-16
WO2019074567A1 (en) 2019-04-18
US20210278897A1 (en) 2021-09-09
US20210109611A1 (en) 2021-04-15
US10551984B2 (en) 2020-02-04
EP3695300B1 (en) 2024-04-24
EP3695300A1 (en) 2020-08-19
SG11202001957YA (en) 2020-04-29
WO2019074578A1 (en) 2019-04-18
US20190113995A1 (en) 2019-04-18
US11353956B2 (en) 2022-06-07
CN111201505A (zh) 2020-05-26
EP3695301A1 (en) 2020-08-19
US11460918B2 (en) 2022-10-04
US11740694B2 (en) 2023-08-29
CN111194436A (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
US11353956B2 (en) Methods of direct manipulation of multi-layered user interfaces
JP7090210B2 (ja) シミュレートされた深度効果のためのユーザインタフェース
US9952681B2 (en) Method and device for switching tasks using fingerprint information
KR102449666B1 (ko) 알림 처리 방법 및 전자 기기
US11054988B2 (en) Graphical user interface display method and electronic device
AU2020201096A1 (en) Quick screen splitting method, apparatus, and electronic device, display UI, and storage medium
KR20160087268A (ko) 이동 단말기 및 이의 제어방법
US20220206645A1 (en) Management of screen content capture
KR20150026132A (ko) 전자 장치를 이용하여 오브젝트를 공유하는 방법 및 장치
CN107422977A (zh) 触发操作处理方法、装置以及计算机可读存储介质
CN110276723B (zh) 一种头像挂件生成方法、装置及相关设备
US20210165670A1 (en) Method, apparatus for adding shortcut plug-in, and intelligent device
EP3198389B1 (en) Apparatus and method for identifying object
US20200019366A1 (en) Data Processing Method and Mobile Device
KR20130038753A (ko) 이동 단말기 및 그것의 사용자 인터페이스 제공 방법
CN104951194B (zh) 拍照操作菜单的显示方法及装置
WO2017211021A1 (zh) 应用触发方法及装置
KR102386100B1 (ko) 리스트 표시 방법 및 장치