TW202016694A - 資料處理方法、裝置和機器可讀媒體 - Google Patents
資料處理方法、裝置和機器可讀媒體 Download PDFInfo
- Publication number
- TW202016694A TW202016694A TW108129108A TW108129108A TW202016694A TW 202016694 A TW202016694 A TW 202016694A TW 108129108 A TW108129108 A TW 108129108A TW 108129108 A TW108129108 A TW 108129108A TW 202016694 A TW202016694 A TW 202016694A
- Authority
- TW
- Taiwan
- Prior art keywords
- interaction mode
- interface
- user
- input
- function
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本發明實施例提供了一種資料處理方法、裝置和機器可讀媒體,所述的方法包括:回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置與所述使用者的手部位置相匹配;所述第一輸入對應第一互動方式;所述介面對應第二互動方式;回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入對應第二互動方式。本發明實施例可以降低使用者的操作成本,提高使用者的操作效率,且可以增加手部與介面之間的關聯性。
Description
本發明涉及電腦技術領域,特別是涉及一種資料處理方法、一種資料處理裝置、一種裝置和一種機器可讀媒體。
隨著電腦技術的發展,人機互動技術也得到了迅猛發展。目前較為成熟的人機互動方式具體包括:語音互動方式、手勢互動方式、觸控互動方式等。這些人機互動方式被應用於實現日常的功能,如音量、亮度、飽和度、溫度、風速等參數的調節功能。
一種相關技術,可以通過語音互動方式實現上述調節功能。以音量調節功能為例,常用的語音口令可以包括:“音量放大一點”、“音量降低一點”、或者“音量調到音量數值X”等,且可以回應於使用者輸入的語音口令,進行音量的調節,如在目前音量的基礎上將音量數值增加調整量、或者降低調整量、或者調整為音量數值X等。該相關技術通常需要使用者準確確定與音量調節的相關資訊,如一次語音口令對應的調整量是多少、目前音量對應的目前音量數值是多少、以及所需的目標音量數值是多少等;若不能準確確定上述相關資訊,則將會增加語音口令的次數。並且,即使能夠準確確定上述相關資訊,考慮到目前音量數值、以及調整量的多種情況,仍需要多次語音口令,才能得到所需的目標音量數值,既使得使用者的操作成本增加,而且使得調節效率較低。
一種相關技術,可以通過手勢互動方式實現上述調節功能。具體地,可以向使用者提供N(N為自然數)個手勢,其中不同的手勢可以代表不同的調節功能,以使使用者通過不同的手勢實現不同的調節功能。例如,單指順時針旋轉的手勢對應音量上調功能,單指逆時針旋轉的手勢對應音量下調功能,雙指順時針旋轉的手勢對應風速上調功能,雙指逆時針旋轉的手勢對應風速下調功能,三指順時針旋轉的手勢對應溫度上調功能,三指逆時針旋轉的手勢對應溫度下調功能等等。在實際應用中,N的值通常與功能的數量相匹配,N的值通常大於6,因此增加了手勢的記憶難度。
一種相關技術,可以通過觸控互動方式實現上述調節功能。具體地,使用者可以首先通過點擊桌面上的設置圖標,進入第一設置介面;然後,在設置介面中尋找並點擊對應調節功能的設置項,以進入第二設置介面;接著,在第二設置介面中通過觸控滑動的方式進行功能的調節。上述操作過程需要經過桌面→第一設置介面→第二設置介面的跳轉,且需要使用者的多次點擊操作,因此,既使得使用者的操作成本增加,而且使得調節效率較低。
本發明實施例所要解決的技術問題是提供一種資料處理方法,可以降低使用者的操作成本,提高使用者的操作效率,且可以增加手部與介面之間的關聯性。
相應的,本發明實施例還提供了一種資料處理裝置、一種裝置以及一種機器可讀媒體,用以保證上述方法的實現及應用。
為了解決上述問題,本發明實施例公開了一種資料處理方法,包括:
回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置與所述使用者的手部位置相匹配;所述第一輸入對應第一互動方式;所述介面對應第二互動方式;
回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入對應第二互動方式。
另一方面,本發明實施例還公開了一種資料處理裝置,包括:
介面顯示模組,用於回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置與所述使用者的手部位置相匹配;所述第一輸入對應第一互動方式;所述介面對應第二互動方式;以及
功能執行模組,用於回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入對應第二互動方式。
再一方面,本發明實施例還公開了一種裝置,包括:
一個或多個處理器;和
其上儲存有指令的一個或多個機器可讀媒體,當由所述一個或多個處理器執行時,使得所述設備執行前述一個或多個所述的方法。
又一方面,本發明實施例公開了一個或多個機器可讀媒體,其上儲存有指令,當由一個或多個處理器執行時,使得設備執行前述一個或多個所述的方法。
與現有技術相比,本發明實施例包括以下優點:
本發明實施例採用第一互動方式和第二互動方式,實現功能;其中,第一互動方式對應的第一輸入用於觸發介面的顯示,第二互動方式對應的第二輸入用於觸發介面對應的功能的執行;本發明實施例可以綜合第一互動方式和第二互動方式的優點,且可以規避第一互動方式或者第二互動方式的缺點,本發明實施例可以通過第一輸入和第二輸入實現功能,故可以降低使用者的操作成本,提高使用者的操作效率。
並且,本發明實施例中介面在螢幕上的目標位置與使用者的手部位置相匹配,這樣,可以增加手部與介面之間的關聯性,可以實現手部在哪則介面在哪的效果,因此可以增加手部操作的便利性,且可以提升使用者體驗。
為使本發明的上述目的、特徵和優點能夠更加明顯易懂,下面結合附圖和具體實施方式對本發明作進一步詳細的說明。
下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員所獲得的所有其他實施例,都屬於本發明保護的範圍。
本發明的構思易於進行各種修改和替代形式,其具體實施例已經通過附圖的方式示出,並將在這裡詳細描述。然而,應該理解,上述內容並不是用來將本發明的構思限制為所公開的具體形式,相反地,本發明的說明書和附加申請專利範圍意欲覆蓋所有的修改、等同和替代的形式。
本說明書中的“一個實施例”,“實施例”,“一個具體實施例”等,表示所描述的實施例可以包括特定特徵、結構或特性,但是每個實施例可以包括或可以不必然包括該特定特徵、結構或特性。此外,這樣的短語不一定指的是同一實施例。另外,在聯繫一個實施例描述特定特徵、結構或特性的情況下,無論是否明確描述,可以認為本領域技術人員所知的範圍內,這樣的特徵、結構或特性也與其他實施例有關。另外,應該理解的是,“在A,B和C的至少一個”這種形式所包括的列表中的條目中,可以包括如下可能的項目:(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)。同樣,“A,B或C中的至少一個”這種形式列出的項目可能意味著(A);(B);(C);(A和B);(A和C);(B和C);或(A,B和C)。
在一些情況下,所公開的實施例可以被實施為硬體、韌體、軟體或其任意組合。所公開的實施例也可以實現為攜帶或儲存在一個或多個暫時的或者非暫時的機器可讀(例如電腦可讀)儲存媒體中的指令,該指令可以被一個或多個處理器執行。機器可讀儲存媒體可以實施為用於以能夠被機器讀取的形式儲存或者傳輸資訊的儲存裝置、機構或其他物理結構(例如易失性或非揮發性記憶體、媒體盤、或其他媒體其它物理結構裝置)。
在附圖中,一些結構或方法特徵可以以特定的安排及/或排序顯示。然而,較佳地,這樣的具體安排及/或排序並不是必要的。相反,在一些實施方案中,這樣的特徵可以以不同的方式及/或順序排列,而不是如附圖中所示。此外,特定的附圖中的結構或方法特徵中所包含的內容,不意味著暗示這種特徵是在所有實施例是必須的,並且在一些實施方案中,可能不包括這些特徵,或者可能將這些特徵與其它特徵相結合。
本發明實施例提供了一種資料處理方案,該方案可以回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置可以與所述使用者的手部位置相匹配;所述第一輸入可以對應第一互動方式;所述介面可以對應第二互動方式;以及,回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入可以對應第二互動方式。
本發明實施例採用第一互動方式和第二互動方式,實現功能;其中,第一互動方式對應的第一輸入用於觸發介面的顯示,第二互動方式對應的第二輸入用於觸發介面對應的功能的執行;本發明實施例可以綜合第一互動方式和第二互動方式的優點,且可以規避第一互動方式或者第二互動方式的缺點,本發明實施例可以通過第一輸入和第二輸入實現功能,故可以降低使用者的操作成本,提高使用者的操作效率。
例如,由於本發明實施例可以通過介面反饋功能的資訊,如功能的目前狀態、使用者對於功能的執行效果等;上述功能的資訊可以輔助使用者產生精準的第二輸入,因此,可以減少例如語音互動的人機互動次數,降低使用者的操作成本。
又如,由於本發明實施例的介面可以適用於任意類型的功能,故本發明實施例可以使不同類型的功能共用手勢,因此可以減少手勢的樣式,以及可以降低手勢的記憶成本和學習成本。例如,音量、亮度、飽和度、對比度、溫度、風速等不同類型的功能,可以共用手勢,因此可以減少手勢的樣式。
再如,由於本發明實施例可以通過第一輸入快速直達介面,因此可以減少通過觸控互動方式實現功能所花費的操作路徑,降低使用者的操作成本。
並且,本發明實施例中介面在螢幕上的目標位置與使用者的手部位置相匹配,這樣,可以增加手部與介面之間的關聯性,可以實現手部在哪則介面在哪的效果,因此可以增強手部操作的便利性,且可以提升使用者體驗。
本領域技術人員可以根據實際應用需求,確定第一互動方式和第二互動方式。
根據一種實施例,所述第一互動方式可以為語音互動方式,所述第二互動方式可以為手勢互動方式、或者觸控互動方式。此種情況下,可以對單一的語音互動方式的冗長互動流程進行改進,通過語音輸入便捷地調出介面,並通過手勢互動方式、或者觸控互動方式便捷地產生第二輸入,以實現介面對應的功能。需要說明的是,在通過手勢互動操作產生第二輸入的情況下,由於顯示的介面可以使不同類型的功能共用手勢,故可以減少手勢的樣式,降低手勢的記憶成本和學習成本。
根據另一種實施例,所述第一互動方式可以為觸控互動方式,所述第二互動方式可以為手勢互動方式、或者語音互動方式。此種情況下,第一輸入可以為預設的觸控輸入,如預設次數的敲擊螢幕的操作、預設按壓力度的敲擊螢幕的操作、或者在螢幕上產生的預設軌跡的滑動操作等,以通過第一輸入便捷地調出介面。並且,可以通過介面反饋功能的資訊,如功能的目前狀態、使用者對於功能的執行效果等;上述功能的資訊可以輔助使用者產生精準的第二輸入,因此,可以減少例如語音互動的人機互動次數,降低使用者的操作成本。可選地,介面上可以顯示音量的目前音量值和最大音量值,以便於使用者確定所需的目標音量值X,並通過語音口令觸發目標音量值X的調整。
根據再一種實施例,所述第一互動方式可以為手勢互動方式,所述第二互動方式可以為觸控互動方式、或者語音互動方式。此種情況下,第一輸入可以為預設的手勢輸入,如手部的橫向、縱向或者旋轉等任意方向的操作,以通過第一輸入便捷地調出介面。
本發明實施例的應用情境可以包括:遠距離操作的情境、或者不便精準操作的近距離情境、或者觸控螢幕情境等。其中,遠距離操作的情境可以包括:智慧電視情境、大螢幕情境等,不便精準操作的近距離情境可以包括:駕駛情境等。
以駕駛情境為例,為了安全駕駛,使用者需要觀察車輛周圍的路況,因此,使用者的注意力在駕駛行為上,因此不便於精準操作;而本發明實施例支持使用者通過第一互動方式和第二互動方式,實現所需的功能;第一互動方式可以為語音互動方式,第二互動方式可以為手勢互動方式,由於語音互動方式和手勢互動方式均為非接觸性的人機互動方式,故可以使使用者不投入視線或者投入較少視線,使使用者更專注於駕駛,因此可以提高駕駛的安全性。
以觸控螢幕情境為例,按照傳統方式,需要通過多級介面的跳轉才能進入功能的介面。本發明實施例可以通過例如語音互動方式的第一互動方式調出介面,並通過手勢互動方式在介面上進行操作。因此可以減少通過觸控互動方式實現功能所花費的操作路徑,降低使用者的操作成本。
可以理解,上述遠距離操作的情境、或者不便精準操作的近距離情境、或者觸控螢幕情境只是作為應用情境的示例,實際上,本領域技術人員可以根據實際應用需求,將本發明實施例應用到任意的應用情境,本發明實施例對於具體的應用情境不加以限制。
本發明實施例提供的資料處理方法可應用於圖1所示的應用環境中,如圖1所示,用戶端100與伺服器200位於有線或無線網路中,通過該有線或無線網路,用戶端100與伺服器200進行資料互動。
可選地,用戶端可以運行在設備上,例如,該用戶端可以為終端上運行的APP,如導航APP、電子商務APP、即時通訊APP、輸入法APP、或者作業系統自帶的APP等,本發明實施例對於用戶端所對應的具體APP不加以限制。
可選地,上述設備可以內置或者外接螢幕,上述螢幕用於顯示資訊。上述設備具體可以包括但不限於:智慧手機、平板電腦、電子書閱讀器、MP3 (動態影像專家壓縮標準音訊層面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(動態影像專家壓縮標準音訊層面4,Moving Picture Experts Group Audio Layer IV)播放器、膝上型便攜電腦、車載設備、PC(個人電腦,Personal Computer)、機上盒、智慧電視機、可穿戴設備、大螢幕的控制設備,該控制設備用於控制大螢幕的顯示等等。可以理解,本發明實施例對於具體的設備不加以限制。
車載設備的例子可以包括:HUD(平視顯示器,Head Up Display)等,HUD通常安裝在駕駛員前方,在駕駛過程中可為駕駛員提供一些必要的行車資訊,如車速、油耗、導航,甚至手機來電、訊息提醒等;換言之,HUD可以集多種功能於一體,方便駕駛員關注行車路況。
本發明實施例中的功能可以為任意的功能,如上述功能可以包括:系統功能、或者應用功能。上述系統功能可以包括:音量、亮度、飽和度、指示燈參數、對比度、溫度、風速等參數的設置功能。上述應用功能可以指應用程式內部的功能,應用程式可以根據實際應用需求,確定上述功能,如瀏覽器應用的顯示參數的設置功能等。
可選地,上述功能可以為系統全域功能,例如PC的音量、亮度、背光燈等參數的調節功能,車載設備的音量、風速、溫度等參數的調節功能等。換言之,本發明實施例可以針對車載設備,調節音量、風速、溫度等系統功能。或者,本發明實施例可以針對智慧電視,調節音量、亮度、飽和度等系統功能。或者,本發明實施例可以針對PC、平板電腦等大螢幕,調節音量、亮度等系統功能。
上述參數可以為設備耦合的裝置的工作參數,上述耦合可以包括:非接觸連接(如網路連接)或者接觸連接。其中,音量可以指例如喇叭的發聲裝置的工作參數。亮度、飽和度、對比度可以指例如螢幕的顯示器的工作參數。溫度、風速可以指例如空調的工作參數。在駕駛情境下,可以通過車載設備對車輛內空調的工作參數進行調節;或者,可以通過智慧電視、或者智慧手機對室內空調的工作參數進行調節。可以理解,本發明實施例的功能可以與任意的工作參數相應,本發明實施例對於具體的功能不加以限制。
本發明實施例可以通過手勢識別裝置,採集使用者的手勢,對採集的手勢進行識別,由此可以對手勢識別結果進行回應。手勢識別用於判斷手勢屬於哪一種。
本發明實施例中,手勢的方位可以包括:方向、角度和弧度中的至少一種。在實際應用中,預設狀態下的手部可以沿著任意方向行動,或者預設狀態下的手部可以在平面內繞某個點旋轉,或者,預設狀態下的手部可以繞著某個軸翻轉,以得到多樣性的手勢。其中,預設狀態可以包括:握拳狀態、手掌展開狀態、手掌半展開狀態等。可以理解,本領域技術人員或者使用者可以根據實際應用需求,設置所需的手勢,並採用所需的資訊來表徵手勢的方位,本發明實施例對於具體的手勢、以及手勢的具體方位表示方法不加以限制。
在本發明的一種應用示例中,上述手勢識別裝置可以包括:兩個紅外線攝像頭、影像採集單元、紅外發光二極體、紅外發光二極體驅動單元、運算單元和手勢識別單元。其中,影像採集單元與兩個紅外線攝像頭電連接,所述紅外發光二極體驅動單元與紅外發光二極體電連接以驅動紅外發光二極體發光,所述運算單元與影像採集單元、紅外發光二極體驅動單元、手勢識別單元電連接;所述影像採集單元通過兩個紅外線攝像頭採集手勢影像資料,並將手勢影像資料發送到運算單元進行處理,運算單元獲得手勢影像資料並進行三維坐標定位後發送給手勢識別單元進行模式匹配實現手勢識別。
在實際應用中,上述手勢識別裝置可以與用於執行本發明實施例的方法的設備相互獨立,或者,上述手勢識別裝置可被整合在用於執行本發明實施例的方法的設備中。可以理解,本領域技術人員可以根據所需的任意手勢識別裝置,實現手勢識別,本發明實施例對於具體的手勢識別裝置、以及手勢識別裝置與用於執行本發明實施例的方法的設備之間的具體關係不加以限制。
方法實施例一
參照圖2,示出了本發明的一種資料處理方法實施例一的步驟流程圖,具體可以包括如下步驟:
步驟201、回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置可以與所述使用者的手部位置相匹配;所述第一輸入可以對應第一互動方式;所述介面可以對應第二互動方式;
步驟202、回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入可以對應第二互動方式。
本發明實施例的方法所包括的至少一個步驟可由用戶端執行,當然,本發明實施例對於方法的步驟的具體執行主體不加以限制。
本發明實施例可以在設備處於任意狀態的情況下,執行圖2所示方法。例如,在設備顯示任意頁面的情況下,均可以回應於使用者的第一輸入,執行步驟201,進一步可以回應於使用者的第二輸入,執行步驟202。
步驟201中,第一輸入可用於觸發介面的顯示,第一輸入可以通過第一互動方式觸發。
在本發明的一種可選實施例中,所述第一互動方式可以為語音互動方式,所述第一輸入可以為語音口令,該語音口令可用於表徵需要觸發的功能。可選地,語音口令可以包括:需要觸發的功能的標識,如功能的名稱等。
當然,語音互動方式只是作為第一互動方式的示例,實際上,本發明實施例對具體的第一互動方式不加以限制。例如,第一互動方式可以為手勢互動方式,第一輸入可以為手部的橫向、縱向或者旋轉等任意方向的操作。或者,第一互動方式可以為觸控互動方式,第一輸入可以為預設次數的敲擊螢幕的操作、預設按壓力度的敲擊螢幕的操作、或者在螢幕上產生的預設軌跡的滑動操作等。其中,上述預設按壓力度可以通過3D-touch(3D-觸控)技術得到。
本發明實施例中介面在螢幕上的目標位置與使用者的手部位置相匹配,這樣,可以增加手部與介面之間的關聯性,可以實現手部在哪則介面在哪的效果,因此可以增強手部操作的便利性,且可以提升使用者體驗。
可選地,手部位置可以為操作觸發位置,操作觸發位置可用於表徵使用者為了觸發本發明實施例手部所處的位置。根據一種實施例,操作觸發位置可以為手部與螢幕相接觸的位置。根據另一種實施例,操作觸發位置可以為手部在螢幕前方懸停的位置。
可選地,操作觸發位置還可以是其它對象操作的位置,例如,觸控筆觸控的位置、語音輸入確定的位置(例如:語音輸入“螢幕中央”,則螢幕中央為操作觸發位置)。
可選地,操作觸發位置還可以是來自作業系統或其他應用的即時指令或預先設置,可以根據即時指令或預先設置來確定操作觸發位置,例如,根據作業系統或其他應用輸出的螢幕坐標資訊,作為操作觸發位置。
在本發明的一種可選實施例中,在第一互動方式為語音互動方式的情況下,若所述使用者的手部與所述螢幕接觸,則所述第二互動方式可以為觸控互動方式。例如,若使用者發出語音口令,且手部點擊螢幕的任意位置,則可以根據手部點擊的位置,在目標位置顯示介面。目標位置可以為手部與螢幕相接觸的位置。
在本發明的一種可選實施例中,在第一互動方式為語音互動方式的情況下,若所述使用者的手部與所述螢幕不接觸,則所述第二互動方式為手勢互動方式。例如,若使用者發出語音口令,且手部在螢幕前方懸停,則可以根據手部的懸停位置,在目標位置顯示介面。目標位置可以為手部在螢幕上的投影位置。
在本發明的一種可選實施例中,所述介面可以包括:功能的資訊。功能的資訊可以包括如下資訊中的至少一種:功能的目前狀態、功能對應的操作引導資訊、或者使用者對於功能的執行效果等。上述功能的資訊可以輔助使用者產生精準的第二輸入,因此,可以減少例如語音互動的人機互動次數,降低使用者的操作成本。
在本發明的另一種可選實施例中,所述介面可以包括:控制元件,所述控制元件包括的控制塊能夠回應滑動事件。上述控制元件還可以包括:導向容器,以使控制塊在上述導向容器中滑動,控制塊在上述導向容器中的位置,可以表徵功能的目前狀態。
可選地,所述控制塊的位置可以與所述使用者的手部位置相匹配。例如,控制塊的位置可以為手部與螢幕相接觸的位置,或者,控制塊的位置可以為手部在螢幕上的投影位置,這樣,可以便於使用者產生第二輸入。
可選地,步驟201可以首先確定第一輸入對應的目標功能,然後,在螢幕的目標位置顯示目標功能對應的介面。其中,不同目標功能可以對應相同或不同的介面。可選地,目標功能對應的介面可以包括:前述的控制元件、以及目標功能的標識,目標功能的標識可以包括:名稱、圖標等。並且,控制塊在導向容器中的位置可以依據目標功能對應的目前參數值確定。
步驟202中,可以回應於所述使用者的第二輸入,執行所述介面對應的功能。第二輸入用於觸發介面對應的功能的執行。
例如,在介面的控制元件包括控制塊和導向容器的情況下,使用者可以通過第二輸入對控制塊在導向容器中的位置進行控制。在實際應用中,導向容器的方向可以與控制塊的滑動方向相匹配。該滑動方向可以為任意方向,如水平方向或者豎直方向,如上下方向或者左右方向等,使用者的第二輸入可以與該滑動方向相應,這樣可以減少使用者對於第二輸入的記憶成本和學習成本,提高第二輸入的準確度。
在本發明的一種應用示例中,假設螢幕與使用者的面部平行,則導向容器的方向包括:左右方向,則第二輸入對應的手勢方向也可以為左右方向,例如,從左到右的手勢方向,可以使控制塊從左到右滑動,又如,從右到左的手勢方向,可以使控制塊從從右到左滑動。當然,第二輸入對應的手勢方向可以與滑動方向不同,例如,從左到右的手勢方向,可以使控制塊從上到下滑動等。
可以理解,上述包括控制塊的控制元件只是作為介面的可選實施例,實際上,任意的能夠表徵功能的介面均在本發明實施例的保護範圍之內,例如,上述介面可以包括:依序排列的多個功能項,上述多個功能項中的一個被選中,作為目標功能項。本發明實施例可以通過第二輸入,實現對於目標功能項的選擇。例如,可以將音量值劃分為多個功能項,按照音量值從低到高的順序,多個功能項依次可以包括:功能項1、功能項2、…功能項N(N為大於1的自然數)等,則使用者可以通過第二輸入,對其中的目標功能項進行調整。
需要說明的是,本發明實施例的控制塊或者目標功能項可以隨著第二輸入而變化。在第二輸入為觸控輸入的情況下,控制塊可以與手部位置同步。在第二輸入為語音輸入或者手勢輸入的情況下,可以確定一次語音輸入或者一個時間週期T對應的手勢輸入、與控制塊或目標功能項的滑動單位之間的映射關係,由此可以實現控制塊或者目標功能項的更新。
可選地,一次語音輸入對應的滑動單位為△a,則可以按照滑動方向、控制控制塊或目標功能項產生△a的位移。或者,一個時間週期T內的手勢輸入對應的滑動單位為△b,則可以按照滑動方向和手勢輸入的時間t、控制控制塊或目標功能項產生t*△b/T的位移。可以理解,本領域技術人員可以根據實際應用需求,確定上述滑動單位、以及控制塊或目標功能項與第二輸入之間的關聯運動方式,本發明實施例對於具體的滑動單位及關聯運動方式不加以限制。
在本發明的一種可選實施例中,所述第二互動方式可以為手勢互動方式,則步驟202執行所述介面對應的功能具體可以包括:回應於所述使用者的功能選中手勢,執行所述功能選中手勢對應的目標功能。
功能選中手勢用於觸發介面所對應功能的執行。例如,從左到右的手勢方向,可以使控制塊從左到右滑動,進而可以實現“上調”功能。又如,從右到左的手勢方向,可以使控制塊從從右到左滑動,進而可以實現“下調”功能等。
可選地,所述功能的資訊對應的顯示位置與所述功能選中手勢的方位之間具有映射關係。這樣,在顯示的功能的資訊可用于向使用者提示功能選中手勢的方位,故可以進一步降低使用者對於手勢的記憶成本和學習成本,提高手勢互動的便利性。
可選地,上述方位可以包括:方向,這樣,功能的資訊對應的顯示位置可用於提示功能選中手勢的方向。例如,功能的資訊對應的顯示位置位於控制元件的左側,則功能選中手勢的方向可以為左,如向左平移,或者向左翻轉等。又如,功能的資訊對應的顯示位置位於控制元件的右側,則功能選中手勢的方向可以為右,比如向右平移,或者向右翻轉等。
在本發明的一種可選實施例中,可以通過如下步驟建立功能的資訊對應的顯示位置與所述功能選中手勢的方位之間的映射關係:依據功能選中手勢的方位、以及功能與功能選中手勢之間的映射關係,確定功能選中手勢的方位對應的顯示位置,由此可以建立功能的資訊對應的顯示位置與所述功能選中手勢的方位之間的映射關係。假設功能1對應有功能選中手勢1,則可以依據功能選中手勢1的方位A,確定功能1的資訊對應的顯示位置B,其中,方位A與顯示位置B相匹配,例如,方位A為向左的平移方向,則顯示位置B可以為螢幕的左側位置。
在本發明的一種可選實施例中,所述功能的資訊可以位於所述控制元件的邊緣。上述邊緣可以包括:上邊緣、下邊緣、左邊緣和右邊緣中的至少一種。上述邊緣對應的位置資訊可以向使用者提示功能選中手勢的方位。
本發明實施例中,功能的資訊可以包括:文本及/或圖標。文本可以為功能的關鍵詞(如名稱等),圖標可以為用於指代功能的含義的圖標,如“上調”功能的圖標可以為“→”,“下調”功能的圖標可以為“←”等。
在本發明的一種可選實施例中,上述方法還可以包括:在所述使用者的手部動作符合預置條件的情況下,停止對所述介面進行顯示。
例如,在第二互動方式為手勢互動方式的情況下,若檢測到預設手勢,則可以停止對所述介面進行顯示,也即可以關閉對應的控制元件。可以理解,上述預設手勢可以與功能選中手勢不同,由此可以避免手勢之間的混淆,提高操作的準確度。
又如,在第二互動方式為觸控互動方式的情況下,若檢測到手部離開螢幕的操作,則可以停止對所述介面進行顯示,也即可以關閉對應的控制元件。
綜上,本發明實施例的資料處理方法,採用第一互動方式和第二互動方式,實現功能;其中,第一互動方式對應的第一輸入用於觸發介面的顯示,第二互動方式對應的第二輸入用於觸發介面對應的功能的執行;本發明實施例可以綜合第一互動方式和第二互動方式的優點,且可以規避第一互動方式或者第二互動方式的缺點,本發明實施例可以通過第一輸入和第二輸入實現功能,故可以降低使用者的操作成本,提高使用者的操作效率。
並且,本發明實施例中介面在螢幕上的目標位置與使用者的手部位置相匹配,這樣,可以增加手部與介面之間的關聯性,可以實現手部在哪則介面在哪的效果,因此可以增加手部操作的便利性,且可以提升使用者體驗。
方法實施例二
參照圖3,示出了本發明的一種資料處理方法實施例二的步驟流程圖,具體可以包括如下步驟:
步驟301、回應於使用者的語音輸入,在螢幕的目標位置顯示介面;所述目標位置可以與所述使用者的手部位置相匹配;
步驟302、回應於所述使用者的手勢輸入,執行所述介面對應的功能。
本發明實施例將語音自然和手勢簡潔的優點相結合,可以在一定程度上克服解決全語音的互動冗長問題和全手勢的學習記憶成本高問題,為使用者實現功能帶來便利性。具體地,綜合採用語音輸入和遠程的手勢輸入,其中,可以通過一次語音輸入調出介面,故可以減少語音互動的次數。
並且,本發明實施例可以通過手勢互動方式便捷地產生手勢輸入,以實現介面對應的功能。由於顯示的介面可以使不同類型的功能共用手勢,故可以減少手勢的樣式,降低手勢的記憶成本和學習成本。
另外,本發明實施例中介面在螢幕上的目標位置與使用者的手部位置相匹配,這樣,可以增加手部與介面之間的關聯性,可以實現手部在哪則介面在哪的效果,因此可以增加手部操作的便利性,且可以提升使用者體驗。
參照圖4,示出了本發明實施例的一種互動的流程示意,其中,若接收到使用者的語音輸入,如“音量”,則可以確定該語音輸入對應的目標功能,如“音量”功能;並且,若檢測到手部在螢幕前方懸停,則可以依據手部位置確定目標位置,並在螢幕的目標位置顯示介面401。介面401可以包括:控制元件和聲音的圖標,其中,控制元件可以包括:控制塊和導向容器,其中,控制塊可以在導向容器中滑動。
參照圖5,示出了本發明實施例的一種互動的流程示意,其相對於圖4的一個區別在於,介面501的目標位置與介面401的目標位置不同。具體地,介面401的目標位置為左下位置,介面501的目標位置為右下位置,上述目標位置可以為依據手部位置得到。可選地,可以依據手部在螢幕上的投影位置,確定上述目標位置。
參照圖6,示出了本發明實施例的一種互動的流程示意,其中,在設備的頁面為任意頁面(例如導航頁面、音樂頁面等)的情況下,若接收到使用者的語音口令,如“音量”,則可以確定該語音口令對應的目標功能,如“音量”功能;並且,可以依據手部位置確定目標位置,並在螢幕的目標位置顯示介面601。介面601可以包括:控制元件和聲音的圖標,其中,控制元件可以包括:控制塊和導向容器,其中,控制塊可以在導向容器中滑動。進一步,若接收到使用者的向右滑動操作,則可以將控制塊向右滑動,由此可以實現音量的調節功能。
上述向右滑動操作可以通過手勢互動方式或者觸控互動方式實現。需要說明的是,在顯示介面601後,可以判斷使用者的手部動作是否符合預置條件,若是,則可以停止對介面601進行顯示。例如,若檢測到向下行動的手勢,則可以關閉介面601。
需要說明的是,上述向右滑動操作只是作為手勢輸入的示例,實際上,本發明實施例的手勢輸入可以包括:縱向位移操作、旋轉操作、或者翻轉操作等。
參照圖7,示出了本發明實施例的一種互動的流程示意,其中,在設備的頁面為任意頁面(例如導航頁面、音樂頁面等)的情況下,若接收到使用者的語音口令,如“風速”,則可以確定該語音口令對應的目標功能,如“風速”功能;並且,可以依據手部位置確定目標位置,並在螢幕的目標位置顯示介面701。介面701可以包括:控制元件和風扇的圖標,其中,控制元件可以包括:控制塊和導向容器,其中,控制塊可以在導向容器中滑動。進一步,若接收到使用者的向右滑動操作,則可以將控制塊向右滑動,由此可以實現風速的調節功能。
需要說明的是,在顯示介面701後,可以判斷使用者的手部動作是否符合預置條件,若是,則可以停止對介面701進行顯示。例如,若檢測到向下行動的手勢,則可以關閉介面701。
綜上,本發明實施例的資料處理方法,綜合採用語音輸入和遠程的手勢輸入,其中,可以通過一次語音輸入調出介面,故可以減少語音互動的次數。
並且,本發明實施例可以通過手勢互動方式便捷地產生手勢輸入,以實現介面對應的功能。由於顯示的介面可以使不同類型的功能共用手勢,故可以減少手勢的樣式,降低手勢的記憶成本和學習成本。
另外,本發明實施例中介面在螢幕上的目標位置與使用者的手部位置相匹配,這樣,可以增加手部與介面之間的關聯性,可以實現手部在哪則介面在哪的效果,因此可以增加手部操作的便利性,且可以提升使用者體驗。
方法實施例三
參照圖8,示出了本發明的一種資料處理方法實施例三的步驟流程圖,具體可以包括如下步驟:
步驟801、回應於使用者的語音輸入,在螢幕的目標位置顯示介面;所述目標位置可以與所述使用者的手部位置相匹配;
步驟802、回應於所述使用者的觸控輸入,執行所述介面對應的功能。
本發明實施例將語音自然和觸控簡潔的優點相結合,可以在一定程度上克服解決全語音的互動冗長問題和觸控的操作路徑長的問題,為使用者實現功能帶來便利性。
參照圖9,示出了本發明實施例的一種互動的流程示意,其中,若接收到使用者的語音輸入,如“音量”,則可以確定該語音輸入對應的目標功能,如“音量”功能;並且,若檢測到手部點擊螢幕,則可以依據手部位置確定目標位置,並在螢幕的目標位置顯示介面901。介面901可以包括:控制元件和聲音的圖標,其中,控制元件可以包括:控制塊和導向容器,其中,控制塊可以在導向容器中滑動,其中,控制塊的位置可以為手部與螢幕相接觸的位置。
參照圖10,示出了本發明實施例的一種互動的流程示意,其相對於圖9的一個區別在於,介面1001的目標位置與介面901的目標位置不同。具體地,介面1001的目標位置為左下位置,介面1001的目標位置為左上位置,上述目標位置可以為依據手部位置得到。可選地,控制塊的位置可以為手部與螢幕相接觸的位置。
綜上,本發明實施例的資料處理方法,將語音自然和觸控簡潔的優點相結合,可以在一定程度上克服解決全語音的互動冗長問題和觸控的操作路徑長的問題,為使用者實現功能帶來便利性。
首先,可以通過一次語音輸入調出介面,故可以減少語音互動的次數。
並且,由於本發明實施例可以通過一次語音輸入快速直達介面,因此可以減少通過觸控互動方式實現功能所花費的操作路徑,降低使用者的操作成本。
另外,本發明實施例中介面在螢幕上的目標位置與使用者的手部位置相匹配,這樣,可以增加手部與介面之間的關聯性,可以實現手部在哪則介面在哪的效果,因此可以增加手部操作的便利性,且可以提升使用者體驗。
需要說明的是,對於方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本領域技術人員應該知悉,本發明實施例並不受所描述的動作順序的限制,因為依據本發明實施例,某些步驟可以採用其他順序或者同時進行。其次,本領域技術人員也應該知悉,說明書中所描述的實施例均屬於較佳實施例,所涉及的動作並不一定是本發明實施例所必須的。
本發明實施例還提供了一種資料處理裝置。
參照圖11,示出了本發明的一種資料處理裝置實施例的結構方塊圖,具體可以包括如下模組:
介面顯示模組1101,用於回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置可以與所述使用者的手部位置相匹配;所述第一輸入可以對應第一互動方式;所述介面可以對應第二互動方式;以及
功能執行模組1102,用於回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入可以對應第二互動方式。
可選地,所述第一互動方式可以為語音互動方式,所述第二互動方式可以為手勢互動方式、或者觸控互動方式;或者
所述第一互動方式可以為觸控互動方式,所述第二互動方式可以為手勢互動方式、或者語音互動方式;或者
所述第一互動方式可以為手勢互動方式,所述第二互動方式可以為觸控互動方式、或者語音互動方式。
可選地,所述第一互動方式可以為語音互動方式,所述第一輸入可以為語音口令,所述語音口令用於表徵需要觸發的功能。
可選地,若所述使用者的手部與所述螢幕接觸,則所述第二互動方式可以為觸控互動方式;或者
若所述使用者的手部與所述螢幕不接觸,則所述第二互動方式可以為手勢互動方式。
可選地,所述手部位置可以為操作觸發位置。
可選地,所述介面可以包括:控制元件,所述控制元件包括的控制塊能夠回應滑動事件。
可選地,所述控制塊的位置與所述使用者的手部位置相匹配。
可選地,所述介面可以包括:功能的資訊。
可選地,所述第二互動方式可以為手勢互動方式,功能執行模組1102可以包括:
手勢功能執行模組,用於回應於所述使用者的功能選中手勢,執行所述功能選中手勢對應的目標功能。
可選地,所述功能的資訊對應的顯示位置與所述功能選中手勢的方位之間可以具有映射關係。
可選地,所述裝置還可以包括:
停止顯示模組,用於在所述使用者的手部動作符合預置條件的情況下,停止對所述介面進行顯示。
對於裝置實施例而言,由於其與方法實施例基本相似,所以描述的比較簡單,相關之處參見方法實施例的部分說明即可。
本說明書中的各個實施例均採用循序的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。
關於上述實施例中的裝置,其中各個模組執行操作的具體方式已經在有關該方法的實施例中進行了詳細描述,此處將不做詳細闡述說明。
本發明實施例的實施例可被實現為使用任意適當的硬體及/或軟體進行想要的配置的系統或裝置。圖12示意性地示出了可被用於實現本發明中所述的各個實施例的示例性裝置1300。
對於一個實施例,圖12示出了示例性裝置1300,該裝置1300可以包括:一個或多個處理器1302、與處理器1302中的至少一個耦合的系統控制模組(晶片組)1304、與系統控制模組1304耦合的系統記憶體1306、與系統控制模組1304耦合的非揮發性記憶體(NVM)/儲存裝置1308、與系統控制模組1304耦合的一個或多個輸入/輸出設備1310,以及與系統控制模組1306耦合的網路介面1312。該系統記憶體1306可以包括:指令1362,該指令1362可被一個或多個處理器1302執行。
處理器1302可包括一個或多個單核或多核處理器,處理器1302可包括通用處理器或專用處理器(例如圖形處理器、應用程式處理器、基頻處理器等)的任意組合。在一些實施例中,裝置1300能夠作為本發明實施例中所述的伺服器、目標設備、無線設備等。
在一些實施例中,裝置1300可包括具有指令的一個或多個機器可讀媒體(例如,系統記憶體1306或NVM/儲存裝置1308)以及與該一個或多個機器可讀媒體相合併被配置為執行指令、以實現前述裝置包括的模組、從而執行本發明實施例中所述的動作的一個或多個處理器1302。
一個實施例的系統控制模組1304可包括任何適合的介面控制器,用於提供任何適合的介面給處理器1302中的至少一個及/或與系統控制模組1304通信的任意適合的裝置或部件。
一個實施例的系統控制模組1304可包括一個或多個記憶體控制器,用於提供介面給系統記憶體1306。記憶體控制器可以是硬體模組、軟體模組及/或韌體模組。
一個實施例的系統記憶體1306可被用於加載和儲存資料及/或指令1362。對於一個實施例,系統記憶體1306可包括任何適合的易失性記憶體,例如,適合的DRAM(動態隨機存取記憶體)。在一些實施例中,系統記憶體1306可包括:雙倍資料速率類型四同步動態隨機存取記憶體(DDR4SDRAM)。
一個實施例的系統控制模組1304可包括一個或多個輸入/輸出控制器,以向NVM/儲存裝置1308及(一個或多個)輸入/輸出設備1310提供介面。
一個實施例的NVM/儲存裝置1308可被用於儲存資料及/或指令1382。NVM/儲存裝置1308可包括任何適合的非揮發性記憶體(例如快閃記憶體等)及/或可包括任何適合的(一個或多個)非揮發性儲存設備,例如,一個或多個硬碟機(HDD)、一個或多個光碟(CD)驅動器及/或一個或多個數位通用光碟(DVD)驅動器等。
NVM/儲存裝置1308可包括在物理上是裝置1300被安裝在其上的裝置的一部分的儲存資源,或者其可被該裝置存取而不必作為該裝置的一部分。例如,NVM/儲存裝置1308可經由網路介面1312通過網路及/或通過輸入/輸出設備1310進行存取。
一個實施例的(一個或多個)輸入/輸出設備1310可為裝置1300提供介面以與任意其他適當的設備通信,輸入/輸出設備1310可以包括通信組件、音訊組件、感測器組件等。
一個實施例的網路介面1312可為裝置1300提供介面以通過一個或多個網路及/或與任何其他適合的裝置通信,裝置1300可根據一個或多個無線網路標準及/或協議中的任意標準及/或協議來與無線網路的一個或多個組件進行無線通信,例如接入基於通信標準的無線網路,如WiFi,2G或3G,或它們的組合進行無線通信。
對於一個實施例,處理器1302中的至少一個可與系統控制模組1304的一個或多個控制器(例如,記憶體控制器)的邏輯封裝在一起。對於一個實施例,處理器1302中的至少一個可與系統控制模組1304的一個或多個控制器的邏輯封裝在一起以形成系統級封裝(SiP)。對於一個實施例,處理器1302中的至少一個可與系統控制模組1304的一個或多個控制器的邏輯整合在同一新品上。對於一個實施例,處理器1302中的至少一個可與系統控制模組1304的一個或多個控制器的邏輯整合在同一晶片上以形成系統晶片(SoC)。
在各個實施例中,裝置1300可以包括但不限於:臺式計算設備或行動計算設備(例如,膝上型計算設備、手持計算設備、平板電腦、易網機等)等計算設備。在各個實施例中,裝置1300可具有更多或更少的組件及/或不同的架構。例如,在一些實施例中,裝置1300可以包括一個或多個攝像機、鍵盤、液晶顯示器(LCD)螢幕(包括觸控式顯示器)、非揮發性記憶體連接埠、多個天線、圖形晶片、整合特定應用積體電路(ASIC)和喇叭。
其中,如果顯示器包括觸控面板,顯示螢幕可以被實現為觸控式顯示器,以接收來自使用者的輸入信號。觸控面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸控面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。
本發明實施例還提供了一種非揮發性可讀儲存媒體,該儲存媒體中儲存有一個或多個模組(programs),該一個或多個模組被應用在裝置時,可以使得該裝置執行本發明實施例中各方法的指令(instructions)。
在一個示例中提供了一種裝置,包括:一個或多個處理器;和,其上儲存的一個或多個機器可讀媒體中的指令,由所述一個或多個處理器執行時,導致所述裝置執行如本發明實施例中的方法,該方法可以包括:圖2或圖3或圖4或圖5或圖6或圖7或圖8或9或圖10所示的方法。
在一個示例中還提供了一個或多個機器可讀媒體,其上儲存有指令,當由一個或多個處理器執行時,使得裝置執行如本發明實施例中的方法,該方法可以包括:圖2或圖3或圖4或圖5或圖6或圖7或圖8或圖9或圖10所示的方法。
關於上述實施例中的裝置,其中各個模組執行操作的具體方式已經在有關該方法的實施例中進行了詳細描述,此處將不做詳細闡述說明,相關之處參見方法實施例的部分說明即可。
本說明書中的各個實施例均採用循序的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。
本發明實施例是參照根據本發明實施例的方法、裝置(系統)、和電腦程式產品的流程圖及/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖及/或方塊圖中的每一流程及/或方塊、以及流程圖及/或方塊圖中的流程及/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可編程資料處理裝置的處理器以產生一個機器,使得通過電腦或其他可編程資料處理裝置的處理器執行的指令產生用於實現在流程圖一個流程或多個流程及/或方塊圖一個方塊或多個方塊中指定的功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可編程資料處理裝置以特定方式工作的電腦可讀記憶體中,使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品,該指令裝置實現在流程圖一個流程或多個流程及/或方塊圖一個方塊或多個方塊中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可編程資料處理裝置上,使得在電腦或其他可編程裝置上執行一系列操作步驟以產生電腦實現的處理,從而在電腦或其他可編程裝置上執行的指令提供用於實現在流程圖一個流程或多個流程及/或方塊圖一個方塊或多個方塊中指定的功能的步驟。
儘管已描述了本發明實施例的較佳實施例,但本領域內的技術人員一旦得知了基本創造性概念,則可對這些實施例做出另外的變更和修改。所以,所附申請專利範圍意欲解釋為包括較佳實施例以及落入本發明實施例範圍的所有變更和修改。
最後,還需要說明的是,在本文中,諸如第一和第二等之類的關係術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關係或者順序。而且,術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下,由語句“包括一個……”限定的要素,並不排除在包括所述要素的過程、方法、物品或者裝置中還存在另外的相同要素。
以上對本發明所提供的一種資料處理方法、一種資料處理裝置、一種裝置、以及一種機器可讀媒體媒體,進行了詳細介紹,本文中應用了具體個例對本發明的原理及實施方式進行了闡述,以上實施例的說明只是用於幫助理解本發明的方法及其核心思想;同時,對於本領域的一般技術人員,依據本發明的思想,在具體實施方式及應用範圍上均會有改變之處,綜上所述,本說明書內容不應理解為對本發明的限制。
100:用戶端
200:伺服器
201:步驟
202:步驟
301:步驟
302:步驟
401:介面
501:介面
601:介面
701:介面
801:步驟
802:步驟
901:介面
1001:介面
1101:介面顯示模組
1102:功能執行模組
1302:處理器
1304:系統控制模組
1306:系統記憶體
1362:指令
1308:NVM/儲存裝置
1382:指令
1310:輸入/輸出設備
1312:網路介面
圖1是本發明的一種資料處理方法的應用環境的示意;
圖2是本發明的一種資料處理方法實施例一的步驟流程圖;
圖3是本發明的一種資料處理方法實施例二的步驟流程圖;
圖4是本發明實施例的一種互動的流程示意;
圖5是本發明實施例的一種互動的流程示意;
圖6是本發明實施例的一種互動的流程示意;
圖7是本發明實施例的一種互動的流程示意;
圖8是本發明的一種資料處理方法實施例三的步驟流程圖;
圖9是本發明實施例的一種互動的流程示意;
圖10是本發明實施例的一種互動的流程示意;
圖11是本發明的一種資料處理裝置實施例的結構方塊圖;以及
圖12是本發明一實施例提供的裝置的結構示意圖。
Claims (21)
- 一種資料處理方法,其特徵在於,包括: 回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置與所述使用者的手部位置相匹配;所述第一輸入對應第一互動方式;所述介面對應第二互動方式; 回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入對應第二互動方式。
- 根據請求項1所述的方法,其中,所述第一互動方式為語音互動方式,所述第二互動方式為手勢互動方式、或者觸控互動方式;或者 所述第一互動方式為觸控互動方式,所述第二互動方式為手勢互動方式、或者語音互動方式;或者 所述第一互動方式為手勢互動方式,所述第二互動方式為觸控互動方式、或者語音互動方式。
- 根據請求項1所述的方法,其中,所述第一互動方式為語音互動方式,所述第一輸入為語音口令,所述語音口令用於表徵需要觸發的功能。
- 根據請求項3所述的方法,其中,若所述使用者的手部與所述螢幕接觸,則所述第二互動方式為觸控互動方式;或者 若所述使用者的手部與所述螢幕不接觸,則所述第二互動方式為手勢互動方式。
- 根據請求項1至4中任一所述的方法,其中,所述手部位置為操作觸發位置。
- 根據請求項1至4中任一所述的方法,其中,所述介面包括:控制元件,所述控制元件包括的控制塊能夠回應滑動事件。
- 根據請求項6所述的方法,其中,所述控制塊的位置與所述使用者的手部位置相匹配。
- 根據請求項1至4中任一所述的方法,其中,所述介面包括:功能的資訊。
- 根據請求項8所述的方法,其中,所述第二互動方式為手勢互動方式,所述執行所述介面對應的功能包括: 回應於所述使用者的功能選中手勢,執行所述功能選中手勢對應的目標功能。
- 根據請求項9所述的方法,其中,所述功能的資訊對應的顯示位置與所述功能選中手勢的方位之間具有映射關係。
- 根據請求項1至4中任一所述的方法,其中,所述方法還包括: 在所述使用者的手部動作符合預置條件的情況下,停止對所述介面進行顯示。
- 一種資料處理裝置,其特徵在於,包括: 介面顯示模組,用於回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置與所述使用者的手部位置相匹配;所述第一輸入對應第一互動方式;所述介面對應第二互動方式;以及 功能執行模組,用於回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入對應第二互動方式。
- 根據請求項12所述的裝置,其中,所述第一互動方式為語音互動方式,所述第二互動方式為手勢互動方式、或者觸控互動方式;或者 所述第一互動方式為觸控互動方式,所述第二互動方式為手勢互動方式、或者語音互動方式;或者 所述第一互動方式為手勢互動方式,所述第二互動方式為觸控互動方式、或者語音互動方式。
- 根據請求項12所述的裝置,其中,所述第一互動方式為語音互動方式,所述第一輸入為語音口令,所述語音口令用於表徵需要觸發的功能。
- 根據請求項14所述的裝置,其中,若所述使用者的手部與所述螢幕接觸,則所述第二互動方式為觸控互動方式;或者 若所述使用者的手部與所述螢幕不接觸,則所述第二互動方式為手勢互動方式。
- 根據請求項12至15中任一所述的裝置,其中,所述手部位置為操作觸發位置。
- 根據請求項12至15中任一所述的裝置,其中,所述介面包括:控制元件,所述控制元件包括的控制塊能夠回應滑動事件。
- 根據請求項17所述的裝置,其中,所述控制塊的位置與所述使用者的手部位置相匹配。
- 一種裝置,其特徵在於,包括: 一個或多個處理器;和 其上儲存有指令的一個或多個機器可讀媒體,當由所述一個或多個處理器執行時,使得所述裝置執行如請求項1-11中一個或多個所述的方法。
- 一個或多個機器可讀媒體,其上儲存有指令,當由一個或多個處理器執行時,使得裝置執行如請求項1-11中一個或多個所述的方法。
- 一種資料處理方法,其中,包括: 回應於使用者的第一輸入,在螢幕的目標位置顯示介面;所述目標位置與所述使用者的操作觸發位置相匹配;所述第一輸入對應第一互動方式;所述介面對應第二互動方式; 回應於所述使用者的第二輸入,執行所述介面對應的功能;所述第二輸入對應第二互動方式。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811280800.8A CN111124236B (zh) | 2018-10-30 | 2018-10-30 | 一种数据处理方法、装置和机器可读介质 |
CN201811280800.8 | 2018-10-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202016694A true TW202016694A (zh) | 2020-05-01 |
Family
ID=70484680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108129108A TW202016694A (zh) | 2018-10-30 | 2019-08-15 | 資料處理方法、裝置和機器可讀媒體 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11209970B2 (zh) |
CN (1) | CN111124236B (zh) |
TW (1) | TW202016694A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220051667A1 (en) * | 2020-08-11 | 2022-02-17 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for controlling operation mode of terminal device, and medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114610157A (zh) * | 2022-03-23 | 2022-06-10 | 北京拙河科技有限公司 | 一种基于手势交互的方法及系统 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06131437A (ja) | 1992-10-20 | 1994-05-13 | Hitachi Ltd | 複合形態による操作指示方法 |
JP4416643B2 (ja) | 2004-06-29 | 2010-02-17 | キヤノン株式会社 | マルチモーダル入力方法 |
DE102008051756A1 (de) * | 2007-11-12 | 2009-05-14 | Volkswagen Ag | Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen |
KR101510484B1 (ko) * | 2009-03-31 | 2015-04-08 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 제어 방법 |
KR101642722B1 (ko) * | 2010-02-04 | 2016-07-27 | 삼성전자 주식회사 | 듀얼 표시부를 가지는 휴대단말 및 그 표시부의 표시 제어 방법 |
US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US20130154913A1 (en) | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
US9152376B2 (en) | 2011-12-01 | 2015-10-06 | At&T Intellectual Property I, L.P. | System and method for continuous multimodal speech and gesture interaction |
EP2664983A3 (en) * | 2012-05-17 | 2018-01-03 | LG Electronics, Inc. | Mobile terminal and control method therefor |
CN111176516B (zh) | 2012-05-18 | 2023-10-20 | 苹果公司 | 用于操纵用户界面的设备、方法和图形用户界面 |
KR102133410B1 (ko) * | 2013-01-31 | 2020-07-14 | 삼성전자 주식회사 | 멀티태스킹 운용 방법 및 이를 지원하는 단말기 |
US20140267035A1 (en) | 2013-03-15 | 2014-09-18 | Sirius Xm Connected Vehicle Services Inc. | Multimodal User Interface Design |
US9298266B2 (en) | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
EP2796993B1 (en) | 2013-04-24 | 2022-06-01 | Samsung Electronics Co., Ltd. | Display apparatus and control method capable of performing an initial setting |
US9898642B2 (en) | 2013-09-09 | 2018-02-20 | Apple Inc. | Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs |
US20150199017A1 (en) | 2014-01-10 | 2015-07-16 | Microsoft Corporation | Coordinated speech and gesture input |
KR102158214B1 (ko) * | 2014-05-19 | 2020-09-22 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
KR20160071264A (ko) * | 2014-12-11 | 2016-06-21 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어방법 |
US20160077793A1 (en) * | 2014-09-15 | 2016-03-17 | Microsoft Corporation | Gesture shortcuts for invocation of voice input |
US10101803B2 (en) | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
KR20180133138A (ko) * | 2017-06-05 | 2018-12-13 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
CN108052202B (zh) * | 2017-12-11 | 2021-06-11 | 深圳市星野信息技术有限公司 | 一种3d交互方法、装置、计算机设备及存储介质 |
CN108334199A (zh) * | 2018-02-12 | 2018-07-27 | 华南理工大学 | 基于增强现实的移动式多模态交互方法及装置 |
-
2018
- 2018-10-30 CN CN201811280800.8A patent/CN111124236B/zh active Active
-
2019
- 2019-08-15 TW TW108129108A patent/TW202016694A/zh unknown
- 2019-10-28 US US16/666,008 patent/US11209970B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220051667A1 (en) * | 2020-08-11 | 2022-02-17 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for controlling operation mode of terminal device, and medium |
US11756545B2 (en) * | 2020-08-11 | 2023-09-12 | Beijing Xiaomi Mobile Software Co., Ltd. | Method and device for controlling operation mode of terminal device, and medium |
Also Published As
Publication number | Publication date |
---|---|
US20200167064A1 (en) | 2020-05-28 |
CN111124236B (zh) | 2023-04-28 |
US11209970B2 (en) | 2021-12-28 |
CN111124236A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10908703B2 (en) | User terminal device and method for controlling the user terminal device thereof | |
US10289376B2 (en) | Method for displaying virtual object in plural electronic devices and electronic device supporting the method | |
WO2021244443A1 (zh) | 分屏显示方法、电子设备及计算机可读存储介质 | |
TWI502405B (zh) | 利用協調的雙手命令手勢之計算系統 | |
US10044977B2 (en) | Display apparatus and control methods thereof | |
US11443453B2 (en) | Method and device for detecting planes and/or quadtrees for use as a virtual substrate | |
US11941181B2 (en) | Mechanism to provide visual feedback regarding computing system command gestures | |
US20150193036A1 (en) | User terminal apparatus and control method thereof | |
CN107589864B (zh) | 多点触摸显示面板及其控制方法和系统 | |
JP2014053014A (ja) | 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置 | |
US20230075464A1 (en) | Touch Operation Method and Device | |
TWI478007B (zh) | 利用使用者姿態的設備和方法以及非暫時性電腦可讀儲存媒體 | |
US10936184B2 (en) | Display apparatus and controlling method thereof | |
TW202016694A (zh) | 資料處理方法、裝置和機器可讀媒體 | |
EP3128397B1 (en) | Electronic apparatus and text input method for the same | |
CN103997634B (zh) | 用户终端及其显示图像的方法 | |
WO2020092398A2 (en) | Method, device, and system for providing an interface based on an interaction with a terminal |