TW202138971A - 互動方法、裝置、互動系統、電子設備及存儲介質 - Google Patents

互動方法、裝置、互動系統、電子設備及存儲介質 Download PDF

Info

Publication number
TW202138971A
TW202138971A TW109145339A TW109145339A TW202138971A TW 202138971 A TW202138971 A TW 202138971A TW 109145339 A TW109145339 A TW 109145339A TW 109145339 A TW109145339 A TW 109145339A TW 202138971 A TW202138971 A TW 202138971A
Authority
TW
Taiwan
Prior art keywords
action
interactive object
display
trigger operation
display device
Prior art date
Application number
TW109145339A
Other languages
English (en)
Inventor
張子隆
許親親
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202138971A publication Critical patent/TW202138971A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公開提供了一種互動方法、裝置、互動系統、電子設備及存儲介質,其中,該方法包括:接收對顯示裝置的第一觸發操作;獲取用於響應所述第一觸發操作的互動物件的動作標識;基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應,所述回應中包括與所述互動物件的動作標識對應的動作。

Description

互動方法、裝置、互動系統、電子設備及存儲介質
[相關申請案的交叉參考] 本公開要求於2020年4月13日提交申請號為202010285478.9、發明名稱為“互動方法、裝置、互動系統、電子設備及存儲介質”的中國專利申請的優先權,該中國專利申請公開的全部內容以引用的方式併入本文中。
本公開涉及電腦技術領域,具體涉及一種互動方法、裝置、互動系統、電子設備及存儲介質。
人機互動的方式大多為:使用者基於按鍵、觸摸、語音進行輸入,設備透過在顯示幕上呈現圖像、文本或虛擬人物進行回應。目前虛擬人物多是在語音助理的基礎上改進得到的,用戶與虛擬人物的互動還停留在表面上。
本公開實施例至少提供一種互動方法、裝置、互動系統、電子設備及存儲介質。
第一方面,本公開實施例提供了一種互動方法,所述方法包括:接收對顯示裝置的第一觸發操作;獲取用於響應所述第一觸發操作的互動物件的動作標識;基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應,所述回應中包括與所述互動物件的動作標識對應的動作。
本公開實施例中提出一種能夠由互動物件來回應使用者的觸發操作的方案,可以利用第一觸發操作對應的動作標識,控制互動物件透過擬人化的動作對用戶做出回應,且回應中包括與動作標識對應的動作,由此可使得互動流程更為逼真及流暢,能夠有效提升互動體驗。示例性的,本公開實施例也可以應用在由互動物件對顯示裝置提供的功能進行介紹的場景下,可以便於一些對文字理解能力較弱或者沒有時間查看文字引導資訊的使用者群體快速獲取所需資訊。
在一種可能的實施方式中,所述獲取用於響應所述第一觸發操作的互動物件的動作標識,包括:基於對所述顯示裝置的觸發操作與所述互動物件的動作標識之間的預設映射關係,獲取與所述第一觸發操作對應的所述動作標識。
在一種可能的實施方式中,所述獲取用於響應所述第一觸發操作的互動物件的動作標識,包括:獲取用於回應所述第一觸發操作的回應資料;基於對所述顯示裝置的觸發操作的回應資料與所述互動物件的動作標識之間的預設映射關係,獲取用於回應所述第一觸發操作的回應資料對應的所述動作標識。
在一種可能的實施方式中,所述回應資料包括文本資料,所述預設映射關係包括所述文本資料中的關鍵文本資料與動作標識之間的預設映射關係。
以上實施方式中,透過配置觸發操作或觸發操作的回應資料與動作標識之間的預設映射關係,可以在接收到第一觸發操作後,快速精准地查找到用於回應第一觸發操作的動作標識,以便控制互動物件做出與動作標識對應的動作,以回應第一觸發操作。
在一種可能的實施方式中,所述動作標識包括所述互動物件的肢體動作標識,和/或所述互動物件在做出動作時的展示位置標識。
該實施例中,既可以透過肢體動作標識,標識互動物件在進行回應過程中所做出的具體肢體動作,還可以透過展示位置標識,標識互動物件在進行回應過程中展示在顯示裝置的顯示區域中的位置,透過以上兩種標識中的至少一種,可以提升互動物件在展示過程中的展示效果。
在一種可能的實施方式中,所述接收對顯示裝置的第一觸發操作,包括:接收對所述顯示裝置的目標應用程式的第一觸發操作;或者,接收對所述顯示裝置的目標應用程式的目標功能選項的第一觸發操作,所述目標功能選項位於所述目標應用程式的顯示介面中的預設展示區域。
在一種可能的實施方式中,在所述動作標識包括所述互動物件的肢體動作標識的情況下,所述動作標識對應的動作包括所述互動物件指向所述顯示裝置的目標展示區域的肢體動作;在所述動作標識包括所述互動物件在做出動作時的展示位置標識的情況下,所述動作標識對應的動作包括所述互動物件在目標展示位置上做出的動作;在所述動作標識包括所述肢體動作標識和所述展示位置標識的情況下,所述動作標識對應的動作包括所述互動物件在目標展示位置上做出指向所述目標展示區域的肢體動作。
上述實施方式中,互動物件的肢體動作標識可以是指向性的動作標識,例如指向某個具體的區域,如此,可以使用戶在互動過程中能夠快速獲知互動物件當前所響應的具體內容,使得互動過程更為逼真流暢,和/或互動物件的展示位置標識可以是標識互動物件在目標展示位置上做出的指向性動作或其它動作,如此,可以便於使用者觀看回應內容,避免可能存在的遮擋等問題,能夠達到更好的互動效果。
在一種可能的實施方式中,基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應,包括:獲取與所述動作標識對應的驅動資料;利用所述驅動資料,渲染所述互動物件的顯示畫面,所述顯示畫面中包括以下畫面內容中的任一種:所述互動物件做出與肢體動作標識對應的肢體動作的畫面內容;所述互動物件在展示位置標識對應的目標展示位置上做出與所述肢體動作標識對應的肢體動作的畫面內容;控制所述顯示裝置顯示所述互動物件的顯示畫面。
在一種可能的實施方式中,所述控制所述顯示裝置顯示所述互動物件的顯示畫面,包括:控制所述顯示裝置在目標應用程式的顯示介面的背景層上顯示所述互動物件的顯示畫面,所述顯示介面位於所述背景層之上。
上述實施方式中,透過目標應用程式和互動物件的顯示畫面分層次的處理,兩者可以分別進行回應,可以避免互動物件的回應過程與目標應用程式的運行可能出現的衝突。
在一種可能的實施方式中,所述方法還包括:獲取所述第一觸發操作對應的回應資料;控制所述顯示裝置播放所述回應資料中的語音資料,和/或在所述顯示裝置的介面上展示所述回應資料的提示框。
上述實施方式中,並不限定於進行與互動物件的動作標識相關的回應,還可以透過播放語音或者展示提示框等方式來實現回應,使得回應資料的呈現方式多樣化,提升互動體驗。
第二方面,本公開實施例提供了一種互動系統,包括:顯示裝置和伺服器;所述顯示裝置,用於獲取對顯示裝置的第一觸發操作並將所述第一觸發操作發送給所述伺服器,並且基於所述伺服器的指示控制所述顯示裝置展示的互動物件進行回應;所述伺服器,用於接收所述第一觸發操作;獲取用於響應所述第一觸發操作的互動物件的動作標識;基於所述動作標識,指示所述顯示裝置控制所述互動物件進行回應,所述回應中包括與所述互動物件的動作標識對應的動作。
協力廠商面,本公開實施例提供了一種互動裝置,所述裝置包括:接收模組,用於接收對顯示裝置的第一觸發操作;獲取模組,用於獲取用於回應所述第一觸發操作的互動物件的動作標識;控制模組,用於基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應,所述回應中包括與所述互動物件的動作標識對應的動作。
在一種可能的實施方式中,所述獲取模組在用於獲取用於回應所述第一觸發操作的互動物件的動作標識時,包括:基於對所述顯示裝置的觸發操作與所述互動物件的動作標識之間的預設映射關係,獲取與所述第一觸發操作對應的所述動作標識。
在一種可能的實施方式中,所述獲取模組在用於獲取用於回應所述第一觸發操作的互動物件的動作標識時,包括:獲取用於回應所述第一觸發操作的回應資料;基於對所述顯示裝置的觸發操作的回應資料與所述互動物件的動作標識之間的預設映射關係,獲取用於回應所述第一觸發操作的回應資料對應的所述動作標識。
在一種可能的實施方式中,所述回應資料包括文本資料,所述預設映射關係包括所述文本資料中的關鍵文本資料與動作標識之間的預設映射關係。
在一種可能的實施方式中,所述動作標識包括所述互動物件的肢體動作標識,和/或所述互動物件在做出動作時的展示位置標識。
在一種可能的實施方式中,所述接收模組在用於接收對顯示裝置的第一觸發操作時,包括:接收對所述顯示裝置的目標應用程式的第一觸發操作;或者,接收對所述顯示裝置的目標應用程式的目標功能選項的第一觸發操作,所述目標功能選項位於所述目標應用程式的顯示介面中的預設展示區域。
在一種可能的實施方式中,在所述動作標識包括所述互動物件的肢體動作標識的情況下,所述動作標識對應的動作包括所述互動物件指向所述顯示裝置的目標展示區域的肢體動作;在所述動作標識包括所述互動物件在做出動作時的展示位置標識的情況下,所述動作標識對應的動作包括所述互動物件在目標展示位置上做出的動作;在所述動作標識包括所述肢體動作標識和所述展示位置標識的情況下,所述動作標識對應的動作包括所述互動物件在目標展示位置上做出指向所述目標展示區域的肢體動作;其中,所述目標展示區域為所述預設展示區域或者為與所述預設展示區域關聯的展示區域。
在一種可能的實施方式中,所述控制模組在用於基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應時,包括:獲取與所述動作標識對應的驅動資料;利用所述驅動資料,渲染所述互動物件的顯示畫面,所述顯示畫面中包括以下畫面內容中的任一種:所述互動物件做出與肢體動作標識對應的肢體動作的畫面內容;所述互動物件在展示位置標識對應的目標展示位置上做出與所述肢體動作標識對應的肢體動作的畫面內容;控制所述顯示裝置顯示所述互動物件的顯示畫面。
在一種可能的實施方式中,所述控制模組在用於控制所述顯示裝置顯示所述互動物件的顯示畫面時,包括:控制所述顯示裝置在目標應用程式的顯示介面的背景層上顯示所述互動物件的顯示畫面,所述顯示介面位於所述背景層之上。
在一種可能的實施方式中,所述控制模組還用於:獲取所述第一觸發操作對應的回應資料;控制所述顯示裝置播放所述回應資料中的語音資料,和/或在所述顯示裝置的介面上展示所述回應資料的提示框。
第四方面,本公開實施例提供了一種電子設備,包括:處理器、記憶體和匯流排,所述記憶體存儲有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述記憶體之間透過匯流排通訊,所述機器可讀指令被所述處理器執行時使所述處理器執行如第一方面所述的互動方法。
第五方面,本公開實施例提供了一種電腦可讀存儲介質,該電腦可讀存儲介質上存儲有電腦程式,該電腦程式被處理器執行時使所述處理器執行如第一方面所述的互動方法。
為使本公開的上述目的、特徵和優點能更明顯易懂,下文特舉較佳實施例,並配合所附附圖,作詳細說明如下。
為使本公開實施例的目的、特徵和優點更加清楚,下面將結合本公開實施例中的附圖,對本公開實施例進行清楚、完整地描述,顯然所描述的實施例僅僅是本公開一部分實施例,而不是全部的實施例。通常在此處附圖中描述和示出的本公開實施例的元件可以以各種不同的配置來佈置和設計。因此,以下對在附圖中提供的本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍,而是僅僅表示本公開的選定實施例。基於本公開的實施例,本領域具有通常知識者在沒有做出進步性勞動的前提下所獲得的所有其他實施例,都屬於本公開保護的範圍。
本文中術語“和/或”,僅僅是描述一種關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
本公開至少一個實施例提供了一種互動方法,該互動方法可以由顯示裝置或伺服器等電子設備執行,顯示裝置例如為終端設備,終端設備可以是固定終端或行動終端,例如手機、平板電腦、遊戲機、桌上型電腦、廣告機、車載終端、虛擬實境(Virtual Reality,VR)設備、增強實境(Augmented Reality,AR)設備等。伺服器可包括本機伺服器或雲端伺服器等。本公開並不限定顯示裝置和伺服器的具體形式。
在本公開實施例中,在顯示裝置上可以顯示互動物件,互動物件可以是任意一種能夠與目標物件進行互動的互動物件,其可以是虛擬人物,還可以是虛擬動物、虛擬物品、卡通形象等等任何能夠實現互動功能的虛擬形象,虛擬形象的展現形式既可以是2D形式也可以是3D形式,本公開對此並不限定。目標物件可以是自然人,也可以是機器人,還可以是其他智慧設備。互動物件和目標物件之間的對話模式可以是主動對話模式,也可以是被動對話模式。在一示例中,目標物件可以透過做出手勢或者肢體動作來發出需求,透過主動互動的方式來觸發互動物件與其互動。在另一示例中,互動物件可以透過主動打招呼、提示目標物件做出動作等方式,使得目標物件採用被動方式與互動物件進行互動。
在一些實施例中,圖1示出本公開至少一個實施例提出的顯示裝置。該顯示裝置為具有透明顯示幕的顯示裝置,其可以在透明顯示幕上顯示立體畫面,以呈現出具有立體效果的互動物件。例如圖1中透明顯示幕顯示的互動物件有虛擬卡通人物。
在一些實施例中,顯示裝置也可以為手機或者平板電腦等移動終端,在移動終端上可以安裝有能夠展示互動物件的應用程式(Application,APP),比如為實現互動物件與使用者之間的互動的專屬應用程式,或者,也可以為配置有實現互動物件的互動能力的軟體開發套件(Software Development Kit,SDK)的通用應用程式。比如,在一些銀行APP上,可以嵌入實現互動物件的互動能力的SDK,進而在運行銀行APP的情況下,可以根據需求調取互動物件來實現與使用者之間的互動。
示例性的,上述顯示裝置中可以配置有記憶體和處理器,記憶體用於存儲可在處理器上運行的電腦指令,處理器用於在執行電腦指令時實現本公開提供的互動方法,以使透明顯示幕中顯示的互動物件對目標物件進行回應。
本公開實施例中提出一種能夠由互動物件來回應使用者的觸發操作的方案,互動物件可透過擬人化的動作對用戶做出回應,使得互動流程更為流暢,能夠有效提升互動體驗。示例性的,本公開實施例也可以應用在由互動物件對顯示裝置提供的功能進行介紹的場景下,可以便於一些對文字理解能力較弱或者沒有時間查看文字引導資訊的使用者群體快速獲取所需資訊。
下面,結合具體實施例對本公開進行詳細說明。
圖2為本公開實施例提供的互動方法的流程圖,參照圖2所示,所述互動方法包括步驟201-步驟203,其中:
步驟201,接收對顯示裝置的第一觸發操作。
步驟202,獲取用於響應第一觸發操作的互動物件的動作標識。
步驟203,基於動作標識,控制顯示裝置展示的互動物件進行回應,回應中包括與互動物件的動作標識對應的動作。
在一些實施例中,上述互動方法可以由顯示裝置執行,即在本地完成對第一觸發操作的回應;上述互動方法也可以由伺服器執行,即由伺服器完成用於回應第一觸發操作的資料的獲取,並指示顯示裝置的互動物件進行回應。
在上述互動方法由顯示裝置來執行的情況下,步驟201中接收對顯示裝置的第一觸發操作,可以由顯示裝置檢測是否存在第一觸發操作。比如,可以透過檢測在顯示裝置的顯示幕上是否有觸摸操作,來確定是否存在第一觸發操作;或者,透過檢測顯示裝置採集的圖像中是否有設定的用戶面部表情或用戶肢體動作,來確定是否存在第一觸發操作;或者,透過檢測顯示裝置採集的語音指示,來確定是否存在第一觸發操作等。具體檢測方式可以透過顯示裝置配置的感測器等支援的檢測能力來配置,本公開對此並不限定。
在上述互動方法由伺服器來執行的情況下,顯示裝置可以將檢測到的第一觸發操作上報給伺服器,以便伺服器來獲取用於回應第一觸發操作的各類資料,進而將顯示裝置所需的資料發送給顯示裝置,由顯示裝置展示互動物件的響應。
在一些實施例中,第一觸發操作可以用於請求顯示裝置提供某種功能或某種資料。示例性的,第一觸發操作可以為對顯示裝置的目標應用程式的觸發操作,比如,點擊目標應用程式的圖示的觸發操作,以請求顯示裝置開啟目標應用程式,以提供某種服務。或者,第一觸發操作還可以為對顯示裝置的目標應用程式的目標功能選項的觸發操作,比如,點擊目標應用程式中的目標功能選項的觸發操作,以請求目標應用程式啟動目標功能選項對應的功能等。觸發操作的具體方式如上述說明,既可以是對顯示裝置的接觸式操作,也可以是無接觸式的操作,比如透過做出某種手勢等動作或者輸入語音的方式等。
本公開實施例中,既可以直接對第一觸發操作進行回應,也可以先獲取第一觸發操作對應的回應資料進而做出回應,下面以兩個具體的實施流程為例來說明基於第一觸發操作的回應過程。
圖3所示,為本公開實施例提供的一種基於第一觸發操作的回應過程的流程示意圖,包括如下步驟:
步驟301,接收對顯示裝置的第一觸發操作。
步驟302,基於對顯示裝置的觸發操作與互動物件的動作標識之間的預設映射關係,獲取與第一觸發操作對應的動作標識。
步驟303,基於動作標識,控制顯示裝置展示的互動物件進行回應,回應中包括與互動物件的動作標識對應的動作。
圖4所示,為本公開實施例提供的另一種基於第一觸發操作的回應過程的流程示意圖,包括如下步驟:
步驟401,接收對顯示裝置的第一觸發操作。
步驟402,獲取用於回應第一觸發操作的回應資料。
步驟403,基於對顯示裝置的觸發操作的回應資料與互動物件的動作標識之間的預設映射關係,獲取用於回應第一觸發操作的回應資料對應的動作標識。
步驟404,基於動作標識,控制顯示裝置展示的互動物件進行回應,回應中包括與互動物件的動作標識對應的動作。
以上實施例中,透過配置觸發操作或觸發操作的回應資料與動作標識之間的預設映射關係,可以在接收到第一觸發操作後,快速精准地查找到用於回應第一觸發操作的動作標識,以便控制互動物件做出與動作標識對應的動作,以回應第一觸發操作。
對於步驟301和步驟401的有關描述可以參見上文相關部分,這裡不再重複贅述。
考慮到不同的互動場景下,用戶透過第一觸發操作所請求的內容各式各樣,回應第一觸發操作的內容也存在多樣性,故針對一些較為簡單的互動場景下,本公開實施例可以配置第一觸發操作與互動物件的動作標識之間的預設映射關係,列舉一個簡單的例子,第一觸發操作可以為用戶做出的打招呼的手勢動作,那麼可以直接將第一觸發操作中打招呼的手勢動作與互動物件回應的打招呼的手勢動作之間建立映射關係,無需額外的回應資料。
在一些較為複雜的互動場景下,也可以配置第一觸發操作的回應資料與互動物件的動作標識之間的預設映射關係。在一些實施方式中,可以透過第一觸發操作識別用戶的互動意圖,然後根據互動意圖,查找到符合該互動意圖的回應資料。其中,回應資料可以是預先存儲好的,也可以是透過網路向其它內容伺服器請求獲取到的,本公開對此並不限定。
當然,具體實施例中,用於回應第一觸發操作的資料除了動作標識之外,還可以包括回應資料,回應資料包括但不限於互動物件針對該第一觸發操作的回應資料,還可以包括顯示裝置上目標應用程式針對該第一觸發操作的回應資料等。其中,預設映射關係具體是建立在第一觸發操作與互動物件的動作標識之間,還是建立在第一觸發操作的回應資料與互動物件的動作標識之間,可以視實際互動場景的需求來配置,並且對於同一互動場景下可支援上述兩種預設映射關係的配置。
回應資料的形式有很多種,在一種可能的實施方式中,回應資料可以包括文本資料,那麼預設映射關係可以包括文本資料中的關鍵文本資料與動作標識之間的預設映射關係。列舉一個簡單的例子,第一觸發操作為使用者請求開啟目標應用程式的觸發操作,尤其是使用者首次開啟目標應用程式的互動場景下,可以由互動設備來介紹目標應用程式的使用說明,那麼回應資料可以為目標應用程式中各個功能選項的使用說明,功能選項可作為關鍵文本資料,功能選項可與互動物件的動作標識建立預設映射關係,在該互動場景下,互動物件的動作標識例如為指向該功能選項的肢體動作的標識,如此,在展示互動物件的回應內容的過程中,可以在顯示裝置的介面中呈現出互動物件指向所介紹的各個功能選項的展示效果。
其中,預設映射關係可以是後臺預先配置好的,用於記錄不同觸發操作對應的互動物件的特定回應方式,其中,特定回應方式可以透過特定的動作標識來標記。比如,第一觸發操作為請求開啟目標應用程式的觸發操作,則特定的動作標識可以標識開啟目標應用程式後,互動物件打招呼的動作,或者,互動物件介紹目標應用程式的使用說明過程中指向使用說明涉及的各個功能選項的動作。當然,在具體實施例中,預設映射關係也可以是基於深度學習演算法進行反覆學習後得到的,如此,在接收到第一觸發操作或第一觸發操作的回應資料之後,可以透過深度學習模型來預測相映射的互動物件的動作標識。
在一些實施例中,預設映射關係中第一觸發操作或第一觸發操作的回應資料,所對應的動作標識可以是至少一個,也就是說,一個第一觸發操作可映射一個動作標識,也可以映射至少兩個動作標識,如此,互動物件在進行回應時可以做出與一個動作標識對應的特定動作,也可以做出與至少兩個動作標識對應的一系列的特定動作。其中,在映射有至少兩個動作標識的情況下,至少兩個動作標識可以具備排列關係,比如按照執行先後順序來配置至少兩個動作標識的排列關係,如透過添加執行的時間戳記等方式。
其中,互動物件的動作標識,用於標識互動物件做出的特定動作,以便在互動物件進行回應的過程中,能夠做出與動作標識對應的動作。在一些實施例中,動作標識包括互動物件的肢體動作標識,和/或互動物件在做出動作時的展示位置標識。既可以透過肢體動作標識,標識互動物件在進行回應過程中所做出的具體肢體動作,還可以透過展示位置標識,標識互動物件在進行回應過程中展示在顯示裝置的顯示區域中的位置,透過以上兩種標識中的至少一種,可以提升互動物件在展示過程中的展示效果。
肢體動作標識用於標識互動物件的特定肢體動作,特定肢體動作可以是互動物件的頭部的動作,也可以是互動物件的身體軀幹的動作,頭部的動作也可以包括面部表情動作。展示位置標識用於標識互動物件在做出動作時的特定展示位置,特定展示位置為顯示裝置的介面上的特定展示位置,在該特定展示位置上能夠便於使用者觀看回應內容,避免可能存在的遮擋等問題,能夠達到更好的互動效果。
在一些實施例中,在動作標識包括互動物件的肢體動作標識的情況下,動作標識對應的動作包括但不限於互動物件指向顯示裝置的目標展示區域的肢體動作。互動物件的指向性的肢體動作,可以應用於對顯示裝置的介面上的有關功能進行說明的場景下,示例性的,可以是對於目標應用程式上的某些功能進行介紹的場景下。在該場景下,接收的第一觸發操作,可以是對顯示裝置的目標應用程式的觸發操作,也可以是對顯示裝置的目標應用程式的目標功能選項的觸發操作。透過指向性的動作標識可以使使用者在互動過程中能夠快速獲知互動物件當前所響應的具體內容,使得互動過程更為逼真流暢,和/或透過互動物件的展示位置標識來標識做出指向性或其它動作時的位置,如此,可以便於使用者觀看回應內容,避免可能存在的遮擋等問題,能夠達到更好的互動效果。
下面列舉幾種在配置了不同動作標識的情況下的可能的互動過程:
示例一,在動作標識包括互動物件的肢體動作標識的情況下,動作標識對應的動作包括互動物件指向顯示裝置的目標展示區域的肢體動作。有一種可能的互動過程為:接收到對顯示裝置的目標應用程式的第一觸發操作之後,可以獲取該第一觸發操作對應的回應資料,回應資料包括目標應用程式上的功能介紹的文本資料,進一步地,基於回應資料與互動物件的動作標識之間的預設映射關係,可以獲取到與文本資料中的關鍵文本資料對應的互動物件的動作標識。其中,關鍵文本資料例如為描述目標應用程式上的特定功能的文本資料,比如,描述目標應用程式上第一功能的文本資料,第一功能的功能選項可以在目標應用程式的顯示介面的預設展示區域。為了便於用戶快速找到該第一功能的位置並熟悉該第一功能的操作說明,可以將互動物件的動作標識配置為指向該第一功能所在的預設展示區域的動作的標識。如此,可以基於互動物件的動作標識,控制顯示裝置展示互動物件進行回應的內容,回應的內容可以包括指向第一功能所在的預設展示區域的動作。當然,回應的內容還可以包括其它形式的內容,比如回復一段語音或者展示一些提示內容等,本公開對此並不限定。其中,參照圖5所示,為列舉的一種展示有互動物件的回應內容的顯示介面,互動物件的回應內容中包括指向“麥克風”功能的動作,且還展示有對應的麥克風的操作說明。
示例二,在動作標識包括互動物件在做出動作時的展示位置標識的情況下,動作標識對應的動作包括互動物件在目標展示位置上做出的動作。有一種可能的互動過程為:接收到對目標應用程式的目標功能選項的第一觸發操作之後,可以獲取第一觸發操作對應的回應資料,回應資料包括目標功能選項提供的功能相關資料,進一步地,基於觸發操作與互動物件的動作標識之間的映射關係,可以獲取到與第一觸發操作對應的互動物件的動作標識。為了便於使用者快速瞭解目標功能選項提供的功能,可以使互動物件在目標展示位置上做出介紹該目標功能選項提供的功能的動作。如此,可以基於互動物件的動作標識,控制顯示裝置展示互動物件進行回應的內容,回應的內容可以包括互動物件在目標展示位置上做出的動作。其中,參照圖6所示,為列舉的一種展示有互動物件的響應內容的顯示介面,目標功能選項例如為目標應用程式中轉帳選項提供的轉帳功能,在目標應用程式跳轉到轉帳顯示介面之後,可以展示互動物件的回應內容,為了便於使用者觀看互動物件的回應內容,互動物件的動作標識中可配置有展示位置標識,以便互動物件在轉帳操作區域的左下方的目標展示位置上介紹有關轉帳的功能。
示例三,在動作標識包括肢體動作標識和展示位置標識的情況下,動作標識對應的動作包括互動物件在目標展示位置上做出指向目標展示區域的肢體動作。有一種可能的互動過程為:可以在示例一所描述的互動流程的基礎上,增加互動物件的展示位置標識與回應資料的預設映射關係的配置。如此,可以基於互動物件的肢體動作標識和展示位置標識,控制顯示裝置展示互動物件進行回應的內容,回應的內容可以包括互動物件在展示位置標識對應的目標展示位置上做出與肢體動作標識對應的肢體動作。其中,可繼續參照圖5和圖7所示,為列舉的一種展示有互動物件的回應內容的顯示介面,互動物件的回應內容中包括在展示位置標識對應的目標展示位置“B”上指向“麥克風”功能的動作,且還展示有對應的麥克風的操作說明。其中,顯示介面中的“A”、“B”、“C”的位置標記僅為示例性說明,且是出於便於理解的目的標記在顯示介面中,實際應用過程中“A”、“B”、“C”可無需顯示。
在以上提供的示例一至示例三中,互動物件指向的目標展示區域可以是被觸發的目標功能選項所在的預設展示區域,也可以是與被觸發的目標應用程式關聯的展示區域,還可以是與被觸發的目標功能選項關聯的展示區域。同理,目標展示位置,也可以是基於被觸發的目標功能選項和被觸發的目標應用程式來確定。
需要說明的是,在實際應用中,可基於具體互動需求來配置預設映射關係中的肢體動作標識和展示位置標識,本公開對此並不限定。
為便於理解,下面結合圖5和圖7給出的上述示例一和示例三的互動場景,舉例說明一種預設映射關係的具體配置方式。
參照圖8所示,可以將目標應用程式的顯示介面分成九宮格形式,包括“左上”、“上”、“右上”、“左”、“中”、“右”、“左下”、“下”、“右下”這九個展示區域。每個展示區域中可包括目標應用程式的不同功能選項。
為了使互動物件做出回應時能夠指向對應的功能選項,互動物件的肢體動作標識可包括六組肢體動作,包括圖9和圖10所示的“左上”、“左”、“左下”、“右上”、“右”、“右下”,互動物件的展示位置標識可包括三個展示位置“A”,“B”,“C”。
在配置預設映射關係時,如第一觸發操作所觸發的目標應用程式的目標功能選項在“左上”、“左”、“左下”、“右上”、“右”、“右下”這六個展示區域的其中之一,那麼,與第一觸發操作或第一觸發操作的回應資料存在映射關係的展示位置標識可以是“B”,與第一觸發操作或第一觸發操作的回應資料存在映射關係的肢體動作標識可以為“左上”、“左”、“左下”、“右上”、“右”、“右下”的其中之一,具體選擇哪個肢體動作標識由被觸發的目標功能選項所在展示區域來確定。比如,若被觸發的目標功能選項所在展示區域在“左上”,則可選擇肢體動作標識為“右上”。
若第一觸發操作所觸發的目標應用程式的目標功能選項在“上”、“中”、“下”這三個展示區域的其中之一,那麼,與第一觸發操作或第一觸發操作的回應資料存在映射關係的展示位置標識可以是“A”或者“C”,與第一觸發操作或第一觸發操作的回應資料存在映射關係的肢體動作標識可以為“左上”、“左”、“左下”、“右上”、“右”、“右下”的其中之一,具體選擇哪個肢體動作標識由被觸發的目標功能選項所在展示區域來確定。比如,若被觸發的目標功能選項所在展示區域在“上”,展示位置標識為“A”,則可選擇肢體動作標識為“左上”;或者,若被觸發的目標功能選項所在展示區域在“上”,展示位置標識為“C”,則可選擇肢體動作標識為“右上”。
其中,在回應資料為文本資料,預設映射關係為關鍵文本與互動物件的動作標識之間的映射關係時,關鍵文本例如可以是用於描述上述目標功能選項所在的展示區域的文本,可以直接用“上方的”、“右上方的”、“下方的”這種具備明確方位資訊的文本來作為關鍵文本,當然,也可以用目標功能選項的名稱作為關鍵文本,其中,目標功能選項的名稱已預先記錄有該目標功能選項所在的展示區域。
以上僅為本公開實施例的可行性方式的舉例說明,在實際應用中,可根據實際互動需求來合理配置預設映射關係,本公開對此並不限定。
繼續參照圖2至圖4所示的互動方法的實施流程,針對步驟203、步驟303以及步驟404中所示的,基於動作標識,控制顯示裝置展示的互動物件進行回應的具體處理流程,可參見圖11所示,包括如下步驟:
步驟4041,獲取與動作標識對應的驅動資料。
在一些實施例中,驅動資料用於調整互動物件的顯示狀態,互動物件作為虛擬形象,其後臺記錄的是互動物件的3D模型或2D模型,透過驅動資料調整3D模型或2D模型中相關部位的參數,進而可以改變互動物件的顯示狀態。其中,相關部位包括但不限於頭部、肢體各個關節部位、面部表情等。在獲取到動作標識之後,動作標識可以反映出互動物件待呈現的顯示狀態,故可以獲取與動作標識對應的驅動資料。在本公開實施例應用在顯示裝置的情況下,驅動資料既可以在本地資料庫中存儲,也可以在雲端資料庫中存儲;在本公開實施例應用在伺服器的情況下,驅動資料既可以在伺服器本身存儲單元上存儲,也可以在其它業務相關伺服器上存儲,本公開對此並不限定。
步驟4042,利用驅動資料,渲染互動物件的顯示畫面。
在一些實施例中,獲取驅動資料之後可以利用內置的渲染工具渲染出互動物件的顯示畫面,具體使用的渲染工具,本公開並不限定。
其中,結合以上實施例中的描述,顯示畫面中可以包括以下畫面內容中的任一種:互動物件做出與肢體動作標識對應的肢體動作的畫面內容;互動物件在展示位置標識對應的目標展示位置上做出與肢體動作標識對應的肢體動作的畫面內容。有關畫面內容的示例,可以參照圖5至圖7所示。
步驟4043,控制顯示裝置顯示互動物件的顯示畫面。
在本公開實施例應用在顯示裝置的情況下,顯示畫面可以在本地渲染成功後直接呈現在顯示裝置上;在本公開實施例應用在伺服器的情況下,伺服器可以將渲染成功的顯示畫面發送給顯示裝置,然後由顯示裝置來進行呈現。
此外,在以上實施例中,回應資料包括但不限於互動物件針對該第一觸發操作的回應資料、顯示裝置上目標應用程式針對該第一觸發操作的回應資料等。
示例性的,還可以獲取第一觸發操作對應的回應資料,進而可以控制顯示裝置播放回應資料中的語音資料,和/或在顯示裝置的介面上展示回應資料的提示框等,本公開對此並不限定。上述實施方式並不限定於進行與互動物件的動作標識相關的回應,還可以透過播放語音或者展示提示框等方式來實現回應,使得回應資料的呈現方式多樣化,提升互動體驗。
其中,在顯示裝置顯示互動物件的顯示畫面的情況下,若互動物件的顯示畫面顯示在目標應用程式的顯示介面上,則可以使目標應用程式的回應內容的層級處於互動物件的響應內容的層級之上。透過目標應用程式和互動物件的顯示畫面分層次的處理,兩者可以分別進行回應,可以避免互動物件的回應過程與目標應用程式的運行可能出現的衝突。示例性的,可以將互動物件的回應內容設置在目標應用程式的背景層上,如此,控制顯示裝置在目標應用程式的顯示介面的背景層上顯示互動物件的顯示畫面,顯示介面位於背景層之上,其顯示效果可參見圖12所示,互動物件的顯示畫面在背景層,在背景層之上可以顯示目標應用程式的回應內容。
在一些實施例中,在利用互動物件的驅動資料,渲染互動物件的顯示畫面的過程中,為了使互動物件呈現出來的效果更為逼真,本公開實施例可以識別驅動資料的驅動模式,回應於驅動模式,根據驅動資料獲取互動物件的控制參數,根據控制參數控制互動物件的姿態。
示例性的,根據驅動資料的類型,獲取驅動資料對應的語音資料序列,語音資料序列包括多個語音資料單元;若檢測到所述語音資料單元中包括目標資料,則確定所述驅動資料的驅動模式為第一驅動模式,目標資料與互動物件的預設控制參數相對應;進而,可以回應於第一驅動模式,將目標資料對應的預設控制參數,作為所述互動物件的控制參數。其中,目標資料包括關鍵字或關鍵字,關鍵字或關鍵字與互動物件的設定動作的預設控制參數相對應。
若未檢測到語音資料單元中包括目標資料,則確定驅動資料的驅動模式為第二驅動模式;進而可以回應於第二驅動模式,獲取語音資料序列中的至少一個語音資料單元的特徵資訊;獲取與特徵資訊對應的互動物件的控制參數。
其中,上述語音資料序列包括音素序列,在獲取所述語音資料序列中的至少一個語音資料單元的特徵資訊時,可以對所述音素序列進行特徵編碼,獲得所述音素序列對應的第一編碼序列;根據第一編碼序列,獲取至少一個音素對應的特徵編碼;根據特徵編碼,獲得至少一個音素的特徵資訊。
上述語音資料序列還可以包括語音幀序列,在獲取所述語音資料序列中的至少一個語音資料單元的特徵資訊時,還可以獲取所述語音幀序列對應的第一聲學特徵序列,所述第一聲學特徵序列包括與所述語音幀序列中的每個語音幀對應的聲學特徵向量;根據所述第一聲學特徵序列,獲取至少一個語音幀對應的聲學特徵向量;根據所述聲學特徵向量,獲得所述至少一個語音幀對應的特徵資訊。
其中,上述互動物件的控制參數包括所述互動物件的至少一個局部區域的控制向量。示例性的,可以將上述特徵資訊輸入至迴圈神經網路,獲得與特徵資訊對應的互動物件的控制參數。上述根據所述驅動資料獲取所述互動物件的控制參數,可以包括:根據所述驅動資料獲取互動物件的至少一個局部區域的控制向量;根據控制參數控制互動物件的姿態,可以包括:根據所獲取的所述至少一個局部區域的控制向量,控制所述互動物件的面部動作和/或肢體動作。
當然,具體實施中也可以包括其它驅動模式,本公開對此並不限定。
參照圖13所示,本公開實施例提供了一種互動系統,所述互動系統包括顯示裝置1301和伺服器1302。
其中,顯示裝置1301,用於獲取對顯示裝置1301的第一觸發操作並將第一觸發操作發送給伺服器1302,基於伺服器1302的指示控制顯示裝置展示的互動物件進行回應;伺服器1302,用於接收第一觸發操作,獲取用於響應第一觸發操作的互動物件的動作標識;基於動作標識,指示顯示裝置1301控制互動物件進行回應;回應中包括與互動物件的動作標識對應的動作。
示例性的,在該互動系統中,顯示裝置1301可以檢測到第一觸發操作,進而可以向伺服器1302請求回應資料,相應地,伺服器可以從預先存儲有預設映射關係的資料庫中獲取用於回應第一觸發操作的互動物件的動作標識,進而基於該動作標識,獲取到對應的互動物件的驅動資料。
在一些實施例中,伺服器1302可以透過渲染工具將驅動資料,渲染成互動物件的動畫,然後直接將渲染後的結果下發至顯示裝置1301,以便顯示裝置1301展示渲染後的結果,呈現出互動物件對第一觸發操作進行回應的擬人化效果。
在另一些實施例中,伺服器1302也可以將驅動資料下發給顯示裝置1301,由顯示裝置1301透過內置的渲染工具對驅動資料進行渲染,進而展示渲染後的結果,呈現出互動物件對第一觸發操作進行回應的擬人化效果。
該互動系統中伺服器1302可以提供主要的計算能力,這樣顯示裝置1301可以無需本地配置過多的處理資料,減輕顯示裝置1301的處理壓力。
透過該互動系統中顯示裝置1301和伺服器1302之間的資料處理流程,能夠實現由互動物件來回應使用者的觸發操作,互動物件可透過擬人化的動作對用戶做出回應,使得互動流程更為流暢,能夠有效提升互動體驗。
參見圖14所示,本公開實施例提供了一種互動裝置1400,該互動裝置1400包括接收模組1401、獲取模組1402和控制模組1403。
接收模組1401,用於接收對顯示裝置的第一觸發操作;獲取模組1402,用於獲取用於回應第一觸發操作的互動物件的動作標識;控制模組1403,用於基於動作標識,控制顯示裝置展示的互動物件進行回應,回應中包括與互動物件的動作標識對應的動作。
在一種可能的實施方式中,獲取模組1402在用於獲取用於回應第一觸發操作的互動物件的動作標識時,包括:基於對顯示裝置的觸發操作與互動物件的動作標識之間的預設映射關係,獲取與第一觸發操作對應的動作標識。
在一種可能的實施方式中,獲取模組1402在用於獲取用於回應第一觸發操作的互動物件的動作標識時,包括:獲取用於回應第一觸發操作的回應資料;基於對顯示裝置的觸發操作的回應資料與互動物件的動作標識之間的預設映射關係,獲取用於回應第一觸發操作的回應資料對應的動作標識。
在一種可能的實施方式中,回應資料包括文本資料,預設映射關係包括文本資料中的關鍵文本資料與動作標識之間的預設映射關係。
在一種可能的實施方式中,動作標識包括互動物件的肢體動作標識,和/或互動物件在做出動作時的展示位置標識。
在一種可能的實施方式中,接收模組1401在用於接收對顯示裝置的第一觸發操作時,包括:接收對顯示裝置的目標應用程式的第一觸發操作;或者接收對顯示裝置的目標應用程式的目標功能選項的第一觸發操作,目標功能選項位於目標應用程式的顯示介面中的預設展示區域。
在一種可能的實施方式中,在動作標識包括互動物件的肢體動作標識的情況下,動作標識對應的動作包括互動物件指向顯示裝置的目標展示區域的肢體動作;在動作標識包括互動物件在做出動作時的展示位置標識的情況下,動作標識對應的動作包括互動物件在目標展示位置上做出的動作;在動作標識包括肢體動作標識和展示位置標識的情況下,動作標識對應的動作包括互動物件在目標展示位置上做出指向目標展示區域的肢體動作;其中,目標展示區域為預設展示區域或者為與預設展示區域關聯的展示區域。
在一種可能的實施方式中,控制模組1403在用於基於動作標識,控制顯示裝置展示的互動物件進行回應時,包括:獲取與動作標識對應的驅動資料;利用驅動資料,渲染互動物件的顯示畫面,顯示畫面中包括以下畫面內容中的任一種:互動物件做出與肢體動作標識對應的肢體動作的畫面內容;互動物件在展示位置標識對應的目標展示位置上做出與肢體動作標識對應的肢體動作的畫面內容;控制顯示裝置顯示互動物件的顯示畫面。
在一種可能的實施方式中,控制模組1403在用於控制顯示裝置顯示互動物件的顯示畫面時,包括:控制顯示裝置在目標應用程式的顯示介面的背景層上顯示互動物件的顯示畫面,顯示介面位於背景層之上。
在一種可能的實施方式中,控制模組1403還用於:獲取第一觸發操作對應的回應資料;控制顯示裝置播放回應資料中的語音資料,和/或在顯示裝置的介面上展示回應資料的提示框。
參見圖2提供的互動方法流程,本公開實施例還提供了一種電子設備1500。圖15為本公開實施例提供的電子設備1500的結構示意圖,如圖15所示,電子設備1500包括:處理器1501、記憶體1502、和匯流排1503。記憶體1502存儲有處理器1501可執行的機器可讀指令(比如,圖14中的裝置中的接收模組1401、獲取模組1402、控制模組1403對應的執行指令等),當電子設備1500運行時,處理器1501與記憶體1502之間透過匯流排1503通訊,機器可讀指令被處理器1501執行時使處理器1501執行如下處理:接收對顯示裝置的第一觸發操作;獲取用於響應第一觸發操作的互動物件的動作標識;基於動作標識,控制顯示裝置展示的互動物件進行回應,回應中包括與互動物件的動作標識對應的動作。
本公開實施例還提供一種電腦可讀存儲介質,該電腦可讀存儲介質上存儲有電腦程式,該電腦程式被處理器執行時使該處理器執行上述方法實施例中所述的互動方法。其中,該存儲介質可以是揮發性或非揮發性的電腦可讀存儲介質。
本公開實施例所提供的互動方法的電腦程式產品,包括存儲了程式碼的電腦可讀存儲介質,所述程式碼包括的指令可用於執行上述方法實施例中所述的互動方法,具體可參見上述方法實施例,在此不再贅述。
本公開實施例還提供一種電腦程式,該電腦程式被處理器執行時使該處理器實現前述實施例的任意一種方法。該電腦程式產品可以具體透過硬體、軟體或其結合的方式實現。在一個可選實施例中,所述電腦程式產品具體體現為電腦存儲介質。在另一個可選實施例中,電腦程式產品具體體現為軟體產品,例如軟體發展包(Software Development Kit,SDK)等等。
本公開實施例中提出的互動方法、互動系統、裝置、設備及電腦程式,提出一種能夠由互動物件來回應使用者的觸發操作的互動方案,可以利用第一觸發操作對應的動作標識,控制互動物件透過擬人化的動作對用戶做出回應,且回應中包括與動作標識對應的動作,由此可使得互動流程更為逼真及流暢,能夠有效提升互動體驗。示例性的,本公開實施例提供的互動方案,也可以應用在由互動物件對顯示裝置提供的功能進行介紹的場景下,可以便於一些對文字理解能力較弱或者沒有時間查看文字引導資訊的使用者群體快速獲取所需資訊。當然,本公開實施例提供的互動方案也可以應用在其它具備互動需求的應用場景下,本公開對此並不具體限定。
所屬領域具有通常知識者可以清楚地瞭解到,為描述的方便和簡潔,上述描述的系統和裝置的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。在本公開所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以透過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,又例如,多個單元或元件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些通訊介面、裝置或單元的間接耦合或通訊連接,可以是電性、機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本公開實施例的目的。
另外,在本公開各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以存儲在一個處理器可執行的非揮發性的電腦可讀存儲介質中。基於這樣的理解,本公開實施例本質上或者說本公開實施例的全部或部分可以以電腦軟體產品的形式體現出來,該電腦軟體產品存儲在一個存儲介質中,包括若干指令用以使得一台電腦設備(可以是個人電腦、伺服器、或者網路設備等)執行本公開各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:隨身碟、行動硬碟、唯讀記憶體(Read-Only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、磁碟或者光碟等各種可以存儲程式碼的介質。
最後應說明的是:以上所述實施例,僅為本公開的具體實施方式,用以說明本公開,而非對其限制,本公開的保護範圍並不局限於此。儘管參照前述實施例對本公開進行了詳細的說明,但是本領域具有通常知識者應當理解:任何熟悉本領域具通常知識者在本公開揭露的技術範圍內,其依然可以對前述實施例所記載的技術內容進行修改或可輕易想到變化,或者對其中部分技術特徵進行等同替換;而這些修改、變化或者替換,並不使相應技術內容的本質脫離本公開的精神和範圍,都應涵蓋在本公開的保護範圍之內。因此,本公開的保護範圍應以申請專利範圍的保護範圍為准。
201、202、203:步驟 301、302、303:步驟 401、402、403、404:步驟 4041、4042、4043:步驟 1301:顯示設備 1302:伺服器 1400:互動裝置 1401:接收模組 1402:獲取模組 1403:控制模組 1500:電子設備 1501:處理器 1502:記憶體
圖1示出了本公開實施例所提供的一種顯示裝置的示意圖。 圖2示出了本公開實施例所提供的一種互動方法的流程圖。 圖3示出了本公開實施例所提供的一種基於第一觸發操作的回應過程的流程示意圖。 圖4示出了本公開實施例所提供的另一種基於第一觸發操作的回應過程的流程示意圖。 圖5示出了本公開實施例所提供的第一種展示有互動物件的回應內容的顯示介面的示意圖。 圖6示出了本公開實施例所提供的第二種展示有互動物件的回應內容的顯示介面的示意圖。 圖7示出了本公開實施例所提供的第三種展示有互動物件的回應內容的顯示介面的示意圖。 圖8示出了本公開實施例所提供的一種顯示介面的九宮格示意圖。 圖9示出了本公開實施例所提供的一種互動物件的介面示意圖。 圖10示出了本公開實施例所提供的另一種互動物件的介面示意圖。 圖11示出了本公開實施例所提供的一種控制顯示裝置展示的互動物件進行回應的具體處理流程示意圖。 圖12示出了本公開實施例所提供的一種互動物件的顯示畫面示意圖。 圖13示出了本公開實施例所提供的一種互動系統的結構示意圖。 圖14示出了本公開實施例所提供的一種互動裝置的結構示意圖。 圖15示出了本公開實施例所提供的一種電子設備的結構示意圖。
201、202、203:步驟

Claims (13)

  1. 一種互動方法,所述方法包括: 接收對顯示裝置的第一觸發操作; 獲取用於響應所述第一觸發操作的互動物件的動作標識; 基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應,所述回應中包括與所述互動物件的動作標識對應的動作。
  2. 如請求項1所述的方法,其中所述獲取用於響應所述第一觸發操作的互動物件的動作標識,包括: 基於對所述顯示裝置的觸發操作與所述互動物件的動作標識之間的預設映射關係,獲取與所述第一觸發操作對應的所述動作標識。
  3. 如請求項1所述的方法,其中該所述獲取用於響應所述第一觸發操作的互動物件的動作標識,包括: 獲取用於回應所述第一觸發操作的回應資料; 基於對所述顯示裝置的觸發操作的回應資料與所述互動物件的動作標識之間的預設映射關係,獲取用於回應所述第一觸發操作的回應資料對應的所述動作標識。
  4. 如請求項3所述的方法,其中所述回應資料包括文本資料,所述預設映射關係包括所述文本資料中的關鍵文本資料與動作標識之間的預設映射關係。
  5. 如請求項1至4任一項所述的方法,其中所述動作標識包括所述互動物件的肢體動作標識,和/或所述互動物件在做出動作時的展示位置標識。
  6. 如請求項1至4任一項所述的方法,其中所述接收對顯示裝置的第一觸發操作,包括: 接收對所述顯示裝置的目標應用程式的第一觸發操作;或者, 接收對所述顯示裝置的目標應用程式的目標功能選項的第一觸發操作,所述目標功能選項位於所述目標應用程式的顯示介面中的預設展示區域。
  7. 如請求項5所述的方法,其中在所述動作標識包括所述互動物件的肢體動作標識的情況下,所述動作標識對應的動作包括所述互動物件指向所述顯示裝置的目標展示區域的肢體動作; 在所述動作標識包括所述互動物件在做出動作時的展示位置標識的情況下,所述動作標識對應的動作包括所述互動物件在目標展示位置上做出的動作; 在所述動作標識包括所述肢體動作標識和所述展示位置標識的情況下,所述動作標識對應的動作包括所述互動物件在目標展示位置上做出指向所述目標展示區域的肢體動作。
  8. 如請求項1至4任一項所述的方法,其中基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應,包括: 獲取與所述動作標識對應的驅動資料; 利用所述驅動資料,渲染所述互動物件的顯示畫面,所述顯示畫面中包括以下畫面內容中的任一種:所述互動物件做出與肢體動作標識對應的肢體動作的畫面內容;所述互動物件在展示位置標識對應的目標展示位置上做出與所述肢體動作標識對應的肢體動作的畫面內容; 控制所述顯示裝置顯示所述互動物件的顯示畫面。
  9. 如請求項8所述的方法,其中所述控制所述顯示裝置顯示所述互動物件的顯示畫面,包括: 控制所述顯示裝置在目標應用程式的顯示介面的背景層上顯示所述互動物件的顯示畫面,所述顯示介面位於所述背景層之上。
  10. 如請求項1至4任一項所述的方法,其中所述方法還包括: 獲取所述第一觸發操作對應的回應資料; 控制所述顯示裝置播放所述回應資料中的語音資料,和/或在所述顯示裝置的介面上展示所述回應資料的提示框。
  11. 一種互動裝置,所述裝置包括: 接收模組,用於接收對顯示裝置的第一觸發操作; 獲取模組,用於獲取用於回應所述第一觸發操作的互動物件的動作標識; 控制模組,用於基於所述動作標識,控制所述顯示裝置展示的互動物件進行回應,所述回應中包括與所述互動物件的動作標識對應的動作。
  12. 一種電子設備,包括:處理器、記憶體和匯流排,所述記憶體存儲有所述處理器可執行的機器可讀指令,當電子設備運行時,所述處理器與所述記憶體之間透過匯流排通訊,其中,所述機器可讀指令被所述處理器執行時使所述處理器執行如請求項1至10任一項所述的互動方法。
  13. 一種電腦可讀存儲介質,該電腦可讀存儲介質上存儲有電腦程式,其中,該電腦程式被處理器執行時使所述處理器執行如請求項1至10任一項所述的互動方法。
TW109145339A 2020-04-13 2020-12-21 互動方法、裝置、互動系統、電子設備及存儲介質 TW202138971A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010285478.9A CN111488090A (zh) 2020-04-13 2020-04-13 交互方法、装置、交互系统、电子设备及存储介质
CN202010285478.9 2020-04-13

Publications (1)

Publication Number Publication Date
TW202138971A true TW202138971A (zh) 2021-10-16

Family

ID=71791805

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109145339A TW202138971A (zh) 2020-04-13 2020-12-21 互動方法、裝置、互動系統、電子設備及存儲介質

Country Status (6)

Country Link
JP (1) JP2022532696A (zh)
KR (1) KR20210129067A (zh)
CN (1) CN111488090A (zh)
SG (1) SG11202109187WA (zh)
TW (1) TW202138971A (zh)
WO (1) WO2021208432A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488090A (zh) * 2020-04-13 2020-08-04 北京市商汤科技开发有限公司 交互方法、装置、交互系统、电子设备及存储介质
CN113138765A (zh) * 2021-05-19 2021-07-20 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235671A (ja) * 2005-02-22 2006-09-07 Norinaga Tsukiji 会話装置及びコンピュータ読み取り可能な記録媒体。
JP2009163631A (ja) * 2008-01-09 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> バーチャルエージェント制御装置及びそのプログラム
CN103116463A (zh) * 2013-01-31 2013-05-22 广东欧珀移动通信有限公司 个人数字助理应用的界面控制方法及移动终端
CN105718133A (zh) * 2014-12-05 2016-06-29 珠海金山办公软件有限公司 一种引导用户操作的方法及装置
JP2017143992A (ja) * 2016-02-16 2017-08-24 株式会社トプコン 眼科検査システム及び眼科検査装置
US10685656B2 (en) * 2016-08-31 2020-06-16 Bose Corporation Accessing multiple virtual personal assistants (VPA) from a single device
CN107085495B (zh) * 2017-05-23 2020-02-07 厦门黑镜科技有限公司 一种信息展示方法、电子设备及存储介质
CN107294838B (zh) * 2017-05-24 2021-02-09 腾讯科技(深圳)有限公司 社交应用的动画生成方法、装置、系统以及终端
CN107894833B (zh) * 2017-10-26 2021-06-15 北京光年无限科技有限公司 基于虚拟人的多模态交互处理方法及系统
CN108491147A (zh) * 2018-04-16 2018-09-04 青岛海信移动通信技术股份有限公司 一种基于虚拟人物的人机交互方法及移动终端
CN110874137B (zh) * 2018-08-31 2023-06-13 阿里巴巴集团控股有限公司 一种交互方法以及装置
CN110125932B (zh) * 2019-05-06 2024-03-19 达闼科技(北京)有限公司 一种机器人的对话交互方法、机器人及可读存储介质
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN110989900B (zh) * 2019-11-28 2021-11-05 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN110868635B (zh) * 2019-12-04 2021-01-12 深圳追一科技有限公司 视频处理方法、装置、电子设备及存储介质
CN111488090A (zh) * 2020-04-13 2020-08-04 北京市商汤科技开发有限公司 交互方法、装置、交互系统、电子设备及存储介质

Also Published As

Publication number Publication date
SG11202109187WA (en) 2021-11-29
CN111488090A (zh) 2020-08-04
WO2021208432A1 (zh) 2021-10-21
KR20210129067A (ko) 2021-10-27
JP2022532696A (ja) 2022-07-19

Similar Documents

Publication Publication Date Title
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US11043031B2 (en) Content display property management
EP3814876B1 (en) Placement and manipulation of objects in augmented reality environment
CN108273265A (zh) 虚拟对象的显示方法及装置
US10891793B2 (en) Reality to virtual reality portal for dual presence of devices
CN110141857A (zh) 虚拟角色的面部显示方法、装置、设备及存储介质
CN111771180B (zh) 增强现实环境中对象的混合放置
US20180113669A1 (en) System for facilitating smartphone operation in a virtual reality environment
JP2020537200A (ja) 画像に挿入される画像コンテンツについての影生成
US11379033B2 (en) Augmented devices
TW202105129A (zh) 具有用於閘控使用者介面元件的個人助理元件之人工實境系統
US11681372B2 (en) Touch enabling process, haptic accessory, and core haptic engine to enable creation and delivery of tactile-enabled experiences with virtual objects
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
WO2021208432A1 (zh) 交互方法、装置、交互系统、电子设备及存储介质
WO2019166005A1 (zh) 智能终端及其感控方法、具有存储功能的装置
CN114904279A (zh) 数据预处理方法、装置、介质及设备
CN103752010B (zh) 用于控制设备的增强现实覆盖
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
WO2023250361A1 (en) Generating user interfaces displaying augmented reality graphics
CN116567360A (zh) 直播特效处理方法、装置、计算机设备和存储介质
CN110609615A (zh) 用于在增强现实中集成触觉覆盖的系统和方法
US11875465B2 (en) Virtual reality data-processing device, system and method
US11948237B2 (en) System and method for mimicking user handwriting or other user input using an avatar
KR101605740B1 (ko) 스마트폰 사용자의 개인화된 동작인식 방법 및 이를 이용한 게임방법
US11934627B1 (en) 3D user interface with sliding cylindrical volumes