TWI793762B - 交互方法、裝置、伺服器及電腦可讀存儲介質 - Google Patents

交互方法、裝置、伺服器及電腦可讀存儲介質 Download PDF

Info

Publication number
TWI793762B
TWI793762B TW110134119A TW110134119A TWI793762B TW I793762 B TWI793762 B TW I793762B TW 110134119 A TW110134119 A TW 110134119A TW 110134119 A TW110134119 A TW 110134119A TW I793762 B TWI793762 B TW I793762B
Authority
TW
Taiwan
Prior art keywords
user
information
display terminal
instruction
picture
Prior art date
Application number
TW110134119A
Other languages
English (en)
Other versions
TW202248807A (zh
Inventor
陳建維
Original Assignee
大陸商深圳富桂精密工業有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳富桂精密工業有限公司 filed Critical 大陸商深圳富桂精密工業有限公司
Publication of TW202248807A publication Critical patent/TW202248807A/zh
Application granted granted Critical
Publication of TWI793762B publication Critical patent/TWI793762B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申請公開一種基於增強現實技術的交互方法。交互方法包括:建立一可穿戴設備與一顯示終端之間的通訊連接,可穿戴設備被穿戴於一使用者;獲取使用者的第一資訊;發送第一資訊至顯示終端;依據第一資訊於顯示終端上顯示第一畫面;獲取使用者的第一指令;發送第一指令至顯示終端;依據第一指令調整第一畫面以形成演示畫面。上述交互方法能夠幫助用戶得到優化的交互體驗,還能夠幫助使用者瞭解商品的本質資訊,提升使用者的知識廣度,提升用戶對商品的興趣與購買欲望,提升用戶的交互體驗。本申請一併公開一種交互裝置、伺服器及存儲介質。

Description

交互方法、裝置、伺服器及電腦可讀存儲介質
本申請涉及用戶與商品或物品交互的技術領域,具體涉及一種基於增強現實技術的交互方法、裝置、伺服器及電腦可讀存儲介質。
增強現實(AR,Augmented Reality)技術係一種即時地計算影像的位置及角度並加上相應圖像的技術,這種技術的目標係於螢幕上把虛擬世界套於現實世界並進行互動。
現有用戶與商品或物品的對話模式通常為:對商品或物品進行拍照以進行圖片辨識,或者,對商品或物品進行掃描以進行掃描辨識。然而,現有的對話模式通常存在如下缺點:1.由於拍照及掃描所獲取的商品或物品的圖像需要經過處理,導致拍照及掃描與處理完成之間存在時間延誤,導致用戶不能夠立即得到與商品或物品之間優化的交互體驗;2.由於經處理所得到的結果往往只展示商品或物品的二維圖像,使用者與商品或物品之間不能夠得到立體的交互體驗,導致用戶不能夠透視、細化瞭解商品或物品的本質,影響用戶的交互體驗。
鑒於以上內容,有必要提出一種基於增強現實技術的交互方法、裝置、伺服器及電腦可讀存儲介質,以解決上述問題。
本申請的第一方面提供一種基於增強現實技術的交互方法,所述方法包括:建立一可穿戴設備與一顯示終端之間的通訊連接,所述可穿戴設備被穿戴於一使用者;獲取所述使用者的第一資訊;發送所述第一資訊至所述顯示終端;依據所述第一資訊於所述顯示終端上顯示第一畫面; 獲取所述使用者的第一指令;發送所述第一指令至所述顯示終端;依據所述第一指令調整所述第一畫面以形成演示畫面。
在一些實施例中,所述演示畫面包括第一演示子畫面與第二演示子畫面;所述第一演示子畫面與所述第二演示子畫面為所述第一畫面依據時間序列所形成。
在一些實施例中,所述演示畫面還包括第一推送畫面及第二推送畫面;所述第一推送畫面為依據所述第一演示子畫面所形成,所述第一推送畫面與所述第一演示子畫面於同一時間顯示於所述顯示終端;所述第二推送畫面為依據所述第二演示子畫面所形成,所述第二推送畫面與所述第二演示子畫面於同一時間顯示於所述顯示終端。
在一些實施例中,所述第一資訊包括偏好資訊與/或狀態資訊。
在一些實施例中,所述第一資訊包括所述偏好資訊與所述狀態資訊;所述獲取所述使用者的第一資訊的步驟,包括:獲取所述使用者的所述偏好資訊;獲取所述使用者的面部資訊;依據所述面部資訊判斷所述使用者的面部狀態;依據所述面部狀態形成所述狀態資訊。
在一些實施例中,所述方法還包括:獲取所述使用者的第二指令;發送所述第二指令至所述顯示終端;依據所述第二指令獲取所述使用者的第二資訊;依據所述第二資訊形成虛擬物件;關聯所述虛擬物件與所述第一畫面以形成第二畫面。
在一些實施例中,所述方法還包括:保存所述第一畫面與/或所述第二畫面以形成歷史記錄。
在一些實施例中,所述第一畫面包括複數子第一畫面,所述複數子第一畫面於所述顯示終端上被分類展示。
在一些實施例中,所述方法還包括:獲取所述使用者的第三資訊;依據所述第三資訊形成第三指令; 發送所述第三指令至所述顯示終端;依據所述第三指令調整複數所述子第一畫面中的其中一個,以使被調整的所述子第一畫面於所述顯示終端上被放大。
在一些實施例中,所述依據所述第一資訊顯示第一畫面的步驟之後,所述方法還包括:獲取所述使用者的確認指令;依據所述確認指令建立所述可穿戴設備與所述使用者之間的連接。
本申請的第二方面提供一種基於增強現實技術的交互裝置,所述裝置包括:建立模塊,用於建立一可穿戴設備與一顯示終端之間的通訊連接,所述可穿戴設備被穿戴於一使用者;獲取模塊,用於獲取所述使用者的第一資訊;發送模塊,用於發送所述第一資訊至所述顯示終端;顯示模塊,用於依據所述第一資訊於所述顯示終端上顯示第一畫面;所述獲取模塊,還用於獲取所述使用者的第一指令;所述發送模塊,還用於發送所述第一指令至所述顯示終端;調整模塊,用於依據所述第一指令調整所述第一畫面以形成演示畫面。
本申請的協力廠商面提供一種伺服器,所述伺服器包括:記憶體,用於存儲複數程式模塊;處理器,用於載入所述記憶體中的所述複數程式模塊並執行:接收一顯示終端發送的一請求指令;依據所述請求指令形成第四資訊;發送所述第四資訊至所述顯示終端並於所述顯示終端進行展示。
本申請的第四方面提供一種電腦可讀存儲介質,其上存儲有電腦程式,所述電腦程式被處理器執行時實現如上所述的交互方法。
上述基於增強現實技術的交互方法、裝置、伺服器及電腦可讀存儲介質,藉由建立可穿戴設備與顯示終端之間的通訊連接,獲取使用者的第一資訊,發送第一資訊至顯示終端,依據第一資訊於顯示終端上顯示第一畫面,獲取使用者的第一指令,發送第一指令至顯示終端,依據第一指令調整第一畫面以形成演示畫面。使用者穿戴可穿戴設備且可穿戴設備與顯示終端建立通訊連接之後,可穿戴設備可將使用者的第一資訊發送至顯示終端,顯示終端依據第一資訊顯示使用者關注的或使用者可能需要的商品或物品的資訊畫面,以確保使用 者能夠立即得到優化的交互體驗,提升用戶的交互體驗。使用者需要進一步的瞭解商品或物品的本質資訊時,使用者發出第一指令,第一指令被可穿戴設備獲取並藉由可穿戴設備發送至顯示終端,顯示終端依據第一指令調整第一畫面以形成演示畫面,使用者藉由演示畫面可觀看展示商品或物品的透視圖、分解圖、不同角度的示意圖等圖示的畫面,說明使用者進一步瞭解商品或物品的本質資訊,有利於說明使用者進一步地瞭解商品的資訊,提升使用者的購買欲望,還能夠幫助用戶進一步瞭解物品的本質,提升用戶的知識廣度,從而能夠提升用戶的交互體驗。
100:第一畫面
102:子第一畫面
104:被調整的子第一畫面
200:交互裝置
202:建立模塊
204:獲取模塊
206:發送模塊
208:顯示模塊
210:調整模塊
212:判斷模塊
214:形成模塊
216:刪除模塊
218:關聯模塊
220:保存模塊
300:電子裝置
302:第一記憶體
304:第一處理器
306:第一通訊匯流排
308:第一電腦程式
400:伺服器
402:第二記憶體
404:第二處理器
406:第二通訊匯流排
408:第二電腦程式
圖1係本申請一實施例提供的交互方法的流程示意圖。
圖2係圖1所示的步驟S12的流程示意圖。
圖3係圖1所示的步驟S16的流程示意圖。
圖4係依據第三指令調整複數子第一畫面中的其中一個後的示意圖。
圖5係本申請一實施例提供的交互裝置的功能模塊圖。
圖6係本申請一實施例提供的電子裝置的硬體架構示意圖。
圖7係本申請一實施例提供的伺服器的架構示意圖。
下面詳細描述本申請的實施方式,所述實施方式的示例於附圖中示出,其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面藉由參考附圖描述的實施方式為示例性的,僅用於解釋本申請,而不能理解為對本申請的限制。
請參見圖1,圖1為本申請一個實施例提供的基於增強現實技術的交互方法。根據不同的需求,流程圖中步驟的順序可改變,某些步驟可省略。為了便於說明,僅示出了與本申請實施例相關的部分。
本申請實施例的基於增強現實技術的交互方法應用於用戶與商品或物品之間的交互,亦可應用於用戶與商品銷售商或伺服器之間的交互,商品銷售商藉由於一顯示終端上顯示商品從而與穿戴可穿戴設備的使用者之間進行交互,上述的交互均以顯示終端為媒介。對於需要進行交互的使用者,可直接於可穿戴設備、顯示終端、伺服器中的一者或多者上集成本申請的交互方法所提供的交互功能,或者安裝用於實現本申請的交互方法的用戶端。再如,本申請所提 供的交互方法還可以軟體開發套件(SDK,Software Development Kit)的形式運行於可穿戴設備、顯示終端、伺服器中的一者或多者上,以SDK的形式提供交互功能的介面,處理器或其他設備藉由提供的介面即可實現基於增強現實技術的交互功能。
其中,用戶與商品之間的交互,可理解為用戶想要瞭解商品的名稱、參數、材質、結構、價格等資訊。用戶與物品之間的交互,可理解為用戶想要瞭解物品的名稱、種類、作用、價值、形成過程等資訊,物品例如可為植物、動物、自然現象等。使用者與商品服務商之間的交互,可理解為使用者與商品服務商之間關於特定商品之間的交互,商品服務商為使用者提供特定商品的資訊。用戶與伺服器之間的交互,可理解為伺服器為用戶提供商品或物品的資訊。可理解地,在一些實施例中,伺服器與商品服務商之間可互相轉換。
本實施例中,基於增強現實技術的交互方法包括以下步驟。
步驟S10:建立一可穿戴設備與一顯示終端之間的通訊連接,可穿戴設備被穿戴於一使用者。
本實施例中,可穿戴設備具有觀看虛擬物件、採集資訊、通訊連接等功能。可穿戴設備可為可擕式的AR眼鏡、AR頭盔、VR(Virtual Reality,虛擬實境技術)眼鏡、VR頭盔等能夠觀看虛擬物件的智慧設備或與其他智慧設備的組合。例如,可穿戴設備可為AR眼鏡以及智慧手環的組合,AR眼鏡用於觀看虛擬物件,智慧手環則用於採集使用者的資訊。
顯示終端為本申請實施例交互功能的媒介,顯示終端具有通訊連接、顯示畫面、採集資訊等功能。顯示終端可為智慧顯示器、內置人工智慧的顯示器、內置攝像裝置的顯示器或其他具有處理、攝像及顯示功能的顯示器。顯示終端可佈置於學校、商場、廣場等固定的地方,亦可佈置於車輛或其他可移動的裝置上。
在一實施方式中,顯示終端具有於一定距離範圍內即時探測進入該距離範圍內的可穿戴設備的信號的功能。使用者穿戴可穿戴設備進入顯示終端的探測範圍後,顯示終端探測到使用者的可穿戴設備,顯示終端向可穿戴設備發出連接指令,可穿戴設備接收到該連接指令後向使用者發出係否與該顯示終端進行通訊連接的提示。如果用戶的選擇為“否”,則可穿戴設備向顯示終端發出“拒絕”的指令,該顯示終端接收到“拒絕”的指令後於一定時間範圍內不再向該可穿戴設備發出連接指令,顯示終端則繼續探測其他的可穿戴設備。如果用戶選擇 的選擇為“係”,則可穿戴設備與該顯示終端之間建立通訊連接,可穿戴設備與顯示終端之間能夠進行進一步的通訊連接。
顯示終端與可穿戴設備之間可藉由藍牙、局域網等無線連接方式進行連接。可理解地,在其他的實施例中,顯示終端與可穿戴設備之間還可藉由有線連接方式進行連接。
在一實施方式中,顯示終端與可穿戴設備於第一次建立通訊連接之後,顯示終端可記錄該可穿戴設備的資訊,便於顯示終端於下一次探測到該可穿戴設備時能夠直接與該可穿戴設備進行通訊連接。
可理解地,在其他的實施方式中,為了進一步對使用者的資訊進行保護,顯示終端每次與可穿戴設備進行通訊連接的時候均需要經過使用者的選擇授權,才可決定可穿戴設備與顯示終端之間係否能夠建立通訊連接。如此,有利於保護使用者的隱私資訊。
步驟S12:獲取使用者的第一資訊。
本實施例中,可穿戴設備獲取使用者的第一資訊,使用者的第一資訊被動地被可穿戴設備所獲取,第一資訊不需要經使用者授權即可被可穿戴設備獲取。
在一實施方式中,第一資訊包括偏好資訊與/或狀態資訊。可穿戴設備可獲取使用者的偏好資訊與/或狀態資訊,其中,使用者的偏好資訊與/或狀態資訊不會涉及到使用者的隱私資訊,例如,使用者的身份資訊、家庭資訊等隱私資訊。
偏好資訊為使用者於日常生活中經常關注的商品或物品資訊,與/或,最近關注的商品或物品資訊。使用者於日常生活中每次穿戴可穿戴設備時,可穿戴設備於被使用者授權的情況下對使用者使用可穿戴設備的行為進行分析以得出用戶感興趣的商品或物品,並進一步形成使用者的偏好資訊。
狀態資訊為使用者當下的狀態,狀態資訊表現為使用者當下的心情係否正常。為了便於說明,狀態資訊定義為正常與非正常兩種狀態。
請參見圖2,步驟S12具體包括步驟S121-步驟S125。
步驟S121:獲取使用者的偏好資訊。具體地,可穿戴設備於被使用者授權的情況下對使用者最近所關注的商品或物品資訊進行分析以形成偏好資訊,並被可穿戴設備存儲,該偏好資訊能夠被調取。
步驟S122:獲取使用者的面部資訊。具體地,使用者穿戴可穿戴設備且可穿戴設備與顯示終端建立通訊連接後,可穿戴設備藉由設置於可穿戴設備上的攝像裝置對使用者的面部進行拍照、掃描以形成面部資訊。
步驟S123:依據面部資訊判斷使用者的面部狀態。具體地,可穿戴設備依據獲取的面部資訊提取面部特徵,面部特徵例如為眼睛、嘴巴等特徵。依據提取的面部特徵與預設的特徵參數進行比對以判斷使用者的面部狀態。例如,所提取的面部特徵為眼睛,與預設的眼睛參數進行比對。如果面部特徵不符合預設的眼睛參數,則可判斷使用者的面部狀態為非正常。如果面部特徵符合預設的眼睛參數,則可判斷使用者的面部狀態為正常。
步驟S124:依據面部狀態形成狀態資訊。具體地,依據判斷所形成的面部狀態形成可被顯示終端讀取與解析的狀態資訊。
在一實施方式中,狀態資訊為正常時,顯示終端可展示更多的商品或物品資訊。狀態資訊為非正常時,顯示終端可展示較少的商品或物品資訊,以使使用者能夠觀看到較為簡潔的資訊清單,緩和使用者的心理情緒。
可理解地,在其他的實施方式中,依據狀態資訊的不同,顯示終端還可顯示其他有利於使用者體驗的資訊。
步驟S125:刪除面部資訊。具體地,可穿戴設備於形成狀態資訊後,刪除所獲取的面部資訊。如此,可穿戴設備能夠避免洩露使用者的隱私,亦能夠避免其他設備非法獲取該可穿戴設備中的隱私資訊,具有保護使用者隱私的作用。
可理解地,在其他的實施例中,步驟S125可省略。
步驟S14:發送第一資訊至顯示終端。
本實施例中,可穿戴設備將獲取的第一資訊發送至顯示終端。
在一實施方式中,可穿戴設備將使用者的偏好資訊與狀態資訊發送至顯示終端。
可理解地,在其他的實施方式中,可穿戴設備可僅發送偏好資訊或者僅發送狀態資訊。
步驟S16:依據第一資訊於顯示終端上顯示第一畫面。
本實施例中,顯示終端接收可穿戴設備發送的第一資訊,並依據第一資訊於顯示終端上顯示第一畫面,使得使用者能夠藉由可穿戴設備以視覺的方式觀看到第一畫面。其中,第一畫面包含使用者最近所關注的商品或物品資訊,或者使用者最近所關注的商品或物品資訊。如此,使用者可藉由第一畫面獲取 商品或物品的資訊,使用者能夠立即得到與商品或物品之間的優化的交互體驗。例如,使用者最近關注最新發佈的手機資訊,可穿戴設備形成的偏好資訊中包含“使用者關注最新發佈的手機”的資訊,顯示終端依此顯示最新發佈的多種手機的資訊畫面,以供使用者觀看。或者,例如,用戶剛剛關注附近的一株花草,可穿戴設備於被授權的情況下獲取到使用者關注到該花草,可穿戴設備形成的偏好資訊中包含“使用者關注該花草”的資訊,顯示終端依此顯示關於該花草或者與該花草相近的其他植物的資訊畫面,以供使用者觀看。
在一實施方式中,第一資訊可由一伺服器提供。
請參見圖3,步驟S16具體包括步驟S162-步驟S166。
步驟S162:接收顯示終端發送的請求指令。具體地,顯示終端依據第一資訊形成一請求指令並將該請求指令發送至伺服器。
步驟S164:依據請求指令形成第四資訊。具體地,伺服器接收該請求指令並依據該請求指令形成第四資訊。第四資訊依據請求指令所形成。本實施方式中,第四資訊包括使用者感興趣的商品資訊或物品資訊,伺服器將使用者感興趣的商品資訊或物品資訊打包後形成第四資訊。
步驟S166:發送第四資訊至顯示終端並於顯示終端進行展示。具體地,伺服器發送第四資訊至顯示終端。顯示終端接收到第四資訊後對第四資訊進行解析以形成第一畫面並於顯示終端上進行顯示。
可理解地,在其他的實施方式中,第一資訊還可由商品供應商提供。商品供應商亦可理解為伺服器。
本實施例中,步驟S16之後,交互方法還包括步驟S171與步驟S173。
步驟S171:獲取使用者的確認指令。具體地,為了對用戶的隱私進行保護,可穿戴設備於讀取使用者的資訊時需要獲得使用者的授權。確認指令為使用者主動向可穿戴設備發出。
在一實施方式中,確認指令可為特定的語音內容,例如為“XX同學”、“你好,XX”,可穿戴設備接收到上述語音內容後,識別該語音內容。
可理解地,在其他的實施方式中,確認指令還可為特定的手勢內容、腦波內容等需要使用者主動發出的資訊。
步驟S173:依據確認指令建立可穿戴設備與使用者之間的連接。具體地,可穿戴設備接收到使用者的確認指令後,可穿戴設備與使用者之間建立連接。建立連接之後,可穿戴設備可讀取使用者的語音、手勢、腦波等資訊,使用者藉由與可穿戴設備建立連接,進一步實現與顯示終端之間的連接。
請參見圖4,在一實施方式中,第一畫面100包括複數子第一畫面102,複數子第一畫面102於顯示終端上被分類展示。本實施方式以顯示終端顯示商品資訊為例進行說明,顯示終端依據第一資訊所顯示的商品的種類為複數,每個種類的商品對應形成一個子第一畫面102,複數子第一畫面102於顯示終端上以陣列的方式進行排列。
可理解地,在其他的實施方式中,複數子第一畫面102還可以上下排列的方式於顯示終端上被分類展示。
本實施例中,步驟S173之後,交互方法還可包括步驟S172、步驟S174、步驟S176與步驟S178。
步驟S172:獲取使用者的第三資訊。具體地,可穿戴設備於被使用者授權的情況下藉由攝像裝置採集使用者的面部表情。例如,可穿戴設備採集使用者的眼球位置,由於眼球可移動,眼球的移動可用來表示顯示終端上子第一畫面102需要移動的方向,眼球固定不動一定時間可表示用戶想要放大該子第一畫面102,或者表示其他的操作。
步驟S174:依據第三資訊形成第三指令。具體地,可穿戴設備獲取使用者的第三資訊後形成第三指令。例如,可穿戴設備獲取到使用者的眼球靠近上側且固定一定時間,可穿戴設備依據該資訊形成調整顯示終端上一與眼球的位置相對應的子第一畫面102的第三指令。
步驟S176:發送第三指令至顯示終端。具體地,可穿戴設備將第三指令發送至顯示終端。
步驟S178:依據第三指令調整複數子第一畫面102中的其中一個,以使被調整的子第一畫面104於顯示終端上被放大。具體地,顯示終端接收到第三指令後,依據第三指令調整顯示終端上與眼球的位置相對應位置的子第一畫面102,以使被調整的子第一畫面104於顯示終端上被放大,用於能夠更清晰地觀看到該子第一畫面102上商品的資訊,使得使用者能夠立即得到優化的交互體驗,提升用戶觀看或購買該商品的欲望。
可理解地,步驟S172、步驟S174、步驟S176與步驟S178亦可直接於步驟S16後執行,即步驟S171與步驟S173可省略。
本實施例中,步驟S173之後,交互方法還包括步驟S18-步驟S22。
步驟S18:獲取使用者的第一指令。
本實施例中,可穿戴設備獲取使用者發出的第一指令,第一指令為使用者主動向可穿戴設備發出。
第一指令可為使用者發出的語音指令、手勢指令、腦波指令等。其中,語音指令為使用者發出語音,可穿戴設備藉由聲音採集裝置收集使用者發出的語音,並藉由語音辨識技術提取使用者語音中的關鍵字,藉由關鍵字形成第一指令。手勢指令為使用者做出手勢動作,可穿戴設備藉由攝像裝置捕捉使用者的手勢動作,並藉由特徵提取技術提取使用者手勢動作中代表的含義,從而形成第一指令。例如,手勢動作於可穿戴設備中可被讀取為“上”、“下”、“左”、“右”的方向指令、“確認”指令、“返回”指令等。腦波指令為可穿戴設備藉由與人體頭部接觸的觸點獲取用戶的大腦皮層的腦波信號,並依據腦波信號形成第一指令。
在一實施方式中,第一指令為語音指令。語音指令的內容可理解為使用者想要進一步獲取第一畫面100中內容的資訊。
可理解地,在其他的實施方式中,語音指令的內容還可為其他內容。第一指令還可為手勢指令、腦波指令等。
步驟S20:發送第一指令至顯示終端。
本實施例中,可穿戴設備將獲取的第一指令發送至顯示終端,顯示終端接收第一指令。
步驟S22:依據第一指令調整第一畫面100以形成演示畫面。
本實施例中,顯示終端依據第一指令的內容調整第一畫面100,對第一畫面100中的內容進行進一步的展示,以形成演示畫面。
演示畫面包括第一演示子畫面與第二演示子畫面,第一演示子畫面與第二演示子畫面依據時間序列所形成,亦可理解為演示畫面為動畫,第一演示子畫面與第二演示子畫面為演示畫面於演示過程中的不同的畫面。
在一實施方式中,第一演示子畫面可為商品的又一角度示意圖,第二演示子畫面可為商品的內部結構圖,藉由第一演示子畫面與第二演示子畫面對第一畫面100中的商品進行進一步地進行展示,有利於提升用戶對商品的認知以及對商品的購買欲望。可理解為,演示畫面首先展示商品的又一角度的示意圖,然後再展示商品的內部結構圖。
本實施例中,演示畫面還包括第一推送畫面及第二推送畫面。第一推送畫面為依據第一演示子畫面所形成,第一推送畫面與第一演示子畫面於同一時間顯示於顯示終端;第二推送畫面為依據第二演示子畫面所形成,第一推送畫面與第一演示子畫面於同一時間顯示於顯示終端。可理解為,第一推送畫面與第二推送畫面為伺服器向使用者推送的其他相關商品的內容,第一推送畫面 中的商品與第一演示子畫面中的商品的主要特徵具有關聯性,第二推送畫面中的商品與第二演示子畫面中的商品的主要特徵具有關聯性。
可理解地,在其他的實施例中,演示畫面還可包括第三演示子畫面、第四演示子畫面及更多的演示子畫面。相應地,演示畫面還可包括第三推送畫面、第四推送畫面及更多的推送畫面。本申請對此不作限定。
如此,藉由步驟S18-步驟S22,使用者可進一步地觀察商品或物品的透視圖,從而提升用戶對商品或物品的認知,還能夠提升用戶對商品的購買欲望。
本實施例中,步驟S173之後,交互方法還可包括步驟S24-步驟S34。
步驟S24:獲取使用者的第二指令。
本實施例中,可穿戴設備獲取使用者發出的第二指令,第二指令為使用者主動向可穿戴設備發出,第二指令可由使用者藉由語音發出。第二指令的內容可為使用者希望進行試穿、試戴等操作,該操作能夠幫助用戶於增強現實技術所呈現的場景中進一步的與商品進行交互。
在一實施方式中,商品可為衣服,用戶希望試穿該衣服。
可理解地,在其他的實施方式中,商品還可為鞋子、飾物、傢俱或其他商品或物品。
步驟S26:發送第二指令至顯示終端。
本實施例中,可穿戴設備獲取第二指令後將第二指令發送至顯示終端。
步驟S28:依據第二指令獲取使用者的第二資訊。
本實施例中,顯示終端接收到第二指令,並依據第二指令藉由顯示終端的攝像裝置獲取使用者的第二資訊。
在一實施方式中,第二資訊為使用者的全身身體圖像。
可理解地,在其他的實施方式中,第二資訊還可為使用者的部分身體圖像,或者被提取的使用者的身體關節特徵。
步驟S30:依據第二資訊形成虛擬物件。
本實施例中,顯示終端依據獲取的第二資訊形成虛擬物件。使用者可藉由可穿戴設備觀看該虛擬物件。
步驟S32:關聯虛擬物件與第一畫面100以形成第二畫面。
本實施例中,顯示終端關聯虛擬物件與第一畫面100以形成第二畫面。可理解為,於顯示終端上,與使用者對應的虛擬對象試穿該商品,虛擬物件試 穿商品的畫面形成第二畫面。使用者可藉由可穿戴設備觀看第二畫面,從第二畫面中觀看自己試穿該商品的效果,從而充分瞭解該商品係否適合自己。
步驟S34:保存第一畫面100與/或第二畫面以形成歷史記錄。
本實施例中,可穿戴設備保存第一畫面100與/或第二畫面以形成歷史記錄,以供使用者後期查閱。
在一實施方式中,可穿戴設備保存第一畫面100與/或第二畫面以形成歷史記錄。使用者想查看歷史記錄時,可藉由可穿戴設備與任一顯示終端建立通訊連接,使用者藉由操作可穿戴設備調取歷史記錄,可穿戴設備將使用者選擇的歷史記錄發送至顯示終端,顯示終端顯示歷史記錄中的第一畫面100與/或第二畫面,以供使用者再次查看。使用者還可藉由該顯示終端所顯示的第一畫面100與/或第二畫面,對畫面中的商品進行購買,有利於縮短用戶的購物時間。
圖1至圖4詳細介紹了本申請的基於增強現實技術的交互方法。本申請的基於增強現實技術的交互方法,使用者藉由可穿戴設備與顯示終端之間建立通訊連接,可穿戴設備發送第一資訊於顯示終端,顯示終端基於第一資訊於第一時間顯示使用者關注的商品或物品資訊,使得使用者可立即得到與商品或物品之間的優化的交互,提升用戶的交互體驗。顯示終端顯示第一畫面100後,使用者可藉由發出第一指令,進一步地瞭解第一畫面100中所呈現的商品或物品的資訊,使得使用者能夠充分瞭解商品或物品的相關資訊,提升使用者的認知廣度以及用戶對商品的購買欲望。使用者藉由發出第二指令,使用者還可基於增強現實技術與第一畫面100中的商品進行交互,用戶可進行試穿、試戴等基於增強現實技術的操作,幫助用戶確定該商品係否適合自己,提升用戶購買該商品的欲望。可穿戴設備還可藉由獲取使用者的第三資訊,將複數子第一畫面102中的其中一個進行放大,以使用戶能夠第一時間清晰地看到當下關注的第一畫面100中的商品或物品資訊,提升使用者的交互體驗,不需要使用者主動操作,使得用戶能夠立即得到與商品或物品之間的優化的交互體驗。下面結合圖4至圖6,對實現基於增強現實技術的交互功能的交互裝置200的功能模塊、電子裝置300的硬體架構、伺服器400的硬體架構進行介紹。應上述內容可見,本申請實施例僅為說明之用,於本申請範圍內並不受此結構的限制。
請參見圖5,圖5為本申請一個實施例提供的基於增強現實技術的交互裝置200的功能模塊圖。交互裝置200應用於一需要與商品或物品進行交互的用戶。
在一些實施例中,交互裝置200可包括複數由程式碼所組成的功能模塊。交互裝置200中的各個程式碼可存儲於一個或複數記憶體中,例如可存儲於可穿戴設備、顯示終端、伺服器中的一者或多者的記憶體中,並由相應的至少一個處理器所執行,以實現基於增強現實技術的交互功能。
請參見圖5,本實施方式中,交互裝置200根據其所執行的功能,可被劃分為複數功能模塊,各個功能模塊用於執行圖1至圖3對應實施方式中的各個步驟,以實現使用者與商品或物品的交互的功能。本實施方式中,交互裝置200的功能模塊包括建立模塊202、獲取模塊204、發送模塊206、顯示模塊208與調整模塊210。
建立模塊202,用於建立可穿戴設備與顯示終端之間的通訊連接,可穿戴設備被穿戴於一使用者。
獲取模塊204,用於獲取使用者的第一資訊。
發送模塊206,用於發送第一資訊至顯示終端。
顯示模塊208,用於依據第一資訊於顯示終端上顯示第一畫面100。
獲取模塊204,還用於獲取使用者的第一指令。
發送模塊206,還用於發送第一指令至顯示終端;
調整模塊210,用於依據第一指令調整第一畫面100以形成演示畫面。
在一實施方式中,第一資訊包括偏好資訊與狀態資訊,交互裝置200還包括判斷模塊212、形成模塊214與刪除模塊216。判斷模塊212、形成模塊214與刪除模塊216用於獲取使用者的第一資訊。
獲取模塊204,還用於獲取使用者的偏好資訊。
獲取模塊204,還用於獲取使用者的面部資訊。
判斷模塊212,用於依據面部資訊判斷使用者的面部狀態。
形成模塊214,用於依據面部狀態形成狀態資訊。
刪除模塊216,用於刪除面部資訊。
可理解地,在其他的實施方式中,刪除模塊216可省略。
可理解地,在其他的實施方式中,第一資訊僅包括偏好資訊時,判斷模塊212、形成模塊214與刪除模塊216均可省略。
在一實施方式中,交互裝置200還包括關聯模塊218與保存模塊220。關聯模塊218用於說明使用者進行試穿、試戴等操作,保存模塊220用於形成歷史記錄以供使用者查看歷史行為。
獲取模塊204,還用於獲取使用者的第二指令。
發送模塊206,還用於發送第二指令至顯示終端。
獲取模塊204,還用於依據第二指令獲取使用者的第二資訊。
形成模塊214,還用於依據第二資訊形成虛擬物件。
關聯模塊218,用於關聯虛擬物件與第一畫面100以形成第二畫面。
保存模塊220,用於保存第一畫面100與/或第二畫面以形成歷史記錄。
請參見圖6,圖6為本申請一個實施例提供的電子裝置300的硬體架構圖。電子裝置300包括第一記憶體302、第一處理器304,第一記憶體302藉由第一通訊匯流排306與第一處理器304通訊連接。
電子裝置300還包括存儲於第一記憶體302中並可於第一處理器304上運行的第一電腦程式308,例如基於增強現實技術的交互的程式。
第一處理器304執行第一電腦程式308時實現方法實施例中交互方法的步驟。或者,第一處理器304執行第一電腦程式308時實現交互裝置200實施例中各模塊/單元的功能。
示例性的,第一電腦程式308被分割成一個或複數模塊/單元,一個或複數模塊/單元被存儲於第一記憶體302中,並由第一處理器304執行,以完成本申請。一個或複數模塊/單元可係能夠完成特定功能的一系列電腦程式指令段,指令段用於描述第一電腦程式308於電子裝置300中的執行過程。例如,第一電腦程式308可被分割成圖5中的建立模塊202、獲取模塊204、發送模塊206、顯示模塊208、調整模塊210、判斷模塊212、形成模塊214、刪除模塊216、關聯模塊218與保存模塊220。
本領域技術人員可理解,圖6僅係電子裝置300的示例,並不構成對電子裝置300的限定,電子裝置300可為可穿戴設備、顯示終端、伺服器中的一者或多者,電子裝置300可包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件,例如電子裝置300還可包括輸入裝置等。
上述第一處理器304可係中央處理單元(CPU,Central Processing Unit),還可包括其他通用處理器、數位訊號處理器(DSP,Digital Signal Processor)、專用積體電路(ASIC,Application Specific Integrated Circuit)、現成可程式設計閘陣列(FPGA,Field-Programmable Gate Array)或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。通用處理器可係微處理器或者處理器亦可係任何常規的處理器等,第一處理器304係上述電子裝置300的控制中心,利用各種介面與線路連接整個電子裝置300的各個部分。
上述第一記憶體302可用於存儲第一電腦程式308與/或模塊/單元,第一處理器304藉由運行或執行存儲於第一記憶體302內的第一電腦程式308與/或模塊/單元,以及調用存儲於第一記憶體302內的資料,實現電子裝置300的各種功能。第一記憶體302可包括外部存儲介質,亦可包括記憶體。此外,第一記憶體302可包括高速隨機存取記憶體,還可包括非易失性記憶體,例如硬碟、記憶體、插接式硬碟,智慧存儲卡(SMC,Smart Media Card),安全數位(SD,Secure Digital)卡,快閃記憶體卡(Flash Card)、至少一個磁碟記憶體件、快閃記憶體器件、或其他易失性固態記憶體件。
上述電子裝置300集成的模塊/單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可存儲於一個電腦可讀存儲介質中。基於這樣的理解,本申請實現上述實施例方法中的全部或部分流程,亦可藉由第一電腦程式308來指令相關的硬體來完成,上述的第一電腦程式308可存儲於一電腦可讀存儲介質中,第一電腦程式308於被第一處理器304執行時,可實現上述各個方法實施例的步驟。需要說明的係,上述電腦可讀介質包含的內容可根據司法管轄區內立法與專利實踐的要求進行適當的增減,例如於某些司法管轄區,根據立法與專利實踐,電腦可讀介質不包括電載波信號與電信信號。
請參見圖7,圖7為本申請一個實施例提供的伺服器400的硬體架構示意圖。伺服器400包括第二記憶體402與第二處理器404,第二記憶體402藉由第二通訊匯流排406與第二處理器404通訊連接。
伺服器400還包括存儲於第二記憶體402中並可被第二處理器404上運行的第二電腦程式408,例如交互的程式。 第二電腦程式408被第二處理器404執行時實現方法實施例中的步驟S162-步驟S166。
以上實施例僅用以說明本申請的技術方案而非限制,儘管參照較佳實施例對本申請進行了詳細說明,本領域的普通技術人員應當理解,可對本申請的技術方案進行修改或等同替換,而不脫離本申請技術方案的精神與範圍。
S10-S34、S171-S173、S172-S178:步驟

Claims (11)

  1. 一種基於增強現實技術的交互方法,其改良在於,所述方法包括:建立一可穿戴設備與一顯示終端之間的通訊連接,所述可穿戴設備被穿戴於一使用者;獲取所述使用者的第一資訊;發送所述第一資訊至所述顯示終端;依據所述第一資訊於所述顯示終端上顯示第一畫面;獲取所述使用者的確認指令;依據所述確認指令建立所述可穿戴設備與所述使用者之間的連接;獲取所述使用者的第一指令;發送所述第一指令至所述顯示終端;依據所述第一指令調整所述第一畫面以形成演示畫面。
  2. 如請求項1所述的交互方法,其改良在於,所述演示畫面包括第一演示子畫面與第二演示子畫面;所述第一演示子畫面與所述第二演示子畫面為所述第一畫面依據時間序列所形成。
  3. 如請求項2所述的交互方法,其改良在於,所述演示畫面還包括第一推送畫面及第二推送畫面;所述第一推送畫面為依據所述第一演示子畫面所形成,所述第一推送畫面與所述第一演示子畫面於同一時間顯示於所述顯示終端;所述第二推送畫面為依據所述第二演示子畫面所形成,所述第二推送畫面與所述第二演示子畫面於同一時間顯示於所述顯示終端。
  4. 如請求項1所述的交互方法,其改良在於,所述第一資訊包括偏好資訊與/或狀態資訊。
  5. 如請求項4所述的交互方法,其改良在於,所述第一資訊包括所述偏好資訊與所述狀態資訊;所述獲取所述使用者的第一資訊的步驟,包括:獲取所述使用者的所述偏好資訊;獲取所述使用者的面部資訊;依據所述面部資訊判斷所述使用者的面部狀態;依據所述面部狀態形成所述狀態資訊。
  6. 如請求項1所述的交互方法,其改良在於,所述方法還包括: 獲取所述使用者的第二指令;發送所述第二指令至所述顯示終端;依據所述第二指令獲取所述使用者的第二資訊;依據所述第二資訊形成虛擬物件;關聯所述虛擬物件與所述第一畫面以形成第二畫面。
  7. 如請求項6所述的交互方法,其改良在於,所述方法還包括:保存所述第一畫面與/或所述第二畫面以形成歷史記錄。
  8. 如請求項1所述的交互方法,其改良在於,所述第一畫面包括複數子第一畫面,所述複數子第一畫面於所述顯示終端上被分類展示。
  9. 如請求項8所述的交互方法,其改良在於,所述方法還包括:獲取所述使用者的第三資訊;依據所述第三資訊形成第三指令;發送所述第三指令至所述顯示終端;依據所述第三指令調整複數所述子第一畫面中的其中一個,以使被調整的所述子第一畫面於所述顯示終端上被放大。
  10. 一種基於增強現實技術的交互裝置,其改良在於,所述裝置包括:建立模塊,用於建立一可穿戴設備與一顯示終端之間的通訊連接,所述可穿戴設備被穿戴於一使用者;獲取模塊,用於獲取所述使用者的第一資訊;發送模塊,用於發送所述第一資訊至所述顯示終端;顯示模塊,用於依據所述第一資訊於所述顯示終端上顯示第一畫面;所述獲取模塊,還用於獲取所述使用者的確認指令;所述建立模塊,還用於依據所述確認指令建立所述可穿戴設備與所述使用者之間的連接;所述獲取模塊,還用於獲取所述使用者的第一指令;所述發送模塊,還用於發送所述第一指令至所述顯示終端;調整模塊,用於依據所述第一指令調整所述第一畫面以形成演示畫面。
  11. 一種電腦可讀存儲介質,其上存儲有電腦程式,其改良在於,所述電腦程式被處理器執行時實現如請求項1-9中任一項所述的交互方法。
TW110134119A 2021-06-01 2021-09-13 交互方法、裝置、伺服器及電腦可讀存儲介質 TWI793762B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110611061.1A CN115437490A (zh) 2021-06-01 2021-06-01 交互方法、装置、服务器及计算机可读存储介质
CN202110611061.1 2021-06-01

Publications (2)

Publication Number Publication Date
TW202248807A TW202248807A (zh) 2022-12-16
TWI793762B true TWI793762B (zh) 2023-02-21

Family

ID=84240542

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110134119A TWI793762B (zh) 2021-06-01 2021-09-13 交互方法、裝置、伺服器及電腦可讀存儲介質

Country Status (2)

Country Link
CN (1) CN115437490A (zh)
TW (1) TWI793762B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710871A (zh) * 2015-05-28 2017-03-16 少虹 陳 圖形處理數據,特別是通過網格比較處理數據
TW201717837A (zh) * 2015-10-14 2017-06-01 外科劇院有限責任公司 強化實境之外科導航
TW201928451A (zh) * 2017-12-15 2019-07-16 美商奧誓公司 呈現一擴增實境界面
CN111712848A (zh) * 2017-12-12 2020-09-25 脸谱公司 在相机馈送中提供相应产品的数字模型
TW202105285A (zh) * 2019-07-29 2021-02-01 緯創資通股份有限公司 電子裝置、互動型資訊展示方法及電腦可讀取記錄媒體
US20210097572A1 (en) * 2019-10-01 2021-04-01 At&T Intellectual Property I, L.P. Apparatus and method for presentation of in-store visualizations and/or supply of products to customers
CN112771472A (zh) * 2018-10-15 2021-05-07 美的集团股份有限公司 提供实时产品交互协助的系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710871A (zh) * 2015-05-28 2017-03-16 少虹 陳 圖形處理數據,特別是通過網格比較處理數據
TW201717837A (zh) * 2015-10-14 2017-06-01 外科劇院有限責任公司 強化實境之外科導航
CN111712848A (zh) * 2017-12-12 2020-09-25 脸谱公司 在相机馈送中提供相应产品的数字模型
TW201928451A (zh) * 2017-12-15 2019-07-16 美商奧誓公司 呈現一擴增實境界面
CN112771472A (zh) * 2018-10-15 2021-05-07 美的集团股份有限公司 提供实时产品交互协助的系统和方法
TW202105285A (zh) * 2019-07-29 2021-02-01 緯創資通股份有限公司 電子裝置、互動型資訊展示方法及電腦可讀取記錄媒體
US20210097572A1 (en) * 2019-10-01 2021-04-01 At&T Intellectual Property I, L.P. Apparatus and method for presentation of in-store visualizations and/or supply of products to customers

Also Published As

Publication number Publication date
CN115437490A (zh) 2022-12-06
TW202248807A (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
US9563272B2 (en) Gaze assisted object recognition
US9405918B2 (en) Viewer-based device control
RU2668408C2 (ru) Устройства, системы и способы виртуализации зеркала
JP2019145108A (ja) 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置
WO2018166456A1 (zh) 基于虚拟现实环境的身份认证方法及装置
CN117043718A (zh) 激活操作电子镜像设备的免提模式
EP3061023B1 (en) A method and a system for performing 3d-based identity verification of individuals with mobile devices
US10284817B2 (en) Device for and method of corneal imaging
JP2020502602A (ja) 顔認識に基づいた認証
US11563886B2 (en) Automated eyewear device sharing system
US11487354B2 (en) Information processing apparatus, information processing method, and program
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
US10755487B1 (en) Techniques for using perception profiles with augmented reality systems
CN103413229A (zh) 试戴佩饰物的效果呈现方法及装置
US9384384B1 (en) Adjusting faces displayed in images
WO2021039856A1 (ja) 情報処理装置、表示制御方法および表示制御プログラム
US11816800B2 (en) Guided consumer experience
CN116685938A (zh) 眼镜设备上的3d绘制
KR20230128063A (ko) 햅틱 피드백을 갖는 실시간 비디오 통신 인터페이스
KR20230124081A (ko) 햅틱 피드백 응답을 갖는 통신 인터페이스
EP4268056A1 (en) Conversation interface on an eyewear device
CN117157609A (zh) 具有触觉反馈响应的虚拟现实界面
CN116685941A (zh) 具有触觉反馈增强的媒体内容项
CN111833139A (zh) 产品比较技术
CN113609358A (zh) 内容分享方法、装置、电子设备以及存储介质