TW202311912A - 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統 - Google Patents

虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統 Download PDF

Info

Publication number
TW202311912A
TW202311912A TW111134062A TW111134062A TW202311912A TW 202311912 A TW202311912 A TW 202311912A TW 111134062 A TW111134062 A TW 111134062A TW 111134062 A TW111134062 A TW 111134062A TW 202311912 A TW202311912 A TW 202311912A
Authority
TW
Taiwan
Prior art keywords
object model
space
sensing
virtual
sensing data
Prior art date
Application number
TW111134062A
Other languages
English (en)
Other versions
TWI835289B (zh
Inventor
張智凱
陳千茱
林肯平
季成亜
張耀霖
伍瀅杰
Original Assignee
仁寶電腦工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 仁寶電腦工業股份有限公司 filed Critical 仁寶電腦工業股份有限公司
Publication of TW202311912A publication Critical patent/TW202311912A/zh
Application granted granted Critical
Publication of TWI835289B publication Critical patent/TWI835289B/zh

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本發明提出一種虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統。在方法中,依據第一感測資料產生第一物件模型;依據第二感測資料產生第二物件模型;依據第一感測資料及第二感測資料決定第一物件模型及第二物件模型在虛擬場景中的行為;依據第一物件模型在虛擬場景中的行為產生第一影像串流;依據第二物件模型在虛擬場景的行為產生第二影像串流。第一影像串流用於供遠端顯示裝置顯示。第二影像串流用於本地顯示裝置顯示。藉此,可提升互動體驗。

Description

虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統
本發明是有關於一種模擬體驗技術,且特別是有關於一種虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統。
現今,諸如虛擬實境(Virtual Reality,VR)、增強現實(Augmented Reality,AR)、混合現實(Mixed Reality,MR)及擴展現實(Extended Reality,XR)等用於模擬感覺、感知和/或環境的技術受到歡迎。上述技術可應用於多種領域(例如,遊戲、軍事訓練、醫療保健、遠端工作等)中。在過往的虛擬世界中,通常都是使用已建造好的實境內容或是預先錄製好的場地,使得使用者在進行體驗時無法獲得即時的雙向互動。
有鑑於此,本發明實施例提供一種虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統,可融合對應於不同地點上的物件的影像串流,並讓兩物件可在相同虛擬場景中互動。
本發明實施例的虛實互動方法包括(但不僅限於)下列步驟:依據第一感測資料產生第一物件模型;依據第二感測資料產生第二物件模型;依據第一感測資料及第二感測資料決定第一物件模型及第二物件模型在虛擬場景中的行為;依據第一物件模型在虛擬場景中的行為產生第一影像串流;依據第二物件模型在虛擬場景的行為產生第二影像串流。第一感測資料是對第一實體物件感測所得的。第二感測資料是對第二實體物件感測所得的。第一影像串流用於供遠端顯示裝置顯示。第二影像串流用於本地顯示裝置顯示。
本發明實施例的用於虛擬世界的運算系統包括(但不僅限於)一個或更多個記憶體及一個或更多個處理器。記憶體用以儲存一個或更多個程式碼。處理器耦接記憶體。處理器經配置用以載入程式碼以執行:依據第一感測資料產生第一物件模型;依據第二感測資料產生第二物件模型;依據第一感測資料及第二感測資料決定第一物件模型及第二物件模型在虛擬場景中的行為;依據第一物件模型在虛擬場景中的行為產生第一影像串流;依據第二物件模型在虛擬場景的行為產生第二影像串流。第一感測資料是對第一實體物件感測所得的。第二感測資料是對第二實體物件感測所得的。第一影像串流用於供遠端顯示裝置顯示。第二影像串流用於本地顯示裝置顯示。
本發明實施例的虛擬實境系統包括(但不僅限於)兩台第一空間感測裝置、一台或更多台運算裝置及本地顯示裝置。空間感測裝置用以對第一實體物件感測,以取得第一感測資料。運算裝置經配置用以:依據第一感測資料產生第一物件模型;依據第二感測資料產生第二物件模型;依據第一感測資料及第二感測資料決定第一物件模型及第二物件模型在虛擬場景中的行為;依據第一物件模型在虛擬場景的行為產生第一影像串流;依據第二物件模型在虛擬場景的行為產生第二影像串流。第二感測資料是透過兩台第二空間感測裝置對第二實體物件感測所得的。第一影像串流用於供遠端顯示裝置顯示。本地顯示裝置用以顯示第二影像串流。
基於上述,依據本發明實施例的虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統,分別感測不同物件以產生對應的物件模型,決定兩物件模型在同一個虛擬場景中的行為,並產生供不同顯示裝置顯示的影像串流。藉此,可即時感測物件的動作,並使兩物件在虛擬場景中有合理且順暢的互動行為,進而改進虛擬世界的體驗。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
圖1是依據本發明一實施例的虛擬實境系統1的元件方塊圖。請參照圖1,虛擬實境系統1包括(但不僅限於)一台或更多台空間感測裝置11、一台或更多台穿戴式裝置12、一台或更多台行動裝置13、本地顯示裝置14、一台或更多台空間感測裝置21、一台或更多台穿戴式裝置22、一台或更多台行動裝置23、遠端顯示裝置24及伺服器30。
在一實施例中,一台或更多台空間感測裝置11、一台或更多台穿戴式裝置12、一台或更多台行動裝置13及本地顯示裝置14位於第一地點/環境/空間/場域(下文統稱為第一地點),且一台或更多台空間感測裝置21、一台或更多台穿戴式裝置22、一台或更多台行動裝置23及遠端顯示裝置24位於第二地點/環境/空間/場域(下文統稱為第二地點)。在本實施例中,假設本地使用者位於第一地點,且遠端使用者位於第二地點。然而,本發明實施例不限制兩地點的距離及位於其上的物件(也就是,不限於人,也可能是諸如球、玩具、控制器、擊球工具等與運動有關的物件)。
須說明的是,「本地」及「遠端」是以本地使用者的觀點命名,因此對於遠端使用者或其他使用者而言可能有不同定義或命名方式。
另須說明的是,於圖1中,本地使用者為學員,而遠端使用者為教練。然而,在一些應用情境中,由於教練不一定需要呈現自己的全息影像,能夠只透過語音的方式對學員教學,因此圖1中以虛線示意遠端使用者(教練)可選擇性使用或不使用空間感測裝置21與穿戴式裝置22。
圖2A是依據本發明一實施例的空間感測裝置11的元件方塊圖。請參照圖2A,空間感測裝置11包括(但不僅限於)影像感測模組111、動作追蹤模組112、通訊模組113、距離感測器114、記憶體115及處理器116。
影像感測模組111可以是相機、影像掃描器、攝影機、深度相機、立體相機等用以擷取影像的裝置。在一實施例中,影像感測模組111可包括影像感測器(例如,電荷耦合裝置(Charge Coupled Device,CCD)、互補式金氧半導體(Complementary Metal-Oxide-Semiconductor,CMOS)等)、光學鏡頭、影像控制電路等元件。須說明的是,影像感測模組111的鏡頭規格(例如,取像光圈、倍率、焦距、取像可視角度、影像感測器大小等)及其數量可依據實際需求而調整。例如,影像感測模組111包括180度鏡頭,從而提供較大視野的擷取範圍。在一實施例中,影像感測模組111用以擷取影像及/或深度資訊,並據以作為感測資料。
動作追蹤模組112可以是加速度計、陀螺儀、磁力計、電子羅盤、慣性感測單元、3軸或更多軸向的感測器。在一實施例中,動作追蹤模組112用以取得諸如速度、加速度、角速度、傾角、位移等動作相關資訊,並據以作為感測資料。
通訊模組113可以是支援諸如第四代(4G)或其他世代行動通訊、Wi-Fi、藍芽、紅外線、無線射頻辨識(Radio Frequency Identification,RFID)、乙太網路(Ethernet)、光纖網路等通訊收發器、序列通訊介面(例如RS-232),也可以是通用串列匯流排(Universal Serial Bus,USB)、Thunderbolt或其他通訊傳輸介面。在本發明實施例中,通訊模組113用以與其他電子裝置(例如,穿戴式裝置12、或行動裝置13)傳送或接收資料。
距離感測器114可以是雷達、飛行時間(Time of Flight,ToF)相機、LiDAR掃描器、深度感測器、紅外線測距器、超音波感測器或其他測距相關感測器。在一實施例中,距離感測器114可偵測待測物所處的方位角。也就是,待測物相對於距離感測器114的方位角。在另一實施例中,距離感測器114可偵測待測物的距離。也就是,待測物相對於距離感測器114的距離。在一些實施例中,前述一個或更多個距離感測器114的偵測結果(例如,方位角及/或距離)可作為感測資料。
記憶體115可以是任何型態的固定或可移動隨機存取記憶體(Radom Access Memory,RAM)、唯讀記憶體(Read Only Memory,ROM)、快閃記憶體(flash memory)、傳統硬碟(Hard Disk Drive,HDD)、固態硬碟(Solid-State Drive,SSD)或類似元件。在一實施例中,記憶體115用以儲存程式碼、軟體模組、組態配置、資料(例如,感測資料、物件模型、影像串流等)或檔案,並待後文詳述其實施例。
處理器116耦接影像感測模組111、動作追蹤模組112、通訊模組113、距離感測器114及記憶體115。處理器116可以是中央處理單元(Central Processing Unit,CPU)、圖形處理單元(Graphic Processing unit,GPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor,DSP)、可程式化控制器、現場可程式化邏輯閘陣列(Field Programmable Gate Array,FPGA)、特殊應用積體電路(Application-Specific Integrated Circuit,ASIC)、神經網路加速器或其他類似元件或上述元件的組合。在一實施例中,處理器116用以執行空間感測裝置11的所有或部份作業,且可載入並執行記憶體115所儲存的各程式碼、軟體模組、檔案及資料。在一些實施例中,處理器116的功能可透過軟體或晶片實現。
空間感測裝置21的實施態樣及元件可參酌空間感測裝置11的說明,於此不再贅述。
圖2B是依據本發明一實施例的穿戴式裝置12的元件方塊圖。請參照2B,穿戴式裝置12可以是智慧手環、智慧手錶、手持控制器、智慧腰環、智慧腳環、智慧頭套、頭戴式顯示器或其他供人體部位穿戴的感測裝置。穿戴式裝置12包括(但不僅限於)動作追蹤模組122、通訊模組123、記憶體125及處理器126。動作追蹤模組122、通訊模組123、記憶體125及處理器126的介紹可分別參酌動作追蹤模組112、通訊模組113、記憶體115及處理器116的說明,於此不再贅述。
穿戴式裝置22的實施態樣及元件可參酌穿戴式裝置12的說明,於此不再贅述。
圖2C是依據本發明一實施例的行動裝置13的元件方塊圖。請參照圖2C,行動裝置13可以是手機、平板電腦或筆記型電腦。行動裝置13包括(但不僅限於)通訊模組133、記憶體135及處理器136。通訊模組133、記憶體135及處理器136的介紹可分別參酌通訊模組113、記憶體115及處理器116的說明,於此不再贅述。
行動裝置23的實施態樣及元件可參酌行動裝置13的說明,於此不再贅述。
圖2D是依據本發明一實施例的本地顯示裝置14的元件方塊圖。請參照圖2D,本地顯示裝置14可以是頭戴顯示器或智慧眼鏡。本地顯示裝置14包括(但不僅限於)影像感測模組141、動作追蹤模組142、通訊模組143、顯示器144、記憶體145及處理器146。
顯示器144可以是液晶顯示器(Liquid-Crystal Display,LCD)、(Light-Emitting Diode,LED)顯示器、有機發光二極體(Organic Light-Emitting Diode,OLED)、量子點顯示器(Quantum dot display)或其他類型顯示器。在一實施例中,顯示器144用以顯示影像。
影像感測模組141、動作追蹤模組142、通訊模組143、記憶體145及處理器146的介紹可分別參酌影像感測模組111、動作追蹤模組112、通訊模組113、記憶體115及處理器116的說明,於此不再贅述。
在一些實施例中,本地顯示裝置14可能未包括動作追蹤模組142及/或影像感測模組141,並可能是電視或螢幕。
遠端顯示裝置24實施態樣及元件可參酌本地顯示裝置14的說明,於此不再贅述。
圖2E是依據本發明一實施例的伺服器30的元件方塊圖。請參照圖2E,伺服器30包括(但不僅限於)通訊模組33、記憶體35及處理器36。通訊模組33、記憶體35及處理器36的介紹可分別參酌通訊模組113、記憶體115及處理器116的說明,於此不再贅述。
圖3A是依據本發明一實施例的空間感測裝置為兩台一組的示意圖,圖3B依據圖3A的其中一空間感測裝置的示意圖,且圖3C是依據圖3A的另一空間感測裝置放置一行動裝置13的示意圖。如圖3A所示,兩台空間感測裝置11可組合在一起,以方便攜帶。如圖3C所示,空間感測裝置11具有平台供行動裝置13或其他物件放置。在一實施例中,空間感測裝置11還包括無線充電模組(未繪出),並用以提供電力給行動裝置13或其他電子裝置。空間感測裝置11可設有缺口/窗口/開口119以供影像感測模組111及/或距離感測器114傳送及接收訊號。
請參照圖2A至圖2E,在一實施例中,運算系統2包括一個或更多個記憶體115、125、135、145、35及一個或更多個處理器116、126、136、146、36。一個或更多個處理器116、126、136、146、36載入記憶體115、125、135、145、35所儲存的程式碼,以執行/實現後續介紹的本發明實施例虛實互動方法。在一些實施例中,多個裝置可整合成一個裝置。
下文中,將搭配虛擬實境系統1及/或運算系統2中的各項裝置、元件及模組說明本發明實施例所述的方法。本方法的各個流程可依照實施情形而調整,且並不僅限於此。為了方便說明,以下將以伺服器30的處理器36(參照圖2E)作為本發明實施例所提出的方法的執行主體。然而,任一個處理器116、126、136、146、36所執行的全部或部分作業可透過另一個處理器116、126、136、146、36執行或實現,且本發明實施例不加以限制本發明實施例所提出的方法的執行主體。此外,裝置間的資料傳遞可分別透過通訊模組113、123、133、143或33實現。
圖4是依據本發明一實施例的虛實互動方法的流程圖。請參照圖4,處理器36依據第一感測資料產生第一物件模型(步驟S410)。具體而言,參圖1與圖2A至2D,第一感測資料是位於第一地點(即本地使用者)的空間感測裝置11、穿戴式裝置12及/或本地顯示裝置14的影像感測模組111、141、動作追蹤模組112、122、142及/或距離感測器114的感測資料。例如,與影像、深度、距離、速度、旋轉、位置、方位等資訊。
第一感測資料是針對位於第一地點的第一實體物件感測所得的。例如,空間感測裝置11與第一實體物件之間的距離、第一實體物件的移動速度及位移、或第一實體物件的深度資訊。
在一實施例中,第一實體物件是第一人物。處理器36可利用全息影像(Holographic)技術產生立體的第一物件模型。全息影像是利用干涉及折射原理來記錄被射物體反射或透射光波中的振幅及/或相位資訊,使記錄到的影像讓人產生立體視覺感受。影像感測模組111可透過雷射發出光訊號並透過感測元件接收回波訊號。例如,空間感測裝置11的處理器116可依據回波訊號產生全像攝影相關的感測資料。例如,前述光波的振幅及/或相位。處理器36即可基於全像攝影相關的感測資料產生第一實體物件的第一物件模型。
在另一實施例中,處理器36可利用諸如飛行時間、點線掃描、結構光投影、光學偏折、立體視覺等三維成像技術產生第一物件模型。
在一實施例中,第一實體物是第一物品。第一物品並非人物。處理器36可辨識第一物品。例如,處理器36可基於神經網路的演算法(例如,YOLO(You only look once)、基於區域的卷積神經網路(Region Based Convolutional Neural Networks,R-CNN)、或快速R-CNN(Fast CNN))或是基於特徵匹配的演算法(例如,方向梯度直方圖(Histogram of Oriented Gradient,HOG)、尺度不變特徵轉換(Scale-Invariant Feature Transform,SIFT)、Harr、或加速穩健特徵(Speeded Up Robust Features,SURF)的特徵比對)實現物品辨識。處理器36可判斷影像感測模組111、141所擷取的影像中的物件是否為預設的第一物品。依據不同應用需求,第一物品可以是球、球框、運動工具、擊球工具等與運動有關物件。
除了運用演算法辨識第一物品外,在另一實施例中,第一物品的類型可能依據輸入裝置(圖未示,例如,鍵盤、滑鼠、手勢辨識模組或語音輸入模組)所取得的輸入指令而改變。例如,輸入指令是語音指令的“踢球”,則第一物品的類型相關於足球。又例如,輸入指令是手勢指令所指向的“投球”,則第一物品的類型相關於籃球或棒球。
在辨識第一物品後,處理器36可依據第一物品的辨識結果取得預存的第一物件模型。也就是,第一物件模型是預先建立、取得或儲存的立體模型。例如,處理器36可透過通訊模組133經由網際網路下載第一物件模型,並據以預存供後續使用。又例如,透過三維掃描器掃描第一物品,並據以建立第一物件模型且預存供後續使用。藉此,除了可節省全息影像重建第一物件模型的軟硬體資源,更可排除其它不相關物品的移動。
舉例而言,圖5A是依據本發明一實施例的第一地點的第一物件的示意圖。請同時參照圖1與圖5A,第一物件可以包括人物51、足球52及足球框53。處理器36可基於全息影像產生人物51的物件模型,並基於辨識結果載入足球52及足球框53的預存物件模型。
在一實施例中,影像擷取模組114或141包括180度鏡頭。處理器36可將視野重疊的兩台或更多台影像擷取模組114或141所擷取的影像合併成360度環景影像。例如,處理器36透過平面投影轉換(Homography)、影像扭曲(Warping)、影像融合(blending)技術拼接兩張或更多張影像。
請繼續參照圖4,處理器36依據第二感測資料產生第二物件模型(步驟S420)。具體而言,參圖1,第二感測資料是位於第二地點(即遠端使用者)的空間感測裝置21、穿戴式裝置22及/或遠端顯示裝置24的影像感測模組、動作追蹤模組及/或距離感測器(圖未示,但可參酌圖2A至圖2E的相同模組)的感測資料。例如,與影像、深度、距離、速度、施力強度、旋轉、位置、方位等資訊。
第二感測資料是針對位於第二地點的第二實體物件感測所得的。例如,空間感測裝置11與第二實體物件之間的距離、第二實體物件的移動速度及位移、或第二實體物件的深度資訊。
在一實施例中,第二實體物件是第二人物。處理器36可利用全息影像技術產生立體的第二物件模型。第二人物的第二物件模型的產生可參酌前述第一人物的第一物件模型的說明,於此不再贅述。此外,在其他實施例中,處理器36也可利用諸如飛行時間、點線掃描、結構光投影、光學偏折、立體視覺等其他三維成像技術產生第二物件模型。
在一實施例中,第二實體物件也可以是第二物品,即球、欄框、運動工具、擊球工具等與運動有關物件。第二物品的第二物件模型的產生可參酌前述第一人物的第一物件模型的說明,於此不再贅述。須說明的是,由於處理器36已產生第一物品的第一物件模型,在某些情況下就不一定需要產生第二物品的第二物件模型。
舉例而言,圖5B是依據本發明一實施例的第二地點的第二物件的示意圖。請同時參照圖1與圖5B,第二物件可以只包括人物55。處理器36可基於全息影像產生人物55的物件模型。也就是說,人物51與人物55的物件模型(即全息影像)可在虛擬場景中共用足球52及足球框53的預存物件模型。
請參照圖4,處理器36依據第一感測資料及第二感測資料決定第一物件模型及第二物件模型在虛擬場景中的行為(步驟S430)。具體而言,虛擬場景(或稱為虛擬世界)是透過空間掃描所產生的虛擬空間或是由運算裝置所模擬的虛擬空間。處理器36可依據空間感測裝置11、穿戴式裝置12及/或本地顯示裝置14的影像感測模組111、141、動作追蹤模組112、122、142及/或距離感測器114的感測資料決定第一實體物件在第一地點真實空間中的動作資訊。同樣地,處理器36依據空間感測裝置21、穿戴式裝置22及/或遠端顯示裝置24的影像感測模組、動作追蹤模組及/或距離感測器的感測資料決定第二實體物件在第二地點真實空間中的動作資訊。動作資訊例如是速度、方向及/或位移。
處理器36可分別依據第一實體物件及第二實體物件在各自真實空間中的動作資訊決定兩物件在虛擬場景中的行為。處理器36可在虛擬場景中模擬第一實體物件及第二實體物件在各自真實空間的行為。例如,第一實體物件踢球,則第一物件模型踢球。又例如,第二實體物件跑步,則第一物件模型快速移動。
處理器36依據第一物件模型在虛擬場景的行為產生第一影像串流(步驟S440),且處理器36依據第二物件模型在虛擬場景的行為產生第二影像串流(步驟S450)。具體而言,為了讓位於不同地點的實體物件可以互動,則處理器36在一個虛擬場景中產生第一物件模型及第二物件模型,例如虛擬場景中包括以全息影像產生人物51的第一物件模型與人物55的第二物件模型,並從伺服器30載入足球52及足球框53的預存第一物件模型。處理器36可分別將第一實體物件及第二實體物件在真實空間中的位置投影或轉換到虛擬場景中,並據以分別決定第一物件模型及第二物件模型在虛擬場景中的位置。此外,處理器36依據步驟S430所決定的行為在虛擬場景中模擬第一物件模型及第二物件模型的行為。例如,第一實體物件在真實空間中的行為是踢球,則第一物件模型在虛擬場景中模擬踢球的動作。
在一實施例中,處理器36可依據第一感測資料及第二感測資料決定第一物件模型及第二物件模型之間的互動情形。例如,處理器36可依據第一及第二物件模型在虛擬場景中的位置決定兩物件模型是否有碰撞、觸碰、重疊等互動情形。
處理器36可依據互動情形決定第一物件模型及第二物件模型的行為。例如,第二物件模型在虛擬場景中為靜止的,第一物件模型移動並碰撞第二物件模型,則第二物件模型會模擬被碰撞所產生移動的反應。須說明的是,依據不同實體物件的物理特性及行為及/或應用場景,第一及第二物件模型的互動可能不同。應用者可依據實際需求而設計互動內容,本發明實施例不加以限制。
處理器36以虛擬視角擷取虛擬場景及第一物件模型(若有出現在視野中)的影像,並據以產生第一影像串流中的一張或更多訊框(frame)的影像。例如,追蹤鏡頭系統(tracking camera system)是虛擬鏡頭系統(virtual camera system)中用於追蹤角色移動的鏡頭系統或固定視角鏡頭系統。此外,處理器36以虛擬視角擷取虛擬場景及第二物件模型(若有出現在視野中)的影像,並據以產生第二影像串流中的一張或更多訊框的影像。
由第一物件模型所產生的第一影像串流可供遠端顯示裝置24顯示。例如,伺服器30將第一影像串流傳送至遠端顯示裝置24。遠端顯示裝置24的顯示器(圖未示,可參照本地顯示裝置14的顯示器144)即可顯示這第一影像串流。舉例來說,第二地點的人物55可從其遠端顯示裝置24中看到虛擬場景中包括從第一地點的人物51所產生的全息影像,並包括透過辨識第一地點的足球52與足球框53後從伺服器載入虛擬足球與足球框的預存影像。
另一方面,由第二物件模型所產生的第二影像串流可供本地顯示裝置14顯示。例如,伺服器30將第二影像串流經由行動裝置13傳送至本地顯示裝置14,本地顯示裝置14的顯示器144即可顯示這第二影像串流。舉例來說,第一地點的人物51可從其本地顯示裝置14中看到虛擬場景中包括從第二地點的人物51所產生的全息影像,並包括前述虛擬足球與足球框的預存影像。
在一應用情境中,為了讓第一地點(例如,本地)與第二地點(例如,遠端)的場地範圍計算有相同標準,因此第一地點及第二地點所用的空間感測裝置11、21的擺放的位置方向及距離要一致。
圖6是依據本發明一實施例的空間校正的流程圖。請參照圖6,處理器36可依據第一感測裝置(例如,空間感測裝置11)的第三感測資料決定第一空間(步驟S610)。具體而言,第三感測資料是針對位於第一地點的空間感測所得的。例如,兩空間感測裝置11或空間感測裝置11與障礙物(例如,牆、桌或椅)之間的相對距離及空間感測裝置11的方向。處理器36可依據兩空間感測裝置11或空間感測裝置11與障礙物之間的距離及方向決定第一空間。例如,處理器36判斷兩空間感測裝置11的感測範圍,並將感測範圍的聯集作為第一空間。
處理器36可比較第一空間及虛擬場景的空間規格(步驟S620)。具體而言,處理器36可依據虛擬場景及/或應用情境的類型定義空間規格。例如,足球練習需要5*10公尺的空間。又例如,韻律舞需要2*3公尺的空間。處理器36可判斷第一空間及空間規格之間在長度及方位上的差異,並據以產生比較結果。
處理器36可依據第一空間及空間規格的比較結果產生第一空間調整提示(步驟S630)。若第一空間及空間規格的比較結果為相同或差異小於對應門檻值,則無需調整第一感測裝置的位置。也就是,空間感測裝置11維持在原地。行動裝置13或本地顯示裝置14的使用者介面可呈現空間已對位的視覺提示或透過喇叭(圖未示)播放聽覺提示(即,第一空間調整提示)。
若第一空間及空間規格的比較結果為不相同或差異大於對應門檻值,則處理器36需調整第一感測裝置的位置。也就是,改變空間感測裝置11的位置或方位。第一空間調整提示用於調整第一感測裝置的位置或方位。行動裝置13或本地顯示裝置14的使用者介面可呈現移動距離及/或轉向角度的視覺提示或透過喇叭(圖未示)播放聽覺提示(即,第一空間調整提示)。
圖7A至圖7F是依據本發明一實施例的空間感測裝置的擺設位置的示意圖。請先參照圖7A,兩空間感測裝置11的感測範圍F形成第一空間S。兩感測範圍F要重疊一定程度(例如,50%、75%或80%)或其原點的相距在最小安全距離內才可形成第一空間S。處理器36可透過感測範圍F的朝向判斷是否可形成第一空間S。雖然圖7B、圖7D及圖7F中的空間感測裝置11的位置分別大致相同於圖7A、圖7C及圖7E,但圖7B、圖7D及圖7F中的兩空間感測裝置11的朝向沒有相對,並使得感測範圍F的重疊範圍無法形成第一空間S。因此,可透過第一空間調整提示提醒使用者改變空間感測裝置11的位置及/或朝向。
除了所處位置的多個空間感測裝置11間的對位,第一地點及第二地點的空間也需要校正。
圖8是依據本發明一實施例的空間校正的流程圖。請參照圖8,處理器36可依據第二感測裝置(例如,空間感測裝置21)的第四感測資料決定第二空間(步驟S810)。具體而言,第四感測資料是針對位於第二地點的空間感測所得的。例如,兩空間感測裝置21或空間感測裝置21與障礙物(例如,牆、桌或椅)之間的相對距離及空間感測裝置21方向。處理器36可依據兩空間感測裝置21或空間感測裝置21與障礙物之間的距離及方向決定第二空間。例如,處理器36判斷兩空間感測裝置21的感測範圍,並將感測範圍的聯集作為第二空間。
處理器36可比較第一空間及第二空間(步驟S820)。處理器36可判斷第一空間及第二空間之間在長度及方位上的差異,並據以產生比較結果。
處理器36可依據第一空間及第二空間的比較結果產生第二空間調整提示(步驟S830)。若第一空間及第二空間的比較結果為相同或差異小於對應門檻值,則無需調整第一或第二感測裝置的位置。也就是,空間感測裝置11或21維持在原地。行動裝置13、23、本地顯示裝置14或遠端顯示裝置24的使用者介面可呈現空間已對位的視覺提示或透過喇叭(圖未示)播放聽覺提示(即,第二空間調整提示)。
若第一空間及第二空間的比較結果為不相同或差異大於對應門檻值,則處理器36判斷需調整第一或第二感測裝置的位置。也就是,改變空間感測裝置11或21的位置或方位。第二空間調整提示用於調整第一或第二感測裝置的位置或方位。行動裝置13、23、本地顯示裝置14或遠端顯示裝置24的使用者介面可呈現移動距離及/或轉向角度的視覺提示或透過喇叭(圖未示)播放聽覺提示(即,第二空間調整提示)。
在一實施例中,處理器36以第一空間及第二空間中的較小者為基準,並產生第一空間及第二空間中的較大者的空間調整提示。也就是,第一空間及第二空間中的較小者的位置及方位不動,但調整第一空間及第二空間中的較大者的位置及/或方位。
舉例而言,圖9是依據本發明一實施例的裝置移動建議的示意圖。請參照圖9,由於遠端(例如,第二地點)的兩空間感測裝置21a、21b所形成的空間S1大於本地(例如,第一地點)的空間感測裝置11a、11b所形成的空間S2,因此行動裝置23的使用者介面可呈現位置及/或方位調整的提示。例如,圖面上方的空間感測裝置21a建議靠近圖面下方的空間感測裝置21b。
反之,在其他實施例中,處理器36以第一空間及第二空間中的較大者為基準,並產生第一空間及第二空間中的較小者的空間調整提示。也就是,第一空間及第二空間中的較大者的位置及方位不動,但調整第一空間及第二空間中的較小者的位置及/或方位。
圖10A及圖10B是依據本發明一實施例的用於位置校正的使用者介面的示意圖。請參照圖10A及圖10B,因兩空間感測裝置11或21能偵側當前的方位和相對距離,處理器36可判定當下距離是否符合場地模式的定義(即,空間規格)(例如,長度X及Y),並可以透過行動裝置13或23的喇叭或在顯示畫面呈現使用者介面提示,讓使用者能夠據以調整/校正兩空間感測裝置11或21的位置及/或方位,直到調整至符合空間規格即可讓使用者介面切換至下一步驟。圖10A中的圖面右邊的空間感測裝置應逆時針轉向90度,以達到圖10B所示的感測器/模組之間的最小安全距離A。
若空間感測裝置11或21的擺放位置符合上述的對位及/或校正,則第一地點及第二地點所用的那些空間感測裝置11或21所形成的空間大致一致,將有助於後續計算第一實體物件及第二實體物件分別在第一地點及第二地點的位置。
在一實施例中,第一感測資料包括第一實體物件在所處空間的第一位置資訊。位置資訊可包括第一實體物件與空間感測裝置11的相對距離或絕對位置/座標。例如,定點的兩空間感測裝置11依據距離感測器114及/或影像感測模組111的測距資料產生第一實體物件所處空間的第一位置資訊,處理器136計算並將第一位置資訊分配到座標系的兩軸向量資料。例如,將位置分配到座標系中的最接近座標。當影像感測模組111拍攝移動的人像/物品時,影像感測模組111量測到的移動距離資料與定點距離資料(可能一併參考距離感測器114的測距資料)可透過通訊模組113回傳至行動裝置13。行動裝置13的處理器136可計算移動距離資料與定點距離資料對應在兩軸向的座標系上的向量位置。
舉例而言,圖11是依據本發明一實施例的座標系CS的示意圖。請參照圖11,假設某一台空間感測裝置11a的座標系CS的原點位於左側中央,且另一台空間感測裝置11b的座標系CS的原點位於右側中央。以左邊的空間感測裝置11a而言,三角形圖案的座標為(4,-2),且方塊圖案的座標為(2,1)。以右邊的空間感測裝置11b而言,三角形圖案的座標為(3,-2),且方塊圖案的座標為(5,1)。處理器36可能將兩空間感測裝置11的座標系整合成單一座標系CS。例如,以左邊的空間感測裝置11的座標系CS為基準。
處理器36可將第一位置資訊轉換成虛擬場景的平面座標系中的第二位置資訊。處理器36可依據第一位置資訊的座標系及虛擬場景的平面座標系的比例關係將第一位置資訊轉換成第二位置資訊。例如,圖11中的座標(2,1)轉換成(4,-2)。
第一物件模型的行為相關於第二位置資訊。也就是說,第一物件模型的位置是透過座標系轉換得來的。當第一物件模型的位置改變時,其行為也跟著改變。藉此,讓遠端與本地端的使用者從各自顯示裝置會看到對方的影像所體驗的距離感受更加準確與逼真。
為了方便讀者理解本發明實施例的精神,以下再舉應用情境說明。
圖12是依據本發明一實施例的操作流程的示意圖,且圖13是依據本發明一實施例的使用者介面及操作流程的示意圖。請參照圖12及圖13,圖12呈現行動裝置13的使用者介面的操作流程,圖13呈現使用者介面的範例。在步驟121中,在起始頁中,若選擇「開始訓練」選項,則進入步驟S125的運動項目選擇。若選擇「觀看紀錄」選項,則進行步驟S122的雲端連接。
在步驟S122中,行動裝置13連線至伺服器30。在步驟S123中,可透過捲動瀏覽不同運動項目,並據以選擇特定運動項目。選擇運動項目之後,可透過捲動瀏覽這項目的不同紀錄(可顯示預覽影像,以輔助選擇)。選擇紀錄之後,行動裝置13可播放這紀錄的影像(步驟S124)。
在步驟S125中,可選擇預設的運動項目或建立新項目。選擇運動項目之後,可選擇這項目的細節項目(步驟S126)。
圖14是依據本發明一實施例的使用者介面及操作流程的示意圖。請參照圖12及圖14,選擇細節項目之後,在步驟S127中,可進行空間感測裝置11或21的操作提示,並進行其它裝置間的連線配對。例如,空間感測裝置11或21在各自所處空間中進行空間掃描(即參照圖6至圖11所述的實施例),同時連接各自的本地/遠端顯示裝置14或24以及穿戴式裝置12或22。
在步驟S128中,提供多種裝置的教學項目的選擇。例如,穿戴式裝置12的設置教學或行動裝置13的使用教學。選擇教學項目之後,可提供這項目的教學細節(步驟S129)。
圖15是依據本發明一實施例的使用者介面及操作流程的示意圖。請參照圖12及圖15,在步驟1210中,若場地人數只有本地使用者一人,只須點選「使用者加入」之後,兩空間感測裝置11的影像感測模組111可即時掃瞄與建立「3D重建人像」。
在一實施例中,處理器36依據控制操作的偵測結果在虛擬場景中產生第二物件模型。控制操作可以是透過行動裝置的輸入裝置(圖未示,例如是鍵盤、觸控面板或滑鼠)所接收的使用者操作。例如,按壓實體按鍵、點擊虛擬按鍵或切換開關。反應於未偵測到控制操作,處理器36禁能/不在虛擬場景中產生第二物件模型。此時,第一影像串流中沒有第二物件模型。而反應於偵測到控制操作,處理器36允許在虛擬場景中產生第二物件模型。此時,第一影像串流中有第二物件模型。
例如,若場地人數不止一人,依照有配戴手環(即,穿戴式裝置12)的人,按下手環後判斷手環位在場地的位置資訊,並通知空間感測裝置11對有手環的人物即時掃瞄與建立「3D重建人像」。
在步驟S1211中,行動裝置13與穿戴式裝置12建立連線。行動裝置13可依據穿戴式裝置12所產生的感測資料決定穿戴式裝置12的位置,並據以將顯示對應物件模型在虛擬場景中,讓本地顯示裝置14的顯示器144顯示物件模型。最後,依據需求可返回其他步驟(例如,步驟S121、S124、S126或S1210)。
圖16A至圖16D是依據本發明一實施例的雙人足球情境的示意圖。請參照圖16A至圖16D,針對雙人射門,第一地點及第二地點皆有設置空間感測器11或21。當擁有實體球門和實體足球的本機使用者(例如,位於第一地點)按下手環的Host鍵成為攻方進行踢球,遠端使用者(例如,位於第二地點)成為守門員進行隔擋。此時,本機使用者可觀看到遠端使用者的全息影像的虛擬位置/姿勢(如圖16A所示)。當無實體足球(如圖16B、圖16C、圖16D)和無實體球門(如圖16B、圖16D)時,則從伺服器30載入足球與球門的預存物件模型(以下簡稱「虛擬足球」),本機/遠端使用者仍可分別成為攻者與守者。然後,當本機使用者按下手環的Host鍵進行踢球,空間感測裝置11的窗口內的相機模組拍攝本機使用者的運動姿勢,伺服器30即可依據使用者的姿勢來計算虛擬足球移動路徑,以傳送至遠端使用者的遠端顯示裝置24並在其螢幕中顯示以供觀看。
針對單人射門或長傳訓練,也就圖16A至圖16D中沒有遠端使用者。擁有實體球門和實體足球的本機使用者按下手環的Host鍵進行踢球。無實體球門和無實體足球時,本機使用者也能按下手環的Host鍵進行踢球。遠端使用者可以透過遠端顯示裝置24的顯示器看見本機使用者的踢球狀況並且按下手環對本機使用者進行語音指導。或者,若遠端使用者亦有空間感測裝置21,則可按下Host鍵切換成由遠端使用者產生虛擬運動姿勢,本機使用者可從本地顯示裝置14的顯示器144看到遠端使用者在虛擬場景中的示範動作。
針對單人盤球訓練,擁有實體足球的本機使用者按下手環的Host鍵進行盤球。若無實體足球,則由本地顯示裝置14顯示虛擬足球。此外,本機使用者也能按下手環的Host鍵來踢虛擬足球。
針對雙人盤球訓練,當擁有實體足球的本機使用者按下手環的Host鍵成為攻者進行盤球,空間感測裝置11的窗口內的影像感測模組111拍攝本機使用者的運動姿勢以及實體足球,遠端使用者可從遠端顯示裝置24看到在虛擬場景中本機使用者的全息影像與虛擬足球的互動。
假設遠端使用者成為守者進行抄截,如成功抄截則結束。若本機與遠端使用者肢體重疊,則球會消失暫停比賽,且分開之後球原地出現。
另一方面,若無實體足球則由本地顯示裝置14顯示虛擬足球。然後,當本機使用者按下手環的Host鍵進行盤球,空間感測裝置11的窗口內的影像感測模組111拍攝本機使用者的運動姿勢。行動裝置13可依據使用者的姿勢來計算虛擬足球移動路徑,如此一來遠端使用者同樣可從遠端顯示裝置24看到在虛擬場景中本機使用者的全息影像與虛擬足球的互動。
圖17A至圖17D是依據本發明一實施例的單人足球情境的示意圖。請參照圖17A至圖17D,針對競賽模式,本機或兩地均需要實體足球,按下手環的Host鍵遠端使用者開始時間計算。針對挑球/顛球次數比賽,空間感測裝置11內的影像感測模組111拍攝足球影像,以供雲端或空間感測器內的運算中心來計算次數。若球落於地板,則結束此回合計算(圖17A、圖17B)。針對障礙路線盤球時間比賽:伺服器計算足球正確繞過虛擬角錐,完成路線超過後感測器停止計時(圖3、圖4)。若需要使用虛擬角錐,則可在虛擬場景中產生對應的物件模型。
另一方面,遠端使用者可以透過顯示裝置24的顯示器看見本機使用者的踢球狀況並且按下手環對本機使用者進行語音指導。或者,當第二地點亦有空間感測裝置21時,則可按下Host鍵切換成由遠端使用者產生虛擬運動姿勢,並據以透過本地顯示裝置14的顯示器144顯示遠端使用者的動作姿勢。
圖18是依據本發明一實施例的用於健身訓練的空間感測裝置的位置布建的示意圖。請參照圖18,針對健身訓練,由於健身動作基本以前方姿勢為主要且姿勢多為左右對稱,因此一台空間感測裝置11置於使用者前方,另一台空間感測裝置11置於使用者的側邊,並據以將感測資料所對應的動作建構於虛擬影像(即,影像串流)。
在教學端,可記錄教學者之健身姿勢與動作,並即時傳輸給學習者觀看,以便於依循動作。或者,可記錄學習者的健身姿勢與動作,並即時傳輸給教學者檢視。針對共同訓練使用,多位使用者可互相檢視對方的健身姿勢與動作。
圖19是依據本發明一實施例的多感測情境的示意圖。請參照圖17,穿戴式裝置12(例如,手環)可記錄與設定正確動作資訊(例如,位移、距離、方向、力道等),空間感測裝置11所取得的影像可提供給本地顯示裝置14的顯示器144,以提示使用者每個動作是否到位。
須說明的是,前述應用情境的內容僅是用於範例說明,應用者依據實際需求而改變訓練內容。
綜上所述,在本發明實施例的虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統中,透過影像感測模組拍攝人物動作與互動物品(例如,球、球框)的影像並產生位置資料。取得的人物影像資料傳送到伺服器之後,可透過全息影像技術重建出三維重建人像。對互動物品只拍攝其影像,並依據所選擇的運動項目的選擇及/或記憶體內已存AI模型辨識物品影像的特徵,自伺服器的資料庫中載入符合預存的三維物品影像,以節省重建三維持物品影像的資源。
藉此,使用者在不同的運動項目,能夠擁有不一樣的操作方法及體驗。除了多個使用者能夠同樂,也能夠有教練與學生的教學互動方式,讓使用者在家中也能夠有在戶外運動一般的體驗。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
1:虛擬實境系統 11、11a、11b、21、21a、21b:空間感測裝置 12、22:穿戴式裝置 13、23:行動裝置 14:本地顯示裝置 24:遠端顯示裝置 30:伺服器 2:運算系統 111、141:影像感測模組 112、122、142:動作追蹤模組 113、123、133、143、33:通訊模組 114:距離感測器 115、125、135、145、35:記憶體 116、126、136、146、36:處理器 144:顯示器 S410~S450、S610~S630、S810~S830、S121~S1211:步驟 51、55:人物 52:足球 53:足球框 S、S1、S2:空間 S:感測範圍 X、Y:長度 A:最小安全距離
圖1是依據本發明一實施例的虛擬實境系統的元件方塊圖。 圖2A是依據本發明一實施例的空間感測裝置的元件方塊圖。 圖2B是依據本發明一實施例的穿戴式裝置的元件方塊圖。 圖2C是依據本發明一實施例的行動裝置的元件方塊圖。 圖2D是依據本發明一實施例的本地顯示裝置的元件方塊圖。 圖2E是依據本發明一實施例的伺服器的元件方塊圖。 圖3A是依據本發明一實施例的空間感測裝置為兩台一組的示意圖。 圖3B是依據圖3A的其中一空間感測裝置的示意圖。 圖3C是依據圖3A的另一空間感測裝置上放置一行動裝置放置的示意圖。 圖4是依據本發明一實施例的虛實互動方法的流程圖。 圖5A是依據本發明一實施例的第一地點的第一物件的示意圖。 圖5B是依據本發明一實施例的第二地點的第二物件的示意圖。 圖6是依據本發明一實施例的空間校正的流程圖。 圖7A至圖7F是依據本發明一實施例的空間感測裝置的擺設位置的示意圖。 圖8是依據本發明一實施例的空間校正的流程圖。 圖9是依據本發明一實施例的裝置移動建議的示意圖。 圖10A及圖10B是依據本發明一實施例的用於位置校正的使用者介面的示意圖。 圖11是依據本發明一實施例的座標系的示意圖。 圖12是依據本發明一實施例的操作流程的示意圖。 圖13是依據本發明一實施例的使用者介面及操作流程的示意圖。 圖14是依據本發明一實施例的使用者介面及操作流程的示意圖。 圖15是依據本發明一實施例的使用者介面及操作流程的示意圖。 圖16A至圖16D是依據本發明一實施例的雙人足球情境的示意圖。 圖17A至圖17D是依據本發明一實施例的單人足球情境的示意圖。 圖18是依據本發明一實施例的用於健身訓練的空間感測裝置的位置布建的示意圖。 圖19是依據本發明一實施例的多感測情境的示意圖。
1:虛擬實境系統
11、21:空間感測裝置
12、22:穿戴式裝置
13、23:行動裝置
14:本地顯示裝置
24:遠端顯示裝置
30:伺服器

Claims (18)

  1. 一種虛實互動方法,包括: 依據一第一感測資料產生一第一物件模型,其中該第一感測資料是對一第一實體物件感測所得的; 依據一第二感測資料產生一第二物件模型,其中該第二感測資料是對一第二實體物件感測所得的; 依據該第一感測資料及該第二感測資料決定該第一物件模型及該第二物件模型在一虛擬場景中的行為; 依據該第一物件模型在該虛擬場景的行為產生一第一影像串流,其中該第一影像串流用於供一遠端顯示裝置顯示;以及 依據該第二物件模型在該虛擬場景的行為產生一第二影像串流,其中該第二影像串流用於供一本地顯示裝置顯示。
  2. 如請求項1所述的虛實互動方法,其中該第一實體物件是一第一人物,該第二實體物件是一第二人物,且產生該第一物件模型與該第二物件模型的步驟包括: 利用一全息影像(Holographic)技術產生立體的該第一物件模型與該第二物件模型。
  3. 如請求項1所述的虛實互動方法,其中該第一實體物件是一第一物品,且產生該第一物件模型的步驟包括: 辨識該第一物品;以及 依據該第一物品的辨識結果取得預存的該第一物件模型。
  4. 如請求項1所述的虛實互動方法,其中該第一感測資料包括該第一實體物件在所處空間的一第一位置資訊,且決定該第一物件模型及該第二物件模型在該虛擬場景中的行為的步驟包括: 將該第一位置資訊轉換成該虛擬場景的一平面座標系中的一第二位置資訊,其中該第一物件模型的行為相關於該第二位置資訊。
  5. 如請求項1所述的虛實互動方法,其中決定該第一物件模型及該第二物件模型在該虛擬場景中的行為的步驟包括: 依據該第一感測資料及該第二感測資料決定該第一物件模型及該第二物件模型之間的一互動情形;以及 依據該互動情形決定該第一物件模型及該第二物件模型的行為。
  6. 如請求項1所述的虛實互動方法,更包括: 依據一控制操作的偵測結果在該虛擬場景中產生該第二物件模型,其中 反應於未偵測到該控制操作,禁能在該虛擬場景中產生該第二物件模型;以及 反應於偵測到該控制操作,允許在該虛擬場景中產生該第二物件模型。
  7. 如請求項1所述的虛實互動方法,更包括: 依據一第一感測裝置的一第三感測資料決定一第一空間,其中該第三感測資料包括與另一第一感測裝置之間的相對距離及該第一感測裝置的方位,且該第一感測裝置用於感測該第一實體物件; 比較該第一空間及該虛擬場景的一空間規格;以及 依據該第一空間及該空間規格的比較結果產生一第一空間調整提示,其中該第一空間調整提示用於調整該第一感測裝置的位置或方位。
  8. 如請求項7所述的虛實互動方法,更包括: 依據一第二感測裝置的一第四感測資料決定一第二空間,其中該第四感測資料包括與另一第二感測裝置之間的相對距離及該第二感測裝置的方位,且該第二感測裝置用於感測該第二實體物件; 比較該第一空間及該第二空間;以及 依據該第一空間及該第二空間的比較結果產生一第二空間調整提示,其中該第二空間調整提示用於調整該第一感測裝置或第二感測裝置的位置或方位。
  9. 一種用於虛擬世界的運算系統,包括: 至少一記憶體,用以儲存至少一程式碼;以及 至少一處理器,耦接該至少一記憶體,經配置用以載入該至少一程式碼以執行: 依據一第一感測資料產生一第一物件模型,其中該第一感測資料是對一第一實體物件感測所得的; 依據一第二感測資料產生一第二物件模型,其中該第二感測資料是對一第二實體物件感測所得的; 依據該第一感測資料及該第二感測資料決定該第一物件模型及該第二物件模型在一虛擬場景中的行為; 依據該第一物件模型在該虛擬場景的行為產生一第一影像串流,其中該第一影像串流用於供一遠端顯示裝置顯示;以及 依據該第二物件模型在該虛擬場景的行為產生一第二影像串流,其中該第二影像串流用於供一本地顯示裝置顯示。
  10. 如請求項9所述的用於虛擬世界的運算系統,其中該第一實體物件是一第一人物,該第二實體物件是一第二人物,且該至少一處理器更經配置用以執行: 利用一全息影像技術產生立體的該第一物件模型與該第二物件模型。
  11. 如請求項9所述的用於虛擬世界的運算系統,其中該第一實體物件是一第一物品,且該至少一處理器更經配置用以執行: 辨識該第一物品;以及 依據該第一物品的辨識結果取得預存的該第一物件模型。
  12. 如請求項9所述的用於虛擬世界的運算系統,其中該第一感測資料包括該第一實體物件在所處空間的一第一位置資訊,且該至少一處理器更經配置用以執行: 將該第一位置資訊轉換成該虛擬場景的一平面座標系中的一第二位置資訊,其中該第一物件模型的行為相關於該第二位置資訊。
  13. 如請求項9所述的用於虛擬世界的運算系統,其中該至少一處理器更經配置用以執行: 依據該第一感測資料及該第二感測資料決定該第一物件模型及該第二物件模型之間的一互動情形;以及 依據該互動情形決定該第一物件模型及該第二物件模型的行為。
  14. 如請求項9所述的用於虛擬世界的運算系統,其中該至少一處理器更經配置用以執行: 依據一控制操作的偵測結果在該虛擬場景中產生該第二物件模型,其中 反應於未偵測到該控制操作,禁能在該虛擬場景中產生該第二物件模型;以及 反應於偵測到該控制操作,允許在該虛擬場景中產生該第二物件模型。
  15. 如請求項9所述的用於虛擬世界的運算系統,其中該至少一處理器更經配置用以執行: 依據一第一感測裝置的一第三感測資料決定一第一空間,其中該第三感測資料包括與另一第一感測裝置之間的相對距離及該第一感測裝置的方位,且該第一感測裝置用於感測該第一實體物件; 比較該第一空間及該虛擬場景的一空間規格;以及 依據該第一空間及該空間規格的比較結果產生一第一空間調整提示,其中該第一空間調整提示用於調整該第一感測裝置的位置或方位。
  16. 如請求項15所述的用於虛擬世界的運算系統,其中該至少一處理器更經配置用以執行: 依據一第二感測裝置的一第四感測資料決定一第二空間,其中該第四感測資料包括與另一第二感測裝置之間的相對距離及該第二感測裝置的方位,且該第二感測裝置用於感測該第二實體物件; 比較該第一空間及該第二空間;以及 依據該第一空間及該第二空間的比較結果產生一第二空間調整提示,其中該第二空間調整提示用於調整該第一感測裝置或第二感測裝置的位置或方位。
  17. 一種虛擬實境系統,包括: 二第一空間感測裝置,用以對一第一實體物件感測,以取得一第一感測資料; 至少一運算裝置,經配置用以: 依據該第一感測資料產生一第一物件模型; 依據一第二感測資料產生一第二物件模型,其中該第二感測資料是透過二第二空間感測裝置對一第二實體物件感測所得的; 依據該第一感測資料及該第二感測資料決定該第一物件模型及該第二物件模型在一虛擬場景中的行為; 依據該第一物件模型在該虛擬場景的行為產生一第一影像串流,其中該第一影像串流用於供一遠端顯示裝置顯示;以及 依據該第二物件模型在該虛擬場景的行為產生一第二影像串流;以及 一本地顯示裝置,用以顯示該第二影像串流。
  18. 如請求項17所述的虛擬實境系統,更包括: 至少一穿戴式裝置,用於供一第一人物配戴,並據以產生一第一子資料,其中該二第一空間感測裝置產生一第二子資料,且該第一感測資料包括該第一子資料及該第二子資料。
TW111134062A 2021-09-13 2022-09-08 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統 TWI835289B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163243208P 2021-09-13 2021-09-13
US63/243,208 2021-09-13

Publications (2)

Publication Number Publication Date
TW202311912A true TW202311912A (zh) 2023-03-16
TWI835289B TWI835289B (zh) 2024-03-11

Family

ID=86690554

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111134062A TWI835289B (zh) 2021-09-13 2022-09-08 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統

Country Status (1)

Country Link
TW (1) TWI835289B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2967322A4 (en) * 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US10268740B2 (en) * 2015-10-14 2019-04-23 Tharmalingam Satkunarajah 3D analytics actionable solution support system and apparatus
US10573081B2 (en) * 2017-08-03 2020-02-25 Taqtile, Inc. Authoring virtual and augmented reality environments via an XR collaboration application
TWI719343B (zh) * 2018-08-28 2021-02-21 財團法人工業技術研究院 資訊顯示方法及其顯示系統

Also Published As

Publication number Publication date
TWI835289B (zh) 2024-03-11

Similar Documents

Publication Publication Date Title
US10821347B2 (en) Virtual reality sports training systems and methods
Miles et al. A review of virtual environments for training in ball sports
US11826628B2 (en) Virtual reality sports training systems and methods
US9504920B2 (en) Method and system to create three-dimensional mapping in a two-dimensional game
CN102193624B (zh) 用于基于姿势的用户界面的物理交互区
CN105073210B (zh) 使用深度图像的用户身体角度、曲率和平均末端位置提取
JP5081964B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2020534041A (ja) パーソナルトレーナーとしてのロボット
US20160314620A1 (en) Virtual reality sports training systems and methods
KR20190099390A (ko) 게임을 제어하기 위한 제어 디바이스의 센서들을 이용하기 위한 방법 및 시스템
US20170352188A1 (en) Support Based 3D Navigation
US8957858B2 (en) Multi-platform motion-based computer interactions
CN102947777A (zh) 用户跟踪反馈
CN102207771A (zh) 推断参与运动捕捉系统的用户意图
US20180339215A1 (en) Virtual reality training system for team sports
CN114078190B (zh) 健身运动的引导设备
CN102331840A (zh) 基于回环运动的用户选择和导航
Li et al. Real-time immersive table tennis game for two players with motion tracking
Bang et al. Interactive experience room using infrared sensors and user's poses
TWI835289B (zh) 虛實互動方法、用於虛擬世界的運算系統及虛擬實境系統
Li Development of immersive and interactive virtual reality environment for two-player table tennis
Garcia et al. Modifying a game interface to take advantage of advanced I/O devices
JP7185814B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017199106A (ja) 仮想環境構築装置、仮想環境構築方法、プログラム
Bhandari Influence of Perspective in Virtual Reality