TW201935188A - 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體 - Google Patents

即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TW201935188A
TW201935188A TW108104302A TW108104302A TW201935188A TW 201935188 A TW201935188 A TW 201935188A TW 108104302 A TW108104302 A TW 108104302A TW 108104302 A TW108104302 A TW 108104302A TW 201935188 A TW201935188 A TW 201935188A
Authority
TW
Taiwan
Prior art keywords
image
tracking
electronic device
data
controller
Prior art date
Application number
TW108104302A
Other languages
English (en)
Other versions
TWI694355B (zh
Inventor
溫予佑
陳俊霖
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201935188A publication Critical patent/TW201935188A/zh
Application granted granted Critical
Publication of TWI694355B publication Critical patent/TWI694355B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體，追蹤系統包含控制器、伺服器以及電子裝置。電子裝置包含處理器以及顯示器。控制器用以提供第一追蹤資料以及第二追蹤資料，電子裝置用以提供第一觀察資料以及第二觀察資料。伺服器用以根據第一追蹤資料以及接收自電子裝置的第一觀察資料產生第一影像。處理器用以接收第一影像以及根據第一影像、第二追蹤資料以及第二觀察資料產生第二影像。顯示器用以根據第二影像顯示模擬場景。

Description

即時渲染影像的追蹤系統、追蹤方法以 及非暫態電腦可讀取媒體
本案是有關於一種即時渲染影像的系統、方法以及非暫態電腦可讀取媒體，且特別是有關於一種用於利用最新的追蹤資料重新投影影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體。
在擴增實境(augmented reality,AR)以及虛擬實境(virtual reality,VR)系統中，需要即時考慮使用者的移動，以提供更逼真的虛擬實境或擴增實境的體驗。當使用者移動其控制器時，需要更新頭戴式裝置(head-mounted device，HMD)顯示的圖像。然而，如果手持控制器以及頭戴式裝置移動，系統需要根據使用者新的動作重新渲染新的影像，頭戴式裝置顯示新影像時可能會發生延遲。因此，本領域中需要一種用於虛擬實境或擴增實境中根據最新的追蹤資料以及最新的觀察資料來降低渲染影像的 延遲系統的追蹤系統。
依據本揭示文件之第一實施態樣，其揭示一種即時渲染影像的追蹤系統，即時渲染影像的追蹤系統包含控制器、伺服器以及電子裝置。控制器用以提供第一追蹤資料以及第二追蹤資料，其中第一追蹤資料以及第二追蹤資料對應不同的時間。伺服器與控制器通訊連接，用以接收第一追蹤資料。電子裝置與控制器以及伺服器通訊連接，用以提供第一觀察資料以及第二觀察資料，其中第一觀察資料以及第二觀察資料對應不同的時間。電子裝置包含處理器以及顯示器，處理器用以接收第二追蹤資料，顯示器電性連接至處理器，其中，伺服器用以根據第一追蹤資料以及接收自電子裝置的第一觀察資料產生第一影像。處理器用以接收第一影像以及根據第一影像、第二追蹤資料以及第二觀察資料產生第二影像，顯示器用以根據第二影像顯示模擬場景。
依據本揭示文件之第二實施態樣，其揭示一種即時渲染影像的追蹤方法，即時渲染影像的追蹤方法包含：藉由伺服器根據接收自控制器的第一追蹤資料以及接收自電子裝置的第一觀察資料產生第一影像；藉由電子裝置接收第一影像以及根據第一影像、收自控制器的第二追蹤資料以及接收自電子裝置的第二觀察資料產生第二影像；以及藉由顯示器根據第二影像顯示模擬場景，其中，由控制器提供的第一追蹤資料以及第二追蹤資料對應不同的時間，以及由電子 裝置提供的第一觀察資料以及第二觀察資料對應不同的時間。
依據本揭示文件之第三實施態樣，其揭示一種非暫態電腦可讀取媒體，非暫態電腦可讀取媒體包含至少一指令程序，由處理器執行至少一指令程序以實行即時渲染影像的追蹤方法，其包含：藉由伺服器根據接收自控制器的第一追蹤資料以及接收自電子裝置的第一觀察資料產生第一影像；藉由電子裝置接收第一影像以及根據第一影像、收自控制器的第二追蹤資料以及接收自電子裝置的第二觀察資料產生第二影像；以及藉由顯示器根據第二影像顯示模擬場景，其中，由控制器提供的第一追蹤資料以及第二追蹤資料對應不同的時間，以及由電子裝置提供的第一觀察資料以及第二觀察資料對應不同的時間。
100‧‧‧即時渲染影像的追蹤系統
110‧‧‧控制器
130‧‧‧伺服器
150‧‧‧電子裝置
151‧‧‧處理器
152‧‧‧顯示器
200‧‧‧即時渲染影像的追蹤方法
SCN‧‧‧模擬場景
SH‧‧‧模擬手勢
VO‧‧‧虛擬物體
I1、I2‧‧‧影像
p1、p2、pc1、pc2‧‧‧座標
S210~S230、S221~S225‧‧‧步驟
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖係根據本案之一些實施例所繪示之追蹤系統的方塊圖；第2圖係根據本案之一些實施例所繪示之即時渲染影像的追蹤方法的流程圖；第3圖係根據本案之一些實施例所繪示之使用者藉由控制器和電子裝置和擴增實境系統互動的示意圖；第4圖係根據本案之一些實施例所繪示之第一影像中 虛擬角色的模擬手勢的示意圖；第5圖係根據本案之一些實施例所繪示之步驟S220的流程圖；第6圖係根據本案之一些實施例所繪示之第二影像中虛擬角色的模擬手勢的示意圖；以及第7圖係根據本案之一些實施例所繪示之使用者藉由控制器和電子裝置和擴增實境系統互動的示意圖。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途，並不會以任何方式限制本發明或其例證之範圍和意義。此外，本揭示在不同例證中可能重複引用數字符號且/或字母，這些重複皆為了簡化及闡述，其本身並未指定以下討論中不同實施例且/或配置之間的關係。
請參閱第1圖。第1圖係根據本案之一些實施例所繪示之追蹤系統100的方塊圖。如第1圖所繪示，追蹤系統100包含控制器110、伺服器130以及電子裝置150，伺服器130與控制器以及電子裝置150通訊連接。電子裝置150包含處理器151以及顯示器152，處理器151電性連接至顯示器152。於一些實施例中，伺服器130可以被整合於電子裝置150中。於一些實施例中，電子裝置150可以是頭戴式裝置(head-mounted deviee，HMD)，伺服器130可以實 施為雲端伺服器。處理器151可以實施為中央處理單元、控制電路及/或圖形處理器，當一使用者佩戴電子裝置150時，顯示器152將會覆蓋使用者的視域，並且顯示器150係用於向使用者顯示虛擬實境場景或擴增實境場景。
請參閱第2圖。第2圖係根據本案之一些實施例所繪示之即時渲染影像的追蹤方法200的流程圖。於一實施例中即時渲染影像的追蹤方法200可用以執行將影像從第一視角(例如，根據控制器的第一位置)變形至第二視角(例如，根據控制器的第二位置)的計算，不需要藉由伺服器130從第二視角重新渲染(re-rendering)影像。
請一併參考第1圖及第2圖，如第2圖所示之實施例，即時渲染影像的追蹤方法200首先執行步驟S210藉由伺服器130根據接收自控制器110的第一追蹤資料以及接收自電子裝置150的第一觀察資料產生第一影像。請參閱第3圖，第3圖係根據本案之一些實施例所繪示之使用者藉由控制器110和電子裝置150和擴增實境系統互動的示意圖。於此實施例中，使用者配戴電子裝置150並且操控控制器110，電子裝置150顯示模擬場景SCN中虛擬角色的模擬手勢SH。當使用者移動控制器110，虛擬角色的模擬手勢SH將與控制器110同步移動。
請參閱第4圖，第4圖係根據本案之一些實施例所繪示之第一影像I1中虛擬角色的模擬手勢SH的示意圖。於此實施例中，控制器110用以在不同時間提供第一追蹤資料以及第二追蹤資料，以及電子裝置150用以在不同時間提 供第一追蹤資料以及第二追蹤資料。如第4圖所示，第一追蹤資料包含控制器110在時間t1的第一位置，舉例而言，控制器110的第一位置的座標為p1(x1,y1,z1)。伺服器130用以產生第一影像I1，第一影像I1的內容包含虛擬物體VO以及模擬手勢SH。接著，伺服器130用以藉由第一影像I1以及深度資料在時間t1渲染模擬場景SCN，深度資料可以實施為由深度感測器或多視角感測器產生的深度影像。
接著，即時渲染影像的追蹤方法200執行步驟S220藉由電子裝置150接收第一影像I1以及根據第一影像I1、自控制器110接收的第二追蹤資料以及自電子裝置150接收的第二觀察資料產生第二影像I2。步驟S220更包含步驟S221~S225，請一併參考第5圖，第5圖係根據本案之一些實施例所繪示之步驟S220的流程圖。如第5圖所示的實施例，即時渲染影像的追蹤方法200進一步執行步驟S221根據第一影像I1以及深度資料建構第一三維影像。根據前述的實施例，電子裝置150用以建構對應第一影像I1(如第4圖所示)以及深度資料的第一三維影像。
在遊戲引擎(例如，Open GL、Unity 3D、DirectX等)中，模型的端點需要利用模型矩陣(Model matrix)從模型座標系統(所有的端點都是相對於模型的中心定義)轉換至世界座標系統(所有的端點都是相對於世界的中心定義)。接著，模型的端點需要利用觀察矩陣(View matrix)從世界座標系統(所有的端點都是相對於世界的中心定義)轉換至相機座標系統(所有的端點都是相對於相機 定義)。接著，模型的端點需要利用投影矩陣(Projection matrix)從相機座標系統轉換至標準化裝置座標系統(Normalized device coordinates，NDC)，標準化裝置座標系統是構成描述虛擬裝置上的位置的座標系統。
接著，即時渲染影像的追蹤方法200進一步執行步驟S222根據第一觀察資料將位於標準化裝置座標系統中的第一三維影像轉換至世界座標系統。根據前述實施例，第一追蹤資料包含控制器110在時間t1的第一位置p1(如第4圖所示)，控制器110的第一位置p1可用以產生模型矩陣，並且電子裝置150的第一位置p1可用以產生觀察矩陣。第一三維影像需要利用投影矩陣以及觀察矩陣從標準化裝置座標系統轉換至世界座標系統。
接著，即時渲染影像的追蹤方法200進一步執行步驟S223根據第二追蹤資料產生第二三維影像。請參閱第6圖，第6圖係根據本案之一些實施例所繪示之第二影像I2中虛擬角色的模擬手勢SH的示意圖。如第6圖所示，第二追蹤資料包含控制器110在時間t2的第二位置，舉例而言，控制器110的第二位置的座標為p2(x2,y2,z2)。由控制器110提供的第二追蹤資料的時間晚於由控制器110提供的第一追蹤資料的時間。藉由第二三維影像中的第二位置p2調整模擬手勢SH，電子裝置150的處理器151用以將模擬手勢SH從控制器110的第一位置p1扭曲至控制器110的第二位置p2。
接著，處理器用以利用新的模擬手勢SH在時間 t2產生第二三維影像。值得注意的是，位於世界座標系中的第二三維影像包含深度資訊，並且深度資訊是對應於第一影像I1，但模擬手勢SH的位置在第一影像I1和第二影像I2中是不同的。再者，第一位置p1和第二位置p2之間的差異不會太大(取決於時間t1和時間t2之間的時間差)。因此，對應於第一影像I1的模擬手勢SH的深度資訊與對應於第二影像I2的模擬手勢SH的深度資訊相似。
接著，即時渲染影像的追蹤方法200進一步執行步驟S224根據第二追蹤資料以及第二觀察資料將位於世界座標系統中的第二三維影像轉換至標準化裝置座標系統，以及步驟S225根據第二三維影像產生第二影像I2。於此實施例中，由電子裝置150提供的第二觀察資料的時間晚於由電子裝置150提供的第一觀察資料的時間。控制器110的第二位置可用以產生新的模型矩陣，電子裝置150的第二位置可用以產生新的觀察矩陣。因此，第二三維影像需要利用新的觀察矩陣以及投影矩陣從世界座標系統轉換至標準化裝置座標系統。
接著，即時渲染影像的追蹤方法200執行步驟S230藉由顯示器152根據第二影像I2顯示模擬場景SCN。於此實施例中，由處理器151渲染的模擬場景SCN必須作為二維影像投影至顯示器152上。可以理解到，對應於第二位置p2的模擬手勢SH以及模擬場景SCN的虛擬對象VO是位於準化裝置坐標系統，並且處理器151用以傳送第二影像I2至顯示器152，顯示器152用以顯示模擬場景SCN。
請參考第7圖，第7圖係根據本案之一些實施例所繪示之使用者藉由控制器110和電子裝置150和擴增實境系統互動的示意圖。根據前述實施例，當控制器110位於位置pc1，控制器110的位置pc1的座標為pc1(xc1,yc1,zc1)，以及伺服器130用以渲染具有位於位置p1的模擬手勢SH的第一影像I1。接著，第一影像I1被傳送至電子裝置150，並且處理器151用以將模擬手勢SH從位置p1重新投影(re-project)至位置p2。處理器151用以根據控制器110的新的位置pc2重新渲染(re-render)第二影像I2，控制器110的位置pc2的座標為pc2(xc2,yc2,zc2)，因此，顯示器152用以根據第二影像I2顯示模擬場景SCN。
另一實施例揭露一種非暫態電腦可讀取媒體，非暫態電腦可讀取媒體儲存指令程序以執行如第2圖所示的即時渲染影像的追蹤方法200。
根據前述的實施例，即時渲染影像的追蹤系統、追蹤方法、以及非暫態電腦可讀取媒體能夠根據從控制器接收的追蹤資料以及從電子裝置接收的觀察資料渲染第一影像，並且根據新的追蹤資料以及新的觀察資料重新投影模擬手勢。於一些實施態樣中，頭戴式顯示裝置能夠在擴增實境場景中無延遲地顯示模擬手勢。
另外，上述例示包含依序的示範步驟，但該些步驟不必依所顯示的順序被執行。以不同順序執行該些步驟皆在本揭示內容的考量範圍內。在本揭示內容之實施例的精神與範圍內，可視情況增加、取代、變更順序及/或省略該 些步驟。
雖然本案已以實施方式揭示如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (13)

  1. 一種即時渲染影像的追蹤系統，包含：一控制器，用以提供一第一追蹤資料以及一第二追蹤資料，其中該第一追蹤資料以及該第二追蹤資料對應不同的時間；一伺服器，與該控制器通訊連接，用以接收該第一追蹤資料；以及一電子裝置，與該控制器以及該伺服器通訊連接，用以提供一第一觀察資料以及一第二觀察資料，其中該第一觀察資料以及該第二觀察資料對應不同的時間，該電子裝置包含：一處理器，用以接收該第二追蹤資料：以及一顯示器，電性連接至該處理器；其中，該伺服器用以根據該第一追蹤資料以及接收自該電子裝置的該第一觀察資料產生一第一影像；該處理器用以接收該第一影像以及根據該第一影像、該第二追蹤資料以及該第二觀察資料產生一第二影像；該顯示器用以根據該第二影像顯示一模擬場景。
  2. 如請求項1所述的即時渲染影像的追蹤系統，其中，該伺服器用以傳送該第一影像、該第一觀察資料、該第一追蹤資料以及對應於該第一影像的一深度資料至該電子裝置。
  3. 如請求項1所述的即時渲染影像的追蹤系統，其中，由該控制器提供的該第二追蹤資料的時間晚於由該控制器提供的該第一追蹤資料的時間，並且由該電子裝置提供的該第二觀察資料的時間晚於由該電子裝置提供的該第一觀察資料的時間。
  4. 如請求項2所述的即時渲染影像的追蹤系統，其中，該處理器更用以執行以下步驟：根據該第一影像以及該深度資料建構一第一三維影像；根據該第一觀察資料將位於一標準化裝置座標系統中的該第一三維影像轉換至一世界座標系統；根據該第二追蹤資料產生一第二三維影像；根據該第二追蹤資料以及該第二觀察資料將位於該世界座標系統中的該第二三維影像轉換至該標準化裝置座標系統；以及根據該第二三維影像產生該第二影像。
  5. 如請求項1所述的即時渲染影像的追蹤系統，其中，該第一追蹤資料包含一控制器的第一位置，以及該第二追蹤資料包含一控制器的第二位置；該第一觀察資料包含一電子裝置的第一位置，以及該第二觀察資料包含一電子裝置的第二位置。
  6. 如請求項5所述的即時渲染影像的追蹤系統，其中，藉由該控制器的第一位置以及該控制器的第二位置產生一模型矩陣，藉由該電子裝置的第一位置以及該電子裝置的第二位置產生一觀察矩陣。
  7. 一種即時渲染影像的追蹤方法，包含：藉由一伺服器根據接收自一控制器的一第一追蹤資料以及接收自一電子裝置的一第一觀察資料產生一第一影像；藉由一電子裝置接收該第一影像以及根據該第一影像、收自該控制器的一第二追蹤資料以及接收自該電子裝置的一第二觀察資料產生一第二影像；以及藉由該顯示器根據該第二影像顯示一模擬場景；其中，由該控制器提供的該第一追蹤資料以及該第二追蹤資料對應不同的時間，以及由該電子裝置提供的該第一觀察資料以及該第二觀察資料對應不同的時間。
  8. 如請求項7所述的即時渲染影像的追蹤方法，其中，該伺服器用以傳送該第一影像、該第一觀察資料、該第一追蹤資料以及對應於該第一影像的一深度資料至該電子裝置。
  9. 如請求項7所述的即時渲染影像的追蹤方法，其中，由該控制器提供的該第二追蹤資料的時間晚於 由該控制器提供的該第一追蹤資料的時間，並且由該電子裝置提供的該第二觀察資料的時間晚於由該電子裝置提供的該第一觀察資料的時間。
  10. 如請求項8所述的即時渲染影像的追蹤方法，其中，藉由該電子裝置接收該第一影像以及產生該第二影像，更包含：根據該第一影像以及該深度資料建構一第一三維影像；根據該第一觀察資料將位於一標準化裝置座標系統中的該第一三維影像轉換至一世界座標系統；根據該第二追蹤資料產生一第二三維影像；根據該第二追蹤資料以及該第二觀察資料將位於該世界座標系統中的該第二三維影像轉換至該標準化裝置座標系統；以及根據該第二三維影像產生該第二影像。
  11. 如請求項7所述的即時渲染影像的追蹤方法，其中，該第一追蹤資料包含一控制器的第一位置，以及該第二追蹤資料包含一控制器的第二位置；該第一觀察資料包含一電子裝置的第一位置，以及該第二觀察資料包含一電子裝置的第二位置。
  12. 如請求項11所述的即時渲染影像的追蹤 方法，其中，藉由該控制器的第一位置以及該控制器的第二位置產生一模型矩陣，藉由該電子裝置的第一位置以及該電子裝置的第二位置產生一觀察矩陣。
  13. 一種非暫態電腦可讀取媒體，包含至少一指令程序，由該處理器執行該至少一指令程序以實行一即時渲染影像的追蹤方法，其包含：藉由一伺服器根據接收自一控制器的一第一追蹤資料以及接收自一電子裝置的一第一觀察資料產生一第一影像；藉由一電子裝置接收該第一影像以及根據該第一影像、收自該控制器的一第二追蹤資料以及接收自該電子裝置的一第二觀察資料產生一第二影像；以及藉由該顯示器根據該第二影像顯示一模擬場景；其中，由該控制器提供的該第一追蹤資料以及該第二追蹤資料對應不同的時間，以及由該電子裝置提供的該第一觀察資料以及該第二觀察資料對應不同的時間。
TW108104302A 2018-02-07 2019-02-01 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體 TWI694355B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862627683P 2018-02-07 2018-02-07
US62/627,683 2018-02-07

Publications (2)

Publication Number Publication Date
TW201935188A true TW201935188A (zh) 2019-09-01
TWI694355B TWI694355B (zh) 2020-05-21

Family

ID=67476695

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108104302A TWI694355B (zh) 2018-02-07 2019-02-01 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體

Country Status (3)

Country Link
US (1) US10719124B2 (zh)
CN (1) CN110119199B (zh)
TW (1) TWI694355B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) * 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US10714050B2 (en) * 2018-03-21 2020-07-14 Daqri, Llc Reducing latency in augmented reality (AR) displays

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542040B2 (en) * 2004-08-11 2009-06-02 The United States Of America As Represented By The Secretary Of The Navy Simulated locomotion method and apparatus
US8477098B2 (en) * 2007-10-31 2013-07-02 Gene S. Fein Method and apparatus for user interface of input devices
US8913009B2 (en) * 2010-02-03 2014-12-16 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8442502B2 (en) * 2010-03-02 2013-05-14 Empire Technology Development, Llc Tracking an object in augmented reality
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US10269182B2 (en) * 2012-06-14 2019-04-23 Position Imaging, Inc. RF tracking with active sensory feedback
US20140145966A1 (en) * 2012-11-27 2014-05-29 Research In Motion Limited Electronic device with touch input display system using head-tracking to reduce visible offset for user input
US9264479B2 (en) * 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US9740010B2 (en) * 2014-11-28 2017-08-22 Mahmoud A. ALHASHIM Waterproof virtual reality goggle and sensor system
WO2016176116A1 (en) * 2015-04-30 2016-11-03 Board Of Regents, The University Of Texas System Utilizing a mobile device as a motion-based controller
US20170046670A1 (en) * 2015-06-02 2017-02-16 Elwha Llc Machine/Article/Composition/Process State(s) for Tracking Philanthropic And/or Other Efforts
EP3329484A4 (en) * 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
CN105704468B (zh) * 2015-08-31 2017-07-18 深圳超多维光电子有限公司 用于虚拟和现实场景的立体显示方法、装置及电子设备
US20170087455A1 (en) * 2015-09-28 2017-03-30 Sony Computer Entertainment Inc. Filtering controller input mode
CN105528082B (zh) * 2016-01-08 2018-11-06 北京暴风魔镜科技有限公司 三维空间及手势识别追踪交互方法、装置和系统
US20170257671A1 (en) * 2016-03-02 2017-09-07 Calay Venture S.à r.l. Tracking-based branching of media content
US11458378B2 (en) * 2016-05-10 2022-10-04 Marcus-Tor Strickland Baseball simulation and gamification system
WO2017197394A1 (en) * 2016-05-13 2017-11-16 Google Llc Editing animations using a virtual reality controller
CN106845435A (zh) * 2017-02-10 2017-06-13 深圳前海大造科技有限公司 一种基于实物检测追踪算法的扩增实境技术实现方法
US20180314322A1 (en) * 2017-04-28 2018-11-01 Motive Force Technology Limited System and method for immersive cave application
WO2018227504A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of customizing a user interface panel based on user's physical sizes
US11054895B2 (en) * 2017-07-27 2021-07-06 Htc Corporation Method of display user movement in virtual reality system and related device
JP6419916B1 (ja) * 2017-09-04 2018-11-07 株式会社コロプラ ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置
US10996742B2 (en) * 2017-10-17 2021-05-04 Logitech Europe S.A. Input device for AR/VR applications
US11043031B2 (en) * 2017-10-20 2021-06-22 Google Llc Content display property management
US10866652B2 (en) * 2017-11-13 2020-12-15 Samsung Electronics Co., Ltd. System and method for distributed device tracking
US10509463B2 (en) * 2017-11-17 2019-12-17 Microsoft Technology Licensing, Llc Mixed reality offload using free space optics
US10534454B2 (en) * 2018-02-02 2020-01-14 Sony Interactive Entertainment Inc. Head-mounted display to controller clock synchronization over EM field

Also Published As

Publication number Publication date
TWI694355B (zh) 2020-05-21
CN110119199B (zh) 2022-05-10
CN110119199A (zh) 2019-08-13
US10719124B2 (en) 2020-07-21
US20190243444A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
JP6911107B2 (ja) 表面モデル化システムおよび方法
US10725297B2 (en) Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US9613463B2 (en) Augmented reality extrapolation techniques
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US10403045B2 (en) Photorealistic augmented reality system
US11954805B2 (en) Occlusion of virtual objects in augmented reality by physical objects
US20160148429A1 (en) Depth and Chroma Information Based Coalescence of Real World and Virtual World Images
TW202019167A (zh) 產生和修改擴增實境或虛擬實境場景中的物件的表示方式
Cosco et al. Augmented touch without visual obtrusion
Khattak et al. A real-time reconstructed 3D environment augmented with virtual objects rendered with correct occlusion
CN109696953A (zh) 虚拟现实文字显示的方法、装置和虚拟现实设备
JP2022550644A (ja) パススルー視覚化
TWI694355B (zh) 即時渲染影像的追蹤系統、追蹤方法以及非暫態電腦可讀取媒體
Adcock et al. Visualization of off-surface 3D viewpoint locations in spatial augmented reality
Raajan et al. Augmented reality based virtual reality
CN106973283A (zh) 一种图像显示方法及装置
EP4279157A1 (en) Space and content matching for augmented and mixed reality
CN108986228B (zh) 用于虚拟现实中界面显示的方法及装置
CN109949396A (zh) 一种渲染方法、装置、设备和介质
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US20240153201A1 (en) Image Generation System with Controllable Scene Lighting
US10964056B1 (en) Dense-based object tracking using multiple reference images
Faaborg et al. METHODS AND APPARATUS TO SCALE ANNOTATIONS FOR DESIRABLE VIEWING IN AUGMENTED REALITY ENVIRONMENTS
US20180139438A1 (en) Stereoscopic image display program, stereoscopic image display method, and information processing apparatus
Lee et al. A transformation analysis of 3D virtual object for projection mapping