TW202230156A - 具有可變資料之檔案格式 - Google Patents
具有可變資料之檔案格式 Download PDFInfo
- Publication number
- TW202230156A TW202230156A TW110146300A TW110146300A TW202230156A TW 202230156 A TW202230156 A TW 202230156A TW 110146300 A TW110146300 A TW 110146300A TW 110146300 A TW110146300 A TW 110146300A TW 202230156 A TW202230156 A TW 202230156A
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- variable
- virtual objects
- constant
- elements
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000000704 physical effect Effects 0.000 claims abstract description 41
- 230000006870 function Effects 0.000 claims description 71
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010845 search algorithm Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Processing Or Creating Images (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Image Generation (AREA)
Abstract
一種用於在電腦儲存系統上儲存代表虛擬物件之資料的方法。該方法包含儲存對應於該等虛擬物件之物理性質的常數資料,該常數資料將在該資料經讀取時維持恆定。該常數資料包含代表該等虛擬物件之一或多者的物理性質的一或多個常數元素。該方法亦包含儲存對應於該等虛擬物件之物理性質的可變資料,該可變資料在儲存該資料時係不確定的。該可變資料包含代表該等虛擬物件之一或多者之不確定的物理性質的一或多個可變元素,且其中各可變元素包含一值範圍及該值範圍的一機率函數。
Description
本發明係關於在電腦儲存系統上儲存代表虛擬物件之資料的領域。本發明亦關於用於修改及顯示此類資料之方法。
檔案格式為將資訊編碼以儲存於一電腦檔案中的一種標準方式。該檔案格式指定位元如何用以在數位儲存媒體中編碼資訊。
現今存在許多檔案格式。實例3D檔案格式為:OBJ、標準三角語言(STL)、Filmbox (FBX)、合作設計活動(Collaborative Design Activity, COLLADA)及圖形語言傳輸格式(glTF)。此等檔案格式通常係用於從一個電腦程式輸出3D場景描述,使得其可由另一電腦程式讀取及呈現。一些已知的編輯工具可讀取及寫入許多不同的3D圖形格式。圖形檔案格式通常支援3D幾何形狀、物理效應(光源)、陰影效應、變形(morphing)及動畫的表徵。
3D電腦視覺的領域嘗試從一或多個攝影機影像推斷物件幾何、物理性質及語意資訊。實例為自經由視差估計的立體攝影機影像以及經由具有範例影像之深度類神經網路的人臉偵測的深度估計。
將檔案格式由接收電腦程式以盡可能地有效率的方式解譯及呈現係所欲的。
WO 2018/109499 A1揭示一種藉由使用粒子濾波來偵測位於車輛周圍之環境中之物件的方法。
US 9406131 B2揭示一種用於藉由獲取兩個同步視訊串流、追蹤兩個視訊串流中之物件的移動、判定該等視訊串流中之物件的身分及位置來產生一動態改變之3D場景的一3D表徵的方法,其中該追蹤物件之移動的步驟使用時間上較早之瞬間的位置資訊。
本發明由申請專利範圍定義。
根據本發明之一態樣的實例,提供一種用於在一電腦儲存系統上儲存代表虛擬物件之資料的方法,該方法包含:
儲存對應於該等虛擬物件之物理性質的常數資料,該常數資料將在該資料經讀取時保持恆定,其中該常數資料包含代表該等虛擬物件之一或多者的物理性質的一或多個常數元素;及
儲存對應於該等虛擬物件之物理性質的可變資料,該可變資料在儲存該資料時係不確定的,其中該可變資料包含一或多個可變元素,該一或多個可變元素代表該等虛擬物件之一或多者之不確定的物理性質,且其中各可變元素包含一值範圍及該值範圍之一機率函數。
電腦儲存系統中之虛擬物件的表徵通常仰賴於該等物件之設計者給定該物件物理性質,諸如幾何形狀、顏色、紋理等。此等物理性質視資料儲存之檔案格式而不同地表示。例如,在給定格式中,一物件之顏色可由用於綠色、紅色及藍色之各顏色的在0與1之間的一數所界定。因此,在此實例中,該物件之顏色由三個數字表示。
若該物件之顏色在儲存資料時未知,則該物件將被儲存而無顏色。然而,在許多情況下,設計者可具有對於可能顏色的傾向。
在簡化的實例中,設計者可希望設計具有棕色樹體及葉片之虛擬樹,其表示一年中目前的時間。樹的葉片在春季及夏季係綠色且在秋季係棕色。則葉片的顏色可被儲存為[綠色,棕色],且基於一年中的時間,設計者可改變葉片的顏色。
在上述實例中,樹體之顏色、樹體之形狀及葉片之形狀係在常數資料中之常數元素,因為設計者不希望在一年中的不同時間改變該等性質。然而,葉片之顏色係可變資料中之可變元素,因為顏色在不具任何其他資訊(例如,一年中的時間、感測器資料等)下可為不確定的。顏色之值範圍是綠色或棕色,而條件機率函數可藉由將資料耦合至日曆來設置。另外,葉片的數目亦可為可變元素(例如,在冬季較少葉片),且因此葉片之顏色及葉片之數目將為可變資料中之可變元素。機率函數亦可基於多於一個條件機率密度函數(例如,外部溫度及日曆)。
值範圍及機率函數提供資料讀取者該物件之先驗知識且允許更快之決策。在上述實例中,人類為資料之讀取者且可基於其自身觀察而決定葉片之真實顏色。然而,在大多數情況下,資料之讀取者將為電腦程式。給予電腦程式之先驗知識可大幅提升決定葉片係何種顏色的效率。例如,電腦程式可使用來自感測器之資訊來決定顏色為綠色或棕色,而非量測葉片之真實顏色。
對於葉片顏色有所謂的「無資訊先驗」,但在外部觀察到低空氣溫度(不可能在夏季),後驗估計器將判定葉片實際上係棕色(例如,使用貝氏定理以及將溫度關連於葉片顏色的可能性函數(likelihood function))。
因此,此儲存資料之方法允許資料之未來讀取者快速且有效率地調適可變資料至真實值。
可由使用者設定值範圍(例如,運動賽事之轉播的操作員設定選手之可能制服顏色)。替代地,值範圍可係在場景中之最大可能範圍或甚至係在無限域中之一隨機變數(例如[-inf, inf])。值範圍可因此係一經界定的限制範圍,或其可係一無限範圍。值範圍(以及機率函數)的明確儲存是特別受關注,以便使其在未來簡單且可直觀地改變。
代表物件之資料可對應於3D場景描述。
可變元素之機率函數可為以下中之一或多者:
一高斯分布;
一帕松分布(Poisson distribution);
二或更多個Delta函數;
一離散機率分布;
一連續機率分布;或
一條件機率分布。
在特定可變元素上使用的機率函數可取決於由可變元素及/或物理性質之本質所表示的物理性質。對於以下實例,可變元素將表示物件之位置。
想像一有限平面,其具有位於平面上某處的一虛擬物件。平面上之物件的位置可為隨機的。在此情況下,位置之值範圍將為平面之全部,且機率函數將給定落在平面上之任何地方相等的機率。替代地,物件之位置可更可能在平面上之特定點處。在此情況下,具有在特定點處之平均值的高斯分布可用作機率函數(標準偏差則將取決於該物件「傾向」於距該平均值多近,但對於此實例而言不重要)。
在另一實例中,物件僅可位於平面上之兩個特定點處。在此情況下,機率函數可為此兩個特定點之兩個Delta函數的總和。
另一實例為在足球比賽期間的兩個守門員的位置。這些位置可能靠近球門,且較不可能在球場的中心。此類資訊能夠潛在地有助於電腦視覺任務,因為其允許將上下文插入至檔案格式。
值範圍可基於各特定可變元素的一使用者定義範圍且其中該機率函數亦可基於各特定變數的一使用者定義函數。
可由使用者選擇值範圍。在一些情況下,若特定物理性質相當地未知(例如在特定街道上之人數),則值範圍可為寬的。然而,在其他情況下,值範圍可係小的(例如,關於葉片之顏色的先前實例)。值範圍亦可為連續範圍或離散範圍。
類似地,可基於物理性質之本質由使用者為一物理性質選擇機率函數。
本發明亦提供一種用於基於根據在電腦儲存系統上儲存代表虛擬物件之資料的方法所儲存之資料來控制感測器系統的方法,該方法包含:
控制該感測器系統以搜尋對應於該等虛擬物件之真實物件,該等虛擬物件基於在該可變資料中之該等可變元素的該值範圍及/或機率函數而表示於該可變資料中;及
自該感測器系統獲得代表該等真實物件之該等物理性質的感測器資料,該等真實物件對應於該可變資料中之該等可變元素。
該感測器系統可經組態以搜尋對應於該等虛擬物件之真實物件。例如,在運動比賽中,該感測器系統可搜尋場上的選手。運動場可為常數資料,且因此,該感測器系統不必量測該場地之物理性質。選手之數目及顏色(亦即,隊伍)可為可變資料之可變元素,且因此該感測器系統可經組態以查找這些可變元素。可變元素之值範圍及機率函數給予感測器系統在哪裡查找選手及/或查找選手之顏色之「起始點」。
感測器系統接著僅需要獲得對應於可變元素之物理性質的感測器資料,且可忽略常數資料上之任何資料。另外,感測器系統具有一些關於要「查找」何對象的先驗知識,且因此獲得感測器資料係更快且更有效的。
本發明亦提供一種用於顯示根據在電腦儲存系統上儲存代表虛擬物件之資料的方法所儲存之資料的方法,該方法包含:
控制一感測器系統以獲得感測器資料;
基於各可變元素之對應的該感測器資料來將一或多個可變元素轉換成暫時元素,其中該等暫時元素在一特定時間點處係已知的物理性質;及
基於該資料之該等常數元素及該等暫時元素來顯示該等虛擬物件。
一旦獲得該等可變元素之感測器資料,則可將其改變成暫時元素。例如,若虛擬物件之顏色為紅色或藍色[紅色,藍色],且感測器系統偵測到真實物件(對應於虛擬物件)為紅色,則代表顏色之可變元素暫時改變成具有值[紅]之暫時元素。接著,該暫時元素顯示在該資料之常數元素旁邊。
感測器系統可經組態以週期性地更新感測器資料,且每次更新感測器資料時重複用於顯示資料之方法的步驟。
例如,感測器系統可為獲得真實物件之位置的視訊的視訊攝影機。視訊中之每一訊框則可用以更新虛擬物件之位置。替代地,可每一秒(或任一其他任意時間週期)獲得真實物件之位置一次,且據此更新虛擬物件。
一第一可變元素之該值範圍及/或該機率分布可係至少部分地基於以下中之一或多者:
該第一可變元素的先前值;
其他可變元素之值;或
其他可變元素之先前值。
在一些情況下,可變元素之任何特定值可取決於先前值。例如,特定時間之物件的位置可能取決於該物件一秒前的位置。
替代地,物件之位置可取決於相同物件的其他物理性質(例如大小、定向等)或其他物件之物理性質。例如,若一物件群組通常被發現在一起,則可能發現該物件群組中之物件中之任一者在另一物件附近。
感測器資料可包含下列之一或多者:
視覺感測器資料;
紅外線感測器資料;
微波感測器資料;
超音波感測器資料;
音訊感測器資料;
位置感測器資料;
加速計感測器資料;或
全球定位系統資料。
亦可使用磁感測器資料。
本發明亦提供一種用於修改代表根據上述方法(用於在電腦儲存系統上儲存代表虛擬物件的資料)所儲存之虛擬物件的資料的方法,該方法包含:
自一感測器系統獲得一歷史感測器資料日誌,該歷史感測器資料日誌包含對應於代表虛擬物件之該資料的可變元素之真實物件的物理性質及隨時間的各別變化;及
基於該值範圍及/或機率函數之歷史資料及對應的該等歷史感測器資料日誌來修改該等可變元素之該值範圍及/或機率函數。
來自該感測器系統的該歷史資料(歷史感測器資料日誌)可提供對於該值範圍及/或該機率函數應為何的有價值的資訊。例如,可變元素的概率函數可指示任何特定值的可能性係相等的。然而,感測器系統可觀察到可變元素具有其「偏好」的一些值。因此,機率函數可經調適以具有高斯分布,其中平均值及標準差係衍生自歷史感測器資料日誌。
修改該值範圍及/或機率函數可係基於輸入該歷史資料及對應的該等歷史感測器資料日誌至經訓練之一機器學習演算法,以識別該歷史資料與該等歷史感測器資料日誌之間的模式(pattern)並輸出對應之該等可變元素的一值範圍及/或一機率函數。
該方法可進一步包含基於計算該歷史感測器資料日誌之最大後驗估計來修改該值範圍及/或該機率函數。
本發明亦提供一種電腦程式產品,其包含電腦程式碼構件,當該等電腦程式碼構件在具有一處理系統的一計算裝置上執行時,導致該處理系統執行上文定義之該方法的所有該等步驟(用於在電腦儲存系統上儲存代表虛擬物件的資料)。
本發明亦提供一種處理器,其經組態以執行上文所界定之方法的所有步驟(用於在電腦儲存系統上儲存代表虛擬物件的資料)。
本發明亦提供一種用於顯示虛擬物件之系統,該系統包含:
該處理器;
一電腦儲存系統,其經組態以儲存代表虛擬物件之資料;
一感測器系統,用於獲得代表真實物件之感測器資料;及
一顯示器,用於顯示該等虛擬物件。
本發明的此等及其他態樣將參考下文描述的(多個)實施例闡明且將係顯而易見的。
將參考圖式描述本發明。
應該理解到,詳細說明與特定實例雖然指示了設備、系統、與方法的例示性實施例,但僅意圖用於說明的目的,而不意圖限制本發明的範圍。從以下描述、所附申請專利範圍、與附圖,將更佳地理解本發明的設備、系統、與方法的這些與其他特徵、態樣、與優點。應該理解到,圖式僅是示意性的,且未按比例繪製。也應該理解到,整個圖式使用相同的元件符號來表示相同或相似的部分。
本發明提供一種用於在電腦儲存系統上儲存代表虛擬物件之資料的方法。該方法包含儲存對應於該等虛擬物件之物理性質的常數資料,該常數資料將在該資料經讀取時維持恆定。該常數資料包含代表該等虛擬物件之一或多者的物理性質的一或多個常數元素。該方法亦包含儲存對應於該等虛擬物件之物理性質的可變資料,該可變資料在儲存該資料時係不確定的。該可變資料包含代表該等虛擬物件之一或多者之不確定的物理性質的一或多個可變元素,且其中各可變元素包含一值範圍及該值範圍的一機率函數。
圖1展示實例3D場景。該場景對應於一虛擬足球場,其含有場地102、背景104、及五位選手106。當前3D檔案格式無法表現關於將由給定之(多個)攝影機設置所成像的3D場景的不確定性(例如,選手106在場地102周圍的移動)。當前3D檔案格式僅指定一靜態場景的一個可能的呈現,可選地由移動(動畫)部分組成。
本發明人認識到,可表現關於一3D場景之不確定性的3D檔案格式將係有用的,因為其可將先驗知識與測得的感測器資料耦合以使3D場景調適於由攝影機或其他感測器所進行之即時測量。因此,本發明係關於用於儲存、修改及顯示此類檔案格式之方法。
圖2展示包括不確定資訊之檔案格式的圖示。該檔案格式包括含有常數元素206之確定資料202(亦即,常數資料),其對儲存資料之使用者係確定的。例如,圖1所繪示的場地102的大小可係常數元素206,因為場地102的面積不太可能被測量為不同於當前的面積。
檔案格式亦含有可變資料204,其含有該3D場景之不確定性。可變資料204中之各可變元素208含有值範圍210,以及對應於範圍210中的值之可能性的機率函數212。
含有常數資料202及用於選手106之可變資料204的檔案格式可以用例如下列之虛擬碼(pseudo-code)描述:
<player>
<location>
<x>
<range> -30, 30 </range>
<prob> random </prob>
</x>
<y>
<range> 0, 100 </range>
<prob> random </prob>
</y>
<z> 0.4 </z>
</location>
</player>
上述檔案使用自訂的XML格式以描述虛擬選手106在圖1之足球場景上的位置。虛擬選手106之z位置保持恆定在0.4,因為選手106之z位置似乎不可能將在場地102上改變(忽略跳躍)。然而,虛擬選手106的x及y位置將隨著其在場地102周圍移動而變化。因此,針對各座標軸線定義一可能移動的範圍210並給定一機率函數212。在此實例中,x及y軸為具有對應範圍210及機率函數212之可變元素208,且z位置係常數元素206。
在此情況下,機率函數212係針對x及y軸給定為「隨機」。例如,此可為可變元素208的起始點。在場地102上之一些選手可能具有在整個場地102中較為隨機的位置(例如,中場傾向於在整個場地102各處移動)而其他選手則有較高機率在某些地點(例如,守門員更可能在球門附近)。則可在整場比賽中針對不同選手(或來自歷史資料)調適機率函數212。
另外,亦可指定場地102上之虛擬選手106的數目:
<count>
<range> 0, 22 </range>
<prob> function_1 </prob>
</count>
藉由使用機率函數212「funciton_1」將虛擬選手106的可變數目指定在範圍210 [0,22]內,讀取該資料的電腦程式將被告知此資訊係不確定的。任意機率函數212「funciton_1」可基於真實選手數目而不斷地調整。例如,在比賽開始時,可能有高機率在場地102上具有22名選手。然而,基於任一真實選手收到紅卡,funtiton_1可變為具有更高的機率為21名選手。因此,機率函數212「funciton_1」可耦接至感測器(例如,攝影機),其可感測紅卡之使用並相應地調適。
其他確定(常數)元素206及可變(例如,隨機的(stochastic))元素208亦可針對足球場而界定。例如,場地102之位置可為確定的,但平面可繞x軸在-95與-85度之間及繞z軸在-5與5度之間具有隨機的旋轉。
應注意,虛擬碼使用自訂的XML格式來描述該場景。然而,可將該概念添加至大部分現有3D檔案格式的規格。一能夠編碼/解碼3D檔案格式(諸如,例如Blender或Unity)的應用程式可選擇僅忽略3D圖形檔案之可變資料204,且僅如同通常自常數資料202進行地呈現/動畫化(animate)該場景。
所提出之檔案格式係相關於新應用程式。考慮例如在(真實)實況運動比賽中各選手穿戴位置(例如,GPS)感測器的情形。在實況運動比賽期間,比賽之觀眾可接收運動比賽之圖形呈現,其具有如3D檔案格式所指定之圖形外觀(幾何形狀、紋理等),但虛擬選手106之位置經調適成在比賽場地102上對應的真實選手的經測得位置。因此,比賽的觀眾是在觀看虛擬選手106之人工圖形呈現的混合但具有其真實實況位置。
如同人類,電腦亦受益於該場景之先驗知識,即使此知識非常不確定。作為一實例,攝影機循著水平場地102指向選手之知識目前被用來估計多個攝影機影像中的像素深度。若無此先驗假定,深度估計結果可含有許多誤差。
在體育場周圍的多個機器視覺攝影機之安裝可將實況紋理添加至在選手場地102上之虛擬選手106。此為電腦視覺問題,其通常需要基於機器學習之人員偵測及姿勢估計。然而,3D圖形檔案中之先驗可變資料204可預期真實選手之衣著(襪子、上衣等)的預期顏色。這可幫助電腦視覺應用程式使用攝影機影像資料在虛擬選手106上正確地找出真實選手及其紋理。
感測器資料可調整可變元素208,而確定元素206係以最初被儲存地呈現。因此,確定地設定足球場、體育場及光源之圖形外觀但保留虛擬選手106彈性以利用單一3D檔案格式描述來調適至感測器資料係可能的。
基於具有不確定資料之檔案格式,電腦視覺搜尋演算法將因此知道其不需要搜尋平面位置,而僅搜尋其定向、指定之旋轉及以指定之區間(interval)進行搜尋。另外,基於機率函數212,演算法可以具有最高機率的區間開始進行搜尋。接著可基於歷史資料及/或基於目前資料來更新機率函數212。
圖3展示虛擬選手106在場地102上之機率函數212的視覺化。在此情況下,虛擬選手106對應於守門員。圖3(a)展示守門員之相等機率之第一區域302a。圖3(b)展示具有梯度機率之第二區域302b。區域302a及區域302b之尺寸對應於守門員之位置的範圍210而灰色陰影對應於機率,其中在任何特定點處之陰影灰色愈深對應於在該特定點發現守門員的機率愈高。
在比賽開始時,守門員之位置可為未知的,因此可將機率定義為隨機(在範圍210內),如圖3(a)所示。然而,比賽進行時,守門員可最常位在場地102後方接近球門處,距離該球門越遠則具有逐漸降低的機率。此可經量化為對應於區域302b的機率函數212。因此,機率函數212可在整個比賽中逐步演變。
替代地,機率函數212可使用相同選手(或相同類型之選手)的歷史資料來在比賽之前預期機率函數212。機率函數212亦可以虛擬選手106之先前位置為條件,因為可能真實的選手將在其在先前(多個)訊框中的位置附近被發現。
圖4展示真實場景及對應的虛擬場景403之兩個不同的攝影機視圖402。目前電腦視覺搜尋演算法可使用3D圖形檔案中之可變元素208以基於至少兩個攝影機視圖402來配適水平平面(亦即,場地)102及垂直背景104。
針對固定數目次反覆,該搜尋演算法估計幾何物件的位置及旋轉的小更新,且此外還有在指定區間中的虛擬隨機值。該搜尋可開始於區間中間。在具有非均勻(亦即,非隨機)機率函數212之一些情況下,該搜尋可以具有最高機率之值開始。此方法適用於幾何參數(位置、定向)及用於顏色/紋理參數兩者。
在所提出之參數的各者改變之後,計算一誤差度量。該場景首先呈現至各視點。結果係基於圖形模型之各視點的預測影像及深度圖。若給定在每一視圖中之深度圖,一誤差度量係經由視圖之間不同顏色之絕對差所計算,從而使用對應於該等深度圖之視差向量。圖4中之箭頭404係實例的對應像素,如由在攝影機視圖402之間的模型狀態所指示的。誤差最小化可在例如GPU上即時運行(例如,針對至少20 FPS輸出視訊)。
藉由加總在兩個視圖中對應像素之顏色差異(自箭頭404)計算一給定參數設定(平面之位置及定向)的總誤差。平面位置及定向判定在各攝影機視圖中的深度模型,其接著判定兩個視圖之間的像差向量場。該像差向量場係用於計算視圖之間的顏色差異,且在對所有像素之絕對顏色差異加總之後計算單一之誤差結果。此單一(加總)之總誤差係藉由反覆地自初始開始設定改變平面參數並從而總是接受減少誤差的提議變化而最小化。例如,可使用Powell之方向設定方法。
可自攝影機視圖402估計在虛擬場景403中場地102之繞x軸408及繞y軸406之旋轉。定義於場地102之檔案格式中的範圍210及機率函數212提供電腦視覺演算法關於應「查找」哪些旋轉的先驗知識。類似地,亦可改變背景104在場地102上的位置(由箭頭410展示)。例如,背景104至場地102的角度可係固定的(例如,90度),且因此將是常數元素206,而背景104在場地102上的位置將係可變元素208。
可使用各種機率函數212,且指定特定的機率密度函數可係有用的。例如:
<x>
<Gaussian>100.0, 10.0</Gaussian>
</x>
此虛擬碼表示幾何基元之x座標遵循具有100.0m之平均值及10.0m之標準偏差的高斯分布。對於虛擬物件(例如,虛擬選手106)之數目,可指定帕松分布。為了藉由使用針對所有資料之可變資料204格式來製作格式規格,可使用Delta函數來定義實質上確定的常數元素206。
可變元素208的使用亦延伸至紋理、光圖、陰影圖及一般係3D圖形檔案格式之部分的其他元素。可接著將機率函數212之參數指定為圖(map)而非純量數字。組合亦為可能的,亦即,高斯分布的平均值可由2D圖表示,而標準差可由純量數字表示。
3D檔案格式亦可指定條件機率密度函數。此係相關於動畫,其中例如,時間上在給定時刻虛擬選手106之腳的位置可有條件地取決於時間上較早之腳位置。機率密度函數亦可經由直方圖指定為離散分布。
機器學習演算法可用於基於感測器資料來適配分布之參數,並輸出較佳適合的範圍210及/或機率函數212用於下一實況賽事。貝氏定理亦可用於計算給定感測器資料之場景模型的最大後驗(maximum a posteriori, MAP)估計。接著此估計可寫入至檔案。
蒙地卡羅模擬法可用於自指定分布進行取樣。例如,馬可夫鏈蒙地卡羅法(Markov Chain Monte Carlo, MCMC)可用作電腦視覺演算法的部分以搜尋例如真實選手之位置的最大後驗估計。
本發明不限於3D場景,且亦可在2D場景(或其他維度)上使用。例如,先前描述之足球場可僅係2D場景,其中虛擬選手106為2D場地上的點。
圖5展示一種用於在電腦儲存系統上儲存代表虛擬物件之資料的方法。該方法包含,在步驟502中,在非揮發性電腦儲存器中儲存常數資料。該常數資料對應於虛擬物件之物理性質,該常數資料在資料經讀取時維持恆定。該常數資料包含代表該等虛擬物件之一或多者的物理性質的一或多個常數元素。
圖5所示之方法進一步包含,在步驟504中,在非揮發性電腦儲存器中儲存可變資料。可變資料對應於該等虛擬物件之物理性質,該可變資料在儲存該資料時係不確定的。該可變資料包含代表該等虛擬物件之一或多者的不確定之物理性質的一或多個可變元素。各可變元素包含一值範圍及該值範圍之一機率函數。
用於儲存常數資料的步驟502已被說明為在步驟504(亦即,儲存可變資料)之前執行。然而,所屬技術領域中具有通常知識者應瞭解,步驟504可在步驟502之前執行,或兩個步驟可同時執行。
代表虛擬物件之資料可稱為電腦圖形資料或用於電腦產生之物件的圖形資料。
圖6展示一種用於儲存代表虛擬物件之資料的系統。常數資料202及可變資料204藉由處理器602儲存在非揮發性電腦儲存器604中。處理器602經組態以將常數資料202及可變資料兩者儲存在非揮發性電腦儲存器604中。
非揮發性電腦儲存器604可稱為非揮發性電腦記憶體或非揮發性儲存器。其係一種類型的電腦儲存解決方案,其可在自實體電腦儲存器移除電源之後留存經儲存的資料及資訊。相對地,揮發性記憶體(例如隨機存取記憶體(RAM))需要恆定電力以留存資料或資訊,且一旦自揮發性記憶體移除電源,則資料可永久地遺失。
揮發性記憶體通常比非揮發性記憶體更快(讀取/寫入速度),且因此,操作所需的資料或資訊通常儲存在揮發性記憶體中,因為可更快地執行操作。若在操作之後不再需要該資料或資訊,則自該非揮發性記憶體移除該資料。
相對地,已實現於非揮發性記憶體中儲存一虛擬物件之可變資料及常數資料,使資料之未來使用者能夠建構該虛擬物件之部分圖片及具有可變資料可能之值的先驗資訊。此可使使用者能夠控制感測器配置以找出可變資料之真實值。一旦找出真實值,其等可在揮發性記憶體中儲存為暫時元素。
例如,資料可代表足球場。場地之尺寸、場地之顏色、球門柱之位置及尺寸、及球門之顏色可為常數資料,因為無論哪些隊伍在進行比賽,可預期這些資料將保持恆定。選手數目及選手制服之顏色可為可變資料,因為這可隨著每週進行比賽的不同隊伍而改變。在比賽進行中,可量測或獲得選手之真實顏色及數目,並且被儲存為該比賽的暫時元素。類似地,在比賽進行中選手數目可連續地受監測及調適。由於代表足球場之資料儲存在非揮發性資料中,其可進一步用於不同的比賽(例如在不同時間的)而在先前比賽之後不需要任何調適。對可變資料之值範圍或機率函數的調適可基於先前比賽而調適。
常數資料及可變資料可在檔案格式中清楚地區別(例如,資料類型之指示或標記),使得讀取該資料的應用程式或處理器可快速區分兩種類型之資料。
該方法可包含根據一組指令來編碼代表一虛擬物件的資料,其中該組指令包含編碼常數資料以用於在非揮發性電腦儲存器中儲存及編碼可變資料以用於在非揮發性電腦儲存器中儲存。
在實踐所主張的發明時,所屬技術領域中具有通常知識者可藉由研究圖式、本揭露、及所附申請專利範圍而理解與實現所揭示之實施例的變化。在申請專利範圍中,詞語「包含(comprising)」不排除其他元素或步驟,且不定冠詞「一(a)」或「一(an)」不排除複數個。
單一處理器或其他單元可滿足申請專利範圍中所述之數個項目的功能。
在相互不同的附屬項中所敘述的某些測量的這一事實並未指示此等測量之組合無法用以得利。
電腦程式可儲存/分布在合適的媒體上,諸如光學儲存媒體或固態媒體,其連同其他硬體來供應或作為其他硬體的部分,但亦可以其他形式來分布,諸如經由網際網路或其他有線或無線電信系統。
若用語「經調適以(adapted to)」使用在申請專利範圍或說明書中,應注意用語「經調適以(adapted to)」意圖等效於用語「經組態以(configured to)」。
申請專利範圍中的任何元件符號不應解釋為限制範圍。
102:場地
104:背景
106:選手
202:常數資料
204:可變資料
206:常數元素
208:可變元素
210:值範圍
212:機率函數
302a,302b:區域
402:攝影機視圖
403:虛擬場景
404,410:箭頭
406:y軸
408:x軸
為更佳地瞭解本發明,並更清楚展示可如何使其生效,現在將僅通過實例方式來參考隨附圖式,其中:
〔圖1〕展示實例3D場景;
〔圖2〕展示包括不確定性資訊之檔案格式的圖示;
〔圖3〕展示用於虛擬選手之場地的機率函數的視覺化;及
〔圖4〕展示真實場景及對應之虛擬場景的兩個不同的攝影機視圖。
202:常數資料
204:可變資料
206:常數元素
208:可變元素
210:值範圍
212:機率函數
Claims (14)
- 一種用於在一電腦儲存系統上儲存代表虛擬物件(102, 104, 106)之資料的方法,該方法包含: 儲存常數資料(202)於非揮發性電腦儲存器(604)中,該常數資料對應於該等虛擬物件(102, 104, 106)之物理性質,該常數資料在該資料經讀取時保持恆定,其中該常數資料(202)包含代表該等虛擬物件(102, 104, 106)之一或多者的物理性質的一或多個常數元素(206);及 儲存可變資料(204)於非揮發性電腦儲存器(604)中,該可變資料對應於該等虛擬物件(102, 104, 106)之物理性質,該可變資料在儲存該資料時係不確定的,其中該可變資料(204)包含代表該等虛擬物件(102, 104, 106)之一或多者的不確定物理性質的一或多個可變元素(208),且其中各可變元素(208)包含一值範圍(210)及該值範圍(210)的一機率函數(212)。
- 如請求項1之方法,其中代表虛擬物件(102, 104, 106)之該資料對應於一3D場景描述。
- 如請求項1或2中任一項之方法,其中一可變元素(208)之該機率函數(212)係以下中之一或多者: 一高斯分布; 一帕松分布(Poisson distribution); 一Delta函數; 一離散機率分布; 一連續機率分布;或 一條件機率分布。
- 如請求項1至3中任一項之方法,其中該值範圍(210)係基於各特定可變元素(208)的一使用者定義範圍且其中該機率函數(212)亦係基於各特定可變元素(208)的一使用者定義函數。
- 一種用於基於代表虛擬物件(102, 104, 106)之資料來控制一感測器系統的方法,其中該資料包含常數資料(202)及可變資料(204),該方法包含: 控制該感測器系統以在一場景中搜尋對應於該等虛擬物件(102, 104, 106)之真實物件,該等虛擬物件(102, 104, 106)係基於在該可變資料(204)中之可變元素(208)的該值範圍(210)及/或機率函數(212)而表示於該可變資料(204)中;及 自該感測器系統獲得代表該等真實物件之該等物理性質的感測器資料,該等真實物件對應於該可變資料(204)中之該等可變元素(208)。
- 如請求項5之方法,其進一步包含: 基於一或多個可變元素(208)之對應感測器資料來將該一或多個可變元素(208)轉變成暫時元素,其中該等暫時元素代表該等虛擬物件(102, 104, 106)之一或多者的物理性質;及 基於該資料之該等常數元素(206)及該等暫時元素來顯示該等虛擬物件(102, 104, 106)。
- 如請求項6之方法,其中該感測器系統經組態以週期性地更新感測器資料,且每次更新感測器資料時重複請求項6之步驟。
- 如請求項7之方法,其中一第一可變元素之該值範圍(210)及/或該機率分布(212)係至少部分地基於以下中之一或多者: 該第一可變元素的先前值; 其他可變元素之值;或 其他可變元素之先前值。
- 如請求項5至8中任一項之方法,其中該感測器資料包含以下中之一或多者: 視覺感測器資料; 紅外線感測器資料; 微波感測器資料; 超音波感測器資料; 音訊感測器資料; 位置感測器資料; 加速計感測器資料;或 全球定位系統資料。
- 一種用於修改根據如請求項1至4中任一項之方法所儲存之代表虛擬物件(102, 104, 106)之資料的方法,該方法包含: 自一感測器系統獲得一歷史感測器資料日誌,該歷史感測器資料日誌包含對應於代表虛擬物件(102, 104, 106)之該資料的可變元素(208)之真實物件的物理性質及隨時間的各別變化;及 基於該值範圍(210)及/或機率函數(212)之歷史資料及對應的該等歷史感測器資料日誌來修改該等可變元素(208)之該值範圍(210)及/或機率函數(212)。
- 如請求項10之方法,其中修改該值範圍(210)及/或機率函數(212)係基於輸入該歷史資料及對應的該等歷史感測器資料日誌至經訓練之一機器學習演算法,以識別該歷史資料與該等歷史感測器資料日誌之間的模式(pattern)並輸出對應之該等可變元素的一值範圍(210)及/或一機率函數(212)。
- 如請求項10或11之方法,其進一步包含基於計算該歷史感測器資料日誌之最大後驗估計來修改該值範圍(210)及/或該機率函數(212)。
- 一種電腦程式產品,其包含電腦程式碼構件,當該等電腦程式碼構件在具有一處理系統的一計算裝置上執行時,導致該處理系統執行如請求項1至12中任一項之方法的所有該等步驟。
- 一種用於在一電腦儲存系統上儲存代表虛擬物件(102, 104, 106)之資料的系統,該系統包含一處理器(602),該處理器經組態以: 儲存常數資料(202)於非揮發性電腦儲存器(604)中,該常數資料對應於該等虛擬物件(102, 104, 106)之物理性質,該常數資料將在該資料經讀取時保持恆定,其中該常數資料(202)包含代表該等虛擬物件(102, 104, 106)之一或多者的物理性質之一或多個常數元素(206);及 儲存可變資料(204)於非揮發性電腦儲存器(604)中,該可變資料對應於虛擬物件(102, 104, 106)之物理性質,該可變資料在儲存該資料時係不確定的,其中該可變資料(204)包含一或多個可變元素(208),該一或多個可變元素代表該等虛擬物件(102, 104, 106)之一或多者之不確定的物理性質,且其中各可變元素(208)包含一值範圍(210)及該值範圍(210)的一機率函數(212)。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20213333.6A EP4012536A1 (en) | 2020-12-11 | 2020-12-11 | File format with variable data |
EP20213333.6 | 2020-12-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202230156A true TW202230156A (zh) | 2022-08-01 |
Family
ID=73834215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110146300A TW202230156A (zh) | 2020-12-11 | 2021-12-10 | 具有可變資料之檔案格式 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20230410466A1 (zh) |
EP (2) | EP4012536A1 (zh) |
JP (1) | JP2023553917A (zh) |
KR (1) | KR20230113637A (zh) |
CN (1) | CN116583832A (zh) |
CA (1) | CA3205547A1 (zh) |
TW (1) | TW202230156A (zh) |
WO (1) | WO2022122819A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2418312A (en) * | 2004-09-18 | 2006-03-22 | Hewlett Packard Development Co | Wide area tracking system |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
GB2465538B (en) * | 2008-08-01 | 2013-03-13 | Sony Corp | Method and apparatus for generating an event log |
US10713494B2 (en) * | 2014-02-28 | 2020-07-14 | Second Spectrum, Inc. | Data processing systems and methods for generating and interactive user interfaces and interactive game systems based on spatiotemporal analysis of video content |
GB201621404D0 (en) * | 2016-12-15 | 2017-02-01 | Trw Ltd | A method of tracking objects in a scene |
US10528820B2 (en) * | 2017-12-07 | 2020-01-07 | Canon Kabushiki Kaisha | Colour look-up table for background segmentation of sport video |
-
2020
- 2020-12-11 EP EP20213333.6A patent/EP4012536A1/en not_active Withdrawn
-
2021
- 2021-12-08 EP EP21834780.5A patent/EP4260165A1/en active Pending
- 2021-12-08 KR KR1020237023325A patent/KR20230113637A/ko unknown
- 2021-12-08 US US18/038,035 patent/US20230410466A1/en active Pending
- 2021-12-08 JP JP2023534956A patent/JP2023553917A/ja active Pending
- 2021-12-08 CN CN202180083062.1A patent/CN116583832A/zh active Pending
- 2021-12-08 CA CA3205547A patent/CA3205547A1/en active Pending
- 2021-12-08 WO PCT/EP2021/084792 patent/WO2022122819A1/en active Application Filing
- 2021-12-10 TW TW110146300A patent/TW202230156A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN116583832A (zh) | 2023-08-11 |
CA3205547A1 (en) | 2022-06-16 |
WO2022122819A1 (en) | 2022-06-16 |
US20230410466A1 (en) | 2023-12-21 |
JP2023553917A (ja) | 2023-12-26 |
KR20230113637A (ko) | 2023-07-31 |
EP4012536A1 (en) | 2022-06-15 |
EP4260165A1 (en) | 2023-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10636206B2 (en) | Method and system for generating an image file of a 3D garment model on a 3D body model | |
US10867453B2 (en) | Method and system for generating an image file of a 3D garment model on a 3D body model | |
US9117310B2 (en) | Virtual camera system | |
Pagés et al. | Affordable content creation for free-viewpoint video and VR/AR applications | |
Prisacariu et al. | Real-time 3d tracking and reconstruction on mobile phones | |
CN109906600B (zh) | 模拟景深 | |
US9754398B1 (en) | Animation curve reduction for mobile application user interface objects | |
Lawonn et al. | Stylized image triangulation | |
TW202230156A (zh) | 具有可變資料之檔案格式 | |
US11600041B2 (en) | Computing illumination of an elongated shape having a noncircular cross section | |
US11315299B1 (en) | Method for computation of local densities for virtual fibers | |
Han et al. | Automatic preview video generation for mesh sequences | |
US11501493B2 (en) | System for procedural generation of braid representations in a computer image generation system | |
US20240144597A1 (en) | Systems and methods for storing triangulations of polygonal mesh faces | |
US20220076451A1 (en) | Motion capture calibration using a three-dimensional assembly | |
US20220076452A1 (en) | Motion capture calibration using a wand | |
Yan et al. | A 3d reconstruction and enrichment system for broadcast soccer video | |
US10109062B1 (en) | Non-coherent point tracking and solving for ambiguous images and geometry | |
Katayama et al. | System for generating arbitrary viewpoint images from HDTV multicamera images | |
WO2023285874A1 (en) | Computing illumination of an elongated shape having a noncircular cross section | |
EP4176415A1 (en) | Method for computation of local densities for virtual fibers | |
Ge et al. | Camera calibrating method for smart phone based on web image | |
WO2022055371A1 (en) | Motion capture calibration using a wand | |
KR20210081030A (ko) | 실시간 영상의 3d 매핑 서비스장치 | |
Kessel | Surface Estimation From Multiple Images |