TWI815693B

TWI815693B - 資料處理系統、資料處理方法和電腦可讀儲存媒體

Info

Publication number: TWI815693B
Application number: TW111138453A
Authority: TW
Inventors: 姚敦瀚; 王柏勳
Original assignee: 宏達國際電子股份有限公司
Priority date: 2022-01-06
Filing date: 2022-10-11
Publication date: 2023-09-11
Also published as: US20230217101A1; TW202329679A; CN116437171A; EP4210340A1

Abstract

本發明的實施例提供一種資料處理系統、資料處理方法和電腦可讀儲存媒體。所述方法包括：從定位裝置接收定位資料，其中所述定位資料對應於相機裝置；從鏡頭編碼器接收所述相機裝置的鏡頭參數；將所述定位資料和所述鏡頭參數封裝在至少一個資料封包中；以及透過網路介面將所述至少一個資料封包發送到資料處理裝置。

Description

資料處理系統、資料處理方法和電腦可讀儲存媒體

本發明是有關於一種資料處理方法和電腦可讀儲存媒體。

當內容創作者利用相機拍攝用於虛擬製作（例如，虛擬實境內容的製作）的內容時，至關重要的是對相機和/或其他要被追蹤的物件準確地進行追蹤。傳統上，內容創作者和/或相關人員需要花費數小時來為相機安裝追蹤裝置，這減慢了進度並增加了創作虛擬製作(virtual production)的難度。

有鑑於此，本發明提供一種資料處理系統、資料處理方法和電腦可讀儲存媒體，其可用於解決上述技術問題。

本發明的實施例提供一種資料處理系統，所述資料處理系統包括信號處理裝置。所述信號處理裝置執行以下操作：從定位裝置接收定位資料，其中所述定位資料對應於相機裝置；從鏡頭編碼器接收所述相機裝置的鏡頭參數；將所述定位資料和所述鏡頭參數封裝在至少一個資料封包中；以及透過網路介面將所述至少一個資料封包發送到資料處理裝置。

本發明的實施例提供一種資料處理方法，所述資料處理方法包括：由信號處理裝置從定位裝置接收定位資料，其中所述定位資料對應於相機裝置；由所述信號處理裝置從鏡頭編碼器接收所述相機裝置的鏡頭參數；由所述信號處理裝置將所述定位資料和所述鏡頭參數封裝在至少一個資料封包中；以及由所述信號處理裝置透過網路介面將所述至少一個資料封包發送到資料處理裝置。

本發明的實施例提供一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄可執行電腦程式，所述可執行電腦程式由資料處理系統載入以執行以下步驟：從定位裝置接收定位資料，其中所述定位資料對應於相機裝置；從鏡頭編碼器接收所述相機裝置的鏡頭參數；將所述定位資料和所述鏡頭參數封裝在至少一個資料封包中；以及透過網路介面將所述至少一個資料封包發送到資料處理裝置。

參見圖1，其示出根據本發明實施例的資料處理系統的示意圖。在圖1中，資料處理系統10可包括信號處理裝置11、定位裝置12、鏡頭編碼器13、相機裝置14、資料處理裝置15、終端裝置16和時脈源17。

在本發明的實施例中，相機裝置14可用於拍攝虛擬製作的內容。舉例來說，相機裝置14可被佈置在攝影棚中，其中所述攝影棚可被佈置有例如綠幕和/或用於拍攝的其他設備（例如，光源）。在一個實施例中，男演員/女演員可站在綠幕前面，並且相機裝置14可用於拍攝男演員/女演員在綠幕前面的影像。之後，對應於男演員/女演員的影像區可被提取並與虛擬背景結合，作為虛擬製作的視覺內容，但本發明不限於此。

在一個實施例中，定位裝置12可透過例如螺釘或其他適配結構（固定地）安裝在相機裝置14上。在一個實施例中，定位裝置12可用於偵測定位裝置12的定位資料P1。由於定位裝置12（固定地）安裝在相機裝置14上，因此定位裝置12可反應於相機裝置14的移動而移動。在此種情形中，定位裝置12的定位資料P1可被視為相機裝置14的定位資料P1。

在一些實施例中，相機裝置14的定位資料P1可包括相機裝置14的平移分量和/或旋轉分量（例如，6個自由度）的原始測量資料，但本發明不限於此。在一個實施例中，定位裝置12可為附接到相機裝置14的追蹤器，並且可經由例如由外向內追蹤機制或由內向外機制來偵測定位裝置12和/或相機裝置14的定位資料P1。在由外向內追蹤的情況下，環境可被設置有發射信標的幾個基站，用於追蹤器據以偵測定位裝置12和/或相機裝置14的定位資料P1。在其他實施例中，定位裝置12可使用任何現有的定位機制來判定定位裝置12和/或相機裝置14的定位資料P1。

在一個實施例中，鏡頭編碼器13可設置在相機裝置14上，並且連接到相機裝置14（的鏡頭），用於測量/讀取/偵測相機裝置14的鏡頭的鏡頭參數L1。

在一個實施例中，由鏡頭編碼器13獲得的鏡頭參數L1可包括至少一個計數值，所述至少一個計數值與相機裝置14的鏡頭的光圈、焦點、焦距中的至少一者對應。在一個實施例中，所述計數值可由例如終端裝置16映射到相機裝置14的鏡頭的光圈、焦點和/或焦距的實際設置值，但本發明不限於此。

在圖1中，信號處理裝置11可包括第一資料傳輸埠111、第二資料傳輸埠112、第一處理器113和網路介面114。第一資料傳輸埠111耦接到定位裝置12，並接收來自定位裝置12的定位資料P1。第二資料傳輸埠112耦接到鏡頭編碼器13，並從鏡頭編碼器13接收相機裝置14的鏡頭參數L1。

在其他實施例中，信號處理裝置11可包括更多的資料傳輸埠，用於與其他定位裝置和/或鏡頭編碼器連接。舉例來說，在一個實施例中，信號處理裝置11可包括兩個附加的資料傳輸埠，用於連接兩個額外的鏡頭編碼器並接收由所述兩個額外的鏡頭編碼器測量的相應鏡頭參數，但本發明不限於此。

在一些實施例中，第一資料傳輸埠111、第二資料傳輸埠112（以及其他資料傳輸埠）可為隨插即用埠/介面，例如通用序列匯流排（USB）埠/介面，但本發明不限於此。

第一處理器113耦接到第一資料傳輸埠111和第二資料傳輸埠112。在各種實施例中，第一處理器113可為例如通用處理器、專用處理器、常規處理器、數位訊號處理器（digital signal processor，DSP）、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、應用專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）電路、任何其他類型的積體電路（IC）、狀態機及類似處理器。

在一個實施例中，第一處理器113將定位資料P1和鏡頭參數L1封裝在至少一個資料封包中。在一個實施例中，所述至少一個資料封包可包括含有鏡頭參數L1的第一資料封包PA1和含有定位資料P1的第二資料封包PA2，但本發明不限於此。

在圖1中，網路介面114耦接到第一處理器113，並且將所述至少一個資料封包發送到資料處理裝置15，用於進一步處理。在本發明的實施例中，網路介面114（以及在本發明中考慮的其他網路介面）可為例如乙太網介面，但本發明不限於此。

在一個實施例中，第一資料封包PA1可為使用者資料封包通訊協定（User Datagram Protocol，UDP）包，並且第一處理器113可控制網路介面114透過UDP協定來發送第一資料封包PA1。此外，第二資料封包PA2可為傳輸控制協定/網際網路協定（TCP/IP）包，且第一處理器113可控制網路介面114透過通用序列匯流排/IP（USB/IP）協定來發送第二資料封包PA2，但本發明不限於此。

在其他實施例中，第一資料封包PA1和第二資料封包PA2可被實施為與設計者的期望協定對應的包。

在圖1中，資料處理裝置15包括第一網路介面151、第二網路介面152和第二處理器153。

在一個實施例中，第二處理器153耦接到第一網路介面151和第二網路介面152，並且第二處理器153的可能實施方式可參照對第一處理器113的說明，但本發明不限於此。

在一個實施例中，第一網路介面151耦接到信號處理裝置11的網路介面114，並從信號處理裝置11接收至少一個資料封包（例如，第一資料封包PA1和第二資料封包PA2）。在一個實施例中，第二處理器153可從所述至少一個資料封包中取得定位資料P1和鏡頭參數L1。舉例來說，第二處理器153可從第一資料封包PA1中取得鏡頭參數L1，並從第二資料封包PA2中取得定位資料P1，但本發明不限於此。

在一個實施例中，第二處理器153基於定位資料P1來判定相機裝置14的相機姿態PO。在定位資料P1包括相機裝置14的平移分量和/或旋轉分量的原始測量資料的實施例中，第二處理器153可對定位資料P1進行分析/處理，並且據以將相機裝置14的實際平移分量和/或旋轉分量判定為相機姿態PO。從另一個角度來看，信號處理裝置11將相機姿態PO的原始測量資料（例如，由定位裝置12偵測到的定位資料P1）轉發到資料處理裝置15，並且資料處理裝置15據以透過對原始測量資料進行分析來判定相機姿態PO，但本發明不限於此。

在一個實施例中，第二處理器153從耦接到相機裝置14、資料處理裝置15和終端裝置16的時脈源17接收參考時脈信號CS。在一個實施例中，參考時脈信號CS可為用於相機裝置14、資料處理裝置15和終端裝置16執行同步的參考信號。在一個實施例中，參考時脈信號CS可為包括多個時脈脈衝的脈衝串（pulse train），其中所述時脈脈衝可在特定頻率下提供。在此種情形中，相鄰時脈脈衝之間的持續時間可為特定頻率的倒數。

在一個實施例中，第二處理器153可判定對應於相機姿態PO的時間戳記TS。舉例來說，第二處理器153可反應於所述時脈脈衝中的一者來判定相機姿態PO和時間戳記TS，其中時間戳記TS對應於所述時脈脈衝中的所述一者的時間點。在一個實施例中，第二處理器153可使用所述時脈脈衝中的所述一者的時間點作為對應於相機姿態PO的時間戳記TS。也就是說，第二處理器153遵循參考時脈信號CS的時序來判定相機姿態PO和相應的時間戳記TS。

在一個實施例中，第二處理器153將相機姿態PO、時間戳記TS和鏡頭參數L1封裝在資料信號S1中，並經由第二網路介面152來發送資料信號S1。

在圖1中，耦接到資料處理裝置15的終端裝置16可為用於呈現虛擬製作的視覺內容的任何智慧型裝置和/或電腦裝置。在一個實施例中，終端裝置16可為內容創作者用於編輯虛擬製作的視覺內容的電腦，但本發明不限於此。

在一個實施例中，終端裝置16可從資料處理裝置15接收資料信號S1。因此，終端裝置16可從資料信號S1中知曉在時間戳記TS處的鏡頭參數L1和相機姿態PO的狀態。此外，由相機裝置14拍攝的每一影像可由相機裝置14基於參考時脈信號CS用相應的時間戳記進行標記，並且所拍攝的具有相應時間戳記的影像將被提供給終端裝置16。在此種情形中，終端裝置16可基於每一影像的時間戳記和每一相機姿態來知曉相機裝置14在拍攝影像時的相機姿態。

舉例來說，當終端裝置16判定由相機裝置14拍攝的影像中的特定影像具有與時間戳記TS相同的時間戳記時，終端裝置16可判定相機姿態PO是相機裝置14在拍攝所述特定影像時的相機姿態。

在一個實施例中，終端裝置16可運行/呈現虛擬場景（例如，虛擬實境（virtual reality，VR）場景）。在此種情形中，當相機裝置14用於拍攝一些真實物件（例如，男演員/女演員）作為所述特定影像時，終端裝置16可從所述特定影像中裁剪/分割出與所述真實物件對應的影像區，並將所裁剪的影像區與虛擬場景進行結合以產生虛擬製作影片。在所述實施例中，虛擬場景包括對應於相機裝置14的虛擬相機，並且在拍攝特定影像時，虛擬場景中的虛擬相機的姿態需要參考相機裝置14的相機姿態PO（例如，旋轉和/或平移）。由於由本發明的實施例提供的解決方案可獲得相機裝置14的準確的相機姿態PO，因此裁剪後的影像區可準確地與虛擬場景相結合，從而提高虛擬製作的品質。

在一個實施例中，信號處理裝置11還可接收鏡頭控制信號LC，並據以控制鏡頭編碼器13來調整相機裝置14的鏡頭設置。在一個實施例中，相機裝置14的鏡頭設置可包括例如相機裝置14的鏡頭的光圈、焦點和/或焦距，並且使用者可透過例如操作終端裝置16的控制介面（例如，軟體/硬體）來判定鏡頭設置。在此種情形中，終端裝置16可根據使用者的設置來控制資料處理裝置15向信號處理裝置11發送鏡頭控制信號LC。因此，信號處理裝置11可控制鏡頭編碼器13來調整相機裝置14的鏡頭設置以對應於使用者的要求，但本發明不限於此。

參見圖2，其示出根據本發明實施例的資料處理方法的流程圖。本實施例的方法可由圖1中的信號處理裝置11來執行，且以下將利用圖1所示的組件來描述圖2中每一步驟的細節。

在步驟S210中，信號處理裝置11從定位裝置12接收定位資料P1。在步驟S220中，信號處理裝置11從鏡頭編碼器13接收相機裝置14的鏡頭參數L1。在步驟S230中，信號處理裝置11將定位資料P1和鏡頭參數L1封裝在至少一個資料封包（例如，第一資料封包PA1和第二資料封包PA2）中。在步驟S240中，信號處理裝置11發送所述至少一個資料封包。圖2中的步驟的細節可參考上文的說明，在此不再贅述。

參見圖3，其示出根據本發明實施例的資料處理方法的流程圖。本實施例的方法可由圖1中的資料處理裝置15來執行，且以下將利用圖1所示的組件來描述圖3中每一步驟的細節。

在步驟S310中，資料處理裝置15從信號處理裝置11接收所述至少一個資料封包，並從所述至少一個資料封包中取得定位資料P1和鏡頭參數L1。在步驟S320中，資料處理裝置15基於定位資料P1來判定相機裝置14的相機姿態PO。

在步驟S330中，資料處理裝置15接收參考時脈信號CS，並據以判定對應於相機姿態PO的時間戳記TS。在步驟S340中，資料處理裝置15將相機姿態PO、時間戳記TS和鏡頭參數L1封裝在資料信號S1中。在步驟S350中，資料處理裝置15發送資料信號S1。圖3中的步驟的細節可參考上文的說明，在此不再贅述。

由上文可理解，本發明的實施例提供一種對相機裝置在拍攝內容時的相機姿態進行準確追蹤的簡單、有效的解決方案。在本發明的實施例中，使用者（例如，內容創作者）只需要將定位裝置12和鏡頭編碼器13安裝到相機裝置14上，且信號處理裝置11與資料處理裝置15可協作以便於終端裝置16使所拍攝的影像與相機裝置14的相機姿態同步。因此，可提高創作虛擬製作的效率。

此外，本發明的實施例還提供一種判定座標的方法，所述方法可由本發明的資料處理系統進行，且將在下文中介紹其細節。

參見圖4，其示出根據本發明的圖1的資料處理系統。在圖4中，資料處理系統40可包括信號處理裝置11a、11b、定位裝置12a、12b和資料處理裝置15。在所述實施例中，信號處理裝置11a和11b中的每一者可為與圖1中的信號處理裝置11相同類型的裝置。定位裝置12a和12b中的每一者可為與圖1中的定位裝置12相同類型的裝置，並且圖4中的資料處理裝置15可為與圖1中的資料處理裝置15相同的裝置。此外，資料處理系統40還可包括圖1中的其他裝置，例如鏡頭編碼器13、終端裝置16、時脈源17，但本發明不限於此。

在本發明的實施例中，類似於圖1中將信號處理裝置11和定位裝置12安裝在相機裝置14上的情形，信號處理裝置11a和定位裝置12a可安裝在相應的相機裝置（圖中未示出）或其他待追蹤的物體/位置上。同樣，信號處理裝置11b和定位裝置12b可安裝在相應的相機裝置（圖中未示出）或其他待追蹤的物體/位置上。

此外，儘管圖4中僅示出信號處理裝置與定位裝置的兩種組合（每種組合至少包括一個信號處理裝置和一個定位裝置），但資料處理系統40可包括信號處理裝置與定位裝置的更多組合，但本發明不限於此。此外，為與信號處理裝置11a、11b（以及其他額外的信號處理裝置）進行連接，資料處理裝置15可設置有相應數量的第一網路介面151。舉例來說，如果資料處理裝置15需要能夠與多達N個（N是正整數）信號處理裝置進行連接，則資料處理裝置15可設計有N個第一網路介面151，但本發明不限於此。

在一些實施例中，資料處理裝置15可基於來自定位裝置12a、12b的定位資料來判定與定位裝置12a、12b對應的相機裝置的相機姿態。資料處理裝置15可將所判定的相機裝置的相機姿態發送到終端裝置16，使終端裝置16製作相應的虛擬製作（例如，將與真實物件對應的所裁剪的影像區與所呈現的虛擬場景進行結合），但本發明不限於此。

參見圖5，其示出根據本發明實施例的用於判定座標的方法的流程圖。本實施例的方法可由圖4中的資料處理裝置15來執行，且以下將利用圖4所示的組件來描述圖5中每一步驟的細節。

在步驟S510中，資料處理裝置15接收多個定位資料，其中所述多個定位資料對應於現實世界中多個定位裝置的裝置位置，且所述定位裝置包括第一定位裝置和第二定位裝置。

為更好地闡釋本發明的概念，定位裝置12a和12b將分別被假設為第一定位裝置和第二定位裝置，但本發明不限於此。

在圖4中，由資料處理裝置15接收的所述多個定位資料可包括對應於定位裝置12a的第一定位資料P11和對應於定位裝置12b的第二定位資料P12。在所述實施例中，資料處理裝置15可從連接到定位裝置12a的信號處理裝置11a接收第一定位資料P11，並且從連接到定位裝置12b的信號處理裝置11b接收第二定位資料P12。具體來說，信號處理裝置11a可從定位裝置12a接收定位資料P11並將定位資料P11發送到資料處理裝置15，且信號處理裝置11b可從定位裝置12b接收定位資料P12並將定位資料P12發送到資料處理裝置15。

在其他實施例中，資料處理裝置15可直接從定位裝置12a和12b中的每一者接收定位資料P11和P12，但本發明不限於此。

如在圖1的實施例中所描述，定位資料P11可對應於上面安裝有信號處理裝置11a和定位裝置12a的第一相機裝置的第一相機姿態，並且定位資料P12可對應於上面安裝有信號處理裝置11b和定位裝置12b的第二相機裝置的第二相機姿態，但本發明不限於此。

在一個實施例中，定位裝置12a和12b可透過由外向內追蹤機制或由內向外追蹤機制（例如，同步定位和地圖構建（simultaneous localization and mapping，SLAM））來獲得定位資料P11和P12。在由外向內追蹤的情況下，定位資料P11和P12可被理解為表徵定位裝置12a和12b相對於例如基站的位置，但本發明不限於此。

在一個實施例中，資料處理裝置15可判定定位裝置12a和12b在現實世界中的裝置位置。在定位資料P11包括定位裝置12a的平移分量和/或旋轉分量的原始測量資料的實施例中，資料處理裝置15可對定位資料P11進行分析/處理，並據以判定定位裝置12a的實際平移分量和/或旋轉分量，這可用於判定定位裝置12a在現實世界中的裝置位置。類似地，在定位資料P12包括定位裝置12b的平移分量和/或旋轉分量的原始測量資料的實施例中，資料處理裝置15可對定位資料P12進行分析/處理，並據以判定定位裝置12b的實際平移分量和/或旋轉分量，這可用於判定定位裝置12b在現實世界中的裝置位置。

在步驟S520中，反應於判定將第一定位裝置（例如，定位裝置12a）選為虛擬世界的座標系的參考點，資料處理裝置15基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置來判定第二定位裝置（例如，定位裝置12b）在虛擬世界的座標系中的座標。

為更好地闡釋本發明的概念，虛擬世界的座標系的參考點將被假設為座標系的原點。在其他實施例中，參考點可為座標系中任何其他期望的點。

舉例來說，假設預設參考點是基站中的一者的位置（即，被視為參考點的基站的位置可為（0, 0, 0）），並且定位裝置12a和12b的裝置位置在現實世界中分別為（x1, y1, z1）和（x2, y2, z2）。在此種情形中，當定位裝置12a被選為虛擬世界的座標系的原點時，定位裝置12a在虛擬世界的座標系中的座標可為例如（0, 0, 0）。基於定位裝置12a和12b的裝置位置之間的相對位置，資料處理裝置15可將定位裝置12b在虛擬世界的座標系中的座標判定為例如（x2-x1, y2-y1, z2-z1），但本發明不限於此。

因此，資料處理裝置15可簡易地使用定位裝置12a、12b中的每一者與現實世界中的基站之間的相對位置來判定定位裝置12a、12b在虛擬世界中的座標，這增加了創作虛擬製作的便利性。

在一個實施例中，資料處理裝置15還可將定位裝置12a、12b的座標提供給圖1中的終端裝置16，使得終端裝置16可使用這些資訊來創作具有更好品質的視覺內容，但本發明不限於此。

此外，透過使用在本發明中介紹的解決方案，即使基站被移動，也可容易地判定定位裝置12a、12b在虛擬世界中的座標。具體來說，使用者可能基於特定的要求來改變攝影棚中基站的位置。在此種情形中，使用者可簡單地將定位裝置12a判定為參考點，並且即使基站已經移動到新的位置，也可適當地判定定位裝置12a和12b在虛擬世界中的座標。

舉例來說，在用於由外向內追蹤的基站被移動之後，定位裝置12a和12b的裝置位置可相對於基站分別變為（x1’, y1’, z1’）和（x2’, y2’, z2’）。然而，當再次將定位裝置12a選為參考點時，定位裝置12a和12b在虛擬世界中的座標將分別被判定為（0, 0, 0）和（x2’-x1’, y2’-y1’, z2’-z1’），其中（x2’-x1’, y2’-y1’, z2’-z1’）將與（x2-x1, y2-y1, z2-z1）相同。因此，可提高創作虛擬製作的效率。

在一個實施例中，反應於判定將第二定位裝置（例如，定位裝置12b）選為虛擬世界的座標系的參考點，資料處理裝置15還可基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置來判定第一定位裝置（例如，定位裝置12a）在虛擬世界的座標系中的座標。

在此種情形中，當定位裝置12b被選為虛擬世界的座標系的原點時，定位裝置12b在虛擬世界的座標系中的座標可為例如（0, 0, 0）。基於定位裝置12a和12b的裝置位置之間的相對位置，資料處理裝置15可將定位裝置12b在虛擬世界的座標系中的座標判定為例如（x1-x2, y1-y2, z1-z2），但本發明不限於此。

也就是說，在定位裝置12b被用作原點之後，資料處理裝置15可改為使用定位裝置12b作為虛擬世界的座標系的原點，並且定位裝置12a、12b的座標將被據以更新。

在資料處理系統40包括其他定位裝置的實施例中，資料處理裝置15可基於被選為參考點的定位裝置的裝置位置與其他定位裝置中的每一者的裝置位置之間的相對位置來判定其他定位裝置中的每一者在虛擬世界的座標系中的座標，但本發明不限於此。

參見圖6，其示出根據本發明實施例的由資料處理裝置15提供的使用者介面。在圖6中，資料處理裝置15可提供使用者介面610，其中使用者介面610示出重新定中心（re-center）功能612。在所述實施例中，使用者可使用重新定中心功能612來選擇定位裝置中的期望一者作為虛擬世界的座標系的參考點。

在一個實施例中，反應於判定重新定中心功能612被觸發，資料處理裝置15可在使用者介面610中提供多個偵測到的定位裝置。在一個實施例中，資料處理裝置15可透過檢查從定位裝置接收的封裝資料/姿態資料中的定位裝置資訊來偵測定位裝置，但本發明不限於此。在一個實施例中，使用者介面610可僅示出資料處理裝置15當前偵測到的定位裝置。

在圖6中，假設圖示614a到614c分別對應於定位裝置12a、12b和由資料處理裝置15偵測到的另一個定位裝置。在此種情形中，使用者可選擇期望的定位裝置作為虛擬世界的座標系的參考點。

在一個實施例中，假設使用者選擇了對應於定位裝置12a的圖示614a，資料處理裝置15可基於上文中的說明據以執行步驟S520，但本發明不限於此。

本發明還提供用於執行所述資料處理方法和/或用於判定座標的方法的電腦可讀儲存媒體。所述電腦可讀儲存媒體由在其中實施的多個程式指令（例如，設定程式指令和部署程式指令）構成。這些程式指令可被載入到資料處理裝置和信號處理裝置中並由所述資料處理裝置和信號處理裝置執行，從而執行上述資料處理方法和/或用於判定座標的方法以及資料處理裝置和信號處理裝置的功能。

綜上所述，本發明的實施例提供一種對相機裝置在拍攝內容時的相機姿態進行準確追蹤的簡單、有效的解決方案。在本發明的實施例中，使用者（例如，內容創作者）只需要將定位裝置和/或鏡頭編碼器安裝到相機裝置上，且信號處理裝置與資料處理裝置可協作以便於終端裝置使所拍攝的影像與相機裝置的相機姿態同步。因此，終端裝置可基於相機裝置的相機姿態更準確地將所裁剪的影像區（例如，與例如男演員/女演員等真實物件對應的影像區）與所呈現的虛擬場景進行結合，這提高了創作虛擬製作的品質和效率。

此外，本發明的實施例還提供一種用於在定位裝置中的一者被選為虛擬世界的參考點時，判定定位裝置在虛擬世界的座標系中的座標的解決方案。因此，本發明的實施例能夠容易地使用定位裝置中的每一者與現實世界中的基站之間的相對位置來判定定位裝置在虛擬世界中的座標，這增加了創作虛擬製作的便利性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

10:資料處理系統 11, 11a, 11b:信號處理裝置 12, 12a, 12b:定位裝置 13:鏡頭編碼器 14:相機裝置 15:資料處理裝置 16:終端裝置 17:時脈源 40:資料處理系統 111:第一資料傳輸埠 112:第二資料傳輸埠 113:第一處理器 114:網路介面 151:第一網路介面 152:第二網路介面 153:第二處理器 610:使用者介面 612:重新定中心功能 614a, 614b, 614c:圖示 CS:參考時脈信號 L1:鏡頭參數 LC:鏡頭控制信號 P1:定位資料 P11:第一定位資料 P12:第二定位資料 PA1:第一資料封包 PA2:第二資料封包 PO:相機姿態 S1:資料信號 S210, S220, S230, S240, S310, S320, S330, S340, S350, S510, S520:步驟 TS:時間戳記

圖1示出根據本發明實施例的資料處理系統的示意圖。圖2示出根據本發明實施例的資料處理方法的流程圖。圖3示出根據本發明實施例的資料處理方法的流程圖。圖4示出根據本發明的圖1的資料處理系統。圖5示出根據本發明實施例的用於判定座標的方法的流程圖。圖6示出根據本發明實施例的由資料處理裝置提供的使用者介面。

S210~S240:步驟

Claims

一種資料處理系統，包括：信號處理裝置，經配置以執行：從定位裝置接收定位資料，其中所述定位資料對應於相機裝置；從鏡頭編碼器接收所述相機裝置的鏡頭參數；將所述定位資料和所述鏡頭參數封裝在至少一個資料封包中；以及透過網路介面將所述至少一個資料封包發送到資料處理裝置。
如請求項1所述的系統，其中所述信號處理裝置包括：第一資料傳輸埠，耦接到所述定位裝置，並接收來自所述定位裝置的所述定位資料；第二資料傳輸埠，耦接到所述鏡頭編碼器，並從所述鏡頭編碼器接收所述相機裝置的所述鏡頭參數，其中所述第一資料傳輸埠和所述第二資料傳輸埠為隨插即用埠；第一處理器，耦接到所述第一資料傳輸埠和所述第二資料傳輸埠，並將所述定位資料和所述鏡頭參數封裝在所述至少一個資料封包中；以及所述網路介面，耦接到所述第一處理器，並且發送所述至少一個資料封包。
如請求項1所述的系統，其中所述至少一個資料封包包括含有所述鏡頭參數的第一資料封包和含有所述定位資料的第二資料封包。
如請求項3所述的系統，其中所述第一資料封包是使用者資料封包通訊協定封包，並且所述第一處理器控制所述網路介面經由使用者資料封包通訊協定來發送所述第一資料封包。
如請求項3所述的系統，其中所述第二資料封包是傳輸控制協定/網際網路協定封包，並且所述第一處理器控制所述網路介面透過通用序列匯流排/網際網路協定來發送所述第二資料封包。
如請求項1所述的系統，更包括：所述資料處理裝置，經配置以執行以下操作：從所述信號處理裝置接收所述至少一個資料封包，並從所述至少一個資料封包中取得所述定位資料和所述鏡頭參數；基於所述定位資料來判定所述相機裝置的相機姿態；接收參考時脈信號，並據以判定對應於所述相機姿態的時間戳記；將所述相機姿態、所述時間戳記和所述鏡頭參數封裝在資料信號中；以及發送所述資料信號。
如請求項6所述的系統，其中所述參考時脈信號包括多個時脈脈衝，並且所述資料處理裝置執行以下操作：反應於所述時脈脈衝中的一者來判定所述相機姿態和所述時間戳記，其中所述時間戳記對應於所述時脈脈衝中的所述一者的時間點。
如請求項6所述的系統，其中所述資料處理裝置包括：第一網路介面，耦接到所述信號處理裝置，並從所述信號處理裝置接收所述至少一個資料封包；第二處理器，耦接到所述第一網路介面，並且判定所述相機姿態和所述時間戳記，並且將所述相機姿態、所述時間戳記和所述鏡頭參數封裝在所述資料信號中；以及第二網路介面，耦接到所述第二處理器並發送所述資料信號。
如請求項1所述的系統，其中所述鏡頭參數包括至少一個計數值，所述至少一個計數值對應於所述相機裝置的光圈、焦點、焦距中的至少一者。
如請求項1所述的系統，其中所述信號處理裝置更執行：接收鏡頭控制信號，並據以控制所述鏡頭編碼器來調整所述相機裝置的鏡頭設置。
一種資料處理方法，包括：由信號處理裝置從定位裝置接收定位資料，其中所述定位資料對應於相機裝置；由所述信號處理裝置從鏡頭編碼器接收所述相機裝置的鏡頭參數；由所述信號處理裝置將所述定位資料和所述鏡頭參數封裝在至少一個資料封包中；以及由所述信號處理裝置透過網路介面將所述至少一個資料封包發送到資料處理裝置。
如請求項11所述的方法，其中所述至少一個資料封包包括含有所述鏡頭參數的第一資料封包和含有所述定位資料的第二資料封包。
如請求項12所述的方法，其中所述第一資料封包是使用者資料封包通訊協定封包，並且所述第一資料封包經由使用者資料封包通訊協定發送。
如請求項12所述的方法，其中所述第二資料封包是傳輸控制協定/網際網路協定封包，並且所述第二資料封包經由通用序列匯流排/網際網路協定發送。
如請求項11所述的方法，更包括：由所述資料處理裝置從所述信號處理裝置接收所述至少一個資料封包，並且由所述資料處理裝置從所述至少一個資料封包中取得所述定位資料和所述鏡頭參數；由所述資料處理裝置基於所述定位資料來判定所述相機裝置的相機姿態；由所述資料處理裝置接收參考時脈信號，並據以判定對應於所述相機姿態的時間戳記；由所述資料處理裝置將所述相機姿態、所述時間戳記和所述鏡頭參數封裝在資料信號中；以及由所述資料處理裝置發送所述資料信號。
如請求項15所述的方法，其中所述參考時脈信號包括多個時脈脈衝，並且所述方法包括：由所述資料處理裝置反應於所述時脈脈衝中的一者來判定所述相機姿態和所述時間戳記，其中所述時間戳記對應於所述時脈脈衝中的所述一者的時間點。
如請求項11所述的方法，其中所述鏡頭參數包括至少一個計數值，所述至少一個計數值對應於所述相機裝置的光圈、焦點、焦距中的至少一者。
如請求項11所述的方法，更包括：由所述信號處理裝置接收鏡頭控制信號，並且據以由所述信號處理裝置控制所述鏡頭編碼器來調整所述相機裝置的鏡頭設置。
一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄可執行電腦程式，所述可執行電腦程式由資料處理系統載入以執行以下步驟：從定位裝置接收定位資料，其中所述定位資料對應於相機裝置；從鏡頭編碼器接收所述相機裝置的鏡頭參數；將所述定位資料和所述鏡頭參數封裝在至少一個資料封包中；以及透過網路介面將所述至少一個資料封包發送到資料處理裝置。