TWI837861B - 資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體 - Google Patents

資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI837861B
TWI837861B TW111137811A TW111137811A TWI837861B TW I837861 B TWI837861 B TW I837861B TW 111137811 A TW111137811 A TW 111137811A TW 111137811 A TW111137811 A TW 111137811A TW I837861 B TWI837861 B TW I837861B
Authority
TW
Taiwan
Prior art keywords
positioning
data
positioning device
determining
data processing
Prior art date
Application number
TW111137811A
Other languages
English (en)
Other versions
TW202328641A (zh
Inventor
姚敦瀚
王柏勳
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202328641A publication Critical patent/TW202328641A/zh
Application granted granted Critical
Publication of TWI837861B publication Critical patent/TWI837861B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本發明的實施例提供一種資料處理系統、一種用於判定座標的方法以及一種電腦可讀儲存媒體。所述方法包含：接收多個定位資料，其中多個定位資料對應於多個定位裝置在現實世界中的裝置位置，且定位裝置包括第一定位裝置和第二定位裝置；反應於判定將第一定位裝置選為虛擬世界的座標系的參考點，基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置判定第二定位裝置在虛擬世界的座標系中的座標。

Description

資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體
本發明是有關於一種資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體。
當內容創作者利用相機拍攝用於虛擬製作（例如，虛擬實境內容的製作）的內容時，精確地判定相機和/或其它所追蹤物件在虛擬世界中的座標是至關重要的。因此，對本領域技術人員來說，設計用以精確地判定相機和/或其它所追蹤物件在虛擬世界中的座標的合適的解決方案是重要的。
有鑑於此，本發明提供一種資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體，其可用於解決上述技術問題。
本發明的實施例提供一種包含資料處理裝置的資料處理系統。資料處理裝置執行：接收多個定位資料，其中多個定位資料對應於多個定位裝置在現實世界中的裝置位置，且定位裝置包括第一定位裝置和第二定位裝置；反應於判定將第一定位裝置選為虛擬世界的座標系的參考點，基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置判定第二定位裝置在虛擬世界的座標系中的座標。
本發明的實施例提供一種用於判定座標的方法，適用於資料處理裝置。方法包含：接收多個定位資料，其中多個定位資料對應於多個定位裝置在現實世界中的裝置位置，且定位裝置包括第一定位裝置和第二定位裝置；反應於判定將第一定位裝置選為虛擬世界的座標系的參考點，基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置判定第二定位裝置在虛擬世界的座標系中的座標。
本發明的實施例提供一種電腦可讀儲存媒體，電腦可讀儲存媒體記錄可執行電腦程式，可執行電腦程式由資料處理裝置載入以執行以下步驟：接收多個定位資料，其中多個定位資料對應於多個定位裝置在現實世界中的裝置位置，且定位裝置包括第一定位裝置和第二定位裝置；反應於判定將第一定位裝置選為虛擬世界的座標系的參考點，基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置判定第二定位裝置在虛擬世界的座標系中的座標。
參見圖1，其示出根據本發明實施例的資料處理系統的示意圖。在圖1中，資料處理系統10可包括信號處理裝置11、定位裝置12、鏡頭編碼器13、相機裝置14、資料處理裝置15、終端裝置16和時脈源17。
在本發明的實施例中，相機裝置14可用於拍攝虛擬製作的內容。舉例來說，相機裝置14可被佈置在攝影棚中，其中所述攝影棚可被佈置有例如綠幕和/或用於拍攝的其他設備（例如，光源）。在一個實施例中，男演員/女演員可站在綠幕前面，並且相機裝置14可用於拍攝男演員/女演員在綠幕前面的影像。之後，對應於男演員/女演員的影像區可被提取並與虛擬背景結合，作為虛擬製作的視覺內容，但本發明不限於此。
在一個實施例中，定位裝置12可透過例如螺釘或其他適配結構（固定地）安裝在相機裝置14上。在一個實施例中，定位裝置12可用於偵測定位裝置12的定位資料P1。由於定位裝置12（固定地）安裝在相機裝置14上，因此定位裝置12可反應於相機裝置14的移動而移動。在此種情形中，定位裝置12的定位資料P1可被視為相機裝置14的定位資料P1。
在一些實施例中，相機裝置14的定位資料P1可包括相機裝置14的平移分量和/或旋轉分量（例如，6個自由度）的原始測量資料，但本發明不限於此。在一個實施例中，定位裝置12可為附接到相機裝置14的追蹤器，並且可經由例如由外向內追蹤機制或由內向外機制來偵測定位裝置12和/或相機裝置14的定位資料P1。在由外向內追蹤的情況下，環境可被設置有發射信標的幾個基站，用於追蹤器據以偵測定位裝置12和/或相機裝置14的定位資料P1。在其他實施例中，定位裝置12可使用任何現有的定位機制來判定定位裝置12和/或相機裝置14的定位資料P1。
在一個實施例中，鏡頭編碼器13可設置在相機裝置14上，並且連接到相機裝置14（的鏡頭），用於測量/讀取/偵測相機裝置14的鏡頭的鏡頭參數L1。
在一個實施例中，由鏡頭編碼器13獲得的鏡頭參數L1可包括至少一個計數值，所述至少一個計數值與相機裝置14的鏡頭的光圈、焦點、焦距中的至少一者對應。在一個實施例中，所述計數值可由例如終端裝置16映射到相機裝置14的鏡頭的光圈、焦點和/或焦距的實際設置值，但本發明不限於此。
在圖1中，信號處理裝置11可包括第一資料傳輸埠111、第二資料傳輸埠112、第一處理器113和網路介面114。第一資料傳輸埠111耦接到定位裝置12，並接收來自定位裝置12的定位資料P1。第二資料傳輸埠112耦接到鏡頭編碼器13，並從鏡頭編碼器13接收相機裝置14的鏡頭參數L1。
在其他實施例中，信號處理裝置11可包括更多的資料傳輸埠，用於與其他定位裝置和/或鏡頭編碼器連接。舉例來說，在一個實施例中，信號處理裝置11可包括兩個附加的資料傳輸埠，用於連接兩個額外的鏡頭編碼器並接收由所述兩個額外的鏡頭編碼器測量的相應鏡頭參數，但本發明不限於此。
在一些實施例中，第一資料傳輸埠111、第二資料傳輸埠112（以及其他資料傳輸埠）可為隨插即用埠/介面，例如通用序列匯流排（USB）埠/介面，但本發明不限於此。
第一處理器113耦接到第一資料傳輸埠111和第二資料傳輸埠112。在各種實施例中，第一處理器113可為例如通用處理器、專用處理器、常規處理器、數位訊號處理器（digital signal processor，DSP）、多個微處理器、與DSP核心相關聯的一個或多個微處理器、控制器、微控制器、應用專用積體電路（Application Specific Integrated Circuit，ASIC）、現場可程式設計閘陣列（Field Programmable Gate Array，FPGA）電路、任何其他類型的積體電路（IC）、狀態機及類似處理器。
在一個實施例中，第一處理器113將定位資料P1和鏡頭參數L1封裝在至少一個資料封包中。在一個實施例中，所述至少一個資料封包可包括含有鏡頭參數L1的第一資料封包PA1和含有定位資料P1的第二資料封包PA2，但本發明不限於此。
在圖1中，網路介面114耦接到第一處理器113，並且將所述至少一個資料封包發送到資料處理裝置15，用於進一步處理。在本發明的實施例中，網路介面114（以及在本發明中考慮的其他網路介面）可為例如乙太網介面，但本發明不限於此。
在一個實施例中，第一資料封包PA1可為使用者資料封包通訊協定（User Datagram Protocol，UDP）包，並且第一處理器113可控制網路介面114透過UDP協定來發送第一資料封包PA1。此外，第二資料封包PA2可為傳輸控制協定/網際網路協定（TCP/IP）包，且第一處理器113可控制網路介面114透過通用序列匯流排/IP（USB/IP）協定來發送第二資料封包PA2，但本發明不限於此。
在其他實施例中，第一資料封包PA1和第二資料封包PA2可被實施為與設計者的期望協定對應的包。
在圖1中，資料處理裝置15包括第一網路介面151、第二網路介面152和第二處理器153。
在一個實施例中，第二處理器153耦接到第一網路介面151和第二網路介面152，並且第二處理器153的可能實施方式可參照對第一處理器113的說明，但本發明不限於此。
在一個實施例中，第一網路介面151耦接到信號處理裝置11的網路介面114，並從信號處理裝置11接收至少一個資料封包（例如，第一資料封包PA1和第二資料封包PA2）。在一個實施例中，第二處理器153可從所述至少一個資料封包中取得定位資料P1和鏡頭參數L1。舉例來說，第二處理器153可從第一資料封包PA1中取得鏡頭參數L1，並從第二資料封包PA2中取得定位資料P1，但本發明不限於此。
在一個實施例中，第二處理器153基於定位資料P1來判定相機裝置14的相機姿態PO。在定位資料P1包括相機裝置14的平移分量和/或旋轉分量的原始測量資料的實施例中，第二處理器153可對定位資料P1進行分析/處理，並且據以將相機裝置14的實際平移分量和/或旋轉分量判定為相機姿態PO。從另一個角度來看，信號處理裝置11將相機姿態PO的原始測量資料（例如，由定位裝置12偵測到的定位資料P1）轉發到資料處理裝置15，並且資料處理裝置15據以透過對原始測量資料進行分析來判定相機姿態PO，但本發明不限於此。
在一個實施例中，第二處理器153從耦接到相機裝置14、資料處理裝置15和終端裝置16的時脈源17接收參考時脈信號CS。在一個實施例中，參考時脈信號CS可為用於相機裝置14、資料處理裝置15和終端裝置16執行同步的參考信號。在一個實施例中，參考時脈信號CS可為包括多個時脈脈衝的脈衝串（pulse train），其中所述時脈脈衝可在特定頻率下提供。在此種情形中，相鄰時脈脈衝之間的持續時間可為特定頻率的倒數。
在一個實施例中，第二處理器153可判定對應於相機姿態PO的時間戳記TS。舉例來說，第二處理器153可反應於所述時脈脈衝中的一者來判定相機姿態PO和時間戳記TS，其中時間戳記TS對應於所述時脈脈衝中的所述一者的時間點。在一個實施例中，第二處理器153可使用所述時脈脈衝中的所述一者的時間點作為對應於相機姿態PO的時間戳記TS。也就是說，第二處理器153遵循參考時脈信號CS的時序來判定相機姿態PO和相應的時間戳記TS。
在一個實施例中，第二處理器153將相機姿態PO、時間戳記TS和鏡頭參數L1封裝在資料信號S1中，並經由第二網路介面152來發送資料信號S1。
在圖1中，耦接到資料處理裝置15的終端裝置16可為用於呈現虛擬製作的視覺內容的任何智慧型裝置和/或電腦裝置。在一個實施例中，終端裝置16可為內容創作者用於編輯虛擬製作的視覺內容的電腦，但本發明不限於此。
在一個實施例中，終端裝置16可從資料處理裝置15接收資料信號S1。因此，終端裝置16可從資料信號S1中知曉在時間戳記TS處的鏡頭參數L1和相機姿態PO的狀態。此外，由相機裝置14拍攝的每一影像可由相機裝置14基於參考時脈信號CS用相應的時間戳記進行標記，並且所拍攝的具有相應時間戳記的影像將被提供給終端裝置16。在此種情形中，終端裝置16可基於每一影像的時間戳記和每一相機姿態來知曉相機裝置14在拍攝影像時的相機姿態。
舉例來說，當終端裝置16判定由相機裝置14拍攝的影像中的特定影像具有與時間戳記TS相同的時間戳記時，終端裝置16可判定相機姿態PO是相機裝置14在拍攝所述特定影像時的相機姿態。
在一個實施例中，終端裝置16可運行/呈現虛擬場景（例如，虛擬實境（virtual reality，VR）場景）。在此種情形中，當相機裝置14用於拍攝一些真實物件（例如，男演員/女演員）作為所述特定影像時，終端裝置16可從所述特定影像中裁剪/分割出與所述真實物件對應的影像區，並將所裁剪的影像區與虛擬場景進行結合以產生虛擬製作影片。在所述實施例中，虛擬場景包括對應於相機裝置14的虛擬相機，並且在拍攝特定影像時，虛擬場景中的虛擬相機的姿態需要參考相機裝置14的相機姿態PO（例如，旋轉和/或平移）。由於由本發明的實施例提供的解決方案可獲得相機裝置14的準確的相機姿態PO，因此裁剪後的影像區可準確地與虛擬場景相結合，從而提高虛擬製作的品質。
在一個實施例中，信號處理裝置11還可接收鏡頭控制信號LC，並據以控制鏡頭編碼器13來調整相機裝置14的鏡頭設置。在一個實施例中，相機裝置14的鏡頭設置可包括例如相機裝置14的鏡頭的光圈、焦點和/或焦距，並且使用者可透過例如操作終端裝置16的控制介面（例如，軟體/硬體）來判定鏡頭設置。在此種情形中，終端裝置16可根據使用者的設置來控制資料處理裝置15向信號處理裝置11發送鏡頭控制信號LC。因此，信號處理裝置11可控制鏡頭編碼器13來調整相機裝置14的鏡頭設置以對應於使用者的要求，但本發明不限於此。
參見圖2，其示出根據本發明實施例的資料處理方法的流程圖。本實施例的方法可由圖1中的信號處理裝置11來執行，且以下將利用圖1所示的組件來描述圖2中每一步驟的細節。
在步驟S210中，信號處理裝置11從定位裝置12接收定位資料P1。在步驟S220中，信號處理裝置11從鏡頭編碼器13接收相機裝置14的鏡頭參數L1。在步驟S230中，信號處理裝置11將定位資料P1和鏡頭參數L1封裝在至少一個資料封包（例如，第一資料封包PA1和第二資料封包PA2）中。在步驟S240中，信號處理裝置11發送所述至少一個資料封包。圖2中的步驟的細節可參考上文的說明，在此不再贅述。
參見圖3，其示出根據本發明實施例的資料處理方法的流程圖。本實施例的方法可由圖1中的資料處理裝置15來執行，且以下將利用圖1所示的組件來描述圖3中每一步驟的細節。
在步驟S310中，資料處理裝置15從信號處理裝置11接收所述至少一個資料封包，並從所述至少一個資料封包中取得定位資料P1和鏡頭參數L1。在步驟S320中，資料處理裝置15基於定位資料P1來判定相機裝置14的相機姿態PO。
在步驟S330中，資料處理裝置15接收參考時脈信號CS，並據以判定對應於相機姿態PO的時間戳記TS。在步驟S340中，資料處理裝置15將相機姿態PO、時間戳記TS和鏡頭參數L1封裝在資料信號S1中。在步驟S350中，資料處理裝置15發送資料信號S1。圖3中的步驟的細節可參考上文的說明，在此不再贅述。
由上文可理解，本發明的實施例提供一種對相機裝置在拍攝內容時的相機姿態進行準確追蹤的簡單、有效的解決方案。在本發明的實施例中，使用者（例如，內容創作者）只需要將定位裝置12和鏡頭編碼器13安裝到相機裝置14上，且信號處理裝置11與資料處理裝置15可協作以便於終端裝置16使所拍攝的影像與相機裝置14的相機姿態同步。因此，可提高創作虛擬製作的效率。
此外，本發明的實施例還提供一種判定座標的方法，所述方法可由本發明的資料處理系統進行，且將在下文中介紹其細節。
參見圖4，其示出根據本發明的圖1的資料處理系統。在圖4中，資料處理系統40可包括信號處理裝置11a、11b、定位裝置12a、12b和資料處理裝置15。在所述實施例中，信號處理裝置11a和11b中的每一者可為與圖1中的信號處理裝置11相同類型的裝置。定位裝置12a和12b中的每一者可為與圖1中的定位裝置12相同類型的裝置，並且圖4中的資料處理裝置15可為與圖1中的資料處理裝置15相同的裝置。此外，資料處理系統40還可包括圖1中的其他裝置，例如鏡頭編碼器13、終端裝置16、時脈源17，但本發明不限於此。
在本發明的實施例中，類似於圖1中將信號處理裝置11和定位裝置12安裝在相機裝置14上的情形，信號處理裝置11a和定位裝置12a可安裝在相應的相機裝置（圖中未示出）或其他待追蹤的物體/位置上。同樣，信號處理裝置11b和定位裝置12b可安裝在相應的相機裝置（圖中未示出）或其他待追蹤的物體/位置上。
此外，儘管圖4中僅示出信號處理裝置與定位裝置的兩種組合（每種組合至少包括一個信號處理裝置和一個定位裝置），但資料處理系統40可包括信號處理裝置與定位裝置的更多組合，但本發明不限於此。此外，為與信號處理裝置11a、11b（以及其他額外的信號處理裝置）進行連接，資料處理裝置15可設置有相應數量的第一網路介面151。舉例來說，如果資料處理裝置15需要能夠與多達N個（N是正整數）信號處理裝置進行連接，則資料處理裝置15可設計有N個第一網路介面151，但本發明不限於此。
在一些實施例中，資料處理裝置15可基於來自定位裝置12a、12b的定位資料來判定與定位裝置12a、12b對應的相機裝置的相機姿態。資料處理裝置15可將所判定的相機裝置的相機姿態發送到終端裝置16，使終端裝置16製作相應的虛擬製作（例如，將與真實物件對應的所裁剪的影像區與所呈現的虛擬場景進行結合），但本發明不限於此。
參見圖5，其示出根據本發明實施例的用於判定座標的方法的流程圖。本實施例的方法可由圖4中的資料處理裝置15來執行，且以下將利用圖4所示的組件來描述圖5中每一步驟的細節。
在步驟S510中，資料處理裝置15接收多個定位資料，其中所述多個定位資料對應於現實世界中多個定位裝置的裝置位置，且所述定位裝置包括第一定位裝置和第二定位裝置。
為更好地闡釋本發明的概念，定位裝置12a和12b將分別被假設為第一定位裝置和第二定位裝置，但本發明不限於此。
在圖4中，由資料處理裝置15接收的所述多個定位資料可包括對應於定位裝置12a的第一定位資料P11和對應於定位裝置12b的第二定位資料P12。在所述實施例中，資料處理裝置15可從連接到定位裝置12a的信號處理裝置11a接收第一定位資料P11，並且從連接到定位裝置12b的信號處理裝置11b接收第二定位資料P12。具體來說，信號處理裝置11a可從定位裝置12a接收定位資料P11並將定位資料P11發送到資料處理裝置15，且信號處理裝置11b可從定位裝置12b接收定位資料P12並將定位資料P12發送到資料處理裝置15。
在其他實施例中，資料處理裝置15可直接從定位裝置12a和12b中的每一者接收定位資料P11和P12，但本發明不限於此。
如在圖1的實施例中所描述，定位資料P11可對應於上面安裝有信號處理裝置11a和定位裝置12a的第一相機裝置的第一相機姿態，並且定位資料P12可對應於上面安裝有信號處理裝置11b和定位裝置12b的第二相機裝置的第二相機姿態，但本發明不限於此。
在一個實施例中，定位裝置12a和12b可透過由外向內追蹤機制或由內向外追蹤機制（例如，同步定位和地圖構建（simultaneous localization and mapping，SLAM））來獲得定位資料P11和P12。在由外向內追蹤的情況下，定位資料P11和P12可被理解為表徵定位裝置12a和12b相對於例如基站的位置，但本發明不限於此。
在一個實施例中，資料處理裝置15可判定定位裝置12a和12b在現實世界中的裝置位置。在定位資料P11包括定位裝置12a的平移分量和/或旋轉分量的原始測量資料的實施例中，資料處理裝置15可對定位資料P11進行分析/處理，並據以判定定位裝置12a的實際平移分量和/或旋轉分量，這可用於判定定位裝置12a在現實世界中的裝置位置。類似地，在定位資料P12包括定位裝置12b的平移分量和/或旋轉分量的原始測量資料的實施例中，資料處理裝置15可對定位資料P12進行分析/處理，並據以判定定位裝置12b的實際平移分量和/或旋轉分量，這可用於判定定位裝置12b在現實世界中的裝置位置。
在步驟S520中，反應於判定將第一定位裝置（例如，定位裝置12a）選為虛擬世界的座標系的參考點，資料處理裝置15基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置來判定第二定位裝置（例如，定位裝置12b）在虛擬世界的座標系中的座標。
為更好地闡釋本發明的概念，虛擬世界的座標系的參考點將被假設為座標系的原點。在其他實施例中，參考點可為座標系中任何其他期望的點。
舉例來說，假設預設參考點是基站中的一者的位置（即，被視為參考點的基站的位置可為（0, 0, 0）），並且定位裝置12a和12b的裝置位置在現實世界中分別為（x1, y1, z1）和（x2, y2, z2）。在此種情形中，當定位裝置12a被選為虛擬世界的座標系的原點時，定位裝置12a在虛擬世界的座標系中的座標可為例如（0, 0, 0）。基於定位裝置12a和12b的裝置位置之間的相對位置，資料處理裝置15可將定位裝置12b在虛擬世界的座標系中的座標判定為例如（x2-x1, y2-y1, z2-z1），但本發明不限於此。
因此，資料處理裝置15可簡易地使用定位裝置12a、12b中的每一者與現實世界中的基站之間的相對位置來判定定位裝置12a、12b在虛擬世界中的座標，這增加了創作虛擬製作的便利性。
在一個實施例中，資料處理裝置15還可將定位裝置12a、12b的座標提供給圖1中的終端裝置16，使得終端裝置16可使用這些資訊來創作具有更好品質的視覺內容，但本發明不限於此。
此外，透過使用在本發明中介紹的解決方案，即使基站被移動，也可容易地判定定位裝置12a、12b在虛擬世界中的座標。具體來說，使用者可能基於特定的要求來改變攝影棚中基站的位置。在此種情形中，使用者可簡單地將定位裝置12a判定為參考點，並且即使基站已經移動到新的位置，也可適當地判定定位裝置12a和12b在虛擬世界中的座標。
舉例來說，在用於由外向內追蹤的基站被移動之後，定位裝置12a和12b的裝置位置可相對於基站分別變為（x1’, y1’, z1’）和（x2’, y2’, z2’）。然而，當再次將定位裝置12a選為參考點時，定位裝置12a和12b在虛擬世界中的座標將分別被判定為（0, 0, 0）和（x2’-x1’, y2’-y1’, z2’-z1’），其中（x2’-x1’, y2’-y1’, z2’-z1’）將與（x2-x1, y2-y1, z2-z1）相同。因此，可提高創作虛擬製作的效率。
在一個實施例中，反應於判定將第二定位裝置（例如，定位裝置12b）選為虛擬世界的座標系的參考點，資料處理裝置15還可基於第一定位裝置的裝置位置與第二定位裝置的裝置位置之間的相對位置來判定第一定位裝置（例如，定位裝置12a）在虛擬世界的座標系中的座標。
在此種情形中，當定位裝置12b被選為虛擬世界的座標系的原點時，定位裝置12b在虛擬世界的座標系中的座標可為例如（0, 0, 0）。基於定位裝置12a和12b的裝置位置之間的相對位置，資料處理裝置15可將定位裝置12b在虛擬世界的座標系中的座標判定為例如（x1-x2, y1-y2, z1-z2），但本發明不限於此。
也就是說，在定位裝置12b被用作原點之後，資料處理裝置15可改為使用定位裝置12b作為虛擬世界的座標系的原點，並且定位裝置12a、12b的座標將被據以更新。
在資料處理系統40包括其他定位裝置的實施例中，資料處理裝置15可基於被選為參考點的定位裝置的裝置位置與其他定位裝置中的每一者的裝置位置之間的相對位置來判定其他定位裝置中的每一者在虛擬世界的座標系中的座標，但本發明不限於此。
參見圖6，其示出根據本發明實施例的由資料處理裝置15提供的使用者介面。在圖6中，資料處理裝置15可提供使用者介面610，其中使用者介面610示出重新定中心（re-center）功能612。在所述實施例中，使用者可使用重新定中心功能612來選擇定位裝置中的期望一者作為虛擬世界的座標系的參考點。
在一個實施例中，反應於判定重新定中心功能612被觸發，資料處理裝置15可在使用者介面610中提供多個偵測到的定位裝置。在一個實施例中，資料處理裝置15可透過檢查從定位裝置接收的封裝資料/姿態資料中的定位裝置資訊來偵測定位裝置，但本發明不限於此。在一個實施例中，使用者介面610可僅示出資料處理裝置15當前偵測到的定位裝置。
在圖6中，假設圖示614a到614c分別對應於定位裝置12a、12b和由資料處理裝置15偵測到的另一個定位裝置。在此種情形中，使用者可選擇期望的定位裝置作為虛擬世界的座標系的參考點。
在一個實施例中，假設使用者選擇了對應於定位裝置12a的圖示614a，資料處理裝置15可基於上文中的說明據以執行步驟S520，但本發明不限於此。
本發明還提供用於執行所述資料處理方法和/或用於判定座標的方法的電腦可讀儲存媒體。所述電腦可讀儲存媒體由在其中實施的多個程式指令（例如，設定程式指令和部署程式指令）構成。這些程式指令可被載入到資料處理裝置和信號處理裝置中並由所述資料處理裝置和信號處理裝置執行，從而執行上述資料處理方法和/或用於判定座標的方法以及資料處理裝置和信號處理裝置的功能。
綜上所述，本發明的實施例提供一種對相機裝置在拍攝內容時的相機姿態進行準確追蹤的簡單、有效的解決方案。在本發明的實施例中，使用者（例如，內容創作者）只需要將定位裝置和/或鏡頭編碼器安裝到相機裝置上，且信號處理裝置與資料處理裝置可協作以便於終端裝置使所拍攝的影像與相機裝置的相機姿態同步。因此，終端裝置可基於相機裝置的相機姿態更準確地將所裁剪的影像區（例如，與例如男演員/女演員等真實物件對應的影像區）與所呈現的虛擬場景進行結合，這提高了創作虛擬製作的品質和效率。
此外，本發明的實施例還提供一種用於在定位裝置中的一者被選為虛擬世界的參考點時，判定定位裝置在虛擬世界的座標系中的座標的解決方案。因此，本發明的實施例能夠容易地使用定位裝置中的每一者與現實世界中的基站之間的相對位置來判定定位裝置在虛擬世界中的座標，這增加了創作虛擬製作的便利性。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:資料處理系統 11, 11a, 11b:信號處理裝置 12, 12a, 12b:定位裝置 13:鏡頭編碼器 14:相機裝置 15:資料處理裝置 16:終端裝置 17:時脈源 40:資料處理系統 111:第一資料傳輸埠 112:第二資料傳輸埠 113:第一處理器 114:網路介面 151:第一網路介面 152:第二網路介面 153:第二處理器 610:使用者介面 612:重新定中心功能 614a, 614b, 614c:圖示 CS:參考時脈信號 L1:鏡頭參數 LC:鏡頭控制信號 P1:定位資料 P11:第一定位資料 P12:第二定位資料 PA1:第一資料封包 PA2:第二資料封包 PO:相機姿態 S1:資料信號 S210, S220, S230, S240, S310, S320, S330, S340, S350, S510, S520:步驟 TS:時間戳記
圖1示出根據本發明實施例的資料處理系統的示意圖。 圖2示出根據本發明實施例的資料處理方法的流程圖。 圖3示出根據本發明實施例的資料處理方法的流程圖。 圖4示出根據本發明的圖1的資料處理系統。 圖5示出根據本發明實施例的用於判定座標的方法的流程圖。 圖6示出根據本發明實施例的由資料處理裝置提供的使用者介面。
S510,S520:步驟

Claims (19)

  1. 一種資料處理系統，包括：資料處理裝置，經配置以執行：接收多個定位資料，其中所述多個定位資料對應於多個定位裝置在現實世界中的裝置位置，且所述定位裝置包括第一定位裝置和第二定位裝置；反應於判定將所述第一定位裝置經由使用者介面選為虛擬世界的座標系的參考點，基於所述第一定位裝置的所述裝置位置與所述第二定位裝置的所述裝置位置之間的相對位置來判定所述第二定位裝置在所述虛擬世界的所述座標系中的座標。
  2. 如請求項1所述的資料處理系統，其中所述虛擬世界的所述座標系的所述參考點為所述座標系的原點。
  3. 如請求項1所述的資料處理系統，其中所述多個定位資料包括對應於所述第一定位裝置的第一定位資料和對應於所述第二定位裝置的第二定位資料，且所述資料處理裝置執行：從連接到所述第一定位裝置的第一信號處理裝置接收所述第一定位資料；從連接到所述第二定位裝置的第二信號處理裝置接收所述第二定位資料。
  4. 如請求項3所述的資料處理系統，更包括：所述第一信號處理裝置，從所述第一定位裝置接收所述第一 定位資料且將所述第一定位資料發送到所述資料處理裝置；所述第二信號處理裝置，從所述第二定位裝置接收所述第二定位資料且將所述第二定位資料發送到所述資料處理裝置。
  5. 如請求項4所述的資料處理系統，其中所述第一定位資料對應於第一相機裝置的第一相機姿態，且所述第二定位資料對應於第二相機裝置的第二相機姿態。
  6. 如請求項5所述的資料處理系統，其中所述第一信號處理裝置連同所述第一定位裝置安裝於所述第一相機上，且所述第二信號處理裝置連同所述第二定位裝置安裝於所述第二相機上。
  7. 如請求項1所述的資料處理系統，其中所述資料處理裝置更執行：反應於判定將所述第二定位裝置選為所述虛擬世界的所述座標系的所述參考點，基於所述第一定位裝置的所述裝置位置與所述第二定位裝置的所述裝置位置之間的所述相對位置判定所述第一定位裝置在所述虛擬世界的所述座標系中的座標。
  8. 如請求項7所述的資料處理系統，其中所述資料處理裝置更執行：透過所述使用者介面顯示重新定中心功能；反應於判定觸發所述重新定中心功能而在所述使用者介面中提供多個偵測到的定位裝置，其中所述偵測到的定位裝置包括所述第一定位裝置和所述第二定位裝置。
  9. 如請求項1所述的資料處理系統，其中透過使用由外向內追蹤機制偵測每一定位資料。
  10. 如請求項1所述的資料處理系統，其中反應於判定將所述第一定位裝置選為所述虛擬世界的所述座標系的所述參考點，所述資料處理裝置更執行：基於所述第一定位裝置的所述裝置位置與所述其它定位裝置中的每一個的所述裝置位置之間的相對位置判定所述定位裝置當中的其它定位裝置中的每一個在所述虛擬世界的所述座標系中的座標。
  11. 一種用於判定座標的方法，適用於資料處理裝置，包括：接收多個定位資料，其中所述多個定位資料對應於多個定位裝置在現實世界中的裝置位置，且所述定位裝置包括第一定位裝置和第二定位裝置；反應於判定所述第一定位裝置經由使用者介面選為虛擬世界的座標系的參考點而基於所述第一定位裝置的所述裝置位置與所述第二定位裝置的所述裝置位置之間的相對位置判定所述第二定位裝置在所述虛擬世界的所述座標系中的座標。
  12. 如請求項11所述的用於判定座標的方法，其中所述虛擬世界的所述座標系的所述參考點為所述座標系的原點。
  13. 如請求項11所述的用於判定座標的方法，其中所述多個定位資料包括對應於所述第一定位裝置的第一定位資料 和對應於所述第二定位裝置的第二定位資料，且接收所述多個定位資料的步驟包括：從連接到所述第一定位裝置的第一信號處理裝置接收所述第一定位資料；從連接到所述第二定位裝置的第二信號處理裝置接收所述第二定位資料。
  14. 如請求項13所述的用於判定座標的方法，其中所述第一定位資料對應於第一相機裝置的第一相機姿態，且所述第二定位資料對應於第二相機裝置的第二相機姿態。
  15. 如請求項11所述的用於判定座標的方法，其中在判定所述第二定位裝置在所述虛擬世界的所述座標系中的所述座標的所述步驟之後，所述方法更包括：反應於判定將所述第二定位裝置選為所述虛擬世界的所述座標系的所述參考點，基於所述第一定位裝置的所述裝置位置與所述第二定位裝置的所述裝置位置之間的所述相對位置判定所述第一定位裝置在所述虛擬世界的所述座標系中的座標。
  16. 如請求項15所述的用於判定座標的方法，其中在判定所述第二定位裝置在所述虛擬世界的所述座標系中的所述座標的所述步驟之後，所述方法更包括：透過所述使用者介面顯示重新定中心功能；反應於判定觸發所述重新定中心功能而在所述使用者介面中提供多個偵測到的定位裝置，其中所述偵測到的定位裝置包括所 述第一定位裝置和所述第二定位裝置。
  17. 如請求項11所述的用於判定座標的方法，其中透過使用由外向內追蹤機制偵測每一定位資料。
  18. 如請求項11所述的用於判定座標的方法，其中反應於判定所述第一定位裝置選為所述虛擬世界的所述座標系的所述參考點，所述方法更包括：基於所述第一定位裝置的所述裝置位置與所述其它定位裝置中的每一個的所述裝置位置之間的相對位置判定所述定位裝置當中的其它定位裝置中的每一個在所述虛擬世界的所述座標系中的座標。
  19. 一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄可執行電腦程式，所述可執行電腦程式由資料處理裝置載入以執行以下步驟：接收多個定位資料，其中所述多個定位資料對應於多個定位裝置在現實世界中的裝置位置，且所述定位裝置包括第一定位裝置和第二定位裝置；反應於判定所述第一定位裝置經由使用者介面選為虛擬世界的座標系的參考點而基於所述第一定位裝置的所述裝置位置與所述第二定位裝置的所述裝置位置之間的相對位置判定所述第二定位裝置在所述虛擬世界的所述座標系中的座標。
TW111137811A 2022-01-06 2022-10-05 資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體 TWI837861B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202263297221P 2022-01-06 2022-01-06
US63/297,221 2022-01-06
US17/885,567 US12118679B2 (en) 2022-01-06 2022-08-11 Data processing system, method for determining coordinates, and computer readable storage medium
US17/885,567 2022-08-11

Publications (2)

Publication Number Publication Date
TW202328641A TW202328641A (zh) 2023-07-16
TWI837861B true TWI837861B (zh) 2024-04-01

Family

ID=84331872

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111137811A TWI837861B (zh) 2022-01-06 2022-10-05 資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體

Country Status (4)

Country Link
US (1) US12118679B2 (zh)
EP (1) EP4210318A3 (zh)
CN (1) CN116452652A (zh)
TW (1) TWI837861B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019248A1 (zh) * 2017-07-28 2019-01-31 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
US20210104102A1 (en) * 2019-10-03 2021-04-08 International Business Machines Corporation Visually interacting with three dimensional data in augmented or virtual reality
CN113543863A (zh) * 2019-02-28 2021-10-22 奇跃公司 利用相控阵波束成形对增强现实系统中的发射器进行六自由度跟踪的方法和系统
US20210349529A1 (en) * 2020-05-08 2021-11-11 Mvi Health Inc. Avatar tracking and rendering in virtual reality

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI387775B (zh) * 2008-12-18 2013-03-01 Ind Tech Res Inst 定位系統與定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019019248A1 (zh) * 2017-07-28 2019-01-31 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
CN113543863A (zh) * 2019-02-28 2021-10-22 奇跃公司 利用相控阵波束成形对增强现实系统中的发射器进行六自由度跟踪的方法和系统
US20210104102A1 (en) * 2019-10-03 2021-04-08 International Business Machines Corporation Visually interacting with three dimensional data in augmented or virtual reality
US20210349529A1 (en) * 2020-05-08 2021-11-11 Mvi Health Inc. Avatar tracking and rendering in virtual reality

Also Published As

Publication number Publication date
EP4210318A2 (en) 2023-07-12
US20230215111A1 (en) 2023-07-06
US12118679B2 (en) 2024-10-15
TW202328641A (zh) 2023-07-16
EP4210318A3 (en) 2023-07-19
CN116452652A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
TWI537747B (zh) 動作啟始之時間同步技術
US12033355B2 (en) Client/server distributed camera calibration
WO2018040480A1 (zh) 一种调整扫描状态的方法及装置
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
CN109247068A (zh) 用于滚动快门补偿的方法和设备
JP2019087791A (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2019083402A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2018049614A (ja) ビデオにおける仮想オブジェクトをボカす方法及びデバイス
WO2018209592A1 (zh) 一种机器人的运动控制方法、机器人及控制器
JP2004235934A (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
CN103985157A (zh) 一种结构光三维扫描方法及系统
JP2018207252A (ja) 画像処理システム、画像処理システムの制御方法、及び、プログラム
WO2021218683A1 (zh) 图像处理的方法和装置
CN113724303A (zh) 点云与图像匹配方法、装置、电子设备和存储介质
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
TWI837861B (zh) 資料處理系統、用於判定座標的方法以及電腦可讀儲存媒體
TWI815693B (zh) 資料處理系統、資料處理方法和電腦可讀儲存媒體
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
WO2023088383A1 (zh) 目标物体的重定位方法、装置、存储介质及电子装置
JPWO2017057426A1 (ja) 投影装置、コンテンツ決定装置、投影方法、および、プログラム
KR20180012889A (ko) 투구 연습을 통한 3차원 정보 획득 시스템 및 카메라 파라미터 산출 방법
CN113765611A (zh) 时间戳确定方法及相关设备
CN111625210A (zh) 一种大屏控制方法、装置及设备
TWI718437B (zh) 具有時間戳記對齊功能的物件位置估算方法及其物件位置估算裝置