TWI678679B - 空間座標轉換伺服器以及方法 - Google Patents

空間座標轉換伺服器以及方法 Download PDF

Info

Publication number
TWI678679B
TWI678679B TW107123709A TW107123709A TWI678679B TW I678679 B TWI678679 B TW I678679B TW 107123709 A TW107123709 A TW 107123709A TW 107123709 A TW107123709 A TW 107123709A TW I678679 B TWI678679 B TW I678679B
Authority
TW
Taiwan
Prior art keywords
spatial
point
points
coordinate
coordinate conversion
Prior art date
Application number
TW107123709A
Other languages
English (en)
Other versions
TW202006668A (zh
Inventor
洪家偉
Jia Wei Hong
黃世凱
Shih Kai Huang
翁明昉
Ming Fang Weng
林敬文
Ching Wen Lin
Original Assignee
財團法人資訊工業策進會
Institute For Information Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會, Institute For Information Industry filed Critical 財團法人資訊工業策進會
Priority to TW107123709A priority Critical patent/TWI678679B/zh
Priority to US16/049,798 priority patent/US10769811B2/en
Priority to CN201910095870.4A priority patent/CN110706159B/zh
Application granted granted Critical
Publication of TWI678679B publication Critical patent/TWI678679B/zh
Publication of TW202006668A publication Critical patent/TW202006668A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種空間座標轉換伺服器及其方法。空間座標轉換伺服器自攝像裝置接收紀錄有立體標的物之場域影片，並據以產生點雲模型。空間座標轉換伺服器判斷場景影片之複數關鍵幀，並基於攝像裝置旋轉與位移資料，將點雲模型投影至關鍵幀之關鍵影像，以產生三維座標點集合。空間座標轉換伺服器判斷立體標的物於關鍵影像中之複數二維座標點，並根據二維座標點，於三維座標點數據集合中挑選複數三維座標點。空間座標轉換伺服器根據立體標的物之標記點以及三維座標點決定空間座標轉換關係。

Description

空間座標轉換伺服器以及方法
本發明係關於一種空間座標轉換伺服器及其方法；更具體而言，本發明之空間座標轉換伺服器及其方法係用於疊合虛擬空間之座標以及實際空間之座標。
虛擬實境(Virtual Reality,VR)、擴增實境(Augmented Reality,AR)及混合實境(Mixed Reality,MR)係目前影像處理、電腦視覺及電腦圖學領域發展相當熱門之技術，其主要係透過虛擬環境或虛擬環境與實際環境之結合，讓使用者可以高度擬真之使用者體驗。
而於AR或MR技術中，通常會先依據真實環境之物件或場景進行掃描，以生成虛擬環境之模型，俾後續相應之利用。惟所生成之虛擬環境之空間座標通常與真實環境之空間座標不一致，因此，為達空間疊合之目的，多需針對空間之座標進行轉換及對齊之步驟。然而，就現有之技術觀之，空間座標轉換及對齊之方式誤差仍偏高，如此，將會使得AR或MR技術之利用產生明顯錯誤。
據此，如何降低空間座標轉換及對齊之誤差，提升空 間疊之合正確性，以避免AR或MR技術於利用時產生錯誤，乃業界須共同努力之目標。
本發明主要係提供一種用於空間座標轉換伺服器之空間座標轉換方法，包含：空間座標轉換伺服器自攝像裝置接收場域影片，其中，場域影片記錄有立體標的物，立體標的物具有複數標記點；空間座標轉換伺服器根據場域影片產生點雲模型，其中，點雲模型包含複數點雲數據；空間座標轉換伺服器判斷場景影片之複數關鍵幀，其中，各關鍵幀包含關鍵影像以及攝像裝置旋轉與位移資料；空間座標轉換伺服器基於各關鍵幀之攝像裝置旋轉與位移資料，將點雲模型之點雲數據投影至相應之各關鍵幀之關鍵影像，以產生相應於各關鍵幀之關鍵影像之三維座標點集合。
接著，空間座標轉換伺服器基於標記點，判斷立體標的物於各關鍵幀之關鍵影像中之複數二維座標點，其中，二維座標點相應於標記點之至少二標記點；空間座標轉換伺服器根據二維座標點，於三維座標點數據集合中挑選複數三維座標點，其中，三維座標點相應於至少二標記點；空間座標轉換伺服器根據至少二標記點之實際點座標以及三維座標點，決定空間座標轉換關係。
為達上述目的，本發明揭露一種空間座標轉換伺服器，包含傳輸介面以及處理單元。傳輸介面用以自攝像裝置接收場域影片，其中，場域影片記錄有立體標的物，立體標的物具有複數標記點。處理單元電性連結至傳輸介面，用以：根據場域影片產生 點雲模型，其中，點雲模型包含複數點雲數據；判斷場景影片之複數關鍵幀，其中，各關鍵幀包含關鍵影像以及攝像裝置旋轉與位移資料；基於各關鍵幀之攝像裝置旋轉與位移資料，將點雲模型之點雲數據投影至相應之各關鍵幀之關鍵影像，以產生相應於各關鍵幀之關鍵影像之三維座標點集合。
接著，處理單元用以：基於標記點，判斷立體標的物於各關鍵幀之關鍵影像中之複數二維座標點，其中，二維座標點相應於標記點之至少二標記點；根據等二維座標點，於三維座標點數據集合中挑選複數三維座標點，其中，三維座標點相應於至少二標記點；根據至少二標記點之實際點座標以及三維座標點，決定空間座標轉換關係。
1、4‧‧‧空間座標轉換伺服器
11、41‧‧‧傳輸介面
13、43‧‧‧處理單元
2、5‧‧‧攝像裝置
20、50‧‧‧場域影片
3、6‧‧‧立體標的物
30、60‧‧‧標記點
PM1、PM2‧‧‧點雲模型
PMdata1、PMdata2‧‧‧點雲數據
KF1、KF2‧‧‧關鍵幀
KM1、KM2‧‧‧關鍵影像
Kdata1、Kdata2‧‧‧攝像裝置旋轉與位移資料
Cset1、Cset2‧‧‧三維座標點集合
2DP1、2DP2‧‧‧二維座標點
3DP1、3DP2‧‧‧三維座標點
第1A圖係本發明第一實施例之空間座標轉換伺服器之操作示意圖；第1B圖係本發明第一實施例之空間座標轉換伺服器之方塊圖；第2A圖係本發明第二實施例之空間座標轉換伺服器之操作示意圖；第2B圖係本發明第二實施例之空間座標轉換伺服器之方塊圖；第3圖係本發明第三實施例之空間座標轉換方法之流程圖；以 及第4A~4B圖係本發明第四實施例之空間座標轉換方法之流程圖。
以下將透過本發明之實施例來闡釋本發明。然而，該等實施例並非用以限制本發明需在如實施例所述之任何環境、應用程式或方式方能實施。因此，以下實施例的說明僅在於闡釋本發明，而非用以限制本發明。在以下實施例及圖式中，與本發明非直接相關的元件已省略而未繪示，且繪示於圖式中的各元件之間的尺寸關係僅為便於理解，而非用以限制為實際的實施比例。
請同時參考第1A~1B圖。第1A圖係本發明第一實施例之空間座標轉換伺服器1之操作示意圖。第1B圖係本發明第一實施例之空間座標轉換伺服器1之方塊圖，空間座標轉換伺服器1包含一傳輸介面11以及一處理單元13。其中，傳輸介面11以及處理單元13間具有電性連結，而其間之互動將於下文中進一步闡述。
首先，如第1A圖所示，空間座標轉換伺服器1之傳輸介面11，自一攝像裝置2接收一場域影片20。如圖所示，場域影片20係攝像裝置2拍攝特定場景所得，而特定場景中設有一立體標的物3，且此立體標的物3具有複數標記點30，因此，拍攝產生之場域影片20將記錄有立體標的物3。
接著，空間座標轉換伺服器1之處理單元13先根據場域影片20產生一點雲模型PM1。其中，點雲模型PM1包含複數點雲 數據PMdata1。期間，處理單元13進一步判斷場景影片20之複數關鍵幀KF1，而每一關鍵幀KF1包含一關鍵影像KM1以及一攝像裝置旋轉與位移資料Kdata1。須說明，攝像裝置旋轉與位移資料Kdata1係攝像裝置2拍攝關鍵影像KM1當下之裝置旋轉與位移資訊。
隨後，針對每一關鍵幀KF1，處理單元13基於關鍵幀KF1之攝像裝置旋轉與位移資料Kdata1，將點雲模型PM1之點雲數據PMdata1投影至關鍵幀KF1之關鍵影像KM1，如此一來，將會得到相應於關鍵影像KM1之一三維座標點集合Cset1。
更詳細來說，由於點雲數據PMdata1與關鍵影像KM1係分別透過三維以及二維之方式記錄特定場景中各特徵點之數據，因此，點雲數據PMdata1將會與關鍵影像KM1所記錄之特定場景具有相對應之特徵點。據此，處理單元13主要係透過拍攝當下之攝像裝置旋轉與位移資料Kdata1，將點雲數據PMdata1投影至各關鍵影像KM1，以產生相應之三維座標點集合Cset1。其中，三維座標點集合Cset1包含各關鍵影像KM1記錄之特定場景特徵點所對應之三維座標點。
進一步來說，由於場景影片20中記錄有立體標的物3，因此，關鍵幀KF1之關鍵影像KM1中亦記錄有立體標的物3。據此，處理單元13便可基於立體標的物3之標記點30，判斷立體標的物3之標記點30於不同關鍵幀KF1之關鍵影像KM1中之複數二維座標點2DP1。
需特別說明，由於拍攝角度及範圍不同之因素，因 此，關鍵影像中可能包含不同個數之立體標的物之標記點。而於第一實施例中，立體標的物3係立方體，二維座標點2DP1相應於標記點30中之至少二標記點。另外，標記點可以立體標的物之頂點為主，並透過於立體標的物不同面設置不同辨識圖樣之方式，便於影像處理中完成不同頂點之辨識。
接著，處理單元13根據二維座標點2DP1，於三維座標點數據集合Cset1中挑選關聯性最高之複數三維座標點3DP1，如此，三維座標點3DP1則相應於標記點30之至少二標記點。最後，處理單元13便根據標記點30之至少二標記點之實際點座標(可由使用者提供)以及三維座標點3DP1，決定一空間座標轉換關係(未繪示)，俾虛擬之座標與實際之座標間之轉換。
請同時參考第2A~2B圖。第2A圖係本發明第二實施例之空間座標轉換伺服器4之操作示意圖。第2B圖係本發明第二實施例之空間座標轉換伺服器4之方塊圖，空間座標轉換伺服器4包含一傳輸介面41以及一處理單元43。其中，傳輸介面41以及處理單元43間具有電性連結。其中，第二實施例主要係進一步例示本發明空間座標轉換之操作細節。
首先，如第2A圖所示，空間座標轉換伺服器4之傳輸介面41，自一攝像裝置5接收一場域影片50。如圖所示，場域影片50係攝像裝置5拍攝特定場景所得，而特定場景中設有一立體標的物6，且此立體標的物6具有複數標記點60，因此，拍攝產生之場域影片50將記錄有立體標的物6。
接著，空間座標轉換伺服器4之處理單元43先根據場域影片50產生一點雲模型PM2。其中，點雲模型PM2包含複數點雲數據PMdata2。期間，處理單元43進一步判斷場景影片50之複數關鍵幀KF2，而每一關鍵幀KF2包含一關鍵影像KM2以及一攝像裝置旋轉與位移資料Kdata2。須說明，攝像裝置旋轉與位移資料Kdata2係攝像裝置5拍攝關鍵影像KM2當下之裝置旋轉與位移資訊。
需特別說明中，於第二實施例中，點雲模型PM2主要係基於即時定位與地圖構建(Simultaneous Localization And Mapping,SLAM)之技術完成(例如：ORB-SLAM)，本領域技術人員應可輕易理解，於此不再贅述。
隨後，針對每一關鍵幀KF2，處理單元43基於關鍵幀KF2之攝像裝置旋轉與位移資料Kdata2，將點雲模型PM2之點雲數據PMdata2投影至關鍵幀KF2之關鍵影像KM2，如此一來，將會得到相應於關鍵影像KM2之一三維座標點集合Cset2。同樣地，三維座標點集合Cset2包含各關鍵影像KM2記錄之特定場景特徵點所對應之三維座標點。
進一步來說，由於場景影片50中記錄有立體標的物6，因此，關鍵幀KF2之關鍵影像KM2中亦記錄有立體標的物6。據此，處理單元43便可基於立體標的物6之標記點60，判斷立體標的物6之標記點60於不同關鍵幀KF2之關鍵影像KM2中之複數二維座標點2DP2。需特別說明，於第二實施例中，立體標的物6係立方體，二維座標點2DP2相應於標記點60中之四標記點60a~60d。
接著，處理單元43根據二維座標點2DP2，於三維座標點數據集合Cset2中挑選關聯性最高之四個三維座標點3DP2(例如：投影點與二維座標點2DP2距離最近之三維座標點)，如此，三維座標點3DP2則相應於標記點60之四標記點60a~60d。
隨後，處理單元43根據立體標的物6之四標記點60a~60d之實際點座標(使用者提供)計算一實際中心座標點(未繪示)，並分別計算標記點60a~60d與實際中心座標點之四實際距離。另外，處理單元43根據三維座標點3DP2計算一參考中心座標點(未繪示)，並分別計算三維座標點3DP2與參考中心座標點之多個參考距離。據此，處理單元43便可根據多個實際距離以及多個參考距離計算一空間比值。其中，空間比值係多個實際距離之平均距離與多個參考距離之平均距離之比值。
再者，處理單元43進一步根據標記點60a~60d之實際座標點、三維座標點3DP2以及空間比值，計算一空間旋轉矩陣(未繪示)以及一空間位移矩陣(未繪示)，並基於空間旋轉矩陣、空間位移矩陣或二矩陣之組合決定一空間座標轉換關係(未繪示)。其中，空間座標轉換關係包含空間旋轉矩陣、空間位移矩陣或二矩陣之組合。如此一來，虛擬空間之以及實際空間之座標，便可透過空間旋轉矩陣、空間位移矩陣或二矩陣之組合完成轉換。
需特別說明，處理單元43可基於奇異值分解(Singular Value Decomposition,SVD)技術或隨機抽樣一致性(RANdom SAmple Consensus,RANSAC)技術，針對標記點之實 際座標點、三維座標點以及空間比值計算前述之矩陣，本領域技術人員應可輕易理解，於此不再贅述。
另外，前述實施例之傳輸介面可為實體傳輸線路或無線網路收發器，處理單元可為中央處理單元、其他可執行相關指令之硬體電路元件或本領域技術人員可透過本發明內容理解之之其他計算電路中之任一者，惟其並非用以限制本發明之硬體實施態樣。
本發明之第三實施例為空間座標轉換方法，其流程圖請參考第3圖。第三實施例之方法係用於一空間座標轉換伺服器(例如前述實施例之空間座標轉換伺服器)。第三實施例之詳細步驟如下所述。
首先，執行步驟301，空間座標轉換伺服器自一攝像裝置接收一場域影片。其中，場域影片記錄有一立體標的物，立體標的物具有複數標記點。執行步驟302，空間座標轉換伺服器根據場域影片產生一點雲模型。其中，點雲模型包含複數點雲數據。執行步驟303，空間座標轉換伺服器判斷場景影片之複數關鍵幀。其中，各關鍵幀包含一關鍵影像以及一攝像裝置旋轉與位移資料。
接著，執行步驟304，空間座標轉換伺服器基於各關鍵幀之攝像裝置旋轉與位移資料，將點雲模型之點雲數據投影至相應之各關鍵幀之關鍵影像，以產生相應於各關鍵幀之關鍵影像之一三維座標點集合。執行步驟305，空間座標轉換伺服器基於標記點，判斷立體標的物於各關鍵幀之關鍵影像中之複數二維座標 點。其中，二維座標點相應於標記點之至少二標記點。
隨後，執行步驟306，空間座標轉換伺服器根據二維座標點，於三維座標點數據集合中挑選複數三維座標點。其中，三維座標點相應於至少二標記點。最後，執行步驟307，空間座標轉換伺服器根據至少二標記點之實際點座標以及三維座標點，決定一空間座標轉換關係。
本發明之第四實施例為空間座標轉換方法，其流程圖請參考第4A~4B圖。第四實施例之方法係用於一空間座標轉換伺服器(例如前述實施例之空間座標轉換伺服器)。第四實施例之詳細步驟如下所述。
首先，執行步驟401空間座標轉換伺服器自一攝像裝置接收一場域影片。其中，場域影片記錄有一立體標的物，立體標的物具有複數標記點。執行步驟402，空間座標轉換伺服器基於SLAM技術，根據場域影片產生一點雲模型。其中，點雲模型包含複數點雲數據。執行步驟403，空間座標轉換伺服器判斷場景影片之複數關鍵幀。其中，各關鍵幀包含一關鍵影像以及一攝像裝置旋轉與位移資料。
接著，執行步驟404，空間座標轉換伺服器基於各關鍵幀之攝像裝置旋轉與位移資料，將點雲模型之點雲數據投影至相應之各關鍵幀之關鍵影像，以產生相應於各關鍵幀之關鍵影像之一三維座標點集合。執行步驟405，空間座標轉換伺服器基於標記點，判斷立體標的物於各關鍵幀之關鍵影像中之複數二維座標 點。其中，二維座標點相應於標記點之至少二標記點。執行步驟406，空間座標轉換伺服器根據二維座標點，於三維座標點數據集合中挑選複數三維座標點。其中，三維座標點相應於至少二標記點。
隨後，執行步驟407a及步驟407b。其中，步驟407a主要係空間座標轉換伺服器根據立體標的物之至少二標記點之實際點座標計算一實際中心座標點，並分別計算至少二標記點與實際中心座標點之至少二實際距離。步驟407b主要係空間座標轉換伺服器根據三維座標點計算一參考中心座標點，並分別計算三維座標點與參考中心座標點之複數參考距離。
執行步驟408，空間座標轉換伺服器根據至少二實際距離以及參考距離計算一空間比值。其中，空間比值係至少二實際距離之平均距離與參考距離之平均距離之比值。執行步驟409，空間座標轉換伺服器基於SVD或RANSAC技術，根據至少二標記點之實際座標點、三維座標點以及空間比值，計算一空間旋轉矩陣或一空間位移矩陣，並據以決定一空間座標轉換關係。其中，空間座標轉換關係包含空間旋轉矩陣或空間位移矩陣。
綜合上述，本發明之空間座標轉換伺服器及方法，主要可透過場景中特殊立體標的物之設置與辨識，大幅地增加座標轉換之可靠度，如此一來，便可降低空間座標轉換及對齊之誤差，提升空間疊之合正確性，並改善先前技術之缺點。
惟上述實施例僅為例示性說明本發明之實施態樣， 以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技藝之人士可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。

Claims (12)

  1. 一種用於一空間座標轉換伺服器之空間座標轉換方法，包含：該空間座標轉換伺服器自一攝像裝置接收一場域影片，其中，該場域影片記錄有一立體標的物，該立體標的物具有複數標記點；該空間座標轉換伺服器根據該場域影片產生一點雲模型，其中，該點雲模型包含複數點雲數據；該空間座標轉換伺服器判斷該場景影片之複數關鍵幀，其中，各該關鍵幀包含一關鍵影像以及一攝像裝置旋轉與位移資料；該空間座標轉換伺服器基於各該關鍵幀之該攝像裝置旋轉與位移資料，將該點雲模型之該等點雲數據，投影至相應之各該關鍵幀之該關鍵影像，以產生相應於各該關鍵幀之該關鍵影像之一三維座標點集合；該空間座標轉換伺服器基於該等標記點，判斷該立體標的物於各該關鍵幀之該關鍵影像中之複數二維座標點，其中，該等二維座標點相應於該等標記點之至少二標記點；該空間座標轉換伺服器根據該等二維座標點，於該三維座標點數據集合中挑選複數三維座標點，其中，該等三維座標點相應於該至少二標記點；及該空間座標轉換伺服器根據該至少二標記點之實際點座標以及該等三維座標點，決定一空間座標轉換關係。
  2. 如請求項1所述之空間座標轉換方法，其中，該空間座標轉換伺服器決定該空間座標轉換關係之步驟更包含：該空間座標轉換伺服器根據該立體標的物之該至少二標記點之實際點座標計算一實際中心座標點，並分別計算該至少二標記點與該實際中心座標點之至少二實際距離；該空間座標轉換伺服器根據該等三維座標點計算一參考中心座標點，並分別計算該等三維座標點與該參考中心座標點之複數參考距離；該空間座標轉換伺服器根據該至少二實際距離以及該等參考距離計算一空間比值，其中，該空間比值係該至少二實際距離之平均距離與該等參考距離之平均距離之比值；及該空間座標轉換伺服器根據該至少二標記點之實際座標點、該等三維座標點以及該空間比值，計算一空間旋轉矩陣，其中，該空間座標轉換關係包含該空間旋轉矩陣。
  3. 如請求項2所述之空間座標轉換方法，其中，該空間座標轉換伺服器基於奇異值分解(Singular Value Decomposition)技術或隨機抽樣一致性(RANdom SAmple Consensus)技術計算該空間旋轉矩陣。
  4. 如請求項1所述之空間座標轉換方法，其中，該空間座標轉換伺服器決定該空間座標轉換關係之步驟更包含：該空間座標轉換伺服器根據該立體標的物之該至少二標記點之實際點座標計算一實際中心座標點，並分別計算該至少二標記點與該實際中心座標點之至少二實際距離；該空間座標轉換伺服器根據該等三維座標點計算一參考中心座標點，並分別計算該等三維座標點與該參考中心座標點之複數參考距離；該空間座標轉換伺服器根據該至少二實際距離以及該等參考距離計算一空間比值，其中，該空間比值係該至少二實際距離之平均距離與該等參考距離之平均距離之比值；及該空間座標轉換伺服器根據該至少二標記點之實際座標點、該等三維座標點以及該空間比值，計算一空間位移矩陣，其中，該空間座標轉換關係包含該空間位移矩陣。
  5. 如請求項4所述之空間座標轉換方法，其中，該空間座標轉換伺服器基於奇異值分解(Singular Value Decomposition)技術或隨機抽樣一致性(RANdom SAmple Consensus)技術計算該空間位移矩陣。
  6. 如請求項1所述之空間座標轉換方法，其中，該空間座標轉換伺服器基於即時定位與地圖構建(Simultaneous Localization And Mapping)技術產生該點雲模型。
  7. 一種空間座標轉換伺服器，包含：一傳輸介面，用以自一攝像裝置接收一場域影片，其中，該場域影片記錄有一立體標的物，該立體標的物具有複數標記點；及一處理單元，電性連結至該傳輸介面，用以：根據該場域影片產生一點雲模型，其中，該點雲模型包含複數點雲數據；判斷該場景影片之複數關鍵幀，其中，各該關鍵幀包含一關鍵影像以及一攝像裝置旋轉與位移資料；基於各該關鍵幀之該攝像裝置旋轉與位移資料，將該點雲模型之該等點雲數據，投影至相應之各該關鍵幀之該關鍵影像，以產生相應於各該關鍵幀之該關鍵影像之一三維座標點集合；基於該等標記點，判斷該立體標的物於各該關鍵幀之該關鍵影像中之複數二維座標點，其中，該等二維座標點相應於該等標記點之至少二標記點；根據該等二維座標點，於該三維座標點數據集合中挑選複數三維座標點，其中，該等三維座標點相應於該至少二標記點；及根據該至少二標記點之實際點座標以及該等三維座標點，決定一空間座標轉換關係。
  8. 如請求項7所述之空間座標轉換伺服器，其中，該處理單元更用以：根據該立體標的物之該至少二標記點之實際點座標計算一實際中心座標點，並分別計算該至少二標記點與該實際中心座標點之至少二實際距離；根據該等三維座標點計算一參考中心座標點，並分別計算該等三維座標點與該參考中心座標點之複數參考距離；根據該至少二實際距離以及該等參考距離計算一空間比值，其中，該空間比值係該至少二實際距離之平均距離與該等參考距離之平均距離之比值；及根據該至少二標記點之實際座標點、該等三維座標點以及該空間比值，計算一空間旋轉矩陣，其中，該空間座標轉換關係包含該空間旋轉矩陣。
  9. 如請求項8所述之空間座標轉換伺服器，其中，該處理單元基於奇異值分解(Singular Value Decomposition)技術或隨機抽樣一致性(RANdom SAmple Consensus)技術計算該空間旋轉矩陣。
  10. 如請求項7所述之空間座標轉換伺服器，其中，該處理單元更用以：根據該立體標的物之該至少二標記點之實際點座標計算一實際中心座標點，並分別計算該至少二標記點與該實際中心座標點之至少二實際距離；根據該等三維座標點計算一參考中心座標點，並分別計算該等三維座標點與該參考中心座標點之複數參考距離；根據該至少二實際距離以及該等參考距離計算一空間比值，其中，該空間比值係該至少二實際距離之平均距離與該等參考距離之平均距離之比值；及根據該至少二標記點之實際座標點、該等三維座標點以及該空間比值，計算一空間位移矩陣，其中，該空間座標轉換關係包含該空間位移矩陣。
  11. 如請求項10所述之空間座標轉換伺服器，其中，該處理單元基於奇異值分解(Singular Value Decomposition)技術或隨機抽樣一致性(RANdom SAmple Consensus)技術計算該空間位移矩陣。
  12. 如請求項7所述之空間座標轉換伺服器，其中，該處理單元基於即時定位與地圖構建(Simultaneous Localization And Mapping)技術產生該點雲模型。
TW107123709A 2018-07-09 2018-07-09 空間座標轉換伺服器以及方法 TWI678679B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107123709A TWI678679B (zh) 2018-07-09 2018-07-09 空間座標轉換伺服器以及方法
US16/049,798 US10769811B2 (en) 2018-07-09 2018-07-30 Space coordinate converting server and method thereof
CN201910095870.4A CN110706159B (zh) 2018-07-09 2019-01-31 空间坐标转换服务器以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107123709A TWI678679B (zh) 2018-07-09 2018-07-09 空間座標轉換伺服器以及方法

Publications (2)

Publication Number Publication Date
TWI678679B true TWI678679B (zh) 2019-12-01
TW202006668A TW202006668A (zh) 2020-02-01

Family

ID=69101663

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107123709A TWI678679B (zh) 2018-07-09 2018-07-09 空間座標轉換伺服器以及方法

Country Status (3)

Country Link
US (1) US10769811B2 (zh)
CN (1) CN110706159B (zh)
TW (1) TWI678679B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178266A (zh) * 2019-12-30 2020-05-19 北京华捷艾米科技有限公司 一种生成人脸关键点的方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI709062B (zh) * 2019-09-20 2020-11-01 財團法人資訊工業策進會 虛實疊合方法與系統
CN112066876B (zh) * 2020-08-27 2021-07-02 武汉大学 一种利用手机快速测量物体尺寸方法
CN114119684B (zh) * 2020-08-31 2023-02-28 中国移动通信集团浙江有限公司 基于四面体结构的标记点配准方法
US11830213B2 (en) * 2020-11-05 2023-11-28 Streem, Llc Remote measurements from a live video stream

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200807309A (en) * 2006-07-28 2008-02-01 Univ Nat Cheng Kung Method and system for reconstructing 3-D endoscopic images
CN103325143A (zh) * 2013-06-13 2013-09-25 华南理工大学 基于模型匹配的标记点自动注册方法
US20150302665A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Triangulation of points using known points in augmented or virtual reality systems
TW201801682A (zh) * 2016-07-11 2018-01-16 王民良 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
CN107665507A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102169579A (zh) 2011-03-31 2011-08-31 西北工业大学 密集点云模型快速精确配准方法
CN107798704B (zh) * 2016-08-30 2021-04-30 成都理想境界科技有限公司 一种用于增强现实的实时图像叠加方法及装置
CN107194983B (zh) * 2017-05-16 2018-03-09 华中科技大学 一种基于点云与影像数据的三维可视化方法和系统
CN107392944A (zh) * 2017-08-07 2017-11-24 广东电网有限责任公司机巡作业中心 全景影像与点云的配准方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200807309A (en) * 2006-07-28 2008-02-01 Univ Nat Cheng Kung Method and system for reconstructing 3-D endoscopic images
CN103325143A (zh) * 2013-06-13 2013-09-25 华南理工大学 基于模型匹配的标记点自动注册方法
US20150302665A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Triangulation of points using known points in augmented or virtual reality systems
TW201801682A (zh) * 2016-07-11 2018-01-16 王民良 影像增強真實度之方法與應用該方法在可穿戴式眼鏡之手術導引
CN107665507A (zh) * 2016-07-29 2018-02-06 成都理想境界科技有限公司 基于平面检测实现增强现实的方法及装置
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178266A (zh) * 2019-12-30 2020-05-19 北京华捷艾米科技有限公司 一种生成人脸关键点的方法及装置

Also Published As

Publication number Publication date
US20200013187A1 (en) 2020-01-09
CN110706159B (zh) 2023-05-26
CN110706159A (zh) 2020-01-17
US10769811B2 (en) 2020-09-08
TW202006668A (zh) 2020-02-01

Similar Documents

Publication Publication Date Title
TWI678679B (zh) 空間座標轉換伺服器以及方法
US10474227B2 (en) Generation of virtual reality with 6 degrees of freedom from limited viewer data
CN102938844B (zh) 利用立体成像生成自由视点视频
CN110869980B (zh) 将内容分发和呈现为球形视频和3d资产组合
US20070279412A1 (en) Infilling for 2D to 3D image conversion
CN104349155B (zh) 模拟立体图像显示方法及显示设备
CN103345736A (zh) 一种虚拟视点绘制方法
CN111127524A (zh) 一种轨迹跟踪与三维重建方法、系统及装置
US10444931B2 (en) Vantage generation and interactive playback
da Silveira et al. Dense 3D scene reconstruction from multiple spherical images for 3-DoF+ VR applications
US11328445B1 (en) Methods and systems for volumetric modeling independent of depth data
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
JP2012185772A (ja) 非固定ズームカメラを用いた自由視点映像の合成画質高精度化方法およびプログラム
Lao et al. Rolling shutter homography and its applications
Lan et al. Development of a virtual reality teleconference system using distributed depth sensors
Kurillo et al. Framework for hierarchical calibration of multi-camera systems for teleimmersion
Tian et al. Registration and occlusion handling based on the FAST ICP-ORB method for augmented reality systems
Delaunoy et al. Two cameras and a screen: How to calibrate mobile devices?
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
CN114913245A (zh) 一种基于无向有权图的多标定块多摄像头标定方法及系统
CN108038871A (zh) 旋转平台的旋转中心确定方法、装置、服务器和存储介质
JP2000048204A (ja) 実寸立体モデルの作成方法
Chalumattu et al. Simplifying the process of creating augmented outdoor scenes
TWI812369B (zh) 控制方法、追蹤系統以及非暫態電腦可讀取媒體
WO2024032165A1 (zh) 3d模型生成方法、系统及电子设备