TWI785332B - 基於光標籤的場景重建系統 - Google Patents
基於光標籤的場景重建系統 Download PDFInfo
- Publication number
- TWI785332B TWI785332B TW109116072A TW109116072A TWI785332B TW I785332 B TWI785332 B TW I785332B TW 109116072 A TW109116072 A TW 109116072A TW 109116072 A TW109116072 A TW 109116072A TW I785332 B TWI785332 B TW I785332B
- Authority
- TW
- Taiwan
- Prior art keywords
- scene
- optical tag
- pose information
- image
- light
- Prior art date
Links
Images
Landscapes
- Holo Graphy (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本發明提供一種基於光標籤的場景重建系統，包含一光標籤裝置、以及一拍攝裝置。該光標籤裝置具有一光標籤。該拍攝裝置包含一攝影機以及一運算模組。該攝影機拍攝該光標籤裝置複數次，取得複數張包括該光標籤以及該光標籤裝置周圍的場景圖像，並輸出至該運算模組。該運算模組個別分析該場景圖像的位姿訊息並從中取得一組具有相關聯位姿訊息的該場景圖像進行場景重建。
Description
本發明提供一種用於擴充實境的三維場景重建系統，尤其是指一種基於光標籤重新建立三維場景的三維場景重建系統。
電腦視覺(Computer Vision)是一門研究如何使機器「看」的科學，更進一步的說，就是指用攝影機和電腦代替人眼對目標進行辨識、跟蹤和測量等機器視覺，並且能用電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。從電腦視覺科學延伸而發展出圖像處理、圖像分析、圖形識別、機器視覺等從圖像或者多維資料中取得「資訊」並處理的技術，前述的技術能藉由人工智慧系統去運算。
其中圖像處理主要是針對二維圖像去實現圖像的轉化，尤其是針對圖元級的操作，例如提高圖像對比度，邊緣提取，去雜訊和幾何變換如圖像旋轉。圖像分析則是對二維圖像進行分類、提取特徵。在前面技術的基礎之下結合統計學的理論達成圖形識別技術。
在前述技術與現代硬體設備的前提下，能進行場景重建，所謂的場景重建是藉由錄影或是照片為該場景建立一個三維模型。最簡單的情況便是生成一組三維空間中的點，更複雜的情況下會建立起完整的三維表面模型。但在現今技術要使用二維圖像重建三維場景模型，需要專門的拍攝人員使用專用相機拍攝，除了成本極高外，對於大規模且無序採集的
二維圖像來重建三維圖像，容易因為匹配容易產生誤差而造成重建效果與實際環境產生落差。
本發明提供一種基於光標籤的場景重建系統包含一光標籤裝置、以及一拍攝裝置。該光標籤裝置具有一光標籤。該拍攝裝置包含一攝影機以及一運算模組，該攝影機拍攝該光標籤裝置複數次，取得複數張包括該光標籤以及該光標籤裝置周圍的場景圖像，並輸出至該運算模組，該運算模組個別分析該場景圖像的位姿訊息並從中取得一組具有相關聯位姿訊息的該場景圖像進行場景重建。
本發明另外一種基於光標籤的場景重建系統包含一光標籤裝置、一或複數個拍攝裝置、以及一伺服器。該光標籤裝置具有一光標籤。該拍攝裝置具有傳輸資訊的功能，該攝影機拍攝該光標籤裝置複數次，取得複數張包括該光標籤以及該光標籤裝置周圍的場景圖像。該伺服器具有一運算模組並連接至該拍攝裝置，該伺服器接收該複數張場景圖像並藉由該運算模組個別分析該場景圖像的位姿訊息並從中取得一組具有相關聯位姿訊息的該場景圖像進行場景重建。
是以，比起習知技術，本發明無需使用專用相機進行圖像採集，並且可以透過光標籤取得三維空間中的位置以快速、準確地重建三維模型。
100:基於光標籤的場景重建系統
10:光標籤裝置
20:拍攝裝置
22:攝影機
24:運算模組
PA:極線夾角
S201-S204:步驟
300:基於光標籤的場景重建系統
30:光標籤裝置
40:拍攝裝置
50:伺服器
54:運算模組
S401-S404:步驟
圖1，本發明基於光標籤的場景重建系統的方塊示意圖。
圖2，本發明拍攝裝置的方塊示意圖。
圖3，本發明基於光標籤的場景重建系統的流程示意圖。
圖4，本發明中基於極線夾角選擇場景圖像的示意圖。
圖5，本發明另一實施例的方塊示意圖。
圖6，本發明伺服器的方塊示意圖。
圖7，本發明另一實施例的流程示意圖。
有關本發明之詳細說明及技術內容，現就配合圖式說明如下。再者，本發明中之圖式，為說明方便，其比例未必照實際比例繪製，該等圖式及其比例並非用以限制本發明之範圍，在此先行敘明。
以下請參閱「圖1」，為本發明基於光標籤的場景重建系統方塊示意圖，如圖所示：本實施例提供一種基於光標籤的場景重建系統100，主要包括光標籤裝置10、以及拍攝裝置20。其中「圖1」中所示的虛線，係指拍攝裝置20對光標籤裝置10的拍攝關係，於此先行敘明。
所述的光標籤裝置10具有光標籤。前述的光標籤(Optical Label)是一種能通過不同發光方式來傳遞資訊的裝置，不同於傳統二維碼，光標籤具有識別距離遠、指向性強、不受可見光條件的限制，因此光標籤能提供更遠的識別距離以及更強的資訊交換能力。通常光標籤通常可包括控制器或至少一個光源，該控制器可以藉由不同模式驅動光源，使光標籤能向外傳遞不同的資訊。光標籤裝置10通常於安裝光標籤後被分配一個標示資訊，作為光標籤的識別資訊，且該識別資訊能取得光標籤裝置10的裝置位姿訊息；其中，該裝置位姿訊息可以由人工標定、由光標籤裝置10本身的感測器決定、或由其他裝置拍攝光標籤裝置10後經由影像分析而決定，於本發明中不予以限制。
前述的裝置位姿訊息包含了位置資訊(座標)與姿態資訊。前述的姿態資訊是指光標籤裝置10在某個座標系(例如世界座標系或光標籤
座標系)中的朝向資訊(例如朝向正北方向)。當光標籤裝置10平移而沒有旋轉時，位置資訊(座標)變化，但光標籤裝置10的姿態資訊會保持不變。當光標籤裝置10僅旋轉而不平移時，光標籤裝置10的位置資訊保持不變，但光標籤裝置10的姿態資訊會發生變化。
於另外的實施例中，前述的位置資訊於一可行的實施例中可以是裝置本身於世界座標中的位址資訊(例如世界大地測量系統(World Geodetic System,WGS)、經緯座標系等)。於其他可行的實施例中，位置資訊亦可以是基於用戶設定相對穩定的錨點而預先建立的空間座標系、或其他任意可供作為絕對位置或相對位置參考的空間座標資訊，於本發明中不予以限制。
所述的拍攝裝置20包含攝影機22以及運算模組24，請參酌「圖2」。拍攝裝置20具有攝影機22能對光標籤裝置10拍攝複數次，取得複數張具有光標籤裝置10的場景圖像並輸出至該運算模組24。拍攝裝置20可以為(但不限定於)具有拍攝功能的手機(Smart Phone)、平板電腦(Tablet)、智慧眼鏡(Smart Glasses)、穿戴式裝置(Wearable Devices)等或其他具有傳感器並具有攝像鏡頭(攝影機22)的其他裝置，該等裝置的選擇於本發明中不予以限制。
該拍攝裝置20的運算模組24用以接收攝影機22的場景圖像，並個別分析該場景圖像的位姿訊息並從中取得一組具有相關聯位姿訊息的該場景圖像進行場景重建。所述的運算模組24可以由單一晶片實施，或是透過複數個晶片協同執行。所述的晶片例如可以為(但不限定於)數位訊號處理器(Digital Signal Processor,DSP)、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)等可將資訊或訊號做處理運算用途
或特殊用途的其他類似裝置或這些裝置的組合，於本發明中不予以限制。於一可行的實施例中，運算模組24內包含資料儲存單元，該資料儲存單元可以為(但不限定於)快取記憶體(Cache memory)、動態隨機存取記憶體(DRAM)、持續性記憶體(Persistent Memory)等可以做為儲存資料和取出資料用途之裝置或其組合，於本發明中不予以限制。該資料儲存單元亦可以跟該運算模組24共構為一處理器實施，於本發明中不予以限制。
以上針對本發明硬體架構的一具體實施例進行說明，有關於本發明的工作程式將於下面進行更進一步的說明，請一併參閱「圖3」：首先，工作步驟係經由用戶啟動軟體後開始執行，用戶將拍攝裝置20的攝影機22對準至該光標籤裝置10，此時攝影機22對光標籤裝置10的光標籤進行複數次拍攝取得複數張包括光標籤以及光標籤裝置10周圍的場景圖像並輸出至運算模組24(步驟S201)。
運算模組24接收複數張場景圖像並個別分析場景圖像的位姿訊息(步驟S202)。
所述的位姿訊息(包含位置資訊與姿態資訊)係指拍攝裝置20與光標籤裝置10的相對位置關係以及由該光標籤裝置10所定義的該拍攝裝置20的相對姿態。前述的相關位置關係與相對姿態可結合描述為拍攝裝置20與光標籤裝置10的相對位姿關係。
於一實施例中，可以藉由下述方式來確定拍攝裝置20相對於光標籤裝置10的位姿訊息(位置資訊與姿態資訊)。首先，根據光標籤裝置10的光標籤建立一個座標系，該座標系可以被稱為光標籤座標系。可以將光標籤上的一些點確定為在光標籤座標系中的一些空間點，並且可以根據光標籤的物理尺寸資訊及/或物理形狀資訊來確定這些空間點在光標籤座標系中的座標。光標籤上的一些點例如可以是光標籤的外殼的角、光標
籤中的光源的端部、光標籤中的一些標識點等。根據光標籤的物理結構特徵或幾何結構特徵，可以在拍攝裝置20拍攝的圖像中找到與這些空間點分別對應的像點，並確定各個像點在圖像中的位置。根據各個空間點在光標籤座標系中的座標以及對應的各個像點在圖像中的位置，結合拍攝裝置20的內參資訊，可以計算得到拍攝該圖像時拍攝裝置20在光標籤座標系中的位姿資訊(R，t)，其中R為旋轉矩陣，其可以用於表示拍攝裝置20在光標籤座標系中的姿態資訊(也可稱為朝向資訊)，t為位移向量，其可以用於表示拍攝裝置20在光標籤座標系中的位置資訊。前述計算R、t的方法能利用已知的現有技術來計算取得，例如，用於3D-2D技術的PnP(Perspective-n-Point)方法來計算R、t。
於另一實施例中，所述的位姿訊息也可以基於光標籤裝置10的裝置位姿訊息以及拍攝裝置20與光標籤裝置10的相對位姿關係而計算取得。
承上步驟，運算模組24取得每張場景圖像的位姿訊息後，運算模組24將一組具有相關聯位姿訊息的該場景圖像依據個別該場景圖像的位姿訊息進行空間排序(步驟S203)。
所述的相關聯位姿訊息，係指根據運算模組24的需求將位姿訊息中將相同距離或/及相同角度定義為相關聯，或將位姿訊息中將相似距離或/及相似角度定義為相關聯，或將位姿訊息中將相鄰距離或/及相鄰角度定義為相關聯，或根據實際的需求去對位姿訊息中的資訊進行相關聯的定義。前述的「相同」一詞可根據實際需求給予彈性範圍，例如需求距離的正負2%、4%、6%等，於本發明中該彈性範圍的數值不予以限制。
所述的空間排序係指在空間中方位或角度的排序，例如：能根據相同距離但對光標籤裝置10的拍攝角度不同的場景圖像進行從左至
右的排序，或從右至左的排序，或對相同角度但與光標籤裝置10有不同距離的進行由遠到近、或由近到遠的排序，前述排序的方式可以依據實際需求調整，於本發明中不予以限制。
於本實施例中，運算模組24將位姿訊息中與光標籤裝置10距離大致相同的歸類(或篩選出來)為一組，藉此濾除過遠或是過近的場景圖像，避免在場景重建時能匹配的特徵點太少，並有利於後續重建演算法的運行。再將剛選擇的一組相關聯位姿訊息的場景圖像依據圖像中拍攝光標籤裝置10的所在位置進行從左至右的排序(空間排序)。
於一較佳實施例中，請參酌「圖4」，為了使重建演算法中深度的重建運算更加有利，能在一組相關聯位姿訊息為相同距離、不同角度的場景圖像中，藉由運算模組24計算該等場景圖像的極線夾角PA後，將對應於該極線夾角PA而取得的閥值對該等場景圖像進行篩選(或篩選再排序)，每隔一定閥值(例如4-7度)選取一個視角，並選取與該視角對應的圖像。所述的極線夾角PA，係指在三維重建中針對相機、3D點及對應的觀察相關的對極幾何(Epipolar Geometry)去運算對極約束(Epipolar Constraint)後取得極線夾角PA，藉此利用兩個同一特徵點計算特徵點深度，取得準確的特徵點深度，前述的運演算法僅為本發明列舉的一實施例，本發明不以此運算方式為限。
最後，運算模組24根據選取的一組相關聯的場景圖像進行場景重建(步驟S204)。
所述的場景重建方法可包括立體視覺法(Multi-View Stereo,MVS)、尺度不變特徵轉換(Scale-Invariant Feature Transform,SIFT)、移動回復結構(Structure from Motion,SfM)、多視立體(Multi-view
Stereo,MVS)、柏松表面重構(Poisson surface reconstruction,PSR)等演算法能做為三維重建的方法，該演算法於本發明中不予以限制。
當前述的流程結束後，可重複步驟203、步驟204，使本發明能依據實際需求建立需要的場景模組。
於一可行的實施例中，運算模組24中具有特徵重建程式，特徵重建程式從場景圖像或場景模組中選擇與局部場景相關的圖像或特徵，依據該圖像或該特徵相關聯的場景圖像或場景模組進行增量重建。
具體而言，在本發明已完成的場景模組後，特徵重建程式能分析並判斷場景模組中所需要更新的局部區域/物件，再從已經完成的場景模組或/及具有位姿訊息的場景圖像中選擇與該需要更新的局部區域/物件相關聯的場景圖像或場景模組，並藉由場景圖像或場景模組中的數據(或特徵)來針對需要更新的局部區域/物件進行增量重建。所述增量重建的演算法與場景重建的演算法相同，於此不再贅述。
前述的分析方法可以藉由深度神經網路(Deep Neural Networks,DNN)、卷積神經網路(Convolutional neural networks,CNN)、深度置信網路(Deep belief networks,DBN)等方式進行分析，該分析方法於本發明中不予以限制。
以下請參閱「圖5」，為本發明另一實施例的方塊示意圖，如圖所示：本實施例相較於前述實施例的差異在於拍攝裝置40具有傳輸資訊的功能，但拍攝裝置40不具有運算模組，而運算的功能由伺服器50的運算模組54進行運算，並且本實施例中與前實施例相同的部分以下即不再予以贅述，於此先行敘明。此外，「圖5」中所示的虛線，係指拍攝裝置40拍攝光標籤裝置30的關係，一併於此敘明。
本實施例提供一種基於光標籤的場景重建系統300，主要包括光標籤裝置30、一或複數個拍攝裝置40、以及伺服器50。
所述的拍攝裝置40具有傳輸資訊的功能，並且拍攝裝置40拍攝該光標籤裝置30複數次，取得複數張具有光標籤裝置30的場景圖像並輸出具有該場景圖像的圖像訊號。於本發明中所述的拍攝裝置40可以為(但不限定於)具有拍攝功能、聯網功能的手機(Smart Phone)、平板電腦(Tablet)、智慧眼鏡(Smart Glasses)、穿戴式裝置(Wearable Devices)等或其他具有傳感器並具有攝像鏡頭與網絡晶片的其他裝置，該等裝置的選擇於本發明中不予以限制。
所述的伺服器50內部具有一運算模組54，伺服器50接收該圖像訊號，請參酌「圖6」。所述的伺服器50經由網際網路連接至該用戶裝置以接收該用戶訊息。前述的伺服器50(Server)包括中央處理器、硬碟、記憶體等，並由該等硬體協同執行對應的軟體(Software)以實現本發明中所述的功能及演算法，該等軟硬體於電訊號上的協同關係非屬本發明所欲限制的範圍。其中，運算模組54於伺服器50的硬體中。
於一可行的實施例中，運算模組54內包含資料儲存單元。該資料儲存單元亦可以跟該運算模組54共構為一處理器實施，於本發明中不予以限制。
上述為本發明的一具體實施例，有關於本發明的硬體架構設計係如上所述，本發明的工作運行將於下面進行更進一步的說明，請參酌「圖7」，為本發明另一實施例的流程示意圖：首先，工作步驟係經由用戶啟動軟體後開始執行，用戶將拍攝裝置40對準至該光標籤裝置30，此時拍攝裝置40對光標籤裝置30的光標籤進行複數次拍攝取得複數張包括光標籤以及該光標籤裝置30周圍
的場景圖像並輸出一具有前述場景圖像的圖像訊號並經由網路傳送至伺服器50(步驟S401)。
伺服器50藉由網路接收包含複數張場景圖像的圖像訊號後，再經由運算模組54個別分析場景圖像的位姿訊息(步驟S402)。
前述的位姿訊息(位置資訊與姿態資訊)指拍攝裝置40與光標籤裝置30的相對位置關係以及由該光標籤裝置30所定義的該拍攝裝置40的相對姿態。前述的相關位置關係與相對姿態可結合描述為拍攝裝置40與光標籤裝置30的相對位姿關係。
於一實施例中，可以藉由下述方式來確定拍攝裝置40相對於光標籤裝置30的位姿訊息(位置資訊與姿態資訊)。首先，根據光標籤裝置30的光標籤建立一個座標系，該座標系可以被稱為光標籤座標系。可以將光標籤上的一些點確定為在光標籤座標系中的一些空間點，並且可以根據光標籤的物理尺寸資訊及/或物理形狀資訊來確定這些空間點在光標籤座標系中的座標。光標籤上的一些點例如可以是光標籤的外殼的角、光標籤中的光源的端部、光標籤中的一些標識點等。根據光標籤的物理結構特徵或幾何結構特徵，可以在拍攝裝置拍攝的圖像中找到與這些空間點分別對應的像點，並確定各個像點在圖像中的位置。根據各個空間點在光標籤座標系中的座標以及對應的各個像點在圖像中的位置，結合拍攝裝置40的內參資訊，可以計算得到拍攝該圖像時拍攝裝置40在光標籤座標系中的位姿資訊(R，t)，其中R為旋轉矩陣，其可以用於表示拍攝裝置40在光標籤座標系中的姿態資訊(也可稱為朝向資訊)，t為位移向量，其可以用於表示拍攝裝置40在光標籤座標系中的位置資訊。計算R、t的方法在現有技術中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法來計算R、t。
於另一實施例中，所述的位姿訊息也可以是基於光標籤裝置30的裝置位姿訊息以及拍攝裝置40與光標籤裝置30的相對位姿關係而計算得到的位姿訊息。
於其他實施例中，可以由拍攝裝置40來確定其所拍的的圖像中的光標籤裝置30的識別資訊或者裝置位姿訊息，伺服器50可以再從拍攝裝置40接收圖像時也接收該識別資訊並基於該識別資訊獲得光標籤裝置30的裝置位姿訊息，或者直接從拍攝裝置40接收光標籤裝置30的裝置位姿訊息。
承上步驟，運算模組54取得每張場景圖像的位姿訊息後，運算模組54將一組具有相關聯位姿訊息的該場景圖像依據個別該場景圖像的位姿訊息進行空間排序(步驟S403)。
所述的相關聯位姿訊息，係指根據運算模組54的需求將位姿訊息中將相同距離或/及相同角度定義為相關聯，或將位姿訊息中將相似距離或/及相似角度定義為相關聯，或將位姿訊息中將相鄰距離或/及相鄰角度定義為相關聯，或根據實際的需求去對位姿訊息中的資訊進行相關聯的定義。前述的「相同」一詞可根據實際需求給予彈性範圍，例如需求距離的正負2%、4%、6%等，於本發明中該彈性範圍的數值不予以限制。
所述的空間排序係指在空間中方位或角度的排序，例如：能根據相同距離但對光標籤裝置30的拍攝角度不同的場景圖像進行從左至右的排序，或從右至左的排序，或對相同角度但與光標籤裝置30有不同距離的進行由遠到近、或由近到遠的排序，前述排序的方式可以依據實際需求調整，於本發明中不予以限制。
於本實施例中，運算模組54將位姿訊息中與光標籤裝置30距離相同的歸類(或篩選出來)為一組，並定義為具有相關聯位姿訊息的場
景圖像，藉此濾除過遠或是過近的場景圖像，避免在場景重建時能匹配的特徵點太少，並有利於後續重建演算法的運行。再將剛選擇的一組相關聯位姿訊息的場景圖像依據圖像中拍攝光標籤裝置30的所在位置進行從左至右的排序(空間排序)。前述排序的方式可以依據實際需求調整，於本發明中不予以限制。
於一較佳實施例中，為了使重建演算法中深度的重建運算更加有利，能在一組位姿訊息為相同距離、不同角度的場景圖像中，藉由運算模組54計算該等場景圖像的極線夾角後，將對應於該極線夾角而取得的閥值對該等場景圖像進行排序(或篩選)，每隔一定閥值(例如4-7度)選取一個視角，並選取與該視角對應的圖像。
最後，運算模組54根據選取的一組相關聯的場景圖像進行場景重建(步驟S404)。
當前述的流程結束後，可重複步驟S403、S404的流程，使本發明能依據實際需求建立需要的場景模組。
於一可行的實施例中，運算模組54中具有特徵重建程式，特徵重建程式從場景圖像或場景模組中選擇與局部場景相關的圖像或特徵，依據該圖像或該特徵相關聯的場景圖像或場景模組進行增量重建。
具體而言，在本發明已完成的場景模組後，特徵重建程式能分析並判斷場景模組中所需要更新的局部區域/物件，再從已經完成的場景模組或/及具有位姿訊息的場景圖像中選擇與該需要更新的局部區域/物件相關聯的場景圖像或場景模組，並藉由場景圖像或場景模組中的數據(或特徵)來針對需要更新的局部區域/物件進行增量重建。所述增量重建的演算法與場景重建的演算法相同，於此不再贅述。
綜上所述，本發明無需使用專用相機進行圖像採集，並且可以透過光標籤取得三維空間中的位置以快速、準確地重建三維模型。
以上已將本發明做一詳細說明，惟以上所述者，僅為本發明之一較佳實施例而已，當不能以此限定本發明實施之範圍，即凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明之專利涵蓋範圍內。
100:基於光標籤的場景重建系統
10:光標籤裝置
20:拍攝裝置
Claims (9)
- 一種基於光標籤的場景重建系統，包含：一光標籤裝置，具有一光標籤；以及一拍攝裝置，該拍攝裝置包含一攝影機以及一運算模組，該攝影機拍攝該光標籤裝置複數次，取得複數張包括該光標籤以及該光標籤裝置周圍的場景圖像，並輸出至該運算模組，該運算模組個別分析該場景圖像的位姿訊息並從中取得一組具有相關聯位姿訊息的該場景圖像進行場景的三維模型重建。
- 一種基於光標籤的場景重建系統，包含：一光標籤裝置，具有一光標籤；一或複數個拍攝裝置，該拍攝裝置具有傳輸資訊的功能，該拍攝裝置拍攝該光標籤裝置複數次，取得複數張包括該光標籤以及該光標籤裝置周圍的場景圖像；以及一伺服器，該伺服器具有一運算模組並連接至該拍攝裝置，該伺服器接收該複數張場景圖像並藉由該運算模組個別分析該場景圖像的位姿訊息並從中取得一組具有相關聯位姿訊息的該場景圖像進行場景的三維模型重建。
- 如申請專利範圍第1項或第2項所述的基於光標籤的場景重建系統，其中該運算模組將一組具有相關聯位姿訊息的 該場景圖像依據個別該場景圖像的位姿訊息進行空間排序。
- 如申請專利範圍第3項所述的基於光標籤的場景重建系統，其中該運算模組計算該等場景圖像的極線夾角並根據對應於該極線夾角而設定的閥值對該等場景圖像進行篩選。
- 如申請專利範圍第3項所述的基於光標籤的場景重建系統，其中該運算模組藉由該位姿訊息中該拍攝裝置與該光標籤裝置的距離對該等場景圖像進行篩選。
- 如申請專利範圍第1項或第2項所述的基於光標籤的場景重建系統，其中該運算模組包含一特徵重建程式，該特徵重建程式從該場景圖像或一場景模組中選擇與局部場景相關的圖像或特徵，依據該圖像或該特徵相關聯的該場景圖像或該場景模組進行增量重建。
- 如申請專利範圍第1項或第2項所述的基於光標籤的場景重建系統，其中該運算模組具有資料存儲單元。
- 如申請專利範圍第1項或第2項所述的基於光標籤的場景重建系統，其中該場景圖像的位姿訊息是該拍攝裝置與該光標籤裝置的相對位姿關係。
- 如申請專利範圍第1項或第2項所述的基於光標籤的場景重建系統，其中，該光標籤至少對應於一裝置位姿訊息，並且該場景圖像的位姿信息是基於該光標籤裝置的該裝置位姿訊息以及該拍攝裝置與該光標籤裝置的相對位姿關係而運算取得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109116072A TWI785332B (zh) | 2020-05-14 | 2020-05-14 | 基於光標籤的場景重建系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109116072A TWI785332B (zh) | 2020-05-14 | 2020-05-14 | 基於光標籤的場景重建系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202143176A TW202143176A (zh) | 2021-11-16 |
| TWI785332B true TWI785332B (zh) | 2022-12-01 |
Family
ID=80783350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109116072A TWI785332B (zh) | 2020-05-14 | 2020-05-14 | 基於光標籤的場景重建系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI785332B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025492A1 (en) * | 2009-08-02 | 2011-02-03 | Bravo Andres E | Personal Object Proximity Alerting Device |
| CN103049729A (zh) * | 2012-12-30 | 2013-04-17 | 成都理想境界科技有限公司 | 基于二维码的增强现实方法、系统及终端 |
| CN106339488A (zh) * | 2016-08-30 | 2017-01-18 | 西安小光子网络科技有限公司 | 一种基于光标签的虚拟设施插入定制实现方法 |
| CN106408667A (zh) * | 2016-08-30 | 2017-02-15 | 西安小光子网络科技有限公司 | 基于光标签的定制现实方法 |
| CN106446883A (zh) * | 2016-08-30 | 2017-02-22 | 西安小光子网络科技有限公司 | 基于光标签的场景重构方法 |
| CN210225419U (zh) * | 2019-06-05 | 2020-03-31 | 北京外号信息技术有限公司 | 光通信装置 |
-
2020
- 2020-05-14 TW TW109116072A patent/TWI785332B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110025492A1 (en) * | 2009-08-02 | 2011-02-03 | Bravo Andres E | Personal Object Proximity Alerting Device |
| CN103049729A (zh) * | 2012-12-30 | 2013-04-17 | 成都理想境界科技有限公司 | 基于二维码的增强现实方法、系统及终端 |
| CN106339488A (zh) * | 2016-08-30 | 2017-01-18 | 西安小光子网络科技有限公司 | 一种基于光标签的虚拟设施插入定制实现方法 |
| CN106408667A (zh) * | 2016-08-30 | 2017-02-15 | 西安小光子网络科技有限公司 | 基于光标签的定制现实方法 |
| CN106446883A (zh) * | 2016-08-30 | 2017-02-22 | 西安小光子网络科技有限公司 | 基于光标签的场景重构方法 |
| CN210225419U (zh) * | 2019-06-05 | 2020-03-31 | 北京外号信息技术有限公司 | 光通信装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202143176A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867430B2 (en) | Method and system of 3D reconstruction with volume-based filtering for image processing | |
| US10977818B2 (en) | Machine learning based model localization system | |
| JP6768156B2 (ja) | 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法 | |
| US10306254B2 (en) | Encoding free view point data in movie data container | |
| US10109055B2 (en) | Multiple hypotheses segmentation-guided 3D object detection and pose estimation | |
| EP2992508B1 (en) | Diminished and mediated reality effects from reconstruction | |
| US11051000B2 (en) | Method for calibrating cameras with non-overlapping views | |
| CN110176032B (zh) | 一种三维重建方法及装置 | |
| US20130095920A1 (en) | Generating free viewpoint video using stereo imaging | |
| Barandiaran et al. | Real-time optical markerless tracking for augmented reality applications | |
| KR20180054487A (ko) | Dvs 이벤트 처리 방법 및 장치 | |
| WO2016029939A1 (en) | Method and system for determining at least one image feature in at least one image | |
| CN115205489A (zh) | 一种大场景下的三维重建方法、系统及装置 | |
| WO2018216341A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| WO2021218568A1 (zh) | 图像深度确定方法及活体识别方法、电路、设备和介质 | |
| US20200057778A1 (en) | Depth image pose search with a bootstrapped-created database | |
| WO2021114777A1 (en) | Target detection method, terminal device, and medium | |
| WO2021114776A1 (en) | Object detection method, object detection device, terminal device, and medium | |
| da Silveira et al. | 3d scene geometry estimation from 360 imagery: A survey | |
| CN114766042A (zh) | 目标检测方法、装置、终端设备及介质 | |
| Islam et al. | Stereo vision-based 3D positioning and tracking | |
| JP6086491B2 (ja) | 画像処理装置およびそのデータベース構築装置 | |
| CN115359193B (zh) | 一种基于双目鱼眼相机的快速半稠密三维重建方法 | |
| TWI785332B (zh) | 基於光標籤的場景重建系統 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 |