TWI620146B - 立體物件建構方法及系統 - Google Patents

立體物件建構方法及系統 Download PDF

Info

Publication number
TWI620146B
TWI620146B TW100144714A TW100144714A TWI620146B TW I620146 B TWI620146 B TW I620146B TW 100144714 A TW100144714 A TW 100144714A TW 100144714 A TW100144714 A TW 100144714A TW I620146 B TWI620146 B TW I620146B
Authority
TW
Taiwan
Prior art keywords
feature
feature blocks
dimensional object
spatial correlation
blocks
Prior art date
Application number
TW100144714A
Other languages
English (en)
Other versions
TW201324436A (zh
Inventor
鄭憲君
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW100144714A priority Critical patent/TWI620146B/zh
Priority to US13/458,237 priority patent/US20130141548A1/en
Publication of TW201324436A publication Critical patent/TW201324436A/zh
Application granted granted Critical
Publication of TWI620146B publication Critical patent/TWI620146B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種立體物件建構方法，包括下列步驟。擷取並儲存一目標物表面之多個特徵區塊，每一個特徵區塊具有不同的紋理特徵。利用一影像擷取單元偵測目標物表面之此些特徵區塊。利用一處理單元依據偵測到的此些特徵區塊之空間資訊建立對應此些特徵區塊之一空間關聯性矩陣。利用處理單元以依據空間關聯性矩陣追蹤並描述目標物。

Description

立體物件建構方法及系統
本發明是有關於一種立體物件建構方法及系統。
擴增實境(Augmented Reality，AR)是一種即時計算攝影機所擷取的影像的位置及角度等空間資訊，並根據此等空間資訊加上相應數位內容的技術。這種技術的目的是在螢幕上把虛擬物件套疊在實體物件上以進行娛樂互動或資訊呈現。然而，傳統的擴增實境應用中的實體物件多限於平面圖卡以在其中擴增虛擬物件，故在實際使用上多所限制或不盡自然。一般而言，如果作為系統辨識之圖樣被遮蔽而使得系統失去對於圖卡的追蹤，將導致擴增的虛擬物件無法正常顯示，進而嚴重破壞了擴增實境應用之沈浸感，難以擴充至實際立體物件的擴增應用上。
通常系統需取得物體在空間中的資訊以將所需的虛擬互動內容擴增於其上，如此方可達成立體物件的擴增實境應用。現有直觀的作法為針對實際物體建立模型並將模型資訊納入系統中，使得系統能夠隨時對實際物體進行空間姿態的追蹤，以達到立體物件的擴增實境應用。然而，傳統建立立體物體模型的方法需要昂貴的設備或複雜精確的程序，不符合一般人使用需求，難以擴展至一般消費性電子產品等應用範疇。
本揭露是有關於一種立體物件建構方法及系統，藉由具不同紋理特徵的多個特徵區塊之姿態建構彼此間的空間關聯性，並據以做為目標物之追蹤與描述方式。
根據本揭露之第一方面，提出一種立體物件建構方法，包括下列步驟。擷取並儲存一目標物表面之多個特徵區塊，每一個特徵區塊具有不同的紋理特徵。利用一影像擷取單元偵測目標物表面之此些特徵區塊。利用一處理單元依據偵測到的此些特徵區塊之空間資訊建立對應此些特徵區塊之一空間關聯性矩陣。利用處理單元以依據空間關聯性矩陣追蹤並描述目標物。
根據本揭露之第二方面，提出一種立體物件建構系統，包括一影像擷取單元以及一處理單元。影像擷取單元用以擷取並儲存一目標物表面之多個特徵區塊，每一個特徵區塊具有不同的紋理特徵。處理單元用以在影像擷取單元偵測到此些特徵區塊後，依據偵測到的此些特徵區塊之空間資訊建立對應此些特徵區塊之一空間關聯性矩陣，並依據空間關聯性矩陣追蹤並描述目標物。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉一實施例，並配合所附圖式，作詳細說明如下：
本揭露所提出之立體物件建構方法及系統，藉由具不同紋理特徵的多個特徵區塊之姿態建構彼此間的空間關聯性，並據以做為目標物之追蹤與描述方式。
請參照第1圖，其繪示依照一實施範例之立體物件建構系統之示意圖。立體物件建構系統100包括一影像擷取單元110、一處理單元120以及一顯示單元130。於此實施範例中，立體物件建構系統100中之各個元件係以離散形態表示，然並不限制，亦可以整合於單一裝置中，端視需求而定。此外，各元件的連接方式亦不限制，可以為有線/無線連接或其他。
接著，請配合參照第2圖及第3A~3D圖，第2圖繪示依照一實施範例之立體物件建構方法之流程圖，第3A~3D圖繪示依照一實施範例之對應立體物件建構方法之多個示意圖。於步驟S200中，擷取並儲存一目標物(object)140表面之多個特徵區塊，每一個特徵區塊具有不同的紋理特徵。步驟S200的擷取動作實質上可由影像擷取單元110即時執行，亦可以事先由其他影像感測元件執行。
於第3A圖中，目標物140例如為一不規則形狀且表面具多種不同紋理特徵的剛體；於第3B圖中，目標物140上之多個特徵區塊可由使用者決定或由處理單元120決定；在一實施例中，可於顯示單元130當中顯示影像擷取單元110擷取之目標物140表面，並透過滑鼠等輸入裝置於顯示單元130畫面中，針對目標物140表面具備明顯紋理特徵且為平面或近似平面之區域(如R1、R2與R5)進行框選。
在另一實施例中，可於顯示單元130當中呈現一影像分析擷取區域Rc。由於手動轉動或置於一支撐平臺自動轉動，使得畫面上影像分析擷取區域Rc完全位於物體具備紋理特徵且為平面或近似平面之待分析區域R1內時，由處理單元120進行影像分析擷取區域Rc中特徵點數量之偵測。
當特徵點數量超過一門檻值，處理單元120判斷此時影像分析擷取區域Rc中所對應之具備足夠特徵點數量之待分析區域為特徵區塊。在一較佳之實施例中，畫面中影像分析擷取區域Rc之範圍略小於待分析區域R1。於第3C圖中，此些特徵區塊會被擷取為多個影像並儲存於例如處理單元120的資料庫中，以做為後續特徵比對與追蹤之用。接下來茲以目標物140表面具有特徵區塊P1~P6為例進行說明。
於步驟S210中，目標物140例如為手持或置於一支撐平臺上，以供影像擷取單元110偵測目標物140表面上之多個特徵區塊，並顯示於顯示單元130上。當任意兩個相鄰特徵區塊(Pi、Pj)出現於顯示單元130上，處理單元120即可透過紋理特徵的辨識鎖定此二特徵區塊(Pi、Pj)，i與j為1~6之整數。
於步驟S220中，處理單元120估算此二特徵區塊(Pi、Pj)之空間資訊(Q i、Q j)，例如包括此二特徵區塊(Pi、Pj)在空間中之姿態、位置或縮放等。其中，此二特徵區塊的空間關聯性如式(1)所示。
Q i i S j =Q j 　(1)
式(1)中的i S j即為Q i轉換至Q j的空間關聯性；Q為表示特徵區塊空間資訊的擴增變換矩陣(augmented transform matrix)，由代表三軸姿態的旋轉矩陣R以及代表三度空間位置的平移向量t所組成，如式(2)所示。
Q i =[R|t] i 　(2)
於步驟S230中，處理單元120依據此些特徵區塊之空間資訊計算連續的相鄰特徵區塊的空間關聯性，以得到一相鄰區塊關係矩陣Ω1，空間關聯性包括兩個特徵區塊之間的相對旋轉角度與平移距離等。此時的相鄰區塊關係矩陣Ω1僅能表達單鏈的空間關聯性，亦即任一特徵區塊僅與其相鄰的特徵區塊建立空間關聯性，若有任一特徵區塊無法被立體物件建構系統100所偵測到，則其相鄰區塊亦無法保證能被立體物件建構系統100推估得到。相鄰區塊關係矩陣Ω1如示(3)所示。
於步驟S240中，處理單元120基於相鄰區塊關係矩陣Ω1計算任意非相鄰兩個特徵區塊的空間關聯性，以得到空間關聯性矩陣Ω2。空間關聯性矩陣Ω2如示(4)所示，其中，i S j與j S i互為逆矩陣，故空間關聯性矩陣Ω2僅需為上三角矩陣(或下三角矩陣)即可代表所有特徵區塊彼此間的空間關聯性。
由Ω1求取Ω2時，可由下式將相鄰區塊的空間關聯性推展至非相鄰區塊：
i S k=i S j j S k
其中i S j以及j S k分別表示兩組相鄰區塊之空間關聯性，亦即特徵區塊P i與P j相鄰、特徵區塊P j又與P k相鄰。透過特徵區塊P j可建立非相鄰之特徵區塊P i與P k之空間關聯性i S k。此外，由於i S i表示特徵區塊P i與自身之空間關聯性，亦即無任何旋轉或移動，故簡化為單位矩陣I。依據前述步驟，即可由Ω1求取Ω2。如此一來，即可確保任一特徵區塊於任一時刻，皆可由至少一可視特徵區塊推得其空間資訊。
上述之步驟S230及S240主要在於利用處理單元120依據偵測到的多個特徵區塊之空間資訊建立對應此些特徵區塊之空間關聯性矩陣Ω2。
當空間關聯性矩陣Ω2建立之後，於步驟S250中，處理單元120即可依據空間關聯性矩陣Ω2追蹤並描述目標物140之每一特徵區塊。於步驟S250中，處理單元120實質上依據空間關聯性矩陣Ω2取得目標物140表面各特徵區塊彼此於空間中之空間關聯性；依據此等空間關聯性，可由任一顯示於顯示單元130畫面中並業已辨識鎖定之特徵區塊，推算其他未顯示於該顯示單元畫面中(如遭受遮蔽)或無法穩定辨識鎖定之其他特徵區塊之空間資訊。
根據前述之辨識鎖定，處理單元120實質上可於任一時刻得知任一特徵區塊於空間中之位置與方位，故可將虛擬擴增資訊套疊(overlay)至目標物140之複數個特徵區塊或其中之一特徵區塊，例如各特徵區塊之表面，或使虛擬擴增資訊於各區塊之間移動或轉動。之後，即可以利用顯示單元130顯示目標物140與套疊於其上且不間斷之相對應之擴增數位內容，達到不破壞擴增實境應用沈浸感之目的。
本揭露上述實施例所提供之立體物件建構方法及系統，對立體的目標物表面上具有不同紋理之特徵區塊進行偵測，再由個別具不同紋理的特徵區塊之姿態建構彼此間的空間關聯性，並依據此空間關聯性做為目標物之追蹤與描述方式，故可以做為後續立體擴增實境應用之擴增資料的附加與視覺互動之基礎，適用於一般使用者。
綜上所述，雖然本發明已以多個實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．立體物件建構系統
110．．．影像擷取單元
120．．．處理單元
130．．．顯示單元
140．．．目標物
R1、R2、R5．．．區域
Rc．．．影像分析擷取區域
P1~P6．．．特徵區塊
第1圖繪示依照一實施範例之立體物件建構系統之示意圖。
第2圖繪示依照一實施範例之立體物件建構方法之流程圖。
第3A~3D圖繪示依照一實施範例之對應立體物件建構方法之多個示意圖。

Claims (19)

  1. 一種立體物件建構方法，包括：擷取並儲存一目標物表面之複數個特徵區塊(featured patches)，每一個特徵區塊具有不同的紋理特徵(textured features)；利用一影像擷取單元偵測該目標物表面之該些特徵區塊；利用一處理單元依據偵測到的該些特徵區塊之空間資訊建立對應該些特徵區塊之一空間關聯性(spatial relationship)矩陣；以及利用該處理單元以依據該空間關聯性矩陣追蹤並描述該目標物；其中利用該處理單元以依據該空間關聯性矩陣追蹤並描述該目標物之步驟更包括：利用一顯示單元顯示該影像擷取單元所擷取之該目標物表面，其中該顯示單元未顯示該影像擷取單元未擷取之其他目標物表面；利用該處理單元取得該目標物表面各該些特徵區塊彼此於空間中之空間關聯性；以及該處理單元依據該些空間關聯性，由顯示於該顯示單元畫面中之該目標物表面之該些特徵區塊之空間資訊，推算未顯示於該顯示單元畫面中之該其他目標物表面之其他該些特徵區塊之空間資訊。
  2. 如申請專利範圍第1項所述之立體物件建構方 法，更包括：於該顯示單元當中，顯示該影像擷取單元所擷取之該目標物表面之步驟；以及由該顯示單元畫面中顯示之該目標物表面框選該些特徵區塊。
  3. 如申請專利範圍第2項所述之立體物件建構方法，其中該些特徵區塊為該目標物表面之具備明顯紋理特徵且為平面或近似平面之區域。
  4. 如申請專利範圍第1項所述之立體物件建構方法，其中該些特徵區塊為透過偵測一影像分析擷取區域中之特徵點數量所決定，該影像分析擷取區域位於具備明顯紋理特徵且為平面或近似平面之待分析區域內。
  5. 如申請專利範圍第4項所述之立體物件建構方法，其中當該影像分析擷取區域中之特徵點數量超過一門檻值，該影像分析擷取區域對應之該待分析區域被判斷為該特徵區塊。
  6. 如申請專利範圍第4項所述之立體物件建構方法，其中該影像分析擷取區域之範圍略小於對應之該待分析區域之範圍。
  7. 如申請專利範圍第1項所述之立體物件建構方 法，其中該些特徵區塊之空間資訊包括該些特徵區塊在空間中之姿態、位置或縮放等。
  8. 如申請專利範圍第1項所述之立體物件建構方法，其中建立該空間關聯性矩陣之步驟包括：利用該處理單元估算該些特徵區塊之空間資訊；利用該處理單元依據該些特徵區塊之空間資訊計算連續的相鄰特徵區塊的空間關聯性，以得到一相鄰區塊關係矩陣；以及利用該處理單元基於該相鄰區塊關係矩陣計算任意非相鄰兩個特徵區塊的空間關聯性，以得到該空間關聯性矩陣。
  9. 如申請專利範圍第8項所述之立體物件建構方法，其中該些特徵區塊的空間關聯性包括兩個特徵區塊之間的相對旋轉角度與平移距離等。
  10. 如申請專利範圍第1項所述之立體物件建構方法，更包括：該處理單元將一虛擬擴增資訊套疊至該目標物之該些特徵區塊或該些特徵區塊其中之一，並顯示於該顯示單元畫面中。
  11. 一種立體物件建構系統，包括：一影像擷取單元，用以擷取並儲存一目標物表面之複 數個特徵區塊，每一個特徵區塊具有不同的紋理特徵；一處理單元，用以在該影像擷取單元偵測到該些特徵區塊後，依據偵測到的該些特徵區塊之空間資訊建立對應該些特徵區塊之一空間關聯性矩陣，並依據該空間關聯性矩陣追蹤並描述該目標物；以及一顯示單元，用以顯示該影像擷取單元所擷取之該目標物表面，其中該顯示單元未顯示該影像擷取單元未擷取之其他目標物表面；其中該處理單元更用以依據該空間關聯性矩陣以取得該目標物表面各該些特徵區塊彼此於空間中之空間關聯性，並依據該些空間關聯性，以及顯示於該顯示單元畫面中之該目標物表面之該些特徵區塊之空間資訊，推算未顯示於該顯示單元畫面中之該其他目標物表面之其他該些特徵區塊之空間資訊。
  12. 如申請專利範圍第11項所述之立體物件建構系統，更包括一顯示單元，用以顯示該影像擷取單元所擷取之該目標物表面並供框選；其中該些特徵區塊由被框選之具備明顯紋理特徵且為平面或近似平面之區域所決定。
  13. 如申請專利範圍第11項所述之立體物件建構系統，其中該些特徵區塊為透過偵測一影像分析擷取區域中之特徵點數量所決定，該影像分析擷取區域位於具備明顯紋理特徵且為平面或近似平面之待分析區域內。
  14. 如申請專利範圍第13項所述之立體物件建構系統，其中當該影像分析擷取區域中之特徵點數量超過一門檻值，該處理單元判斷該影像分析擷取區域對應之該待分析區域為該特徵區塊。
  15. 如申請專利範圍第13項所述之立體物件建構系統，其中該影像分析擷取區域之範圍略小於對應之該待分析區域之範圍。
  16. 如申請專利範圍第11項所述之立體物件建構系統，其中該些特徵區塊之空間資訊包括該些特徵區塊在空間中之姿態、位置或縮放等。
  17. 如申請專利範圍第11項所述之立體物件建構系統，其中該處理單元更用以估算該些特徵區塊之空間資訊，且依據該些特徵區塊之空間資訊計算連續的相鄰特徵區塊的空間關聯性以得到一相鄰區塊關係矩陣，並基於該相鄰區塊關係矩陣計算任意非相鄰兩個特徵區塊的空間關聯性以得到該空間關聯性矩陣。
  18. 如申請專利範圍第17項所述之立體物件建構系統，其中該些特徵區塊的空間關聯性包括兩個特徵區塊之間的相對旋轉角度與平移距離等。
  19. 如申請專利範圍第11項所述之立體物件建構系 統，其中該處理單元將一虛擬擴增資訊套疊至該目標物之該些特徵區塊或該些特徵區塊其中之一，並顯示於該顯示單元畫面中。
TW100144714A 2011-12-05 2011-12-05 立體物件建構方法及系統 TWI620146B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100144714A TWI620146B (zh) 2011-12-05 2011-12-05 立體物件建構方法及系統
US13/458,237 US20130141548A1 (en) 2011-12-05 2012-04-27 Method and system for establishing 3d object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100144714A TWI620146B (zh) 2011-12-05 2011-12-05 立體物件建構方法及系統

Publications (2)

Publication Number Publication Date
TW201324436A TW201324436A (zh) 2013-06-16
TWI620146B true TWI620146B (zh) 2018-04-01

Family

ID=48523721

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100144714A TWI620146B (zh) 2011-12-05 2011-12-05 立體物件建構方法及系統

Country Status (2)

Country Link
US (1) US20130141548A1 (zh)
TW (1) TWI620146B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716129B (zh) * 2019-10-01 2021-01-11 財團法人資訊工業策進會 材質替換方法、系統以及非暫態電腦可讀取記錄媒體

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9818150B2 (en) * 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
TWI567691B (zh) * 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
US11099708B2 (en) * 2017-12-15 2021-08-24 Hewlett-Packard Development Company, L.P. Patterns for locations on three-dimensional objects

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI245133B (en) * 2004-08-31 2005-12-11 Wintek Corp Three-dimensional displaying architecture

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI245133B (en) * 2004-08-31 2005-12-11 Wintek Corp Three-dimensional displaying architecture

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
James Diebel, "Representing Attitude: Euler Angles, Unit Quaternions, and Rotation Vectors," 2006.
Shawn Becker, V. Michael Bove, Jr, "Semiautomatic 3-D model extraction from uncalibrated 2-D camera views," in Proc. of the SPIE Symposium on Electronic Imaging, 1995.
Shawn Becker, V. Michael Bove, Jr, "Semiautomatic 3-D model extraction from uncalibrated 2-D camera views," in Proc. of the SPIE Symposium on Electronic Imaging, 1995. James Diebel, "Representing Attitude: Euler Angles, Unit Quaternions, and Rotation Vectors," 2006. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI716129B (zh) * 2019-10-01 2021-01-11 財團法人資訊工業策進會 材質替換方法、系統以及非暫態電腦可讀取記錄媒體

Also Published As

Publication number Publication date
TW201324436A (zh) 2013-06-16
US20130141548A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
KR102638526B1 (ko) 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정
US9443353B2 (en) Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
CN109035334B (zh) 位姿的确定方法和装置、存储介质及电子装置
TWI544447B (zh) 擴增實境的方法及系統
TW201346216A (zh) 虛擬尺
CN103914876B (zh) 用于在3d地图上显示视频的方法和设备
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
US20150170260A1 (en) Methods and Systems for Using a Mobile Device to Visualize a Three-Dimensional Physical Object Placed Within a Three-Dimensional Environment
CN105872381A (zh) 趣味图像拍摄方法
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
TWI620146B (zh) 立體物件建構方法及系統
CN106780757B (zh) 一种增强现实的方法
CN113474816A (zh) 弹性动态投影映射系统和方法
CN103198286B (zh) 信息处理终端、信息处理方法和程序
JP4631973B2 (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
Kawai et al. Augmented reality marker hiding with texture deformation
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
CN105786166B (zh) 扩增实境方法与系统
KR101586071B1 (ko) 마커리스 증강현실 서비스 제공 장치 및 이를 위한 촬영 위치 추정 방법
JP2013111188A (ja) トレーディングカードゲーム方法、プログラム、記録媒体
JP5651659B2 (ja) 物体検出システムおよびプログラム
JP5425045B2 (ja) オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム