TWI529662B - 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體 - Google Patents

基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體 Download PDF

Info

Publication number
TWI529662B
TWI529662B TW103143656A TW103143656A TWI529662B TW I529662 B TWI529662 B TW I529662B TW 103143656 A TW103143656 A TW 103143656A TW 103143656 A TW103143656 A TW 103143656A TW I529662 B TWI529662 B TW I529662B
Authority
TW
Taiwan
Prior art keywords
grids
depth information
image data
sub
depth
Prior art date
Application number
TW103143656A
Other languages
English (en)
Other versions
TW201621815A (zh
Inventor
高榮揚
李偉碩
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW103143656A priority Critical patent/TWI529662B/zh
Priority to CN201410826179.6A priority patent/CN105787992A/zh
Priority to US14/672,236 priority patent/US9569888B2/en
Application granted granted Critical
Publication of TWI529662B publication Critical patent/TWI529662B/zh
Publication of TW201621815A publication Critical patent/TW201621815A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體
本揭露是有關於一種模型建構方法、裝置與紀錄媒體，且特別是有關於一種基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體。
隨著計算機圖形(Computer Graphics)的發展，三維模型建構(3D Modeling)方法已廣泛應用於電腦、科學研究或多媒體影音系統，其中三維模型是物體的三維多邊形表示，通常用電腦或影片播放設備進行顯示，常見於電腦遊戲、3D電影、3D電視、裸視3D等等。
一般的三維模型建構方法使用軟體來生成，但亦可由其他方法來生成，主要透過找出多個特徵點(feature point)的方式，對其三維模型建構出網格(mesh)，並藉由表面重建(surface reconstruction)的方式來建模，其特性為易與使用者互動但真實性、動態、光線、紋理等效果並不佳，且特徵點與網格的計算量 龐大，難以即時渲染。
另一種三維模型的建構方法為多檢視編碼(Multiview Video Coding，MVC)，其主要透過合成影像(video)與深度(depth)資訊的方式來達到3D的效果。因其主要擷取的影像為實體影像，故其真實性較佳，且擷取後的影像透過合成(view synthesis)的方式來生成未擷取的部份，其計算過程較簡單，故可以即時渲染，但因為深度資訊為一非線性關係，造成拉近(Zoom-in)、拉遠(Zoom-out)易失真。
由於三維模型的應用經常需要與使用者進行互動，要如何在即時(real-time)的情況下渲染(rendering)出高解析度的可自由觀察物體(Free-view object)，且不失其顯示效果的三維模型即是此領域技術人員所欲解決的目標。
本揭露多個實施範例其中之一，提供一種適用於一圖形處理裝置，基於深度資訊的模型建構方法。在此方法中，接收深度影像資料與色彩影像資料，其內容分別包括深度資訊與色彩資訊。根據深度資訊、色彩資訊以及多個均勻取樣網格(Uniform Sampling Grid)取得多個三維空間網格(3D Grid)，其中每一均勻取樣網格又可分為多個子網格，根據三維空間網格各邊所對應的深度資訊，決定出每一三維空間網格的邊上至少一個點，根據這些點對其子網格內產生至少二個三角網孔(Triangle Mesh)。
本揭露多個實施範例其中之一，提供一種圖形處理裝置，其包括執行電路與暫存裝置。其中暫存裝置用以儲存深度影像資料與色彩影像資料，其分別包括深度資訊與色彩資訊。此執行電路設置用以接收深度影像資料與色彩影像資料，根據深度資訊、色彩資訊以及多個均勻取樣網格取得多個三維空間網格，其中每一均勻取樣網格又可分為多個子網格，根據三維空間網格的各邊對應的深度資訊，決定每一三維空間網格的邊上至少一個點，根據這些點對其三維空間網格內產生至少二個三角網孔。
本揭露多個實施範例其中之一，提供一種一種內儲程式之電腦可讀取記錄媒體，當電腦載入該程式並執行後，可完成如上所述之方法。
基於上述，本揭露結合傳統的三維模型建構方法與多檢視編碼，降低計算而達到快速的三維模型建構，讓模型更為真實，且能任意拉近、拉遠與旋轉，更易於與使用者互動。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
30、32、34、34a、34b‧‧‧子網格
600‧‧‧三維空間網格
600a‧‧‧三維空間網格的一邊
60‧‧‧虛線
602‧‧‧深度資訊值為最大的點
71‧‧‧深度資訊值最大的點
73‧‧‧深度資訊值次大的點
71a‧‧‧點71的深度資訊值強度
73a‧‧‧點73的深度資訊值強度
100‧‧‧主機
110、870‧‧‧輸入/輸出裝置
120‧‧‧圖形處理裝置
140‧‧‧記憶體
160、850‧‧‧微處理器
180‧‧‧匯流排
210、810‧‧‧電源管理電路
230‧‧‧執行電路
250‧‧‧主機介面
270‧‧‧暫存裝置
800‧‧‧可複寫式非揮發性儲存媒體
830‧‧‧可複寫式非揮發性記憶體
890‧‧‧軟體模組
1000‧‧‧主機系統
S901、S903、S905、S907、S909、S911‧‧‧模型建構方法的步驟
1100‧‧‧編碼器
1200‧‧‧解碼器
S1001、S1003、S1005、S1007、S1009、S1111、S1113、S1115、S1115a、S1117、S1119、S1121、S1123、S1125‧‧‧影像輸入至顯示流程步驟
圖1是根據本揭露一實施例所繪示的主機系統與圖形處理裝置的示意圖。
圖2是圖1所繪示的圖形處理裝置的概要示意圖。
圖3A至圖3C是根據本揭露一實施例所繪示的藉由感興趣區域變異數對子網格切割的示意圖。
圖4是根據本揭露一實施例所繪示將一均勻取樣網格投影至深度影像資料的深度資訊的二維空間示意圖。
圖5是根據本揭露一實施例所繪示將均勻取樣網格透過背投影至三維空間的示意圖。
圖6A至6D是根據本揭露一實施例所繪示的一三維空間網格的一邊與其對應的深度資訊產生三角網孔的範例示意圖。
圖7A是根據本揭露一實施例所繪示的透過深度資訊選擇出的二頂點對三維空間網格產生三角網孔的範例示意圖。
圖7B是根據本揭露一實施例所繪示的透過深度資訊選擇出的一點對三維空間網格產生三角網孔的示意圖。
圖7C是根據本揭露一實施例所繪示的透過深度資訊選擇出的二點對三維空間網格產生三角網孔的示意圖。
圖7D是根據本揭露一實施例所繪示的透過深度資訊選擇出相鄰邊的二點對三維空間網格產生三角網孔的示意圖。
圖8是根據本揭露一實施例所繪示的軟體模組儲存於非揮發性儲存媒體的示意圖。
圖9是根據本揭露一實施範例的一種深度資訊的模型建構方法的示意圖。
圖10是根據本揭露一實施範例的影像輸入至顯示流程示意圖。
本揭露提出一種基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體實施範例，可實施於任何類型的手持裝置、電腦系統或作為電腦程式產品之電腦可讀媒體。
本揭露提出一種基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體實施範例，可使用一個或更多個電腦可使用或可讀取的記憶體儲存媒體的組合。例如，具體的電腦可讀取媒體實施例可以包括一個或多個連接線所組成的電氣連接、可攜式的電腦磁片、硬碟機、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除程式化唯讀記憶體(EPROM或快閃記憶體)、光纖、可攜式光碟片(CD-ROM)、光學儲存裝置、傳輸媒體(例如網際網路(Internet)或內部網路(intranet)之基礎連接)、或磁儲存裝置。
圖1是根據本揭露多個實施例其中之一的主機系統與圖形處理裝置的示意圖。請參照圖1，此實施例的主機系統1000，一般包括主機100與輸入/輸出(input/output,I/O)裝置110，主機100包括圖形處理裝置120、記憶體140與微處理器160且透過匯流排180彼此電性連接。必須了解的是，圖1所示的主機系統並非限制配置於其上的裝置，其更可以包括其他裝置。
在本揭露的實施例中，輸入/輸出裝置110與主機100電性連接，藉由微處理器160的運作可將輸入資料寫入記憶體140並供圖形處理裝置120讀取運算。此處之記憶體140可以是靜態隨機存取記憶體(Static Random Access Memory,SRAM)、動態隨機存取 記憶體(Dynamic Random Access Memory,DRAM)，或是任何可用來儲存電子訊號或資料之記憶體或儲存裝置。另外，本實施例提到的輸入裝置可以是一般的數位相機或錄放影機等能接收數位影像的接收裝置，而輸出裝置可以是一般的電腦螢幕或是任何能將影像輸出給使用者的顯示裝置。在本範例實施例中輸入/輸出裝置110是相容於序列先進技術附件(Serial Advanced Technology Attachment，SATA)標準，且可支援MVC標準，能夠接收深度資訊的輸入與輸出裝置。然而，必須瞭解的是本揭露內容不限於此，輸入/輸出裝置110也可以是符合電機電子工程師協會(Institute of Electrical and Electronic Engineers，IEEE)1394標準、周邊元件連接介面(Peripheral Component Interconnect，PCI)標準、通用串列匯流排(Universal Serial Bus,USB)介面標準、安全數位卡(Secure Digital,SD)介面標準、記憶棒(Memory Stick，MS)介面標準、多媒體儲存卡(Multi Media Card，MMC)介面標準、小型快閃(Compact Flash，CF)介面標準、積體磁碟電路(Integrated Drive Electronics，IDE)介面標準或其他適合的資料傳輸標準，且搭配任何能夠可支援深度資訊輸入的裝置，例如支援MVC標準的裝置或是Microsoft的Kinect深度感應裝置。
一般而言，主機系統1000可實質地透過輸入/輸出裝置110接收輸入影像資料，此輸入影像資料例如為深度影像資料與色彩影像資料，其分別包括深度資訊與色彩資訊。微處理器160接收輸入影像資料後將其儲存至記憶體140，圖形處理裝置120從記憶體140中獲得輸入影像資料，再將運算後的輸出影像輸出給記 憶體140(其運算的三維模型建構方法將於另一實施例中詳述)，微處理器160再將輸出影像傳至輸入/輸出裝置110作影像輸出。雖然在本實施例中主機系統1000是以電腦系統說明，然而在本揭露另一實施例中主機系統1000可以是數位相機、攝影機、通信裝置、視訊播放器等系統。
圖形處理裝置120包括一執行電路230，在本範例實施例中，執行電路230是以應用積體電路(Application-Specific Integrated Circuit，ASIC)或稱專用積體電路來實現本揭露各實施例之執行步驟，然而在另一實施例，執行電路可以是以處理單元來實施。
圖2是圖1所繪示的多個實施例其中之一圖形處理裝置的概要示意圖。
請參照圖2，此實施例圖形處理裝置120用以執行以硬體型式或韌體(Firmware)型式實作的多個邏輯閘或控制指令，並且根據主機100的指令可將輸入影像資料在此圖形處理裝置120進行三維模型建構。圖形處理裝置120包括電源管理電路210、執行電路230、主機介面250與暫存裝置270。其中，主機介面250電性連接至執行電路230、暫存裝置270與主機100，並且用以接收與識別微處理器160與記憶體140所傳送的指令與資料。也就是說，微處理器160與記憶體140所傳送的指令與資料會通過主機介面250來傳送至執行電路230與暫存裝置270。在本範例實施例中，主機介面250是相容於SATA標準。然而，必須瞭解的是本揭露內容不限於此，主機介面250也可以是相容於PATA標準、IEEE 1394標準、PCI Express標準、USB 標準、SD標準、MS標準、MMC標準、CF標準、IDE標準或其他適合的資料傳輸標準。暫存裝置270，可以是SRAM、DRAM，或是任何可用來儲存電子訊號或資料之記憶體或儲存裝置。另外，電源管理電路210負責供給圖形處理裝置120中各個單元所需的電力。
執行電路230用以控制圖形處理裝置120的整體運作。具體來說，執行電路230具有多個控制指令，並且在圖形處理裝置120運作時，此些控制指令會被執行。執行電路230先透過主機介面250接收輸入影像並存至暫存裝置270中，再從暫存裝置270中讀取輸入影像資料，該輸入影像資料為一深度影像資料與一色彩影像資料，其中分別包含深度資訊與色彩資訊，以根據本揭露的三維模型建構方法來建構三維模型，其三維模型方法將於圖3A至3B、圖4A至4D與圖5A至5D中詳述，並將建構完成後的三維模型輸出至暫存裝置270待主機介面250傳輸至主機100。
在另一範例實施例中，執行電路230可以是一處理單元，其控制指令是以韌體(Firmware)型式來實作。例如，執行電路230具有微處理器單元(未示出)與唯讀記憶體(未示出)，並且此些控制指令是被燒錄至此唯讀記憶體中。當執行電路230運作時，此些控制指令會由微處理器單元來執行以完成根據本揭露內容範例實施例的三維模型建構方法。
圖3A至圖3C是根據本揭露一實施例所繪示的藉由感興趣區域變異數對子網格切割的示意圖。
當執行電路230接收的輸入影像，該輸入影像資料為一深度 影像資料及一色彩影像資料，其分別包含深度資訊與色彩資訊，並使用多個預設均勻取樣網格(Uniform Sampling Grid)對應至色彩資訊。計算出均勻取樣網格中色彩資訊的感興趣區域(Region of Interest,ROI)變異數(Variance)，並與一預設門檻值做比較，若此感興趣區域變異數大於該預設門檻值，則對此均勻取樣網格進行分割成多個子網格。其中，此感興趣區域變異數為均勻取樣網格中色彩資訊的離散程度，其過程可經由本領域具有通常知識者藉由離散數學公式而得出，亦可由色彩的變化程度來計算出，本揭露並不限於此。
如圖3A所示，圖3A為一子網格的切割範例示意圖。其中，若子網格30的感興趣區域變異數大於一預設門檻值，則對子網格30進行切割。切割後的子網格30成為子網格32與子網格34，如圖3B所示。而若子網格34的感興趣區域變異數大於該門檻值，則切割子網格34成為子網格34a與子網格34b，使此均勻取樣網格中每一個子網格感興趣區域變異數皆小於門檻值，結果如圖3C所示。必須要知道的是，子網格的切割方式並不限與此實施例。
圖4是根據本揭露一實施例所繪示將一均勻取樣網格投影至深度影像資料的深度資訊的二維空間示意圖。當均勻取樣網格的各個子網格感興趣區域變異數皆小於門檻值時，再將此些分割完後的均勻取樣網格，投影至深度影像資料的深度資訊中。
圖5是根據本揭露一實施例所繪示將均勻取樣網格透過背投影至三維空間的示意圖。當均勻取樣網格投影至深度影像資料的深度資訊的二維空間後，再透過背投影(Back Projection)至三維空間，使 其變成多個三維空間網格(3D Grid)，並對此些三維空間網格的每一邊所對應的深度資訊，決定出至少一個點來產生至少二個三角網孔(triangle mesh)。在本範例實施例中，決定三維空間網格中至多二個深度資訊值分別為最大與次大的點，依照該些點的強度來對子網格切割，其切割方式為由深度資訊值最大的該點開始來對深度資訊值次大的點或與其他未與深度資訊值最大的點連接的頂點連線，由此來對三維空間網格產生三角網孔。為了使說明更加淺顯易懂，產生三角網孔的方法如以下實施例所述。
圖6A至6D是根據本揭露一實施例所繪示的一三維空間網格的一邊與其對應的深度資訊產生三角網孔的範例示意圖。
三角網孔的產生範例如圖6A至6D所示。請參照圖6A，其中虛線60為對應至該三維空間網格600的邊600a的深度資訊值大小。如圖6B所示，根據該邊600a上虛線60所對應的深度資訊大小，決定出邊600a上深度資訊值為最大的點602。若其它邊上的深度資訊值皆相等或皆小於點602的深度資訊值，則如圖6C所示將該深度資訊最大的點連接至與其未相接的頂點，結果如圖6D所示，其中此三維空間網格產生三個三角網孔。
圖7A至7D是根據本揭露一實施例所繪示的透過深度資訊選擇出的點對三維空間網格產生三角網孔的範例示意圖。
如圖7A至7D所示，點71、73上的箭號71a、73a分別代表該點的深度資訊強度，且點71為深度資訊值最大的點，點73為深度資訊值次大的點。如圖7A所示，若三維空間網格二個最大 的深度資訊值落在三維空間網格兩個頂點上，則連接此兩點使此三維空間網格產生二個三角網孔。若深度資訊最大值只有一點且其他的深度資訊皆相同，則只選出其深度資訊最大的該點71，如圖7B所示，並將該點連接至與其沒有相連的兩個三維空間網格頂點，此網格產生三個三角網孔。圖7C為選出一深度資訊值最大的點71與一次大的點73，並由深度資訊值最大的點71連線至深度資訊值次大的點73與未與其連接的三維空間網格頂點，結果產生四個三角網孔。圖7D為選擇出的兩點位於相鄰邊，則三維空間網格相鄰邊對角的兩個頂點先連線，深度資訊最大的值的點71再分別對次大值的點73與一未與其連接的頂點連線，結果產生四個三角網孔。以上的範例僅為簡單說明示意，並非侷限其三角網格的切割方式。
圖8是根據本揭露一實施例所繪示的軟體模組儲存於非揮發性儲存媒體的示意圖。
請參照圖8，可複寫式非揮發性儲存媒體800包括電源管理電路810、可複寫式非揮發性記憶體830且一軟體模組890執行於其上、微處理器850與輸入/輸出裝置870，各個裝置分別以電氣聯接。其中，電源管理電路810負責提供可複寫式非揮發性儲存媒體800中各個單元的電力，輸入/輸出裝置870的功能同上述實施例的輸入/輸出裝置810，在此不再重覆。
在本揭露內容另一範例實施例的基於深度資訊的模型方法也可以軟體模組890儲存於可複寫式非揮發性記憶體830的特定區域 (例如，記憶體中專用於存放系統資料的系統區)中，其中可複寫式非揮發性記憶體830可以是靜態隨機存取記憶體(Static Random Access Memory，SRAM)、動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)，或是任何可用來儲存電子訊號或資料之記憶體或儲存裝置。欲建構一個三維模型時，輸入/輸出裝置870接收輸入深度影像資料與色彩影像資料，其深度影像資料包含深度資訊，其色彩影像資料包含色彩資訊，微處理器850將該深度影像資料儲存至可複寫式非揮發性記憶體830，微處理器850會執行可複寫式非揮發性記憶體830上的軟體模組890的指令，其指令以執行本揭露內容範例實施例的三維模型建構方法，其三維模型建構方法如上述，並將建構完成的三維模型暫存至可複寫式非揮發性記憶體830。之後，微處理器850會從可複寫式非揮發性記憶體830中將建構完成的三維模型交由輸入/輸出裝置870來輸出給使用者。
必須了解的是，圖8所示的可複寫式非揮發性儲存媒體8oo並非限制配置於其上的裝置，其更可以包括其他裝置，而其可複寫式非揮發性儲存媒體800，可以是數位相機、攝影機、通信裝置、視訊播放器等具有可複寫式非揮發性儲存媒體的系統，並不侷限於本實施例的可複寫式非揮發性儲存媒體800架構。
圖9是根據本揭露一實施範例的一種深度資訊的模型建構方法的示意圖。
如圖9所示，若欲根據深度資訊來建構三維模型，首先執行步驟S901，接收待建構物體的深度影像資料與色彩影像資 料，其中該深度影像資料包含深度資訊，色彩影像資料包含色彩資訊，再於步驟S903中判斷，每一均勻取樣網格的子網格所對應的色彩資訊，感興趣區域變異數是否大於一門檻值，若是，則執行步驟S905切割子網格，並重複執行步驟S903至每一子網格的感興趣區域變異數皆小於門檻值。若每一子網格的感興趣區域變異數皆小於門檻值則執行步驟S907，透過背投影取得多個三維空間網格，再執行步驟S909，根據對應至每一三維網格的各個邊上的深度資訊，對每一三維網格決定出至少一個點，並於步驟S911根據該些點產生三角網孔。
圖10是根據本揭露一實施範例的影像輸入至顯示流程示意圖，此流程可由圖1的主機系統1000或圖8的可複寫式非揮發性儲存媒體800來實施。其中，步驟S1001擷取待重建物體的深度影像資料與色彩影像資料，在本揭露內容實施例中使用H.264/MVC標準之格式，然而本揭露內容並不侷限於此。此壓縮格式將輸入影像資料分為深度資訊與色彩資訊，深度影像資料的深度資訊透過步驟S1003對輸入影像作三維模型建構，並在步驟S1007產生深度網格模型(Depth Mesh Model)取得，色彩影像資料的色彩資訊透過步驟S1005產生全視角影像(Free-view Images)取得，並在步驟S1009中將深度網格模型的深度資訊與全視角影像的色彩資訊壓縮成H.264/MVC標準之格式。上述過程可在圖1或圖8之輸入/輸出裝置110、870完成。
請再參照圖10，在產生顯示的三維影像時，圖1中的圖 形處理裝置120或圖8的軟體模組可根據該壓縮後的檔案S1111與三維視角估測S1113來進行合成。其中，步驟S1113為三維視角估測，其可為使用者欲對該三維影像欲觀察的旋轉、放大、縮小等狀態。接著在步驟S1115基於使用者對影像視角的選擇，使用本揭露的模型建構方法做解碼，其中在步驟S1115中會先執行步驟S1115a對MVC格式影像解碼，將其解碼成系統或軟體模組可讀取的格式。並在步驟S1117擷取步驟S1115解碼後產生的三維模型。在步驟S1119時再對步驟S1115產生的三維模型進行對應步驟S1113使用者的拉近、拉遠、旋轉或平移轉換等操作。接著在步驟S1121使用色彩影像資料投影至3D模型做表面重建(surface reconstruction)，並在步驟S1123得到一轉換後的3D模型影像，並在步驟S1125渲染輸出，透過輸入/輸出裝置來呈現給使用者。
另外，本揭露之一實施例提出一種內儲程式之電腦可讀取記錄媒體，當電腦載入該程式並執行後，可完成如上各實施例所述之方法。
綜上所述，本揭露提供一種基於深度資訊的模型建構方法、圖形處理裝置與非揮發性儲存媒體實施範例，透過本揭露的模型重建方法，能夠快速的建構三維模型，讓模型更為真實且易與使用者互動。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的 精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S901、S903、S905、S907、S909、S911‧‧‧模型建構方法的步驟

Claims (14)

  1. 一種基於深度資訊的模型建構方法，適用於一圖形處理裝置，包括：接收一深度影像資料與一色彩影像資料，其中該深度影像資料包括多個深度資訊，該色彩影像資料包括多個色彩資訊；根據該深度影像資料的該些深度資訊及該色彩影像資料的該些色彩資訊，以多個均勻取樣網格(Uniform Sampling Grid)來取得多個三維空間網格(3D Grid)，其中每一該些均勻取樣網格又可分割為多個子網格；根據該些三維空間網格的各邊所對應的該深度影像資料的該些深度資訊，決定每一該些三維空間網格的邊上至少一個點；以及根據該些點對每一該些三維空間網格內產生至少二個三角網孔(Triangle Mesh)。
  2. 如申請專利範圍第1項所述之基於深度資訊的模型建構方法，其中該些子網格的大小不一致。
  3. 如申請專利範圍第1項所述之基於深度資訊的模型建構方法，其中每一該些色彩資訊分別對應至每一該些均勻取樣網格的每一該些子網格。
  4. 如申請專利範圍第3項所述之基於深度資訊的模型建構方法，其中該些子網格的分割，透過其對應的該些色彩資訊，決定出每一該些子網格的一感興趣區域(Region of Interest)變異數(Variance)，若該些感興趣區域變異數大於一門檻值，則對該些子網格進行分割，直到每一該些子網格的感興趣區域變異數均低於該門檻值。
  5. 如申請專利範圍第4項所述之基於深度資訊的模型建構方 法，其中每一該些三維空間網格的邊上的該些點，將對應該深度資訊最大的點連線至該三維空間網格的對應該深度資訊次大的點或多個頂點，來產生該些三角網孔。
  6. 一種圖形處理裝置，包括：一執行電路以及一暫存裝置，其中該暫存裝置用以儲存一深度影像資料與一色彩影像資料，其中該深度影像資料包括多個深度資訊，該色彩影像資料包括多個色彩資訊，該執行電路設置用以根據該深度影像資料的該些深度資訊、該色彩影像資料的該些色彩資訊以及多個均勻取樣網格(Uniform Sampling Grid)來取得多個三維空間網格(3D Grid)，其中每一該些均勻取樣網格又可分割為多個子網格，根據該些三維空間網格的各邊所對應的該深度影像資料的該些深度資訊，決定每一該些三維空間網格的邊上至少一個點，以及根據該些點對每一該些三維空間網格內產生至少二個三角網孔(Triangle Mesh)。
  7. 如申請專利範圍第6項所述之圖形處理裝置，其中該深度影像資料的該些深度資訊符合MVC視頻壓縮標準。
  8. 如申請專利範圍第6項所述之圖形處理裝置，其中該些子網格的大小不一致。
  9. 如申請專利範圍第6項所述之圖形處理裝置，其中每一該些色彩資訊分別對應至每一該些均勻取樣網格的每一該些子網格。
  10. 如申請專利範圍第9項所述之圖形處理裝置，其中該些子網格的分割，透過其對應的該些色彩資訊，決定出每一該些子網格的一感興趣區域變異數，若該些感興趣區域變異數大於一門檻值，則對該些子網格進行分割，直到每一該些子網格的感興趣區域變異數均低於 該門檻值。
  11. 如申請專利範圍第10項所述之圖形處理裝置，其中每一該些三維空間網格的邊上的該些點，將對應該深度資訊最大的點連線至該三維空間網格的對應該該深度資訊次大的點或多個頂點，來產生該些三角網孔。
  12. 如申請專利範圍第6項所述之圖形處理裝置，其中該執行電路是一處理單元。
  13. 如申請專利範圍第6項所述之圖形處理裝置，其中該執行電路是一積體電路。
  14. 一種內儲程式之電腦可讀取記錄媒體，當電腦載入該程式並執行後，可完成如申請專利範圍第1項所述之方法。
TW103143656A 2014-12-15 2014-12-15 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體 TWI529662B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103143656A TWI529662B (zh) 2014-12-15 2014-12-15 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體
CN201410826179.6A CN105787992A (zh) 2014-12-15 2014-12-26 基于深度信息的模型建构方法与图形处理装置
US14/672,236 US9569888B2 (en) 2014-12-15 2015-03-30 Depth information-based modeling method, graphic processing apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103143656A TWI529662B (zh) 2014-12-15 2014-12-15 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體

Publications (2)

Publication Number Publication Date
TWI529662B true TWI529662B (zh) 2016-04-11
TW201621815A TW201621815A (zh) 2016-06-16

Family

ID=56111679

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103143656A TWI529662B (zh) 2014-12-15 2014-12-15 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體

Country Status (3)

Country Link
US (1) US9569888B2 (zh)
CN (1) CN105787992A (zh)
TW (1) TWI529662B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708577B2 (en) * 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
CN109961516B (zh) * 2017-12-26 2023-09-26 宏达国际电子股份有限公司 表面获取方法、装置及非暂态电脑可读取记录媒体
WO2019173672A1 (en) * 2018-03-08 2019-09-12 Simile Inc. Methods and systems for producing content in multiple reality environments
CN108833876B (zh) * 2018-06-01 2019-10-25 宁波大学 一种立体图像内容重组方法
CN110620947A (zh) * 2018-06-20 2019-12-27 北京优酷科技有限公司 字幕显示区域确定方法及装置
CN113034385B (zh) * 2021-03-01 2023-03-28 嘉兴丰鸟科技有限公司 一种基于分块的网格生成及渲染方法
CN115222913B (zh) * 2022-03-29 2024-03-15 广州汽车集团股份有限公司 网格生成、结构仿真分析方法、装置、设备及存储介质
CN117272758B (zh) * 2023-11-20 2024-03-15 埃洛克航空科技（北京）有限公司 基于三角格网的深度估计方法、装置、计算机设备和介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0117157D0 (en) 2001-07-16 2001-09-05 Imec Inter Uni Micro Electr Extraction, hierarchical representation and flexible compression of surface meshes derived from 3D data
US7538764B2 (en) 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
EP1221674A3 (en) 2001-01-05 2003-09-24 Interuniversitair Microelektronica Centrum Vzw System and method to obtain surface structures of multidimensional objects, and to represent those surface structures for animation, transmission and display
AU2003245483A1 (en) 2002-06-12 2003-12-31 Spatial Integrated Systems, Inc. Discrete linear space sampling method and apparatus for generating digital 3d models
US20050140670A1 (en) 2003-11-20 2005-06-30 Hong Wu Photogrammetric reconstruction of free-form objects with curvilinear structures
KR100624457B1 (ko) * 2005-01-08 2006-09-19 삼성전자주식회사 깊이-영상 기반의 모델링 방법 및 장치
KR100634537B1 (ko) 2005-02-04 2006-10-13 삼성전자주식회사 3차원 영상의 삼각 분할 장치 및 방법과 그 장치를제어하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수있는 기록 매체
KR100738107B1 (ko) * 2006-02-15 2007-07-12 삼성전자주식회사 3차원 포인트 기반 모델링 장치 및 방법
CN100561523C (zh) * 2007-06-19 2009-11-18 北京大学 一种三维模型网格重建方法
CN100559398C (zh) 2007-06-19 2009-11-11 北京航空航天大学 自动的深度图像配准方法
US20090109129A1 (en) 2007-10-30 2009-04-30 Seen Yee Cheong System and Method for Managing Information Handling System Display Illumination
TWI370410B (en) 2008-12-30 2012-08-11 Ind Tech Res Inst Image processing method for providing depth information
US8976168B2 (en) 2011-11-02 2015-03-10 Microsoft Technology Licensing, Llc Mesh generation from depth images
CN102831648A (zh) 2012-07-19 2012-12-19 邢学军 一种定节点量曲线逼近和曲面网格生成优化技术
WO2014025239A1 (ko) * 2012-08-10 2014-02-13 엘지전자 주식회사 3d 영상을 위한 영상 컴포넌트 송수신 처리 방법 및 장치

Also Published As

Publication number Publication date
CN105787992A (zh) 2016-07-20
US20160171759A1 (en) 2016-06-16
TW201621815A (zh) 2016-06-16
US9569888B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
TWI529662B (zh) 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體
GB2553892B (en) 2D video with option for projected viewing in modeled 3D space
US20170038942A1 (en) Playback initialization tool for panoramic videos
CN109840881B (zh) 一种3d特效图像生成方法、装置及设备
KR102208773B1 (ko) 파노라마 영상 압축 방법 및 장치
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
WO2017088491A1 (zh) 一种视频的播放方法和装置
US10580143B2 (en) High-fidelity 3D reconstruction using facial features lookup and skeletal poses in voxel models
US20130321410A1 (en) Video generation using three-dimensional hulls
WO2018196519A1 (zh) 一种播放视频的方法和设备
US8274567B2 (en) Image processing method, apparatus and system
US9754398B1 (en) Animation curve reduction for mobile application user interface objects
JP2014002614A (ja) 画像処理装置及び画像処理方法
Valenzise et al. Immersive Video Technologies
JP6121810B2 (ja) シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法
US9143754B2 (en) Systems and methods for modifying stereoscopic images
WO2022217830A1 (zh) 虚拟对象构建方法及装置、存储介质
CN111508058A (zh) 图像三维重建的方法、装置、存储介质及电子设备
JP5473096B2 (ja) イメージベースドビジュアルハルにおける凹状表面のモデリング
WO2023056879A1 (zh) 一种模型处理方法、装置、设备及介质
JP7125983B2 (ja) 実物体の相互作用的な３ｄ表現を作成および表示するためのシステムおよび方法
KR20180053494A (ko) 모바일 환경에서의 증강현실 게임공간 구축방법
Söchting et al. Lexcube: Interactive visualization of large earth system data cubes
CN112802183A (zh) 一种三维虚拟场景重建的方法、装置以及电子设备
KR100943451B1 (ko) Ｔｉｆｆ 포맷을 이용한 ｄｅｍ―ｔｉｆｆ정사영상 제작 시스템 및 그 방법