TW201528774A - 用於形成三維景象之裝置及方法 - Google Patents

Abstract

本發明提供一種形成一三維景象之裝置及方法。該裝置根據一影像之複數個深度資料而產生一高度圖。該裝置查找出該高度圖之一第一區域，其中該第一區域內之深度資料較該第一區域外之深度資料變化更大。該裝置根據該第一區域而在一平面上形成複數個網格，並藉由以該高度圖使該平面之網格變形而產生一三維景象。該平面與該高度圖具有相同之尺寸，該平面內之一第二區域對應於該高度圖之第一區域，且該第二區域內之網格較該第二區域外之網格具有一更精細之解析度。該裝置藉由將該影像映射至該三維網格上而產生該三維景象。

Description

用於形成三維景象之裝置及方法 【0001】

本發明係關於一種形成一三維景象之裝置及方法。更具體而言，本發明係關於一種用於根據一影像及其深度資料而產生一三維景象之裝置及方法。

【0002】

儘管我們的日常生活中充滿了顯示各種內容之影像，但人們不因此而滿足。主要原因在於，這些影像為二維（two-dimensional；2D）的，因此人眼看去為平的。

【0003】

藉由將深度資訊（depth information）納入傳統二維影像之中，便能開發出三維（three-dimensional；3D）影像/景象。傳統上，一三維影像/景象係藉由以下程序產生：自二個觀察點（perspectives）捕獲一景象，並藉由一專用投影設備（例如：3D眼鏡）來提供深度感。由於這些形成三維影像/景象之傳統程序繁瑣，因此仍亟需一種形成三維影像/景象之便捷方式。

【0004】

本發明提供一種形成一三維（3D）景象之裝置。該裝置包含一深度分析器、一網格產生器及一三維空間產生器，其中該深度分析器包含一高度圖（height map）產生器及一細部探測器。該高度圖產生器用以根據一影像之複數個深度資料而產生一高度圖，其中該高度圖與該影像具有相同之長寬比。該細部探測器用以查找出該高度圖之一第一區域，其中該第一區域內之該等深度資料較該第一區域外之該等深度資料變化更大。該網格產生器用以根據該第一區域而在一平面上形成複數個網格，其中該平面之一尺寸等於該高度圖之一尺寸，該平面內之一第二區域對應於該高度圖之該第一區域，且該第二區域內之該等網格較該第二區域外之該等網格具有一更精細之解析度。該網格產生器亦被配置成以該高度圖使該平面之該等網格變形而產生一三維網格。請注意，各該網格可由二個三角形形成。該三維空間產生器用以藉由將該第一影像映射至該三維網格上而產生該三維景象。

【0005】

本發明提供一種由一電子裝置執行之形成一三維景象之方法。該方法包含以下步驟：（a）根據一第一影像之複數個深度資料而產生一高度圖，其中該高度圖與該第一影像具有相同之長寬比，（b）查找出該高度圖之一第一區域，其中該第一區域內之該等深度資料較該第一區域外之該等深度資料變化更大，（c）根據該第一區域而在一平面上形成複數個網格，其中該平面之一尺寸等於該高度圖之一尺寸，該平面內之一第二區域對應於該高度圖之該第一區域，且該第二區域內之該等網格較該第二區域外之該等網格具有一更精細之解析度，其中各該網格可由二個三角形形成，（d）藉由以該高度圖使該平面之該等網格變形而產生一三維網格，以及（e）藉由將該第一影像映射至該三維網格上而產生該三維景象。

【0006】

本發明提供一種電腦可讀取記錄媒體，儲存有一電腦程式。該電腦程式在被載入一電子裝置之後執行一種產生一三維景象之方法。該方法包含下列步驟：（a）根據一第一影像之複數個深度資料而產生一高度圖，其中該高度圖與該第一影像具有相同之長寬比，（b）查找出該高度圖之一第一區域，其中該第一區域內之該等深度資料較該第一區域外之該等深度資料變化更大，（c）根據該第一區域而在一平面上形成複數個網格，其中該平面之一尺寸等於該高度圖之一尺寸，該平面內之一第二區域對應於該高度圖之該第一區域，且該第二區域內之該等網格較該第二區域外之該等網格具有一更精細之解析度，（d）藉由以該高度圖使該平面之該等網格變形而產生一三維網格，其中各該網格可由二個三角形形成，以及（e）藉由將該第一影像映射至該三維網格上而產生該三維景象。

【0007】

一般而言，本發明根據至少一個影像之複數個深度資料而產生一高度圖，找出該高度圖之至少一個細部區域，根據該至少一個細部區域及該高度圖而產生一三維網格，並且根據該三維網格及該至少一個影像而產生一三維景象。

【0008】

在本發明中，為產生具有多個解析度之一三維網格，必須找出該高度圖之至少一個細部區域。各該至少一個細部區域係為包含更多細部之一區域、包含許多邊緣之一區域、其距離值較其他地方變化更劇烈之一區域及/或類似區域。在本發明中，一三維網格係被不均勻地形成並且具有多個解析度。亦即，該三維網格之某些部分係具有尺寸較小之三角形以呈現該三維景象之更多細部。具體而言，該等部分對應於該高度圖之該至少一個細部區域。

【0009】

在本發明中，根據該三維網格及該至少一個影像而產生一三維景象。更具體而言，藉由將該至少一個影像映射至該三維網格上而產生該三維景象。若存在多於一個影像且自不同觀察點/視角（viewpoint）/角度捕獲該等影像，則可更逼真地產生該三維景象。舉例而言，當需要產生看似自一某個視角所看到之一三維景象時，選擇合適之影像而映射至該三維網格。

【0010】

根據上述機制，本發明之裝置、方法及電腦可讀取記錄媒體能夠以一更便捷之方式產生一悅目之三維景象。

【0011】

參閱圖式及隨後描述的實施方式後，所屬技術領域具有通常知識者可更瞭解本發明的技術手段及具體實施態樣。

【0048】

1‧‧‧裝置
10‧‧‧影像
10a‧‧‧影像
10b‧‧‧影像
10c‧‧‧影像
11‧‧‧深度分析器
12‧‧‧深度資料
13‧‧‧網格產生器
14‧‧‧高度圖
15‧‧‧三維空間產生器
16‧‧‧區域
18‧‧‧三維網格
18a‧‧‧平面
18b‧‧‧區域
19‧‧‧三維景象
19a‧‧‧視角
19b‧‧‧視角
19c‧‧‧視角
22a‧‧‧視角
22b‧‧‧視角
22c‧‧‧視角
111‧‧‧高度圖產生器
113‧‧‧細部探測器
S301～S311‧‧‧步驟

【0012】

第1A圖係描繪第一實施方式之裝置1之示意圖；

【0013】

第1B圖係描繪高度圖14及細部區域16之一具體範例；

【0014】

第1C圖係描繪平面18a上之複數個網格；

【0015】

第1D圖係描繪由網格產生器13所產生之三維網格18；

【0016】

第1E圖係描繪自各種視角19a、19b、19c所視三維景象19之概念圖；

【0017】

第2A圖係描繪本發明第二實施方式中之裝置1；

【0018】

第2B圖係描繪影像10a、10b、……10c及用於捕獲該等影像之視角20a、20b、……、20c之概念圖；以及

【0019】

第3圖係描繪本發明第三實施方式之方法之流程圖。

【0020】

以下將透過實施方式來解釋本發明內容。然而，本發明的實施方式並非用以限制本發明需在如實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以直接限制本發明。需説明者，以下實施方式及圖示中，與本發明非直接相關之元件已省略而未繪示。

【0021】

本發明之第一實施方式為一種形成一三維（3D）景象之裝置1，其示意圖係描繪於第1圖中。裝置1包含一深度分析器11、一網格產生器13及一三維空間產生器15，其中深度分析器11包含一高度圖產生器111及一細部探測器113。細部探測器113電性連接至高度圖產生器111，網格產生器13電性連接至高度圖產生器111及細部探測器113，且三維空間產生器15電性連接至網格產生器13。

【0022】

在某些實施方式中，可藉由一單獨處理單元或類似單元來實現各該深度分析器11、高度圖產生器111、細部探測器113、網格產生器13及三維空間產生器15。然而，在某些實施方式中，深度分析器11、高度圖產生器111、細部探測器113、網格產生器13及三維空間產生器15可整合為一單個處理單元或類似單元。

【0023】

在此實施方式中，一影像10及與影像10相關之複數個深度資料12被輸入至裝置1之深度分析器11。在某些實施方式中，裝置1可具有一額外之介面以用於接收影像10及深度資料12。接著，影像10及深度資料12被輸入至深度分析器11。在某些實施方式中，裝置1可具有儲存有影像10及深度資料12之一儲存器。影像10包含自一視角（或一觀察點、一角度等）所視之真實世界之一景象，而各該深度資料12包含一距離值，各該距離值係與該視角與該真實世界之該景象之一表面上一點間之一距離有關。深度資料12可以各種方式得到，例如：藉由雙面照相機（dual camera）、藉由一立體影像系統之計算以及藉由一距離量測設備（例如：雷射量測設備、紅外線量測設備等）得到。

【0024】

高度圖產生器111根據深度資料12而產生一高度圖14。需說明者，高度圖14之長寬比等於影像10之長寬比。高度圖產生器111可以各種替代方式產生高度圖14。舉例而言，高度圖產生器111可藉由僅將深度資料12之距離值插入高度圖14中而產生高度圖14。換言之，高度圖14之每一畫素對應於一距離值。然而，於其他實施方式中，高度圖產生器111可首先將深度資料12之距離值插入深度圖14中，並接著對高度圖14中所包含之距離值執行一去雜訊（de-noise）操作及/或一平滑操作。當執行一去雜訊操作時，可減少在距離值之量測期間所產生之雜訊。當執行一平滑操作時，可減少高度圖14之非所欲之銳利度（sharpness）。

【0025】

細部探測器113查找出高度圖14之一區域16。區域16為一細部區域，此意味著區域16內之深度資料較區域16外之深度資料變化更大。換言之，區域16為包含更多細部之一區域、包含許多邊緣之一區域、其距離值較其他地方變化更大之一區域及/或類似區域。其亦意味著影像10之一對應區域較影像10之其餘區域具有更多細部。

【0026】

區域16可以各種替代方式得到。在某些實施方式中，細部探測器113可產生高度圖14之一梯度圖（gradient map）（未繪示），並決定高度圖14中包含較大梯度值（例如，大於一臨限值）之區域作為區域16。然而，在某些實施方式中，細部探測器113可在決定區域16時查找高度圖14之一感興趣區域（region of interest；ROI）。具體而言，細部探測器113可產生高度圖14之一梯度圖，並決定感興趣區域內包含較大梯度值之區域作為區域16。

【0027】

關於由細部探測器113所執行之操作，應作出若干說明。第一，細部探測器113可在產生梯度圖之前將高度圖14標準化（normalize），俾使後續階段之計算更為便捷。第二，在某些實施方式中，細部探測器113會採用梯度圖，其原因在於梯度圖具有梯度值愈大則對應區域中所包含之細部愈多之特性。因此，在決定區域16之程序中，細部探測器113亦可採用其他可區分具有較多細部之區域與具有較少細部之區域之機制。

【0028】

在決定出區域16後，網格產生器13根據區域16而在一平面18a上形成複數個網格。需說明者，平面18a之尺寸等於高度圖14之尺寸，且各網格之每一交叉點被看作一頂點（vertex）。請參照第1B圖及第1C圖中所示之一具體範例。第1B圖係描繪高度圖14及區域16之一具體範例，其中較亮顏色代表具有較小距離值之深度資料。如第1C圖中所示，就尺寸及位置而言，平面18a內之一區域18b對應於高度圖14之區域16。網格產生器13根據區域16而在平面18a上形成網格，使得區域18b內之網格較區域18b外之網格具有一更精細之解析度，如第1C圖所示。在某些實施方式中，網格產生器13可先在平面18a上形成具有相同尺寸之網格，並接著在區域18b中細分該等網格。由於區域18b內之網格具有一更精細之解析度，故可得到更多頂點。在已形成平面18a之網格之後，網格產生器13可進一步將各該網格劃分成二個三角形。接著，網格產生器13藉由以高度圖14使平面18a之網格變形而產生一三維網格18，如第1D圖所示。

【0029】

在產生三維網格18之後，三維空間產生器15藉由將影像10映射至三維網格18上而產生一三維景象19。對於使用者而言，三維景象19顯現為自視角19a所視之三維景象，如第1E圖所示。由於三維景象19為三維的，故使用者自不同視角（例如：視角19b、19c）觀看三維景象19會有不同之觀看體驗。

【0030】

根據上述說明，裝置1能以有效率之方式形成一三維景象，乃因在形成三維景象之程序僅涉及影像10及其對應深度資料12。再者，由於影像10之一或多個細節部分被特別地處理，亦即，被映射至三維網格之較精細部分，因此由裝置1所形成之三維景象為一悅目之三維景象。

【0031】

請參照第2A圖，其係描繪本發明第二實施方式之裝置1。在此實施方式中，若干影像10a、10b、……、10c及深度資料12被輸入至裝置1。影像10a、10b、……、10c包含自不同視角22a、22b、……、22c所視之真實世界之一景象，如第2B圖所示。各該深度資料12包含一距離值，各該距離值係與一視角（例如：視角22a）與真實世界之景象之一表面上一點間之一距離有關。

【0032】

在此實施方式中，深度分析器11、高度圖產生器111、細部探測器113及網格產生器13執行與第一實施方式中所述者類似之操作，並且具有與第一實施方式中所述者類似之功能。因此，此處不再對其予以贅述。

【0033】

在此實施方式中，三維空間產生器15之執行略有不同。三維空間產生器15可對應於一預定視角而產生一三維景象。舉例而言，當預定視角係為視角22a時，三維空間產生器15藉由將影像10a（亦即，與視角22a對應之影像）映射至三維網格18上而產生三維景象，進而顯示三維景象19a。

【0034】

之後，三維空間產生器15判斷需要一個看似由視角22c處所視之三維景象。此情形發生於當使用者把裝置1向左傾斜時，此情形可由裝置1之一重力感測器（G-sensor）或類似設備（未繪示）偵測到。在此種情況下，三維空間產生器15可藉由將影像10c映射至三維網格18上而呈現三維景象。作為另一選擇態樣，三維空間產生器15亦可根據裝置在不同準位（level）之比率來將影像10a、10c映射至三維網格18上而呈現三維景象19b。

【0035】

類似的，三維空間產生器15判斷需要一個看似由視角22b處所視之三維景象。此情形發生於當使用者把裝置1向右傾斜時，此情形可由裝置1之一重力感測器或類似設備（未繪示）偵測到。在此種情況下，三維空間產生器15可藉由將影像10b映射至三維網格18上而呈現三維景象19c。作為另一選擇態樣，三維空間產生器15亦可根據裝置在不同準位之比率來將影像10b、10c映射至三維網格18上而呈現三維景象19c。

【0036】

簡言之，當裝置1之一重力感測器（或類似設備）偵測到裝置1傾斜至一方向時，三維空間產生器15將根據該方向選擇一或多個合適之影像，並接著藉由將所選擇之該（該等）合適影像映射至三維網格18上而呈現三維景象。由於三維景象是根據同一三維網格18及所選之該（該等）合適影像而被呈現出來，因此這些三維景象更為栩栩如生，且不會具有非所欲之人為效果。

【0037】

上述二個實施方式各提供二個解析度。換言之，平面18a上之網格具有二個不同尺寸，且三維網格18之三角形具有二個不同尺寸。然而，本發明可提供多於二個解析度。舉例而言，細部探測器113可將梯度圖之各梯度值歸類為三個等級。在此種情形中，具有較低梯度值之等級將具有最低之解析度，具有較高梯度值之等級將具有最精細之解析度，且介於二者間之等級將具有中間解析度。網格產生器13接著基於這些等級而產生三維網格18。對於最低之解析度，其所對應之網格將不會再被細分。對於中間解析度及最精細之解析度，其所對應之網格將會再被細分至不同程度。至於其餘操作，則為相同的，故不再予以贅述。

【0038】

請參照第3圖，其係描繪本發明第三實施方式之一種形成一三維景象之方法之流程。該方法可由一電子裝置（例如：第一實施方式及第二實施方式中之裝置1）來執行。

【0039】

首先，該方法執行步驟S301，接收至少一個影像及深度資料，其中該等深度資料對應於該至少一個影像。在第一實施方式及第二實施方式中已闡述了深度資料及深度資料與該至少一個影像間之關係，故此處將不再予以贅述。需說明者，若該至少一個影像及該等深度資料已儲存於電子裝置中，則可省略步驟S301。

【0040】

接著，該方法執行步驟S303，根據該等深度資料而產生一高度圖，其中該高度圖與第一影像具有相同之長寬比。需說明者，各該至少一個影像包含自一視角所視之一真實世界之一景象，且各該深度資料包含一距離值，各該距離值係與該視角與該景象之一表面之一點間之一距離有關。在某些實施方式中，可藉由將該等距離值插入高度圖中之一步驟（未繪示）而達成步驟S303。在某些其他實施方式中，可藉由以下步驟達成步驟S303：將距離值插入高度圖中之一步驟（未繪示），以及對該高度圖中所包含之距離值執行一去雜訊操作及一平滑操作至少其中之一之步驟（未繪示）。

【0041】

接著，該方法執行步驟S305，查找出該高度圖之一第一區域，其中該第一區域內之該等深度資料較該第一區域外之該等深度資料變化更大。在某些實施方式中，可藉由以下步驟達成步驟S305：產生高度圖之一梯度圖之一步驟（未繪示），以及決定該高度圖中包含較大梯度值之一區域作為該第一區域之一步驟（未繪示）。然而，在某些其他實施方式中，可藉由以下步驟達成步驟S305：產生高度圖之一梯度圖之一步驟（未繪示），以及決定該高度圖中包含較大梯度值之一感興趣區域作為該第一區域之一步驟（未繪示）。

【0042】

之後，該方法執行步驟S307及步驟S309，根據該第一區域及該高度圖而產生一三維網格。具體而言，步驟S307根據該第一區域而在一平面上產生複數個網格，其中該平面之一尺寸等於該高度圖之一尺寸，該平面內之一第二區域對應於該高度圖之該第一區域，且該第二區域內之該等網格較該第二區域外之該等網格具有一更精細之解析度。步驟S309藉由以該高度圖使該平面之該等網格變形而產生一三維網格。

【0043】

最後，該方法執行步驟S311，藉由將該至少一個影像其中之一映射至該三維網格上而產生一三維景象。若在步驟S301中接收到多於一個影像且自不同視角捕獲各該影像，則可藉由將一或多個合適之影像映射至三維網格上而更逼真地產生/呈現三維景象。舉例而言，在某些實施方式中，該方法可更執行偵測電子裝置是否傾斜至一方向之一步驟（未繪示），根據該方向而選擇一或多個合適之影像之一步驟（未繪示），以及藉由將所選擇之該（該等）合適影像映射至三維網格上而呈現三維景象之一步驟。所選擇之該等影像將基於每次更新之視角（或傾斜方向）而決定三維網格中每一畫素之顏色。

【0044】

除了上述步驟，第三實施方式亦能執行第一實施方式及第二實施方式中所述之所有操作及功能。所屬技術領域具有通常知識者可直接瞭解第三實施方式如何基於上述第一實施方式及第二實施方式以執行此等操作及功能。故不贅述。

【0045】

第三實施方式所述之形成一三維景象之方法可由儲存於一電腦可讀取記錄媒體中之一電腦程式來實現。當該電腦程式被載入一電子裝置時，該電子裝置執行該電腦程式中所包含之複數個程式碼，以完成該第三實施方式中所述之所有步驟。該電腦可讀取記錄媒體可為唯讀記憶體（read only memory；ROM）、快閃記憶體、軟碟、硬碟、光碟（CD）、隨身碟、可由網路存取之資料庫或具有相同功能且熟習此項技藝者所習知之任何其他儲存媒體。

【0046】

綜上所述，本發明形成三維景象之程序僅涉及至少一個影像及其對應深度資料，因此能有效率地形成三維景象。再者，由於該至少一個影像之一或多個細節部分被特別地處理，亦即，被映射至三維網格之較精細部分，因此本發明所形成之三維景象為一悅目之三維景象。此外，若存在多於一個影像且這些影像是自不同視角所捕獲，則可藉由根據所需視角選擇一或多個合適影像、再藉由將所選擇之該等合適影像映射至三維網格上以呈現三維景象。如此一來，所呈現出來的三維景象將更為逼真，且不會具有非所欲之人為效果。

【0047】

惟上述實施方式僅為例示性說明本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技藝之人士可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。

 

S301~S311‧‧‧步驟

Claims (10)

1. 【第1項】

   一種形成一三維（three-dimensional；3D）景象之裝置，包含：
   　　一深度分析器，包含：
   　　　　一高度圖（height map）產生器，用以根據一第一影像之複數個深度資料而產生一高度圖，其中該高度圖與該第一影像具有相同之長寬比；以及
   　　　　一細部探測器，用以查找出該高度圖之一第一區域，其中該第一區域內之該等深度資料較該第一區域外之該等深度資料變化更大；
   　　一網格產生器，用以根據該第一區域而在一平面上形成複數個網格，並藉由以該高度圖使該平面之該等網格變形（morph）而產生一三維網格，其中該平面之一尺寸等於該高度圖之一尺寸，該平面內之一第二區域對應於該高度圖之該第一區域，且該第二區域內之該等網格較該第二區域外之該等網格具有一更精細之解析度；以及
   　　一三維空間產生器，用以藉由將該第一影像映射至該三維網格上而產生該三維景象。
2. 【第2項】

   一種形成一三維景象之方法，該方法係由一電子裝置執行，且包含以下步驟：
   　　根據一第一影像之複數個深度資料而產生一高度圖，其中該高度圖與該第一影像具有相同之長寬比；
   　　查找出該高度圖之一第一區域，其中該第一區域內之該等深度資料較該第一區域外之該等深度資料變化更大；
   　　根據該第一區域而在一平面上形成複數個網格，其中該平面之一尺寸等於該高度圖之一尺寸，該平面內之一第二區域對應於該高度圖之該第一區域，且該第二區域內之該等網格較該第二區域外之該等網格具有一更精細之解析度；
   　　藉由以該高度圖使該平面之該等網格變形而產生一三維網格；以及
   　　藉由將該第一影像映射至該三維網格上而產生該三維景象。
3. 【第3項】

   如請求項2所述之方法，其中該第一影像包含自一視角所視之一真實世界之一景象，各該深度資料包含一距離值，各該距離值係與該視角與該真實世界中該景象之一表面之一點間之一距離相關，且產生該高度圖之該步驟包含以下步驟：
   　　將該等距離值安置於該高度圖中；以及
   　　對該高度圖中所包含之該等距離值執行一去雜訊操作及一平滑操作至少其中之一。
4. 【第4項】

   如請求項2所述之方法，其中查找出該第一區域之該步驟包含以下步驟：
   　　產生該高度圖之一梯度圖；以及
   　　決定該高度圖中包含較大梯度值之一區域作為該第一區域。
5. 【第5項】

   如請求項2所述之方法，其中查找出該第一區域之該步驟包含以下步驟：
   　　產生該高度圖之一梯度圖；以及
   　　決定該高度圖中包含較高梯度值之一感興趣區域作為該第一區域。
6. 【第6項】

   如請求項2所述之方法，其中該第一影像包含來自一第一視角之一真實世界之一景象，一第二影像包含來自一第二視角之該景象，且該方法更包含以下步驟：
   　　藉由將該第二影像映射至該三維網格而呈現該三維景象。
7. 【第7項】

   如請求項6所述之方法，更包含以下步驟：
   　　偵測該電子裝置是否傾斜至一方向；
   　　其中該三維景象係根據對該電子裝置傾斜至該方向之該偵測而被呈現。
8. 【第8項】

   如請求項2所述之方法，其中該第一影像包含來自一第一視角之一真實世界之一景象，一第二影像包含來自一第二視角之該景象，且該方法更包含以下步驟：
   　　藉由將該第一影像及該第二影像映射至該三維網格上而呈現該三維景象。
9. 【第9項】

   如請求項8所述之方法，更包含以下步驟：
10. 　　偵測該電子裝置是否傾斜至一方向；
    　　其中該三維影像係根據對該電子裝置傾斜至該方向之該偵測而被呈現。