TWI581051B - Three - dimensional panoramic image generation method - Google Patents

Three - dimensional panoramic image generation method Download PDF

Info

Publication number
TWI581051B
TWI581051B TW104107948A TW104107948A TWI581051B TW I581051 B TWI581051 B TW I581051B TW 104107948 A TW104107948 A TW 104107948A TW 104107948 A TW104107948 A TW 104107948A TW I581051 B TWI581051 B TW I581051B
Authority
TW
Taiwan
Prior art keywords
image
grid
mesh
color value
generating
Prior art date
Application number
TW104107948A
Other languages
English (en)
Other versions
TW201632982A (zh
Inventor
Atul Kumar
Yan-You Wang
Kai-Zhe Liu
Hong-Sheng Wu
Wan-Qi Hong
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed filed Critical
Priority to TW104107948A priority Critical patent/TWI581051B/zh
Publication of TW201632982A publication Critical patent/TW201632982A/zh
Application granted granted Critical
Publication of TWI581051B publication Critical patent/TWI581051B/zh

Links

Description

三維全景影像之產生方法
本發明涉及一種影像產生方法,尤指一種三維全景影像之產生方法。
照相機逐漸成為現代人記錄生活的方式之一,透過相片來記錄生活。而照相機在醫療方面也有特殊用途,能透過微型照相機或攝影機進入人體體內,並拍下人體體內的相片影像,供醫生進行準確的診斷,提高醫療品質。
現有的照相機及攝影機大都只能拍攝二維的平面影像。但隨著科技的進步,現代人不斷的在追求更佳的影像效果,二維的平面影像越來越不敷使用,因此開始追求三維的立體影像,以提供更佳的影像效果。像是現在的電影院常常主打三維電影,來提供更佳的聲光效果享受。對於醫療方面,若能提供三維的立體影像,醫生則能透過立體影像獲得人體體內的狀況進一步做出更準確的診斷。
現有技術的立體影像產生方法係以固定距離設置的兩台攝影機之間分別拍攝同一區域的影像,由一電腦接收該二攝影機產生的一組影像,對該組影像進行影像處理,並根據該二攝影機之間的固定距離產生該區域的三維立體影像。
但現有技術產生三維立體影像的方法必須由二攝影機拍攝該區域,再經由計算以產生該三維立體影像。此一方法需要二攝影機以固定間隔設置,並分別拍攝該區域的二維平面影像後,才能產生該三維立體影像,其不僅具有複雜的設備設置,且當具有多張三維立體影像時,僅能分成多張顯示,於觀賞上不甚方便,故現有技術產生三維影像的方法須做進一步之改良。
鑑於現有產生三維全景影像的技術使用複雜的設備設置,且多張三維立體影像僅能分別顯示,本發明主要目的係提供一種三維全景影像之產生方法,以利用簡單的設備設置產生一三維全景影像。
為達到上述目的,本發明的第一三維全景影像之產生方法包含有以下步驟: 由一攝影機拍攝一第一影像及一第二影像,且該第一影像及該第二影像部分重疊,其中該第一影像具有複數第一像素點,該第二影像具有複數第二像素點; 擷取並儲存該第一影像之各第一像素點對應的色彩值及該第二影像之各第二像素點對應的色彩值; 計算該第一影像之一第一深度圖及該第二影像之一第二深度圖; 計算並產生該第一影像之一第一網格曲面及該第二影像之一第二網格曲面; 整合各該第一像素點對應的色彩值及該第一網格曲面,以產生一第一網格圖,其中該第一網格圖係於該第一網格曲面中的各網格單元分別具有至少一組色彩值,以及整合各該第二像素點對應的色彩值及該第二網格曲面,以產生一第二網格圖,其中該第二網格圖係於該第二網格曲面中的各網格單元分別具有至少一組色彩值; 計算該第一影像及該二影像之重疊區域的關連點;及 根據該關連點合併該第一網格圖及該第二網格圖以產生一第一三維全景影像。
透過此一方法產生的第一三維全景影像,利用該攝影機拍攝多張影像,由其中取出兩張具有部分重疊的影像作為該第一影像及該第二影像後,分別對該第一影像及該第二影像進行影像處理以產生該第一網格圖及該第二網格圖,並合併該第一網格圖及該第二網格圖而產生該第一三維全景影像。因此,本發明的三維全景影像產生方法僅需一台攝影機即可建立第一三維全景影像,且藉由結合該第一影像及該第二影像得到該第一三維全景影像,使影像能結合成一張第一三維全景影像提供使用者更佳觀賞效果。
以下配合圖式及本發明較佳實施例,進一步闡述本發明為達成預定發明目的所採取的技術手段。
請參閱圖1所示,本發明係一三維全景影像之產生方法,該三維全景影像之產生方法包含有以下步驟: 由一攝影機拍攝一第一影像及一第二影像,且該第一影像及該第二影像部分重疊(S11),其中該第一影像具有複數第一像素點,該第二影像具有複數第二像素點; 擷取並儲存該第一影像之各第一像素點對應的一色彩值及該第二影像之各第二像素點對應的色彩值(S12); 計算該第一影像之一第一深度圖(depth map)及該第二影像之一第二深度圖(S13); 計算並產生該第一影像之一第一網格曲面(mesh surface)及該第二影像之一第二網格曲面(S14); 整合各該第一像素點對應的色彩值及該第一網格曲面,以產生一第一網格圖(mesh 1),其中該第一網格圖係於該第一網格曲面中的各網格單元分別具有至少一組色彩值(RGB values),以及整合各該第二像素點對應的色彩值及該第二網格曲面,以產生一第二網格圖(mesh 2),其中該第二網格圖係於該第二網格曲面中的各網格單元分別具有至少一組色彩值(S15); 計算該第一影像及該二影像之重疊區域的關連點(correspondence point) (S16);及 根據該關連點合併該第一網格圖及該第二網格圖以產生一第一三維全景影像(S17)。
請一併參閱圖2所示,該三維全景影像之產生方法係適用於一影像產生系統1,該影像產生系統1包含有一電腦主機10、一攝影機20及一顯示裝置30。該電腦主機10係連接至該攝影機20及該顯示裝置30。
於步驟S11中,係由該攝影機20用於拍攝多張影像,其中至少包含該第一影像及該第二影像。於步驟S12中,係由該電腦主機10擷取並儲存的各該第一像素點對應的色彩值及各該第二像素點對應的色彩值。在本較佳實施例中,各像素點所對應的色彩值係三原色色彩值(RGB values),舉例來說,黑色的三原色色彩值為(R,G,B;0,0,0)、白色的三原色色彩值為(R,G,B;255,255,255)、銀色的三原色色彩值為(R,G,B;192,192,192)。
於步驟S13中,係由該電腦主機10計算的該第一深度圖及該第二深度圖係指該電腦主機10透過影像分析技術計算出該第一影像及該第二影像中各像素點的深度值。在本較佳實施例中,若該第一影像及該第二影像中光源來源方向確定,即可透過該第一影像及該第二影像中物體的影子形狀及長度大小計算出各像素點的深度值,詳細內容可參閱「Zhang, Ruo, et al. “Shape-from-shading: a survey.” Pattern Analysis and Machine Intelligence, IEEE Transaction on 21.8 (1999): 690-706」,其中有詳細說明。若該第一影像及該第二影像中光源來源方向不確定,則透過線性透視投影法計算出各像素點的深度值,詳細內容可參閱「Wei, Q. “Converting 2d to 3d: A survey.” International Conference, Page (s). Vol. 7. 2005」,其中有詳細說明。
由於該第一影像及該第二影像中的各個第一、第二像素點本身具有一個二維座標位置。當該電腦主機10透過上述方法計算出該第一影像及該第二影像中各像素點的深度值,該深度值便可與二維座標位置結合獲得各該第一、第二像素點的三維座標值,其中第一維度及第二維度為該第一、第二像素點本身的二維座標位置,而第三維度即為該深度值。該電腦主機10根據該第一影像及該第二影像中各第一、第二像素點的三維座標產生該第一網格曲面及該第二網格曲面,該第一網格曲面及該第二網格曲面分別包含複數個網格單元。在本較佳實施例中,該第一網格曲面及該第二網格曲面中的每一個網格單元係一三角型。
於步驟S15中,係由該電腦主機10整合各該第一像素點對應的色彩值及該第一網格曲面以產生該第一網格圖,該電腦主機10係於該第一網格曲面中各個網格單元設定一色彩值,且該色彩值係根據各該第一像素點對應的色彩值決定;該第二網格圖亦同,係於該第二網格曲面中各個網格單元設定一色彩值,且該色彩值係根據各該第二像素點對應的色彩值決定。請參閱圖3所示,在本較佳實施例中,該第一網格曲面的網格單元係一三角型,而該網格單元之三個頂點A、B、C係分別位於三個不同的像素點Pixel 1、Pixel 3、Pixel 4中。其中該頂點A的色彩值為(RA ,GA ,BA ),該頂點B的色彩值為(RB ,GB ,BB ),該頂點C的色彩值為(RC ,GC ,BC )。而該網格單元中之一位置X之色彩值係根據該位置X至各頂點的距離,由該三頂點A、B、C的色彩值按加權比例決定,該位置X可為該網格單元中的任一位置。舉例來說,該位置X至該頂點A之距離為XA 、至該頂點B之距離為XB 、至該頂點C之距離為XC 。該位置X的色彩值為表示為(RX ,GX ,BX ),其中:
於步驟S16中,係由該電腦主機10進一步計算該第一影像及該第二影像之重疊區域的關連點,其中該關連點係根據一匹配演算法計算。該匹配演算法之詳細內容可參閱「Li, Jing, and Nigel M. Allinson. “A comprehensive review of current local features for computer vision.” Neurocomputing 71.10 (2008): 1771-1787.」,其中有詳細說明。
於步驟S17中,係由該電腦主機10合併該第一影像及該第二影像,該電腦主機10先根據該第一影像之三維座標及該第二影像之三維座標,並利用一最小平方最佳化方法(least square optimization method)計算出一剛體或非剛體轉換矩陣(rigid body or non-rigid body transformation matrix)。再透過該剛體或非剛體轉換矩陣轉換該第一網格圖後,與該第二網格圖匹配以產生該第一三維全景影像。在本較佳實施例中,該最小平方最佳化方法之詳細內容可參閱「Zitova, Barbara, and Jan Flusser. “Inage registration methods: a survey.” Image and vision computing 21.11 (2003): 977-1000.」,其中有詳細說明。
當該電腦主機10產生該第一三維全景影像後,即傳送至該顯示裝置30顯示,供使用者觀看。
綜上所述,本發明三維全景影像之產生方法僅利用該攝影機20擷取該第一影像及該第二影像,並透過該電腦主機10計算後,產生該第一三維全景影像,無需設置二台攝影機,可減少設備的設置,因此本發明僅藉由簡單設備設置即可達到產生第一三維全景影像。此外,本發明藉由結合該第一影像及該第二影像,得到該第一三維全景影像,使複數張三維影像能結合成一張第一三維全景影像,讓使用者不用分別觀看多張三維影像,只需觀賞該第一三維全景影像即可,以提供使用者更佳的觀賞效果。
此外,當該電腦主機10產生該第一三維全景影像後,由該攝影機20拍攝的一第三影像。該第三影像係與該第二影像部分重疊,且該第三影像具有複數第三像素點。該電腦主機10擷取並儲存該第三影像之各第三像素點對應的一色彩值,且計算該第三影像之一第三深度圖,並產生該第三影像之一第三網格曲面。該電腦主機10整合各第三像素點對應的色彩值及該第三網格曲面,以產生一第三網格圖,其中該第三網格圖具有複數網格單元,且各網格單元分別具有至少一組色彩值。該電腦主機10計算該第二影像及該第三影像之重疊區域的關連點,並根據該第二影像及該第三影像的關連點合併該第二網格圖及第三網格圖,且結合該第一三維全景影像,而形成一第二三維全景影像。該第二三維全景影像係由該第一影像、第二影像及該第三影像所形成。
同上所述,該第三深度圖、第三網格曲面、第三網格圖之產生方法與該第一深度圖、第一網格曲面、第一網格圖相同。而該電腦主機10還根據該第二影像之三維座標及該第三影像之三維座標,並利用根據該最小平方最佳化方法計算出一剛體或非剛體轉換矩陣,以轉換且匹配該第二影像及該第三影像。由於該第一影像與該第二影像已經結合形成該第一三維全景影像,當該第二影像與該第三影像結合時,係進一步將該第三影像結合到該第一三維全景影像中,以形成該第二三維全景影像。
以上所述僅是本發明的較佳實施例而已,並非對本發明做任何形式上的限制,雖然本發明已以較佳實施例揭露如上,然而並非用以限定本發明,任何熟悉本專業的技術人員,在不脫離本發明技術方案的範圍內,當可利用上述揭示的技術內容作出些許更動或修飾為等同變化的等效實施例,但凡是未脫離本發明技術方案的內容,依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾,均仍屬於本發明技術方案的範圍內。
10‧‧‧電腦主機
20‧‧‧攝影機
30‧‧‧顯示器
圖1係本發明三維全景影像之產生方法的流程圖。 圖2係本發明三維全景影像之產生方法適用的系統示意圖。 圖3係本發明三維全景影像之產生方法中整合各像素點對應的色彩值及網格曲面的示意圖。

Claims (10)

  1. 一種三維全景影像之產生方法,包含有以下步驟: a. 由一攝影機拍攝一第一影像及一第二影像,且該第一影像及該第二影像部分重疊,其中該第一影像具有複數第一像素點,該第二影像具有複數第二像素點; b. 擷取並儲存該第一影像之各第一像素點對應的一色彩值及該第二影像之各第二像素點對應的一色彩值; c. 計算該第一影像之一第一深度圖及該第二影像之一第二深度圖; d. 計算並產生該第一影像之一第一網格曲面及該第二影像之一第二網格曲面; e. 整合各該第一像素點對應的色彩值及該第一網格曲面,以產生一第一網格圖,其中該第一網格圖係於該第一網格曲面中的各網格單元分別具有至少一組色彩值,以及整合各該第二像素點對應的色彩值及該第二網格曲面,以產生一第二網格圖,其中該第二網格圖係於該第二網格曲面中的各網格單元分別具有至少一組色彩值; f. 計算該第一影像及該二影像之重疊區域的關連點;及 g. 根據該關連點合併該第一網格圖及該第二網格圖以產生一第一三維全景影像。
  2. 如請求項1所述之三維全景影像之產生方法,其中各該第一像素點對應的色彩值及各該第二像素點對應的色彩值為三原色色彩值(RGB values)。
  3. 如請求項1所述之三維全景影像之產生方法,其中於步驟c中,係透過該第一影像及該第二影像中物體的影子形狀及長度大小計算出各像素點的深度值,以構成該第一深度圖及該第二深度圖。
  4. 如請求項1所述之三維全景影像之產生方法,其中於步驟c中,係透過線性透視投影法計算出各像素點的深度值,以構成該第一深度圖及該第二深度圖。
  5. 如請求項1所述之三維全景影像之產生方法,其中該第一網格曲面及該第二網格曲面包含複數個網格單元,各網格單元係一三角型。
  6. 如請求項1所述之三維全景影像之產生方法,其中於步驟e中,該第一網格圖係於該第一網格曲面中各個網格單元設定一色彩值,且該色彩值係根據該第一影像之各第一像素點對應的色彩值決定;該第二網格圖係於該第二網格曲面中各個網格單元設定一色彩值,且該色彩值係根據該第二影像之各第二像素點對應的色彩值決定。
  7. 如請求項6所述之三維全景影像之產生方法,其中: 該第一網格曲面的各網格單元係一三角型,且該第一網格曲面的各網格單元的三個頂點A~C分別位於三個相鄰的不同像素點中; 該網格單元中之一位置X之色彩值係根據以下算式計算:; 其中(RX ,GX ,BX )為該位置X的色彩值,(RA ,GA ,BA )為該頂點A的色彩值,(RB ,GB ,BB )為該頂點B的色彩值,(RC ,GC ,BC )為該頂點C的色彩值,XA 為該位置至該頂點A之距離、XB 為該位置至該頂點B之距離、XC 為該位置至該頂點C之距離。
  8. 如請求項1所述之三維全景影像之產生方法,其中於步驟f中,該關連點係根據一匹配演算法計算。
  9. 如請求項1所述之三維全景影像之產生方法,其中於步驟g中,係先根據該第一影像之三維座標及該第二影像之三維座標,並利用一最小平方最佳化方法計算出一剛體或非剛體轉換矩陣;再透過該剛體或非剛體轉換矩陣轉換該第一網格圖後,與該第二網格圖匹配以產生該第一三維全景影像。
  10. 如請求項1所述之三維全景影像之產生方法,係進一步包含有以下步驟: 由該攝影機拍攝的一第三影像,且該第三影像係與該第二影像部分重疊,其中該第三影像具有複數第三像素點; 擷取並儲存該第三影像之各第三像素點對應的一色彩值; 計算該第三影像之一第三深度圖; 產生該第三影像之一第三網格曲面; 整合各該第一像素點對應的色彩值及該第一網格曲面,以產生一第一網格圖,其中該第一網格圖係於該第一網格曲面中的各網格單元分別具有至少一組色彩值; 整合該第三影像之各第三像素點對應的色彩值及該第三網格曲面,以產生一第三網格圖,其中該第三網格圖具有複數網格單元,且各網格單元分別具有至少一組色彩值; 計算該第二影像及該第三影像之重疊區域的關連點; 根據該第二影像及該第三影像的關連點合併該第二網格圖及第三網格圖,且結合該第一三維全景影像,而形成一第二三維全景影像。
TW104107948A 2015-03-12 2015-03-12 Three - dimensional panoramic image generation method TWI581051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW104107948A TWI581051B (zh) 2015-03-12 2015-03-12 Three - dimensional panoramic image generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104107948A TWI581051B (zh) 2015-03-12 2015-03-12 Three - dimensional panoramic image generation method

Publications (2)

Publication Number Publication Date
TW201632982A TW201632982A (zh) 2016-09-16
TWI581051B true TWI581051B (zh) 2017-05-01

Family

ID=57443234

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104107948A TWI581051B (zh) 2015-03-12 2015-03-12 Three - dimensional panoramic image generation method

Country Status (1)

Country Link
TW (1) TWI581051B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10104288B2 (en) * 2017-02-08 2018-10-16 Aspeed Technology Inc. Method and apparatus for generating panoramic image with stitching process
CN106990932B (zh) * 2017-03-31 2021-06-29 奇酷互联网络科技(深圳)有限公司 图片显示方法和装置
TWI634515B (zh) * 2018-01-25 2018-09-01 廣達電腦股份有限公司 三維影像處理之裝置及方法
US10810700B2 (en) 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
WO2022227068A1 (en) * 2021-04-30 2022-11-03 Google Llc Intermediate view synthesis between wide-baseline panoramas
TWI818475B (zh) * 2021-12-09 2023-10-11 愛實境股份有限公司 二維影像轉換為三維空間影像的方法與系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039693A1 (en) * 2004-08-20 2006-02-23 Samsung Electronics Co., Ltd. Photographing device and method for panoramic imaging
US20110214072A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating and broadcasting interactive panoramic walk-through applications
TW201250373A (en) * 2011-06-09 2012-12-16 Metal Ind Res & Dev Ct A single-camera panoramic stereo system
TW201346422A (zh) * 2012-05-07 2013-11-16 Univ Chia Nan Pharm & Sciency 立體全景影像技術
TWM484708U (zh) * 2014-05-08 2014-08-21 Univ Nat Taiwan Normal 全景成像系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060039693A1 (en) * 2004-08-20 2006-02-23 Samsung Electronics Co., Ltd. Photographing device and method for panoramic imaging
US20110214072A1 (en) * 2008-11-05 2011-09-01 Pierre-Alain Lindemann System and method for creating and broadcasting interactive panoramic walk-through applications
TW201250373A (en) * 2011-06-09 2012-12-16 Metal Ind Res & Dev Ct A single-camera panoramic stereo system
TW201346422A (zh) * 2012-05-07 2013-11-16 Univ Chia Nan Pharm & Sciency 立體全景影像技術
TWM484708U (zh) * 2014-05-08 2014-08-21 Univ Nat Taiwan Normal 全景成像系統

Also Published As

Publication number Publication date
TW201632982A (zh) 2016-09-16

Similar Documents

Publication Publication Date Title
TWI581051B (zh) Three - dimensional panoramic image generation method
TWI534755B (zh) 三維立體模型之建立方法和裝置
TWI555378B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
WO2018068719A1 (zh) 一种图像拼接方法及装置
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
WO2019085392A1 (zh) 牙齿三维数据重建方法、装置和系统
WO2018188277A1 (zh) 视线校正方法、装置、智能会议终端及存储介质
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
KR20150120066A (ko) 패턴 프로젝션을 이용한 왜곡 보정 및 정렬 시스템, 이를 이용한 방법
KR20110089825A (ko) 촬영 장치, 컴퓨터 판독 가능한 기록 매체, 및 제어 방법
CN109242898B (zh) 一种基于图像序列的三维建模方法及系统
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN106023307B (zh) 基于现场环境的快速重建三维模型方法及系统
JP6552266B2 (ja) 画像処理装置、画像処理方法およびプログラム
TWI615808B (zh) 全景即時影像處理方法
CN111047678B (zh) 一种三维人脸采集装置和方法
WO2018000892A1 (zh) 一种全景立体影像的成像方法、装置及系统
US9767580B2 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP5958082B2 (ja) 画像処理装置、画像処理方法
CN110312123B (zh) 利用彩色图像和深度图像的集成成像显示内容生成方法
JP7257272B2 (ja) 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
WO2013044642A1 (zh) 亮度函数获取方法以及相关装置
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees