TW201351959A - 立體全景影像合成方法及其相關之立體攝影機 - Google Patents

Abstract

本發明提供一種用於一立體攝影機之立體全景影像合成方法。該方法包含有取得一成對影像，其中該成對影像包含有一第一側影像以及一第二側影像；將該第一側影像以及該第二側影像自該成對影像中分離；執行一全景影像合成程序，以取得一第一側全景影像以及一第二側全景影像；根據該第一側全景影像以及該第二側全景影像，執行一立體影像合成以產生一立體影像；以及儲存以及輸出該立體影像。

Description

立體全景影像合成方法及其相關之立體攝影機

本發明係指一種立體全景影像合成方法及其相關之立體攝影機，尤指一種可顯示三維立體影像之立體全景影像合成方法及其相關之立體攝影機。

由於智慧型手機的普及，人們對於手機的功能不僅僅是通訊，社群交流，對於多媒體娛樂，也期望越來越高，三維立體技術(Stereo 3D)的普及最早出現在電視上，但逐漸地也越來越多手持設備加入了三維立體技術(Stereo 3D)的行列。目前全景的功能，各家的手機皆有自己的全景拍攝模式，升級至最新的作業系統(例如：android 的Ice cream Sandwich)時，系統還會內建全景攝影模式。

使用單鏡頭攝影機時，若要拍攝三維全景必須使用模擬的方式，也就是先拍攝左眼的影像，接下來拍攝右眼影像需些微旋轉(如第1圖所示)，來達成使用單鏡頭拍攝立體影像的方式，進而拍攝全景場景，但若是使用模擬左右眼鏡頭方式，旋轉會造成場景失真，因為人的眼睛是在同一平面上，旋轉會讓場景失去立體感，若是讓使用者平移相機來達成模擬左右眼拍攝，並不見得更好，因為使用者手持相機發生左右眼拍出來的影像差距太大，或是歪斜狀況更是常見。

立體攝影機主要是利用雙眼鏡頭(Multi-camera)，經過一次性的拍攝得到左右並排(side-by-side)的立體照片，因為立體攝影機是站在模擬人眼的角度上，去拍攝物體，因此相片中對於物體的縱深 資訊，可以被求出，而人眼看到左右眼的合成影像，會有立體空間感的效果，是因為照片透過某些成像方法，而有雙眼視覺相差。不過對於目前市面上的兩支立體攝影手機，或是其他能夠做三維拍攝的設備，不是沒有發展全景的拍攝模式，不然就是拍攝全景照片時，只使用了立體攝影機的其中一支攝像頭，無法反應擁有立體攝影機的優勢。

因此，本發明之主要目的即在於提供一種用於一立體攝影機之立體全景影像合成方法。

本發明揭露一種用於一立體攝影機之立體全景影像合成方法。該方法包含有取得一成對影像，其中該成對影像包含有一第一側影像以及一第二側影像；將該第一側影像以及該第二側影像自該成對影像中分離；執行一全景影像合成程序，以取得一第一側全景影像以及一第二側全景影像；根據該第一側全景影像以及該第二側全景影像，執行一立體影像合成以產生一立體影像；以及儲存以及輸出該立體影像。

本發明另揭露一種立體攝影機。該立體攝影機包含有複數個攝影鏡頭、一影像分離單元、一全景影像合成單元、一立體影像合成單元以及一播放單元。該複數個攝影鏡頭，用來取得一成對影像，其中該成對影像包含有一第一側影像以及一第二側影像。該影像分離單元，耦接於該複數個攝影鏡頭，用來將該第一側影像以及該第二側影像自該成對影像中分離。該全景影像合成單元，耦接於該影像分離單元，用來執行一全景影像合成程序，以取得一第一側全景影 像以及一第二側全景影像。該立體影像合成單元，耦接於該全景影像合成單元，用來根據該第一側全景影像以及該第二側全景影像，執行一立體影像合成以產生一立體影像。該播放單元，耦接於該立體影像合成單元，用來輸出該立體影像。

請參考第3圖，第3圖為本發明實施例一立體攝影機30之示意圖。立體攝影機30包含有一第一攝影鏡頭300、一第二攝影鏡頭302、一影像分離單元304、一全景影像合成單元306、一立體影像合成單元308、一播放單元310。第一攝影鏡頭300以及第二攝影鏡頭302用來取得一成對影像img_pair。成對影像img_pair較佳地可為左右並排(half left right sidey-by-side)之影像格式，其包含有一左眼影像img_l以及一右眼影像img_r。左眼影像img_l係來自於第一攝影鏡頭300，而右眼影像img_r來自於第二攝影鏡頭302。影像分離單元304，耦接於第一攝影鏡頭300以及第二攝影鏡頭302，用來將左眼影像img_l以及右眼影像img_r自成對影像img_pair中分離。全景影像合成單元306，耦接於影像分離單元304，用來執行一全景影像合成程序，以取得一左眼全景影像img_pnrm_l以及一右眼全景影像img_pnrm_r。全景影像合成程序利用一全景影像拼接演算法，例如：SIFT(Scale-Invariant Feature Transform)以及影像拼接(Image Stitching)，以進行全景影像拼接。立體影像合成單元308，耦接於全景影像合成單元306，用來根據左眼全景影像img_pnrm_l以及右眼全景影像img_pnrm_r，執行一立體影像合成以產生一立體影像img_3D。播放單元310，耦接於立體影像合成單元308，用來 輸出立體影像img_3D。需注意的是，成對影像img_pair亦可為上下並排格式或其他影像格式，可透過不同的影像分離技術，切割成左右眼影像。

第4圖為本發明實施例複數個影像之示意圖。請同時參考第4圖以及下列敘述。當一使用者利用立體攝影機30拍攝立體全景影像時，第一攝影鏡頭300以及第二攝影鏡頭302可模擬人體之左右眼，取得具有左右並排格式之成對影像img_pair。透過影像分離單元304，成對影像img_pari分別被切割成左眼影像img_l以及右眼影像img_r。另外，立體攝影機30會提示使用者移動，移動的過程中第一攝影鏡頭300以及一第二攝影鏡頭302會不斷的產生成對影像img_pair，影像分離單元304對成對影像img_pair不斷的做分割，而產生複數個左眼影像img_l以及右眼影像img_r。全景影像合成單元306執行全景影像合成程序，將複數個左眼影像img_1以及右眼影像img_r分別拼接成左眼全景影像img_pnrm_l以及右眼全景影像img_pnrm_r。立體影像合成單元308將左眼全景影像img_pnrm_l之最右端拼接於右眼全景影像img_pnrm_r之最左端，以產生立體影像img_3D。同時，立體攝影機30可儲存立體影像img_3D於立體攝影機30之一記憶體中。如第5圖所示，當使用者欲瀏覽立體影像img_3D時，播放單元310於初始時擷取立體影像img_3D之一最左端影像格F1以及立體影像img_3D之一中間影像格F2。接著，播放單元310將擷取的影像格合成後，顯示於一裸眼屏幕上。當使用者之手指拖動時，播放單元310根據手指滑動的方向相對地移動所擷取之影像格(沿著箭頭方向移動)，如此一來顯示出來的畫面就能 有三維立體的空間感。

相較於習知技術，本發明可利用具有兩個攝影鏡頭之立體攝影機，呈現出三維立體的全景照片，改善習知技術中僅使用單一攝影鏡頭造成場景失真或者沒有發展全景拍攝模式等缺點。

關於立體攝影機30之運作方式，可進一步歸納為一流程60，如第6圖所示。流程60用於立體攝影機30，用來合成立體全景影像。流程60包含以下步驟：步驟600：開始。

步驟602：取得成對影像img_pair，其中該成對影像包含有左眼影像img_l以及右眼影像img_r。

步驟604：將左眼影像img_l以及右眼影像img_r自成對影像img_pair中分離。

步驟606：執行該全景影像合成程序，以取得左眼全景影像img_pnrm_l以及右眼全景影像img_pnrm_r。

步驟608：根據左眼全景影像img_pnrm_l以及右眼全景影像img_pnrm_r，執行該立體影像合成以產生立體影像img_3D。

步驟610：儲存以及輸出立體影像img_3D。

步驟612：結束。

流程60係立體攝影機30之運作方式，相關說明可參考前述，在此不贅述。

綜上所述，本發明透過複數個攝影鏡頭取得成對影像後，將左眼影像以及右眼影像自成對影像中分離。接著，利用全景影像合成程 序，取得左眼全景影像以及右眼全景影像。本發明進一步地根據左眼全景影像以及右眼全景影像，執行立體影像合成以產生立體影像。最後，儲存並輸出立體影像。如此一來，本發明可解決一般的全景攝影機的並沒有三維立體的概念，或者是僅利用到一個鏡頭做全景攝影，無法達成三維立體全景的效果。根據本發明實施例，可利用立體攝相機呈現出三維立體的全景照片。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

30‧‧‧立體攝影機

300‧‧‧第一攝影鏡頭

302‧‧‧第二攝影鏡頭

304‧‧‧影像分離單元

306‧‧‧全景影像合成單元

308‧‧‧立體影像合成單元

310‧‧‧播放單元

60‧‧‧流程

600、602、604、606‧‧‧步驟

608、610、612‧‧‧步驟

img_pair‧‧‧成對影像

img_l‧‧‧左眼影像

img_r‧‧‧右眼影像

img_pnrm_l‧‧‧左眼全景影像

img_pnrm_r‧‧‧右眼全景影像

img_3D‧‧‧立體影像

F1、F2‧‧‧影像格

第1圖為習知單一攝影鏡頭之拍攝示意圖。

第2圖為習知雙攝影鏡頭之拍攝示意圖。

第3圖為本發明實施例一立體攝影機之示意圖。

第4圖為本發明實施例複數個影像之示意圖。

第5圖為本發明實施例一播放單元擷取立體影像之示意圖。

第6圖為本發明實施例一流程之示意圖。

30‧‧‧立體攝影機

300‧‧‧第一攝影鏡頭

302‧‧‧第二攝影鏡頭

304‧‧‧影像分離單元

306‧‧‧全景影像合成單元

308‧‧‧立體影像合成單元

310‧‧‧播放單元

Claims (12)

1. 一種用於一立體攝影機之立體全景影像合成方法，該方法包含有：取得一成對影像，其中該成對影像包含有一第一側影像以及一第二側影像；將該第一側影像以及該第二側影像自該成對影像中分離；執行一全景影像合成程序，以取得一第一側全景影像以及一第二側全景影像；根據該第一側全景影像以及該第二側全景影像，執行一立體影像合成以產生一立體影像；以及儲存以及輸出該立體影像。
2. 如請求項1所述之方法，其中該成對影像係透過該立體攝影機之複數個攝影鏡頭所取得。
3. 如請求項1所述之方法，其中根據該第一側全景影像以及該第二側全景影像執行該立體影像合成以產生該立體影像，包含有將該第一側全景影像之最右端拼接於該第二側全景影像之最左端，以產生該立體影像。
4. 如請求項1所述之方法，其中輸出該立體影像，包含有：擷取該立體影像之一第一影像格以及該立體影像之一第二影像格；以及合成並顯示所擷取之該第一影像格以及該第二影像格。
5. 如請求項4所述之方法，其中於輸出該立體影像之初始時，該第 一影像格為該立體影像之一最左端影像格，該第二影像格為該立體影像之一中間影像格。
6. 如請求項4所述之方法，其另包含根據一使用者之手指滑動，相對應地移動該第一影像格以及該第二影像格。
7. 一立體攝影機，包含有：複數個攝影鏡頭，用來取得一成對影像，其中該成對影像包含有一第一側影像以及一第二側影像；一影像分離單元，耦接於該複數個攝影鏡頭，用來將該第一側影像以及該第二側影像自該成對影像中分離；一全景影像合成單元，耦接於該影像分離單元，用來執行一全景影像合成程序，以取得一第一側全景影像以及一第二側全景影像；一立體影像合成單元，耦接於該全景影像合成單元，用來根據該第一側全景影像以及該第二側全景影像，執行一立體影像合成以產生一立體影像；以及一播放單元，耦接於該立體影像合成單元，用來輸出該立體影像。
8. 如請求項7所述之立體攝影機，其中該立體影像合成單元根據該第一側全景影像以及該第二側全景影像執行該立體影像合成以產生該立體影像，包含有該立體影像合成單元將該第一側全景影像之最右端拼接於該第二側全景影像之最左端，以產生該立體影像。
9. 如請求項7所述之立體攝影機，其中該播放單元輸出該立體影像，包含有： 該播放單元擷取該立體影像之一第一影像格以及該立體影像之一第二影像格；以及該播放單元合成並顯示所擷取之該第一影像格以及該第二影像格。
10. 如請求項9所述之立體攝影機，其中於該播放單元輸出該立體影像之初始時，該第一影像格為該立體影像之一最左端影像格，該第二影像格為該立體影像之一中間影像格。
11. 如請求項9所述之立體攝影機，其中該播放單元另用來根據一使用者之手指滑動，相對應地移動該第一影像格以及該第二影像格。
12. 如請求項9所述之立體攝影機，其中另包含一儲存單元，用來儲存該立體影像。