TWI411870B - 立體影像產生方法及系統 - Google Patents

Description

立體影像產生方法及系統

本發明係關於一種立體影像產生系統及立體影像產生方法，特別使影像中主要拍攝標的及附加影像物件均具有立體化效果。

現在市面上之立體影像一般均是對一主要標的進行立體化處理，此種方式所呈現出之立體影像，其雖具有立體化效果，然卻是以主要標的為主之立體化。然而，對於該影像中之其他物件並不能得到相同之立體化效果。簡而言之，習知混合實境技術所產生之影像的立體化效果具有不夠全面之缺失。

本發明之一範疇在於提供一種立體影像產生系統，用以產生附加有影像物件之立體影像，特別之處在於該影像物件套用原始被拍攝影像之拍攝資訊。當使用者之觀看位置處於預定的視角範圍內時，此立體影像可呈現出相對該位置最好之立體效果。

根據本發明之一具體實施例，立體影像產生系統包含一攝像模組、一影像解析模組、一影像產生模組以及一影像混合模組。

攝像模組用以從兩個不同視角分別拍攝一第一影像與一第二影像，且該兩影像具有一共同的主要拍攝標的及共同的副拍攝標的。影像解析模組用以辨識該共同的副拍攝標的及解析該副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊。

於一實施例中，立體影像產生系統並包含一影像物件資料庫，且影像物件資料庫用以儲存複數個副拍攝標的對應之影像資料。根據該第一影像與該第二影像中之該拍攝資訊，影像產生模組從影像物件資料庫中取出副拍攝標的之影像資料，並將副拍攝標的對應之影像資料處理成套用於第一影像之影像物件與套用於第二影像之影像物件。

影像混合模組用以根據一排列規則排列該第一影像之畫素、該第二影像之畫素、套用於第一影像之該影像物件之畫素及套用於第二影像之該影像物件之畫素以產生一單一混合影像。

本發明之另一範疇在於提供一種立體影像產生方法，包含下列步驟：首先，從兩個不同視角分別拍攝一第一影像與一第二影像，且該兩影像具有一共同的主要拍攝標的及一共同的副拍攝標的；接著，辨識該共同的副拍攝標的；下一步，解析該副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊；接著，根據該第一影像與該第二影像中之該拍攝資訊，產生分別套用於第一影像之影像物件與套用於第二影像之影像物件；以及根據一排列規則排列第一影像之畫素、第二影像之畫素、套用於第一影像之影像物件之畫素及套用於第二影像之影像物件之畫素以產生一單一混合影像。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

請參閱圖一。圖一繪示根據本發明之一具體實施例之立體影像產生系統1之功能方塊圖。

如圖一所示，立體影像產生系統1包含一攝像模組10、一影像處理模組11、一影像解析模組12、一影像物件資料庫15、一影像產生模組13、一影像混合模組16以及一格式調整模組17。需注意的是，影像處理模組11、影像解析模組12、影像產生模組13與影像混合模組16可分置於不同晶片、內建於同一晶片，亦有可能是以軟體程式呈現。

於實際應用中，攝像模組10中可包含第一鏡頭100及第二鏡頭102。請參閱圖二A，其繪示攝像模組10中之第一鏡頭100及第二鏡頭102拍攝物體之示意圖。舉例來說，第一鏡頭100及第二鏡頭102可分別從被拍攝物體的左側45度及右側45度方向同時拍攝。請參閱圖二B及圖二C，其分別繪示第一鏡頭100及第二鏡頭102從兩個不同視角拍攝之第一影像2與第二影像2'之示意圖，此兩影像具有一共同的主要拍攝標的20、一共同的第一副拍攝標的21及一共同的第二副拍攝標的22。需特別注意的是，於實際應用中，該兩影像具有共同的副拍攝標的，而圖二B及圖二C係以兩個副拍攝標的為例說明；惟，並不以兩個為限。

影像處理模組11用以預先對第一影像2與第二影像2'進行一校正程序，例如將第一影像2與第二影像2'在同一基底平面對準，並將第一影像2與第二影像2'的極線(epipolar lines)調整成平行。

在攝像模組10拍攝第一影像2與第二影像2'後，影像解析模組12用以辨識第一副拍攝標的21與第二副拍攝標的22，及解析第一副拍攝標的21於第一影像2中之拍攝資訊與第一副拍攝標的21於第二影像2'中之拍攝資訊、第二副拍攝標的22於第一影像2中之拍攝資訊與第二副拍攝標的22於第二影像2'中之拍攝資訊。需注意的是，拍攝資訊包含該副拍攝標的於該影像之方位資訊與景深資訊，如第一副拍攝標的21於第一影像2中之拍攝資訊，即包含，該第一副拍攝標的21於第一影像2中之方位資訊與景深資訊。

仔細來說，影像解析模組12計算出之景深資訊更包括空間方位矩陣，如，第一副拍攝標的於第一影像2中之方位資訊與景深資訊，該景深資訊即包含該第一副拍攝標的位於該第一影像之空間方位矩陣，第一副拍攝標的於第二影像2'中之空間方位矩陣則依此類推。同理，對於第二副拍攝標的於第一影像2中之方位資訊與景深資訊來說，該景深資訊即包含該第二副拍攝標的位於該第一影像2之空間方位矩陣，第二副拍攝標的於第二影像2'中之空間方位矩陣則依此類推。

於一實施例中，影像物件資料庫15用以儲存複數個第一副拍攝標的21對應之影像資料及第二副拍攝標的22對應之影像資料。影像產生模組13從影像物件資料庫15中取出第一副拍攝標的21對應之影像資料及第二副拍攝標的22對應之影像資料。之後，根據第一影像、第二影像之拍攝資訊，影像產生模組13將第一副拍攝標的21對應之影像資料處理成套用於第一影像之第一影像物件與套用於第二影像之第一影像物件，並將第二副拍攝標的22對應之影像資料處理成套用於第一影像之第二影像物件與套用於第二影像之第二影像物件。

藉此，如圖三及圖四所示，影像產生模組13係根據第一影像2、第二影像2'之拍攝資訊，而產生應用於第一影像2之第一影像物件30與應用於第二影像2'之第一影像物件30'，同理，影像產生模組13亦可根據第一影像2、第二影像2'之拍攝資訊產生應用於第一影像2之第二影像物件31與應用於第二影像2'之第二影像物件31'。影像物件可以是具有各種外觀類型的物件，例如星型圖案之第一影像物件(30、30')及樹木圖案之第二影像物件(31、31')，其中第一影像物件30與第二影像物件31可包含於一物件影像3中，第一影像物件30'與第二影像物件31'可包含於一物件影像3'中。

需注意的是，如圖二A、圖三及圖四所示，於此實施例中，影像物件資料庫15可儲存兩種資料，一種是副拍攝標的之資料，另一種是影像物件的資料，其中副拍攝標的之資料用以供影像解析模組12辨識第一影像及第二影像中是否有副拍攝標的存在。此外，資料庫中具有副拍攝標的之資料時，則可輔助產生拍攝資訊。

另外需注意的是，若副拍攝標的為實際環境中特殊之名勝景點，如台北101、巴黎鐵塔…等，則影像物件資料庫15可儲存一種資料即可，此種資料可同時作為副拍攝標的之資料及影像物件的資料。

然後，於一實施例中，影像混合模組16將第一影像2與物件影像3合成在一起，如圖三所示。實務上，影像混合模組16可將物件影像3之背景設定為透明但將第一影像物件30與第二影像物件31設定為不透明再和第一影像2合成在一起。同樣地，影像混合模組16將第二影像2'與物件影像3'合成在一起，如圖四所示。

之後，影像混合模組16將圖三產生之合成影像與圖四產生之合成影像再合成在一起。細部來說，影像混合模組16用以根據一排列規則排列第一影像2之畫素、第二影像2'之畫素、套用於第一影像之第一影像物件30之畫素、套用於第二影像之第一影像物件30'之畫素、套用於第一影像之第二影像物件31之畫素及套用於第二影像之第二影像物件31'之畫素以產生單一混合影像2"。

另外需注意的是，若此混合影像2"為印刷出來且需搭配柱鏡式光柵(lenticular sheet)來觀賞(如圖五所示)，則上述各個影像及影像物件之畫素位置可根據柱鏡式光柵之光學性質(例如光線透過柱狀透鏡之折射行為)而排列。若此混合影像2"為透過顯示器來觀賞，則各個影像及影像物件之畫素位置可根據顯示器之顯像性質而排列。

格式調整模組17在影像混合模組16產生單一混合影像2"後，格式調整模組17用以調整該混合影像2"之輸出格式，以符合例如一般或立體顯示器或立體影像印表機之輸出格式。

如圖六所示，於實際應用中，此混合影像2"可呈現在立體影像顯示器4上，當觀賞者從例如影像的右側45度視角A1前可觀看到圖四產生之合成影像，而當觀賞者從影像的左側45度視角A2前可觀看到圖三產生之合成影像。簡而言之，當觀賞者位於預定視角前時可同時體驗到影像中主要拍攝標的及附加影像物件之立體化效果。

於本發明進一步之實施例中，影像產生模組13進一步產生介於該兩個不同視角範圍內之一內插影像，其中該內插影像具有一方位資訊與一景深資訊。需特別說明的是，此方位資訊藉由對該第一影像與該第二影像兩者中的方位資訊進行內插計算而產生，而此景深資訊藉由對該第一影像與該第二影像兩者中的景深資訊進行內插計算而產生。除了內插影像之外，影像產生模組13進一步產生介於該兩個不同視角範圍內之一內插第一影像物件及一內插第二影像物件，分別對應該內插影像，其中該內插第一影像物件及該內插第二影像物件套用內插影像之方位資訊與景深資訊。

於此實施例中，影像混合模組16進一步排列第一影像之畫素、第二影像之畫素、套用於第一影像之第一影像物件之畫素、套用於第二影像之第一影像物件之畫素、套用於第一影像之第二影像物件之畫素、套用於第二影像之第二影像物件之畫素、內插影像之畫素、內插第一影像物件之畫素及內插第二影像物件之畫素以產生單一混合影像。因此除了該兩個不同視角位置外，只要觀賞者處於該兩視角範圍內時皆可體驗到影像中主要拍攝標的及附加影像物件之立體化效果。

需注意的是，影像產生模組13可產生介於該兩個不同視角範圍內之多個內插影像、多個內插第一影像物件及多個內插第二影像物件，其中每一內插影像具有個別的方位資訊與景深資訊，而每一內插第一影像物件及內插第二影像物件套用對應的內插影像之方位資訊與景深資訊。之後，影像混合模組16再排列所有的影像及影像物件之畫素以產生單一混合影像。

請參閱圖七。圖七繪示根據本發明之一具體實施例之立體影像產生方法之流程圖。請一併參閱圖一至圖六以更加清楚本立體影像產生方法。

首先，於步驟S10中，從兩個不同視角分別拍攝第一影像與第二影像，且該兩影像具有一共同的主要拍攝標的及一共同的副拍攝標的。需特別注意的是，於實際應用中，該兩影像具有至少一個共同的副拍攝標的。

接著，於步驟S11中，對第一影像與第二影像進行先前所述之校正程序。

接著，於步驟S12中，辨識第一影像與第二影像中之副拍攝標的。

然後，於步驟S13中，解析副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊，其中拍攝資訊包含方位資訊與景深資訊。此外，景深資訊更包括空間方位矩陣，如，副拍攝標的於第一影像中之方位資訊與景深資訊，該景深資訊即包含該副拍攝標的位於該第一影像之空間方位矩陣。

於一實施例中，本方法提供一影像物件資料庫，用以儲存複數個副拍攝標的對應之影像資料。藉此，本方法從影像物件資料庫中取出副拍攝標的之影像資料。

然後，於步驟S14中，根據該第一影像與該第二影像中之拍攝資訊，分別產生套用於第一影像之影像物件與套用於第二影像之影像物件。

之後，於步驟S15中，根據一排列規則排列第一影像之畫素、第二影像之畫素、套用於第一影像之影像物件之畫素及套用於第二影像之影像物件之畫素以產生一單一混合影像。

於進一步之實施例中，本方法進一步藉由對該第一影像與該第二影像兩者中的方位資訊進行內插計算而產生一方位資訊，並藉由對該第一影像與該第二影像兩者中的景深資訊進行內插計算而產生一景深資訊。接著，產生介於該兩個不同視角範圍內之一內插影像，而此內插影像具有此方位資訊與此景深資訊。

除了產生內插影像之外，本方法並產生介於該兩個不同視角範圍內之一內插影像物件，且此內插影像物件套用該內插影像之方位資訊與景深資訊。於此實施例中，本方法進一步排列第一影像之畫素、第二影像之畫素、套用於第一影像之影像物件之畫素、套用於第二影像之影像物件之畫素、內插影像之畫素及內插影像物件之畫素以產生單一混合影像。

相較於先前技術，本發明從兩個不同視角分別拍攝影像並附加套用該影像之拍攝資訊之影像物件以產生皆具有立體效果的主要拍攝標的與影像物件。此外，本發明更進一步揭露出，可由兩不同視角之影像資料，去計算出該影像在該兩個視角間會有之場景變化，並將該變化包含入最終立體影像資料中。因此除了該兩個不同視角位置外，只要觀賞者處於該兩視角範圍內時皆可同時體驗到影像中主要拍攝標的及附加影像物件之立體化效果。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

1．．．立體影像產生系統

10．．．攝像模組

11．．．影像處理模組

12．．．影像解析模組

13．．．影像產生模組

15．．．影像物件資料庫

16．．．影像混合模組

17．．．格式調整模組

100．．．第一鏡頭

102．．．第二鏡頭

2．．．第一影像

2'．．．第二影像

20．．．主要拍攝標的

21、．．．第一副拍攝標的

22．．．第二副拍攝標的

3、3'．．．物件影像

30、30'．．．第一影像物件

31、31'．．．第二影像物件

2"．．．混合影像

4．．．影像顯示器

A1、A2．．．視角

S10~S15．．．流程步驟

圖一繪示根據本發明之一具體實施例之立體影像產生系統之功能方塊圖。

圖二A繪示攝像模組中之第一鏡頭及第二鏡頭拍攝物體之示意圖。

圖二B及圖二C分別繪示第一鏡頭及第二鏡頭拍攝之第一影像與第二影像之示意圖。

圖三繪示第一影像與影像物件之合成示意圖。

圖四繪示第二影像與影像物件之合成示意圖。

圖五繪示圖三之合成影像與圖四之合成影像之合成示意圖。

圖六繪示從兩個預定視角觀看圖五之合成影像之示意圖。

圖七繪示根據本發明之一具體實施例之立體影像產生方法之流程圖。

2．．．第一影像

2'．．．第二影像

20．．．主要拍攝標的

30、30'．．．第一影像物件

31、31'．．．第二影像物件

2"．．．混合影像

Claims (16)

1. 一種立體影像產生系統，包含：一攝像模組，用以從兩個不同視角分別拍攝一第一影像與一第二影像，且該兩影像具有一共同的主要拍攝標的及一共同的第一副拍攝標的；一影像解析模組，用以辨識該第一副拍攝標的，並解析該第一副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊，該拍攝資訊包含方位資訊與景深資訊；一影像產生模組，用以根據該第一影像與該第二影像中之該拍攝資訊，產生分別套用於該第一影像之第一影像物件與套用於該第二影像之第一影像物件；以及一影像混合模組，用以根據一排列規則排列該第一影像之畫素、該第二影像之畫素、套用於該第一影像之該第一影像物件之畫素及套用於該第二影像之該第一影像物件之畫素以產生一單一混合影像；其中，該影像產生模組進一步產生介於該兩個不同視角範圍內之一內插影像，該內插影像具有一方位資訊與一景深資訊，該內插影像之方位資訊藉由對該第一影像與該第二影像兩者中的方位資訊進行內插計算而產生，該內插影像之景深資訊藉由對該第一影像與該第二影像兩者中的景深資訊進行內插計算而產生，該影像混合模組將該第一影像之畫素、該第二影像之畫素、套用於該第一影像之第一影像物件之畫素、套用於該第二影像之第一影像物件之畫素及該內插影像之畫素排列於該單一混合影像中。
2. 如申請專利範圍第1項所述之立體影像產生系統，其中該景深資訊包含該第一副拍攝標的位於該影像之空間方位矩陣。
3. 如申請專利範圍第1項所述之立體影像產生系統，進一步包含：一影像物件資料庫，用以儲存複數個第一副拍攝標的對應之影像資料，該影像產生模組根據該第一影像與該第二影像中之該拍攝資訊，從該影像物件資料庫中取出該第一副拍攝標的之影像資料並將該第一副拍攝標的之影像資料處理成套用於該第一影像之第一影像物件與套用於該第二影像之第一影像物件。
4. 如申請專利範圍第1項所述之立體影像產生系統，其中該影像產生模組進一步產生介於該兩個不同視角範圍內之一內插第一影像物件，該內插第一影像物件套用該內插影像之方位資訊與景深資訊，該影像混合模組進一步將該第一影像之畫素、該第二影像之畫素、套用於該第一影像之第一影像物件之畫素、套用於該第二影像之第一影像物件之畫素、該內插影像之畫素及該內插第一影像物件之畫素排列於該單一混合影像中。
5. 如申請專利範圍第1項所述之立體影像產生系統，進一步包含：一影像處理模組，用以對該第一影像與該第二影像進行一校正程序。
6. 如申請專利範圍第1項所述之立體影像產生系統，進一步包 含：一格式調整模組，用以根據呈現該單一混合影像之一輸出裝置調整該單一混合影像之一輸出格式。
7. 如申請專利範圍第1項所述之立體影像產生系統，其中該共同的主要拍攝標的係立體化呈現。
8. 如申請專利範圍第1項所述之立體影像產生系統，其中該兩影像進一步具有一共同的第二副拍攝標的，該影像解析模組用以辨識該第二副拍攝標的，並解析該第二副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊，該影像產生模組用以根據該第二副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊產生分別套用於該第一影像之第二影像物件與套用於該第二影像之第二影像物件，該影像混合模組排列該第一影像之畫素、該第二影像之畫素、套用於該第一影像之第一影像物件之畫素、套用於該第二影像之第一影像物件之畫素、套用於該第一影像之第二影像物件之畫素及套用於該第二影像之第二影像物件之畫素以產生該單一混合影像。
9. 一種立體影像產生方法，包含下列步驟：從兩個不同視角分別拍攝一第一影像與一第二影像，且該兩影像具有一共同的主要拍攝標的及一共同的第一副拍攝標的；辨識該第一副拍攝標的；解析該第一副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊，該拍攝資訊包含方位資訊與景深資訊； 根據該第一影像與該第二影像中之該拍攝資訊，產生分別套用於該第一影像之第一影像物件與套用於該第二影像之第一影像物件；根據一排列規則排列該第一影像之畫素、該第二影像之畫素、套用於該第一影像之該第一影像物件之畫素及套用於該第二影像之該第一影像物件之畫素以產生一單一混合影像；藉由對該第一影像與該第二影像兩者中的方位資訊進行內插計算而產生一方位資訊，藉由對該第一影像與該第二影像兩者中的景深資訊進行內插計算而產生一景深資訊；產生介於該兩個不同視角範圍內之一內插影像，該內插影像具有該方位資訊與該景深資訊；以及將該第一影像之畫素、該第二影像之畫素、套用於該第一影像之第一影像物件之畫素、套用於該第二影像之第一影像物件之畫素及該內插影像之畫素排列於該單一混合影像中。
10. 如申請專利範圍第9項所述之立體影像產生方法，其中該景深資訊包含該第一副拍攝標的位於該影像之空間方位矩陣。
11. 如申請專利範圍第9項所述之立體影像產生方法，進一步包含下列步驟：提供一影像物件資料庫，用以儲存複數個第一副拍攝標的對應之影像資料；以及根據該第一影像與該第二影像中之該拍攝資訊，從該 影像物件資料庫中取出該第一副拍攝標的之影像資料並將該第一副拍攝標的之影像資料處理成套用於該第一影像之第一影像物件與套用於該第二影像之第一影像物件。
12. 如申請專利範圍第9項所述之立體影像產生方法，進一步包含下列步驟：產生介於該兩個不同視角範圍內之一內插第一影像物件，該內插第一影像物件套用該內插影像之方位資訊與景深資訊；以及將該第一影像之畫素、該第二影像之畫素、套用於該第一影像之第一影像物件之畫素、套用於該第二影像之第一影像物件之畫素、該內插影像之畫素及該內插第一影像物件之畫素排列於該單一混合影像中。
13. 如申請專利範圍第9項所述之立體影像產生方法，進一步包含下列步驟：對該第一影像與該第二影像進行一校正程序。
14. 如申請專利範圍第9項所述之立體影像產生方法，進一步包含下列步驟：根據呈現該單一混合影像之一輸出裝置調整該單一混合影像之一輸出格式。
15. 如申請專利範圍第9項所述之立體影像產生方法，其中該共同的主要拍攝標的係立體化呈現。
16. 如申請專利範圍第9項所述之立體影像產生方法，其中該兩影像進一步具有一共同的第二副拍攝標的，該方法進一步包含下列步驟：辨識該第二副拍攝標的；解析該第二副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊；根據該第二副拍攝標的各自於該第一影像與該第二影像中之拍攝資訊，產生分別套用於該第一影像之第二影像物件與套用於該第二影像之第二影像物件；以及排列該第一影像之畫素、該第二影像之畫素、套用於該第一影像之第一影像物件之畫素、套用於該第二影像之第一影像物件之畫素、套用於該第一影像之第二影像物件之畫素及套用於該第二影像之第二影像物件之畫素以產生該單一混合影像。