TWI434129B - 全景影像播放裝置與系統 - Google Patents

Description

全景影像播放裝置與系統

本發明係關於一種全景影像播放裝置與系統，並且特別是關於一種能夠播放全景影像視訊與動畫之全景影像播放裝置與系統。

影像縫合技術一直是影像處理領域中的熱門話題之一，在許多領域應用上都會使用到相關技術。簡單來說影像縫合是指將多張較小視角的場景相鄰影像拼接成一張涵蓋較廣視角之影像，並且當影像水平視角涵蓋360度可以稱之為全景(Panorama)影像，在處理步驟上影像縫合首先必須找出單一影像中的特徵點，接著再將各個影像特徵點作配對動作，並找出各自相鄰影像的接合點，最後將所有影像拼接成一張更大視野的影像。目前有需多將全景影像與虛擬實境技術結合的應用，以3D立體方式呈現涵蓋360度視角的影像，使得使用者有如身歷其境一般；像是Apple Quick Time VR技術以及最近很熱門的Google Street view都是結合全景影像與虛擬實境的應用案例。

然而，目前的全景影像僅能夠呈現靜止的畫面，要即時呈現全景的視訊動畫十分不易。因此，針對上述問題需要一種新的全景影像播放裝置與系統來有效播放全景影像的視訊與動畫。

本發明揭露一種全景影像播放裝置，僅需簡單的攝影設備，即可將拍攝的影像即時的轉換成全景影像，並且以虛擬實境方式呈現。

本發明提出一種全景影像播放裝置，用以顯示一環境視訊於一球形顯示器，所述環境視訊具有複數個連續之畫框，每一畫框具有N個相鄰之第一影像。本發明全景影像播放裝置包含N個視訊攝影裝置與M個處理器。N個視訊攝影裝置分別用以擷取並輸出N個相鄰之第一影像。每一處理器耦接於至少P個視訊攝影裝置，用以接收P個視訊攝影裝置所輸出之P個相鄰之第一影像，並將P個相鄰之第一影像進行一影像縫合程序而形成一影像區塊，其中每一處理器分別計算影像區塊之一視角與一球座標以指示影像區塊於球形顯示器之位置，M個處理器依據對應之視角與球座標分別將M個影像區塊變形轉換至球形顯示器，M、N、P為自然數，M小於等於N，且P小於等於N。

此外，本發明另揭露一種全景影像播放系統，僅需裝備有數張顯示卡之個人電腦，即可將影像即時的轉換成全景影像，並且以虛擬實境方式呈現。

本發明所提出一種全景影像播放系統，用以顯示一環境視訊於一球形顯示器，所述環境視訊具有複數個連續之畫框，每一畫框具有N個相鄰之第一影像。全景影像系統包含一儲存媒體、一第一處理器以及M個第二處理器。儲存媒體儲存每一畫框之N個第一影像。第一處理器耦接儲存媒體，用以計算每一第一影像之一視角與一球座標，並將N個第一影像分成M組影像區塊，每一影像區塊包含至少P個相鄰之第一影像，M、N、P為自然數，M小於等於N，且P小於等於N。M個第二處理器分別耦接第一處理器，每一第二處理器對應接收M組影像區塊其中之一內的P個相鄰之第一影像，將P個相鄰之第一影像進行一影像縫合程序，並且M個第二處理器依據每一影像區塊中每一第一影像之視角與球座標，分別將M組影像區塊變形轉換至球形顯示器。

因此，本發明之全景影像播放裝置與系統運算一環境視訊中的每一畫框，將所述畫框進行影像縫合後，按照時間軸上的先後順序播放，則可呈現360度或者720度的全景影像之視訊。藉此，本發明可用以顯示一環境之全角度的視訊畫面。

關於本發明之優點與精神可以藉由以下的發明詳述及所附圖式得到進一步的瞭解。

請參閱圖一，圖一係繪示根據本發明之一示範實施例之全景影像播放裝置的功能方塊圖。如圖所示，全景影像播放裝置1包含N個視訊攝影裝置10以及M個處理器12。全景影像播放裝置1用以顯示一環境視訊於一球形顯示器14。每一處理器10耦接於至少P個視訊攝影裝置12，且M個處理器12分別耦接於球形顯示器14。在這裡提到的環境視訊可為一環境中360或720度之視訊畫面，本發明並不加以限制。另外，所述M、N為自然數，且M小於等於N，以下分別描述本發明之全景影像播放裝置1的元件。

N個視訊攝影裝置10分別用以擷取並輸出環境視訊中每一畫框之N個相鄰之第一影像。於實務中，視訊攝影裝置10可為一攝影機，每一視訊攝影裝置10可單獨拍攝視訊，若將N個視訊攝影裝置10做適當的排列，則可用以產生N個相鄰之視訊畫面，接著將所述N個視訊畫面組合起來則可形成一環境視訊。於本發明所屬技術領域具有通常知識者應了解視訊係由複數個連續之畫框組合而成，在本發明組合環境視訊的過程中，可藉由即時組合所述環境視訊的每一個畫框，進而由這些連續畫框產生所述環境視訊。

處理器12用以接收P個視訊攝影裝置10所輸出之P個相鄰之第一影像，並將P個相鄰之第一影像進行一影像縫合程序而形成一影像區塊。其中，P為自然數，且P小於等於N。舉例來說，處理器12可連接一個視訊鏡頭或者同時連接多個視訊鏡頭。於實務上，處理器12可為顯示卡上的圖形處理器(Graphic Processing Unit,GPU)，而每個圖形處理器可另外連接複數個鏡頭，以將每個鏡頭擷取視訊中的畫框進行影像縫合。舉例來說，處理器12在進行影像縫合程序時，相鄰之第一影像需要有一特定區域互相重疊，而處理器12再於相鄰之第一影像中特定區域做影像混合而形成影像區塊。在此，影像混合可為色彩、明亮度或者其他適當的參數之混合，本發明並不加以限制，所屬技術領域具有通常知識者可自由應用任何影像混合技術。

接著，每一處理器12分別計算所述影像區塊之一視角與一球座標以指示所述影像區塊於球形顯示器14之位置，M個處理器12依據對應之視角與球座標分別將M個影像區塊變形轉換至球形顯示器14。於實務中，每一影像區塊即為相鄰之第一影像的集合，也就是部分環境視訊的畫框，M個影像區塊可透過設計而形成覆蓋720度影像之畫框。進一步地，M個處理器12可分別預先連接至球形顯示器14的特定顯示區域，畫框處理完成後可即時透過球形顯示器14的特定顯示區域顯示視訊畫框，在連續播放畫框的情況下，本發明之球形顯示器14可即時顯示動態的720度環境視訊。

球形顯示器14可為複數個可撓式顯示裝置互相拼接而成為球形，或者，球形顯示器14可為一球形投影布幕搭配複數個投影器，且這些投影器設置於球形投影布幕內部。於實務中，只要是足以讓環境視訊呈現出球形的顯示介面，不論360度或者720度顯示，皆屬於本發明所述之球形顯示器14之範圍，本發明在此不加以限制。

以下舉出本發明之一示範實施例的作動方式為例。請參閱圖一、圖二A與圖二B，圖二A係繪示根據本發明之一示範實施例之環境視訊的示意圖。圖二B係繪示根據本發明之一示範實施例之影像區塊的示意圖。如圖所示，複數個視訊攝影裝置10可用以拍攝一環境中相鄰的視訊畫面，例如數個經排列設計之視訊攝影裝置10可分別拍攝相鄰的畫面20a、畫面20b以及畫面20c等，而這些視訊攝影裝置10可連接於一處理器12，由處理器12將這些畫面縫合成為一個影像區塊20。接著，處理器12需要將縫合完成之影像區塊適於顯示在球形顯示器14的對應區域。

實際上，處理器12可以預設其輸出之影像區塊會顯示於球形顯示器14之特定部分，也就是說，處理器12可以預設一球座標與視角，搭配適當排列的視訊攝影裝置10即可準確地對應顯示拍攝到的環境。另外，顯示於球形顯示器14之影像區塊，更需經過處理器12之變形轉換，如圖二B所示，使得視覺效果更佳。

圖三係繪示根據本發明之一示範實施例之球形顯示器的示意圖。如圖所示，前述之影像區塊經變形後可由球形顯示器14顯示於對應位置。在此，另一處理器12更可將其他相鄰畫面縫合成另一影像區塊30等。如此一來，透過複數個影像區塊的組合，本發明可有效呈現出一環境中720度的即時環境影像，並且透過組合時間軸上先後的環境影像，本發明藉此可顯示環境視訊。

本發明另外揭露一種全景影像播放系統，除了上述揭露運用複數個視訊攝影裝置即時運算出環境視訊之外，更可透過儲存媒體與一主控電腦來產生所述環境視訊。

請參閱圖四，圖四係繪示根據本發明之另一示範實施例之全景影像播放系統的功能方塊圖。如圖所示，全景影像播放系統4用以顯示一環境視訊於一球形顯示器46，所述環境視訊具有複數個連續之畫框，每一畫框具有N個相鄰之第一影像。全景影像播放系統4包含一儲存媒體40、一第一處理器42、M個第二處理器44。其中，第一處理器42耦接儲存媒體40，M個第二處理器44分別耦接第一處理器42，M為自然數。以下分別描述本發明之全景影像播放系統4的元件。

儲存媒體40用以儲存每一畫框之N個第一影像。於實務中，儲存媒體40可為硬碟、揮發式記憶體或者非揮發式記憶體，在此不加以限制。

第一處理器42用以計算每一第一影像之一視角與一球座標，並將N個第一影像分成M組影像區塊，每一影像區塊包含至少P個相鄰之第一影像，M、N、P為自然數，M小於等於N，且P小於等於N。於實務中，第一處理器42可為中央處理器(CPU)包含於一個人電腦、筆記型電腦或者任一形式具有運算功能之電腦，用以設定每組影像區塊中的第一影像應具有之視角與球座標。

每一第二處理器44對應接收M組影像區塊其中之一內的P個相鄰之第一影像，將P個相鄰之第一影像進行一影像縫合程序，並且M個第二處理器44依據每一影像區塊中每一第一影像之視角與球座標，分別將M組影像區塊變形轉換至球形顯示器46。於實務中，第二處理器44可為圖形處理器(Graphic Processing Unit，GPU)，裝設於第一處理器42中。舉例來說，第一處理器42為個人電腦時，第一處理器42可裝備有多個顯示卡，每一顯示卡包含圖形處理器，藉此，本發明之全景影像播放系統4可由一裝備複數張顯示卡之個人電腦實現。

綜上所述，本發明之全景影像播放裝置與系統可用以顯示一環境之全角度的視訊畫面，應用多個圖形處理器(GPU)輔助中央處理器(CPU)進行即時運算。換句話說，本發明藉由運算一環境視訊中的每一畫框，將所述畫框進行影像縫合後，按照時間軸上的先後順序播放，則可呈現360度或者720度的全景影像之視訊。因此，本發明能以簡單的攝影設備，將拍攝的影像即時的轉換成全景影像，並且以3D虛擬實境方式呈現，給予使用者在觀看全景圖片時能夠有如身歷其境的感受。

藉由以上較佳具體實施例之詳述，係希望能更加清楚描述本發明之特徵與精神，而並非以上述所揭露的較佳具體實施例來對本發明之範疇加以限制。相反地，其目的是希望能涵蓋各種改變及具相等性的安排於本發明所欲申請之專利範圍的範疇內。

1．．．全景影像播放裝置

10．．．視訊攝影裝置

12．．．處理器

14．．．球形顯示器

20、30．．．影像區塊

20a、20b、20c．．．畫面

4．．．全景影像播放系統

40．．．儲存媒體

42．．．第一處理器

44．．．第二處理器

46．．．球形顯示器

圖一係繪示根據本發明之一示範實施例之全景影像播放裝置的功能方塊圖。

圖二A係繪示根據本發明之一示範實施例之環境視訊的示意圖。

圖二B係繪示根據本發明之一示範實施例之影像區塊的示意圖。

圖三係繪示根據本發明之一示範實施例之球形顯示器的示意圖。

圖四係繪示根據本發明之另一示範實施例之全景影像播放系統的功能方塊圖。

1．．．全景影像播放裝置

10．．．視訊攝影裝置

12．．．處理器

14．．．球形顯示器

Claims (14)

1. 一種全景影像播放裝置，用以顯示一環境視訊於一球形顯示器，該環境視訊具有複數個連續之畫框，每一該畫框具有N個相鄰之第一影像，該全景影像播放裝置包含：N個視訊攝影裝置，用以對應擷取並輸出該N個相鄰之第一影像；以及M個處理器，每一該處理器耦接於至少P個視訊攝影裝置，用以接收該P個視訊攝影裝置所輸出之該P個相鄰之第一影像，並將該P個相鄰之第一影像進行一影像縫合程序而形成一影像區塊，其中每一該處理器分別計算該影像區塊之一視角與一球座標以指示該影像區塊於該球形顯示器之位置，該M個處理器依據對應之該視角與該球座標分別將該M個影像區塊變形轉換至該球形顯示器，M、N、P為自然數，M小於等於N，且P小於等於N。
2. 如申請專利範圍第1項所述之全景影像播放裝置，其中該球形顯示器係複數個可撓式顯示裝置互相拼接而成為球形。
3. 如申請專利範圍第1項所述之全景影像播放裝置，其中該球形顯示器係一球形投影布幕搭配複數個投影器，該些投影器設置於該球形投影布幕內部。
4. 如申請專利範圍第1項所述之全景影像播放裝置，其中該環境視訊係指一環境中720度之視訊畫面。
5. 如申請專利範圍第1項所述之全景影像播放裝置，其中該相鄰之第一影像中具有一特定區域互相重疊。
6. 如申請專利範圍第5項所述之全景影像播放裝置，其中該影像縫合程序係對該相鄰之第一影像中該特定區域做影像混合。
7. 如申請專利範圍第1項所述之全景影像播放裝置，其中每一該處理器為一圖形處理器(Graphic Processing Unit，GPU)。
8. 一種全景影像播放系統，用以顯示一環境視訊於一球形顯示器，該環境視訊具有複數個連續之畫框，每一該畫框具有N個相鄰之第一影像，該全景影像系統包含：一儲存媒體，儲存每一該畫框之該N個第一影像；一第一處理器，耦接該儲存媒體，用以計算每一該第一影像之一視角與一球座標，並將該N個第一影像分成M組影像區塊，每一該影像區塊包含至少P個相鄰之第一影像，M、N、P為自然數，M小於等於N，且P小於等於N；以及M個第二處理器，分別耦接該第一處理器，每一該第二處理器對應接收該M組影像區塊其中之一內的該P個相鄰之第一影像，將該P個相鄰之第一影像進行一影像縫合程序，並且該M個第二處理器依據每一該影像區塊中每一該第一影像之該視角與該球座標，分別將該M組影像區塊變形轉換至該球形顯示器。
9. 如申請專利範圍第8項所述之全景影像播放系統，其中該球形顯示器係複數個可撓式顯示裝置互相拼接而成為球形。
10. 如申請專利範圍第8項所述之全景影像播放系統，其中該球形顯示器係一球形投影布幕搭配複數個投影器，該些投影器設置於該球形投影布幕內部。
11. 如申請專利範圍第8項所述之全景影像播放系統，其中該環境視訊係指一環境中720度之視訊畫面。
12. 如申請專利範圍第8項所述之全景影像播放系統，其中該相鄰之第一影像中具有一特定區域互相重疊。
13. 如申請專利範圍第12項所述之全景影像播放系統，其中該影像縫合程序係對該相鄰之第一影像中該特定區域做影像混合。
14. 如申請專利範圍第8項所述之全景影像播放系統，其中該第一處理器係一電腦，該M個第二處理器係分別為M個圖形處理器(Graphic Processing Unit，GPU)。