TW201828258A - 場景的渲染方法和裝置 - Google Patents
場景的渲染方法和裝置 Download PDFInfo
- Publication number
- TW201828258A TW201828258A TW107101729A TW107101729A TW201828258A TW 201828258 A TW201828258 A TW 201828258A TW 107101729 A TW107101729 A TW 107101729A TW 107101729 A TW107101729 A TW 107101729A TW 201828258 A TW201828258 A TW 201828258A
- Authority
- TW
- Taiwan
- Prior art keywords
- panoramic
- panorama
- eye
- cameras
- right eye
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
一種場景的渲染方法和裝置,該方法包括:接收一顯示終端所發送之一圖像顯示請求;根據所述圖像顯示請求確定所述顯示終端在一場景中之一區域資訊,以及確定所述區域資訊所表示的區域為一視角之一場景圖像;獲取與所述場景圖像相匹配之全景貼圖,其中所述全景貼圖是根據三維的所述場景圖像生成的二維圖像;以及向所述顯示終端發送所述全景貼圖,並將所述全景貼圖顯示在所述顯示終端上以渲染所述場景圖像。本揭示解決了移動設備無法渲染出3D場景的技術問題。
Description
本揭示關於影像處理領域,特別是關於一種涉及一種場景的渲染方法和裝置。
虛擬實境世界中,為了提高使用者的沉浸感,需要為使用者提供複雜逼真次世代3D場景。複雜逼真次世代3D場景(次世代即高面模型、超大的貼面、極高計算量顯示卡程式的代價換來的與現實世界相近的視覺效果)往往需要具備高渲染能力的設備,例如本地的電腦或遠端的伺服器,才能夠實現。但這些設備不夠輕便,使用者更傾向於選擇移動設備。然而,移動設備的渲染能力較弱,並且與伺服器和電腦相比,移動設備的電池續航能力較低,使得移動設備無法即時渲染出3D場景。
針對上述的問題,目前尚未提出有效的解決方案。
本揭示實施例提供了一種場景的渲染方法和裝置,以至少解決移動設備無法渲染出3D場景的技問題。
根據本揭示實施例的一個方面,提供了一種場景的渲染方法,包括:接收一顯示終端所發送之一圖像顯示請求;根據所述圖像顯示請求確定所述顯示終端在一場景中之一區域資訊,以及確定所述區域資訊所表示的區域為一視角之一場景圖像;獲取與所述場景圖像相匹配之全景貼圖,其中所述全景貼圖 是根據三維的所述場景圖像生成的二維圖像;以及向所述顯示終端發送所述全景貼圖,並將所述全景貼圖顯示在所述顯示終端上以渲染所述場景圖像。
根據本揭示實施例的另一方面,還提供了一種場景的渲染方法,包括:一顯示終端向一設備端發送一圖像顯示請求,以請求獲取所述顯示終端在一場景中之一區域資訊所表示的區域為一視角之一場景圖像;接收所述設備端回應所述圖像顯示請求所發送的全景貼圖,其中所述全景貼圖是由所述設備端根據三維的所述場景圖像生成的二維圖像;以及顯示所述全景貼圖。
根據本揭示實施例的一個方面,提供了一種場景的渲染裝置,包括:一接收單元,用於接收一顯示終端所發送之一圖像顯示請求;一確定單元,用於根據所述圖像顯示請求確定所述顯示終端在一場景中之一區域資訊,以及確定所述區域資訊所表示的區域為一視角之一場景圖像;一獲取單元,用於獲取與所述場景圖像相匹配之全景貼圖,其中所述全景貼圖是根據三維的所述場景圖像生成的二維圖像;以及一發送單元,用於向所述顯示終端發送所述全景貼圖,並將所述全景貼圖顯示在所述顯示終端上以渲染所述場景圖像。
根據本揭示實施例的另一方面,還提供了一種場景的渲染裝置,包括:一終端發送單元,用於向一設備端發送一圖像顯示請求,以請求獲取顯示終端在一場景中之一區域資訊所表示的區域為一視角之一場景圖像;一終端接收單元,用於接收所述設備端回應所述圖像顯示請求所發送的全景貼圖,其中所述全景貼圖是由所述設備端根據三維的所述場景圖像生成的二維圖像;以及一終端顯示單元,用於顯示所述全景貼圖。
在本揭示實施例中,先在設備端上製作好全景貼 圖,然後在顯示終端上顯示全景貼圖,從而實現了性能較低的顯示終端上渲染高清的場景圖像,解決了習知技術的移動設備無法渲染出3D場景的技術問題,達到了在移動設備上顯示3D場景的技術效果。同時,還能減少顯示3D場景對顯示終端的耗能。
10‧‧‧接收單元
20‧‧‧確定單元
30‧‧‧獲取單元
40‧‧‧發送單元
92‧‧‧終端發送單元
94‧‧‧終端接收單元
96‧‧‧終端顯示單元
102‧‧‧終端
104‧‧‧伺服器
1001‧‧‧處理器
1002‧‧‧攝像頭
1003‧‧‧顯示器
1004‧‧‧資料介面
1005‧‧‧記憶體
1006‧‧‧網路介面
S202-S208、S402-S406‧‧‧步驟
第1圖是根據本揭示實施例的一種硬體環境系統的示意圖。
第2圖是根據本揭示一實施例的場景的渲染方法的流程圖。
第3圖是根據本揭示可選實施例的場景的渲染方法的流程圖。
第4圖是根據本揭示又一實施例的場景的渲染方法的流程圖。
第5圖是根據本揭示實施例的全景模型的示意圖。
第6圖是根據本揭示實施例的全景模型顯示左眼全景貼圖後的左眼全景圖。
第7圖是根據本揭示實施例的全景模型顯示右眼全景貼圖後的右眼全景圖。
第8圖是根據本揭示一實施例的場景的渲染裝置的示意圖。
第9圖是根據本揭示又一實施例的場景的渲染裝置的示意圖。
第10圖是根據本揭示實施例的伺服器的架構圖。
為了使本揭示所屬技術領域中具有通常知識者更好地理解本揭示方案,下面將結合本揭示實施例中的附圖,對本揭示實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本揭示一部分的實施例,而不是全部的實施例。基於本揭示中的實施例,本揭示所屬技術領域中具有通常知識者在沒有做出創造性勞動前提下所獲得的所有其他實施例,都應當屬於本揭示保護的範圍。
需要說明的是,本揭示的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別類似的物件,而不必用於描述特定的順序或先後次序。應該理解這樣使用的資料在適當情況下可以互換,以便這裡描述的本揭示的實施例能夠以除了在這裡圖示或描述的那些以外的順序實施。此外,術語“包括”和“具有”以及他們的任何變形,意圖在於覆蓋不排他的包含,例如,包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限於清楚地列出的那些步驟或單元,而是可包括沒有清楚地列出的或對於這些過程、方法、產品或設備固有的其它步驟或單元。
實施例1
根據本揭示實施例,提供了一種可以通過本揭示裝置實施例執行的方法實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組電腦可執行指令的電腦系統中執行,並且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同於此處的循序執行所示出或描述的步驟。
名詞解釋:
Virtual Reality簡稱VR,即虛擬實境。
Shader:圖形渲染的顯示卡程式。
渲染:使用3D圖形顯示卡繪畫到螢幕的過程。
FPS:每秒顯示幕刷新的速度:60 FPS即每秒60幀。
全景貼圖或立體貼圖顯示幕,如:box Cube texture。
次世代:高面模型、超大的貼面、極高計算量顯示卡程式的代價換來的現實世界相近的視覺效果。
根據本揭示實施例,提供了一種場景的渲染方法。該場景的渲染方法可以由設備端執行,如伺服器和本地電腦。
可選地,在本實施例中,上述場景的渲染方法可以應用於如第1圖所示的終端102和伺服器104所構成的硬體環境中。如第1圖所示,終端102通過網路與伺服器104進行連接,上述網路包括但不限於:移動通信網路、廣域網路、都會區網路或局域網,終端102可以是手機終端,也可以是PC終端、筆記本終端或平板電腦終端。
第1圖中示出的硬體環境系統的工作原理是:在第1圖所示的伺服器104中對3D場景進行處理,利用3D引擎製作3D場景。然後在左眼位置和右眼位置分別渲染一張全景貼圖,得到兩張全景貼圖。在終端102上可以執行虛擬實境應用,當終端102需要顯示真實場景時,向伺服器104請求真實場景的全景貼圖。終端102接收伺服器104已經渲染好的兩張全景貼圖,即左眼全景貼圖和右眼全景貼圖,終端102顯示接收到的左眼全景貼圖和右眼全景貼圖,從而在虛擬實境應用中顯示了真實場景。
本實施例的上述伺服器104也可以是高性能的本地電腦端,或者其他具有較強圖像渲染能力的智慧終端機。通過第1圖所示的硬體環境系統,可以在伺服器等高性能端先渲染好全景貼圖,然後再將渲染後的全景貼圖發送給終端102進行顯示,無需終端102進行場景的渲染。由於在終端102上顯示左眼全景貼圖和右眼全景貼圖,用於通過終端102就能同時看到左眼全景貼圖和右眼全景貼圖,看到3D場景的效果。即在終端102進行虛擬實境應用的場景顯示時,無需要求終端102具有較高的圖像渲染能力和電池續航能力就能顯示3D場景,解決了移動設備無法渲染出3D場景的技術問題,達到了在移動設備上顯示3D場景的技術效果。
第2圖是根據本揭示一實施例的場景的渲染方法的流程圖,該渲染方法可以由設備端執行。以下結合第2圖對本揭示 實施例所提供的場景的渲染方法做具體介紹,如第2圖所示,該場景的渲染方法包括:
步驟S202,接收顯示終端發送的圖像顯示請求。
步驟S204,根據所述圖像顯示請求確定所述顯示終端在場景中的區域資訊,及確定該區域資訊所表示的區域為視角的場景圖像。
設備端可以是第1圖所示的伺服器或者本地電腦等高性能設備,該設備端具有較強的圖像渲染能力,可以渲染出場景的全景貼圖。顯示終端可以是第1圖所示的終端,該顯示終端用於顯示設備端渲染好的全景貼圖。
在顯示終端需要顯示類比3D場景時,會向設備端發送圖像顯示請求,該圖像顯示請求攜帶有顯示終端在場景中的區域資訊,以便伺服器根據顯示終端發送以當前區域資訊為視角的場景圖像的全景貼圖。可選地,圖像顯示請求也可以攜帶顯示終端在場景中的位置資訊,以便伺服器根據顯示終端發送以當前位置資訊為視角的場景圖像的全景貼圖。
步驟S206,根據圖像顯示請求獲取與場景圖像相匹配的全景貼圖,其中全景貼圖是由設備端根據三維的場景圖像生成的二維圖像。
設備端上可以運行3D引擎,例如unreal4,在3D引擎中導入次世代3D場景。3D引擎在左眼位置和右眼位置渲染兩張全景貼圖。設備端可以對一個區域內渲染兩張全景貼圖,當顯示終端在該區域內的不同位置時都可以用這個區域內的兩張全景貼圖。另外,設備端還可以對一個區域渲染多張全景貼圖,該區域內的每個位置對應兩張全景貼圖,設備端根據顯示終端的位置提供與顯示終端當前所處場景相匹配的兩張全景貼圖。全景貼圖是 由3D引擎製作的二維圖像,減少顯示終端的影像處理負擔的同時,還能在顯示終端上呈現立體效果。
步驟S208,向顯示終端發送全景貼圖,其中顯示終端顯示全景貼圖來渲染場景圖像。
設備端將全景貼圖發送給顯示終端。發送的方式可以是通過有線連接發送,如USB和串列埠等,還可以通過無線連接發送,比如WiFi和蜂窩網路等。此處,其他有線或者無線連接(例如,藍牙、NFC和zigbee)的方式也可以用於在設備端和顯示終端之間發送全景貼圖,為了傳輸效率和減少圖片的損傷,可以選擇上述任意一種或者多種資料傳輸方式。
通過本實施例,先在設備端上製作好全景貼圖,然後在顯示終端上顯示全景貼圖,從而實現了性能較低的顯示終端上渲染高清的場景圖像,解決了習知技術的移動設備無法渲染出3D場景的技術問題,達到了在移動設備上顯示3D場景的技術效果。同時,還能減少顯示3D場景對顯示終端的耗能。
如第3圖所示,高性能設備端(即設備端)中的3D引擎輸入次時代3D場景模型,基於模型進行渲染,並獲取左右眼即時或靜態全景圖(即全景貼圖)。通過資料連接,將全景圖發送給移動設備(即顯示終端)。移動設備接收圖像資料,即接收全景貼圖,進行拼接並顯示。即顯示左眼全景貼圖和右眼全景貼圖。
以顯示終端為VR設備為例對本實施例進行說明。
人體頭部佩戴VR設備之後,可以通過VR設備觀看到3D場景。在VR設備顯示的3D場景中進行遊戲或者遊覽3D場景。
當人體佩戴VR設備轉頭時,VR設備上顯示的場景也隨著頭部的旋轉而旋轉。VR設備在3D場景中的區域或者位置對應兩張全景貼圖,一張左眼全景貼圖和一張右眼全景貼圖。VR設備 顯示左眼全景貼圖和右眼全景貼圖,人體通過VR設備可以觀看到左眼全景貼圖和右眼全景貼圖所顯示出來的3D場景圖。
對於開闊的室外場景,如田野等,VR設備在室外場景中的位置變換可以採用相同的一組全景貼圖來顯示,即設備端向VR設備提供一組全景貼圖,一組全景貼圖包括左眼全景貼圖和右眼全景貼圖。當人體在田野場景中由近向遠處移動時,可以採用相同的一組全景貼圖來模擬人體所在的3D場景。
對於狹窄的室內場景,如房間中,VR設備可以隨著人體在室內場景中的位置變化而接收多組全景貼圖,每組全景貼圖都與人體在室內場景的位置相關聯。例如,人體處於室內場景的窗邊,在窗邊的視角觀看整個房間,此時VR設備獲得與窗邊的視角相匹配的一組全景貼圖。當人體移動到門口,在門口的視角觀看整個房間,此時VR設備獲得與門口的視角相匹配的一組全景貼圖。即不同的視角對應不同的全景貼圖。這種隨著位置的變化而顯示不同的全景貼圖的方式,可以更加精細的模擬人體在室內場景下的視角變化,提高了場景的真實感,增加了使用者在室內場景中的沉浸感。
對於不同的場景,由於VR設備顯示左眼全景貼圖和右眼全景貼圖,當佩戴VR設備的人體的頭部旋轉來變換視角時,每只眼睛可以看到相應全景貼圖表示場景的不同位置的圖像內容。另外,在VR設備上顯示二維的左眼全景貼圖和右眼全景貼圖,人體在視覺上看到的是三維的場景圖像。
可選地,根據圖像顯示請求獲取與場景圖像相匹配的全景貼圖包括:獲取場景的至少一張全景圖,其中每張全景圖包括多個方向上的圖片,每個方向上包括至少一張圖片;將場景物件對應的區域資訊與全景圖進行關聯;以及將與所述區域資訊 關聯的全景圖作為與場景圖像相匹配的全景貼圖。
設備端提供給顯示終端的全景貼圖由設備端生成,在設備端中製作好場景並且調配好效果,以便發送給顯示終端後由顯示終端顯示全景貼圖。設備端可以生成一個區域內的全景貼圖,或者某個位置相關聯的全景貼圖。設備端獲取場景的至少一張全景圖,並且將全景圖與區域或者位置進行關聯,該全景圖就作為當前區域或者當前位置的全景貼圖。設備端可以根據顯示終端請求的區域或者位置選擇相應的全景貼圖發送給顯示終端,以便顯示終端顯示相應區域和位置的全景貼圖。
由上述內容可知,為了在顯示終端上顯示出立體效果,需要在顯示終端上顯示左眼全景貼圖和右眼全景貼圖。因此設備端生成左眼全景圖和右眼全景圖,從而生成左眼全景貼圖和右眼全景貼圖。左眼全景圖和右眼全景圖分別由處於左眼位置的一組攝像機和處於右眼位置的另外一組攝像機拍攝得到。
攝像機獲取左眼全景圖和右眼全景圖的方法可以包括以下幾種:
第一種:兩組攝像機,每組包含6台攝像機,且攝像機位置固定不旋轉。
即全景圖包括左眼全景圖和右眼全景圖,設備端獲取場景的至少一張全景圖包括:設備端獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括6張以左眼為視角的圖片,以左眼為視角的圖片為第一組攝像機在左眼的位置拍攝的圖片,第一組攝像機包括6台攝像機,第一組攝像機的每台攝像機拍攝一張圖片,第一組攝像機的6台攝像機相互夾角為90度;右眼全景圖包括6張以右眼為視角的圖片,以右眼為視角的圖片為第二組攝像機在右眼的位置拍攝的圖片,第二組攝像機包括6台攝像機, 第二組攝像機的每台攝像機拍攝一張圖片,第二組攝像機的6台攝像機相互夾角為90度。
在左眼位置設置一組攝像機,在右眼位置設置另外一組攝像機,每組攝像機包括6台攝像機。
左眼位置的6台攝像機分別拍攝左眼視角的前、後、左、右、上和下6個角度的場景。6台攝像機相互之間的夾角為90度,每台攝像機可以拍攝一個角度上的一張圖像,一組攝像機拍攝的6張圖像可以形成左眼視角的全景圖。
右眼位置的6台攝像機分別拍攝右眼視角的前、後、左、右、上和下6個角度的場景。6台攝像機相互之間的夾角為90度,每台攝像機可以拍攝一個角度上的一張圖像,一組攝像機拍攝的6張圖像可以形成右眼視角的全景圖。
左眼位置的一組攝像機和右眼位置的一組攝像機之間的間距可以設置為12.94cm左右。通過兩組攝像機獲取的左眼全景圖和右眼全景圖可以用來生成左眼全景貼圖和右眼全景貼圖。
第二種:兩組攝像機,每組攝像機包括一台攝像機,且兩組攝像機同時旋轉。
即全景圖包括左眼全景圖和右眼全景圖,設備端獲取場景的至少一張全景圖包括:設備端獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼為視角的圖片為第一攝像機在左眼所在的位置上沿垂直軸旋轉拍攝的圖片,其中垂直軸為左眼和右眼連線的中垂線;右眼全景圖包括多張以右眼為視角的圖片,以右眼為視角的圖片為第二攝像機在右眼所在位置上沿垂直軸旋轉拍攝的圖片,拍攝過程中第一攝像機和第二攝像機同時旋轉。
在左眼位置設置一台攝像機拍攝左眼視角的全景圖 像,在右眼位置設置另外一台攝像機拍攝右眼視角的全景圖像。兩台攝像機以左眼和右眼中心點連線的中垂線為軸進行旋轉,模擬人體頭部旋轉時兩隻眼睛的視角。兩台攝像機同時旋轉,每台攝像機拍攝多張圖片。例如,每旋轉1°拍攝一張圖片,或者每旋轉0.5°拍攝一張圖片。兩組攝像機可以沿著中垂線旋轉360°,或者根據場景的需要選擇旋轉的度數,以及拍攝圖片的步長。
兩組攝像機可以以中垂線為軸進行旋轉,也可以以左眼和右眼中心的連線為軸進行旋轉。例如每旋轉1°拍攝一張圖片,則左眼位置的一台攝像機拍攝360張圖片,右眼位置的一台攝像機拍攝360張圖片,左眼的360張圖片形成左眼全景圖,右眼的360張圖片形成右眼全景圖。
可選地,全景圖包括左眼全景圖和右眼全景圖,設備端獲取場景的至少一張全景圖包括:設備端獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼為視角的圖片為第一攝像機在左眼所在的位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片;右眼全景圖包括多張以右眼為視角的圖片,以右眼為視角的圖片為第二攝像機在右眼所在的位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片,拍攝過程中第一攝像機和第二攝像機同時旋轉。
例如,兩組攝像機同時以左眼和右眼中心的連線從下到上的方向旋轉,模擬人體從看向地面逐漸看向天空。同樣地,旋轉的角度和拍攝圖片的張數可以根據精度需要進行設置。
兩組攝像機沿中垂線旋轉可以得到在水平方向上的左眼全景圖和右眼全景圖,兩組攝像機以雙眼連線為軸旋轉可以得到豎直方向上的左眼全景圖和右眼全景圖。
通過上述兩種旋轉方式,可以獲得不同平面上的左 眼全景圖和右眼全景圖。可以根據場景需要選擇以中垂線為軸進行旋轉、以雙眼連線為軸進行旋轉、或者採用上述兩種方式進行旋轉,以便人體通過顯示終端在不同角度上都能看到左眼全景貼圖和右眼全景貼圖渲染出來的3D場景。
第三種:兩組攝像機,每組攝像機包括5台攝像機,且兩組攝像機同時旋轉。
即全景圖包括左眼全景圖和右眼全景圖,設備端獲取場景的至少一張全景圖包括:設備端獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼為視角的圖片為第三組攝像機在左眼所在的位置上沿垂直軸旋轉拍攝的圖片,其中第三組攝像機包括左眼的前方、左方、右方、上方和下方各設置攝像機,垂直軸為左眼和右眼連線的中垂線;右眼全景圖包括多張以右眼為視角的圖片,以右眼為視角的圖片為第四組攝像機在右眼所在的位置上沿垂直軸旋轉拍攝的圖片,其中第四組攝像機包括右眼的前方、左方、右方、上方和下方各設置的攝像機,在拍攝過程中,第三組攝像機和第四組攝像機的所有攝像機同時旋轉。
每組的5台攝像機分別設置在眼睛的前方、左方、右方、上方和下方,即在左眼位置的5個方向上設置5台攝像機,每個方向上一台攝像機;在右眼位置的5個方向上設置5台攝像機,每個方向上一台攝像機。
每組5台攝像機以中垂線為軸同時進行旋轉,可以拍攝5個方向上的照片。兩組攝像機同時旋轉就可以拍攝雙眼的視角變換所看到的場景圖像。每組攝像機可以以中垂線為軸旋轉360°,可以每轉1°拍攝一張照片,這樣每組拍攝360*5=1800圖片,兩組共拍攝3600張圖片。左眼的1800張圖片形成左眼全景圖,右 眼1800張圖片形成右眼全景圖。
本實施例可以採用多種方式來獲取左眼全景圖和右眼全景圖,進而得到左眼全景貼圖和右眼全景貼圖。由於設備端的影像處理能力較強,可以生成精細的全景圖,作為顯示終端渲染場景圖像的良好基礎。顯示終端可以顯示二維圖像,且顯示二維圖像對顯示終端的配置要求較低,對顯示終端的消耗較少,因此將設備端生成的二維全景貼圖發送給顯示終端進行顯示,不僅可以渲染出逼真的三維場景,還能減少顯示終端的功耗。
需要說明的是,對於前述的各方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本揭示所屬技術領域中具有通常知識者應該知悉,本揭示並不受所描述的動作順序的限制,因為依據本揭示,某些步驟可以採用其他順序或者同時進行。其次,本揭示所屬技術領域中具有通常知識者也應該知悉,說明書中所描述的實施例均屬於優選實施例,所涉及的動作和模組並不一定是本揭示所必須的。
通過以上的實施方式的描述,本揭示所屬技術領域中具有通常知識者可以清楚地瞭解到根據上述實施例的方法可借助軟體加必需的通用硬體平臺的方式來實現,當然也可以通過硬體,但很多情況下前者是更佳的實施方式。基於這樣的理解,本揭示的技術方案本質上或者說對習知技術做出貢獻的部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在一個儲存介質(如ROM/RAM、磁碟、光碟)中,包括若干指令用以使得一台終端設備(可以是手機、電腦、伺服器、或者網路設備等)執行本揭示各個實施例所述的方法。
實施例2
根據本揭示實施例,提供了一種可以通過本揭示裝 置實施例執行的方法實施例,需要說明的是,在附圖的流程圖示出的步驟可以在諸如一組電腦可執行指令的電腦系統中執行,並且,雖然在流程圖中示出了邏輯順序,但是在某些情況下,可以以不同於此處的循序執行所示出或描述的步驟。
本實施例還提供了一張場景的渲染方法。該場景的渲染方法可以由顯示終端執行。
第4圖是根據本揭示又一實施例的場景的渲染方法的流程圖,該渲染方法由顯示終端執行,以下結合第4圖對本揭示實施例所提供的場景的渲染方法做具體介紹,如第4圖所示,該場景的渲染方法包括:
步驟S402,向設備端發送圖像顯示請求,以請求獲取顯示終端在場景中的區域資訊所表示的區域為視角的場景圖像。
步驟S404,接收設備端回應圖像顯示請求所發送的全景貼圖,其中全景貼圖是由設備端根據三維的場景圖像生成的二維圖像。
步驟S406,顯示全景貼圖。
顯示終端並不生成全景貼圖,全景貼圖由設備端生成,因此在顯示終端需要顯示全景貼圖時,會向設備端發出圖像顯示請求。圖像顯示請求可以攜帶顯示終端在場景中區域資訊。設備端根據區域資訊提供該區域資訊表示的區域所關聯的全景貼圖。顯示終端接收設備端發送的全景貼圖,並在顯示終端上顯示全景貼圖。全景貼圖為二維圖像,在顯示終端上顯示後可以呈現出三維圖像的效果,從而實現了顯示終端上三維場景的渲染。
通過本實施例,先在設備端上製作好全景貼圖,然後在顯示終端上顯示全景貼圖,從而實現了性能較低的顯示終端 上渲染高清的場景圖像,解決了習知技術的移動設備無法渲染出3D場景的技術問題,達到了在移動設備上顯示3D場景的技術效果。同時還能減少顯示3D場景對顯示終端的耗能。
可選地,全景貼圖包括左眼全景貼圖和右眼全景貼圖,顯示全景貼圖包括:將全景模型的中心點設置為視角,其中全景模型為全景盒子或者全景球體模型;渲染左眼圖像,並將全景模型的貼圖顯示為左眼全景貼圖;渲染右眼圖像,並將全景模型的貼圖顯示為右眼全景貼圖。
在顯示終端上渲染場景圖像時,將全景模型的中心點設置在視角位置。全景模型可以是全景盒子或者全景球體模型。全景盒子如第5圖所示。在虛擬實境應用中,全景模型的中心點的位置就是人體在虛擬顯示的場景中的位置。在渲染左眼圖像時將全景模型的貼圖全部換成左眼的全景貼圖,在渲染右眼圖像時將全景模型的貼圖全部換成右眼的全景貼圖。對於實施例1中的三種獲取全景貼圖的方式,三種方式獲取的全景貼圖可以採用如第4圖所示的全景模型,也可以根據全景模型採集的方向來更改全景模型。例如,對於第三種5台攝像機獲取的全景貼圖來說,可以將全景模型調整成與這種全景貼圖相匹配的模型。
將全景模型的貼圖全部換成左眼的全景貼圖之後,顯示的全景圖如第6圖所示;將全景模型的貼圖全部換成右眼的全景貼圖之後,顯示的全景圖如第7圖所示。由第6圖和第7圖可知,左眼視角看到的場景與右眼看到的場景是有差異的。但是在顯示終端上同時顯示左眼全景貼圖和右眼全景貼圖,就可以顯示出三維場景的效果。
需要說明的是,對於前述的各方法實施例,為了簡單描述,故將其都表述為一系列的動作組合,但是本揭示所屬技 術領域中具有通常知識者應該知悉,本揭示並不受所描述的動作順序的限制,因為依據本揭示,某些步驟可以採用其他順序或者同時進行。其次,本揭示所屬技術領域中具有通常知識者也應該知悉,說明書中所描述的實施例均屬於優選實施例,所涉及的動作和模組並不一定是本揭示所必須的。
通過以上的實施方式的描述,本揭示所屬技術領域中具有通常知識者可以清楚地瞭解到根據上述實施例的方法可借助軟體加必需的通用硬體平臺的方式來實現,當然也可以通過硬體,但很多情況下前者是更佳的實施方式。基於這樣的理解,本揭示的技術方案本質上或者說對習知技術做出貢獻的部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在一個儲存介質(如ROM/RAM、磁碟、光碟)中,包括若干指令用以使得一台終端設備(可以是手機,電腦,伺服器,或者網路設備等)執行本揭示各個實施例所述的方法。
實施例3
根據本揭示實施例,還提供了一種用於實施上述實施例1的場景的渲染方法的場景的渲染裝置,該場景的渲染裝置主要用於執行本揭示實施例上述內容所提供的場景的渲染方法,以下對本揭示實施例所提供的場景的渲染裝置做具體介紹。
第8圖是根據本揭示一實施例的場景的渲染裝置的示意圖,如第8圖所示,該場景的渲染裝置包括:接收單元10用於接收顯示終端發送的圖像顯示請求。
確定單元20用於根據圖像顯示請求確定顯示終端在場景中的區域資訊,及確定該區域資訊所表示的區域為視角的場景圖像。
設備端可以是第1圖所示的伺服器或者本地電腦等高性能設備,該設備端具有較強的圖像渲染能力,可以渲染出場景的全景貼圖。顯示終端可以是第1圖所示的終端,該顯示終端主要顯示在設備端已經渲染好的全景貼圖。
在顯示終端需要顯示類比3D場景時,會向設備端發送圖像顯示請求,該圖像顯示請求攜帶有顯示終端在場景中的區域資訊,以便伺服器根據顯示終端發送以當前區域資訊為視角的場景圖像的全景貼圖。可選地,圖像顯示請求也可以攜帶顯示終端在場景中的位置資訊,以便伺服器根據顯示終端發送以當前位置資訊為視角的場景圖像的全景貼圖。
獲取單元30用於獲取與場景圖像相匹配的全景貼圖,其中全景貼圖是由設備端根據三維的場景圖像生成的二維圖像。
設備端上可以運行3D引擎,例如unreal4,在3D引擎中導入次世代3D場景。3D引擎在左眼位置和右眼位置渲染兩張全景貼圖。設備端可以對一個區域內渲染兩張全景貼圖,當顯示終端在該區域內的不同位置時都可以用這個區域內的兩張全景貼圖。另外,設備端還可以對一個區域內渲染多張全景貼圖,該區域內的每個位置對應兩張全景貼圖,設備端根據顯示終端的位置提供與顯示終端當前所處場景相匹配的兩張全景貼圖。全景貼圖是由3D引擎製作的二維圖像,減少顯示終端的影像處理負擔的同時,還能在顯示終端上呈現立體效果。
發送單元40用於向顯示終端發送全景貼圖,其中顯示終端顯示全景貼圖來渲染場景圖像。
設備端將全景貼圖發送給顯示終端。發送的方式可以是通過有線連接發送,如USB和串列埠等,還可以通過無線連 接發送,比如WiFi和蜂窩網路等。此處,其他有線或者無線連接(例如,藍牙、NFC和zigbee)的方式也可以用於在設備端和顯示終端之間發送全景貼圖,為了傳輸效率和減少圖片的損傷,可以選擇上述任意一種或者多種資料傳輸方式。
通過本實施例,先在設備端上製作好全景貼圖,然後在顯示終端上顯示全景貼圖,從而實現了性能較低的顯示終端上渲染高清的場景圖像,解決了習知技術的移動設備無法渲染出3D場景的技術問題,達到了在移動設備上顯示3D場景的技術效果。同時,還能減少顯示3D場景對顯示終端的耗能。
以顯示終端為VR設備為例對本實施例進行說明。
人體頭部佩戴VR設備之後,可以通過VR設備觀看到3D場景。在VR設備顯示的3D場景中進行遊戲或者遊覽3D場景。
當人體佩戴VR設備轉頭時,VR設備上顯示的場景也隨著頭部的旋轉而旋轉。VR設備在3D場景中的區域或者位置對應兩張全景貼圖,一張左眼全景貼圖和一張右眼全景貼圖。VR設備顯示左眼全景貼圖和右眼全景貼圖,人體通過VR設備可以觀看到左眼全景貼圖和右眼全景貼圖所顯示出來的3D場景圖。
對於開闊的室外場景,如田野等,VR設備在室外場景中的位置變換可以採用相同的一組全景貼圖來顯示,即設備端向VR設備提供一組全景貼圖,一組全景貼圖包括左眼全景貼圖和右眼全景貼圖。當人體在田野場景中由近向遠處移動時,可以採用相同的一組全景貼圖來模擬人體所在的3D場景。
對於狹窄的室內場景,如房間中,VR設備可以隨著人體在室內場景中的位置變化而接收多組全景貼圖,每組全景貼圖都與人體在室內場景的位置相關聯。例如,人體處於室內場景的窗邊,在窗邊的視角觀看整個房間,此時VR設備獲得與窗邊的 視角相匹配的一組全景貼圖。當人體移動到門口,在門口的視角觀看整個房間,此時VR設備獲得與門口的視角相匹配的一組全景貼圖。即不同的視角對應不同的全景貼圖。這種隨著位置的變化而顯示不同的全景貼圖的方式,可以更加精細的模擬人體在室內場景下的視角變化,提高了場景的真實感,增加了使用者在室內場景中的沉浸感。
對於不同的場景,由於VR設備顯示左眼全景貼圖和右眼全景貼圖,當佩戴VR設備的人體的頭部旋轉來變換視角時,每只眼睛可以看到相應全景貼圖表示場景的不同位置的圖像內容。另外,在VR設備上顯示二維的左眼全景貼圖和右眼全景貼圖,人體在視覺上看到的是三維的場景圖像。
可選地,獲取單元包括:獲取模組,用於獲取場景的至少一張全景圖,其中每張全景圖包括多個方向上的圖片,每個方向上包括至少一張圖片;關聯模組,用於將場景物件對應的區域資訊與全景圖進行關聯;確定模組,用於將與所述區域資訊關聯的全景圖作為與場景圖像相匹配的全景貼圖。
設備端提供給顯示終端的全景貼圖由設備端生成,在設備端中製作好場景並且調配好效果,以便發送給顯示終端後由顯示終端顯示全景貼圖。設備端可以生成一個區域內的全景貼圖,或者某個位置相關聯的全景貼圖。設備端獲取場景的至少一張全景圖,並且將全景圖與區域或者位置進行關聯,該全景圖就作為當前區域或者當前位置的全景貼圖。設備端可以根據顯示終端請求的區域或者位置選擇相應的全景貼圖發送給顯示終端,以便顯示終端顯示相應區域和位置的全景貼圖。
由上述內容可知,為了在顯示終端上顯示出立體效果,需要在顯示終端上顯示左眼全景貼圖和右眼全景貼圖。因此 設備端生成左眼全景圖和右眼全景圖,從而生成左眼全景貼圖和右眼全景貼圖。左眼全景圖和右眼全景圖分別由處於左眼位置的一組攝像機和處於右眼位置的另外一組攝像機拍攝得到。
攝像機獲取左眼全景圖和右眼全景圖的方法可以包括以下幾種:
第一種:兩組攝像機,每組包含6台攝像機,且攝像機位置固定不旋轉。
即獲取模組包括:第一獲取子模組,用於獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括6張以左眼為視角的圖片,以左眼為視角的圖片為第一組攝像機在左眼的位置拍攝的圖片,第一組攝像機包括6台攝像機,第一組攝像機的每台攝像機拍攝一張圖片,第一組攝像機的6台攝像機相互夾角為90度;右眼全景圖包括6張以右眼為視角的圖片,以右眼為視角的圖片為第二組攝像機在右眼的位置拍攝的圖片,第二組攝像機包括6台攝像機,第二組攝像機的每台攝像機拍攝一張圖片,第二組攝像機的6台攝像機相互夾角為90度。
在左眼位置設置一組攝像機,在右眼位置設置另外一組攝像機,每組攝像機包括6台攝像機。
左眼位置的6台攝像機分別拍攝左眼視角的前、後、左、右、上和下6個角度的場景。6台攝像機相互之間的夾角為90度,每台攝像機可以拍攝一個角度上的一張圖像,一組攝像機拍攝的6張圖像可以形成左眼視角的全景圖。
右眼位置的6台攝像機分別拍攝右眼視角的前、後、左、右、上和下6個角度的場景。6台攝像機相互之間的夾角為90度,每台攝像機可以拍攝一個角度上的一張圖像,一組攝像機拍攝的6張圖像可以形成右眼視角的全景圖。
左眼位置的一組攝像機和右眼位置的一組攝像機之間的間距可以設置為12.94cm左右。通過兩組攝像機獲取的左眼全景圖和右眼全景圖可以用來生成左眼全景貼圖和右眼全景貼圖。
第二種:兩組攝像機,每組攝像機包括一台攝像機,且兩組攝像機同時旋轉。
即獲取模組包括:第二獲取子模組,用於獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼為視角的圖片為第一攝像機在左眼所在的位置上沿垂直軸旋轉拍攝的圖片,其中垂直軸為左眼和右眼連線的中垂線;右眼全景圖包括多張以右眼為視角的圖片,以右眼為視角的圖片為第二攝像機在右眼所在的位置上沿垂直軸旋轉拍攝的圖片,第一攝像機和第二攝像機同時旋轉。
在左眼位置設置一台攝像機拍攝左眼視角的全景圖像,在右眼位置設置另外一台攝像機拍攝右眼視角的全景圖像。兩台攝像機以左眼和右眼中心點連線的中垂線為軸進行旋轉,模擬人體頭部旋轉時兩隻眼睛的視角。兩台攝像機同時旋轉,每台攝像機拍攝多張圖片。例如,每旋轉1°拍攝一張圖片,或者每旋轉0.5°拍攝一張圖片。兩組攝像機可以沿著中垂線旋轉360°,或者根據場景的需要選擇旋轉的度數,以及拍攝圖片的步長。
兩組攝像機可以以中垂線為軸進行旋轉,也可以以左眼和右眼中心的連線為軸進行旋轉。例如每旋轉1°拍攝一張圖片,則左眼位置的一台攝像機拍攝360張圖片,右眼位置的一台攝像機拍攝360張圖片,左眼的360張圖片形成左眼全景圖,右眼的360張圖片形成右眼全景圖。
可選地,全景圖包括左眼全景圖和右眼全景圖,獲取模組包括:第三獲取子模組,用於獲取攝像機拍攝的左眼全景 圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼為視角的圖片為第一攝像機在左眼所在的位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片;右眼全景圖包括多張以右眼為視角的圖片,以右眼為視角的圖片為第二攝像機在右眼所在的位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片,拍攝的過程中第一攝像機和第二攝像機同時旋轉。
例如,兩組攝像機同時以左眼和右眼中心的連線從下到上的方向旋轉,模擬人體從看向地面逐漸看向天空。同樣地,旋轉的角度和拍攝圖片的張數可以根據精度需要進行設置。
兩組攝像機沿中垂線旋轉可以得到在水準方向上的左眼全景圖和右眼全景圖,兩組攝像機以雙眼連線為軸旋轉可以得到豎直方向上的左眼全景圖和右眼全景圖。
通過上述兩種旋轉方式,可以獲得不同平面上的左眼全景圖和右眼全景圖。可以根據場景需要選擇以中垂線為軸進行旋轉,以雙眼連線為軸進行旋轉,或者採用上述兩種方式進行旋轉,以便人體通過顯示終端在不同角度上都能看到左眼全景貼圖和右眼全景貼圖渲染出來的3D場景。
第三種:兩組攝像機,每組攝像機包括5台攝像機,且兩組攝像機同時旋轉。
即全景圖包括左眼全景圖和右眼全景圖,獲取模組包括:第四獲取子模組,用於獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼為視角的圖片為第三組攝像機在左眼所在的位置上沿垂直軸旋轉拍攝的圖片,其中第三組攝像機包括左眼的前方、左方、右方、上方和下方每個方向設置的一個攝像機,垂直軸為左眼和右眼連線的中垂線;右眼全景圖包括多張以右眼為視角的圖片,以右眼 為視角的圖片為第四組攝像機在右眼所在的位置上沿垂直軸旋轉拍攝的圖片,其中第四組攝像機包括右眼的前方、左方、右方、上方和下方每個方向設置的一個攝像機,第三組攝像機和第四組攝像機的所有攝像機同時旋轉。
每組的5台攝像機分別設置在眼睛的前方、左方、右方、上方和下方,即在左眼位置的5個方向上設置5台攝像機,每個方向上一台攝像機;在右眼位置的5個方向上設置5台攝像機,每個方向上一台攝像機。
每組5台攝像機以中垂線為軸同時進行旋轉,可以拍攝5個方向上的照片。兩組攝像機同時旋轉就可以拍攝雙眼的視角變換所看到的場景圖像。每組攝像機可以以中垂線為軸旋轉360°,可以每轉1°拍攝一張照片,這樣每組拍攝360*5=1800圖片,兩組共拍攝3600張圖片。左眼的1800張圖片形成左眼全景圖,右眼1800張圖片形成右眼全景圖。
本實施例可以採用多種方式來獲取左眼全景圖和右眼全景圖,進而得到左眼全景貼圖和右眼全景貼圖。由於設備端的影像處理能力較強,可以生成精細的全景圖,作為顯示終端渲染場景圖像的良好基礎。顯示終端可以顯示二維圖像,且顯示二維圖像對顯示終端的配置要求較低,對顯示終端的消耗較少,因此將設備端生成的二維全景貼圖發送給顯示終端進行顯示,不僅可以渲染出逼真的三維場景,還能減少顯示終端的功耗。
實施例4
根據本揭示實施例,還提供了一種用於實施上述實施例2的場景的渲染方法的場景的渲染裝置,該場景的渲染裝置主要用於執行本揭示實施例上述內容所提供的場景的渲染方法,以下對本揭示實施例所提供的場景的渲染裝置做具體介紹。
第9圖是根據本揭示又一實施例的場景的渲染裝置的示意圖。如第9圖所示,該場景的渲染裝置包括:終端發送單元92用於向設備端發送圖像顯示請求,以請求獲取顯示終端在場景中的區域資訊所表示的區域為視角的場景圖像。
終端接收單元94用於接收設備端回應圖像顯示請求所發送的全景貼圖,其中全景貼圖是由設備端根據三維的場景圖像生成的二維圖像。
終端顯示單元96用於顯示全景貼圖。
顯示終端並不生成全景貼圖,全景貼圖由設備端生成,因此在顯示終端需要顯示全景貼圖時,會向設備端發出圖像顯示請求。圖像顯示請求可以攜帶顯示終端在場景中區域資訊。設備端根據區域資訊提供該區域資訊表示的區域所關聯的全景貼圖。顯示終端接收設備端發送的全景貼圖,並在顯示終端上顯示全景貼圖。全景貼圖為二維圖像,在顯示終端上顯示後可以呈現出三維圖像的效果,從而實現了顯示終端上三維場景的渲染。
通過本實施例,先在設備端上製作好全景貼圖,然後在顯示終端上顯示全景貼圖,從而實現了性能較低的顯示終端上渲染高清的場景圖像,解決了習知技術的移動設備無法渲染出3D場景的技術問題,達到了在移動設備上顯示3D場景的技術效果。同時,還能減少顯示3D場景對顯示終端的耗能。
可選地,全景貼圖包括左眼全景貼圖和右眼全景貼圖,終端顯示單元包括:設置模組,用於將全景模型的中心點設置為視角,其中全景模型為全景盒子或者全景球體模型;第一渲染模組,用於在渲染左眼圖像時,將全景模型的貼圖顯示為左眼全景貼圖;第二渲染模組,用於在渲染右眼圖像時,將全景模型 的貼圖顯示為右眼全景貼圖。
在顯示終端上渲染場景圖像時,將全景模型的中心點設置在視角位置。全景模型可以是全景盒子或者全景球體模型。全景盒子如第5圖所示。在虛擬實境應用中,全景模型的中心點的位置就是人體在虛擬顯示的場景中的位置。在渲染左眼圖像時將全景模型的貼圖全部換成左眼的全景貼圖,在渲染右眼圖像時將全景模型的貼圖全部換成右眼的全景貼圖。對於實施例1中的三種獲取全景貼圖的方式,三種方式獲取的全景貼圖可以採用如第4圖所示的全景模型,也可以根據全景模型採集的方向來更改全景模型。例如,對於第三種5台攝像機獲取的全景貼圖來說,可以將全景模型調整成與這種全景貼圖相匹配的模型。
將全景模型的貼圖全部換成左眼的全景貼圖之後,顯示的全景圖如第6圖所示;將全景模型的貼圖全部換成右眼的全景貼圖之後,顯示的全景圖如第7圖所示。由第6圖和第7圖可知,左眼視角看到的場景與右眼看到的場景是有差異的。但是在顯示終端上同時顯示左眼全景貼圖和右眼全景貼圖,就可以顯示出三維場景的效果。
實施例5
根據本揭示實施例,還提供了一種用於實施上述場景的渲染方法的伺服器,如第10圖所示,該伺服器主要包括處理器1001、攝像頭1002、顯示器1003、資料介面1004、記憶體1005和網路介面1006。
攝像頭1002主要用於拍攝場景圖像。
資料介面1004則主要通過資料傳輸的方式將第三方工具拍攝到的初始圖像傳輸給處理器1001,或者將生成的全景貼圖傳輸給顯示終端。
記憶體1005主要用於儲存拍攝的圖片、全景圖和全景貼圖等。
網路介面1006主要用於與顯示終端進行網路通信,向顯示終端傳輸全景貼圖。
顯示器1003主要用於顯示全景圖。
處理器1001主要用於執行如下操作:接收顯示終端發送的圖像顯示請求;根據所述圖像顯示請求確定所述顯示終端在場景中的區域資訊,及確定該區域資訊所表示的區域為視角的場景圖像;獲取與所述場景圖像相匹配的全景貼圖,其中所述全景貼圖是根據三維的所述場景圖像生成的二維圖像;及向所述顯示終端發送所述全景貼圖,並將所述全景貼圖顯示在所述顯示終端上,來渲染所述場景圖像。
處理器1001主要用於執行如下操作:獲取所述場景的至少一張全景圖,其中,每張所述全景圖包括多個方向上的圖片,每個方向上包括至少一張圖片;將場景物件對應的區域資訊與所述全景圖進行關聯;及將與所述區域資訊關聯的所述全景圖作為與所述場景圖像相匹配的全景貼圖。
處理器1001主要用於執行如下操作:獲取攝像機拍攝的所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括6張以左眼為視角的圖片,所述以左眼為視角的圖片為第一組攝像機在左眼所在位置上拍攝的圖片,所述第一組攝像機包括6台攝像機,所述第一組攝像機的每台攝像機拍攝一張圖片,所述第一組攝像機的6台攝像機相互夾角為90度;所述右眼全景圖包括6張以右眼為視角的圖片,所述以右眼為視角的圖片為第二組攝像機在右眼所在位置上拍攝的圖片,所述第二組攝像機包括6台攝像機,所述第二組攝像機的每台攝像機拍攝一張圖片,所述第二組 攝像機的6台攝像機相互夾角為90度。
處理器1001主要用於執行如下操作:獲取攝像機拍攝的所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述以左眼為視角的圖片為第一攝像機在左眼所在位置上沿垂直軸旋轉拍攝的圖片,其中所述垂直軸為左眼和右眼連線的中垂線;所述右眼全景圖包括多張以右眼為視角的圖片,所述以右眼為視角的圖片為第二攝像機在右眼所在位置上沿所述垂直軸旋轉拍攝的圖片;其中所述第一攝像機和所述第二攝像機同時旋轉。
處理器1001主要用於執行如下操作:獲取攝像機拍攝的所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述以左眼為視角的圖片為第一攝像機在左眼所在位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片;所述右眼全景圖包括多張以右眼為視角的圖片,所述以右眼為視角的圖片為第二攝像機在右眼所在位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片;其中拍攝過程中所述第一攝像機和所述第二攝像機同時旋轉。
處理器1001主要用於執行如下操作:獲取攝像機拍攝的所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述以左眼為視角的圖片為第三組攝像機在左眼所在位置上沿垂直軸旋轉拍攝的圖片,其中所述第三組攝像機包括在所述左眼的前方、左方、右方、上方和下方各設置的攝像機,所述垂直軸為左眼和右眼連線的中垂線;所述右眼全景圖包括多張以右眼為視角的圖片,所述以右眼為視角的圖片為第四組攝像機在右眼所在位置上沿垂直軸旋轉拍攝的圖片,其中所述第四組攝像機包括在所述右眼的前方、左方、右方、上 方和下方各設置的攝像機;其中所述第三組攝像機和所述第四組攝像機的所有攝像機同時旋轉。
可選地,本實施例中的具體示例可以參考上述實施例1和實施例2中所描述的示例,本實施例在此不再贅述。
實施例6
本揭示的實施例還提供了一種儲存介質。可選地,在本實施例中,上述儲存介質可以用於儲存本揭示實施例的場景的渲染方法的程式碼。
可選地,在本實施例中,上述儲存介質可以位於移動通信網路、廣域網路、都會區網路或局域網的網路中的多個網路設備中的至少一個網路設備。
可選地,在本實施例中,儲存介質被設置為儲存用於執行以下步驟的程式碼:
S1,設備端接收顯示終端發送的圖像顯示請求。
S2,根據所述圖像顯示請求確定所述顯示終端在場景中的區域資訊,及確定該區域資訊所表示的區域為視角的場景圖像。
S3,獲取與所述場景圖像相匹配的全景貼圖,其中所述全景貼圖是根據三維的所述場景圖像生成的二維圖像。
S4,向所述顯示終端發送所述全景貼圖,並將所述全景貼圖顯示在所述顯示終端上,來渲染所述場景圖像。
可選地,在本實施例中,上述儲存介質可以包括但不限於:U盤、唯讀記憶體(Read-Only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、移動硬碟、磁碟或者光碟等各種可以儲存程式碼的介質。
可選地,在本實施例中,處理器根據儲存介質中已 儲存的程式碼執行:獲取所述場景的至少一張全景圖,其中每張所述全景圖包括多個方向上的圖片,每個方向上包括至少一張圖片;將場景物件對應的區域資訊與所述全景圖進行關聯;及將與所述區域資訊關聯的所述全景圖作為與所述場景圖像相匹配的全景貼圖。
可選地,在本實施例中,處理器根據儲存介質中已儲存的程式碼執行:設備端獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括6張以左眼為視角的圖片,以左眼為視角的圖片為第一組攝像機在左眼的位置拍攝的圖片,第一組攝像機包括6台攝像機,第一組攝像機的每台攝像機拍攝一張圖片,第一組攝像機的6台攝像機相互夾角為90度;右眼全景圖包括6張以右眼為視角的圖片,以右眼為視角的圖片為第二組攝像機在右眼的位置拍攝的圖片,第二組攝像機包括6台攝像機,第二組攝像機的每台攝像機拍攝一張圖片,第二組攝像機的6台攝像機相互夾角為90度。
可選地,在本實施例中,處理器根據儲存介質中已儲存的程式碼執行:設備端獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼為視角的圖片為第一攝像機在左眼所在的位置上沿垂直軸旋轉拍攝的圖片,其中垂直軸為左眼和右眼連線的中垂線;右眼全景圖包括多張以右眼為視角的圖片,以右眼為視角的圖片為第二攝像機在右眼所在的位置上沿垂直軸旋轉拍攝的圖片,第一攝像機和第二攝像機同時旋轉。
可選地,在本實施例中,處理器根據儲存介質中已儲存的程式碼執行:設備端獲取攝像機拍攝的左眼全景圖和右眼全景圖,其中左眼全景圖包括多張以左眼為視角的圖片,以左眼 為視角的圖片為第一攝像機在左眼所在的位置上以左眼和右眼連線為軸進行旋轉;右眼全景圖包括多張以右眼為視角的圖片,以右眼為視角的圖片為第二攝像機在右眼所在的位置上以左眼和右眼連線為軸進行旋轉,第一攝像機和第二攝像機同時旋轉。
可選地,在本實施例中,獲取攝像機拍攝的所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述以左眼為視角的圖片為第三組攝像機在左眼所在位置上沿垂直軸旋轉拍攝的圖片,其中所述第三組攝像機包括在所述左眼的前方、左方、右方、上方和下方各設置的攝像機,所述垂直軸為左眼和右眼連線的中垂線;所述右眼全景圖包括多張以右眼為視角的圖片,所述以右眼為視角的圖片為第四組攝像機在右眼所在位置上沿垂直軸旋轉拍攝的圖片,其中所述第四組攝像機包括在所述右眼的前方、左方、右方、上方和下方各設置的攝像機;其中所述第三組攝像機和所述第四組攝像機的所有攝像機同時旋轉。
可選地,本實施例中的具體示例可以參考上述實施例1和實施例2中所描述的示例,本實施例在此不再贅述。
上述本揭示實施例序號僅僅為了描述,不代表實施例的優劣。
上述實施例中的集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時,可以儲存在上述電腦可讀取的儲存介質中。基於這樣的理解,本揭示的技術方案本質上或者說對習知做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來,該電腦軟體產品儲存在儲存介質中,包括若干指令用以使得一台或多台電腦設備(可為個人電腦、伺服器或者網路設備等)執行本揭示各個實施例所述方法的全部 或部分步驟。
在本揭示的上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部分,可以參見其他實施例的相關描述。
在本揭示所提供的幾個實施例中,應該理解到,所揭露的使用者端可通過其它的方式實現。其中以上所描述的裝置實施例僅僅是示意性的,例如所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或元件可以結合或者可以整合到另一個系統,或一些特徵可以忽略或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面、單元或模組的間接耦合或通信連接,可以是電性或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本揭示各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現,也可以採用軟體功能單元的形式實現。
雖然本揭示已用較佳實施例揭露如上,然其並非用以限定本揭示,本揭示所屬技術領域中具有通常知識者在不脫離本揭示之精神和範圍內,當可作各種之更動與潤飾,因此本揭示之保護範圍當視後附之申請專利範圍所界定者為準。
Claims (16)
- 一種場景的渲染方法,包括:接收一顯示終端所發送之一圖像顯示請求;根據所述圖像顯示請求確定所述顯示終端在一場景中之一區域資訊,以及確定所述區域資訊所表示的區域為一視角之一場景圖像;獲取與所述場景圖像相匹配之全景貼圖,其中所述全景貼圖是根據三維的所述場景圖像生成的二維圖像;以及向所述顯示終端發送所述全景貼圖,並將所述全景貼圖顯示在所述顯示終端上以渲染所述場景圖像。
- 如申請專利範圍第1項所述之方法,其中所述獲取與所述場景圖像相匹配之所述全景貼圖的步驟包括:獲取所述場景的至少一張全景圖,其中每張所述全景圖包括多個方向上的圖片,每個方向上包括至少一張圖片;將所述區域資訊與所述全景圖進行關聯;以及將與所述區域資訊關聯的所述全景圖作為與所述場景圖像相匹配之所述全景貼圖。
- 如申請專利範圍第2項所述之方法,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取所述場景的至少一張全景圖的步驟包括:獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括6張以左眼為視角的圖片,所述6張以左眼為視角的圖片為第一組攝像機在左眼所在位置上拍攝的圖片,所述第一組攝像機包括6台攝像機,所述第一組攝像機的每台攝像機拍攝一張圖片,所述第一組攝像機的6台攝像機相互夾角為90度;所述右眼全景圖包括6張以右眼為視角的圖片,所述6張以 右眼為視角的圖片為第二組攝像機在右眼所在位置上拍攝的圖片,所述第二組攝像機包括6台攝像機,所述第二組攝像機的每台攝像機拍攝一張圖片,所述第二組攝像機的6台攝像機相互夾角為90度。
- 如申請專利範圍第2項所述之方法,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取所述場景的至少一張全景圖的步驟包括:獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述多張以左眼為視角的圖片為第一攝像機在左眼所在位置上沿垂直軸旋轉拍攝的圖片,所述垂直軸為左眼和右眼連線的中垂線;所述右眼全景圖包括多張以右眼為視角的圖片,所述多張以右眼為視角的圖片為第二攝像機在右眼所在位置上沿所述垂直軸旋轉拍攝的圖片;其中所述第一攝像機和所述第二攝像機同時旋轉。
- 如申請專利範圍第2或4項所述之方法,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取所述場景的至少一張全景圖的步驟包括:獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述多張以左眼為視角的圖片為第一攝像機在左眼所在位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片;所述右眼全景圖包括多張以右眼為視角的圖片,所述多張以右眼為視角的圖片為第二攝像機在右眼所在位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片;其中所述第一攝像機和所述第二攝像機同時旋轉。
- 如申請專利範圍第2項所述之方法,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取所述場景的至少一張全景圖的步驟包括:獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述多張以左眼為視角的圖片為第三組攝像機在左眼所在位置上沿垂直軸旋轉拍攝的圖片,所述第三組攝像機包括在所述左眼的前方、左方、右方、上方和下方各設置的攝像機,所述垂直軸為左眼和右眼連線的中垂線;所述右眼全景圖包括多張以右眼為視角的圖片,所述多張以右眼為視角的圖片為第四組攝像機在右眼所在位置上沿垂直軸旋轉拍攝的圖片,所述第四組攝像機包括在所述右眼的前方、左方、右方、上方和下方各設置的攝像機;所述第三組攝像機和所述第四組攝像機的所有攝像機同時旋轉。
- 一種場景的渲染方法,包括:一顯示終端向一設備端發送一圖像顯示請求,以請求獲取所述顯示終端在一場景中之一區域資訊所表示的區域為一視角之一場景圖像;接收所述設備端回應所述圖像顯示請求所發送的全景貼圖,其中所述全景貼圖是由所述設備端根據三維的所述場景圖像生成的二維圖像;以及顯示所述全景貼圖。
- 如申請專利範圍第7項所述之方法,其中所述全景貼圖包括左眼全景貼圖和右眼全景貼圖,所述顯示所述全景貼圖的步驟包括:將一全景模型的中心點設置為所述視角,所述全景模型為全 景盒子或者全景球體模型;渲染左眼圖像,並將所述全景模型的貼圖顯示為所述左眼全景貼圖;以及渲染右眼圖像,並將所述全景模型的貼圖顯示為所述右眼全景貼圖。
- 一種場景的渲染裝置,包括:一接收單元,用於接收一顯示終端所發送之一圖像顯示請求;一確定單元,用於根據所述圖像顯示請求確定所述顯示終端在一場景中之一區域資訊,以及確定所述區域資訊所表示的區域為一視角之一場景圖像;一獲取單元,用於獲取與所述場景圖像相匹配之全景貼圖,其中所述全景貼圖是根據三維的所述場景圖像生成的二維圖像;以及一發送單元,用於向所述顯示終端發送所述全景貼圖,並將所述全景貼圖顯示在所述顯示終端上以渲染所述場景圖像。
- 如申請專利範圍第9項所述之裝置,其中所述獲取單元包括:一獲取模組,用於獲取所述場景的至少一張全景圖,其中每張所述全景圖包括多個方向上的圖片,每個方向上包括至少一張圖片;一關聯模組,用於將所述區域資訊與所述全景圖進行關聯;以及一確定模組,用於將與所述區域資訊關聯的所述全景圖作為與所述場景圖像相匹配之所述全景貼圖。
- 如申請專利範圍第10項所述之裝置,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取模組包括: 一第一獲取子模組,用於獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括6張以左眼為視角的圖片,所述6張以左眼為視角的圖片為第一組攝像機在左眼所在位置上拍攝的圖片,所述第一組攝像機包括6台攝像機,所述第一組攝像機的每台攝像機拍攝一張圖片,所述第一組攝像機的6台攝像機相互夾角為90度;所述右眼全景圖包括6張以右眼為視角的圖片,所述6張以右眼為視角的圖片為第二組攝像機在右眼所在位置上拍攝的圖片,所述第二組攝像機包括6台攝像機,所述第二組攝像機的每台攝像機拍攝一張圖片,所述第二組攝像機的6台攝像機相互夾角為90度。
- 如申請專利範圍第10項所述之裝置,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取模組包括:一第二獲取子模組,用於獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述多張以左眼為視角的圖片為第一攝像機在左眼所在位置上沿垂直軸旋轉拍攝的圖片,所述垂直軸為左眼和右眼連線的中垂線;所述右眼全景圖包括多張以右眼為視角的圖片,所述多張以右眼為視角的圖片為第二攝像機在右眼所在位置上沿所述垂直軸旋轉拍攝的圖片;其中所述第一攝像機和所述第二攝像機同時旋轉。
- 如申請專利範圍第10或12項所述之裝置,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取模組包括:一第三獲取子模組,用於獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述多張以左眼為視角的圖片為第一攝像機在左眼所在的位置上以左 眼和右眼連線為軸進行旋轉拍攝的圖片;所述右眼全景圖包括多張以右眼為視角的圖片,所述多張以右眼為視角的圖片為第二攝像機在右眼所在位置上以左眼和右眼連線為軸進行旋轉拍攝的圖片;其中所述第一攝像機和所述第二攝像機同時旋轉。
- 如申請專利範圍第10項所述之裝置,其中所述全景圖包括左眼全景圖和右眼全景圖,所述獲取模組包括:一第四獲取子模組,用於獲取所述左眼全景圖和所述右眼全景圖,其中所述左眼全景圖包括多張以左眼為視角的圖片,所述多張以左眼為視角的圖片為第三組攝像機在左眼所在位置上沿垂直軸旋轉拍攝的圖片,所述第三組攝像機包括所述左眼的前方、左方、右方、上方和下方各設置的攝像機,所述垂直軸為左眼和右眼連線的中垂線;所述右眼全景圖包括多張以右眼為視角的圖片,所述多張以右眼為視角的圖片為第四組攝像機在右眼所在位置上沿垂直軸旋轉拍攝的圖片,所述第四組攝像機包括所述右眼的前方、左方、右方、上方和下方各設置的攝像機;所述第三組攝像機和所述第四組攝像機的所有攝像機同時旋轉。
- 一種場景的渲染裝置,包括:一終端發送單元,用於向一設備端發送一圖像顯示請求,以請求獲取顯示終端在一場景中之一區域資訊所表示的區域為一視角之一場景圖像;一終端接收單元,用於接收所述設備端回應所述圖像顯示請求所發送的全景貼圖,其中所述全景貼圖是由所述設備端根據三維的所述場景圖像生成的二維圖像;以及 一終端顯示單元,用於顯示所述全景貼圖。
- 如申請專利範圍第15項所述之裝置,其中所述全景貼圖包括左眼全景貼圖和右眼全景貼圖,所述終端顯示單元包括:一設置模組,用於將一全景模型的中心點設置為所述視角,所述全景模型為全景盒子或者全景球體模型;一第一渲染模組,用於渲染左眼圖像,並將所述全景模型的貼圖顯示為所述左眼全景貼圖;以及一第二渲染模組,用於渲染右眼圖像,並將所述全景模型的貼圖顯示為所述右眼全景貼圖。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710044997.4A CN106887033A (zh) | 2017-01-20 | 2017-01-20 | 场景的渲染方法和装置 |
??201710044997.4 | 2017-01-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW201828258A true TW201828258A (zh) | 2018-08-01 |
Family
ID=59175443
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107101729A TW201828258A (zh) | 2017-01-20 | 2018-01-17 | 場景的渲染方法和裝置 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN106887033A (zh) |
TW (1) | TW201828258A (zh) |
WO (1) | WO2018133757A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106887033A (zh) * | 2017-01-20 | 2017-06-23 | 腾讯科技(深圳)有限公司 | 场景的渲染方法和装置 |
CN108182723B (zh) * | 2017-12-06 | 2021-10-26 | 北京像素软件科技股份有限公司 | 星空模拟方法和星空模拟装置 |
CN110717964B (zh) * | 2019-09-26 | 2023-05-02 | 深圳市名通科技股份有限公司 | 场景建模方法、终端及可读存储介质 |
CN111277797B (zh) * | 2020-02-03 | 2022-03-18 | 重庆特斯联智慧科技股份有限公司 | 一种用于安防监视的vr立体成像系统 |
CN111803945B (zh) * | 2020-07-23 | 2024-02-09 | 网易(杭州)网络有限公司 | 界面渲染方法、装置、电子设备及存储介质 |
CN116310152A (zh) * | 2023-05-24 | 2023-06-23 | 南京维赛客网络科技有限公司 | 基于unity平台的步进式虚拟场景搭建、漫游方法及虚拟场景 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9369679B2 (en) * | 2006-11-07 | 2016-06-14 | The Board Of Trustees Of The Leland Stanford Junior University | System and process for projecting location-referenced panoramic images into a 3-D environment model and rendering panoramic images from arbitrary viewpoints within the 3-D environment model |
AU2011331972B2 (en) * | 2010-11-24 | 2016-07-07 | Google Llc | Rendering and navigating photographic panoramas with depth information in a geographic information system |
CN104021585B (zh) * | 2014-06-09 | 2017-04-26 | 苏州明日吉辰软件研发有限公司 | 基于真实场景的三维展示方法 |
CN105427369A (zh) * | 2015-11-25 | 2016-03-23 | 努比亚技术有限公司 | 移动终端及其三维形象的生成方法 |
CN106339980A (zh) * | 2016-08-22 | 2017-01-18 | 乐视控股(北京)有限公司 | 基于汽车的vr显示装置、方法及汽车 |
CN106887033A (zh) * | 2017-01-20 | 2017-06-23 | 腾讯科技(深圳)有限公司 | 场景的渲染方法和装置 |
-
2017
- 2017-01-20 CN CN201710044997.4A patent/CN106887033A/zh active Pending
-
2018
- 2018-01-15 WO PCT/CN2018/072580 patent/WO2018133757A1/zh active Application Filing
- 2018-01-17 TW TW107101729A patent/TW201828258A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
CN106887033A (zh) | 2017-06-23 |
WO2018133757A1 (zh) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10535181B2 (en) | Virtual viewpoint for a participant in an online communication | |
TW201828258A (zh) | 場景的渲染方法和裝置 | |
CN107636534B (zh) | 用于图像处理的方法和系统 | |
JP6285941B2 (ja) | 制御された三次元通信エンドポイント | |
Bertel et al. | Omniphotos: casual 360 vr photography | |
JP2020515937A (ja) | 没入型ビデオフォーマットのための方法、装置、及びストリーム | |
TWI619091B (zh) | 全景圖壓縮方法及裝置 | |
Bertel et al. | Megaparallax: Casual 360 panoramas with motion parallax | |
JP2016500954A5 (zh) | ||
CN104021585B (zh) | 基于真实场景的三维展示方法 | |
CN106780759A (zh) | 基于图片构建场景立体全景图的方法、装置及vr系统 | |
CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
US20150326847A1 (en) | Method and system for capturing a 3d image using single camera | |
CN105301789A (zh) | 一种跟随人眼位置的立体显示装置 | |
CN205545426U (zh) | 立体全景摄像组手机装置 | |
WO2020043105A1 (zh) | 一种图像的显示方法、装置及系统 | |
CN106651759A (zh) | 基于固定位置相机的vr场景优化方法及装置 | |
CN205193366U (zh) | 一种跟随人眼位置的立体显示装置 | |
CN205510302U (zh) | 一种三维立体投影仪 | |
TWM630947U (zh) | 立體影像播放裝置 | |
Thatte et al. | Real-World Virtual Reality With Head-Motion Parallax | |
US12026833B2 (en) | Few-shot synthesis of talking heads | |
Yan et al. | Research summary on light field display technology based on projection | |
CN107038625A (zh) | 一种基于增强现实的楼盘销售用看房导引系统 | |
US20220130111A1 (en) | Few-shot synthesis of talking heads |