TWI778749B - 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統 - Google Patents

適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統 Download PDF

Info

Publication number
TWI778749B
TWI778749B TW110130357A TW110130357A TWI778749B TW I778749 B TWI778749 B TW I778749B TW 110130357 A TW110130357 A TW 110130357A TW 110130357 A TW110130357 A TW 110130357A TW I778749 B TWI778749 B TW I778749B
Authority
TW
Taiwan
Prior art keywords
image
virtual reality
images
sub
image processing
Prior art date
Application number
TW110130357A
Other languages
English (en)
Other versions
TW202310613A (zh
Inventor
柯雅菁
蔡政宏
Original Assignee
睿至股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 睿至股份有限公司 filed Critical 睿至股份有限公司
Priority to TW110130357A priority Critical patent/TWI778749B/zh
Priority to CN202111157719.2A priority patent/CN115706793A/zh
Priority to US17/490,370 priority patent/US11792380B2/en
Application granted granted Critical
Publication of TWI778749B publication Critical patent/TWI778749B/zh
Publication of TW202310613A publication Critical patent/TW202310613A/zh
Priority to US18/463,305 priority patent/US20230421740A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Abstract

本揭露提供一種適用虛擬實境的影像傳輸方法，其包含將所取得的第一影像及第二影像經重組後產生具有適用於實體線路傳輸的第三影像，避免高解析度影像經壓縮而失真。本揭露亦包含可運用該影像傳輸方法的影像處理裝置及影像生成系統。

Description

適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統
本揭露實施例係有關於一種適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統，特別是關於在使用實體線路傳輸高解析度影像之前即針對傳輸格式的限制而提出因應的影像處理的方法、裝置及系統，可避免虛擬實境所需的高解析度影像受限於實體線路的傳輸格式的限制而被迫經壓縮而失真。
無線行動網路技術的開發，提供了更大傳輸頻寬的使用與更多樣化的應用服務的契機；虛擬實境（Virtual Reality，VR）則為一種結合電腦圖形、電腦仿真、人工智慧、感應、顯示及網路並列處理等技術的發展成果，利用三維空間的虛擬世界，提供使用者包括聽覺、觸覺等綜合可感知的人工環境，使得在視覺上產生一種沉浸於這個環境的感覺，可以直接觀察、操作、觸摸周圍環境及事物的內在變化，並能與之互動，讓使用者仿佛身歷其境。而若結合即時高速無線行動網路發展下的影音串流（Video Streaming）與虛擬實境技術，則三維空間的虛擬世界即可呈現出即時的真實現場，讓使用者不須親臨現場也能即時享受逼真的沉浸感體驗。
本揭露的一實施例係關於一種適用虛擬實境的影像傳輸方法，其包含以下步驟：取得一第一影像及一第二影像，該第一影像及該第二影像的長寬比皆為2比1；自該第二影像的一短邊分割該第二影像，產生具有相同長寬比的兩個第一子影像；自該第一子影像其中之一者的一長邊分割該第一子影像，產生具有相同長寬比的三個第二子影像；產生一第三影像，其中，該第三影像包含該第一影像、未經分割的該第一子影像及該三個第二子影像，且該第三影像的一短邊由該第一影像的一短邊及未經分割的該第一子影像的一短邊所組成，該第三影像的另一短邊由該三個第二子影像的三個短邊所組成，使該第三影像的長寬比為16比9；及經一實體線路傳輸該第三影像。
本揭露的另一實施例係關於一種適用虛擬實境的影像處理裝置，其包含一影像輸入機構、一影像處理機構及一影像輸出機構。該影像輸入機構用以接收自一第一攝影裝置所取得的一第一原始影像及一第二原始影像。該影像處理機構係與該影像輸入機構傳輸連接，該影像處理機構包含一影像處理單元，用以將該第一原始影像及該第二原始影像調整為一第一影像及一第二影像，且該影像處理單元進一步用以將該第一影像及該第二影像組合為具有長寬比為16比9的一第三影像。該第三影像的尺寸為該第一影像及該第二影像的總和。該影像輸出機構係與該影像處理機構傳輸連接，該影像輸出機構用以將該第三影像經一實體線路輸出。
本揭露的再一實施例係關於一種適用虛擬實境的影像生成系統，其包含一第一攝影裝置、一影像處理裝置及一串流編碼器。該影像處理裝置係與該第一攝影裝置傳輸連接，影像處理裝置用以將該第一攝影裝置所取得的複數個原始影像調整為複數個虛擬實境影像，並將該等虛擬實境影像經組合而產生具有長寬比為16比9的一傳輸影像。該串流編碼器係與該影像處理裝置經一實體線路而傳輸連接，該串流編碼器用以將該傳輸影像轉換為一串流訊號。
以下揭露提供用於實施所提供之標的之不同構件之許多不同實施例或實例。下文描述元件及配置之特定實例以簡化本揭露。當然，此等僅為實例且非旨在限制。舉例而言，在以下描述中之一第一構件形成於一第二構件上方或上可包含其中該第一構件及該第二構件經形成為直接接觸之實施例，且亦可包含其中額外構件可形成在該第一構件與該第二構件之間，使得該第一構件及該第二構件可不直接接觸之實施例。另外，本揭露可在各個實例中重複元件符號及/或字母。此重複出於簡化及清楚之目的且本身不指示所論述之各個實施例及/或組態之間之一關係。
此外，為便於描述，諸如「在…下面」、「在…下方」、「下」、「在…上方」、「上」、「在…上」及類似者之空間相對術語可在本文中用於描述一個元件或構件與另一（些）元件或構件之關係，如圖中圖解說明。空間相對術語意欲涵蓋除在圖中描繪之定向以外之使用或操作中之裝置之不同定向。設備可以其他方式定向（旋轉90度或按其他定向）且因此可同樣解釋本文中使用之空間相對描述詞。
如本文中使用，諸如「第一」、「第二」及「第三」之術語描述各種元件、組件、區、層及/或區段，此等元件、組件、區、層及/或區段不應受此等術語限制。此等術語可僅用來區分一個元件、組件、區、層或區段與另一元件、組件、區、層或區段。除非由上下文清楚指示，否則諸如「第一」、「第二」及「第三」之術語當在本文中使用時並不暗示一序列或順序。
本揭露於一些實施例中，係對建置虛擬實境－特別是結合即時串流技術的虛擬實境，出於確保使用者所體驗到的虛擬實境的影像具有高畫質（例如至少為6K以上的畫質標準），從而提供一種適用於現有硬體環境的影像處理方法，以確保所取得的即時影像得以在不損失影像質量的情況下，經由結合實體線路和網路串流等不同方式傳輸後，於使用者端被準確地呈現，讓使用者獲得優質的臨場感體驗。
如圖1所示的影像生成系統的架構圖，在一些實施例中，可設置有至少一第一攝影裝置101，用以取得動態的即時影像，作為在使用者端經虛擬實境技術所建立起的虛擬空間內，所還原出的具體影像內容的至少一部份。在一些實施例中，第一攝影裝置101是一種具有至少兩個鏡頭的攝影機，例如第一攝影裝置101可包含水平排列的雙魚眼鏡頭而模擬人類左眼、右眼及兩者之間的眼距，因而取得模擬人類左眼、右眼之不同視角的影像。該等影像經合併及使用圖像處理技術進行處理後，就可產生具有深度感的立體空間影像。
在一些實施例中，第一攝影裝置101可拍攝出180度影片的功能，並且配合前述水平排列的雙魚眼鏡頭，從而可利用模擬人類左眼、右眼所見的視角而生成180度立體影片，用於建立具有立體影像的虛擬環境。
在一些實施例中，影像生成系統可進一步包含至少一第二攝影裝置102，任一個第二攝影裝置102可與第一攝影裝置101具有相同的硬體規格，因此第二攝影裝置102亦可拍攝出180度影片。進一步而言，在一些實施例中，第一攝影裝置101與第二攝影裝置102可以提供不同的場景角度，例如在轉播文藝表演活動或體育競技賽事時，第一攝影裝置101及第二攝影裝置102係被設置於活動或賽事現場不同的位置，以提供不同的場景角度讓使用者觀察及體驗。而在另一實施例中，第一攝影裝置101與第二攝影裝置102的組合可用於提供360度影片，即將第一攝影裝置101與第二攝影裝置102所分別取得的180度影片組合為360度影片。在設置有更多第二攝影裝置102的情況下，也可利用更多的兩個第二攝影裝置102的組合而取得在不同拍攝位置的360度影片。
為了提高虛擬實境的真實感，第一攝影裝置101、第二攝影裝置102所產生的原始影像的解析度須具備一定程度的等級。在一些實施例中，第一攝影裝置101、第二攝影裝置102需至少能輸出4K以上的畫質標準。在一些實施例中，第一攝影裝置101、第二攝影裝置102的高畫質影像具有50fps以上的拍攝幀數。在一些實施例中，第一攝影裝置101、第二攝影裝置102具有至少為4:2:2的色度取樣規格。在一些實施例中，第一攝影裝置101、第二攝影裝置102最高可支援至少10位元（10-bit）的色彩深度（color depth）規格。在一些實施例中，為了配合軟體運作之效能或其他硬體系統之規格限制，第一攝影裝置101、第二攝影裝置102在實際運作時可以提供其他所能支援之色彩深度規格，例如提供色彩深度為8位元之影像。
為了實現將高畫質影像處理為符合虛擬實境規格的影像（或稱VR影像）之目的，如圖1所示，在一些實施例中，第一攝影裝置101及第二攝影裝置102係傳輸連接於一影像處理裝置200，以將該或該等攝影裝置所取得的原始影像進行虛擬實境化的處理。在一些實施例中，影像處理裝置200係被設置於轉播文藝表演活動或體育競技賽事等真實現場，換言之，對於虛擬實境使用者（或是稱之為觀眾）而言，第一攝影裝置101、第二攝影裝置102及影像處理裝置200都是位於其「遠端」的設備，虛擬實境使用者只要透過高速、高頻寬、低延遲的通訊技術，就可使用其「近端」的虛擬實境裝置獲得沉浸感體驗，即實現一種虛擬實境的現場轉播模式；而對於虛擬實境即時轉播的服務提供者而言，其係利用真實現場的「近端」的第一攝影裝置101、第二攝影裝置102和影像處理裝置200完成高畫質影像的取得、高畫質影像的虛擬實境化、於影片渲染上客製化的特效等程序，而後再將透過即時串流通訊技術，使位於服務提供者「遠端」的虛擬實境使用者不須親臨真實現場，就可即時體驗到現場的影像，並同時享受諸如特效、自由視角切換、檢視賽事數據等加值功能。
由於第一攝影裝置101、第二攝影裝置102及影像處理裝置200都是位於虛擬實境即時轉播的服務提供者的近端，因此在一些實施例中，第一攝影裝置101、第二攝影裝置102等攝影裝置係與影像處理裝置200透過實體線路進行數據傳輸。在一些實施例中，該等攝影裝置與影像處理裝置200之間包含串列數位介面150（Serial Digital Interface，SDI）作連接。在一些實施例中，串列數位介面150可具有一板卡形式並具有四個輸入埠，因此其可連接一個第一攝影裝置101及一個第二攝影裝置102，即第一攝影裝置101的左眼、右眼視角影像（101L、101R）及第二攝影裝置102的左眼、右眼視角影像（102L、102R）係透過一個串列數位介面150的不同輸入埠而輸入至影像處理裝置200。在另一些實施例中，以使用八個攝影裝置（一個第一攝影裝置101以及七個第二攝影裝置102）為例，係使用四個串列數位介面150將攝影裝置取得的原始影像輸入至影像處理裝置200。在一些實施例中，自第一攝影裝置101、第二攝影裝置102等攝影裝置所拍攝的影像，係具有4K之畫質標準，並且以具有解析度為3840*2160、長寬比為16比9的SDI訊號形式輸出至影像處理裝置200。惟本揭露並不實際限制串列數位介面150的具體規格，實際上可依通訊傳輸介面的發展而使用合適的硬體設備即可。
在一些實施例中，第一、第二攝影裝置101、102與影像處理裝置200之間包含以同軸纜線進行諸如SDI訊號之傳輸。在一些實施例中，該等攝影裝置與影像處理裝置200之間包含光纖線及／或SDI-光纖轉換器，即該等攝影裝置與影像處理裝置200之間也可透過光纖線或光纖線與同軸纜線之組合進行傳輸。在其他一些實施例中，也可利用較為經濟的高畫質多媒體介面（High Definition Multimedia Interface，HDMI）或是顯示接口（DisplayPort，DP）及相對應之HDMI線材與DP線材進行影像的傳輸工作。
在一些實施例中，影像處理裝置200具有將原始影像進行即時處理為虛擬實境影像的功能。由於第一攝影裝置101、第二攝影裝置102本身並不需要是虛擬實境攝影裝置（即第一攝影裝置101、第二攝影裝置102非屬虛擬實境攝影裝置），這也意味該等攝影裝置本身並不需要具備直接輸出虛擬實境影像的功能。故於本揭露中，首先，實際上將影像進行虛擬實境化的處理工作，係由影像處理裝置200所完成，如此可以避免佈置大量虛擬實境攝影裝置於真實現場所產生的高額成本；其次，虛擬實境攝影裝置受限於其硬體規格，通常只能完成品質粗糙的虛擬實境影像，並不符合實際的畫質水準需求；再者，若使用本身即輸出虛擬實境影像的虛擬實境攝影裝置，就意味著已難以再對虛擬實境影像進行客製化的後製處理與編輯，因此本揭露係使用非屬虛擬實境攝影裝置的第一攝影裝置101、第二攝影裝置102取得原始影像即可，而後再透過影像處理裝置200統一地完成所有影像的後製處理，並使之虛擬實境化。
在一些實施例中，影像處理裝置200為一種具備將影像進行虛擬實境化處理的功能的導播機（switcher）。在一些實施例中，如圖2所示，本揭露的適用虛擬實境的影像處理裝置200可包含一影像輸入機構201、一影像處理機構202及一影像輸出機構203。在一些實施例中，影像輸入機構201係用以接收自第一攝影裝置101所取得的一第一原始影像及一第二原始影像（例如尚未經虛擬實境化的左眼視角影像101L、右眼視角影像101R）；若影像處理裝置200傳輸連接有至少一個第二攝影裝置102，則影像處理裝置200亦可接收自第二攝影裝置102所取得的一第三原始影像及一第四原始影像（例如尚未經虛擬實境化的左眼視角影像102L、右眼視角影像102R）。如同第一原始影像及第二原始影像是源自模擬左眼、右眼之不同視角，第三原始影像及第四原始影像也基於同樣的原理而對應於不同視角。
由於存在使用多組攝影裝置的可能，因此在本揭露的一些實施例中，影像輸入機構201包含一輸入管理單元（未示於圖中），因此除了來自第一攝影裝置101的影像之外，也可以利用輸入管理單元而在不同影像來源間進行切換，例如經切換而接收自第二攝影裝置102所取得的第三原始影像及第四原始影像。
在一些實施例中，透過影像處理機構202的一第一影像處理單元204，可將第一原始影像及第二原始影像調整為符合虛擬實境需求的一第一影像301及一第二影像302（後見於圖3）。在一些實施例中，第一影像處理單元204為一圖形處理器（Graphics Processing Unit，GPU）。舉例而言，影像處理機構202的第一影像處理單元204對原始影像所進行的調整可包含影像拼接（stitch）處理；如前所述，第一攝影裝置101可拍攝180度影像，因此在一些實施例中，第一攝影裝置101所拍攝的左眼視角影像101L、右眼視角影像101R係屬來自不同視角之180度影像；而第二攝影裝置102所拍攝的左眼視角影像102L、右眼視角影像102R亦係屬來自不同視角之180度影像。在一些實施例中，係透過拼接技術，將左眼視角影像101L、102L自180度影像之規格拼接為具有為360度規格之第一影像301，以及將右眼視角影像101R、102R自180度影像之規格拼接為具有為360度規格之第二影像302。該第一影像301及該第二影像302即為一種包含有兩個180度影像之360度影像（但並非為連續的360度全景影像，而是載有兩個180度影像內容的360度影像），該第一影像301及該第二影像302可在被傳輸至虛擬實境裝置後，分別在虛擬實境裝置的左眼、右眼顯示機構投射而讓使用者感受到立體的虛擬實境影像。應注意，本揭露的第一影像及第二影像並不限於分別對應左眼視角、右眼視角，前述說明僅為舉例之用，兩者的對應關係反之亦可。
在一些實施例中，影像處理機構202可包含運行一渲染器206，其用以渲染特效至第一影像301及第二影像302。所述特效係包含多種面向，舉例而言，為了將真實現場的臨場刺激感傳遞給虛擬實境的使用者，可在第一影像301及第二影像302當中渲染以提高視覺效果（Visual effects，VFX）為目的之特效，例如針對藝術表演、演唱會或體育競技賽事提供不同且客製化的特效。另外，所所渲染的特效也可包含結合第三方提供的數據分析訊息，例如天氣資訊、體育競技賽事的比賽得分、賽事分析、球員數據資訊、運動科學資訊等內容渲染至第一影像301及第二影像302當中，讓虛擬實境的使用者不僅是體驗到立體的虛擬實境影像，還可即時從畫面瀏覽到更多有助於提升體驗效果的資訊。
在一些實施例中，影像處理機構202可包含運行或可存取一虛擬實境媒體庫208，藉此取得影像素材，並且可以匯入現場一般轉播畫面、廣告影像、特寫捕捉、慢動作與精采回放等影像。在一些實施例，虛擬實境媒體庫208亦可提供不同的字幕、字卡或是背景等客製化風格，以及提供動畫效果，從而在結合影像處理機構202的第一影像處理單元204的功能，能輕易將一或多層之圖層疊加完成於第一影像301及第二影像302上。
在一些實施例中，影像處理機構202的第一影像處理單元204可對第一影像301、第二影像302或是所要渲染之特效、加入的素材等影像內容進行諸如色彩校正、亮度對比、調光、位置調整、裁切、縮放等影像處理程序。在一些實施例中，也可使用單一一台攝影裝置拍攝虛擬場景，而後透過第一影像處理單元204或進一步結合渲染器206的功能而執行即時去背，實現虛擬實境場景中的綠幕影像合成功能。
如前所述，為了提高虛擬實境的真實感，第一攝影裝置101、第二攝影裝置102所產生的原始影像的解析度須具備一定程度的水準，例如至少具有4K之畫質標準，至少具有解析度為3840*2160。而經影像處理機構202的第一影像處理單元204所處理的影像，如圖3所示，例如經拼接而形成360度的第一影像301及第二影像302，其分別至少可具有解析度為5760*2880，第一影像301及第二影像302可經組合為一種以長寬比為1比1的虛擬實境影像30的解析度格式供虛擬實境裝置使用（第一影像301及第二影像302在同步且分別顯示於虛擬實境裝置的左眼、右眼顯示機構），且在一些實施例中，該虛擬實境影像30至少具有解析度為5760*5760，意即至少具有6K畫質；若虛擬實境影像30的解析度過低，例如其包含的第一影像301及第二影像302的長邊不足5760個像素而不到6K畫質，則其在虛擬實境使用者的視野環境中將會呈現模糊感，嚴重限制虛擬實境使用者的體驗感受。然而，在現有標準的規範下，輸出至下游的串流編碼器的實體線路並不支援該長寬比為1比1之解析度格式，因此本揭露提出一種適用虛擬實境的影像傳輸方法，以在不影響影像品質的情況下完成虛擬實境影像30的輸出。
詳言之，在一些實施例中，影像處理裝置200包含影像輸出機構203，其與影像處理機構202傳輸連接，用以將影像處理機構202處理完成的影像經實體線路輸出。不過，由於影像處理裝置200在將虛擬實境影像30輸出至轉換為串流訊號之前，尚須先經過實體線路進行傳輸，該等實體線路可包含可支援到8K畫質的串列數位介面（SDI）150及相對應之SDI線材；或於其他實施例中，可包含亦能支援到8K畫質的高畫質多媒體介面（HDMI）或是顯示接口（DP）及相對應之線材。以高品質影像所普遍使用之SDI為傳輸介面為例，包含SDI 150及相對應之SDI線材之實體線路雖然可支援8K畫質而符合傳輸高解析度的虛擬實境影像30的要求，但該等實體線路僅支援傳輸長寬比為16比9之影像格式，而不相容於長寬比為1比1的虛擬實境影像30。意即，就高品質影像的傳輸實務而言，影像的解析度規格可能會受到所使用的傳輸介面的支援標準所限制，因此，如何在利用諸如SDI等具傳輸規格限制之傳輸介面進行高品質影像傳輸之際，兼顧到既有傳輸規格以外之高品質影像進行傳輸的需求，即屬相關技術領域所要解決的問題之一。在一對照（comparative）的例子當中，有鑑於SDI 150僅支援傳輸長寬比為16比9之影像格式，因此影像處理裝置會通過有損壓縮的方式將長寬比為1比1的虛擬實境影像30調整為具有長寬比為16比9的解析度格式，例如將虛擬實境影像30由5760*5760的格式壓縮為5760*3240的格式，而後再於使用者端的虛擬實境裝置將壓縮後的虛擬實境影像30由5760*3240的格式還原回為具有長寬比為1比1的5760*5760的格式；然而，於此對照的例子當中，由於在將虛擬實境影像30的長寬比由1比1壓縮至16比9的過程中，部分影像資訊已滅失，依據消息理論（Information Theory，又稱資訊理論），經過有損壓縮後，滅失的資訊無法回復，因此使用者端的虛擬實境裝置所還原得到的影像的畫質必然會較壓縮前的虛擬實境影像30來得差。本揭露提供的實施例可在相容現有支援高解析度影像傳輸的實體線路（例如包含串列數位介面150）的標準的情況下，利用影像處理裝置200先行對虛擬實境影像30進行分割及重新組合，來解決上述的問題。以下將針對其細節詳細說明。
參考圖4A，第一影像處理單元204所產生的第一影像301及第二影像302的長寬比皆為2比1，其原本會組成具有長寬比為1比1的解析度格式的虛擬實境影像30，不過本揭露在一些實施例中，如圖4B所示，係自第二影像302的短邊分割第二影像302，產生具有相同長寬比的兩個第一子影像302a，以及自第一子影像302a其中之一者的一長邊分割第一子影像302a，產生具有相同長寬比的三個第二子影像302b。於是，如圖4C所示，可形成一第三影像303，此第三影像303包含第一影像301、未經分割的第一子影像302a及三個第二子影像302b，且第三影像303的一短邊由第一影像301的一短邊及未經分割的第一子影像302a的一短邊所組成，第三影像303的另一短邊由三個第二子影像302b的三個短邊所組成，使第三影像的長寬比為16比9。
若以具體的解析度為例，在上述實施例中，第一影像301及第二影像302可具有解析度為5760*2880，兩者原本會組成具有解析度為5760*5760的虛擬實境影像30，但如圖4C所示，經上述實施例的分割處理並重新組合後，具有解析度為5760*1440的第一子影像302a的長邊會與具有解析度為5760*2880第一影像301的長邊對齊；而具有解析度為1920*1440的三個第二子影像302b的短邊則是共同與第一影像301及第一子影像302a的短邊相連接。經如此重新組合後，所產生的第三影像303具有解析度為7680*4320，即具有長寬比為16比9的8K畫質影像，其可透過實體線路進行傳輸。
由於本揭露的影像處理裝置200所產生的第三影像303是使用分割和重組的方式改變影像的長寬比，也就是僅對影像的像素重新進行排列組合，而沒有對畫質為任何壓縮、還原之處理，因此用以透過實體線路進行傳輸的第三影像303的尺寸，為第一影像301及第二影像302的總和。
在一些實施例中，對於分割第二影像302以和第一影像301組合為第三影像303的步驟，可透過影像處理機構202的所運行的一著色器（shader）210所完成。著色器210可產生指令而由第一影像處理單元204對第一影像301和第二影像302的像素進行處理與修改。使用著色器210產生第三影像303的優點之一在於其係以低階語言（low-level language）指示第一影像處理單元204，可具有高效率的特性，避免另使用影像後製軟體以高階語言的方式另做影像的編輯，減少耗用第一影像處理單元204運算效能。
在一些實施例中，於分割第二影像302之前，已使用前述之渲染器206渲染特效至第一影像301及第二影像302。易言之，非屬長寬比為1比1的第三影像303之產生，係特別為了因應實體線路的規格限制而所進行的特殊處理，因此在產生第三影像303之前，第一影像301及第二影像302都應已完成所有所需要的虛擬實境化處理以及視覺效果的調整與增添。
在另一些實施例中，經分割的影像可為第一影像301而非第二影像302。換言之，只要第一影像301與第二影像302其中之一者進行分割，即可和另一未經分割的影像重組為具有長寬比為16比9的影像而透過實體線路進行傳輸。此外，本揭露於圖4A至圖4C之揭示僅係為展示影像的分割形式和重組的結果，其不限制本揭露關於影像透過著色器210針對實體線路傳輸格式的限制而對虛擬實境影像進行分割和重組的步驟順序。
本揭露透過上述揭示的影像的分割與重組的技術方案，將具有長寬比為1比1的虛擬實境影像30巧妙地排列為具有長寬比為16比9，這不僅是無損於虛擬實境影像30的畫質，而且也充分利用了實體線路的頻寬，在傳輸過程沒有產生任何的頻寬浪費。
在一些實施例中，影像處理機構202包含可運行一使用者介面（User Interface，UI），其可供影像處理裝置的操作者選擇影像的來源（例如前述的第一攝影裝置與第二攝影裝置的組合，或其他兩個第二攝影裝置的組合等），以及對影像進行檢視以確認所渲染的視覺效果、所為虛擬實境化的品質，以及影像的挑選和其他有關編輯等操作。
如前所述，影像輸出機構203係與影像處理機構202傳輸連接，其可將影像處理機構202處理完成的影像經實體線路輸出，而此影像即為第三影像303。在一些實施例中，影像處理裝置200可為具有將影像虛擬實境化的功能的導播機。在一些實施例中，影像處理裝置200可為複數個相互連接的電腦所構成的機台群組，分別用以運行不同的功能而對等待輸出之影像進行加工。
復如圖1所示，在一些實施例中，影像生成系統包含一儲存裝置400，此儲存裝置400係與影像處理裝置200傳輸連接，用以儲存影像處理裝置200所輸出的影像（即第三影像303）。此儲存裝置400係做為資料備份之用，而在另一些實施例中，影像生成系統可不包含儲存裝置400。
在一些實施例中，影像生成系統包含一串流編碼器500，此串流編碼器500係與影像處理裝置200經實體線路而傳輸連接，其用以將影像處理裝置200所輸出的第三影像303轉換為一串流訊號。舉例而言，具有長寬比為16比9之規格的第三影像303可經串流編碼器500編碼（encode）為一種HTTP即時串流（HTTP Live Streaming，HLS）訊號，用以進一步利用既有的有線或無線網路傳輸架構將其傳輸至遠端。例如，可採用適合於高解析度影像的5G傳輸技術，將HLS訊號傳輸至電信服務業者的內容傳遞網路（Content Delivery Network，CDN）的伺服器501，供使用者即時下載該等HLS訊號。上述流程僅係列舉一種將影像從靠近第一攝影裝置101、第二攝影裝置102及影像處理裝置200等真實現場的「遠端」，即時傳送至靠近虛擬實境使用者的「近端」以作為其建立虛擬空間之用的訊號傳輸模式與途徑，然而本揭露並不限制上述透過非實體線路進行影像傳輸的技術方案。
在一些實施例中，影像生成系統包含一虛擬實境裝置600，此虛擬實境裝置600係用以接收串流訊號，並解碼（decode）串流訊號為原本自影像處理裝置200所輸出的影像。由於為了適應實體線路的訊號格式限制，虛擬實境化後的第一影像301及第二影像302經前揭影像的分割與重組後，係以具有長寬比為16比9的第三影像303的形式自影像處理裝置200離開，接著透過串流編碼器500而轉換為串流訊號，並且最終被傳輸至虛擬實境裝置600；此時，虛擬實境使用者為了正確讀取影像，串流訊號不僅會先透過解碼而重新轉換為第三影像303，且因為第三影像303是作為傳輸之用的特定格式，因此解碼後的第三影像303需要經過再一次的影像分割與重組，使第三影像303得以回復／再次產生第一影像301及第二影像302。
在一些實施例中，虛擬實境裝置600具有第二影像處理單元601，其可為一圖形處理器（GPU），而虛擬實境裝置600可運行另一著色器（未示於圖中）以產生指令由第二影像處理單元601對第三影像303的像素進行處理與修改，使其自如前揭圖4C所示的解析度示意圖回復至前揭圖3所示的解析度示意圖。由於第二影像處理單元601可能會被整合至消費級穿戴裝置當中，因此透過著色器將第三影像303回復為第一影像301及第二影像302的高效率、低耗能優勢，即屬明顯。
在一些實施例中，將第三影像303重組為具長寬比為1比1的虛擬實境影像30後，虛擬實境影像30當中的第一影像301及第二影像302可同步且分別顯示於虛擬實境裝置600的兩個顯示機構，例如左眼顯示機構602L及右眼顯示機構602R，讓虛擬實境使用者能夠感受到清晰、立體且即時的真實現場體驗，並且借助影像上被客製化提供的視覺特效或是第三方提供的數據分析訊息等加值內容，享受高規格的臨場感體驗。
綜上所述，本揭露在一些實施例中，提供一種適用虛擬實境的影像生成系統以將攝影裝置所取得的複數個原始影像，經由本揭露提供的一種適用虛擬實境的影像處理裝置，調整為複數個虛擬實境影像；且藉由本揭露提供的一種適用虛擬實境的影像傳輸方法，將該等虛擬實境影像經組合而產生具有長寬比為16比9的一傳輸影像，可以在不損失影像解析度的前提下，高效率地使傳輸影像能夠符合實體線路對於影像訊號的格式要求，實現創造高解析度的立體虛擬實境即時串流服務。
前述內容概述數項實施例之結構，使得熟習此項技術者可更佳地理解本揭露之態樣。熟習此項技術者應瞭解，其等可容易地使用本揭露作為用於設計或修改其他製程及結構之一基礎以實行本文中介紹之實施例之相同目的及/或達成相同優點。熟習此項技術者亦應瞭解，此等等效構造不背離本揭露之精神及範疇，且其等可在不背離本揭露之精神及範疇之情況下在本文中作出各種改變、置換及更改。
30:虛擬實境影像
101:第一攝影裝置
101L:左眼視角影像
101R:右眼視角影像
102:第二攝影裝置
102L:左眼視角影像
102R:右眼視角影像
150:串列數位介面
200:影像處理裝置
201:影像輸入機構
202:影像處理機構
203:影像輸出機構
204:第一影像處理單元
206:渲染器
208:虛擬實境媒體庫
210:著色器
301:第一影像
302:第二影像
302a:第一子影像
302b:第二子影像
303:第三影像
400:儲存裝置
500:串流編碼器
501:伺服器
600:虛擬實境裝置
601:第二影像處理單元
602L:左眼顯示機構
602R:右眼顯示機構
當結合附圖閱讀時，從以下詳細描述最佳理解本揭露之態樣。應注意，根據產業中之標準實踐，各種結構未按比例繪製。事實上，為了清楚論述可任意增大或減小各種結構之尺寸。
圖1係根據本揭露之一些實施例的影像生成系統的架構示意圖。
圖2係根據本揭露之一些實施例的影像處理裝置的架構示意圖。
圖3係根據本揭露之一些實施例的第一影像及第二影像組合示意圖。
圖4A係根據本揭露之一些實施例的第一影像及第二影像的解析度示意圖。
圖4B係根據本揭露之一些實施例的分割第二影像的解析度示意圖。
圖4C係根據本揭露之一些實施例的第三影像的解析度示意圖。
101:第一攝影裝置
101L:左眼視角影像
101R:右眼視角影像
102:第二攝影裝置
102L:左眼視角影像
102R:右眼視角影像
150:串列數位介面
200:影像處理裝置
201:影像輸入機構
202:影像處理機構
203:影像輸出機構
303:第三影像
400:儲存裝置
500:串流編碼器
501:伺服器
600:虛擬實境裝置
601:第二影像處理單元
602L:左眼顯示機構
602R:右眼顯示機構

Claims (7)

  1. 一種適用虛擬實境的影像傳輸方法，該影像傳輸方法包含：取得一第一影像及一第二影像，該第一影像及該第二影像的長寬比皆為2比1；自該第二影像的一短邊分割該第二影像，產生具有相同長寬比的兩個第一子影像；自該第一子影像其中之一者的一長邊分割該第一子影像，產生具有相同長寬比的三個第二子影像；產生一第三影像，其中，該第三影像包含該第一影像、未經分割的該第一子影像及該三個第二子影像，且該第三影像的一短邊由該第一影像的一短邊及未經分割的該第一子影像的一短邊所組成，該第三影像的另一短邊由該三個第二子影像的三個短邊所組成，使該第三影像的長寬比為16比9；及經一實體線路傳輸該第三影像。
  2. 如請求項1所述的影像傳輸方法，其中該第一影像的一長邊至少具有5760像素。
  3. 如請求項1所述的影像傳輸方法，其中分割該第二影像、分割該第一子影像及產生該第三影像的步驟中，包含於一影像處理裝置運行一著色器，使該第二影像、該第一子影像經分割後與該第一影像重組為該第三影像。
  4. 如請求項1所述的影像傳輸方法，進一步包含：經由該實體線路傳輸該第三影像至一串流編碼器，該第三影像於該串流編碼器被轉換為一串流訊號。
  5. 如請求項4所述的影像傳輸方法，進一步包含：傳輸該串流訊號至一虛擬實境裝置；解碼該串流訊號為該第三影像；及使用該第三影像產生該第一影像及該第二影像。
  6. 如請求項5所述的影像傳輸方法，其中使用該第三影像產生該第一影像及該第二影像的步驟中，包含於該虛擬實境裝置運行一著色器，將該第三影像重組以分別輸出該第一影像及該第二影像至該虛擬實境裝置的兩個顯示機構。
  7. 如請求項1所述的影像傳輸方法，其中於分割該第二影像的步驟前，進一步包含：渲染特效至該第一影像及該第二影像。
TW110130357A 2021-08-17 2021-08-17 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統 TWI778749B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW110130357A TWI778749B (zh) 2021-08-17 2021-08-17 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統
CN202111157719.2A CN115706793A (zh) 2021-08-17 2021-09-28 适用虚拟现实的影像传输方法、影像处理装置及影像生成系统
US17/490,370 US11792380B2 (en) 2021-08-17 2021-09-30 Video transmission method, video processing device, and video generating system for virtual reality
US18/463,305 US20230421740A1 (en) 2021-08-17 2023-09-08 Video processing device and video generating system for virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110130357A TWI778749B (zh) 2021-08-17 2021-08-17 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統

Publications (2)

Publication Number Publication Date
TWI778749B true TWI778749B (zh) 2022-09-21
TW202310613A TW202310613A (zh) 2023-03-01

Family

ID=84958270

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110130357A TWI778749B (zh) 2021-08-17 2021-08-17 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統

Country Status (3)

Country Link
US (2) US11792380B2 (zh)
CN (1) CN115706793A (zh)
TW (1) TWI778749B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280316A1 (en) * 2010-05-13 2011-11-17 Qualcom Incorporated Frame packing for asymmetric stereo video
US20140376803A1 (en) * 2013-06-25 2014-12-25 Chunghwa Picture Tubes, Ltd. Method of storing a content of a three-dimensional image
US20170031162A1 (en) * 2015-07-28 2017-02-02 Honda Motor Co., Ltd. Display device for vehicle and display method for vehicle
US20190012130A1 (en) * 2017-07-06 2019-01-10 Seiko Epson Corporation Display device and control method of display device
US20200077070A1 (en) * 2016-12-28 2020-03-05 Sony Corporation Generation device, identification information generation method, reproduction device, and image reproduction method
US20210195161A1 (en) * 2017-10-17 2021-06-24 Interdigital Vc Holdings, Inc. Stereo omnidirectional frame packing

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0888018B1 (en) * 1996-02-28 2006-06-07 Matsushita Electric Industrial Co., Ltd. Optical disk having plural streams of digital video data recorded thereon in interleaved manner, and apparatuses and methods for recording on, and reproducing from, the optical disk
JP2008099053A (ja) * 2006-10-13 2008-04-24 Sharp Corp 携帯情報端末装置
KR20160123216A (ko) * 2014-02-21 2016-10-25 엘지전자 주식회사 3d 방송 신호를 처리하는 방법 및 장치
CN109600659B (zh) * 2018-12-17 2021-08-31 北京小米移动软件有限公司 播放视频时的操作方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280316A1 (en) * 2010-05-13 2011-11-17 Qualcom Incorporated Frame packing for asymmetric stereo video
US20140376803A1 (en) * 2013-06-25 2014-12-25 Chunghwa Picture Tubes, Ltd. Method of storing a content of a three-dimensional image
US20170031162A1 (en) * 2015-07-28 2017-02-02 Honda Motor Co., Ltd. Display device for vehicle and display method for vehicle
US20200077070A1 (en) * 2016-12-28 2020-03-05 Sony Corporation Generation device, identification information generation method, reproduction device, and image reproduction method
US20190012130A1 (en) * 2017-07-06 2019-01-10 Seiko Epson Corporation Display device and control method of display device
US20210195161A1 (en) * 2017-10-17 2021-06-24 Interdigital Vc Holdings, Inc. Stereo omnidirectional frame packing

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jar-Ferr Yang; Kuan-Ting Lee; Guan-Cheng Chen; Wei-Jong Yang; Lu Yu, "A YCbCr Color Depth Packing Method and its Extension for 3D Video Broadcasting Services, IEEE Transactions on Circuits and Systems for Video Technology ( Volume: 30, Issue: 9, Sept. 2020) *

Also Published As

Publication number Publication date
CN115706793A (zh) 2023-02-17
US20230421740A1 (en) 2023-12-28
US11792380B2 (en) 2023-10-17
US20230057768A1 (en) 2023-02-23
TW202310613A (zh) 2023-03-01

Similar Documents

Publication Publication Date Title
US11087549B2 (en) Methods and apparatuses for dynamic navigable 360 degree environments
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
KR102278848B1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
KR102214085B1 (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
KR20200047726A (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
KR20200066601A (ko) 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치
KR20200088485A (ko) 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치
CN113891117B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
WO2022022348A1 (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
KR20190103102A (ko) Vr 디바이스 및 vr 디바이스 제어 방법
WO2019229293A1 (en) An apparatus, a method and a computer program for volumetric video
CN113243112A (zh) 流式传输体积视频和非体积视频
CN111726598B (zh) 图像处理方法和装置
CN112153472A (zh) 一种画面特效的生成方法及装置、存储介质及电子设备
TWI778749B (zh) 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統
CN115174954A (zh) 视频直播方法、装置、电子设备以及存储介质
TWI817273B (zh) 即時多視像視訊轉換方法和系統
Alvarez-Mesa et al. Advanced Video Compression and Rendering for Highly Immersive 8K+ Applications
CN113949929A (zh) 一种视频通讯逼真技术
JP2023518676A (ja) 没入型メディアの設置、及び没入型メディアから異種クライアントエンドポイントへの配信

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent