TWI772102B - 用於傳輸縮減的深度資訊的方法和電子系統 - Google Patents

用於傳輸縮減的深度資訊的方法和電子系統 Download PDF

Info

Publication number
TWI772102B
TWI772102B TW110125650A TW110125650A TWI772102B TW I772102 B TWI772102 B TW I772102B TW 110125650 A TW110125650 A TW 110125650A TW 110125650 A TW110125650 A TW 110125650A TW I772102 B TWI772102 B TW I772102B
Authority
TW
Taiwan
Prior art keywords
depth
depth map
image frame
remote server
pixels
Prior art date
Application number
TW110125650A
Other languages
English (en)
Other versions
TW202203643A (zh
Inventor
温予佑
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202203643A publication Critical patent/TW202203643A/zh
Application granted granted Critical
Publication of TWI772102B publication Critical patent/TWI772102B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本發明的實施例提供一種用於傳輸縮減的深度資訊的方法和一種電子系統。該方法包含：取得影像幀的第一深度圖，其中第一深度圖包含對應於影像幀中的多個影像像素的多個第一深度像素；將第一深度圖降尺度為第二深度圖，其中第二深度圖包含多個第二深度像素，且每個第二深度像素具有深度值；透過基於特定比率來升尺度每個第二深度像素的深度值而將第二深度圖調整為第三深度圖；將第三深度圖劃分為多個第四深度圖；將第四深度圖附加到影像幀；對附加有第四深度圖的影像幀進行編碼；以及將經過編碼的影像幀傳輸到用戶端裝置。因此，可實現頻寬與重投影結果之間的更平衡的折衷。

Description

用於傳輸縮減的深度資訊的方法和電子系統
本發明是有關於一種深度資訊傳輸機制，且特別是有關於一種用於傳輸縮減的深度資訊的方法和電子系統。
遠程虛擬實境（virtual reality；VR）解決方案提供一種解決方案，其允許低端VR裝置透過從遠端大功率圖形伺服器資料流來體驗令人滿意的品質的VR內容，例如在移動VR裝置上播放SteamVR內容。在此解決方案中，延遲時間（latency）至關重要，且因此用戶端裝置依賴於重投影演算法來縮短反應時間以取得更好的用戶體驗。一般來說，如果存在深度資料，那麼重投影可能具有更好的結果。然而，由於視訊串流的頻寬有限，傳輸深度資料將增加頻寬的負擔。
有鑑於此，本發明提供一種用於傳輸縮減的深度資訊的方法和一種電子系統，其可用於解決上述技術問題。
本發明的實施例提供一種用於傳輸縮減的深度資訊方法，包含：由遠端伺服器取得影像幀的第一深度圖，其中第一深度圖包含對應於影像幀中的多個影像像素的多個第一深度像素；由遠端伺服器將第一深度圖降尺度為第二深度圖，其中第二深度圖包含多個第二深度像素，且每個第二深度像素具有深度值；由遠端伺服器透過基於特定比率來升尺度每個第二深度像素的深度值而將第二深度圖調整為第三深度圖；透過遠端伺服器將第三深度圖劃分為多個第四深度圖；透過遠端伺服器將第四深度圖附加到影像幀；透過遠端伺服器對附加有第四深度圖的影像幀進行編碼；以及透過遠端伺服器將經過編碼的影像幀傳輸到用戶端裝置。
本發明的實施例提供一種包含遠端伺服器和用戶端裝置的電子系統，其中遠端伺服器配置成執行以下操作：取得影像幀的第一深度圖，其中第一深度圖包含對應於影像幀中的多個影像像素的多個第一深度像素；將第一深度圖降尺度為第二深度圖，其中第二深度圖包含多個第二深度像素，且每個第二深度像素具有深度值；透過基於特定比率來升尺度每個第二深度像素的深度值而將第二深度圖調整為第三深度圖；將第三深度圖劃分為多個第四深度圖；將第四深度圖附加到影像幀；對附加有第四深度圖的影像幀進行編碼；以及將經過編碼的影像幀傳輸到用戶端裝置。
請參照圖1，其繪示根據本發明的實施例的電子系統的示意圖。在圖1中，電子系統100可為VR遠端渲染系統，其可包含遠端伺服器102和用戶端裝置104。在各種實施例中，用戶端裝置104可為可用於運行VR服務的任何裝置，例如，獨立頭戴式顯示器（head-mounted display；HMD）、電腦裝置（例如，個人電腦或類似者）等，但本發明不限於此。
在本發明實施例中，與用戶端裝置104連接的遠端伺服器102可為配置有較高圖形處理能力的任何裝置，例如電腦、伺服器或類似者。概略而言，當用戶端裝置104運行VR服務以向使用者提供視覺內容時，遠端伺服器102可説明用戶端裝置104渲染VR服務的影像幀且將經過渲染的影像幀傳輸到用戶端裝置104。因此，用戶端裝置104可向用戶端裝置104的使用者顯示/提供經過渲染的影像幀作為視覺內容。
在本發明的實施例中，遠端伺服器102可將縮減的深度資訊連同經過渲染的影像幀傳輸到用戶端裝置104，使得用戶端裝置104可實現更好的重投影結果。在下文中將提供詳細論述。
請參照圖2，其繪示根據本發明的實施例的用於傳輸縮減的深度資訊的方法的流程圖。在本實施例中，圖2的方法可由圖1中的遠端伺服器102執行，且因此將結合圖1中所繪示的元件來論述圖2中的每個步驟的細節，但本發明不限於此。
在步驟S210中，遠端伺服器102取得影像幀F1的第一深度圖。在一個實施例中，遠端伺服器102可透過渲染視覺內容的特定部分而產生用戶端裝置102的影像幀F1，其中視覺內容將由用戶端裝置104為使用者呈現。在各種實施例中，視覺內容的特定部分可為視覺內容V1的背景部分、視覺內容V1的前景部分、所有視覺內容V1或設計者所需的視覺內容V1的任何部分，但本發明不限於此。
在一些實施例中，影像幀F1可包含多個影像像素，且每個影像像素可表徵為N位元（N為正整數）。在一個實施例中，每個影像像素可用3個顏色通道（例如，RGB）來表徵，且每個顏色通道可包含8位元。在此情況下，每個影像像素可由24位元（即，3×8）來表徵。也就是說，在此情況下，N為24，但本發明不限於此。
在一個實施例中，第一深度圖可包含對應於影像幀F1中的影像像素的多個第一深度像素。
在一個實施例中，影像幀F1可包含左眼幀部分和右眼幀部分，其分別對應於供用戶端裝置104呈現給使用者的左眼影像和右眼影像。相應地，影像幀F1的第一深度圖可具有分別對應於影像幀F1的左眼幀部分和右眼幀部分的第一區和第二區，但本發明不限於此。
接著，在步驟S220中，遠端伺服器102將第一深度圖降尺度（downscale）為第二深度圖，其中第二深度圖可包含多個第二深度像素，且每個第二深度像素具有深度值。
請參照圖3，其繪示根據本發明的實施例的示出將第一深度圖降尺度為第二深度圖的示意圖。在圖3中，第一深度圖310可包含分別對應於影像幀F1中的左眼幀部分和右眼幀部分的第一區311和第二區312。
在一個實施例中，遠端伺服器102可將第一深度圖310降尺度為第二深度圖320，其中第二深度圖320亦包含分別對應於影像幀F1中的左眼幀部分和右眼幀部分的第一區321和第二區322。
在圖3中，第一深度圖310的大小可為W×H，其中W為第一深度圖310的寬度，且H為第一深度圖320的高度。在一個實施例中，遠端伺服器102可將第一深度圖310的解析度降尺度到
Figure 02_image001
，其中a和b為比例因數。在各種實施例中，可基於設計者的需求選擇a和b。在一個實施例中，可假設a和b為2，這使得第二深度圖320的大小為
Figure 02_image003
，但本發明不限於此。
在一個實施例中，遠端伺服器102可透過對第一深度圖310執行雙線性内插（bilinear interpolation）來降尺度第一深度圖310的解析度，但本發明不限於此。
接著，在步驟S230中，遠端伺服器102透過基於特定比率來升尺度（scale up）每個第二深度像素的深度值而將第二深度圖320調整為第三深度圖。
概略而言，當使用者觀看由用戶端裝置104提供的視覺內容時，使用者對於具有低深度的物體（即，近物體）更敏感。也就是說，具有較小深度值的第二深度像素（其可稱為較接近的第二深度像素）可視為比具有較大深度值的第二深度像素（其可稱為較遠的第二深度像素）更為重要/有意義。因此，遠端伺服器102可經由步驟S230忽略具有較大深度值（即，較遠的第二深度像素）的第二深度像素，使得用戶端裝置104將僅保留具有較小深度值的第二深度像素的深度資訊。以下將作進一步說明。
在一個實施例中，每個第二深度像素的深度值可為在下限與上限之間的範圍內的正規化深度值。在一些實施例中，下限可為0.0f，且上限可為1.0f（即，無限深度），其中f表示浮點數，但本發明不限於此。
在一個實施例中，遠端伺服器102可經由將上限乘以預定因數而決定參考上限，其中預定因數可在0與1之間的範圍內。在一個實施例中，假設預定因數為5%且上限為1.0f，那麼遠端伺服器102可將參考上限決定為0.05f，但本發明不限於此。
接著，遠端伺服器102可基於預定因數來決定特定比率。在一個實施例中，特定比率可為預定因數的倒數或其它可能大於1的數目。
利用特定比率，遠端伺服器102可透過將每個第二深度像素的深度值乘以特定比率而產生第三深度圖。在此情況下，對於初始深度值大於參考上限的那些第二深度像素（其可視為較遠的第二深度像素），其深度值將升尺度到超過1.0f。也就是說，較遠的第二深度像素的深度值將經調整為對應於無限深度。從另一角度，遠端伺服器102可視為保留較接近的第二深度像素的深度值（即，原始深度值小於參考上限的那些第二深度像素）。
請參照圖4，其繪示根據本發明的實施例的示出升尺度深度值的示意圖。在圖4中，遠端伺服器102將參考上限（例如，0.05f）升尺度到新上限（即，1.0f），使得僅有較接近的第二深度像素的深度值會被保留，但本發明不限於此。
在一個實施例中，第三深度圖中的每個第二像素的深度值可表徵為N/2位元深度資料。在此情況下，可將分別對應於左眼和右眼的第二像素組合為N位元資料。
請參照圖5，其繪示根據本發明的實施例的示出梳理分別對應於左眼和右眼的第二像素的示意圖。在圖5中，遠端伺服器102可透過基於以上教示升尺度第二深度圖320中的每個第二深度像素的深度值而將第二深度圖320調整為第三深度圖330。因此，第三深度圖330將亦包含分別對應於影像幀F1中的左眼幀部分和右眼幀部分的第一區331和第二區332。
在圖5中，假設第一區331包含對應於左眼幀部分中的一個影像像素的第二像素501，且第二區332包含對應於右眼幀部分中的一個影像像素的第二像素502。在一個實施例中，第二像素501與第一區331之間的相對位置可與第二像素502與第一區332之間的相對位置相同，但本發明不限於此。
在一個實施例中，遠端伺服器102可將第二像素501的N/2位元深度資料與第二像素502的N/2位元深度資料組合為組合深度資料500。
在一個實施例中，大小為N位元的組合深度資料500可包含區段501a和區段502a，其中區段501a可承載對應於第二像素501的深度值的N/2位元（例如，12位元）深度資料，且區段502a可承載對應於第二像素502的深度值的N/2位元（例如，12位元）深度資料。
在此情況下，遠端伺服器102可透過使用與影像幀F1相同的串流將組合深度資料500傳輸到用戶端裝置104，但本發明不限於此。
在取得第三深度圖330之後，在步驟S240中，遠端伺服器102將第三深度圖330劃分為多個第四深度圖。
在一個實施例中，由於第二深度圖320的大小為
Figure 02_image001
，第三深度圖330亦為
Figure 02_image001
。在一個實施例中，遠端伺服器102可將第三深度圖330均勻地劃分為c個部分，其中c為劃分因數且可為整數。在此情況下，每個第四深度圖的大小可為
Figure 02_image005
。
舉例來說，假設第三深度圖330的大小為320×240且c為4，則每個第四深度圖的大小可為320×60，但本發明不限於此。
接著，在步驟S250中，遠端伺服器102將第四深度圖附加到影像幀F1。
請參照圖6，其繪示根據本發明的實施例的示出將第四深度圖附加到影像幀的示意圖。在圖中6，假設遠端伺服器102將第三深度圖330均勻地劃分為4個第四深度圖611到第四深度圖614，且第四深度圖611到第四深度圖614個別的大小可為
Figure 02_image005
。
在此情況下，遠端伺服器102可將第四深度圖611到第四深度圖614附加到影像幀F1。在一個實施例中，遠端伺服器102可在影像幀F1的尾部/底部處依序地附加第四深度圖611到第四深度圖614。在圖6中，假設影像幀F1的大小為
Figure 02_image007
，附加有第四深度圖611到第四深度圖614的影像幀F1的大小可為
Figure 02_image009
。為簡潔起見，附加有第四深度圖611到第四深度圖614的影像幀F1可稱為影像幀F1'，但本發明不限於此。
接著，在步驟S260中，遠端伺服器102對附加有第四深度圖611到第四深度圖614的影像幀F1進行編碼。也就是說，遠端伺服器102可對影像幀F1'進行編碼。在各種實施例中，遠端伺服器102可基於任何適當的編碼技術對影像幀F1'進行編碼，本文中將不再進一步論述。
在步驟S270中，遠端伺服器102將經過編碼的影像幀F1'傳輸到用戶端裝置104。
相應地，用戶端裝置104可從遠端伺服器102接收經過編碼的影像幀F1'，且對經過編碼的影像幀F1'進行解碼以取得附加有第四深度圖611到第四深度圖614的影像幀F1。
在一個實施例中，用戶端裝置104可從影像幀F1'提取第四深度圖611到第四深度圖614。舉例來說，由於第四深度圖611到第四深度圖614是假設為附加到影像幀F1的尾部，此表示第四深度圖611到第四深度圖614佔據影像幀F1'的某個特定部分，也就是由圖6中的第四深度圖611到第四深度圖614共同佔據的區域。在此情況下，用戶端裝置104可從影像幀F1'提取上述特定部分，且將此特定部分均勻地劃分為4個（即，c）部分以取得第四深度圖611到第四深度圖614，其中每個部分的大小為
Figure 02_image005
。
接著，用戶端裝置104可基於第四深度圖611到第四深度圖614構建第三深度圖330。舉例來說，基於遠端伺服器102將第三深度圖330劃分為圖6中的第四深度圖611到第四深度圖614的方式，用戶端裝置104可依序堆疊第四深度圖614到第四深度圖611以恢復第三深度圖330，但本發明不限於此。
之後，用戶端裝置104可基於影像幀F1和第三深度圖330產生視覺內容V1。在一個實施例中，用戶端裝置104可基於影像幀F1和第三深度圖330執行重投影（reprojection）以產生視覺內容V1以供使用者觀看，但本發明不限於此。
綜上該，在本發明的實施例中，由於第一深度圖經降尺度為第二深度圖，且第二深度圖中的每個第二像素的深度值經升尺度產生第三深度圖，因此遠端伺服器可僅保留用戶端裝置的較接近像素的重要深度資訊，使得用戶端裝置可取得更好的重投影結果。因此，可實現頻寬與重投影結果之間的更平衡的折衷。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:電子系統 102:遠端伺服器 104:用戶端裝置 S210, S220, S230, S240, S250, S260, S270:步驟 310:第一深度圖 311, 321, 331:第一區 312, 322, 332:第二區 320:第二深度圖 330:第三深度圖 500:組合深度資料 501, 502:第二像素 501a, 502a:區段 611, 612, 613, 614:第四深度圖 F1, F1':影像幀 H:高度 V1:視覺內容 W:寬度
圖1為根據本發明的實施例的電子系統的示意圖。 圖2為根據本發明的實施例的用於傳輸縮減的深度資訊的方法的流程圖。 圖3為根據本發明的實施例的示出將第一深度圖降尺度為第二深度圖的示意圖。 圖4為根據本發明的實施例的示出升尺度深度值的示意圖。 圖5為根據本發明的實施例的示出梳理分別對應於左眼和右眼的第二像素的示意圖。 圖6為根據本發明的實施例的示出將第四深度圖附加到影像幀的示意圖。
S210,S220,S230,S240,S250,S260,S270:步驟

Claims (15)

  1. 一種用於傳輸縮減的深度資訊的方法，包括： 由遠端伺服器取得影像幀的第一深度圖，其中該第一深度圖包括對應於該影像幀中的多個影像像素的多個第一深度像素； 由該遠端伺服器將該第一深度圖降尺度為第二深度圖，其中該第二深度圖包括多個第二深度像素，且各該第二深度像素具有深度值； 由該遠端伺服器透過基於特定比率來升尺度各該第二深度像素的該深度值而將該第二深度圖調整為第三深度圖； 由該遠端伺服器將該第三深度圖劃分為多個第四深度圖； 由該遠端伺服器將該第四深度圖附加到該影像幀； 由該遠端伺服器對附加有該些第四深度圖的該影像幀進行編碼；以及 由該遠端伺服器將經過編碼的該影像幀傳輸到用戶端裝置。
  2. 如請求項1所述的用於傳輸縮減的深度資訊的方法，其中在取得該影像幀的該第一深度圖的步驟之前，該方法更包括： 由該遠端伺服器透過渲染視覺內容的特定部分而產生用於該用戶端裝置的該影像幀。
  3. 如請求項1所述的用於傳輸縮減的深度資訊的方法，其中該第一深度圖的大小為W×H，W為該第一深度圖的寬度，H為該第一深度圖的高度，且將該第一深度圖降尺度為該第二深度圖的步驟包括： 由該遠端伺服器將該第一深度圖的解析度降尺度到
    Figure 03_image001
    ，其中a和b為比例因數。
  4. 如請求項1所述的用於傳輸縮減的深度資訊的方法，其中各該第二深度像素的該深度值是在下限與上限之間的範圍內的正規化深度值，且透過基於該特定比率來升尺度各該第二深度像素的該深度值而將該第二深度圖調整為該第三深度圖的步驟包括： 由該遠端伺服器經由將該上限乘以預定因數而決定參考上限，其中該預定因數在0與1之間的範圍內； 由該遠端伺服器基於該預定因數來決定該特定比率；以及 由該遠端伺服器透過將各該第二深度像素的該深度值乘以該特定比率而產生該第三深度圖。
  5. 如請求項4所述的用於傳輸縮減的深度資訊的方法，其中該特定比率為該預定因數的倒數。
  6. 如請求項1所述的用於傳輸縮減的深度資訊的方法，其中該第三深度圖包括分別對應於該影像幀的左眼幀部分和右眼幀部分的第一區和第二區，各該影像像素表徵為N位元，且該第三深度圖中的各該第二像素的該深度值表徵為N/2位元。
  7. 如請求項1所述的用於傳輸縮減的深度資訊的方法，其中該第三深度圖的大小為
    Figure 03_image011
    ，且各該第四深度圖的大小為
    Figure 03_image013
    ，其中a和b為比例因數，c為劃分因數，而該影像幀的大小為
    Figure 03_image015
    ，附加有該第四深度圖的該影像幀的大小為
    Figure 03_image017
    。
  8. 如請求項1所述的用於傳輸縮減的深度資訊的方法，更包括： 由該用戶端裝置從該遠端伺服器接收經過編碼的該影像幀； 由該用戶端裝置透過對經過編碼的該影像幀進行解碼而取得附加有該第四深度圖的該影像幀； 由該用戶端裝置基於該第四深度圖來構建該第三深度圖；以及 由該用戶端裝置基於該影像幀和該第三深度圖來產生視覺內容。
  9. 一種電子系統，包括遠端伺服器和用戶端裝置，其中該遠端伺服器經配置以執行以下操作： 取得影像幀的第一深度圖，其中該第一深度圖包括對應於該影像幀中的多個影像像素的多個第一深度像素； 將該第一深度圖降尺度為第二深度圖，其中該第二深度圖包括多個第二深度像素，且各該第二深度像素具有深度值； 透過基於特定比率來升尺度各該第二深度像素的該深度值而將該第二深度圖調整為第三深度圖； 將該第三深度圖劃分為多個第四深度圖； 將該些第四深度圖附加到該影像幀； 對附加有該第四深度圖的該影像幀進行編碼；以及 將經過編碼的該影像幀傳輸到該用戶端裝置。
  10. 如請求項9所述的電子系統，其中該第一深度圖的大小為W×H，W為該第一深度圖的寬度，H為該第一深度圖的高度，且該遠端伺服器執行以下操作： 將該第一深度圖的解析度降尺度到
    Figure 03_image001
    ，其中a和b為比例因數。
  11. 如請求項9所述的電子系統，其中各該第二深度像素的該深度值為在下限與上限之間的範圍內的正規化深度值，且該遠端伺服器執行以下操作： 經由將該上限乘以預定因數而決定參考上限，其中該預定因數在0與1之間的範圍內； 基於該預定因數來決定該特定比率；以及 透過將各該第二深度像素的該深度值乘以該特定比率而產生該第三深度圖。
  12. 如請求項11所述的電子系統，其中該特定比率為該預定因數的倒數。
  13. 如請求項9所述的電子系統，其中該第三深度圖包括分別對應於該影像幀的左眼幀部分和右眼幀部分的第一區和第二區，各該影像像素表徵為N位元，且該第三深度圖中的各該第二像素的該深度值表徵為N/2位元。
  14. 如請求項9所述的電子系統，其中該第三深度圖的大小為
    Figure 03_image011
    ，且各該第四深度圖的大小為
    Figure 03_image013
    ，其中a和b為比例因數，c為劃分因數，而該影像幀的大小為
    Figure 03_image015
    ，附加有該第四深度圖的該影像幀的大小為
    Figure 03_image017
    。
  15. 如請求項9所述的電子系統，其中該用戶端裝置執行以下操作： 從該遠端伺服器接收該經過編碼的影像幀； 透過對該經過編碼的影像幀進行解碼而取得附加有該第四深度圖的該影像幀； 基於該第四深度圖來構建該第三深度圖；以及 基於該影像幀及該第三深度圖來產生視覺內容。
TW110125650A 2020-07-14 2021-07-13 用於傳輸縮減的深度資訊的方法和電子系統 TWI772102B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063051386P 2020-07-14 2020-07-14
US63/051,386 2020-07-14

Publications (2)

Publication Number Publication Date
TW202203643A TW202203643A (zh) 2022-01-16
TWI772102B true TWI772102B (zh) 2022-07-21

Family

ID=79274363

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110125650A TWI772102B (zh) 2020-07-14 2021-07-13 用於傳輸縮減的深度資訊的方法和電子系統

Country Status (3)

Country Link
US (1) US11869167B2 (zh)
CN (1) CN113938665B (zh)
TW (1) TWI772102B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230083014A1 (en) * 2021-09-14 2023-03-16 Black Sesame Technologies Inc. Depth estimation based on data fusion of image sensor and depth sensor frames
EP4254959A1 (en) * 2022-03-30 2023-10-04 Holo-Light GmbH Computer-implemented method for generating augmented image data, computer-implemented streaming method, image streaming system, and augmented image data stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810685A (zh) * 2014-02-25 2014-05-21 清华大学深圳研究生院 一种深度图的超分辨率处理方法
CN106412552A (zh) * 2015-08-03 2017-02-15 三星电子株式会社 用于处理全息图像的方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
US8189943B2 (en) * 2009-03-17 2012-05-29 Mitsubishi Electric Research Laboratories, Inc. Method for up-sampling depth images
US8659592B2 (en) 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
US9171372B2 (en) * 2010-11-23 2015-10-27 Qualcomm Incorporated Depth estimation based on global motion
JP5824896B2 (ja) * 2011-06-17 2015-12-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR20130123240A (ko) * 2012-05-02 2013-11-12 삼성전자주식회사 깊이 영상 처리 장치 및 방법
CN103546736B (zh) 2012-07-12 2016-12-28 三星电子株式会社 图像处理设备和方法
US9681154B2 (en) * 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US9373171B2 (en) * 2013-07-22 2016-06-21 Stmicroelectronics S.R.L. Method for generating a depth map, related system and computer program product
KR102659065B1 (ko) * 2015-12-21 2024-04-22 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵의 처리
CN106355552B (zh) * 2016-08-27 2019-08-02 天津大学 一种基于虚拟视点绘制质量的深度图上采样方法
GB2558881B (en) * 2017-01-09 2021-11-17 Nokia Technologies Oy Method and apparatus for video depth map coding and decoding
US10742966B2 (en) * 2017-11-16 2020-08-11 Htc Corporation Method, system and recording medium for adaptive interleaved image warping
US10881956B2 (en) * 2018-12-28 2021-01-05 Intel Corporation 3D renderer to video encoder pipeline for improved visual quality and low latency

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810685A (zh) * 2014-02-25 2014-05-21 清华大学深圳研究生院 一种深度图的超分辨率处理方法
CN106412552A (zh) * 2015-08-03 2017-02-15 三星电子株式会社 用于处理全息图像的方法和装置

Also Published As

Publication number Publication date
CN113938665B (zh) 2023-10-13
US11869167B2 (en) 2024-01-09
CN113938665A (zh) 2022-01-14
US20220020112A1 (en) 2022-01-20
TW202203643A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
US10467775B1 (en) Identifying pixel locations using a transformation function
US9721393B1 (en) Method for processing and delivering virtual reality content to a user
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
TWI772102B (zh) 用於傳輸縮減的深度資訊的方法和電子系統
US20220014725A1 (en) Depth codec for real-time, high-quality light field reconstruction
TWI757303B (zh) 影像壓縮方法與設備
US11138460B2 (en) Image processing method and apparatus
WO2018171608A1 (en) Method and apparatus for generating and encoding projection-based frame with 360-degree content represented in projection faces packed in segmented sphere projection layout
WO2023005140A1 (zh) 视频数据处理方法、装置、设备以及存储介质
TW201904294A (zh) 數位內容串流壓縮
US11908051B2 (en) Image processing system and method for generating image content
JP7320668B2 (ja) シングルストリーム中心窩表示トランスポート
WO2019034131A1 (en) METHOD AND APPARATUS FOR REDUCING ARTIFACTS IN A PROJECTION-BASED FRAME
US9774844B2 (en) Unpacking method, unpacking device and unpacking system of packed frame
CN114007059A (zh) 视频压缩方法、解压方法、装置、电子设备及存储介质
WO2022057782A1 (zh) 用于头戴显示设备的图像处理方法、装置及电子设备
Miura et al. Data hiding technique for omnidirectional JPEG images displayed on VR spaces
US20230099405A1 (en) Image data transfer apparatus, image display system, and image data transfer method
US20150092848A1 (en) Method, device and system for resizing original depth frame into resized depth frame
US11350068B2 (en) Video tone mapping using a sequence of still images
CN111492654B (zh) 一种基于立方体的投影方法
TWI822032B (zh) 影片播放系統、可攜式影片播放裝置及影片增強方法
US11190801B2 (en) Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method
KR102421719B1 (ko) 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법
Li et al. VertexShuffle-Based Spherical Super-Resolution for 360-Degree Videos