TWI806479B - 點雲編解碼方法、裝置、電腦可讀介質及電子設備 - Google Patents

點雲編解碼方法、裝置、電腦可讀介質及電子設備 Download PDF

Info

Publication number
TWI806479B
TWI806479B TW111108451A TW111108451A TWI806479B TW I806479 B TWI806479 B TW I806479B TW 111108451 A TW111108451 A TW 111108451A TW 111108451 A TW111108451 A TW 111108451A TW I806479 B TWI806479 B TW I806479B
Authority
TW
Taiwan
Prior art keywords
point cloud
quality
quality indication
file
indication information
Prior art date
Application number
TW111108451A
Other languages
English (en)
Other versions
TW202241129A (zh
Inventor
胡穎
Original Assignee
大陸商騰訊科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商騰訊科技（深圳）有限公司 filed Critical 大陸商騰訊科技（深圳）有限公司
Publication of TW202241129A publication Critical patent/TW202241129A/zh
Application granted granted Critical
Publication of TWI806479B publication Critical patent/TWI806479B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Error Detection And Correction (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申請屬於電腦及通信技術領域，具體涉及一種點雲編解碼方法、點雲編解碼裝置、電腦可讀介質以及電子設備。本申請實施例中的點雲解碼方法包括：接收由資料來源傳輸的點雲文件，所述點雲文件包括至少一個點雲媒體軌道；解析所述至少一個點雲媒體軌道的文件封裝資訊，得到所述文件封裝資訊中攜帶的品質指示資訊，所述品質指示資訊用於表示所述至少一個點雲媒體軌道的點雲品質；根據所述文件封裝資訊中攜帶的品質指示資訊從所述點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。

Description

點雲編解碼方法、裝置、電腦可讀介質及電子設備
本申請屬於電腦及通信技術領域，具體涉及一種點雲編解碼方法、點雲編解碼裝置、電腦可讀介質以及電子設備。
點雲是空間中一組無規則分佈的、表達三維物體或場景的空間結構及表面屬性的離散點集。在通過點雲採集設備獲取到大規模的點雲資料後，可以對點雲資料進行編碼封裝以向使用者傳輸和呈現。
本申請實施例提供了一種點雲編解碼方法、點雲編解碼裝置、電腦可讀介質以及電子設備。
根據本申請實施例的一個方面，提供一種點雲解碼方法，該方法包括：接收由資料來源傳輸的點雲文件，所述點雲文件包括至少一個點雲媒體軌道；解析所述至少一個點雲媒體軌道的文件封裝資訊，得到所述文件封裝資訊中攜帶的品質指示資訊，所述品質指示資訊用於表示所述至少一個點雲媒體軌道的點雲品質；根據所述文件封裝資訊中攜帶的品質指示資訊從所述點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。
根據本申請實施例的一個方面，提供一種點雲解碼裝置，該裝置包括：接收模組，被配置為接收由資料來源傳輸的點雲文件，所述點雲文件包括至少一個點雲媒體軌道；解析模組，被配置為解析所述至少一個點雲媒體軌道的文件封裝資訊，得到所述文件封裝資訊中攜帶的品質指示資訊，所述品質指示資訊用於表示所述至少一個點雲媒體軌道的點雲品質；解碼模組，被配置為根據所述文件封裝資訊中攜帶的品質指示資訊從所述點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。
在本申請的一些實施例中，基於以上技術方案，所述接收模組包括：信令接收單元，被配置為接收由資料來源發送的用於傳輸點雲資料的流媒體信令；信令解析單元，被配置為解析所述流媒體信令，得到所述流媒體信令中攜帶的至少兩種可供選擇的品質指示資訊；請求發送單元，被配置為根據從所述至少兩種品質指示資訊中選擇的品質指示資訊，向所述資料來源發送資料傳輸請求；文件接收單元，被配置為接收由所述資料來源傳輸的與所述資料傳輸請求相對應的點雲文件。
在本申請的一些實施例中，基於以上技術方案，所述請求發送單元包括：頻寬獲取子單元，被配置為確定與所述資料來源進行資料傳輸的網路頻寬；頻寬匹配子單元，被配置為將所述網路頻寬與所述流媒體信令中攜帶的至少兩種品質指示資訊進行匹配檢測，以選取與所述網路頻寬相匹配的目標點雲品質；請求發送子單元，被配置為向所述資料來源發送根據所述目標點雲品質生成的資料傳輸請求。
在本申請的一些實施例中，基於以上技術方案，所述解析模組包括：資訊解析單元，被配置為解析所述至少一個點雲媒體軌道的文件封裝資訊，以確定至少一個與所述點雲媒體軌道的品質參數相關的品質指示欄位；資訊確定單元，被配置為根據所述至少一個品質指示欄位的取值，確定所述點雲媒體文件的品質指示資訊。
在本申請的一些實施例中，基於以上技術方案，所述品質指示資訊包括品質真實值、品質等效值和品質等級中的至少一種；其中，所述品質真實值為所述品質參數的參數取值，所述品質等效值是將所述品質參數的參數取值與預設的單位品質參數相比得到的單位品質參數的數量，所述品質等級是用於表示所述品質參數的參數取值範圍的等級資訊。
在本申請的一些實施例中，基於以上技術方案，所述品質參數包括點雲碼流的碼率和幀率中的至少一種。
根據本申請實施例的一個方面，提供一種點雲編碼方法，該方法包括：按照不同的編碼標準對待傳輸的點雲資料進行編碼處理，得到具有相同點雲內容且具有不同點雲品質的點雲碼流；根據所述編碼標準向所述點雲碼流中填充用於表示所述點雲品質的品質指示資訊；將所述點雲碼流封裝為點雲媒體軌道，並向所述點雲媒體軌道中填充與所述點雲碼流相對應的品質指示資訊。
根據本申請實施例的一個方面，提供一種點雲編碼裝置，該裝置包括：編碼模組，被配置為按照不同的編碼標準對待傳輸的點雲資料進行編碼處理，得到具有相同點雲內容且具有不同點雲品質的點雲碼流；填充模組，被配置為根據所述編碼標準向所述點雲碼流中填充用於表示所述點雲品質的品質指示資訊；封裝模組，被配置為將所述點雲碼流封裝為點雲媒體軌道，並向所述點雲媒體軌道中填充與所述點雲碼流相對應的品質指示資訊。
在本申請的一些實施例中，基於以上技術方案，所述點雲編碼裝置還包括：信令生成模組，被配置為生成用於傳輸點雲資料的流媒體信令；信令填充模組，被配置為向所述流媒體信令中填充與各個所述點雲碼流相對應的品質指示資訊；信令發送模組，被配置為向資料接收方發送所述流媒體信令。
在本申請的一些實施例中，基於以上技術方案，所述點雲編碼裝置還包括：請求接收模組，被配置為接收由所述資料接收方發送的基於所述流媒體信令生成的資料傳輸請求；檔案傳輸模組，被配置為根據所述資料傳輸請求，向所述資料接收方傳輸點雲文件，所述點雲文件包括具有相同點雲內容且具有不同點雲品質的點雲媒體軌道。
在本申請的一些實施例中，基於以上技術方案，所述填充模組包括：取值確定單元，被配置為根據所述編碼標準確定所述點雲碼流的品質參數的參數取值，並在所述點雲碼流中確定與所述品質參數相對應的品質指示欄位；第一資訊確定單元，被配置為根據所述品質參數的參數取值確定用於表示所述點雲品質的品質指示資訊；第一資訊填充單元，被配置為根據所述品質參數與所述品質指示欄位的對應關係，將所述品質指示資訊填充至所述品質指示欄位。
在本申請的一些實施例中，基於以上技術方案，所述封裝模組包括：
第二資訊確定單元，被配置為在所述點雲媒體軌道的文件封裝資訊中確定與所述品質指示資訊相對應的品質指示欄位；
第二資訊填充單元，被配置為將與所述點雲碼流相對應的品質指示資訊填充至所述文件封裝資訊中的品質指示欄位。
根據本申請實施例的一個方面，提供一種電腦可讀介質，其上儲存有電腦程式，該電腦程式被處理器執行時實現如以上技術方案中的方法。
根據本申請實施例的一個方面，提供一種電子設備，該電子設備包括：處理器；以及記憶體，用於儲存所述處理器的可執行指令；其中，所述處理器被配置為經由執行所述可執行指令來執行如以上技術方案中的方法。
根據本申請實施例的一個方面，提供一種電腦程式產品或電腦程式，該電腦程式產品或電腦程式包括電腦指令，該電腦指令儲存在電腦可讀儲存介質中。電腦設備的處理器從電腦可讀儲存介質讀取該電腦指令，處理器執行該電腦指令，使得該電腦設備執行如以上技術方案中的方法。
在本申請實施例提供的技術方案中，通過在點雲資料編碼和文件封裝過程中添加用於表示點雲品質的品質指示資訊，可以明確地指示點雲文件以及各個成分（幾何、屬性等）的品質級別，使得用戶端能夠更加精准地請求對應的點雲文件，也能在解碼呈現時根據用戶端自身的需求和性能條件選擇對應的成分。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，並不能限制本申請。
現在將參考附圖更全面地描述示例實施方式。然而，示例實施方式能夠以多種形式實施，且不應被理解為限於在此闡述的範例；相反，提供這些實施方式使得本申請將更加全面和完整，並將示例實施方式的構思全面地傳達給本領域的技術人員。
此外，所描述的特徵、結構或特性可以以任何合適的方式結合在一個或更多實施例中。在下面的描述中，提供許多具體細節從而給出對本申請的實施例的充分理解。然而，本領域技術人員將意識到，可以實踐本申請的技術方案而沒有特定細節中的一個或更多，或者可以採用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細示出或描述公知方法、裝置、實現或者操作以避免模糊本申請的各方面。
附圖中所示的方方塊圖僅僅是功能實體，不一定必須與物理上獨立的實體相對應。即，可以採用軟體形式來實現這些功能實體，或在一個或多個硬體模組或積體電路中實現這些功能實體，或在不同網路和/或處理器裝置和/或微控制器裝置中實現這些功能實體。
附圖中所示的流程圖僅是示例性說明，不是必須包括所有的內容和操作/步驟，也不是必須按所描述的循序執行。例如，有的操作/步驟還可以分解，而有的操作/步驟可以合併或部分合併，因此實際執行的順序有可能根據實際情況改變。
點雲是空間中一組無規則分佈的、表達三維物體或場景的空間結構及表面屬性的離散點集。點雲中的每個點至少具有三維位置資訊，根據應用場景的不同，還可能具有色彩、材質或其他資訊。通常，點雲中的每個點都具有相同數量的附加屬性。點雲媒體從編碼方式上又可以分為基於傳統視頻編碼方式進行壓縮的點雲媒體（Video-based Point Cloud Compression ，VPCC）以及基於幾何特徵進行壓縮的點雲媒體（Geometry-based Point Cloud Compression，GPCC）。在點雲媒體的文件封裝中，三維位置資訊通常稱為點雲文件的幾何分量（Geometry Component），屬性資訊稱為點雲文件的屬性分量（Attribute Component）。一個點雲文件可能僅有一個幾何分量，但可以存在一個或多個屬性分量。
點雲可以靈活方便地表達三維物體或場景的空間結構及表面屬性，因而應用廣泛，其主要應用場景可以歸為兩大類別。1）機器感知點雲，例如自主導航系統、即時巡檢系統、地理資訊系統、視覺分揀機器人、搶險救災機器人。2）人眼感知點雲，例如數位文化遺產、自由視點廣播、三維沉浸通信、三維沉浸交互等點雲應用場景。
點雲的獲取主要有以下途徑：電腦生成、3D鐳射掃描、3D攝影測量等。電腦可以生成虛擬三維物體及場景的點雲。3D掃描可以獲得靜態現實世界三維物體或場景的點雲，每秒可以獲取百萬級點雲。3D攝像可以獲得動態現實世界三維物體或場景的點雲，每秒可以獲取千萬級點雲。此外，在醫學領域，由MRI、CT、電磁定位資訊，可以獲得生物組織器官的點雲。這些技術降低了點雲資料獲取成本和時間週期，提高了資料的精度。點雲資料獲取方式的變革，使大量點雲資料的獲取成為可能。伴隨著大規模的點雲資料不斷積累，點雲資料的高效儲存、傳輸、發佈、共用和標準化，成為點雲應用的關鍵。
在對點雲媒體進行編碼後，需要對編碼後的資料流程進行封裝並傳輸給用戶。相對應的，在點雲媒體播放機端，需要先對點雲文件進行解封裝，然後再進行解碼，最後將解碼後的資料流程呈現。
圖1示出了可以應用本申請實施例的技術方案的示例性系統架構的示意圖。
如圖1所示，系統架構100包括多個終端裝置，所述終端裝置可通過例如網路150彼此通信。舉例來說，系統架構100可以包括通過網路150互連的第一終端裝置110和第二終端裝置120。在圖1的實施例中，第一終端裝置110和第二終端裝置120執行單向資料傳輸。
舉例來說，第一終端裝置110可以對點雲資料（例如由第一終端裝置110採集的點雲碼流）進行編碼以通過網路150傳輸到第二終端裝置120，已編碼的點雲資料以一個或多個已編碼點雲碼流的形式傳輸，第二終端裝置120可從網路150接收已編碼點雲資料，對已編碼點雲資料進行解碼並顯示已解碼的點雲資料。
在本申請的一個實施例中，系統架構100可以包括執行已編碼點雲資料的雙向傳輸的第三終端裝置130和第四終端裝置140，所述雙向傳輸比如可以發生在視訊會議期間。對於雙向資料傳輸，第三終端裝置130和第四終端裝置140中的每個終端裝置可對點雲資料（例如由終端裝置採集的點雲碼流）進行編碼，以通過網路150傳輸到第三終端裝置130和第四終端裝置140中的另一終端裝置。第三終端裝置130和第四終端裝置140中的每個終端裝置還可接收由第三終端裝置130和第四終端裝置140中的另一終端裝置傳輸的已編碼點雲資料，且可對已編碼點雲資料進行解碼以復原點雲資料，並可根據恢復的點雲資料在可訪問的顯示裝置上顯示點雲資料。
在圖1的實施例中，第一終端裝置110、第二終端裝置120、第三終端裝置130和第四終端裝置140可為伺服器、個人電腦和智慧型電話，但本申請公開的原理可不限於此。本申請公開的實施例適用於膝上型電腦、平板電腦、媒體播放機和/或專用視訊會議設備。網路150表示在第一終端裝置110、第二終端裝置120、第三終端裝置130和第四終端裝置140之間傳送已編碼點雲資料的任何數目的網路，包括例如有線和/或無線通訊網路。網路150可在電路交換和/或封包交換通道中交換資料。該網路可包括電信網路、局域網、廣域網路和/或互聯網。出於本申請的目的，除非在下文中有所解釋，否則網路150的架構和拓撲對於本申請公開的操作來說可能是無關緊要的。
在本申請的一個實施例中，圖2示出點雲編碼裝置和點雲解碼裝置在資料流環境中的放置方式。本申請所公開主題可同等地適用於其它支援點雲的應用，包括例如視訊會議、數位電視、在包括CD、DVD、儲存棒等的數位介質上儲存已壓縮的點雲資料等等。
資料流系統可包括採集子系統213，採集子系統213可包括數碼相機等點雲資料來源201，點雲資料來源201例如可以創建未壓縮的點雲資料202。在實施例中，未壓縮的點雲資料202包括由數碼相機拍攝的樣本。相較於已編碼的點雲資料204（或已編碼的點雲碼流204），未壓縮的點雲資料202被描繪為粗線以強調高資料量的點雲資料，未壓縮的點雲資料202可由電子裝置220處理，電子裝置220包括耦接到視頻源201的視頻編碼裝置203。視頻編碼裝置203可包括硬體、軟體或軟硬體組合以實現或實施如下文更詳細地描述的所公開主題的各方面。相較於未壓縮的點雲資料202，已編碼的點雲資料204（或已編碼的點雲碼流204）被描繪為細線以強調較低資料量的已編碼的點雲資料204（或已編碼的點雲碼流204），其可儲存在資料流伺服器205上以供將來使用。一個或多個資料流用戶端子系統，例如圖2中的用戶端子系統206和用戶端子系統208，可訪問資料流伺服器205以檢索已編碼的點雲資料204的副本點雲資料207和點雲資料209。用戶端子系統206可包括例如電子裝置230中的點雲解碼裝置210。點雲解碼裝置210對已編碼的點雲資料的傳入副本點雲資料207進行解碼，且產生可在顯示器212（例如顯示幕）或另一呈現裝置上呈現的輸出點雲資料211。在一些資料流系統中，可根據某些點雲編碼/壓縮標準對已編碼的點雲資料204、點雲資料207和點雲資料209（例如點雲碼流）進行編碼。這些標準的實施例可以包括由MPEG為GPCC開發的標準。
應注意，電子裝置220和電子裝置230可包括圖中未示出的其它元件。舉例來說，電子裝置220可包括點雲解碼裝置，且電子裝置230還可包括點雲編碼裝置。
下面結合具體實施方式對本申請提供的點雲編解碼方法、點雲編解碼裝置、電腦可讀介質以及電子設備等技術方案做出詳細說明。
圖3示出了本申請一個實施例中的點雲解碼方法的步驟流程圖。該方法可以應用於點雲媒體系統的伺服器、用戶端以及中間節點等環節。本申請實施例以安裝有點雲解碼裝置的用戶端設備執行的點雲解碼方法作為示例。如圖3所示，該點雲解碼方法主要可以包括如下的步驟S310至步驟S330。
步驟S310：接收由資料來源傳輸的點雲文件，點雲文件包括至少一個點雲媒體軌道。
根據本申請實施例，在步驟S310中，點雲文件可以包括具有相同點雲內容且具有不同點雲品質的點雲媒體軌道。在點雲文件中封裝有對應於不同點雲媒體軌道的可替換組（alternative group），具有相同點雲內容且具有不同點雲品質的點雲媒體軌道可以劃分在同一個可替換組內。當GPCC點雲資料以單軌道封裝時，不同品質的點雲內容的軌道同屬一個可替換組。當GPCC點雲資料以多軌道封裝時，不同品質的點雲內容的幾何成分軌道同屬一個可替換組，而屬性成分軌道可以關聯至幾何成分軌道。
圖4示出了本申請一個實施例中以多軌道封裝的可替換組示意圖。如圖4所示，在可替換組400中包括具有相同點雲內容的第一點雲資料410和第二點雲資料420。其中，第一點雲資料410是點雲品質相對較高的無失真壓縮點雲資料（Lossless coded GPCC），第二點雲資料420是點雲品質相對較低的失真壓縮點雲資料（Lossy coded GPCC）。
第一點雲資料410中包括第一幾何成分軌道411和關聯至第一幾何成分軌道411的第一屬性成分軌道412，第二點雲資料420中包括第二幾何成分軌道421和關聯至第二幾何成分軌道421的第二屬性成分軌道422。
步驟S320：解析至少一個點雲媒體軌道的文件封裝資訊，得到文件封裝資訊中攜帶的品質指示資訊，品質指示資訊用於表示至少一個點雲媒體軌道的點雲品質。
文件封裝資訊是在將點雲碼流封裝為點雲文件時生成的用於記錄點雲文件相關的解碼配置資料的資料盒，例如可以是GPCC解碼器配置記錄資料盒（GPCCDecoderConfigurationRecord）。
在本申請的一個實施例中，解析文件封裝資訊得到品質指示資訊的方法可以包括：解析點雲媒體軌道的文件封裝資訊，以確定至少一個與點雲媒體軌道的品質參數相關的品質指示欄位；根據至少一個品質指示欄位的取值，確定點雲媒體文件的品質指示資訊。
在本申請的一個實施例中點雲媒體軌道的品質參數可以包括點雲碼流的碼率和幀率中的至少一種。在其他一些可選的實施方式中，品質參數還可以包括解析度、畫質等其他媒體資源品質相關的參數。
在本申請的一個實施例中，品質指示資訊包括品質真實值、品質等效值和品質等級中的至少一種。
品質真實值為品質參數的參數取值。例如，一個點雲媒體軌道對應點雲碼流的碼率為10000 bit/s，則可以將品質真實值10000確定為該點雲媒體軌道的品質指示資訊。又例如，一個點雲媒體軌道對應點雲碼流的幀率為30 fps，則可以將品質真實值30確定為該點雲媒體軌道的品質指示資訊。
品質等效值是將品質參數的參數取值與預設的單位品質參數相比得到的單位品質參數的數量。例如，以400 bit/s作為單位品質參數，一個點雲媒體軌道對應點雲碼流的碼率為10000 bit/s，則可以將品質等效值10000/400=25作為品質指示資訊。當品質參數的參數取值與預設的單位品質參數之間的比值為小數時，可以對該比值向上取整以確定單位品質參數的數量。
品質等級是用於表示品質參數的參數取值範圍的等級資訊。例如，針對參數碼率，可以預先設定多個不同的碼率數值範圍，每個碼率數值範圍對應一個碼率等級，該碼率等級即為用於表示點雲品質的品質等級。
在本申請的一個實施例中，作為文件封裝資訊的GPCC解碼器配置記錄資料盒語法如下。 aligned(8) class GPCCDecoderConfigurationRecord { unsigned int(8)  configurationVersion = 1; unsigned int(8)  profile_idc; unsigned int(24) profile_compatibility_flags; unsigned int(8)  level_idc; unsigned int(8)  bitrate; unsigned int(8)  frame_rate; unsigned int(8)  numOfSetupUnits; for (i=0; i＜numOfSetupUnits; i++) { tlv_encapsulation     setupUnit;   //as defined in ISO/IEC 23090-9 } // additional fields }
其中，bitrate為對應於碼率的品質指示欄位，其取值為一個長度為8位元組的不帶正負號的整數；frame_rate為對應於幀率的品質指示欄位，其取值也是一個長度為8位元組的不帶正負號的整數。品質指示欄位frame_rate所表示的幀率可以為某個時域等級的平均幀率，單位為幀/（256秒）。當品質指示欄位frame_rate的值為0時，表示未指定幀率，例如，未指定平均幀率。對於GPCC碼流，一個GPCC時域等級可以是GPCC碼流中的幀的一個子集，該幀的子集構成的子序列的幀率小於所述GPCC碼流的實際碼流序列的幀率。每個GPCC幀可以與一個特定的時域等級相關。GPCC碼流可以承載在或儲存在一個或多個時域等級軌道中。
步驟S330：根據文件封裝資訊中攜帶的品質指示資訊從點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。
在每個點雲媒體軌道對應的文件封裝資訊中，均攜帶有該點雲媒體軌道的品質指示資訊，該品質指示資訊以顯性標識的方式標識出點雲媒體軌道的點雲品質。當點雲文件由資料來源傳輸至使用者所在的資料接收方時，資料接收方可以根據設備性能以及使用者需求解碼具有指定的點雲品質的點雲媒體軌道。
在本申請的一個實施例中，可以通過採集資料接收方的設備性能，並將設備性能與文件封裝資訊中攜帶的品質指示資訊進行匹配檢測，確定與資料接收方的設備性能相匹配的點雲品質，進而從點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。
設備性能可以包括硬體性能、軟體性能和網路性能中的至少一種。硬體性能例如可以包括電子設備的設備型號、處理器型號、記憶體容量、顯示器尺寸等等。軟體性能例如可以包括資料接收方安裝的點雲解碼器的程式版本。網路性能例如可以包括網路頻寬、網路傳輸狀態等等。
在本申請的一個實施例中，可以獲取資料接收方配置的品質選取規則，並將品質選取規則與文件封裝資訊中攜帶的品質指示資訊進行匹配檢測，確定與資料接收方配置品質選取規則相匹配的點雲品質，進而從點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。
品質選取規則可以是根據使用者需求配置的用於選取具有指定點雲品質的點雲資料的選取規則，例如根據使用者指令選取碼率大於（或者小於）指定數值的點雲資料。
圖5示出了本申請一個實施例中從資料來源接收點雲文件的步驟流程圖。如圖5所示，在以上實施例的基礎上，步驟S310中的接收由資料來源傳輸的點雲文件，可以包括如下的步驟S510至步驟S540。
步驟S510：接收由資料來源發送的用於傳輸點雲資料的流媒體信令。
在本申請的一個實施例中，用於傳輸點雲資料的流媒體信令可以是基於HTTP的動態自我調整流（dynamic adaptive streaming over HTTP，DASH）信令。DASH是一種自我調整位元元速率流技術，該技術可以使高品質流媒體通過傳統的HTTP網路服務器進行互聯網傳遞。
步驟S520：解析流媒體信令，得到流媒體信令中攜帶的至少兩種可供選擇的品質指示資訊。
在DASH信令中，可以利用已有的欄位來儲存可供選擇的品質指示資訊，例如可以利用DASH信令中的bandwidth欄位來指示多種不同點雲媒體軌道的碼率，可以利用DASH信令中的frameRate欄位來指示多種不同點雲媒體軌道的幀率。在DASH技術，將一個或多個媒體成分的組合作為一個Representation，比如某種解析度的視頻文件可以看作一個Representation。根據本申請實施例，可以將點雲媒體軌道的媒體文件作為Representation，不同點雲媒體軌道的品質指示資訊可以用其對應的Representation的frameRate參數和/或bandwidth參數來表示。
步驟S530：根據從所述至少兩種品質指示資訊中選擇的品質指示資訊，向資料來源發送資料傳輸請求。
根據解析得到的流媒體信令中攜帶的品質指示資訊，可以選擇其中一種或者多種品質指示資訊作為目標點雲品質，並進一步向資料來源發送對應於目標點雲品質的資料傳輸請求。
在本申請的一個實施例中，發送資料傳輸請求的方法可以包括：確定與資料來源進行資料傳輸的網路頻寬；將網路頻寬與流媒體信令中攜帶的至少兩種品質指示資訊進行匹配檢測，以選取與網路頻寬相匹配的目標點雲品質；向資料來源發送根據目標點雲品質生成的資料傳輸請求。
在本申請的一個實施例中，當網路頻寬大於設定閾值時，可以選取兩個或者兩個以上的目標點雲品質。當網路頻寬小於或等於設定閾值時，可以選取一個目標點雲品質。
步驟S540：接收由資料來源傳輸的與資料傳輸請求相對應的點雲文件。
當根據品質指示資訊向資料來源發送針對一個對應於目標點雲品質的資料傳輸請求時，資料來源可以基於該請求向資料接收方傳輸相應的一個點雲媒體軌道。當根據品質指示資訊向資料來源發送針對多個對應於目標點雲品質的資料傳輸請求時，資料來源可以基於該請求向資料接收方傳輸相應的多個具有不同點雲品質的點雲媒體軌道。
圖6示出了本申請一個實施例中的點雲編碼方法的步驟流程圖。該點雲編碼方法可以應用於點雲媒體系統的伺服器、用戶端以及中間節點等環節。本申請實施例以安裝有點雲編碼裝置的伺服器設備執行的點雲編碼方法作為示例。如圖6所示，該點雲編碼方法主要可以包括如下的步驟S610至步驟S630。
步驟S610：按照不同的編碼標準對待傳輸的點雲資料進行編碼處理，得到具有相同點雲內容且具有不同點雲品質的點雲碼流。
為了滿足不同的資料接收方對於點雲資料的品質需求，針對某一點雲內容的點雲資料，可以按照多種不同的編碼標準進行編碼處理後得到具有不同點雲品質的點雲碼流。編碼標準可以包括一種或者多種品質參數的參數取值，將各種品質參數的不同參數取值進行組合可以形成多種不同的編碼標準。例如當品質參數包括碼率和幀率，而碼率包括兩種不同的碼率取值A1、A2，幀率也包括兩種不同的幀率取值B1、B2，由此可以確定對應於不同品質參數取值的四種編碼標準，即A1B1、A1B2、A2B1和A2B2。
步驟S620：根據編碼標準向點雲碼流中填充用於表示點雲品質的品質指示資訊。
在本申請的一個實施例中，向點雲碼流填充品質指示資訊的方法可以包括：根據編碼標準確定點雲碼流的品質參數的參數取值，並在點雲碼流中確定與品質參數相對應的品質指示欄位；根據品質參數的參數取值確定用於表示點雲品質的品質指示資訊；根據品質參數與品質指示欄位的對應關係，將品質指示資訊填充至品質指示欄位。所述表示點雲品質的品質指示資訊可以包括在點雲碼流中的高層語法結構中，例如序列參數集語法中。
圖7示出了本申請一個實施例中的GPCC碼流高層語法示意圖。如圖7所示，在點雲資料碼流的序列參數集語法（Sequence parameter set syntax）中，具有與品質參數相對應的多個品質指示欄位。其中，bitrate欄位為對應於碼率的品質指示欄位，其取值為一個長度為32位元組的不帶正負號的整數；frame_rate欄位為對應於幀率的品質指示欄位，其取值是一個長度為8位元組的不帶正負號的整數。
在本申請的一個實施例中，點雲碼流的品質參數可以包括碼率和幀率中的至少一種。在其他一些可選的實施方式中，品質參數還可以包括解析度、畫質等其他與媒體資源品質相關的參數。
在本申請的一個實施例中，品質指示資訊包括品質真實值、品質等效值和品質等級中的至少一種。
品質真實值為品質參數的參數取值。例如，一個點雲碼流的碼率為10000 bit/s，則可以將品質真實值10000確定為該點雲碼流的品質指示資訊。又例如，一個點雲碼流的幀率為30 fps，則可以將品質真實值30確定為該點雲碼流的品質指示資訊。
品質等效值是將品質參數的參數取值與預設的單位品質參數相比得到的單位品質參數的數量。例如，以400 bit/s作為單位品質參數，一個點雲碼流的碼率為10000 bit/s，則可以將品質等效值10000/400=25作為品質指示資訊。當品質參數的參數取值與預設的單位品質參數之間的比值為小數時，可以對該比值向上取整以確定單位品質參數的數量。
品質等級是用於表示品質參數的參數取值範圍的等級資訊。例如，針對參數碼率，可以預先設定多個不同的碼率數值範圍，每個碼率數值範圍對應一個碼率等級，該碼率等級即為用於表示點雲品質的品質等級。
步驟S630：將點雲碼流封裝為點雲媒體軌道，並向點雲媒體軌道中填充與點雲碼流相對應的品質指示資訊。
每個點雲媒體軌道均具有與之對應的文件封裝資訊，該文件封裝資訊例如可以是將點雲碼流封裝為點雲文件時生成的用於記錄點雲文件相關的解碼配置資料的資料盒，例如可以是GPCC解碼器配置記錄資料盒（GPCCDecoderConfigurationRecord）。在點雲媒體軌道的文件封裝資訊中確定與品質指示資訊相對應的品質指示欄位之後，可以通過引用點雲碼流的指令指示資訊的方式，將與所述點雲碼流相對應的品質指示資訊填充至所述文件封裝資訊中的品質指示欄位。
在本申請的一個實施例中，在將點雲碼流封裝為點雲媒體軌道之後，可以根據資料傳輸需求，生成用於傳輸點雲資料的流媒體信令；該流媒體信令可以是以上實施例中的DASH信令。向流媒體信令中填充與各個點雲碼流相對應的品質指示資訊，填充方式可以是根據點雲媒體軌道的品質參數資訊向DASH信令中的已有欄位進行數值填充。然後向資料接收方發送流媒體信令，以便在資料來源與資料接收方之間進行點雲資料傳輸。
在本申請的一個實施例中，當資料接收方對流媒體信令做出回應後，資料來源可以接收由資料接收方發送的基於流媒體信令生成的資料傳輸請求；根據資料傳輸請求，向資料接收方傳輸點雲文件，點雲文件包括具有相同點雲內容且具有不同點雲品質的點雲媒體軌道。
圖8示出了本申請一個實施例中以碼率作為品質指示資訊進行點雲資料傳輸的步驟流程圖。如圖8所示，伺服器作為生產點雲資料的資料來源，在伺服器與用戶所在用戶端之間進行點雲資料傳輸的方法可以包括如下步驟。
步驟S801：對伺服器上的點雲內容A進行編碼處理，得到對應於兩種不同碼率的點雲碼流S1和S2，根據實際碼流對應填充各個碼流中的bitrate欄位。例如，在點雲碼流S1中，填充bitrate = 10000；在點雲碼流S2中，填充bitrate = 20000。
步驟S802：將S1和S2分別封裝為2個不同的點雲媒體軌道T1和T2，對應填充T1和T2中GPCCDecoderConfigurationRecord資料盒的bitrate欄位。例如，在點雲媒體軌道T1的GPCCDecoderConfigurationRecord資料盒中，填充bitrate = 10000；在點雲媒體軌道T2的GPCCDecoderConfigurationRecord資料盒中，填充bitrate = 20000。
步驟S803：利用DASH信令中已有的bandwidth欄位指示T1和T2的碼率，並分別將DASH信令發送給用戶所在的用戶端C1和C2。
步驟S804：用戶端C1和C2根據網路頻寬和DASH信令中的資訊，請求點雲文件，文件中包含T1和T2。
步驟S805：伺服器分別向用戶端C1和C2傳輸點雲文件。
步驟S806：用戶端接收點雲文件，通過T1和T2中的bitrate欄位資訊以及自身設備能力，選擇解碼可替換組中的點雲媒體軌道並呈現解碼後的點雲資料。例如，C1選擇解碼可替換組中的T1媒體文件並呈現；C2選擇解碼可替換組中的T2媒體文件並呈現。
在本申請實施例中，用戶請求的點雲文件中包含了可替換組內的所有資源，在接收到點雲文件後，可以對傳輸的點雲資料進行選擇性解碼。
圖9示出了本申請一個實施例中以幀率作為品質指示資訊進行點雲資料傳輸的步驟流程圖。如圖9所示，伺服器作為生產點雲資料的資料來源，在伺服器與用戶所在用戶端之間進行點雲資料傳輸的方法可以包括如下步驟。
步驟S901：對伺服器上的點雲內容A進行編碼處理，得到對應於兩種不同碼率的點雲碼流S1和S2，根據實際碼流對應填充各個碼流中的frame_rate欄位。例如，在點雲碼流S1中，填充frame_rate = 30；在點雲碼流S2中，填充frame_rate = 60。
步驟S902：將S1和S2分別封裝為2個不同的點雲媒體軌道T1和T2，對應填充T1和T2中GPCCDecoderConfigurationRecord資料盒的frame_rate欄位。例如，在點雲媒體軌道T1的GPCCDecoderConfigurationRecord資料盒中，填充frame_rate = 30；在點雲媒體軌道T2的GPCCDecoderConfigurationRecord資料盒中，填充frame_rate = 60。
步驟S903：利用DASH信令中已有的frameRate欄位指示T1和T2的幀率，並分別將DASH信令發送給用戶所在的用戶端C1和C2。
步驟S904：用戶端C1和C2根據網路頻寬和DASH信令中的資訊，請求點雲文件。其中，C1請求的文件中包含T1和T2。在一個實施例中，C2請求的文件中僅包含T1。
步驟S905：伺服器分別向用戶端C1和C2傳輸點雲文件。
步驟S906：用戶端接收點雲文件，通過T1和T2中的frameRate欄位資訊以及自身設備能力，選擇解碼可替換組中的點雲媒體軌道並呈現解碼後的點雲資料。例如，C1選擇解碼可替換組中的T2媒體文件並呈現；C2則解碼可替換組中的T1媒體文件並呈現。
在本申請實施例中，用戶請求的點雲文件中可以僅包含可替換組內的部分資源，以達到節省網路頻寬的目的。
在本申請實施例提供的技術方案中，通過在系統層添加若干描述性欄位，包括碼流層面、文件封裝層面的欄位擴展，可以更加明確地指示點雲文件以及各個成分（幾何、屬性等）的品質級別，使得用戶端能夠更加精准地請求對應的點雲文件，也能在解碼呈現時根據用戶端自身的需求和性能條件選擇對應的成分。
應當注意，儘管在附圖中以特定順序描述了本申請中方法的各個步驟，但是，這並非要求或者暗示必須按照該特定順序來執行這些步驟，或是必須執行全部所示的步驟才能實現期望的結果。附加的或備選的，可以省略某些步驟，將多個步驟合併為一個步驟執行，以及/或者將一個步驟分解為多個步驟執行等。
以下介紹本申請的裝置實施例，可以用於執行本申請上述實施例中的點雲編解碼方法。
圖10示意性地示出了本申請實施例提供的點雲解碼裝置的結構方塊圖。如圖10所示，點雲解碼裝置1000可以包括：接收模組1010，被配置為接收由資料來源傳輸的點雲文件，所述點雲文件包括至少一個點雲媒體軌道；解析模組1020，被配置為解析所述至少一個點雲媒體軌道的文件封裝資訊，得到所述文件封裝資訊中攜帶的品質指示資訊，所述品質指示資訊用於表示所述至少一個點雲媒體軌道的點雲品質；解碼模組1030，被配置為根據所述文件封裝資訊中攜帶的品質指示資訊從所述點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。根據本申請實施例，所述接收模組1010接收的點雲文件可以包括具有相同點雲內容且具有不同點雲品質的點雲媒體軌道。
在本申請的一些實施例中，基於以上技術方案，所述接收模組1010包括：信令接收單元，被配置為接收由資料來源發送的用於傳輸點雲資料的流媒體信令；信令解析單元，被配置為解析所述流媒體信令，得到所述流媒體信令中攜帶的至少兩種可供選擇的品質指示資訊；請求發送單元，被配置為根據從所述至少兩種品質指示資訊中選擇的品質指示資訊，向所述資料來源發送資料傳輸請求；文件接收單元，被配置為接收由所述資料來源傳輸的與所述資料傳輸請求相對應的點雲文件。
在本申請的一些實施例中，基於以上技術方案，所述請求發送單元包括：頻寬獲取子單元，被配置為確定與所述資料來源進行資料傳輸的網路頻寬；頻寬匹配子單元，被配置為將所述網路頻寬與所述流媒體信令中攜帶的至少兩種品質指示資訊進行匹配檢測，以選取與所述網路頻寬相匹配的目標點雲品質；請求發送子單元，被配置為向所述資料來源發送根據所述目標點雲品質生成的資料傳輸請求。
在本申請的一些實施例中，基於以上技術方案，所述解析模組1020包括：資訊解析單元，被配置為解析所述至少一個點雲媒體軌道的文件封裝資訊，以確定至少一個與所述點雲媒體軌道的品質參數相關的品質指示欄位；資訊確定單元，被配置為根據所述至少一個品質指示欄位的取值，確定所述點雲媒體文件的品質指示資訊。
在本申請的一些實施例中，基於以上技術方案，所述品質指示資訊包括品質真實值、品質等效值和品質等級中的至少一種；其中，所述品質真實值為所述品質參數的參數取值，所述品質等效值是將所述品質參數的參數取值與預設的單位品質參數相比得到的單位品質參數的數量，所述品質等級是用於表示所述品質參數的參數取值範圍的等級資訊。
在本申請的一些實施例中，基於以上技術方案，所述品質參數包括點雲碼流的碼率和幀率中的至少一種。
圖11示意性地示出了本申請實施例提供的點雲編碼裝置的結構方塊圖。如圖11所示，點雲編碼裝置1100可以包括：編碼模組1110，被配置為按照不同的編碼標準對待傳輸的點雲資料進行編碼處理，得到具有相同點雲內容且具有不同點雲品質的點雲碼流；填充模組1120，被配置為根據所述編碼標準向所述點雲碼流中填充用於表示所述點雲品質的品質指示資訊；封裝模組1130，被配置為將所述點雲碼流封裝為點雲媒體軌道，並向所述點雲媒體軌道中填充與所述點雲碼流相對應的品質指示資訊。
在本申請的一些實施例中，基於以上技術方案，所述點雲編碼裝置1100還包括：信令生成模組，被配置為生成用於傳輸點雲資料的流媒體信令；信令填充模組，被配置為向所述流媒體信令中填充與各個所述點雲碼流相對應的品質指示資訊；信令發送模組，被配置為向資料接收方發送所述流媒體信令。
在本申請的一些實施例中，基於以上技術方案，所述點雲編碼裝置1100還包括：請求接收模組，被配置為接收由所述資料接收方發送的基於所述流媒體信令生成的資料傳輸請求；檔案傳輸模組，被配置為根據所述資料傳輸請求，向所述資料接收方傳輸點雲文件，所述點雲文件包括具有相同點雲內容且具有不同點雲品質的點雲媒體軌道。
在本申請的一些實施例中，基於以上技術方案，所述填充模組1120包括：取值確定單元，被配置為根據所述編碼標準確定所述點雲碼流的品質參數的參數取值，並在所述點雲碼流中確定與所述品質參數相對應的品質指示欄位；第一資訊確定單元，被配置為根據所述品質參數的參數取值確定用於表示所述點雲品質的品質指示資訊；第一資訊填充單元，被配置為根據所述品質參數與所述品質指示欄位的對應關係，將所述品質指示資訊填充至所述品質指示欄位。
在本申請的一些實施例中，基於以上技術方案，所述封裝模組1130包括：第二資訊確定單元，被配置為在所述點雲媒體軌道的文件封裝資訊中確定與所述品質指示資訊相對應的品質指示欄位；第二資訊填充單元，被配置為將與所述點雲碼流相對應的品質指示資訊填充至所述文件封裝資訊中的品質指示欄位。
本申請各實施例中提供的點雲編解碼裝置的具體細節已經在對應的方法實施例中進行了詳細的描述，此處不再贅述。
圖12示意性地示出了用於實現本申請實施例的電子設備的電腦系統結構方塊圖。
需要說明的是，圖12示出的電子設備的電腦系統1200僅是一個示例，不應對本申請實施例的功能和使用範圍帶來任何限制。
如圖12所示，電腦系統1200包括中央處理器1201（Central Processing Unit，CPU），其可以根據儲存在唯讀記憶體1202（Read-Only Memory，ROM）中的程式或者從儲存部分1208載入到隨機存取記憶體1203（Random Access Memory，RAM）中的程式而執行各種適當的動作和處理。在隨機存取記憶體1203中，還儲存有系統操作所需的各種程式和資料。中央處理器1201、在唯讀記憶體1202以及隨機存取記憶體1203通過匯流排1204彼此相連。輸入/輸出介面1205（Input /Output介面，即I/O介面）也連接至匯流排1204。
以下部件連接至輸入/輸出介面1205：包括鍵盤、滑鼠等的輸入部分1206；包括諸如陰極射線管（Cathode Ray Tube，CRT）、液晶顯示器（Liquid Crystal Display，LCD）等以及揚聲器等的輸出部分1207；包括硬碟等的儲存部分1208；以及包括諸如局域網卡、數據機等的網路介面卡的通信部分1209。通信部分1209經由諸如網際網路的網路執行通信處理。驅動器1210也根據需要連接至輸入/輸出介面1205。可拆卸介質1211，諸如磁片、光碟、磁光碟、半導體記憶體等等，根據需要安裝在驅動器1210上，以便於從其上讀出的電腦程式根據需要被安裝入儲存部分1208。
特別地，根據本申請的實施例，各個方法流程圖中所描述的過程可以被實現為電腦軟體程式。例如，本申請的實施例包括一種電腦程式產品，其包括承載在電腦可讀介質上的電腦程式，該電腦程式包含用於執行流程圖所示的方法的程式碼。在這樣的實施例中，該電腦程式可以通過通信部分1209從網路上被下載和安裝，和/或從可拆卸介質1211被安裝。在該電腦程式被中央處理器1201執行時，執行本申請的系統中限定的各種功能。
需要說明的是，本申請實施例所示的電腦可讀介質可以是電腦可讀信號介質或者電腦可讀儲存介質或者是上述兩者的任意組合。電腦可讀儲存介質例如可以是——但不限於——電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任意以上的組合。電腦可讀儲存介質的更具體的例子可以包括但不限於：具有一個或多個導線的電連接、可擕式電腦磁片、硬碟、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、可擦式可程式設計唯讀記憶體（Erasable Programmable Read Only Memory，EPROM）、快閃記憶體、光纖、可擕式緊湊磁片唯讀記憶體（Compact Disc Read-Only Memory，CD-ROM）、光記憶體件、磁記憶體件、或者上述的任意合適的組合。在本申請中，電腦可讀儲存介質可以是任何包含或儲存程式的有形介質，該程式可以被指令執行系統、裝置或者器件使用或者與其結合使用。而在本申請中，電腦可讀信號介質可以包括在基帶中或者作為載波一部分傳播的資料信號，其中承載了電腦可讀的程式碼。這種傳播的資料信號可以採用多種形式，包括但不限於電磁信號、光信號或上述的任意合適的組合。電腦可讀信號介質還可以是電腦可讀儲存介質以外的任何電腦可讀介質，該電腦可讀介質可以發送、傳播或者傳輸用於由指令執行系統、裝置或者器件使用或者與其結合使用的程式。電腦可讀介質上包含的程式碼可以用任何適當的介質傳輸，包括但不限於：無線、有線等等，或者上述的任意合適的組合。
本領域技術人員在考慮說明書及實踐這裡公開的發明後，將容易想到本申請的其它實施方案。本申請旨在涵蓋本申請的任何變型、用途或者適應性變化，這些變型、用途或者適應性變化遵循本申請的一般性原理並包括本申請未公開的本技術領域中的公知常識或慣用技術手段。
以上僅是本申請的示例實施方式，應當指出，對於本技術領域的普通技術人員來說，在不脫離本申請原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本申請的保護範圍。
100:系統架構 110:第一終端裝置 120:第二終端裝置 130:第三終端裝置 140:第四終端裝置 150:網路 201:點雲資料來源 202:未壓縮的點雲資料 203:視頻編碼裝置 204:已編碼的點雲資料 205:伺服器 206,208:用戶端子系統 207:副本點雲資料 209:點雲資料 210:點雲解碼裝置 211:輸出點雲資料 212:顯示器 213:採集子系統 220,230:電子裝置 S310,S320,S330:步驟 400:可替換組 410:第一點雲資料 411:第一幾何成分軌道 412:第一屬性成分軌道 420:第二點雲資料 421:第二幾何成分軌道 422:第二屬性成分軌道 S510,S520,S530,S540:步驟 S610,S620,S630:步驟 S801,S802,S803,S804,S805,S806:步驟 S901,S902,S903,S904,S905,S906:步驟 1000:點雲解碼裝置 1010:接收模組 1020:解析模組 1030:解碼模組 1100:點雲編碼裝置 1110:編碼模組 1120:填充模組 1130:封裝模組 1200:電腦系統 1201:中央處理器 1202:唯讀記憶體 1203:隨機存取記憶體 1204:匯流排 1205:輸入/輸出介面 1206:輸入部分 1207:輸出部分 1208:儲存部分 1209:通信部分 1210:驅動器 1211:可拆卸介質
圖1示出了可以應用本申請實施例的技術方案的示例性系統架構的示意圖。
圖2示出點雲編碼裝置和點雲解碼裝置在資料流環境中的放置方式。
圖3示出了本申請一個實施例中的點雲解碼方法的步驟流程圖。
圖4示出了本申請一個實施例中以多軌道封裝的可替換組示意圖。
圖5示出了本申請一個實施例中從資料來源接收點雲文件的步驟流程圖。
圖6示出了本申請一個實施例中的點雲編碼方法的步驟流程圖。
圖7示出了本申請一個實施例中的GPCC碼流高層語法示意圖。
圖8示出了本申請一個實施例中以碼率作為品質指示資訊進行點雲資料傳輸的步驟流程圖。
圖9示出了本申請一個實施例中以幀率作為品質指示資訊進行點雲資料傳輸的步驟流程圖。
圖10示意性地示出了本申請實施例提供的點雲解碼裝置的結構方塊圖。
圖11示意性地示出了本申請實施例提供的點雲編碼裝置的結構方塊圖。
圖12示意性示出了適於用來實現本申請實施例的電子設備的電腦系統結構方塊圖。。
S310,S320,S330:步驟

Claims (15)

  1. 一種點雲解碼方法，其包括：接收由資料來源傳輸的點雲文件，所述點雲文件包括至少一個點雲媒體軌道；解析所述至少一個點雲媒體軌道的文件封裝資訊，以確定至少一個與所述點雲媒體軌道的品質參數相關的品質指示欄位；根據所述至少一個品質指示欄位的取值，確定所述點雲媒體文件的品質指示資訊，所述品質指示資訊用於表示所述至少一個點雲媒體軌道的點雲品質；以及根據所述文件封裝資訊中攜帶的品質指示資訊，從所述點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。
  2. 根據請求項1所述的點雲解碼方法，其中接收由資料來源傳輸的點雲文件，包括：接收由資料來源發送的用於傳輸點雲資料的流媒體信令；解析所述流媒體信令，得到所述流媒體信令中攜帶的至少兩種可供選擇的品質指示資訊；根據從所述至少兩種品質指示資訊中選擇的品質指示資訊，向所述資料來源發送資料傳輸請求；以及接收由所述資料來源傳輸的與所述資料傳輸請求相對應的點雲文件。
  3. 根據請求項2所述的點雲解碼方法，其中根據從所述至少兩種品質指示資訊中選擇的品質指示資訊，向所述資料來源發送資料傳輸請求，包括：確定與所述資料來源進行資料傳輸的網路頻寬；將所述網路頻寬與所述流媒體信令中攜帶的至少兩種品質指示資訊進行匹配檢測，以選取與所述網路頻寬相匹配的目標點雲品質；以及向所述資料來源發送根據所述目標點雲品質生成的資料傳輸請求。
  4. 根據請求項1所述的點雲解碼方法，其中所述品質指示欄位表示點雲碼流的幀率，其取值是一個長度為8位元組的不帶正負號的整數。
  5. 根據請求項1所述的點雲解碼方法，其中所述品質指示資訊包括品質真實值、品質等效值和品質等級中的至少一種；其中，所述品質真實值為所述品質參數的參數取值，所述品質等效值是將所述品質參數的參數取值與預設的單位品質參數相比得到的單位品質參數的數量，所述品質等級是用於表示所述品質參數的參數取值範圍的等級資訊。
  6. 根據請求項1所述的點雲解碼方法，其中所述品質指示欄位表示點雲碼流的碼率，其取值是一個長度為32位元組的不帶正負號的整數。
  7. 一種點雲編碼方法，其包括：按照不同的編碼標準對待傳輸的點雲資料進行編碼處理，得到具有相同點雲內容且具有不同點雲品質的點雲碼流；根據所述編碼標準向所述點雲碼流中填充用於表示所述點雲品質的品質指示資訊；以及將所述點雲碼流封裝為點雲媒體軌道，並向所述點雲媒體軌道中填充與所述點雲碼流相對應的品質指示資訊。
  8. 根據請求項7所述的點雲編碼方法，其中在將所述點雲碼流封裝為點雲媒體軌道之後，所述方法還包括：生成用於傳輸點雲資料的流媒體信令；向所述流媒體信令中填充與各個所述點雲碼流相對應的品質指示資訊；及向資料接收方發送所述流媒體信令。
  9. 根據請求項8所述的點雲編碼方法，其中在向資料接收方發送所述流媒體信令之後，所述方法還包括：接收由所述資料接收方發送的基於所述流媒體信令生成的資料傳輸請求；以及根據所述資料傳輸請求，向所述資料接收方傳輸點雲文件，所述點雲文件包括具有相同點雲內容且具有不同點雲品質的點雲媒體軌道。
  10. 根據請求項7~9任一項所述的點雲編碼方法，其中根據所述編碼標準向所述點雲碼流中填充用於表示所述點雲品質的品質指示資訊，包括：根據所述編碼標準確定所述點雲碼流的品質參數的參數取值，並在所述點雲碼流中確定與所述品質參數相對應的品質指示欄位；根據所述品質參數的參數取值確定用於表示所述點雲品質的品質指示資訊；以及根據所述品質參數與所述品質指示欄位的對應關係，將所述品質指示資訊填充至所述品質指示欄位。
  11. 根據請求項7~9任一項所述的點雲解碼方法，其中向所述點雲媒體軌道中填充與所述點雲碼流相對應的品質指示資訊，包括：在所述點雲媒體軌道的文件封裝資訊中確定與所述品質指示資訊相對應的品質指示欄位；將與所述點雲碼流相對應的品質指示資訊填充至所述文件封裝資訊中的品質指示欄位。
  12. 一種點雲解碼裝置，其包括：接收模組，被配置為接收由資料來源傳輸的點雲文件，所述點雲文件包括至少一個點雲媒體軌道；解析模組，包括：資訊解析單元，被配置為解析所述至少一個點雲媒體軌道的文件封裝資訊，以確定至少一個與所述點雲媒體軌道的品質參數相關的品質指示欄位；以及資訊確定單元，被配置為根據所述至少一個品質指示欄位的取值，確定所述點雲媒體文件的品質指示資訊，所述品質指示資訊用於表示所述至少一個點雲媒體軌道的點雲品質；以及解碼模組，被配置為根據所述文件封裝資訊中攜帶的品質指示資訊從所述點雲文件中選取並解碼具有指定的點雲品質的點雲媒體軌道。
  13. 一種點雲編碼裝置，其包括：編碼模組，被配置為按照不同的編碼標準對待傳輸的點雲資料進行編碼處理，得到具有相同點雲內容且具有不同點雲品質的點雲碼流；填充模組，被配置為根據所述編碼標準向所述點雲碼流中填充用於表示所述點雲品質的品質指示資訊；以及封裝模組，被配置為將所述點雲碼流封裝為點雲媒體軌道，並向所述點雲媒體軌道中填充與所述點雲碼流相對應的品質指示資訊。
  14. 一種電腦可讀介質，其上儲存有電腦程式，該電腦程式被處理器執行時實現請求項1至11中任意一項所述的方法。
  15. 一種電子設備，其包括：處理器；以及記憶體，用於儲存所述處理器的可執行指令；其中所述處理器配置為經由執行所述可執行指令來執行請求項1至11中任意一項所述的方法。
TW111108451A 2021-03-31 2022-03-08 點雲編解碼方法、裝置、電腦可讀介質及電子設備 TWI806479B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110351657.2A CN115150384B (zh) 2021-03-31 2021-03-31 点云编解码方法、装置、计算机可读介质及电子设备
CN202110351657.2 2021-03-31

Publications (2)

Publication Number Publication Date
TW202241129A TW202241129A (zh) 2022-10-16
TWI806479B true TWI806479B (zh) 2023-06-21

Family

ID=83403648

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111108451A TWI806479B (zh) 2021-03-31 2022-03-08 點雲編解碼方法、裝置、電腦可讀介質及電子設備

Country Status (6)

Country Link
US (1) US20230082784A1 (zh)
JP (1) JP2024506623A (zh)
KR (1) KR20230137459A (zh)
CN (2) CN117176715A (zh)
TW (1) TWI806479B (zh)
WO (1) WO2022206200A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115733576A (zh) * 2021-08-26 2023-03-03 腾讯科技（深圳）有限公司 点云媒体文件的封装与解封装方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327902A (zh) * 2018-12-13 2020-06-23 华为技术有限公司 点云的编解码方法及装置
US20200302632A1 (en) * 2019-03-21 2020-09-24 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11423508B2 (en) * 2018-02-26 2022-08-23 Intel Corporation Method and system of point cloud registration for image processing
US11049266B2 (en) * 2018-07-31 2021-06-29 Intel Corporation Point cloud viewpoint and scalable compression/decompression
CN110971898B (zh) * 2018-09-30 2022-04-22 华为技术有限公司 点云编解码方法和编解码器
EP3905532A4 (en) * 2018-12-28 2022-11-30 Sony Group Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
CN111435991B (zh) * 2019-01-11 2021-09-28 上海交通大学 基于分组的点云码流封装方法和系统
US11457231B2 (en) * 2019-03-15 2022-09-27 Mediatek Singapore Pte. Ltd. Methods and apparatus for signaling spatial relationships for point cloud multimedia data tracks
CN115514972A (zh) * 2019-06-28 2022-12-23 腾讯美国有限责任公司 视频编解码的方法、装置、电子设备及存储介质
US11704867B2 (en) * 2019-09-27 2023-07-18 Intel Corporation Methods for timed metadata priority rank signaling for point clouds
CN112492385A (zh) * 2020-09-30 2021-03-12 中兴通讯股份有限公司 点云数据处理方法、装置、存储介质及电子装置
CN112583803A (zh) * 2020-12-04 2021-03-30 上海交通大学 数据处理方法、装置、通信节点和存储介质
CN113709093B (zh) * 2021-03-15 2023-08-04 上海交通大学 一种三维点云的封装方法、装置及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327902A (zh) * 2018-12-13 2020-06-23 华为技术有限公司 点云的编解码方法及装置
US20200302632A1 (en) * 2019-03-21 2020-09-24 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus, and point cloud data reception method

Also Published As

Publication number Publication date
JP2024506623A (ja) 2024-02-14
WO2022206200A1 (zh) 2022-10-06
CN115150384A (zh) 2022-10-04
KR20230137459A (ko) 2023-10-04
TW202241129A (zh) 2022-10-16
CN117176715A (zh) 2023-12-05
US20230082784A1 (en) 2023-03-16
CN115150384B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
US10389784B2 (en) Method and device for generating a description file, and corresponding streaming method
WO2020109154A1 (en) Method, device, and computer program for encapsulating media data into a media file
CN111869222B (zh) 基于http的dash客户端网元、方法及介质
US20200145716A1 (en) Media information processing method and apparatus
TWI806479B (zh) 點雲編解碼方法、裝置、電腦可讀介質及電子設備
WO2024041239A1 (zh) 一种沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
CN111093091A (zh) 视频处理方法、服务器及系统
TWI803274B (zh) 點雲解碼方法及裝置、點雲編碼方法及裝置以及電子設備
CN116456166A (zh) 媒体数据的数据处理方法及相关设备
CN115150368B (zh) 媒体文件的关联处理方法、装置、介质及电子设备
CN114503569A (zh) 用于实时视频通信的av1编解码器
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
CN118118694A (zh) 点云封装与解封装方法、装置、介质及电子设备
US20240129537A1 (en) Method and apparatus for signaling cmaf switching sets in isobmff
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
CN117221667A (zh) 一种浏览器实时视频解码播放方法和系统
CN116455880A (zh) 流媒体传输方法及相关产品
CN116781675A (zh) 一种点云媒体的数据处理方法、装置、设备及介质