TW202147842A - 點雲品質評估方法、編碼器、解碼器及儲存媒介 - Google Patents

點雲品質評估方法、編碼器、解碼器及儲存媒介 Download PDF

Info

Publication number
TW202147842A
TW202147842A TW110109402A TW110109402A TW202147842A TW 202147842 A TW202147842 A TW 202147842A TW 110109402 A TW110109402 A TW 110109402A TW 110109402 A TW110109402 A TW 110109402A TW 202147842 A TW202147842 A TW 202147842A
Authority
TW
Taiwan
Prior art keywords
point cloud
evaluated
model
parameters
point
Prior art date
Application number
TW110109402A
Other languages
English (en)
Inventor
元輝
劉祺
李明
Original Assignee
大陸商Ｏｐｐｏ廣東移動通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商Ｏｐｐｏ廣東移動通信有限公司 filed Critical 大陸商Ｏｐｐｏ廣東移動通信有限公司
Publication of TW202147842A publication Critical patent/TW202147842A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

一種點雲品質評估方法、編碼器、解碼器及儲存媒介，該方法包括：解析位元流，獲取待評估點雲的特徵參數；確定品質評估模型的模型參數；根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。

Description

點雲品質評估方法、編碼器、解碼器及儲存媒介
本申請涉及影像處理技術領域，尤其涉及一種點雲品質評估方法、編碼器、解碼器及儲存媒介。
在基於影像的點雲壓縮（Video-based Point Cloud Compression，V-PCC）編碼器框架中，點雲失真度量（PC_error）技術是用於衡量點雲客觀品質的參考演算法，該PC_error技術分別計算基於幾何的峰值訊噪比（Peak Signal to Noise Ratio，PSNR）和基於顏色（或稱為屬性）的PSNR，用以表徵幾何和顏色的客觀品質水準。
目前的相關技術方案中，對於點雲的幾何PSNR和顏色PSNR是獨立計算的。但是人眼視覺系統在接受點雲時，幾何和顏色的品質失真是同時獲取並且共同影響最終的人眼視覺體驗，從而導致相關技術方案不能夠準確反映人眼主觀的點雲品質。
本申請提出一種點雲品質評估方法、編碼器、解碼器及儲存媒介，可以簡化主觀品質評估的計算複雜度，同時還能夠提升主觀品質評估的準確性。
為達到上述目的，本申請的技術方案是這樣實現的：
第一方面，本申請實施例提供了一種點雲品質評估方法，應用於解碼器或媒體資料處理設備，該方法包括：
解析位元流，獲取待評估點雲的特徵參數；
確定品質評估模型的模型參數；
根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
在一實施例中，所述計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，包括：獲取所述當前點的第一顏色分量的第一顏色強度值，以及所述至少一個近鄰點的第一顏色分量的第二顏色強度值；計算所述當前點的第一顏色強度值與所述至少一個近鄰點的第二顏色強度值之間差值的絕對值，得到所述當前點與所述至少一個近鄰點的顏色強度差值；根據所述當前點與所述至少一個近鄰點的顏色強度差值以及所述當前點與所述至少一個近鄰點之間的距離值，確定所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值。
在一實施例中，所述計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值，包括：針對所述待評估點雲中的當前非空立體像素塊，獲取所述當前非空立體像素塊內至少一個點的第一顏色分量的第三顏色強度值；計算所述當前非空立體像素塊內至少一個點的第三顏色強度值的加權均值，獲得所述當前非空立體像素塊的顏色強度平均值；針對所述當前非空立體像素塊內至少一個點，利用所述第三顏色強度值與所述當前非空立體像素塊的顏色強度平均值，確定所述至少一個點的顏色標準差；計算所述至少一個點的顏色標準差的加權均值，得到所述當前非空立體像素塊對應的第二特徵值。
在一實施例中，所述方法還包括：從預設的一組或多組候選向量矩陣中，選擇用於確定所述模型參數的所述預設的向量矩陣。
在一實施例中，所述預設常數值是整數。
第二方面，本申請實施例提供了一種點雲品質評估方法，應用於編碼器或媒體資料處理設備，該方法包括：
確定待評估點雲的特徵參數；
確定品質評估模型的模型參數；
根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
在一實施例中，所述計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，包括：獲取所述當前點的第一顏色分量的第一顏色強度值，以及所述至少一個近鄰點的第一顏色分量的第二顏色強度值；計算所述當前點的第一顏色強度值與所述至少一個近鄰點的第二顏色強度值之間差值的絕對值，得到所述當前點與所述至少一個近鄰點的顏色強度差值；根據所述當前點與所述至少一個近鄰點的顏色強度差值以及所述當前點與所述至少一個近鄰點之間的距離值，確定所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值。
在一實施例中，所述計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值，包括：針對所述待評估點雲中的當前非空立體像素塊，獲取所述當前非空立體像素塊內至少一個點的第一顏色分量的第三顏色強度值；計算所述當前非空立體像素塊內至少一個點的第三顏色強度值的加權均值，獲得所述當前非空立體像素塊的顏色強度平均值；針對所述當前非空立體像素塊內至少一個點，利用所述第三顏色強度值與所述當前非空立體像素塊的顏色強度平均值，確定所述至少一個點的顏色標準差；計算所述至少一個點的顏色標準差的加權均值，得到所述當前非空立體像素塊對應的第二特徵值。
在一實施例中，所述方法還包括：從預設的一組或多組候選向量矩陣中，選擇用於確定所述模型參數的所述預設的向量矩陣。
在一實施例中，所述預設常數值是整數。
第三方面，本申請實施例提供了一種解碼器，該解碼器包括解析單元、第一確定單元和第一計算單元；其中，
所述解析單元，配置為解析位元流，獲取待評估點雲的特徵參數；
所述第一確定單元，配置為確定品質評估模型的模型參數；
所述第一計算單元，配置為根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
第四方面，本申請實施例提供了一種解碼器，該解碼器包括第一記憶體和第一處理器；其中，
所述第一記憶體，用於儲存能夠在所述第一處理器上運行的電腦程式；
所述第一處理器，用於在運行所述電腦程式時，執行如第一方面所述的方法。
第五方面，本申請實施例提供了一種編碼器，該編碼器包括第二確定單元和第二計算單元；其中，
所述第二確定單元，配置為確定待評估點雲的特徵參數；
所述第二確定單元，還配置為確定品質評估模型的模型參數；
所述第二計算單元，配置為根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
第六方面，本申請實施例提供了一種編碼器，該編碼器包括第二記憶體和第二處理器；其中，
所述第二記憶體，用於儲存能夠在所述第二處理器上運行的電腦程式；
所述第二處理器，用於在運行所述電腦程式時，執行如第二方面所述的方法。
第七方面，本申請實施例提供了一種電腦儲存媒介，該電腦儲存媒介儲存有電腦程式，所述電腦程式被第一處理器執行時實現如第一方面所述的方法、或者被第二處理器執行時實現如第二方面所述的方法。
本申請實施例所提供的一種點雲品質評估方法、編碼器、解碼器及儲存媒介，在獲取待評估點雲的特徵參數之後，確定品質評估模型的模型參數；根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。這樣，利用品質評估模型可以提升主觀品質評估的準確性；而且在該品質評估模型中，本申請的技術方案只需要使用原始點雲以及從原始點雲中提取的特徵值，不再需要失真點雲以及原始點雲與失真點雲匹配點對等，從而還簡化了主觀品質評估的計算複雜度。
下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述。可以理解的是，此處所描述的具體實施例僅僅用於解釋相關申請，而非對該申請的限定。另外還需要說明的是，為了便於描述，附圖中僅示出了與有關申請相關的部分。
應理解，在逆向工程中透過測量儀器得到的產品外觀表面的點資料集合，可以稱之為點雲（Point Cloud）。通常使用三維座標測量機所得到的點數量比較少，點與點的間距比較大，可以稱為稀疏點雲；而使用三維雷射掃描器或照相式掃描器得到的點雲，點數量比較多而且比較密集，可以稱為密集點雲。這裡，每個點可以包括幾何訊息（比如位置訊息，即x、y、z座標）和屬性訊息（比如顏色訊息，即R、G、B訊息），這樣的描述方式稱之為點雲。
具體來講，相關技術方案通常採用PC_error客觀點雲失真計算技術，該技術是衡量點雲客觀品質的參考演算法。這裡，PC_error技術分別計算幾何的PSNR和顏色的PSNR來表徵幾何和顏色的客觀品質水準，可以分為基於點對點的幾何失真（D1）的幾何PSNR、基於點對面的幾何失真（D2）的幾何PSNR和顏色PSNR等。下面將針對這三方面的PSNR計算進行具體描述。
（1）基於點對點的幾何失真（D1）的幾何PSNR，該計算模型是利用參考點雲與失真點雲匹配點對的幾何座標的距離差來計算幾何均方誤差（Mean Square Error，MSE），然後根據計算得到的MSE計算出幾何PSNR。如圖1所示，具體的實施方式為，令“A”和“B”分別表示參考點雲和壓縮點雲，評估的壓縮誤差為eB,A ，用以表示點雲“B”對於參考點雲“A”的壓縮誤差。這裡，對於壓縮點雲“B”中的每個點bi ，如圖1中白色填充的點所示；標識參考點雲“A”中的對應點aj ，如圖1中黑色填充的點所示；而最近相鄰用於定位相應的點。特別地，K維樹（K Dimension Tree，KD tree）搜索被用於執行最近相鄰搜索，以降低計算複雜度。透過將參考點雲“A”中的對應點aj 關聯到壓縮點雲“B”中的點bi 來確定誤差向量
Figure 02_image001
。這裡，誤差向量的長度是點對點誤差，即如下式所示，
Figure 02_image003
（1）
根據在壓縮點雲“B”中的NB個
Figure 02_image005
點的點對點距離
Figure 02_image007
，這時候整個點雲的D1可以定義如下，
Figure 02_image009
（2）
類似地，
Figure 02_image011
也可以參照上述方式求出，最終的
Figure 02_image013
。
也就是說，基於點對面的幾何失真(D1)的PSNR值的計算如下所示，
Figure 02_image015
（3）
其中，p是MPEG為每個參考點雲預先定義的峰值常數，MSE是點對點（D1）的均方誤差。需要注意的是，以測試序列8iVFB-Long_dress為例，p可以定義為1023；但是不作具體限定。
（2）基於點對面的幾何失真（D2）的幾何PSNR，該計算模型是利用參考點雲與失真點雲的匹配點對的幾何座標的距離差與其對應的法向量的點積來計算幾何MSE，然後根據計算得到的MSE計算出幾何PSNR。仍以圖1為例，具體的實施方式為，沿法線方向Nj 投影誤差向量
Figure 02_image001
，可以獲得新的誤差向量
Figure 02_image017
。這樣，點到面誤差的計算公式如下，
Figure 02_image019
（4）
進一步地，整個點雲的點到面誤差（D2）就可以定義如下，
Figure 02_image021
（5）
類似地，
Figure 02_image023
也可以參照上述方式求出，最終的
Figure 02_image025
。
也就是說，基於點對面的幾何失真（D2）的PSNR值的計算如下所示，
Figure 02_image027
（6）
其中，p是MPEG為每個參考點雲預先定義的峰值常數，MSE是點對面（D2）的均方誤差。這裡，以測試序列8iVFB-Long_dress為例，p也可以定義為1023；但是不作具體限定。
（3）顏色PSNR，該計算模型是利用參考點雲與失真點雲匹配點對的顏色差值來計算顏色MSE，然後根據計算得到的MSE計算出顏色PSNR。這裡，對於有損屬性編碼，顏色PSNR值的計算如下所示，
Figure 02_image029
（7）
需要說明的是，在影像圖像中，一般採用第一顏色分量、第二顏色分量和第三顏色分量來表徵當前點雲中每個點的顏色屬性。其中，在RGB空間中，這三個顏色分量分別為紅色（用R表示）、綠色（用G表示）和藍色（用B表示）；在YUV空間中，這三個顏色分量分別為亮度分量（用Y分量表示）、第一色度分量（用U分量表示）和第二色度分量（用V分量表示）。
這樣，對於顏色屬性，可以計算出三個顏色分量中每個分量的MSE。這裡，使用ITU-R BT.709標準進行從RGB空間到YUV空間的轉換。由於所有測試資料的顏色屬性每個點的位元深度為8位，那麼PSNR計算的峰值p可以為255。
由此，相關技術方案對於點雲的幾何和顏色的PSNR是獨立計算的，然而人眼視覺系統在接受點雲時，幾何和顏色的品質失真是同時獲取並一起對最終的視覺體驗起作用，導致相關技術方案不能夠準確反映人眼主觀的點雲品質。
為了能夠準確預測人眼視覺的點雲品質，本申請實施例提出了一種點雲品質評估方法，在獲取待評估點雲的特徵參數之後，確定品質評估模型的模型參數；根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。這樣，利用品質評估模型可以提升主觀品質評估的準確性；而且在該品質評估模型中，本申請的技術方案只需要使用原始點雲以及從原始點雲中提取的特徵值，不再需要失真點雲以及原始點雲與失真點雲匹配點對等，從而還簡化了主觀品質評估的計算複雜度。
還需要指出的是，為了獲得良好的視覺品質，需要足夠密度的點雲，這就帶來了大量的點雲資料。目前，動態影像專家群（Moving Pictures Expert Group，MPEG）提出了點雲壓縮的兩種技術，一種是基於影像的點雲壓縮（Video-based Point Cloud Compression，V-PCC）技術，另一種是基於幾何的點雲壓縮（Geometry-based Point Cloud Compression，G-PCC）技術；其中，本申請實施例將以V-PCC技術為例進行詳細描述。
V-PCC的主要理念是利用現有的影像編解碼來壓縮動態點雲的幾何訊息和顏色訊息。如圖2所示，其示出了本申請實施例提供的一種V-PCC編碼流程的框架示意圖。在圖2中，該V-PCC編碼流程框架應用於點雲編碼器中。針對輸入的三維點雲（Three Dimensional Point Cloud，3DPC），先透過修補（patch）分解，以生成一組patch；這些patch可以透過簡單的正交投影獨立地映射到二維網格中，而不會遭受自動遮擋，也不需要對點雲幾何重新採樣。進一步地，透過打包過程將提取的patch映射到二維網路上，用以生成佔用圖；其中，佔用圖由二進位映射組成，該二進位映射指示網格的每個單元是屬於空白空間還是屬於點雲。然後利用patch訊息和佔用圖訊息等生成幾何圖像和顏色圖像；並且對幾何圖像和顏色圖像經過圖像填充後，獲得填充幾何圖像和填充顏色圖像；這裡，填充過程旨在填充patch之間的空白空間，以嘗試生成可能更適合於影像編碼的分段平滑圖像；而且平滑過程旨在緩解由於壓縮失真而可能在patch邊界處出現的潛在不連續性，點雲幾何重建過程利用佔用圖訊息以便檢測幾何圖像中的非空像素。使用現有的視訊轉碼器，比如H.265/高效率影像編碼（High Efficiency Video Coding，HEVC）進行視訊壓縮後，得到壓縮幾何影像和壓縮顏色影像。另外，佔用圖和輔助patch訊息也將會分別被壓縮，以得到壓縮佔用圖和壓縮輔助patch訊息；然後將這些壓縮訊息多工在一起，以生成最終點雲V-PCC的壓縮位元流。
也就是說，如圖2所示的V-PCC編碼流程框架，其基本原理是利用用於點雲壓縮的視訊轉碼器。針對輸入的三維點雲，基本上是透過將三維點雲序列中的每個點雲patch分解為一組patch來實現的，這些patch獨立地映射到由均勻塊組成的二維網格中。然後使用該映射將幾何訊息和顏色訊息對應儲存為一個幾何圖像和一個顏色圖像。然後，使用現有的視訊轉碼器，比如H.265/HEVC，分別壓縮對應於動態點雲的幾何圖像序列和彩色圖像序列。最後，使用幾何影像和彩色影像以及中繼資料（二維網格的佔用圖、輔助patch/塊訊息等）來重建動態三維點雲。其中，壓縮三維點雲的位元流可以由幾何訊息和顏色訊息兩部分組成。對於給定的平臺，每個部分的大小由量化參數控制，量化參數可以接受大量的值；同時，量化將會引入失真，從而影響重建品質。
如圖3所示，其示出了本申請實施例提供的一種V-PCC解碼流程的框架示意圖。在圖3中，該V-PCC解碼流程框架應用於點雲解碼器中。點雲解碼器獲取到壓縮位元流之後，首先經過解多工將其分離為壓縮幾何影像、壓縮顏色影像、壓縮佔用圖和壓縮輔助patch訊息等，然後壓縮幾何影像和壓縮顏色影像透過影像解壓縮處理，以得到解壓縮幾何影像和解壓縮顏色影像；壓縮佔用圖透過佔用圖解壓縮處理，以得到解壓縮佔用圖；壓縮輔助patch訊息透過輔助patch訊息解壓縮處理，以得到解壓縮輔助patch訊息，再依次經過幾何重建及平滑處理和顏色重建等，可以還原出點雲編碼器所輸入的三維點雲。
這裡，本申請實施例提供的一種點雲品質評估方法既可以適用於點雲編碼器，也可以適用於點雲解碼器，甚至還可以同時適用於點雲編碼器和點雲解碼器。這樣，如果在點雲編碼器中能夠透過本申請實施例提供的點雲品質評估方法得到一個較好的預測效果；那麼，對應地，在點雲解碼器中，也可以得到一個較好的預測效果。
基於此，下面結合附圖和實施例對本申請的技術方案進一步詳細闡述。在進行詳細闡述之前，需要說明的是，說明書通篇中提到的“第一”、“第二”、“第三”等，僅僅是為了區分不同的特徵，不具有限定優先順序、先後順序、大小關係等功能。
本申請實施例提供一種點雲品質評估方法，該方法應用於點雲解碼器，可簡稱為解碼器。該方法所實現的功能可以透過解碼器中的第一處理器調用電腦程式來實現，當然電腦程式可以保存在第一記憶體中，可見，該解碼器至少包括第一處理器和第一記憶體。
參見圖4，其示出了本申請實施例一種點雲品質評估方法的流程示意圖。如圖4所示，該方法可以包括：
S401：解析位元流，獲取待評估點雲的特徵參數。
需要說明的是，本申請實施例的點雲品質評估方法可以應用於解碼器，也可以應用於媒體資料處理設備。實際應用中，比如在網路優化、品質評估等發生在網路中的媒體資料處理設備，例如內容傳遞網路（Content Delivery Network，CDN）等，本申請實施例不局限于傳統用戶側使用的、且包含解碼器的播放設備，還可以是包含解碼器的其他設備，這裡不作任何限定。
還需要說明的是，在點雲中，點可以是點雲中的所有點，也可以是點雲中的部分點，這些點在空間上相對集中。
在一些實施例中，所述待評估點雲的特徵參數可以包括所述待評估點雲的量化參數；其中，所述量化參數可以包括所述待評估點雲的幾何量化參數和顏色量化參數。
這裡，幾何量化參數可以用QSg表示，用於指示幾何影像序列的量化步長值；顏色量化參數可以用QSc表示，用於指示顏色/屬性影像序列的量化步長值。
在本申請實施例中，無論是幾何量化參數還是顏色量化參數，在編碼器側是根據編碼參數確定的；只要編碼參數確定之後，就可以獲得幾何量化參數和顏色量化參數，並且將這兩個參數寫入位元流；從而在解碼器側透過解析位元流，就可以獲知這兩個參數，以便後續對待評估點雲的主觀品質進行評估。
S402：確定品質評估模型的模型參數。
在本申請實施例中，為了能夠準確預測人眼視覺的點雲品質，首先可以使用高品質的原始點雲生成的不同級別的失真點雲，使用雙刺激損傷尺度（Double Stimulus Impairment Scale，DSIS）主觀測試方式構建全面有效的點雲主觀品質測試資料集，然後在此資料集的基礎上提出了簡單有效的點雲主觀品質評估模型，可簡稱為品質評估模型。這裡，品質評估模型可以表徵根據模型參數對待評估點雲的主觀品質進行評估。
也就是說，首先需要建立主觀品質測試資料集。在一些實施例中，所述建立主觀品質測試資料集，可以包括：
獲取至少一個參考點雲；
利用量化參數的不同取值對所述至少一個參考點雲中每一參考點雲進行壓縮，得到每一參考點雲對應的多個失真點雲；
基於所述至少一個參考點雲以及所得到的多個失真點雲各自的觀測資料，獲得所述主觀品質測試資料集。
示例性地，從滑鐵盧點雲資料集（waterloo point cloud data set）中選取了16個高品質的原始點雲（即參考點雲），點雲內容可以包括水果，蔬菜，點心等。這些參考點雲使用V-PCC的第7版本測試模組進行壓縮以獲取失真點雲。其中，對於每一參考點雲而言，透過設置5個幾何量化參數（比如26、32、38、44和50）和5個顏色量化參數（比如26、32、38、44和50）共產生25個級別的失真點雲。為了顯示三維點雲與二維影像盡可能的完整，依次選擇半徑為5000的水平圓和垂直圓作為虛擬攝影機路徑，並且圓心位於物件的幾何中心，且在圍繞參考點雲和失真點雲的這些圓上每旋轉兩個度產生一個視點，從而為每個點雲可以生成360個圖像幀。然後，將失真點雲的片段及其參考點雲的片段水平連接到一個10秒的影像序列中進行演示。30名測試者（15男和15女）坐在螢幕前距離螢幕約2倍螢幕高度的距離，首先進行訓練會話，對失真點雲的各個水平提前觀測以熟悉點雲從差到好的各個水平的點雲品質。然後進行正式的測試會話。測試會話採用DSIS方法進行主觀測試，原始參考點雲和失真點雲片段水平在螢幕同時呈現，觀測者透過對比兩者的差別對失真程度進行評估，並給出0-100範圍內的分數平均意見分數（Mean Opinion Score，MOS）；這裡，MOS分數越高，代表主觀品質越好。觀測者一共需要觀測2個小時，測試400個資料，分4個測試會話，每連續2個測試會話期間休息5分鐘。最終30個觀測者的400個測試資料進行匯總，觀測者的平均MOS分數作為每個觀測資料的最終MOS分數。如此我們就可以得到點雲的主觀品質測試資料集，並將該資料集內的資料作為後續建立品質評估模型的參考標準（ground truth）。
這樣，在預先建立主觀品質測試資料集之後，可以根據該主觀品質測試資料集構建品質評估模型。假定將變數（100-MOS）定義為MOS的補償值，用
Figure 02_image031
來表示，那麼根據主觀品質測試資料集內的測試資料可以得到點雲主觀品質評估模型，即本申請實施例所述的品質評估模型如下所示，
Figure 02_image033
（8）
其中，
Figure 02_image035
分別表示幾何量化參數和顏色量化參數，用於指示幾何影像序列和顏色影像序列的量化步長值；p1、p2和p3表示模型參數。在主觀品質測試資料集中，擬合後的品質評估模型的準確率如下表1所示。
表1
Point Cloud p1 p2 p3 SCC RMSE
Bag 0.223 0.183 6.342 0.949 4.954
Banana 0.247 0.08 23.601 0.902 6.336
Biscuits 0.143 0.156 12.072 0.927 4.387
Cake 0.241 0.125 10.489 0.938 5.153
Cauliflower 0.246 0.177 9.773 0.916 6.782
Flowerpot 0.291 0.075 16.212 0.877 8.339
House 0.22 0.269 3.597 0.93 7.059
Litchi 0.195 0.266 3.874 0.914 7.488
Mushroom 0.164 0.225 18.579 0.89 7.262
Ping-pong_bat 0.24 0.221 14.24 0.872 9.243
Puer_tea 0.124 0.297 11.921 0.948 5.568
Pumpkin 0.131 0.223 7.424 0.939 4.898
Ship 0.268 0.068 16.756 0.91 6.438
Statue 0.254 0.142 18.777 0.852 9.011
Stone 0.17 0.291 4.555 0.945 6.026
Tool_box 0.117 0.266 15.152 0.914 6.63
Average - - - 0.914 6.598
在表1中，p1、p2、p3是根據主觀品質測試資料集擬合的模型參數，相關係數平方（Squared Correlation Coefficient，SCC）表示根據式（8）預測得到的MOS值和實際測試的MOS值之間的相關性，用以衡量預測MOS值與實際MOS值之間的偏差；均方根誤差（Root Mean Square Error，RMSE）表示根據式（8）預測得到的MOS值和實際測試的MOS值的均方根誤差，用以衡量預測MOS值與實際MOS值之間的偏差。
其中，SCC越接近於1，表明預測MOS值與實際MOS值之間的偏差越小，這時候預測準確度越高，主觀品質觀測效果越好；反之，SCC越偏離於1，表明預測MOS值與實際MOS值之間的偏差越大，這時候預測準確度越低，主觀品質觀測效果越差。對於RMSE而言，RMSE的值越小，表明預測MOS值與實際MOS值之間的偏差越小，這時候預測準確度越高，主觀品質觀測效果越好；反之，RMSE的值越大，表明預測MOS值與實際MOS值之間的偏差越大，這時候預測準確度越低，主觀品質觀測效果越差。
也就是說，表1示出了在擬合模型參數之後，利用品質評估模型所預測的MOS值與實際MOS值之間的誤差。根據表1的內容可知，SCC的值基本上都比較高，而且RMSE的值偏低，表明了利用式（8）所預測MOS值的準確度很高，即該品質評估模型的預測誤差小。
還需要說明的是，模型參數是指構建品質評估模型所使用的模型係數。通常而言，模型參數可以包括有多個，比如第一模型參數（用p1表示）、第二模型參數（用p2表示）和第三模型參數（用p3表示）。
對於模型參數的確定，下面可以透過幾種實施方式進行描述。
在一種可能的實施方式中，可以利用主觀品質測試資料集的擬合方式確定。所述確定品質評估模型的模型參數，可以包括：
獲取主觀品質測試資料集；
基於所述主觀品質測試資料集，擬合模型參數函數；其中，所述模型參數函數用於反映模型參數與特徵參數之間的對應關係；
根據所獲取的特徵參數以及所述模型參數函數，計算所述模型參數。
需要說明的是，特徵參數以QSg和QSc為例，主觀品質測試資料集是預先建立的，而且主觀品質測試資料集至少包括有多個失真點雲以及每一失真點雲對應的QSg、QSc以及實際MOS值。在獲取到主觀品質測試資料集之後，可以擬合出模型參數函數；這時候的模型參數函數反映了模型參數與QSg和QSc之間的對應關係。針對某一待評估點雲，在獲知QSg和QSc之後，根據模型參數函數就可以得到擬合後的模型參數，如表1所示的p1、p2、p3。然後再根據式（8）所示的品質評估模型，還能夠預測得到該點雲的MOS值。
在另一種可能的實施方式中，模型參數並不一定需要當場計算得到，也可以是預先得到的備用資料。所述確定品質評估模型的模型參數，可以包括：
從預設的一組或多組候選品質評估模型參數中，選擇用於所述待評估點雲的模型參數。
也就是說，在解碼器或者媒體資料處理設備中，預先儲存有一組或多組候選品質評估模型參數。這時候可以直接從這預設的一組或多組候選品質評估模型參數中，選擇出用於待評估點雲的模型參數，以得到品質評估模型。
進一步地，為了使得上述的品質評估模型能夠在實際的編碼器或者解碼器中使用，本申請實施例還提出了基於特徵的模型參數的預測方式。
在又一種可能的實施方式中，可以基於點雲提取的特徵來確定模型參數。具體地，預測模型參數主要使用到兩個原始點雲特徵，包括：第一特徵為關於幾何距離上的色彩波動（Color Fluctuation in Geometric Distance，CFGD）的特徵，第二特徵為關於色塊平均方差（Color Block Mean Variance，CBMV）的特徵，以確定出模型參數。如圖5所示，該方法可以包括：
S501：利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值；
需要說明的是，第一計算子模型表徵對待評估點雲提取與幾何距離上的色彩波動相關的特徵值。這裡，可以使用單位距離上與領域N個近鄰點顏色強度差的平均值作為點雲的第一特徵值，即CFGD值。其中，N為大於0的整數，比如N等於7，但是不作具體限定。
針對第一特徵值的提取，在一些實施例中，所述利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值，可以包括：
計算所述待評估點雲中一個或多個點對應的第一特徵值；
對所述一個或多個點對應的第一特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第一特徵值。
進一步地，所述計算所述待評估點雲中一個或多個點對應的第一特徵值，可以包括：
針對所述待評估點雲中的當前點，確定與所述當前點關聯的近鄰點集合；其中，所述近鄰點集合內包括至少一個近鄰點；
針對所述近鄰點集合，計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，以得到至少一個單位距離上的顏色強度差值；
計算所述至少一個單位距離上的顏色強度差值的加權均值，得到所述當前點對應的第一特徵值。
進一步地，所述計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，可以包括：
獲取所述當前點的第一顏色分量的第一顏色強度值，以及所述至少一個近鄰點的第一顏色分量的第二顏色強度值；
計算所述當前點的第一顏色強度值與所述至少一個近鄰點的第二顏色強度值之間差值的絕對值，得到所述當前點與所述至少一個近鄰點的顏色強度差值；
根據所述當前點與所述至少一個近鄰點的顏色強度差值以及所述當前點與所述至少一個近鄰點之間的距離值，獲得所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值。
需要說明的是，在本申請實施例中，針對待評估點雲的資料，比如當前點的第一顏色強度值、近鄰點的第一顏色強度值等，在解碼器側，這些資料均可以透過解析位元流或者解碼該位元流來獲得。
還需要說明的是，針對加權均值而言，權重值可以相同，也可以不相同。在權重值相同的情況下，可以是看作是求取平均值，即等權重值的平均值屬於一種特殊的加權均值。
也就是說，如圖6所示，p0為當前的待計算點，p1、p2、…、p7是表示與p0點最鄰近的N個點，這裡，N等於7。首先計算當前的待計算點與這N個近鄰點在相鄰的幾何歐式距離上的顏色強度絕對差值的平均值作為當前待計算點對應的CFGD值，然後再對整個點雲中多個點對應的CFGD值進行均值計算，將所得到的均值確定為該點雲的CFGD值。這裡，整個點雲的CFGD具體的計算公式如下所示，
Figure 02_image037
（9）
其中，
Figure 02_image039
表示待評估點雲，S表示點
Figure 02_image041
的近鄰點集合，T表示該點雲中點的個數，N表示點
Figure 02_image041
的近鄰點集合中近鄰點的個數。
Figure 02_image043
表示點
Figure 02_image045
的顏色屬性中第一顏色分量的數值，
Figure 02_image047
表示點
Figure 02_image049
的顏色屬性中第一顏色分量的數值，
Figure 02_image051
表示點
Figure 02_image045
和點
Figure 02_image053
之間的距離，
Figure 02_image055
表示點
Figure 02_image041
與點
Figure 02_image049
在單位距離上的顏色強度絕對差值。
還需要注意的是，這裡的距離可以是幾何歐式距離，也可以是根據莫頓碼計算得到的距離等，本申請實施例不作限定；另外，第一顏色分量可以為Y分量，但是也可以擴展為U分量或者V分量等，本申請實施例也不作限定。
S502：利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值；
需要說明的是，第二計算子模型表徵對所述待評估點雲提取與色塊平均方差相關的特徵值。這裡，可以使用非空立體像素塊內所有點的顏色標準差的均值作為點雲的第二特徵值，即CBMV值。
針對第二特徵值的提取，在一些實施例中，所述利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值，可以包括：
計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值；
對所述一個或多個非空立體像素塊對應的第二特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第二特徵值。
進一步地，所述計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值，可以包括：
針對所述待評估點雲中的當前非空立體像素塊，獲取所述當前非空立體像素塊內至少一個點的第一顏色分量的第三顏色強度值；
計算所述當前非空立體像素塊內至少一個點的第三顏色強度值的加權均值，獲得所述當前非空立體像素塊的顏色強度平均值；
針對所述當前非空立體像素塊內至少一個點，利用所述第三顏色強度值與所述當前非空立體像素塊的顏色強度平均值，確定所述至少一個點的顏色標準差；
計算所述至少一個點的顏色標準差的加權均值，得到所述當前非空立體像素塊對應的第二特徵值。
需要說明的是，非空立體像素塊表示該立體像素塊內至少包括至少一個點。另外，在本申請實施例中，針對待評估點雲的資料，比如當前非空立體像素塊內至少一個點的第三顏色強度值等，在解碼器側，這些資料也可以透過解析位元流或者解碼該位元流來獲得。
還需要說明的是，如圖7所示，整個點雲首先被劃分成多個H×W×L的立體像素塊，這裡，H、W、L為大於0的整數，比如被劃分為8×8×8的立體像素塊。白色框內表示的是第i個非空立體像素塊，
Figure 02_image057
表示非空立體像素塊內所有的點。那麼整個點雲的CBMV具體的計算公式如下所示，
Figure 02_image059
（10）
其中，K表示點雲中非空立體像素塊（即該立體像素塊中至少含有一個點雲中的點）的個數，M表示第i個非空立體像素塊中所有點的個數，
Figure 02_image061
表示第
Figure 02_image063
個點的顏色屬性中第一顏色分量的數值，
Figure 02_image065
表示非空立體像素塊中所有點的第一顏色分量的平均值；這裡，
Figure 02_image067
表示第i個非空立體像素塊內第
Figure 02_image063
個點的顏色標準差。
這樣，根據式（9）可以計算出待評估點雲的第一特徵值（即CFGD值），根據式（10）可以計算出待評估點雲的第二特徵值（即CBMV值）。
S503：根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數。
需要說明的是，在S503之前，首先需要獲取預設的向量矩陣。在一些實施例中，該方法還可以包括：
獲取主觀品質測試資料集；
對所述主觀品質測試資料集進行訓練，得到所述預設的向量矩陣。
這裡，預設的向量矩陣也是根據主觀品質測試資料集得到的。具體來講，在得到主觀品質測試資料集之後，透過對主觀品質測試資料集進行訓練，可以得到預設的向量矩陣。假定H表示預設的向量矩陣，那麼基於主觀品質測試資料集可以訓練得到該向量矩陣的值如下，
Figure 02_image069
（11）
還需要說明的是，由於預設的向量矩陣是基於大量測試資料訓練得到的，不同的點雲都可以使用如式（11）所示的向量矩陣。
這樣，在得到預設的向量矩陣之後，同時結合上述的兩個特徵值，可以確定出模型參數。在一些實施例中，對於S503來說，所述根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數，可以包括：
基於預設常數值、所述第一特徵值和所述第二特徵值，建構特徵向量；
對所述特徵向量與所述預設的向量矩陣進行乘法運算，得到模型參數向量；其中，所述模型參數向量包括第一模型參數、第二模型參數和第三模型參數；
將所述第一模型參數、所述第二模型參數和所述第三模型參數確定為所述模型參數。
進一步地，在一些實施例中，預設常數值是整數。通常而言，預設常數值可以等於1，但是不作具體限定。
也就是說，從待評估點雲中提取到CFGD和CBMV兩個特徵值後，分別用f1、f2兩個變數進行標記；這裡，第一特徵值f1、第二特徵值f2和預設常數值1，可以組成1×3的矩陣，即行向量，用特徵向量F表示，
Figure 02_image071
。另外，模型參數p1、p2和p3，也可以組成1×3的矩陣，用模型參數向量P表示，
Figure 02_image073
。而預設的向量矩陣為H，那麼模型參數向量P的計算方式如下所示，
Figure 02_image075
（12）
還需要說明的是，假定已知一個特定的點雲品質測試資料集，可以先透過擬合方式確定出模型參數；然後再利用式（9）和式（10）提取出兩個特徵值，以組成特徵向量，這樣根據式（12）就也能夠得到預設的向量矩陣。
如此，在從待評估點雲中提取到CFGD和CBMV兩個特徵值後，由於H為預設的向量矩陣，那麼根據式（12）就可以確定出模型參數，以便後續利用品質評估模型計算待評估點雲的MOS值。
S403：根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
需要說明的是，品質評估模型可以看作是模型參數、特徵參數和主觀品質測度值（即MOS值）之間具有對應關係。由於特徵參數可以為包括有
Figure 02_image077
和
Figure 02_image079
的量化參數，那麼品質評估模型也可以看作是模型參數、
Figure 02_image077
、
Figure 02_image079
和主觀品質測度值之間具有對應關係，該對應關係如式（8）所示。如此，在確定出模型參數、
Figure 02_image077
和
Figure 02_image079
之後，就能夠根據品質評估模型確定出待評估點雲的主觀品質測度值。
在一些實施例中，品質評估模型還可以為更複雜的形式。這時候，模型參數包括有四個，分別用a、b、c、d表示；該品質評估模型如下所示，
Figure 02_image081
（13）
與式（8）相比，多增加了一項
Figure 02_image083
的交叉項，同步也增加了一個模型參數，從而形式上更為複雜，準確度上可能有所提高，但是在確定模型參數方面會引入更大的難度。由於越複雜的形式在實際應用中的難度越大，因此本申請實施例優先選用式（8）所示的品質評估模型。
此外，本申請實施例所提出的品質評估模型，不只可以應用到碼率控制領域，也可以應用到編碼參數優化、點雲資料後處理過程中的資料增強等領域。
具體地，（1）在碼率控制（Rate Control，RC）領域，可以利用該點雲品質評估方法建立位元率失真（Rate-Distortion，R-D）模型，它包括有碼率模型和失真模型，比如用於失真度量等。其應用的計算公式如下，
Figure 02_image085
（14）
Figure 02_image087
（15）
其中，RT 表示目的碼率，式（14）或式（15）所得到的MOSC 結果為最小值，該MOSC 結果最小，表明了MOS值最大，即主觀品質最好。也就是說，如果有多種碼率選擇，這時候碼率控制所使用的碼率需要小於或等於目的碼率，同時還需要獲得最好的主觀品質。
（2）在編碼參數優化領域，可以根據式（8）所示的品質評估模型來選擇合適的幾何量化參數（
Figure 02_image089
）和顏色量化參數（
Figure 02_image091
），以此來獲得所需求的點雲品質。
（3）在點雲資料後處理過程中的資料增強領域，可以採取一定的資料增強演算法對點雲進行處理後，透過比較根據品質評估模型預測到的點雲品質與所需求的點雲品質，當預測到的點雲品質不小於所需求的點雲品質時，增強演算法就可以停止繼續增強的策略。或者，在構建主觀品質測試資料集中，針對大量資料進行深度學習的過程中，這時候根據品質評估模型可以選擇高品質、中品質、低品質等三個等級測試序列作為點雲品質的目標資料進行增強處理，以獲得所需求的點雲品質。
除此之外，本申請實施例所提出的品質評估模型在得到主觀品質測度值之後，該主觀品質測度值還可以用於解碼器側的網路優化。
（1）對於網路中的媒體資料處理設備，根據所述的主觀品質測度值，能夠對網路參數進行優化。例如，調整包含點雲位元流資料的傳輸單元的優先順序、路由表等。
（2）對於使用者側的播放設備，例如，可以將所述的主觀品質測度值（或主觀品質測度值的映射值）回饋給網路中的媒體資料處理設備，然後由媒體資料處理設備根據使用者回饋的主觀品質測度值對傳輸網路進行網路優化。
（3）對於使用者側的播放設備，例如，可以根據所述的主觀品質測度值（或主觀品質測度值的映射值），調整該播放設備的後處理單元參數，對解碼該位元流後獲得的點雲進行增強（比如後處理濾波等，可參考圖像/影像後處理過程）。
總之，本申請實施例為了獲得更有效的品質評估模型，首先基於現有的V-PCC編碼器建立了一個全面有效的點雲主觀測試資料集。在這個資料集上進一步構建一個更為準確且簡單的品質評估模型。為了使得該品質評估模型在實際應用領域中得到廣泛應用，這時候還可以在原始點雲中提取幾何距離上的色彩波動和色塊平均方差等兩個特徵值，並和預設常數值1組成了特徵向量F，從而使用式（12）所示的
Figure 02_image075
，就可以預測出模型參數。
在本申請實施例中，根據式（8）所示的品質評估模型，在點雲主觀測試資料集的測試序列進行測試。其中，皮爾森相關係數（Pearson Linear Correlation Coefficient，PLCC）是用來衡量兩個資料集合是否在一條線上面，即用來衡量定距變數間的線性關係；而斯皮爾曼等級相關係數（Spearman Rank-order Correlation Coefficient，SRCC）是用來反映兩組變數之間聯繫的密切程度，又稱之為“等級差數法”；也就是說，本申請實施例中，PLCC和SRCC都是用於反映根據品質評估模型預測得到的MOS值和實際MOS值之間的一致性。
這裡，根據相關技術方案中V-PCC使用的PC_error技術，可以得到Y分量的PSNR與MOS值的PLCC和SRCC僅僅是0.3956和0.3926；而基於式（8）所示的品質評估模型，在PLCC和SRCC資料上已經分別達到了0.9167和0.9174，如表2所示；這一資料明顯說明了本申請的方案提升了主觀品質評估的準確性。另外，相關技術方案中的PC_error技術計算Y分量的PSNR需要使用到原始點雲和編碼/解碼後的失真點雲，點雲的需求量大；而本申請提出的品質評估模型，只需要原始點雲以及從原始點雲中提取的兩個特徵值，不再需要失真點雲以及原始點雲與失真點雲匹配點對等，從而還簡化了主觀品質評估的計算複雜度。
表2
Model Type Model PLCC SRCC RMSE
FR PSNRY 0.3956 0.3926 20.2058
RR proposed algorithm 0.9167 0.9174 8.7933
其中，FR為全參考（Full Reference，FR）方法，RR表示部分參考（Reduced Reference，RR）方法。這裡，FR即是相關技術方案所採用的方法，RR即是本申請實施例所採用的方法。從表2中，明顯看出本申請實施例的PLCC和SRCC遠高於相關技術方案的PLCC和SRCC，而本申請實施例的RMSE遠低於相關技術方案的RMSE，表明了本申請實施例下主觀品質評估的準確度高。
本申請實施例提出了一種點雲品質評估方法，應用於解碼器或媒體資料處理設備。透過解析位元流，獲取待評估點雲的特徵參數；確定品質評估模型的模型參數；根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。這樣，利用品質評估模型可以提升主觀品質評估的準確性；而且在該品質評估模型中，本申請的技術方案只需要使用原始點雲以及從原始點雲中提取的特徵值，不再需要失真點雲以及原始點雲與失真點雲匹配點對等，從而還簡化了主觀品質評估的計算複雜度。
本申請實施例提供一種點雲品質評估方法，該方法應用於點雲編碼器，即編碼器。該方法所實現的功能可以透過編碼器中的第二處理器調用電腦程式來實現，當然電腦程式可以保存在第二記憶體中，可見，該編碼器至少包括第二處理器和第二記憶體。
參見圖8，其示出了本申請實施例又一種點雲品質評估方法的流程示意圖。如圖8所示，該方法可以包括：
S801：確定待評估點雲的特徵參數。
需要說明的是，本申請實施例的點雲品質評估方法可以應用於編碼器，也可以應用於媒體資料處理設備。實際應用中，比如在網路優化、品質評估等發生在網路中的媒體資料處理設備，例如內容傳遞網路（Content Delivery Network，CDN）等，本申請實施例不局限于傳統用戶側使用的、且包含編碼器的播放設備，還可以是包含編碼器的其他設備，這裡不作任何限定。
還需要說明的是，在點雲中，點可以是點雲中的所有點，也可以是點雲中的部分點，這些點在空間上相對集中。
在一些實施例中，所述待評估點雲的特徵參數可以包括所述待評估點雲的量化參數；其中，所述量化參數可以包括所述待評估點雲的幾何量化參數和顏色量化參數。
這裡，幾何量化參數可以用QSg表示，用於指示幾何影像序列的量化步長值；顏色量化參數可以用QSc表示，用於指示顏色/屬性影像序列的量化步長值。
另外，無論是幾何量化參數還是顏色量化參數，在編碼器側是根據編碼參數確定的。在一些實施例中，對於S801來說，所述確定待評估點雲的特徵參數，可以包括：
獲取所述待評估點雲的預編碼參數；
根據所述預編碼參數以及預設查閱資料表，確定所述待評估點雲的特徵參數；其中，所述預設查閱資料表用於反映編碼參數與特徵參數之間的對應關係。
進一步地，所述獲取所述待評估點雲的預編碼參數，可以包括：
利用多種預測模式對所述當前塊進行預編碼處理，獲得每一種預測模式對應的位元率失真代價值；其中，不同的預測模式對應不同的編碼參數
從所獲得的多個位元率失真代價值中選擇最小位元率失真代價值，將所述最小位元率失真代價值對應的編碼參數確定為所述預編碼參數。
需要說明的是，在編碼器側，針對預編碼參數的確定，可以採用簡單的決策策略，比如根據失真值的大小進行確定；也可以採用複雜的決策策略，比如根據位元率失真最佳化（Rate Distortion Optimization，RDO）的結果進行確定，本申請實施例不作任何限定。通常而言，可以採用RDO方式來確定當前塊的預編碼參數。
這樣，由於編碼器中儲存有預設查閱資料表，該預設查閱資料表用於反映編碼參數與特徵參數之間的對應關係。特徵參數以QSg和QSc為例，該預設查閱資料表也可以用於反映編碼參數與QSg和QSc之間的對應關係；如此，在確定出本次的預編碼參數後，可以從預設查閱資料表中查找與所述預編碼參數對應的QSg和QSc，這時候查找出的QSg和QSc即為所述待評估點雲的特徵參數，以便後續對待評估點雲的主觀品質進行評估。
還需要注意的是，在編碼器側，還需要將特徵參數（比如QSg和QSc）寫入位元流，然後從編碼器傳輸到解碼器，以便後續在解碼器側透過解析位元流獲取QSg和QSc等特徵參數。
S802：確定品質評估模型的模型參數。
需要說明的是，模型參數是指構建品質評估模型所使用的參數。通常而言，模型參數可以包括有多個，比如第一模型參數（用p1表示）、第二模型參數（用p2表示）和第三模型參數（用p3表示）。
對於模型參數的確定，下面可以透過幾種實施方式進行描述。
在一種可能的實施方式中，可以利用主觀品質測試資料集的擬合方式確定。所述確定品質評估模型的模型參數，可以包括：
獲取主觀品質測試資料集；
基於所述主觀品質測試資料集，擬合模型參數函數；其中，所述模型參數函數用於反映模型參數與特徵參數之間的對應關係；
根據所獲取的特徵參數以及所述模型參數函數，計算所述模型參數。
需要說明的是，特徵參數以QSg和QSc為例，主觀品質測試資料集是預先建立的，而且主觀品質測試資料集至少包括有多個失真點雲以及每一失真點雲對應的QSg、QSc以及實際MOS值。在獲取到主觀品質測試資料集之後，可以擬合出模型參數函數；這時候的模型參數函數反映了模型參數與QSg和QSc之間的對應關係。針對某一待評估點雲，在獲知QSg和QSc之後，根據模型參數函數就可以得到擬合後的模型參數，如表1所示的p1、p2、p3。然後再根據式（8）所示的品質評估模型，還能夠預測得到該點雲的MOS值。
在另一種可能的實施方式中，模型參數並不一定需要當場計算得到，也可以是預先得到的備用資料。所述確定品質評估模型的模型參數，可以包括：
從預設的一組或多組候選品質評估模型參數中，選擇用於所述待評估點雲的模型參數。
也就是說，在解碼器或者媒體資料處理設備中，預先儲存有一組或多組候選品質評估模型參數。這時候可以直接從這預設的一組或多組候選品質評估模型參數中，選擇出用於待評估點雲的模型參數，以得到品質評估模型。
進一步地，為了使得上述的品質評估模型能夠在實際的編碼器或者解碼器中使用，本申請實施例還提出了基於特徵的模型參數的預測方式。
在又一種可能的實施方式中，可以基於點雲提取的特徵來確定模型參數。所述確定品質評估模型的模型參數，可以包括：
利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值；
利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值；
根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數。
需要說明的是，第一計算子模型表徵對待評估點雲提取與幾何距離上的色彩波動相關的特徵值。這裡，可以使用單位距離上與領域N個近鄰點顏色強度差的平均值作為點雲的第一特徵值，即CFGD值。其中，N為大於0的整數，比如N等於7，但是不作具體限定。
還需要說明的是，第二計算子模型表徵對所述待評估點雲提取與色塊平均方差相關的特徵值。這裡，可以使用非空立體像素塊內所有點的顏色標準差的均值作為點雲的第二特徵值，即CBMV值。
下面針對兩個特徵值的提取過程進行具體說明。
針對第一特徵值的提取，在一些實施例中，所述利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值，可以包括：
計算所述待評估點雲中一個或多個點對應的第一特徵值；
對所述一個或多個點對應的第一特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第一特徵值。
進一步地，所述計算所述待評估點雲中一個或多個點對應的第一特徵值，可以包括：
針對所述待評估點雲中的當前點，確定與所述當前點關聯的近鄰點集合；其中，所述近鄰點集合內包括至少一個近鄰點；
針對所述近鄰點集合，計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，以得到至少一個單位距離上的顏色強度差值；
計算所述至少一個單位距離上的顏色強度差值的加權均值，得到所述當前點對應的第一特徵值。
進一步地，所述計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，可以包括：
獲取所述當前點的第一顏色分量的第一顏色強度值，以及所述至少一個近鄰點的第一顏色分量的第二顏色強度值；
計算所述當前點的第一顏色強度值與所述至少一個近鄰點的第二顏色強度值之間差值的絕對值，得到所述當前點與所述至少一個近鄰點的顏色強度差值；
根據所述當前點與所述至少一個近鄰點的顏色強度差值以及所述當前點與所述至少一個近鄰點之間的距離值，獲得所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值。
需要說明的是，在本申請實施例中，針對待評估點雲的資料，比如當前點的第一顏色強度值、近鄰點的第一顏色強度值等，在編碼器側，這些資料均可以透過待評估點雲的資料獲得，同時還需要將這些資料寫入位元流，以由編碼器傳輸到解碼器。
還需要說明的是，針對加權均值而言，權重值可以相同，也可以不相同。在權重值相同的情況下，可以是看作是求取平均值，即等權重值的平均值屬於一種特殊的加權均值。
也就是說，如圖6所示，p0為當前的待計算點，p1、p2、…、p7是表示與p0點最鄰近的N個點，這裡，N等於7。首先計算當前的待計算點與這N個近鄰點在相鄰的幾何歐式距離上的顏色強度絕對差值的平均值作為當前待計算點對應的CFGD值，然後再對整個點雲中多個點對應的CFGD值進行均值計算，將所得到的均值確定為該點雲的CFGD值。這裡，整個點雲的CFGD具體的計算公式如上述的式（9）所示，具體詳見解碼器側的描述。
針對第二特徵值的提取，在一些實施例中，所述利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值，可以包括：
計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值；
對所述一個或多個非空立體像素塊對應的第二特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第二特徵值。
進一步地，所述計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值，可以包括：
針對所述待評估點雲中的當前非空立體像素塊，獲取所述當前非空立體像素塊內至少一個點的第一顏色分量的第三顏色強度值；
計算所述當前非空立體像素塊內至少一個點的第三顏色強度值的加權均值，獲得所述當前非空立體像素塊的顏色強度平均值；
針對所述當前非空立體像素塊內至少一個點，利用所述第三顏色強度值與所述當前非空立體像素塊的顏色強度平均值，確定所述至少一個點的顏色標準差；
計算所述至少一個點的顏色標準差的加權均值，得到所述當前非空立體像素塊對應的第二特徵值。
需要說明的是，非空立體像素塊表示該立體像素塊內至少包括至少一個點。另外，在本申請實施例中，針對待評估點雲的資料，比如當前非空立體像素塊內至少一個點的第三顏色強度值等，在編碼器側，這些資料均可以透過待評估點雲的資料獲得，同時還需要將這些資料寫入位元流，以由編碼器傳輸到解碼器。
也就是說，如圖7所示，整個點雲首先被劃分成多個H×W×L的立體像素塊，這裡，H、W、L為大於0的整數，比如被劃分為8×8×8的立體像素塊。白色框內表示的是第i個非空立體像素塊，
Figure 02_image057
表示非空立體像素塊內所有的點。那麼整個點雲的CBMV具體的計算公式上述的式（10）所示，具體詳見解碼器側的描述。
這樣，根據上述的式（9）可以計算出待評估點雲的第一特徵值（即CFGD值），根據上述的式（10）可以計算出待評估點雲的第二特徵值（即CBMV值）。
需要說明的是，在確定模型參數之前，還需要獲取預設的向量矩陣。在一些實施例中，該方法還可以包括：
獲取主觀品質測試資料集；
對所述主觀品質測試資料集進行訓練，得到所述預設的向量矩陣。
這裡，預設的向量矩陣也是根據主觀品質測試資料集得到的。具體來講，在得到主觀品質測試資料集之後，透過對主觀品質測試資料集進行訓練，可以得到預設的向量矩陣。假定H表示預設的向量矩陣，那麼基於主觀品質測試資料集可以訓練得到該向量矩陣的值如上述的式（11）所示。
還需要說明的是，由於預設的向量矩陣是基於大量測試資料訓練得到的，不同的點雲都可以使用如式（11）所示的向量矩陣。
這樣，在得到預設的向量矩陣之後，可以結合上述的兩個特徵值，以確定出模型參數。在一些實施例中，所述根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數，可以包括：
基於預設常數值、所述第一特徵值和所述第二特徵值，建構特徵向量；
對所述特徵向量與所述預設的向量矩陣進行乘法運算，得到模型參數向量；其中，所述模型參數向量包括第一模型參數、第二模型參數和第三模型參數；
將所述第一模型參數、所述第二模型參數和所述第三模型參數確定為所述模型參數。
進一步地，在一些實施例中，預設常數值是整數。通常而言，預設常數值可以等於1，但是不作具體限定。
也就是說，從待評估點雲中提取到CFGD和CBMV兩個特徵值後，分別用f1、f2兩個變數進行標記；這裡，第一特徵值f1、第二特徵值f2和預設常數值1，可以組成1×3的矩陣，即行向量，用特徵向量F表示，
Figure 02_image071
。另外，模型參數p1、p2和p3，也可以組成1×3的矩陣，用模型參數向量P表示，
Figure 02_image073
，而預設的向量矩陣為H，那麼模型參數向量P的計算方式如上述的式（12）所示.
如此，在從待評估點雲中提取到CFGD和CBMV兩個特徵值後，由於H為預設的向量矩陣，那麼根據上述的式（12）就可以確定出模型參數，以便後續利用品質評估模型計算待評估點雲的MOS值。
S803：根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
需要說明的是，品質評估模型可以看作是模型參數、特徵參數和主觀品質測度值（即MOS值）之間具有對應關係。由於特徵參數可以為包括有
Figure 02_image077
和
Figure 02_image079
的量化參數，那麼品質評估模型也可以看作是模型參數、
Figure 02_image077
、
Figure 02_image079
和主觀品質測度值之間具有對應關係，該對應關係如式（8）所示。如此，在確定出模型參數、
Figure 02_image077
和
Figure 02_image079
之後，就能夠根據品質評估模型確定出待評估點雲的主觀品質測度值。
除此之外，本申請實施例所提出的品質評估模型在得到主觀品質測度值之後，該主觀品質測度值還可以用於編碼器側的網路優化。
（1）將所述的主觀品質測度值（或主觀品質測度值的映射值）傳遞給編碼器優化模組，編碼器優化模組根據主觀品質測度值確定編碼器的編碼參數，例如，位元率失真最佳化過程、碼率控制過程等。
（2）從點雲位元流發送側來說，也可以將主觀品質測度值發送給網路中的媒體資料處理設備，用於對傳輸網路進行網路優化。
（3）也可以將主觀品質測度值發送給使用者側的播放設備，然後使用者側的播放設備可以根據該主觀品質測度值，與其本地進行的評估值進行對比，對網路的傳輸品質進行評估，將評估結果回饋網路中的媒體資料處理設備，用於進行網路優化。
本申請實施例提出了一種點雲品質評估方法，應用於編碼器或媒體資料處理設備。透過確定待評估點雲的特徵參數；確定品質評估模型的模型參數；然後根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。這樣，利用品質評估模型可以提升主觀品質評估的準確性；而且在該品質評估模型中，本申請的技術方案只需要使用原始點雲以及從原始點雲中提取的特徵值，不再需要失真點雲以及原始點雲與失真點雲匹配點對等，從而還簡化了主觀品質評估的計算複雜度。
基於前述實施例相同的發明構思，參見圖9，其示出了本申請實施例提供的一種解碼器90的組成結構示意圖。如圖9所示，解碼器90可以包括：解析單元901、第一確定單元902和第一計算單元903；其中，
解析單元901，配置為解析位元流，獲取待評估點雲的特徵參數；
第一確定單元902，配置為確定品質評估模型的模型參數；
第一計算單元903，配置為根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
在一些實施例中，所述待評估點雲的特徵參數包括所述待評估點雲的量化參數；其中，所述量化參數包括所述待評估點雲的幾何量化參數和顏色量化參數。
在一些實施例中，參見圖9，解碼器90還可以包括第一擬合單元904，配置為獲取主觀品質測試資料集；基於所述主觀品質測試資料集，擬合模型參數函數；其中，所述模型參數函數用於反映模型參數與特徵參數之間的對應關係；
第一計算單元903，還配置為根據所獲取的特徵參數以及所述模型參數函數，計算所述模型參數。
在一些實施例中，第一確定單元902，還配置為從預設的一組或多組候選品質評估模型參數中，選擇用於所述待評估點雲的模型參數。
在一些實施例中，第一計算單元903，還配置為利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值；利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值；
第一確定單元902，還配置為根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數；
其中，所述第一計算子模型表徵對所述待評估點雲提取與幾何距離上的色彩波動相關的特徵值，第二計算子模型表徵對所述待評估點雲提取與色塊平均方差相關的特徵值。
在一些實施例中，第一計算單元903，還配置為計算所述待評估點雲中一個或多個點對應的第一特徵值；對所述一個或多個點對應的第一特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第一特徵值。
在一些實施例中，第一確定單元902，還配置為針對所述待評估點雲中的當前點，確定與所述當前點關聯的近鄰點集合；其中，所述近鄰點集合內包括至少一個近鄰點；
第一計算單元903，還配置為針對所述近鄰點集合，計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，得到至少一個單位距離上的顏色強度差值；以及計算所述至少一個單位距離上的顏色強度差值的加權均值，得到所述當前點對應的第一特徵值。
在一些實施例中，第一計算單元903，還配置為獲取所述當前點的第一顏色分量的第一顏色強度值，以及所述至少一個近鄰點的第一顏色分量的第二顏色強度值；計算所述當前點的第一顏色強度值與所述至少一個近鄰點的第二顏色強度值之間差值的絕對值，得到所述當前點與所述至少一個近鄰點的顏色強度差值；
第一確定單元902，還配置為根據所述當前點與所述至少一個近鄰點的顏色強度差值以及所述當前點與所述至少一個近鄰點之間的距離值，確定所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值。
在一些實施例中，第一計算單元903，還配置為計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值；以及對所述一個或多個非空立體像素塊對應的第二特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第二特徵值。
在一些實施例中，第一計算單元903，還配置為針對所述待評估點雲中的當前非空立體像素塊，獲取所述當前非空立體像素塊內至少一個點的第一顏色分量的第三顏色強度值；計算所述當前非空立體像素塊內至少一個點的第三顏色強度值的加權均值，獲得所述當前非空立體像素塊的顏色強度平均值；以及還配置為針對所述當前非空立體像素塊內至少一個點，利用所述第三顏色強度值與所述當前非空立體像素塊的顏色強度平均值，確定所述至少一個點的顏色標準差；計算所述至少一個點的顏色標準差的加權均值，得到所述當前非空立體像素塊對應的第二特徵值。
在一些實施例中，參見圖9，解碼器90還可以包括第一訓練單元905，配置為獲取主觀品質測試資料集；對所述主觀品質測試資料集進行訓練，得到所述預設的向量矩陣。
在一些實施例中，第一確定單元902，還配置為從預設的一組或多組候選向量矩陣中，選擇用於確定所述模型參數的所述預設的向量矩陣。
在一些實施例中，參見圖9，解碼器90還可以包括第一建構單元906，配置為基於預設常數值、所述第一特徵值和所述第二特徵值，建構特徵向量；
第一計算單元903，還配置為對所述特徵向量與所述預設的向量矩陣進行乘法運算，得到模型參數向量；其中，所述模型參數向量包括第一模型參數、第二模型參數和第三模型參數；
第一確定單元902，還配置為將所述第一模型參數、所述第二模型參數和所述第三模型參數確定為所述模型參數。
在一些實施例中，所述預設常數值是整數。
可以理解地，在本實施例中，“單元”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是模組，還可以是非模組化的。而且在本實施例中的各組成部分可以集成在一個處理單元中，也可以是各個單元單獨實體存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存媒介中，基於這樣的理解，本實施例的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒介中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或processor（處理器）執行本實施例所述方法的全部或部分步驟。而前述的儲存媒介包括：隨身碟、行動硬碟、唯讀記憶體（Read Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的媒介。
因此，本申請實施例提供了一種電腦儲存媒介，應用於解碼器90，該電腦儲存媒介儲存有電腦程式，所述電腦程式被第一處理器執行時實現前述實施例中解碼器側所述的方法。
基於上述解碼器90的組成以及電腦儲存媒介，參見圖10，其示出了本申請實施例提供的解碼器90的具體硬體結構示例，可以包括：第一通訊介面1001、第一記憶體1002和第一處理器1003；各個元件透過第一匯流排系統1004耦合在一起。可理解，第一匯流排系統1004用於實現這些元件之間的連接通訊。第一匯流排系統1004除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態信號匯流排。但是為了清楚說明起見，在圖10中將各種匯流排都標為第一匯流排系統1004。其中，
第一通訊介面1001，用於在與其他外部網路元件之間進行收發訊息過程中，信號的接收和發送；
第一記憶體1002，用於儲存能夠在第一處理器1003上運行的電腦程式；
第一處理器1003，用於在運行所述電腦程式時，執行：
解析位元流，獲取待評估點雲的特徵參數；
確定品質評估模型的模型參數；
根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
可以理解，本申請實施例中的第一記憶體1002可以是揮發性記憶體或非揮發性記憶體，或可包括揮發性和非揮發性記憶體兩者。其中，非揮發性記憶體可以是唯讀記憶體（Read-Only Memory，ROM）、可程式唯讀記憶體（Programmable ROM，PROM）、可擦除可程式唯讀記憶體（Erasable PROM，EPROM）、電可擦除可程式唯讀記憶體（Electrically EPROM，EEPROM）或快閃記憶體。揮發性記憶體可以是隨機存取記憶體（Random Access Memory，RAM），其用作外部快取記憶體。透過示例性但不是限制性說明，許多形式的RAM可用，例如靜態隨機存取記憶體（Static RAM，SRAM）、動態隨機存取記憶體（Dynamic RAM，DRAM）、同步動態隨機存取記憶體（Synchronous DRAM，SDRAM）、雙倍數據速率同步動態隨機存取記憶體（Double Data Rate SDRAM，DDRSDRAM）、增強型同步動態隨機存取記憶體（Enhanced SDRAM，ESDRAM）、同步連接動態隨機存取記憶體（Synclink DRAM，SLDRAM）和直接記憶體匯流排隨機存取記憶體（Direct Rambus RAM，DRRAM）。本申請描述的系統和方法的第一記憶體1002旨在包括但不限於這些和任意其它適合類型的記憶體。
而第一處理器1003可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以透過第一處理器1003中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的第一處理器1003可以是通用處理器、數位訊號處理器（Digital Signal Processor，DSP）、專用積體電路（Application Specific Integrated Circuit，ASIC）、場域可程式閘陣列（Field Programmable Gate Array，FPGA）或者其他可程式邏輯器件、離散閘或者電晶體邏輯器件、離散硬體元件。可以實現或者執行本申請實施例中的公開的各方法、步驟及邏輯方塊圖。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。結合本申請實施例所公開的方法的步驟可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式唯讀記憶體或者電可讀寫可程式記憶體、暫存器等本領域成熟的儲存媒介中。該儲存媒介位於第一記憶體1002，第一處理器1003讀取第一記憶體1002中的訊息，結合其硬體完成上述方法的步驟。
可以理解的是，本申請描述的這些實施例可以用硬體、軟體、韌體、中介軟體、微碼或其組合來實現。對於硬體實現，處理單元可以實現在一個或多個專用積體電路（Application Specific Integrated Circuits，ASIC）、數位訊號處理器（Digital Signal Processing，DSP）、數位信號處理設備（DSP Device，DSPD）、可程式邏輯裝置（Programmable Logic Device，PLD）、場域可程式閘陣列（Field-Programmable Gate Array，FPGA）、通用處理器、控制器、微控制器、微處理器、用於執行本申請所述功能的其它電子單元或其組合中。對於軟體實現，可透過執行本申請所述功能的模組（例如過程、函數等）來實現本申請所述的技術。軟體代碼可儲存在記憶體中並透過處理器執行。記憶體可以在處理器中或在處理器外部實現。
可選地，作為另一個實施例，第一處理器1003還配置為在運行所述電腦程式時，執行前述實施例中任一項所述的方法。
本實施例提供了一種解碼器，該解碼器可以包括解析單元、第一確定單元和第一計算單元。在該解碼器中，利用品質評估模型可以提升主觀品質評估的準確性；而且在該品質評估模型中，本申請的技術方案只需要使用原始點雲以及從原始點雲中提取的特徵值，不再需要失真點雲以及原始點雲與失真點雲匹配點對等，從而還簡化了主觀品質評估的計算複雜度。
基於前述實施例相同的發明構思，參見圖11，其示出了本申請實施例提供的一種編碼器110的組成結構示意圖。如圖11所示，該編碼器110可以包括：第二確定單元1101和第二計算單元1102；其中，
第二確定單元1101，配置為確定待評估點雲的特徵參數；
第二確定單元1101，還配置為確定品質評估模型的模型參數；
第二計算單元1102，配置為根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
在一些實施例中，參見圖11，編碼器110還可以包括查找單元1103，配置為獲取所述待評估點雲的預編碼參數；根據所述預編碼參數以及預設查閱資料表，確定所述待評估點雲的特徵參數；其中，所述預設查閱資料表用於反映編碼參數與特徵參數之間的對應關係。
在一些實施例中，所述待評估點雲的特徵參數包括所述待評估點雲的量化參數；其中，所述量化參數包括所述待評估點雲的幾何量化參數和顏色量化參數。
在一些實施例中，參見圖11，編碼器110還可以包括第二擬合單元1104，配置為獲取主觀品質測試資料集；基於所述主觀品質測試資料集，擬合模型參數函數；其中，所述模型參數函數用於反映模型參數與特徵參數之間的對應關係；
第二計算單元1102，還配置為根據所獲取的特徵參數以及所述模型參數函數，計算所述模型參數。
在一些實施例中，第二確定單元1101，還配置為從預設的一組或多組候選品質評估模型參數中，選擇用於所述待評估點雲的模型參數。
在一些實施例中，第二計算單元1102，還配置為利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值；利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值；
第二確定單元1101，還配置為根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數；
其中，所述第一計算子模型表徵對所述待評估點雲提取與幾何距離上的色彩波動相關的特徵值，第二計算子模型表徵對所述待評估點雲提取與色塊平均方差相關的特徵值。
在一些實施例中，第二計算單元1102，還配置為計算所述待評估點雲中一個或多個點對應的第一特徵值；對所述一個或多個點對應的第一特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第一特徵值。
在一些實施例中，第二確定單元1101，還配置為針對所述待評估點雲中的當前點，確定與所述當前點關聯的近鄰點集合；其中，所述近鄰點集合內包括至少一個近鄰點；
第二計算單元1102，還配置為針對所述近鄰點集合，計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，得到至少一個單位距離上的顏色強度差值；以及計算所述至少一個單位距離上的顏色強度差值的加權均值，得到所述當前點對應的第一特徵值。
在一些實施例中，第二計算單元1102，還配置為獲取所述當前點的第一顏色分量的第一顏色強度值，以及所述至少一個近鄰點的第一顏色分量的第二顏色強度值；計算所述當前點的第一顏色強度值與所述至少一個近鄰點的第二顏色強度值之間差值的絕對值，得到所述當前點與所述至少一個近鄰點的顏色強度差值；
第二確定單元1101，還配置為根據所述當前點與所述至少一個近鄰點的顏色強度差值以及所述當前點與所述至少一個近鄰點之間的距離值，確定所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值。
在一些實施例中，第二計算單元1102，還配置為計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值；以及對所述一個或多個非空立體像素塊對應的第二特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第二特徵值。
在一些實施例中，第二計算單元1102，還配置為針對所述待評估點雲中的當前非空立體像素塊，獲取所述當前非空立體像素塊內至少一個點的第一顏色分量的第三顏色強度值；計算所述當前非空立體像素塊內至少一個點的第三顏色強度值的加權均值，獲得所述當前非空立體像素塊的顏色強度平均值；以及還配置為針對所述當前非空立體像素塊內至少一個點，利用所述第三顏色強度值與所述當前非空立體像素塊的顏色強度平均值，確定所述至少一個點的顏色標準差；計算所述至少一個點的顏色標準差的加權均值，得到所述當前非空立體像素塊對應的第二特徵值。
在一些實施例中，參見圖11，編碼器110還可以包括第二訓練單元1105，配置為獲取主觀品質測試資料集；對所述主觀品質測試資料集進行訓練，得到所述預設的向量矩陣。
在一些實施例中，第二確定單元1101，還配置為獲取主觀品質測試資料集；對所述主觀品質測試資料集進行訓練，得到所述預設的向量矩陣。
在一些實施例中，參見圖11，編碼器110還可以包括第二建構單元1106，配置為基於預設常數值、所述第一特徵值和所述第二特徵值，建構特徵向量；
第二計算單元1102，還配置為對所述特徵向量與所述預設的向量矩陣進行乘法運算，得到模型參數向量；其中，所述模型參數向量包括第一模型參數、第二模型參數和第三模型參數；
第二確定單元1101，還配置為將所述第一模型參數、所述第二模型參數和所述第三模型參數確定為所述模型參數。
在一些實施例中，所述預設常數值是整數。
可以理解地，在本實施例中，“單元”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是模組，還可以是非模組化的。而且在本實施例中的各組成部分可以集成在一個處理單元中，也可以是各個單元單獨實體存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能模組的形式實現。
所述集成的單元如果以軟體功能模組的形式實現並非作為獨立的產品進行銷售或使用時，可以儲存在一個電腦可讀取儲存媒介中，基於這樣的理解，本實施例提供了一種電腦儲存媒介，應用於編碼器110，該電腦儲存媒介儲存有電腦程式，所述電腦程式被第二處理器執行時實現前述實施例中編碼器側所述的方法。
基於上述編碼器110的組成以及電腦儲存媒介，參見圖12，其示出了本申請實施例提供的編碼器110的具體硬體結構示例，可以包括：第二通訊介面1201、第二記憶體1202和第二處理器1203；各個元件透過第二匯流排系統1204耦合在一起。可理解，第二匯流排系統1204用於實現這些元件之間的連接通訊。第二匯流排系統1204除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態信號匯流排。但是為了清楚說明起見，在圖12中將各種匯流排都標為第二匯流排系統1204。其中，
第二通訊介面1201，用於在與其他外部網路元件之間進行收發訊息過程中，信號的接收和發送；
第二記憶體1202，用於儲存能夠在第二處理器1203上運行的電腦程式；
第二處理器1203，用於在運行所述電腦程式時，執行：
確定待評估點雲的特徵參數；
確定品質評估模型的模型參數；
根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
可選地，作為另一個實施例，第二處理器1203還配置為在運行所述電腦程式時，執行前述實施例中任一項所述的方法。
可以理解，第二記憶體1202與第一記憶體1002的硬體功能類似，第二處理器1203與第一處理器1003的硬體功能類似；這裡不再詳述。
本實施例提供了一種編碼器，該編碼器可以包括第二確定單元和第二計算單元。在該編碼器中，利用品質評估模型可以提升主觀品質評估的準確性；而且在該品質評估模型中，本申請的技術方案只需要使用原始點雲以及從原始點雲中提取的特徵值，不再需要失真點雲以及原始點雲與失真點雲匹配點對等，從而還簡化了主觀品質評估的計算複雜度。
需要說明的是，在本申請中，術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者裝置不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者裝置所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，並不排除在包括該要素的過程、方法、物品或者裝置中還存在另外的相同要素。
上述本申請實施例序號僅僅為了描述，不代表實施例的優劣。
本申請所提供的幾個方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。
本申請所提供的幾個產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。
本申請所提供的幾個方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。
以上所述，僅為本申請的具體實施方式，但本申請的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本申請揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本申請的保護範圍之內。因此，本申請的保護範圍應以所述請求項的保護範圍為準。
S401~S403:步驟 S501~S503:步驟 S801~S803:步驟 90:解碼器 901:解析單元 902:第一確定單元 903:第一計算單元 904:第一擬合單元 905:第一訓練單元 906:第一建構單元 1001:第一通訊介面 1002:第一記憶體 1003:第一處理器 1004:第一匯流排系統 110:編碼器 1101:第二確定單元 1102:第二計算單元 1103:查找單元 1104:第二擬合單元 1105:第二訓練單元 1106:第二建構單元 1201:第二通訊介面 1202:第二記憶體 1203:第二處理器 1204:第二匯流排系統
圖1為本申請實施例提供的一種點對點失真與點對面失真的位置示意圖；
圖2為本申請實施例提供的一種V-PCC編碼流程的框架示意圖；
圖3為本申請實施例提供的一種V-PCC解碼流程的框架示意圖；
圖4為本申請實施例提供的一種點雲品質評估方法的流程示意圖；
圖5為本申請實施例提供的另一種點雲品質評估方法的流程示意圖；
圖6為本申請實施例提供的一種反映幾何距離上色彩波動的點與近鄰點之間的相對位置示意圖；
圖7為本申請實施例提供的一種反映色塊平均方差的非空立體像素塊的結構示意圖；
圖8為本申請實施例提供的又一種點雲品質評估方法的流程示意圖；
圖9為本申請實施例提供的一種解碼器的組成結構示意圖；
圖10為本申請實施例提供的一種解碼器的硬體結構示意圖；
圖11為本申請實施例提供的一種編碼器的組成結構示意圖；
圖12為本申請實施例提供的一種編碼器的硬體結構示意圖。
S401~S403:步驟

Claims (25)

  1. 一種點雲品質評估方法，應用於解碼器或媒體資料處理設備，所述方法包括： 解析位元流，獲取待評估點雲的特徵參數； 確定品質評估模型的模型參數； 根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
  2. 根據請求項1所述的方法，其中，所述待評估點雲的特徵參數包括所述待評估點雲的量化參數；其中，所述量化參數包括所述待評估點雲的幾何量化參數和顏色量化參數。
  3. 根據請求項1所述的方法，其中，所述確定品質評估模型的模型參數，包括： 獲取主觀品質測試資料集； 基於所述主觀品質測試資料集，擬合模型參數函數；其中，所述模型參數函數用於反映模型參數與特徵參數之間的對應關係； 根據所獲取的特徵參數以及所述模型參數函數，計算所述模型參數。
  4. 根據請求項1所述的方法，其中，所述確定品質評估模型的模型參數，包括： 從預設的一組或多組候選品質評估模型參數中，選擇用於所述待評估點雲的模型參數。
  5. 根據請求項1所述的方法，其中，所述確定品質評估模型的模型參數，包括： 利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值； 利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值； 根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數； 其中，所述第一計算子模型表徵對所述待評估點雲提取與幾何距離上的色彩波動相關的特徵值，第二計算子模型表徵對所述待評估點雲提取與色塊平均方差相關的特徵值。
  6. 根據請求項5所述的方法，其中，所述利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值，包括： 計算所述待評估點雲中一個或多個點對應的第一特徵值； 對所述一個或多個點對應的第一特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第一特徵值。
  7. 根據請求項6所述的方法，其中，所述計算所述待評估點雲中一個或多個點對應的第一特徵值，包括： 針對所述待評估點雲中的當前點，確定與所述當前點關聯的近鄰點集合；其中，所述近鄰點集合內包括至少一個近鄰點； 針對所述近鄰點集合，計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，得到至少一個單位距離上的顏色強度差值； 計算所述至少一個單位距離上的顏色強度差值的加權均值，得到所述當前點對應的第一特徵值。
  8. 根據請求項5所述的方法，其中，所述利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值，包括： 計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值； 對所述一個或多個非空立體像素塊對應的第二特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第二特徵值。
  9. 根據請求項5所述的方法，所述方法還包括： 獲取主觀品質測試資料集； 對所述主觀品質測試資料集進行訓練，得到所述預設的向量矩陣。
  10. 根據請求項5所述的方法，其中，所述根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數，包括： 基於預設常數值、所述第一特徵值和所述第二特徵值，建構特徵向量； 對所述特徵向量與所述預設的向量矩陣進行乘法運算，得到模型參數向量；其中，所述模型參數向量包括第一模型參數、第二模型參數和第三模型參數； 將所述第一模型參數、所述第二模型參數和所述第三模型參數確定為所述模型參數。
  11. 一種點雲品質評估方法，應用於編碼器或媒體資料處理設備，所述方法包括： 確定待評估點雲的特徵參數； 確定品質評估模型的模型參數； 根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
  12. 根據請求項11所述的方法，其中，所述確定待評估點雲的特徵參數，包括： 獲取所述待評估點雲的預編碼參數； 根據所述預編碼參數以及預設查閱資料表，確定所述待評估點雲的特徵參數；其中，所述預設查閱資料表用於反映編碼參數與特徵參數之間的對應關係。
  13. 根據請求項11或12所述的方法，其中，所述待評估點雲的特徵參數包括所述待評估點雲的量化參數；其中，所述量化參數包括所述待評估點雲的幾何量化參數和顏色量化參數。
  14. 根據請求項11所述的方法，其中，所述確定品質評估模型的模型參數，包括： 獲取主觀品質測試資料集； 基於所述主觀品質測試資料集，擬合模型參數函數；其中，所述模型參數函數用於反映模型參數與特徵參數之間的對應關係； 根據所獲取的特徵參數以及所述模型參數函數，計算所述模型參數。
  15. 根據請求項11所述的方法，其中，所述確定品質評估模型的模型參數，包括： 從預設的一組或多組候選品質評估模型參數中，選擇用於所述待評估點雲的模型參數。
  16. 根據請求項11所述的方法，其中，所述確定品質評估模型的模型參數，包括： 利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值； 利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值； 根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數； 其中，所述第一計算子模型表徵對所述待評估點雲提取與幾何距離上的色彩波動相關的特徵值，第二計算子模型表徵對所述待評估點雲提取與色塊平均方差相關的特徵值。
  17. 根據請求項16所述的方法，其中，所述利用第一計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第一特徵值，包括： 計算所述待評估點雲中一個或多個點對應的第一特徵值； 對所述一個或多個點對應的第一特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第一特徵值。
  18. 根據請求項17所述的方法，其中，所述計算所述待評估點雲中一個或多個點對應的第一特徵值，包括： 針對所述待評估點雲中的當前點，確定與所述當前點關聯的近鄰點集合；其中，所述近鄰點集合內包括至少一個近鄰點； 針對所述近鄰點集合，計算所述當前點與所述至少一個近鄰點在單位距離上的顏色強度差值，得到至少一個單位距離上的顏色強度差值； 計算所述至少一個單位距離上的顏色強度差值的加權均值，得到所述當前點對應的第一特徵值。
  19. 根據請求項16所述的方法，其中，所述利用第二計算子模型對所述待評估點雲進行特徵提取，得到所述待評估點雲的第二特徵值，包括： 計算所述待評估點雲中一個或多個非空立體像素塊對應的第二特徵值； 對所述一個或多個非空立體像素塊對應的第二特徵值進行加權均值計算，將所得到的加權均值確定為所述待評估點雲的第二特徵值。
  20. 根據請求項16所述的方法，所述方法還包括： 獲取主觀品質測試資料集； 對所述主觀品質測試資料集進行訓練，得到所述預設的向量矩陣。
  21. 根據請求項16所述的方法，其中，所述根據所述第一特徵值、所述第二特徵值以及預設的向量矩陣，確定所述模型參數，包括： 基於預設常數值、所述第一特徵值和所述第二特徵值，建構特徵向量； 對所述特徵向量與所述預設的向量矩陣進行乘法運算，得到模型參數向量；其中，所述模型參數向量包括第一模型參數、第二模型參數和第三模型參數； 將所述第一模型參數、所述第二模型參數和所述第三模型參數確定為所述模型參數。
  22. 一種解碼器，所述解碼器包括解析單元、第一確定單元和第一計算單元；其中， 所述解析單元，配置為解析位元流，獲取待評估點雲的特徵參數； 所述第一確定單元，配置為確定品質評估模型的模型參數； 所述第一計算單元，配置為根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
  23. 一種解碼器，所述解碼器包括第一記憶體和第一處理器；其中， 所述第一記憶體，用於儲存能夠在所述第一處理器上運行的電腦程式； 所述第一處理器，用於在運行所述電腦程式時，執行如請求項1至10任一項所述的方法。
  24. 一種編碼器，所述編碼器包括第二確定單元和第二計算單元；其中， 所述第二確定單元，配置為確定待評估點雲的特徵參數； 所述第二確定單元，還配置為確定品質評估模型的模型參數； 所述第二計算單元，配置為根據所述模型參數和所述待評估點雲的特徵參數，使用所述品質評估模型，確定所述待評估點雲的主觀品質測度值。
  25. 一種編碼器，所述編碼器包括第二記憶體和第二處理器；其中， 所述第二記憶體，用於儲存能夠在所述第二處理器上運行的電腦程式； 所述第二處理器，用於在運行所述電腦程式時，執行如請求項11至21任一項所述的方法。
TW110109402A 2020-06-10 2021-03-16 點雲品質評估方法、編碼器、解碼器及儲存媒介 TW202147842A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010525713.5A CN113784129A (zh) 2020-06-10 2020-06-10 点云质量评估方法、编码器、解码器及存储介质
CN202010525713.5 2020-06-10

Publications (1)

Publication Number Publication Date
TW202147842A true TW202147842A (zh) 2021-12-16

Family

ID=78834831

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109402A TW202147842A (zh) 2020-06-10 2021-03-16 點雲品質評估方法、編碼器、解碼器及儲存媒介

Country Status (5)

Country Link
US (1) US20230101024A1 (zh)
EP (1) EP4175297A4 (zh)
CN (1) CN113784129A (zh)
TW (1) TW202147842A (zh)
WO (1) WO2021248966A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786002B (zh) * 2022-03-10 2022-12-01 國立臺中科技大學 二維影像生成點雲與零件切割之整合模型的建立方法
CN115622571A (zh) * 2022-12-16 2023-01-17 电子科技大学 一种基于数据处理的雷达目标识别方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114299043B (zh) * 2021-12-30 2023-04-18 广州极飞科技股份有限公司 点云质量评估方法、装置、电子设备和存储介质
WO2023230996A1 (zh) * 2022-06-02 2023-12-07 Oppo广东移动通信有限公司 编解码方法、编码器、解码器以及可读存储介质
WO2024065406A1 (zh) * 2022-09-29 2024-04-04 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3373583A1 (en) * 2017-03-07 2018-09-12 Thomson Licensing Quality metric for point clouds
US10607373B2 (en) * 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
CN110246112B (zh) * 2019-01-21 2021-04-30 厦门大学 基于深度学习的激光扫描slam室内三维点云质量评价方法
CN110929779B (zh) * 2019-11-19 2023-05-02 腾讯科技（深圳）有限公司 重建神经元质量检测方法、有序点云分类方法及装置
CN111612891B (zh) * 2020-05-22 2023-08-08 北京京东乾石科技有限公司 模型生成方法、点云数据处理方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786002B (zh) * 2022-03-10 2022-12-01 國立臺中科技大學 二維影像生成點雲與零件切割之整合模型的建立方法
CN115622571A (zh) * 2022-12-16 2023-01-17 电子科技大学 一种基于数据处理的雷达目标识别方法

Also Published As

Publication number Publication date
EP4175297A1 (en) 2023-05-03
WO2021248966A1 (zh) 2021-12-16
US20230101024A1 (en) 2023-03-30
EP4175297A4 (en) 2023-11-22
CN113784129A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
TW202147842A (zh) 點雲品質評估方法、編碼器、解碼器及儲存媒介
US20220138904A1 (en) Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
EP3869803A1 (en) Method and device for evaluating subjective quality of video
US20210385502A1 (en) Method and device for evaluating subjective quality of video
WO2019067687A1 (en) METHOD AND DEVICE FOR MODIFYING POINT ATTRIBUTES OF A 3D SCENE
US10349058B2 (en) Method for predicting depth map coding distortion of two-dimensional free viewpoint video
KR20130038386A (ko) 3차원 비디오를 위한 비전 기반 품질 메트릭
Appina et al. Study of subjective quality and objective blind quality prediction of stereoscopic videos
CN108347611B (zh) 用于经纬图的编码块级拉格朗日乘子的优化方法
US11200639B1 (en) Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
CN111386556A (zh) 用于生成3d场景的点的方法和装置
EP4040683A1 (en) Occupancy information prediction method, encoder, decoder, and storage medium
US11190803B2 (en) Point cloud coding using homography transform
CN109345502A (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
CN114900691B (zh) 编码方法、编码器及计算机可读存储介质
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
US9609361B2 (en) Method for fast 3D video coding for HEVC
CN113038123A (zh) 无参考全景视频质量评价方法、系统、终端及介质
Smirnov et al. Methods for depth-map filtering in view-plus-depth 3D video representation
US9355468B2 (en) System, method, and computer program product for joint color and depth encoding
Sandić-Stanković et al. Free viewpoint video quality assessment based on morphological multiscale metrics
Dou et al. View synthesis optimization based on texture smoothness for 3D-HEVC
CN111369435A (zh) 基于自适应稳定模型的彩色图像深度上采样方法及系统
US10326995B2 (en) System and method for estimating view synthesis distortion
Sun et al. An efficient quality metric for DIBR-based 3D video