TW202015398A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW202015398A
TW202015398A TW108134148A TW108134148A TW202015398A TW 202015398 A TW202015398 A TW 202015398A TW 108134148 A TW108134148 A TW 108134148A TW 108134148 A TW108134148 A TW 108134148A TW 202015398 A TW202015398 A TW 202015398A
Authority
TW
Taiwan
Prior art keywords
weight value
unit
previous
image processing
context
Prior art date
Application number
TW108134148A
Other languages
English (en)
Inventor
中神央二
矢野幸司
隈智
加藤毅
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202015398A publication Critical patent/TW202015398A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本揭露係有關於，可抑制點雲的屬性資訊之編碼、解碼的負荷之增大的影像處理裝置及方法。 使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊予以編碼。又，使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊之編碼資料，予以解碼。本揭露係可適用於例如影像處理裝置、電子機器、影像處理方法、或程式等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法，特別是有關於可抑制點雲的屬性資訊之編碼、解碼的負荷之增大的影像處理裝置及方法。
先前，作為例如像是點雲(Point cloud)這類表示3維結構之3D資料的編碼方法，係有例如使用到Octree的編碼(例如參照非專利文獻1)。
近年來，使用RAHT(Region Adaptive Hierarchical Transform)而將屬性資訊予以編碼，已被提出(例如參照非專利文獻2)。 [先前技術文獻] [非專利文獻]
[非專利文獻1] R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf [非專利文獻2] Ohji Nakagami, Phil Chou, Maja Krivokuca, Khaled Mammou, Robert Cohen, Vladyslav Zakharchenko, Gaelle Martin-Cocher, "Second Working Draft for PCC Categories 1, 3",ISO/IEC JTC1/SC29/WG11, MPEG 2018/N17533, April 2018, San Diego, US
[發明所欲解決之課題]
然而，在該方法的情況下，由於按照以RAHT而被求出的Weight值是由大而小之順序，而將係數進行排序，因此處理會增大，恐怕會導致點雲的屬性資訊之編碼、解碼的負荷增大。
本揭露係有鑑於此種狀況而研發，目的在於可抑制點雲的屬性資訊之編碼、解碼的負荷之增大。 [用以解決課題之手段]
本技術之一側面的影像處理裝置，係為一種影像處理裝置，其係具備：編碼部，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊予以編碼。
本技術之一側面的影像處理方法，係為一種影像處理方法，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊予以編碼。
本技術之另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：解碼部，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊之編碼資料，予以解碼。
本技術之另一側面的影像處理方法，係為一種影像處理方法，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊之編碼資料，予以解碼。
於本技術之一側面的影像處理裝置及方法中，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，該點雲的屬性資訊會被編碼。
於本技術之另一側面的影像處理裝置及方法中，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，該點雲的屬性資訊之編碼資料會被解碼。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。 1.屬性資訊的編碼 2.第1實施形態(編碼裝置) 3.第2實施形態(解碼裝置) 4.第3實施形態(編碼裝置) 5.第4實施形態(解碼裝置) 6.附記
＜1.屬性資訊的編碼＞ ＜支持技術內容、技術用語的文獻等＞ 本技術所揭露之範圍，係不只有實施形態中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1：(上述) 非專利文獻2：(上述) 非專利文獻3：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017 非專利文獻4：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016 非專利文獻5：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，非專利文獻4中所記載之Quad-Tree Block Structure、非專利文獻5中所記載之QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。
＜點雲＞ 先前，藉由點群之位置資訊或屬性資訊等來表現3維結構的點雲(Point cloud)，或以頂點、邊緣、面所構成，使用多角形表現來定義3維形狀的網格(Mesh)等之3D資料，係為存在。
例如點雲的情況下，是將立體結構物(3維形狀之物件)以多數的點的集合(點群)的方式，來加以表現。亦即，點雲之資料(亦稱為點雲資料)，係由該點群的各點之位置資訊或屬性資訊(例如色彩等)而被構成。因此資料結構會比較單純，同時，藉由使用足夠多的點，就可以足夠的精度來表現任意的立體結構物。
＜使用了體素的位置資訊之量化＞ 此種點雲資料由於其資料量是比較大的，因此為了以編碼等來壓縮資料量，而考慮使用了體素(Voxel)的編碼方法。體素，係為用來將編碼對象之位置資訊進行量化所需之3維領域。
亦即，將內包有點雲的3維領域分割成一種稱作體素的小的3維領域，並按照該每一體素地，表示是否內包有點。藉由如此設計，各點之位置就會被體素單位地做量化。因此，藉由將點雲(Point cloud)資料轉換成此種體素之資料(亦稱為體素(Voxel)資料)，就可抑制資訊量之增大(典型來說係為削減資訊量)。
＜Octree＞ 甚至，想到要使用此種體素(Voxel)資料來建構Octree。Octree，係將體素資料進行樹狀結構化而成。該Octree的最下位之節點的各位元之值，係表示各體素的點之有無。例如，值「1」係表示有內包點的體素，值「0」係表示沒有內包點的體素。在Octree中，1個節點係對應於8個體素。亦即，Octree的各節點，係由8位元的資料所構成，其8位元係表示8個體素的點之有無。
然後，Octree的上位之節點，係表示將隸屬於該節點之下位節點所對應的8個體素匯集成1個之領域的點之有無。亦即，藉由將下位節點的體素之資訊予以匯集而生成上位節點。此外，值為「0」的節點，亦即，所對應之8個體素全部都沒有內包點的情況下，該節點係被刪除。
藉由如此設計，就可建構出，由值非「0」之節點所成的樹狀結構(Octree)。亦即，Octree，係可表示各解析度之體素的點之有無。因此，藉由將體素資料予以Octree化而進行編碼，在解碼之際就可較為容易地復原較為多樣之解析度的體素資料。亦即，可較容易地實現體素的可調性。
又，如上述般地藉由省略值為「0」之節點，就可將沒有點存在之領域的體素予以低解析度化，因此可更進一步抑制資訊量之增大(典型來說係為削減資訊量)。
＜RAHT＞ 近年來，例如如非專利文獻2所記載，使用RAHT (Region Adaptive Hierarchical Transform)，而將點雲的屬性資訊予以編碼，已被提出。屬性資訊中係包含有例如：色彩資訊、反射率資訊、法線資訊等。
RAHT，係為考慮到3維結構之正交轉換之1，於已被體素化的空間中，使用點的位置關係(例如相鄰的體素中是否有點存在)所相應之加權(Weight值)的哈爾轉換。
例如，如圖1所示，在進行哈爾轉換的相鄰領域中有點存在的情況下，則將Weight值進行合算，若不存在，則直接繼承Weight值而繼續處理。亦即，點越緻密的部分，Weight值就會越大。因此，可根據Weight值來判斷點的疏密。
例如，基於該Weight值而以留下緻密部分的點的方式進行量化，就可一面抑制點雲的品質之降低，一面提升編碼效率。
＜編碼裝置＞ 圖2的編碼裝置10，係為進行此種係數之排序而將點雲予以編碼的裝置之一例。例如，在該編碼裝置10的情況下，Geometry編碼部11，係將已被輸入之點雲資料的位置資訊予以編碼，生成Geometry編碼資料。
Geometry係數排序部12，係將該Geometry編碼資料之係數，排序成摩頓碼順序(Morton code)。RAHT處理部13，係Geometry編碼資料之係數，按照摩頓碼順序進行RAHT。藉由該處理而導出Weight值。
Attribute編碼部15的RAHT處理部21，係使用藉由該RAHT處理部13基於位置資訊所導出的Weight值，來對屬性資訊進行RAHT。量化部22，係將藉由RAHT所得之屬性資訊的轉換係數予以量化。
又，Geometry係數排序部14，係按照已被RAHT處理部13所導出之Weight值是由大而小之順序，而將係數予以排序。Attribute係數排序部23，係將量化部22所得的量化係數予以排序，使其變成該Geometry係數排序部14所致之排序後的順序。亦即，可逆編碼部24，係按照Weight值是由大而小之順序，而將屬性資訊的各係數予以編碼。
此外，位元串流生成部16，係生成含有Geometry編碼部11所生成之位置資訊之編碼資料也就是Geometry編碼資料、與可逆編碼部24所生成之屬性資訊之編碼資料也就是Attribute編碼資料的位元串流，並輸出之。
＜解碼裝置＞ 圖3的解碼裝置50，係為進行此種係數之排序而將點雲之編碼資料予以解碼的裝置之一例。例如，該解碼裝置50的情況下，Geometry解碼部51，係將已被輸入之位元串流中所含之Geometry編碼資料予以解碼。Geometry係數排序部52，係將已被解碼所得的係數資料(Geometry係數)，排序成摩頓碼順序。
RAHT處理部53，係對摩頓碼順序之Geometry係數進行RAHT，導出Weight值。Geometry係數排序部54，係按照已被RAHT處理部53所導出之Weight值是由大而小之順序，而將係數予以排序。
Attribute解碼部55的可逆解碼部61，係將已被輸入之位元串流中所含之Attribute編碼資料予以解碼。逆Attribute係數排序部62，係基於Geometry係數排序部54所示的Weight值為由大而小之順序，而已被排序成Weight值是由大而小之順序的Attribute係數，排序成摩頓碼順序。然後，逆量化部63係將該摩頓碼順序之Attribute係數予以逆量化。
逆RAHT處理部64，係對該已被逆量化之Attribute係數，使用已被RAHT處理部53所導出的Weight值，進行RAHT的逆處理也就是逆RAHT，生成屬性資訊(Attribute資料)。
Point cloud資料生成部56，係將Geometry解碼部51所生成之位置資訊(Geometry資料)、與逆RAHT處理部64所生成之屬性資訊(Attribute資料)加以合成而生成Point cloud資料，並輸出之。
＜係數的排序＞ 如以上所述，在編碼、解碼中，會進行屬性資訊之係數資料的，按照Weight值由大而小之順序的排序。
Weight值與係數的參差之關係，示於圖4的圖形。如圖4所示，Weight值越大，係數的參差就越小。因此，藉由讓Weight值越大者越優先地進行編碼、解碼，就可提升編碼效率。
然而，該排序係需要非常多的處理量。尤其是，像是點雲這種資料量較多的情況下，該排序處理的負荷之增大會更為顯著。因此若依照如此的方法，則點雲的屬性資訊之編碼、解碼的負荷恐怕會增大。
＜上下文之選擇＞ 於是設計成，不是將係數加以排序，而是改為隨應於上述的Weight值來選擇上下文。
例如在編碼時，使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊予以編碼。
例如，於影像處理裝置中，係可具備編碼部，其係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊予以編碼。
藉由如此設計，可抑制點雲的屬性資訊之編碼的負荷之增大。
又例如在解碼時，使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊之編碼資料予以解碼。
例如，於影像處理裝置中，係可具備解碼部，其係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊之編碼資料予以解碼。
藉由如此設計，可抑制點雲的屬性資訊之解碼的負荷之增大。
例如，於圖4的圖形中，在Weight值較小的地方(例如被框71所圈起來的附近)，與Weight值較大的地方(例如被框72所圈起來的附近)中，係數的參差顯著不同。亦即，係數的參差程度係依存於Weight值。換言之，根據Weight值就可某種程度地決定係數的參差程度。因此設計成，準備與彼此互異的係數的參差程度相對應的複數個上下文，基於Weight值，從其中選擇出要適用的上下文。藉由如此設計，就可基於Weight值，來選擇對於該Weight值時的係數的參差而言較為適切的上下文。亦即，藉由使用相應於Weight值(係數的參差)的上下文來進行編碼、解碼，就可抑制編碼效率的降低。
又，該方法的情況下，由於不需要係數的排序，因此可抑制負荷的增大。亦即，可抑制負荷的增大同時抑制編碼效率的降低。
＜2.第1實施形態＞ ＜編碼裝置＞ 圖5係適用了本技術的影像處理裝置之一態樣的編碼裝置之構成之一例的區塊圖。圖4所示的編碼裝置100，係為將點雲的位置資訊或屬性資訊予以編碼的裝置。
此外，於圖5中係主要表示處理部或資料的流向等，圖5所示者並非全部。亦即，於編碼裝置100中，亦可存在有於圖5中未以區塊而被表示的處理部，亦可存在有於圖5中未以箭頭等而表示的處理或資料之流動。
如圖5所示，編碼裝置100係具有：Geometry編碼部111、Geometry係數排序部112、RAHT處理部113、上下文選擇部114、Attribute編碼部115、及位元串流生成部116。
Geometry編碼部111，係進行位置資訊之編碼的相關處理。例如，Geometry編碼部111，係將已被輸入至編碼裝置100的點雲資料的位置資訊加以取得，並加以編碼。Geometry編碼部111，係將藉由該編碼所生成的Geometry編碼資料，供給至位元串流生成部116。又，Geometry編碼部111，亦將位置資訊也就是Geometry係數，供給至Geometry係數排序部112。
Geometry係數排序部112，係進行係數資料之排序的相關處理。例如，Geometry係數排序部112，係將從Geometry編碼部111所被供給之Geometry係數，加以取得。Geometry係數排序部112，係將該Geometry係數排序成摩頓碼順序，供給至RAHT處理部113。
RAHT處理部113，係進行RAHT的相關處理。例如，RAHT處理部113，係對從Geometry係數排序部112按照摩頓碼順序而被供給的Geometry係數，進行RAHT，導出位置資訊的Weight值。RAHT處理部113，係將已導出之Weight值，供給至上下文選擇部114及Attribute編碼部115(的RAHT處理部121)。
上下文選擇部114，係進行上下文之選擇的相關處理。例如，上下文選擇部114，係從RAHT處理部113，取得Weight值。上下文選擇部114，係基於該Weight值來選擇上下文。
例如，上下文選擇部114，係將上下文之候補預先做複數記憶。對各候補係指派了彼此互異的Weight值(之值域)，隨應於Weight值之大小而選擇任一候補。例如，Weight值為未滿閾值A的情況下，則已被指派給該值域的上下文A會被選擇，Weight值為閾值A以上而未滿B的情況下，則已被指派給該值域的上下文B會被選擇，・・・，Weight值為閾值Y以上的情況下，則已被指派給該值域的上下文Z會被選擇，以如此的方式，隨應於Weight值的大小而選擇任一候補。此外，各候補係被設定成，對於已被指派之值域所對應之係數的參差程度而言較為適切的值。
亦即，上下文選擇部114，基於Weight值來選擇上下文，藉此，就可選擇對於該Weight值所對應之係數的參差程度而言較為適切的上下文。
此外，候補的數量或該閾值的大小，係為任意。例如，亦可為已被預先決定之固定值，亦可藉由使用者等來做設定(亦可設計成可變)。在可變的情況下，候補的數量或閾值等之設定值，係亦可作為標頭資訊等而被含入在位元串流中而被傳輸至解碼側。藉由如此設計，解碼器，係可使用該資訊而較容易地進行與編碼裝置100相同的上下文之選擇。
上下文選擇部114，係將已選擇之上下文，供給至Attribute編碼部115(的可逆編碼部123)。
Attribute編碼部115，係進行屬性資訊之編碼的相關處理。例如，Attribute編碼部115，係將被輸入至編碼裝置100的點雲資料的屬性資訊加以取得，將該屬性資訊予以編碼，生成Attribute編碼資料。Attribute編碼部115，係將已生成之Attribute的編碼資料，供給至位元串流生成部116。
位元串流生成部116，係生成含有從Geometry編碼部111所被供給之Geometry編碼資料、與從Attribute編碼部115所被供給之Attribute編碼資料的位元串流，並輸出至編碼裝置100之外部。
又，Attribute編碼部115係具有：RAHT處理部121、量化部122、及可逆編碼部123。
RAHT處理部121，係進行RAHT的相關處理。例如，RAHT，係將被輸入至編碼裝置100的點雲資料的屬性資訊，加以取得。又，RAHT處理部121，係將從RAHT處理部113所被供給之Weight值，加以取得。RAHT處理部121，係使用該Weight值，來對屬性資訊進行RAHT。RAHT處理部121，係將該處理所得之轉換係數，供給至量化部122。
量化部122，係進行量化的相關處理。例如，量化部122，係將從RAHT處理部所被供給之轉換係數，加以取得。又，量化部122，係將已取得之轉換係數，予以量化。量化部122，係將藉由量化而得到的量化係數，供給至可逆編碼部123。
可逆編碼部123，係進行可逆編碼的相關處理。例如，可逆編碼部123，係將從量化部122所被供給之量化係數，加以取得。又，可逆編碼部123，係將已被上下文選擇部114所選擇之上下文，加以取得。可逆編碼部123，係使用該上下文而將量化係數予以編碼。亦即，可逆編碼部123，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊予以編碼。可逆編碼部123，係將如此所生成的屬性資訊之編碼資料(Attribute編碼資料)，供給至位元串流生成部116。
此外，這些處理部(Geometry編碼部111乃至位元串流生成部116、以及RAHT處理部121乃至可逆編碼部123)，係具有任意之構成。例如，各處理部亦可藉由，實現上述處理的邏輯電路，而被構成。又，亦可為，各處理部係具有例如CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等，藉由使用它們來執行程式，以實現上述的處理。當然，亦可為，各處理部係具有該雙方之構成，上述之處理的一部分是以邏輯電路來加以實現，其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立，例如亦可為，一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現，另一部分之處理部是藉由執行程式而實現上述處理，再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
藉由設計成如此構成，編碼裝置100係可獲得如＜1.屬性資訊之編碼＞中所說明的效果。例如，編碼裝置100係可抑制負荷的增大同時抑制編碼效率的降低。
＜編碼處理的流程＞ 接著，該編碼裝置100所執行的影像編碼處理的流程之例子，參照圖6的流程圖來說明。
一旦編碼處理被開始，則Geometry編碼部111，係於步驟S101中，將Geometry資料(位置資訊)予以編碼。
於步驟S102中，Geometry係數排序部112，係將Geometry係數，排序成摩頓碼順序。
於步驟S103中，RAHT處理部113，係對Geometry資料進行RAHT，導出Weight值。
於步驟S104中，上下文選擇部114，係基於步驟S103中所被導出之Weight值來選擇上下文。
於步驟S105中，RAHT處理部121，係使用步驟S103中所被導出之Geometry的Weight值，來對Attribute資料(屬性資訊)進行RAHT。
於步驟S106中，量化部122，係對步驟S105中所得到的轉換係數，進行量化。
於步驟S107中，可逆編碼部123，係使用步驟S104中所被選擇之上下文，而將步驟S106中所得到的量化係數(Attribute資料)進行可逆編碼。
於步驟S108中，位元串流生成部116係生成，含有步驟S101中所得到之Geometry編碼資料、與步驟S107中所得到之Attribute編碼資料的位元串流。
於步驟S109中，可逆編碼部123，係將步驟S108中所被生成之位元串流，予以輸出。
一旦步驟S109的處理結束，則編碼處理就結束。
藉由如以上般地執行各處理，編碼裝置100係可獲得如＜1.屬性資訊之編碼＞中所說明的效果。例如，編碼效率100係可抑制負荷的增大同時抑制編碼效率的降低。
＜3.第2實施形態＞ ＜解碼裝置＞ 圖7係適用了本技術的影像處理裝置之一態樣的解碼裝置之構成之一例的區塊圖。圖7所示的解碼裝置200，係為圖5的編碼裝置100所相對應的解碼裝置，係為例如將該編碼裝置100所生成的位元串流予以解碼，並將點雲之資料予以復原的裝置。
此外，於圖7中係主要表示處理部或資料的流向等，圖7所示者並非全部。亦即，於解碼裝置200中，亦可存在有於圖7中未以區塊而被表示的處理部，亦可存在有於圖7中未以箭頭等而表示的處理或資料之流動。
如圖7所示，解碼裝置200係具有：Geometry解碼部211、Geometry係數排序部212、RAHT處理部213、上下文選擇部214、Attribute解碼部215、及Point cloud資料生成部216。
Geometry解碼部211，係進行位置資訊之編碼資料之解碼的相關處理。Geometry解碼部211係例如，將被輸入至解碼裝置200的位元串流加以取得，將該位元串流中所含之位置資訊之編碼資料(Geometry編碼資料)予以抽出，並解碼之。Geometry解碼部211，係將如此所得之係數資料(Geometry資料)，供給至Geometry係數排序部212及Point cloud資料生成部216。
Geometry係數排序部212，係進行Geometry係數之排序的相關處理。例如，Geometry係數排序部212，係將從Geometry解碼部211所被供給之Geometry資料，加以取得。Geometry係數排序部212，係將該Geometry資料的各係數(Geometry係數)，排序成摩頓碼順序。Geometry係數排序部212，係將該已排序之Geometry資料，供給至RAHT處理部213。亦即，Geometry係數排序部212，係將Geometry係數，按照摩頓碼順序而供給至RAHT處理部213。
RAHT處理部213，係進行RAHT的相關處理。例如，RAHT處理部213，係將從Geometry係數排序部212所被供給之Geometry資料，加以取得。又，RAHT處理部213，係對該Geometry資料進行RAHT，導出位置資訊的Weight值。RAHT處理部213，係將已導出之Weight值，供給至上下文選擇部214及Attribute解碼部215(的逆RAHT處理部223)。
上下文選擇部214，係進行上下文之選擇的相關處理。例如，上下文選擇部214，係將從RAHT處理部213所被供給之Weight值，加以取得。上下文選擇部214，係基於該Weight值來選擇上下文。
例如，上下文選擇部214，係將上下文之候補預先做複數記憶。對各候補係指派了彼此互異的Weight值(之值域)，隨應於Weight值之大小而選擇任一候補。例如，Weight值為未滿閾值A的情況下，則已被指派給該值域的上下文A會被選擇，Weight值為閾值A以上而未滿B的情況下，則已被指派給該值域的上下文B會被選擇，・・・，Weight值為閾值Y以上的情況下，則已被指派給該值域的上下文Z會被選擇，以如此的方式，隨應於Weight值的大小而選擇任一候補。此外，各候補係被設定成，對於已被指派之值域所對應之係數的參差程度而言較為適切的值。
亦即，上下文選擇部214，基於Weight值來選擇上下文，藉此，就可選擇對於該Weight值所對應之係數的參差程度而言較為適切的上下文。
此外，候補的數量或該閾值的大小，係為任意。例如，亦可為已被預先決定之固定值，亦可為將編碼側(編碼裝置100)中已經設定好的值予以傳輸過來(亦可設計成可變)。藉由如此設計，解碼裝置200，係可使用該資訊而較容易地進行與編碼器(例如編碼裝置100)相同的上下文之選擇。
上下文選擇部214，係將已選擇之上下文，供給至Attribute解碼部215(的逆RAHT處理部223)。
Attribute解碼部215，係進行屬性資訊之解碼的相關處理。例如，Attribute解碼部215，係將被輸入至解碼裝置200的位元串流中所含之屬性資訊之編碼資料(Attribute編碼資料)加以取得，將該編碼資料予以解碼，生成屬性資訊(Attribute資料)。Attribute解碼部215，係將已生成之Attribute資料，供給至Point cloud資料生成部216。
Point cloud資料生成部216，係生成含有從Geometry解碼部211所被供給之Geometry資料、與從Attribute解碼部215所被供給之Attribute資料的Point cloud資料，並輸出至解碼裝置200之外部。
又，Attribute解碼部215係具有：可逆解碼部221、逆量化部222、及逆RAHT處理部223。
可逆解碼部221，係進行可逆解碼的相關處理。例如，可逆解碼部221，係將被輸入至解碼裝置200的位元串流中所含之屬性資訊之編碼資料(Attribute編碼資料)，加以取得。又，可逆解碼部221，係將已被上下文選擇部214所選擇之上下文，加以取得。可逆解碼部221，係將已取得之Attribute編碼資料，使用已被上下文選擇部214所選擇之上下文，而進行解碼。亦即，可逆解碼部221，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊之編碼資料，予以解碼。可逆解碼部221，係將如此所生成的屬性資訊(Attribute資料)，供給至逆量化部222。
逆量化部222，係進行逆量化的相關處理。例如，逆量化部222，係將從可逆解碼部221所被供給之Attribute資料，加以取得。又，逆量化部222，係將已取得之Attribute資料，進行逆量化。逆量化部222，係將藉由逆量化而得到的轉換係數，供給至逆RAHT處理部223。
逆RAHT處理部223，係進行RAHT的逆處理也就是逆RAHT的相關處理。例如，逆RAHT處理部223，係將從逆量化部222所被供給之轉換係數，加以取得。又，逆RAHT處理部223，係將RAHT處理部213所生成之位置資訊的Weight值，加以取得。逆RAHT處理部223，係使用該Weight值，來對轉換係數進行逆RAHT。逆RAHT處理部223，係將該處理所得之屬性資訊(Attribute資料)，供給至Point cloud資料生成部216。
此外，這些處理部(Geometry解碼部211乃至Point cloud資料生成部216、以及可逆解碼部221乃至逆RAHT處理部223)，係具有任意之構成。例如，各處理部亦可藉由，實現上述處理的邏輯電路，而被構成。又，亦可為，各處理部係具有例如CPU、ROM、RAM等，藉由使用它們來執行程式，以實現上述的處理。當然，亦可為，各處理部係具有該雙方之構成，上述之處理的一部分是以邏輯電路來加以實現，其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立，例如亦可為，一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現，另一部分之處理部是藉由執行程式而實現上述處理，再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
藉由設計成如此構成，解碼裝置200係可獲得如＜1.屬性資訊之編碼＞中所說明的效果。例如，解碼裝置200係可抑制負荷的增大同時抑制編碼效率的降低。
＜解碼處理的流程＞ 接著，被該解碼裝置200所執行的解碼處理的流程之例子，參照圖8的流程圖來加以說明。
一旦解碼處理被開始，則Geometry解碼部211，係於步驟S201中，將Geometry之位元串流予以解碼。
於步驟S202中，Geometry係數排序部212，係將步驟S201中所得到的Geometry係數，排序成摩頓碼順序。
於步驟S203中，RAHT處理部213，係對Geometry資料進行RAHT，導出Weight值。
於步驟S204中，上下文選擇部214，係基於步驟S203中所得到的Weight值來選擇上下文。
於步驟S205中，可逆解碼部221，係使用步驟S204中所被選擇之上下文，而將Attribute之位元串流進行可逆解碼。亦即，可逆解碼部221，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將該點雲的屬性資訊之編碼資料，予以解碼。
於步驟S206中，逆量化部222，係對步驟S205中所得到的量化係數，進行逆量化。
於步驟S207中，逆RAHT處理部223，係使用Geometry的Weight值來對轉換係數進行逆RAHT，生成Attribute資料。
於步驟S208中，Point cloud資料生成部216係生成，含有步驟S201中所得到之Geometry資料、與步驟S207中所得到之Attribute資料的Point cloud資料。
於步驟S209中，Point cloud資料生成部216，係將步驟S208中所生成之Point cloud資料，輸出至解碼裝置200之外部。
一旦步驟S209之處理結束則解碼處理就結束。
藉由如以上般地執行各處理，解碼裝置200係可獲得如＜1.屬性資訊之編碼＞中所說明的效果。例如，解碼裝置200係可抑制負荷的增大同時抑制編碼效率的降低。
＜4.第3實施形態＞ ＜編碼裝置＞ 例如，將Geometry資料進行Octree編碼的情況下，點的分布之樣子，係可根據該Octree而容易地掌握。亦即，Weight值，係即使不進行RAHT處理，也可從該Octree而容易地導出。
此時的編碼裝置100的主要構成例，示於圖9。此情況下，編碼裝置100，相較於圖5的例子，是取代了Geometry係數排序部112及RAHT處理部113，而改為具有Weight算出部301。
Weight算出部301，係進行Weight值之算出的相關處理。例如，Weight算出部301，係從Geometry編碼部111，取得位置資訊的Octree資料。Weight算出部301，係基於該位置資訊的Octree，而導出Weight值。Weight算出部301，係將已導出之Weight值，供給至上下文選擇部114及RAHT處理部121。
藉由如此設計，相較於圖5的情況，不需要負荷較大的Geometry係數之排序也不需要RAHT處理，可藉由負荷較小的根據Octree的Weight算出，而導出Weight值。因此，編碼裝置100，係將較於第1實施形態之情況，可更加抑制負荷之增大。
＜編碼處理的流程＞ 參照圖10的流程圖來說明此時的編碼處理的流程之例子。
一旦編碼處理被開始，則Geometry編碼部111，係於步驟S301中，與步驟S101之情況同樣地，將Geometry資料(位置資訊)予以編碼。
於步驟S302中，Weight算出部301，係從步驟S301中所得到的Octree，算出Weight值。
步驟S303乃至步驟S308之各處理，係和圖6的步驟S104乃至步驟S109之各處理同樣地被執行。
因此，藉由如以上般地執行各處理，編碼裝置100，係與第1實施形態之情況同樣地，可抑制負荷的增大同時抑制編碼效率的降低。又，此時的編碼裝置100，係可較第1實施形態之情況，更加抑制負荷之增大。
＜5.第4實施形態＞ ＜解碼裝置＞ 解碼裝置200也是和第3實施形態的情況同樣地，亦可將Weight值，從Octree予以導出。藉由如此設計，Weight值，係即使不進行RAHT處理，也可從該Octree而容易地導出。
此時的解碼裝置200的主要構成例，示於圖11。此情況下，解碼裝置200，相較於圖7的例子，是取代了Geometry係數排序部212及RAHT處理部213，而改為具有Weight算出部401。
Weight算出部401，係進行Weight值之算出的相關處理。例如，Weight算出部401，係從Geometry解碼部211，取得位置資訊的Octree資料。Weight算出部401，係基於該位置資訊的Octree，而導出Weight值。Weight算出部401，係將已導出之Weight值，供給至上下文選擇部214及逆RAHT處理部223。
藉由如此設計，相較於圖7的情況，不需要負荷較大的Geometry係數之排序也不需要RAHT處理，可藉由負荷較小的根據Octree的Weight算出，而導出Weight值。因此，解碼裝置200，係將較於第2實施形態之情況，可更加抑制負荷之增大。
＜解碼處理的流程＞ 參照圖12的流程圖來說明此時的解碼處理的流程之例子。
一旦解碼處理被開始，則Geometry解碼部211，係於步驟S401中，與步驟S201之情況同樣地，將Geometry之位元串流予以解碼。
於步驟S402中，Weight算出部401，係從步驟S401中所得到的Octree，算出Weight值。
步驟S403乃至步驟S408之各處理，係和圖8的步驟S204乃至步驟S209之各處理同樣地被執行。
因此，藉由如以上般地執行各處理，解碼裝置200，係與第2實施形態之情況同樣地，可抑制負荷的增大同時抑制編碼效率的降低。又，此時的解碼裝置200，係可較第2實施形態之情況，更加抑制負荷之增大。
＜6.附記＞ ＜正交轉換＞ 此外，以上雖然是以使用RAHT來作為正交轉換的情況為例做說明，但編碼、解碼之際所被進行的正交轉換，係只要是有考慮到3維結構者即可，不限定於RAHT。例如，亦可為圖形轉換等。
＜電腦＞ 上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖13係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖13所示的電腦900中，CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM (Random Access Memory)903，係透過匯流排904而被彼此連接。
匯流排904，係還連接著輸出入介面910。輸出入介面910上係連接有：輸入部911、輸出部912、記憶部913、通訊部914、及驅動機915。
輸入部911，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部912係由例如顯示器、揚聲器、輸出端子等所成。記憶部913，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部914係由例如網路介面所成。驅動機915係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體921。
在如以上構成的電腦中，藉由CPU901而例如將記憶部913中所記憶之程式，透過輸出入介面910及匯流排904，而載入至RAM903裡並加以執行，就可進行上述一連串處理。RAM903中，還適宜地記憶著CPU901在執行各種處理時所必需的資料等。
電腦(CPU901)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體921中而適用。此情況下，程式係藉由將可移除式媒體921裝著至驅動機915，就可透過輸出入介面910，安裝至記憶部913。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部914而接收之，並安裝至記憶部913。
除此以外，該程式係可事前安裝在ROM902或記憶部913中。
＜本技術的適用對象＞ 以上雖然針對在點雲資料的編碼、解碼中適用本技術的情況加以說明，但本技術係不限於這些例子，亦可對任意規格的3D資料的編碼、解碼做適用。亦即，只要不與上述的本技術產生矛盾，編碼、解碼方式等之各種處理、以及3D資料或後設資料等之各種資料的規格，係為任意。又，只要不與本技術產生矛盾，亦可省略上述的一部分之處理或規格。
本技術係可適用於任意的構成。例如，本技術係可適用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等，各式各樣的電子機器。
又例如，本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等，作為裝置的部分構成而實施。
又例如，本技術係亦可對由複數裝置所構成的網路系統做適用。例如，亦可將本技術，透過網路而分擔給複數台裝置，以共同進行處理的雲端運算的方式，來加以實施。例如，亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端，提供影像(動態影像)的相關之服務的雲端服務中，實施本技術。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
＜可適用本技術的領域、用途＞ 適用了本技術的系統、裝置、處理部等係可利用於例如：交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又，其用途也為任意。
＜其他＞ 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又，例如，上述的程式，係亦可於任意的裝置中被執行。此情況下，只要讓該裝置，具有必要的機能(機能區塊等)，能夠獲得必要的資訊即可。
又，例如，1個流程圖的各步驟，亦可由1個裝置來執行，也可由複數裝置來分擔而執行。甚至，1個步驟中包含有複數個處理的情況下，該複數個處理亦可由1個裝置來執行，也可由複數裝置來分擔而執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
又，例如，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
又，例如，本技術所相關之複數個技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。
此外，本技術係亦可採取如以下之構成。 (1) 一種影像處理裝置，係具備： 編碼部，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊予以編碼。 (2) 如(1)所記載之影像處理裝置，其中， 還具備：上下文選擇部，係選擇前記Weight值所對應之上下文； 前記編碼部，係使用已被前記上下文選擇部所選擇之上下文，而將前記屬性資訊予以編碼。 (3) 如(2)所記載之影像處理裝置，其中， 前記上下文選擇部，係使用已被預先決定之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。 (4) 如(2)或(3)所記載之影像處理裝置，其中， 前記上下文選擇部，係使用已被設定之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。 (5) 如(2)乃至(4)之任一項所記載之影像處理裝置，其中， 還具備：Weight值導出部，係將前記Weight值予以導出； 前記上下文選擇部，係選擇已被前記Weight值導出部所導出之前記Weight值所對應之上下文。 (6) 如(5)所記載之影像處理裝置，其中， 前記Weight值導出部，係對前記位置資訊，進行RAHT(Region Adaptive Hierarchical Transform)來作為前記正交轉換，並將前記Weight值予以導出。 (7) 如(5)或(6)所記載之影像處理裝置，其中， 前記Weight值導出部，係基於前記位置資訊的Octree而將前記Weight值予以導出。 (8) 如(5)乃至(7)之任一項所記載之影像處理裝置，其中， 還具備：RAHT處理部，係使用已被前記Weight值導出部所導出之前記Weight值來對前記屬性資訊進行RAHT(Region Adaptive Hierarchical Transform)； 前記編碼部，係將已被前記RAHT處理部所生成之前記屬性資訊的轉換係數，予以編碼。 (9) 如(1)乃至(8)之任一項所記載之影像處理裝置，其中， 還具備：位元串流生成部，係生成含有前記位置資訊之編碼資料、與已被前記編碼部所生成之前記屬性資訊之編碼資料的位元串流。 (10) 一種影像處理方法，係 使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊予以編碼。
(11) 一種影像處理裝置，係具備： 解碼部，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊之編碼資料，予以解碼。 (12) 如(11)所記載之影像處理裝置，其中， 還具備：上下文選擇部，係選擇前記Weight值所對應之上下文； 前記解碼部，係使用已被前記上下文選擇部所選擇之上下文，而將前記屬性資訊之編碼資料予以解碼。 (13) 如(12)所記載之影像處理裝置，其中， 前記上下文選擇部，係使用已被預先決定之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。 (14) 如(12)或(13)所記載之影像處理裝置，其中， 前記上下文選擇部，係使用從編碼側所被供給之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。 (15) 如(12)乃至(14)之任一項所記載之影像處理裝置，其中， 還具備：Weight值導出部，係將前記Weight值予以導出； 前記上下文選擇部，係選擇已被前記Weight值導出部所導出之前記Weight值所對應之上下文。 (16) 如(15)所記載之影像處理裝置，其中， 前記Weight值導出部，係對前記位置資訊，進行RAHT(Region Adaptive Hierarchical Transform)來作為前記正交轉換，並將前記Weight值予以導出。 (17) 如(15)或(16)所記載之影像處理裝置，其中， 前記Weight值導出部，係基於前記位置資訊的Octree而將前記Weight值予以導出。 (18) 如(15)乃至(17)之任一項所記載之影像處理裝置，其中， 還具備：逆RAHT處理部，係使用已被前記Weight值導出部所導出之前記Weight值，對已被前記解碼部所生成之前記屬性資訊進行逆RAHT(Region Adaptive Hierarchical Transform)。 (19) 如(11)乃至(18)之任一項所記載之影像處理裝置，其中， 還具備：點雲資料生成部，係生成含有前記位置資訊、與已被前記解碼部所生成之前記屬性資訊的點雲資料。 (20) 一種影像處理方法，係 使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊之編碼資料，予以解碼。
10:編碼裝置 11:Geometry編碼部 12:Geometry係數排序部 13:RAHT處理部 14:Geometry係數排序部 15:Attribute編碼部 16:位元串流生成部 21:RAHT處理部 22:量化部 23:Attribute係數排序部 24:可逆編碼部 50:解碼裝置 51:Geometry解碼部 52:Geometry係數排序部 53:RAHT處理部 54:Geometry係數排序部 55:Attribute解碼部 56:Point cloud資料生成部 61:可逆解碼部 62:逆Attribute係數排序部 63:逆量化部 64:逆RAHT處理部 71:框 72:框 100:編碼裝置 111:Geometry編碼部 112:Geometry係數排序部 113:RAHT處理部 114:上下文選擇部 115:Attribute編碼部 116:位元串流生成部 121:RAHT處理部 122:量化部 123:可逆編碼部 200:解碼裝置 211:Geometry解碼部 212:Geometry係數排序部 213:RAHT處理部 214:上下文選擇部 215:Attribute解碼部 216:Point cloud資料生成部 221:可逆解碼部 222:逆量化部 223:逆RAHT處理部 301:Weight算出部 401:Weight算出部 900:電腦 901:CPU 902:ROM 903:RAM 904:匯流排 910:輸出入介面 911:輸入部 912:輸出部 913:記憶部 914:通訊部 915:驅動機 921:可移除式媒體
[圖1] RAHT之概要的說明圖。 [圖2] 編碼裝置的主要構成例的區塊圖。 [圖3] 解碼裝置的主要構成例的區塊圖。 [圖4] 每一Weight值的係數值之分布之樣子之例子的圖示。 [圖5] 編碼裝置的主要構成例的區塊圖。 [圖6] 編碼處理的流程之例子的說明用流程圖。 [圖7] 解碼裝置的主要構成例的區塊圖。 [圖8] 解碼處理的流程之例子的說明用流程圖。 [圖9] 編碼裝置的主要構成例的區塊圖。 [圖10] 編碼處理的流程之例子的說明用流程圖。 [圖11] 解碼裝置的主要構成例的區塊圖。 [圖12] 解碼處理的流程之例子的說明用流程圖。 [圖13] 電腦的主要構成例的區塊圖。
10:編碼裝置
11:Geometry編碼部
12:Geometry係數排序部
13:RAHT處理部
14:Geometry係數排序部
15:Attribute編碼部
16:位元串流生成部
21:RAHT處理部
22:量化部
23:Attribute係數排序部
24:可逆編碼部

Claims (20)

  1. 一種影像處理裝置，係具備： 編碼部，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊予以編碼。
  2. 如請求項1所記載之影像處理裝置，其中， 還具備：上下文選擇部，係選擇前記Weight值所對應之上下文； 前記編碼部，係使用已被前記上下文選擇部所選擇之上下文，而將前記屬性資訊予以編碼。
  3. 如請求項2所記載之影像處理裝置，其中， 前記上下文選擇部，係使用已被預先決定之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。
  4. 如請求項2所記載之影像處理裝置，其中， 前記上下文選擇部，係使用已被設定之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。
  5. 如請求項2所記載之影像處理裝置，其中， 還具備：Weight值導出部，係將前記Weight值予以導出； 前記上下文選擇部，係選擇已被前記Weight值導出部所導出之前記Weight值所對應之上下文。
  6. 如請求項5所記載之影像處理裝置，其中， 前記Weight值導出部，係對前記位置資訊，進行RAHT(Region Adaptive Hierarchical Transform)來作為前記正交轉換，並將前記Weight值予以導出。
  7. 如請求項5所記載之影像處理裝置，其中， 前記Weight值導出部，係基於前記位置資訊的Octree而將前記Weight值予以導出。
  8. 如請求項5所記載之影像處理裝置，其中， 還具備：RAHT處理部，係使用已被前記Weight值導出部所導出之前記Weight值來對前記屬性資訊進行RAHT (Region Adaptive Hierarchical Transform)； 前記編碼部，係將已被前記RAHT處理部所生成之前記屬性資訊的轉換係數，予以編碼。
  9. 如請求項1所記載之影像處理裝置，其中， 還具備：位元串流生成部，係生成含有前記位置資訊之編碼資料、與已被前記編碼部所生成之前記屬性資訊之編碼資料的位元串流。
  10. 一種影像處理方法，係 使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊予以編碼。
  11. 一種影像處理裝置，係具備： 解碼部，係使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊之編碼資料，予以解碼。
  12. 如請求項11所記載之影像處理裝置，其中， 還具備：上下文選擇部，係選擇前記Weight值所對應之上下文； 前記解碼部，係使用已被前記上下文選擇部所選擇之上下文，而將前記屬性資訊之編碼資料予以解碼。
  13. 如請求項12所記載之影像處理裝置，其中， 前記上下文選擇部，係使用已被預先決定之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。
  14. 如請求項12所記載之影像處理裝置，其中， 前記上下文選擇部，係使用從編碼側所被供給之上下文之數量及對Weight值之閾值，來選擇前記Weight值所相應之上下文。
  15. 如請求項12所記載之影像處理裝置，其中， 還具備：Weight值導出部，係將前記Weight值予以導出； 前記上下文選擇部，係選擇已被前記Weight值導出部所導出之前記Weight值所對應之上下文。
  16. 如請求項15所記載之影像處理裝置，其中， 前記Weight值導出部，係對前記位置資訊，進行RAHT(Region Adaptive Hierarchical Transform)來作為前記正交轉換，並將前記Weight值予以導出。
  17. 如請求項15所記載之影像處理裝置，其中， 前記Weight值導出部，係基於前記位置資訊的Octree而將前記Weight值予以導出。
  18. 如請求項15所記載之影像處理裝置，其中， 還具備：逆RAHT處理部，係使用已被前記Weight值導出部所導出之前記Weight值，對已被前記解碼部所生成之前記屬性資訊進行逆RAHT(Region Adaptive Hierarchical Transform)。
  19. 如請求項11所記載之影像處理裝置，其中， 還具備：點雲資料生成部，係生成含有前記位置資訊、與已被前記解碼部所生成之前記屬性資訊的點雲資料。
  20. 一種影像處理方法，係 使用對點雲的位置資訊所被進行的考慮到3維結構之正交轉換的Weight值所對應之上下文，而將前記點雲的屬性資訊之編碼資料，予以解碼。
TW108134148A 2018-10-02 2019-09-23 影像處理裝置及方法 TW202015398A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018187483 2018-10-02
JP2018-187483 2018-10-02

Publications (1)

Publication Number Publication Date
TW202015398A true TW202015398A (zh) 2020-04-16

Family

ID=70055225

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108134148A TW202015398A (zh) 2018-10-02 2019-09-23 影像處理裝置及方法

Country Status (13)

Country Link
US (1) US20220044448A1 (zh)
EP (1) EP3843040A4 (zh)
JP (1) JPWO2020071115A1 (zh)
KR (1) KR20210070282A (zh)
CN (1) CN112789657A (zh)
AU (1) AU2019353279A1 (zh)
BR (1) BR112021005904A2 (zh)
CA (1) CA3115213A1 (zh)
MX (1) MX2021003524A (zh)
PH (1) PH12021550655A1 (zh)
SG (1) SG11202103046VA (zh)
TW (1) TW202015398A (zh)
WO (1) WO2020071115A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021210550A1 (ja) * 2020-04-14 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN116233386A (zh) * 2021-12-03 2023-06-06 维沃移动通信有限公司 点云属性编码方法、点云属性解码方法及终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10694210B2 (en) * 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US11297346B2 (en) * 2016-05-28 2022-04-05 Microsoft Technology Licensing, Llc Motion-compensated compression of dynamic voxelized point clouds
US10223810B2 (en) * 2016-05-28 2019-03-05 Microsoft Technology Licensing, Llc Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression

Also Published As

Publication number Publication date
SG11202103046VA (en) 2021-05-28
WO2020071115A1 (ja) 2020-04-09
US20220044448A1 (en) 2022-02-10
KR20210070282A (ko) 2021-06-14
MX2021003524A (es) 2021-04-28
JPWO2020071115A1 (ja) 2021-09-02
BR112021005904A2 (pt) 2021-07-27
PH12021550655A1 (en) 2022-02-21
AU2019353279A1 (en) 2021-05-27
CA3115213A1 (en) 2020-04-09
CN112789657A (zh) 2021-05-11
EP3843040A4 (en) 2021-10-27
EP3843040A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
US11910026B2 (en) Image processing apparatus and method
US11943457B2 (en) Information processing apparatus and method
WO2019198523A1 (ja) 画像処理装置および方法
WO2020012967A1 (ja) 画像処理装置および方法
JPWO2019142666A1 (ja) 画像処理装置および方法
WO2020071114A1 (ja) 画像処理装置および方法
US11991348B2 (en) Information processing device and method
US12073596B2 (en) Information processing apparatus and method
US11399189B2 (en) Image processing apparatus and method
US20230023219A1 (en) Information processing device and method
TW202015398A (zh) 影像處理裝置及方法
WO2020145143A1 (ja) 情報処理装置および方法
JP7544049B2 (ja) 情報処理装置および方法
WO2019198520A1 (ja) 情報処理装置および方法
JPWO2020071116A1 (ja) 画像処理装置および方法
WO2020262020A1 (ja) 情報処理装置および方法
JP2022051968A (ja) 情報処理装置および方法