TW202017374A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW202017374A
TW202017374A TW108123292A TW108123292A TW202017374A TW 202017374 A TW202017374 A TW 202017374A TW 108123292 A TW108123292 A TW 108123292A TW 108123292 A TW108123292 A TW 108123292A TW 202017374 A TW202017374 A TW 202017374A
Authority
TW
Taiwan
Prior art keywords
information
unit
previous
model
point group
Prior art date
Application number
TW108123292A
Other languages
English (en)
Inventor
隈智
中神央二
矢野幸司
加藤毅
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW202017374A publication Critical patent/TW202017374A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本揭露係有關於，可抑制點雲之視訊基礎方式之編碼資料之解碼處理的負荷之增大的影像處理裝置及方法。 將點雲之複數個點群模型之相關參數，予以轉換；將該參數已被轉換的複數個點群模型所被投影之2維平面影像予以編碼，並生成含有該2維影像之編碼資料、和該參數之轉換之相關資訊也就是轉換資訊的位元串流。本揭露係可適用於例如資訊處理裝置、影像處理裝置、電子機器、資訊處理方法、或程式等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法，特別是有關於可抑制點雲之視訊基礎方式之編碼資料之解碼處理的負荷之增大的影像處理裝置及方法。
先前，作為例如像是點雲(Point cloud)這類表示3維結構之3D資料的編碼方法，係有例如Octree等這類使用到體素(Voxel)的編碼(例如參照非專利文獻1)。
近年來，作為其他編碼方法，例如，將點雲的位置與色彩資訊，分別按照每一小領域地投影至2維平面，以2維影像用之編碼方法來進行編碼的方式(以下亦稱為視訊基礎方式(Video-based approach))，係已被提出(例如參照非專利文獻2乃至非專利文獻4)。
於如此的編碼中，在點雲中有複數個點群模型存在的情況下，在先前的方法中，是每一點群模型而獨立地被編碼，會變成彼此互異的位元串流。 [先前技術文獻] [非專利文獻]
[非專利文獻1]R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf [非專利文獻2]Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression ," IEEE, 2015 [非專利文獻3]K. Mammou, “Video-based and Hierarchical Approaches Point Cloud Compression” , MPEG m41649, Oct. 2017 [非專利文獻4]K. Mammou,“PCC Test Model Category 2 v0,” N17248 MPEG output document, October 2017
[發明所欲解決之課題]
然而，該方法的情況下，若點群模型的數量增大，則解碼器所必須之事例數恐怕會增大。
本揭露係有鑑於此種狀況而研發，其目的在於，可抑制點雲之視訊基礎方式之編碼資料之解碼時所必須之事例數之增大，而可抑制解碼處理的負荷之增大。 [用以解決課題之手段]
本技術之一側面之影像處理裝置，係為一種影像處理裝置，其係具備：轉換部，係將點雲之複數個點群模型之相關參數，予以轉換；和編碼部，係將前記參數是已被前記轉換部進行轉換過的前記複數個點群模型所被投影之2維平面影像予以編碼，並生成含有前記2維平面影像之編碼資料、和前記轉換部所致之前記參數之轉換之相關資訊也就是轉換資訊的位元串流。
本技術之一側面之影像處理方法，係為一種影像處理方法，係將點雲之複數個點群模型之相關參數，予以轉換；將前記參數已被轉換的前記複數個點群模型所被投影之2維平面影像予以編碼，並生成含有前記2維平面影像之編碼資料、和前記參數之轉換之相關資訊也就是轉換資訊的位元串流。
本技術之另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：解碼部，係將位元串流予以解碼，生成複數個點群模型所被投影之2維平面影像、和前記複數個點群模型之每一者的參數之轉換之相關資訊也就是轉換資訊；和重建部，係從已被前記解碼部所生成之前記2維平面影像來重建前記複數個點群模型之每一者，基於前記轉換資訊，而將前記複數個點群模型之每一者的參數進行逆轉換。
本技術之另一側面的影像處理方法，係為一種影像處理方法，係將位元串流予以解碼，生成複數個點群模型所被投影之2維平面影像、和前記複數個點群模型之每一者的參數之轉換之相關資訊也就是轉換資訊；從已被生成之前記2維平面影像來重建前記複數個點群模型之每一者，基於前記轉換資訊，而將前記複數個點群模型之每一者的參數進行逆轉換。
本技術之再另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：投影部，係將構成點群模型的複數個部分點群模型，分別投影至已被彼此獨立地設定的投影面；和編碼部，係將已被前記投影部投影至各投影面的前記部分點群模型之斑塊所被配置的2維平面影像，和含有前記投影面之相關資訊也就是投影面資訊的佔用地圖，予以編碼，生成位元串流。
本技術之再另一側面的影像處理方法，係為一種影像處理方法，係將構成點群模型的複數個部分點群模型，分別投影至已被彼此獨立地設定的投影面；將已被投影至各投影面的前記部分點群模型之斑塊所被配置的2維平面影像，和含有前記投影面之相關資訊也就是投影面資訊的佔用地圖，予以編碼，生成位元串流。
本技術之再另一側面的影像處理裝置，係為一種影像處理裝置，其係具備：解碼部，係將位元串流予以解碼，生成點群模型所被投影之2維平面影像、和含有前記點群模型中所含之複數個部分點群模型之每一者的投影面之相關資訊也就是投影面資訊的佔用地圖；和重建部，係基於已被前記解碼部所生成之前記2維平面影像、和前記佔用地圖中所含之前記投影面資訊，而重建前記點群模型。
本技術之再另一側面的影像處理方法，係為一種影像處理方法，係將位元串流予以解碼，生成點群模型所被投影之2維平面影像、和含有前記點群模型中所含之複數個部分點群模型之每一者的投影面之相關資訊也就是投影面資訊的佔用地圖；基於已被生成之前記2維平面影像、和前記佔用地圖中所含之前記投影面資訊，而重建前記點群模型。
於本技術之一側面的影像處理裝置及方法中，點雲之複數個點群模型之相關參數係被轉換；該參數已被轉換的複數個點群模型所被投影之2維平面影像係被編碼，含有該2維平面影像之編碼資料、和該參數之轉換之相關資訊也就是轉換資訊的位元串流，會被生成。
於本技術之另一側面的影像處理裝置及方法中，位元串流係被解碼，複數個點群模型所被投影之2維平面影像、和該複數個點群模型之每一者的參數之轉換之相關資訊也就是轉換資訊係被生成；從該已被生成之2維平面影像，複數個點群模型之每一者係被重建，基於該轉換資訊，該複數個點群模型之每一者的參數係被逆轉換。
於本技術之再另一側面的影像處理裝置及方法中，構成點群模型的複數個部分點群模型，係被分別投影至已被彼此獨立地設定的投影面；已被投影至各投影面的部分點群模型之斑塊所被配置的2維平面影像，和含有該投影面之相關資訊也就是投影面資訊的佔用地圖係被編碼，位元串流係被生成。
於本技術之再另一側面的影像處理裝置及方法中，位元串流係被解碼，點群模型所被投影之2維平面影像、和含有該點群模型中所含之複數個部分點群模型之每一者的投影面之相關資訊也就是投影面資訊的佔用地圖，係被生成；基於該已被生成之2維平面影像、和該佔用地圖中所含之投影面資訊，點群模型係被重建。 [發明效果]
若依據本揭露，則可處理影像。尤其是，可抑制點雲之視訊基礎方式之編碼資料之解碼處理的負荷之增大。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。 1.點群模型之轉換 2.部分解碼支援 3.第1實施形態(編碼裝置) 4.第2實施形態(解碼裝置) 5.局部性的投影面控制 6.第3實施形態(編碼裝置) 7.第4實施形態(解碼裝置) 8.附記
＜1.點群模型之轉換＞ ＜支持技術內容、技術用語的文獻等＞ 本技術所揭露之範圍，係不只有實施形態中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1：(上述) 非專利文獻2：(上述) 非專利文獻3：(上述) 非專利文獻4：(上述) 非專利文獻5：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017 非專利文獻6：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016 非專利文獻7：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，非專利文獻6中所記載之Quad-Tree Block Structure、非專利文獻7中所記載之QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施形態中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。
＜點雲＞ 先前，藉由點群之位置資訊或屬性資訊等來表現3維結構的點雲，或以頂點、邊緣、面所構成，使用多角形表現來定義3維形狀的網格等之資料，係為存在。
例如點雲的情況下，是將立體結構物以多數的點的集合(點群)的方式，來加以表現。亦即，點雲之資料，係由該點群的各點之位置資訊或屬性資訊(例如色彩等)而被構成。因此資料結構會比較單純，同時，藉由使用足夠多的點，就可以足夠的精度來表現任意的立體結構。
＜視訊基礎方式之概要＞ 將此種點雲的各位置與色彩資訊，每一小領域地投影至2維平面，以2維影像用之編碼方法來進行編碼的視訊基礎方式(Video-based approach)，已被提出。
在該視訊基礎方式中，已被輸入之點雲(Point cloud)是被分割成複數個區段(亦稱領域)，每一領域地被投影至2維平面。此外，點雲的每一位置之資料(亦即各點之資料)，係如上述是由位置資訊(Geometry(亦稱Depth))和屬性資訊(Texture)所構成，分別被每一領域地投影至2維平面。
然後，已被投影至該2維平面上的各區段(亦稱斑塊)，係被配置在2維影像中，例如藉由AVC(Advanced Video Coding)或HEVC(High Efficiency Video Coding)等這類2維平面影像用之編碼方式，而被編碼。
＜點群模型之編碼＞ 於如此的點雲中，由緻密的點群所成之點群模型，有時候會複數存在。例如，在廣場中有複數個人物是零星存在的情況下，若將包含該廣場全體的3維空間進行點雲化，則在各人物之部分會形成緻密的點群(點群模型)。亦即，會形成複數個點群模型。
在如此情況下，若將點雲全體視為1個大的點群模型而進行編碼，則由於點的稀疏部分會有多數存在，因此會有降低編碼效率之虞。於是，考慮將點雲中所含之複數個點群模型之每一者(例如每一人物地)彼此獨立地進行編碼的方法。然而，此情況下，會每一點群模型地生成位元串流，因此一旦點群模型的數量增大，則位元串流的數量會增大，而會有解碼器所必須之事例數增大之虞。例如，在點雲中存在有數百個點群模型的情況下，恐怕會需要1條位元串流之解碼時所必須之事例數的數百倍之事例。像這樣因為解碼處理的負荷增大，而恐怕會導致解碼器的成本增大，或是處理時間增大等等。
＜位元串流數之降低＞ 於是，設計成將複數個點群模型儲存至1條位元串流。例如，如圖1的表的最上面的行所示，將複數個點群模型予以轉換而集結成1個群組，進行編碼，藉此，就變成將複數個點群模型儲存至1條位元串流。
藉由如此設計，即使在點雲有複數個點群模型存在的情況下，仍可抑制編碼效率之降低同時抑制位元串流數之增大。因此，可抑制解碼時所必須之事例數之增大。亦即，可抑制解碼處理的負荷之增大。藉此，可抑制解碼器的成本之增大。又，可抑制解碼處理的處理時間之增大。
＜點群模型之轉換＞ 更具體而言，如圖1的表的＃1的行所示，將各點群模型之相關參數予以轉換，集結成點的稀疏部分是被減少的1個群組(各點群模型之轉換)。亦即，將該群組予以集結而編碼，成為1條位元串流。
例如，如圖2的最左方所示，假設點雲中係有點群模型11-1乃至點群模型11-4存在，並對每一者設定了定界框12-1乃至定界框12-4。在不需要將點群模型11-1乃至點群模型11-4彼此區別而做說明的情況下，稱之為點群模型11。又，在不需要將定界框12-1乃至定界框12-4彼此區別而做說明的情況下，稱之為定界框12。亦即，這些點群模型11係為彼此分離，分別被設定有定界框12。
在編碼之際，如圖2的左起第2部分所示，將這些點群模型11之參數予以轉換而集中，形成點的稀疏部分為較少的群組。在圖2的例子中，由定界框12-1乃至定界框12-4所成之群組係被形成，對該群組全體設定了編碼用的定界框13。
該轉換之內容(進行轉換的參數)係為任意。例如，亦可如圖1的表所示，將點群模型11的座標，予以轉換。例如，作為該座標轉換，亦可將點群模型11的座標，進行平移(Shift)(亦可將點群模型11之位置予以移動)。亦即，圖2的最左方所示的點雲中的點群模型11-1乃至點群模型11-4之每一者的位置，係亦可與他者為空間性分離。藉由如此的轉換，例如，可使各點群模型之位置變得靠近，可降低群組的稀疏部分。
又，亦可將點群模型11的座標，進行旋轉(Rotate)(亦可將點群模型11之姿勢予以旋轉)。亦即，圖2的最左方所示的點雲中的點群模型11-1乃至點群模型11-4之每一者的姿勢(方向)，係亦可與他者不同。藉由如此的轉換，例如，可使各點群模型之姿勢變成一致，可降低群組的稀疏部分。
又，例如，亦可如圖1的表所示，將點群模型11的時刻(時間戳記(TimeStump))，予以轉換。亦即，圖2的最左方所示的點雲中的點群模型11-1乃至點群模型11-4之每一者的位置，係亦可與他者為時間性分離(亦可含有與他者存在於不同時刻之點群模型)。藉由如此的轉換，例如，可使各點群模型之時刻變成一致，可將存在於彼此互異之時刻的點群模型彼此，集結成1個群組。
又，例如，亦可如圖1的表所示，將點群模型11的大小(尺度(Scale))，予以轉換。亦即，圖2的最左方所示的點雲中的點群模型11-1乃至點群模型11-4之每一者的尺度，係亦可與他者不同。藉由如此的轉換，例如，可使各點群模型之大小(尺度)變成一致，可使空間方向之解析度變成一致。
又，例如，亦可如圖1的表所示，將點群模型11的畫格速率(Frame Rate)，予以轉換。亦即，圖2的最左方所示的點雲中的點群模型11-1乃至點群模型11-4之每一者的畫格速率，係亦可與他者不同。藉由如此的轉換，例如，可使各點群模型之畫格速率(亦即時間方向之解析度)變成一致。
於圖2中，在編碼之際，係將左起第2部分所示的編碼用的定界框13內的點群模型之群組投影至2維平面，並打包成視訊畫格，如左起第3部分所示，生成含有屬性資訊(Texture)的彩色視訊畫格14、含有位置資訊(Depth)的幾何視訊畫格15、及佔用地圖16。
然後，使用2維影像用之編碼方式進行編碼，如圖2的最右方所示，生成1條2D位元串流17(含有佔用地圖18及標頭(Header)19)。亦即，點群模型11-1乃至點群模型11-4之編碼資料，係被儲存至該1條2D位元串流17。
藉由如此設計，可抑制位元串流數之增大，可抑制解碼處理的負荷之增大。
＜轉換資訊之傳訊＞ 在解碼時，係進行以上的逆處理。亦即進行，將各點群模型，從圖2的左起第2部分的群組之狀態，變回左起第1部分的原本的狀態的逆轉換處理。於是，在解碼之際為了能夠進行此逆轉換，如圖1的表的＃1的行所示，生成表示在編碼之際所被進行的點群模型之相關參數之轉換(從圖2的左起第1個狀態往第2個狀態之轉換)之內容的轉換資訊，(例如含入至位元串流中而)傳輸至解碼側(亦即進行轉換資訊之訊令)。
該轉換資訊，係只要是表示轉換之內容(已轉換之參數之變化量)者，則無論何種資訊均可。例如，亦可如圖1的表所示，係為表示已轉換之參數(例如Shift、Rotate、Time Stump、Scale、Frame Rate等)的，轉換前後之比率的資訊。又，亦可如圖1的表所示，係為表示已轉換之參數(例如Shift、Rotate、Time Stump、Scale、Frame Rate等)的，轉換前後之差分的資訊。
又，該轉換資訊的傳輸方法係為任意。例如，亦可與含有點群模型之編碼資料的位元串流建立關連而傳輸。例如，亦可將其含入至該位元串流中。例如，亦可如圖2所示，將如此的轉換資訊作為BB資訊21而含入至2D位元串流17的標頭(Header)19。
例如，在BB資訊21中，作為轉換資訊，係可含有：表示平移量的資訊(Shift x/y/z)、表示旋轉量的資訊(Rotate x/y/z)、表示時間戳記之變化量的資訊(Time Stump)、表示尺度之變化量的資訊(Scale x/y/z)、表示畫格速率之變化量的資訊(Frame Rate)等。在編碼之際，該BB資訊21係被生成而被儲存至標頭19中，在解碼之際，該BB資訊21係從標頭19被讀出而被利用於逆轉換。
＜點群模型之投影面設定＞ 此外，亦可設計成，如圖1的表的＃2的行所示，將圖2的左起第2部分所示的點群模型之群組投影至2維平面的情況下，可將其投影面，按照每一點群模型而做設定。藉由如此設計，可將各點群模型投影至較適切的投影面，因此可抑制起因於點群模型之投影的非效率所致之編碼效率之降低(可提升編碼效率)。
例如，亦可設計成，如圖1的表所示，使各點群模型之正交6方向之投影面做旋轉(Rotate)。藉由如此設計，可比較容易地將投影面變成對點群模型而言為較適切的面(能夠進行效率良好之投影的面)。
又，亦可如圖1的表所示，設定(追加)任意之投影面。藉由如此設計，可提升各點群模型之投影面之自由度，可期待進行效率更加良好之投影(可期待編碼效率的更加提升)。
＜投影面資訊之傳訊＞ 此外，如此按照每一點群模型而設定投影面的情況(不設成群組共通之投影面的情況)，在解碼之際(重建點雲之際)，該投影面之資訊也變成必須。於是，如圖1的表的＃2的行所示，將如以上進行設定的投影面之相關資訊也就是投影面資訊，傳輸至解碼側(投影面資訊之訊令)。
該投影面資訊，係如圖1的表所示，只要是投影面之特定時所必須之資訊，則無論含有何種資訊均可。例如，亦可如圖2所示，將該投影面資訊22，儲存在佔用地圖16(亦即佔用地圖18)中。
例如，投影面資訊22中係含有：表示正交6方向之投影面之平移量的資訊(Shift x/y/z)、表示尺度之變化量的資訊(Scale x/y/z)、表示旋轉量的資訊(Rotate x/y/z)等。又，例如，投影面資訊22中係亦可含有表示已追加之任意之投影面的資訊。
在編碼之際，該投影面資訊22係被生成而被儲存至佔用地圖16中，在解碼之際，該投影面資訊22係從佔用地圖16被讀出而被利用於點雲之重建。
＜2.部分解碼支援＞ ＜每一點群模型之斑塊配置控制＞ 又，如圖1的表的＃3的行所示，將各點群模型之斑塊配置在2維影像，並作為視訊畫格而進行打包的情況下，亦可將斑塊的配置領域按照每一點群模型來做控制。例如，亦可將隸屬於彼此相同之點群模型的斑塊，配置在彼此相同的領域。該領域係為任意。例如亦可為，可獨立解碼的編碼單位。亦即，亦可將隸屬於彼此相同之點群模型的斑塊，配置在彼此相同的可獨立解碼的編碼單位。
該可獨立解碼的編碼單位係為任意。例如，如圖1的表所示，亦可為畫格，亦可為切片，亦可為瓷磚。
例如，如圖3的A所示，假設在點雲中有點群模型31-1與點群模型31-2存在。對點群模型31-1係被設定有定界框32-1，對點群模型31-2係被設定有定界框32-2。亦即，這些係為彼此獨立的點群模型。將點群模型31-1及點群模型31-2之斑塊配置在2維影像33而進行打包的情況下，在先前的方法中，如圖3的B所示般地，兩者之斑塊係沒有區分領域就被配置。於圖3的B中，斑塊34-1乃至斑塊34-4，係為點群模型31-1之斑塊，斑塊35-1乃至斑塊35-5，係為點群模型31-2之斑塊。將其變成如圖3的C所示般地，點群模型31-1之斑塊34-1乃至斑塊34-4，係配置在例如2維影像33的切片36-2，點群模型31-2之斑塊35-1乃至斑塊35-5，係配置在2維影像33的切片36-1。
藉由將如此配置斑塊的可獨立解碼的編碼單位，按照每一點群模型來做控制(將隸屬於彼此相同之點群模型的斑塊，配置在彼此相同之可獨立解碼的編碼單位)，就可僅將一部分之點群模型予以解碼而重建，可實現所謂的「部分解碼」。例如圖3的C的情況下，切片36-1及切片36-2係為可彼此獨立解碼的編碼單位，因此可以只將切片36-1之斑塊35-1乃至斑塊35-5予以解碼，或是只將切片36-2之斑塊34-1乃至斑塊34-4予以解碼等等。亦即，可以只將點群模型31-1予以解碼而重建，或只將點群模型31-2予以解碼而重建等等。
＜模型資訊之傳訊＞ 此外，為了進行如此的部分解碼，於解碼側必須要一一掌握哪個領域(哪個可獨立解碼的編碼單位)中是被配置了哪個點群模型之斑塊。於是，如圖1的表的＃3的行所示，將點群模型之相關資訊也就是模型資訊予以生成，並從編碼側傳輸(傳訊)至解碼側。
該模型資訊之內容係為任意。例如，如圖1的表所示，表示視訊畫格中所被打包之點群模型之數量的資訊，係亦可被包含在模型資訊中。又，例如，如圖1的表所示，表示各點群模型之斑塊所被配置之領域(可獨立解碼的編碼單位)的資訊，係亦可被包含在模型資訊中。
此外，該模型資訊之傳輸之方法係為任意。例如，亦可與含有點群模型之編碼資料的位元串流建立關連而傳輸。例如，亦可將其含入至該位元串流中。例如，亦可如圖2所示，將如此的模型資訊作為BB資訊21而含入至2D位元串流17的標頭(Header)19。
例如，在BB資訊21中，作為模型資訊，係含有模型數、與各點群模型之斑塊之配置領域之相關資訊。在編碼之際，該BB資訊21係被生成而被儲存至標頭19中，在解碼之際，該BB資訊21係從標頭19被讀出而被利用於部分解碼。
＜3.第1實施形態＞ ＜編碼裝置＞ 接著說明，實現如以上之各手法的構成。圖4係適用了本技術的影像處理裝置之一態樣的編碼裝置之構成之一例的區塊圖。圖4所示的編碼裝置100係為，將像是點雲的3D資料投影至2維平面而以2維影像用之編碼方法進行編碼的裝置(適用了視訊基礎方式的編碼裝置)。
此外，於圖4中係主要表示處理部或資料的流向等，圖4所示者並非全部。亦即，於編碼裝置100中，亦可存在有於圖4中未以區塊而被表示的處理部，亦可存在有於圖4中未以箭頭等而表示的處理或資料之流動。這在編碼裝置100內的處理部等的說明的其他圖中也是同樣如此。
如圖4所示，編碼裝置100係具有：模型轉換部111、斑塊分解部112、打包部113、輔助斑塊資訊壓縮部114、視訊編碼部115、視訊編碼部116、OMap編碼部117、多工器118、及BB資訊生成部119。
模型轉換部111，係進行點群模型之相關參數之轉換的相關處理。例如，模型轉換部111，係將被輸入至編碼裝置100的，表示3維結構之3D資料(例如點雲(Point Cloud))，加以取得。又，模型轉換部111，係將該已取得之點雲中所含之點群模型之相關參數，予以轉換。此時，模型轉換部111，係藉由在＜位元串流數之降低＞或＜點群模型之轉換＞中所上述之方法，而將各點群模型之相關參數予以轉換，將複數個點群模型集結成1個群組。模型轉換部111，係將參數已轉換之點群模型，亦即，含有已經集結成1個群組之點群模型的點雲，供給至斑塊分解部112。
又，模型轉換部111，係藉由在＜轉換資訊之傳訊＞中所上述之方法，而生成關於該轉換的轉換資訊。模型轉換部111，係將已生成之轉換資訊，供給至BB資訊生成部119。
斑塊分解部112，係進行3D資料之分解的相關處理。例如，斑塊分解部112，係將從模型轉換部111所被供給之點雲(含有已被集結成群組之複數個點群模型的點雲)，加以取得。又，斑塊分解部112，係將已取得之該點雲分解成複數個區段，該每一區段地將點雲投影至2維平面，生成位置資訊之斑塊或屬性資訊之斑塊。斑塊分解部112，係將已生成之各斑塊之相關資訊，供給至打包部113。又，斑塊分解部112，係將該分解的相關之資訊亦即輔助斑塊資訊，供給至輔助斑塊資訊壓縮部114。
打包部113，係進行資料之打包的相關處理。例如，打包部113，係從斑塊分解部112取得表示點之位置的位置資訊(Geometry)之斑塊之相關資訊、或被附加至該位置資訊的色彩資訊等之屬性資訊(Texture)之斑塊之相關資訊。
又，打包部113，係將已取得之各斑塊配置在2維影像而作為視訊畫格而予以打包。例如，打包部113，係將位置資訊之斑塊配置在2維影像，作為位置資訊之視訊畫格(亦稱為幾何視訊畫格)而予以打包。又，例如，打包部113，係將屬性資訊之斑塊配置在2維影像，作為屬性資訊之視訊畫格(亦稱為彩色視訊畫格)而予以打包。
這些打包之際，打包部113，係藉由＜每一點群模型之斑塊配置控制＞中所上述之方法，而將配置斑塊的領域(可獨立解碼的編碼單位)，按照每一點群模型而做控制。然後，打包部113，係藉由＜模型資訊之傳訊＞中所上述之方法，而生成模型資訊。打包部113，係將已生成之模型資訊，供給至BB資訊生成部119。
又，打包部113，係生成對應於這些視訊畫格的佔用地圖。然後，打包部113，係對彩色視訊畫格，進行Dilation處理。
打包部113，係將如此生成之幾何視訊畫格，供給至視訊編碼部115。又，打包部113，係將如此生成之彩色視訊畫格，供給至視訊編碼部116。再者，打包部113，係將如此生成之佔用地圖，供給至OMap編碼部117。又，打包部113係將如此的打包的相關之控制資訊，供給至多工器118。
輔助斑塊資訊壓縮部114，係進行輔助斑塊資訊之壓縮的相關處理。例如，輔助斑塊資訊壓縮部114，係將從斑塊分解部112所被供給之資料，加以取得。輔助斑塊資訊壓縮部114，係將已取得之資料中所含之輔助斑塊資訊，予以編碼(壓縮)。輔助斑塊資訊壓縮部114，係將所得到之輔助斑塊資訊之編碼資料，供給至多工器118。
視訊編碼部115，係進行位置資訊(Geometry)之視訊畫格之編碼的相關處理。例如，視訊編碼部115，係將從打包部113所被供給之幾何視訊畫格，加以取得。又，視訊編碼部115，係將該已取得之幾何視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部115，係將該編碼所得之編碼資料(幾何視訊畫格之編碼資料)，供給至多工器118。
視訊編碼部116，係進行屬性資訊(Texture)之視訊畫格之編碼的相關處理。例如，視訊編碼部116，係將從打包部113所被供給之彩色視訊畫格，加以取得。又，視訊編碼部116，係將該已取得之彩色視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部116，係將該編碼所得之編碼資料(彩色視訊畫格之編碼資料)，供給至多工器118。
OMap編碼部117，係進行佔用地圖之編碼的相關處理。例如，OMap編碼部117，係將從打包部113所被供給之佔用地圖，加以取得。又，OMap編碼部117，係將該已取得之佔用地圖，例如以算術編碼等任意之編碼方法，進行編碼。OMap編碼部117，係將該編碼所得之編碼資料(佔用地圖之編碼資料)，供給至多工器118。
多工器118，係進行多工化的相關處理。例如，多工器118，係將從輔助斑塊資訊壓縮部114所被供給之輔助斑塊資訊之編碼資料，加以取得。又，多工器118，係取得從打包部113所被供給之打包的相關之控制資訊。再者，多工器118，係將從視訊編碼部115所被供給之幾何視訊畫格之編碼資料，加以取得。又，多工器118，係將從視訊編碼部116所被供給之彩色視訊畫格之編碼資料，加以取得。再者，多工器118，係將從OMap編碼部117所被供給之佔用地圖之編碼資料，加以取得。又，多工器118，係將從BB資訊生成部119所被供給之BB資訊，加以取得。
多工器118，係將已取得之這些資訊進行多工化，而生成位元串流(Bitstream)。多工器118，係將該已生成之位元串流，輸出至編碼裝置100的外部。
BB資訊生成部119，係進行BB資訊之生成的相關處理。例如，BB資訊生成部119，係將從模型轉換部111所被供給之轉換資訊，加以取得。又，BB資訊生成部119，係將從打包部113所被供給之模型資訊，加以取得。BB資訊生成部119，係將含有已取得之轉換資訊及模型資訊的BB資訊，予以生成。BB資訊生成部119，係將已生成之BB資訊，供給至多工器118。亦即，可使BB資訊被傳輸至解碼側。
藉由設計成如此的構成，編碼裝置100，係可將點雲的複數個點群模型予以轉換而集結，進行編碼而儲存至1個位元串流。亦即，即使在點雲有複數個點群模型存在的情況下，仍可抑制編碼效率之降低同時抑制位元串流數之增大。因此，編碼裝置100係可抑制解碼時所必須之事例數之增大。亦即，可抑制解碼處理的負荷之增大。藉此，可抑制解碼器的成本之增大。又，可抑制解碼處理的處理時間之增大。
＜編碼處理的流程＞ 接著，編碼裝置100所執行的編碼處理的流程之例子，參照圖5的流程圖來說明。
一旦編碼處理被開始，則編碼裝置100的模型轉換部111，係於步驟S101中，執行轉換處理，將點雲中所含之複數個點群模型予以轉換而集結成1個群組。又，模型轉換部111，係生成關於該轉換的轉換資訊。
於步驟S102中，斑塊分解部112，係將步驟S101中所被集結之複數個點群模型(之群組)，投影至2維平面，並分解成斑塊。此時，斑塊分解部112，係亦可藉由例如＜點群模型之投影面設定＞等中所上述之方法，而將各點群模型之投影面予以設定。藉由如此設計，斑塊分解部112係可將各點群模型投影至較適切的投影面，因此可抑制起因於點群模型之投影的非效率所致之編碼效率之降低(可提升編碼效率)。
又，斑塊分解部112，係可藉由例如＜投影面資訊之傳訊＞等中所上述之方法，而將關於該投影面之設定的投影面資訊予以生成，並傳輸至解碼側。藉由如此設計，於解碼側就可正確地進行解碼(正確地重建點雲)。
又，斑塊分解部112，係將關於該分解的輔助斑塊資訊，予以生成。
於步驟S103中，輔助斑塊資訊壓縮部114，係將步驟S102中已被生成之輔助斑塊資訊，予以壓縮(編碼)。
於步驟S104中，打包部113，係執行打包處理，將步驟S102中所被生成之位置資訊或屬性資訊之各斑塊配置在2維影像而作為視訊畫格而予以打包。又，打包部113，係生成模型資訊或佔用地圖。然後，打包部113，係對彩色視訊畫格，進行Dilation處理。又，打包部113係將如此的打包的相關之控制資訊，予以生成。
於步驟S105中，BB資訊生成部119，係執行BB資訊生成處理，將含有步驟S101中所被生成之轉換資訊、或步驟S104中所被生成之模型資訊等的BB資訊，予以生成。
於步驟S106中，視訊編碼部115，係將步驟S104中所被生成之幾何視訊畫格，以2維影像用之編碼方法進行編碼。此時，視訊編碼部115，係依照步驟S104中將各點群模型之斑塊做配置的可獨立解碼的編碼單位之設定(編碼單位領域設定)，而將幾何視訊畫格予以編碼。亦即，例如，在切片或瓷磚是被設定的情況下，則將幾何視訊畫格，按照該每一切片或瓷磚而獨立地進行編碼。
於步驟S107中，視訊編碼部116，係將步驟S104中所被生成之彩色視訊畫格，以2維影像用之編碼方法進行編碼。此時，視訊編碼部116，係依照步驟S104中將各點群模型之斑塊做配置的可獨立解碼的編碼單位之設定(編碼單位領域設定)，而將彩色視訊畫格予以編碼。亦即，例如，在切片或瓷磚是被設定的情況下，則將彩色視訊畫格，按照該每一切片或瓷磚而獨立地進行編碼。
於步驟S108中，OMap編碼部117，係將步驟S104中所被生成之佔用地圖，以所定之編碼方法進行編碼。
於步驟S109中，多工器118，係將如以上所被生成之各種資訊(例如步驟S103中所被生成之輔助斑塊資訊之編碼資料、步驟S104中所被生成之關於打包之控制資訊、步驟S105中所被生成之BB資訊、步驟S106中所被生成之幾何視訊畫格之編碼資料、步驟S107中所被生成之彩色視訊畫格之編碼資料、步驟S108中所被生成之佔用地圖之編碼資料等)予以多工化，生成含有這些資訊的位元串流。
於步驟S110中，多工器118，係將步驟S109中所生成之位元串流，輸出至編碼裝置100的外部。
一旦步驟S110的處理結束，則編碼處理就結束。
＜轉換處理的流程＞ 接著，將圖5之步驟S101中所執行的轉換處理的流程之例子，參照圖6的流程圖而加以說明。
一旦轉換處理被開始，則模型轉換部111，係於步驟S131中，執行定界框設定處理，設定各點群模型的定界框。
於步驟S132中，模型轉換部111，係將步驟S131中所設定之各定界框(各點群模型)之參數，予以轉換。例如，模型轉換部111，係如＜點群模型之轉換＞等中所上述般地，將平移、旋轉、時間戳記、尺度、或畫格速率等之參數，予以轉換。藉由如此設計，模型轉換部111係即使在點雲有複數個點群模型存在的情況下，仍可抑制編碼效率之降低同時抑制位元串流數之增大。因此，模型轉換部111係可抑制解碼時所必須之事例數之增大。亦即，可抑制解碼處理的負荷之增大。藉此，可抑制解碼器的成本之增大。又，可抑制解碼處理的處理時間之增大。
於步驟S133中，模型轉換部111，係如＜轉換資訊之傳訊＞等中所上述般地，將各定界框之參數之轉換資訊，予以生成。例如，模型轉換部111，係將表示轉換前後之比率或差分等的轉換資訊，予以生成。藉由如此設計，模型轉換部111，係可於解碼側，可正確地進行逆轉換。
一旦步驟S133的處理結束，則轉換處理就結束。
＜定界框設定處理的流程＞ 接著，將圖6之步驟S131中所執行的定界框設定處理的流程之例子，參照圖7的流程圖而加以說明。
一旦定界框設定處理被開始，則模型轉換部111，係於步驟S141中，將點雲中所含之各點群模型之部分之法線向量，予以導出。
於步驟S142中，模型轉換部111，係以使得步驟S141中所被導出之法線方向之分布之較多者是與正交投影向量吻合的方式，來設定定界框。一旦步驟S142的處理結束，則定界框設定處理就結束，處理係回到圖6。
＜打包處理的流程＞ 接著，將圖5之步驟S104中所執行的打包處理的流程之例子，參照圖8的流程圖而加以說明。
一旦打包處理被開始，則打包部113，係於步驟S151中，隨應於點群模型而設定編碼單位領域，對各點群模型指派彼此互異的編碼單位領域。
於步驟S152中，打包部113，係針對各點群模型的各斑塊，在步驟S151中對該點群模型所被指派之編碼單位領域內探索最佳的位置，並配置之。
亦即，打包部113，係藉由如＜每一點群模型之斑塊配置控制＞等中所上述之方法，而將隸屬於彼此相同之點群模型的斑塊，配置在彼此相同的可獨立解碼的編碼單位，而生成幾何視訊畫格或彩色視訊畫格。藉由如此設計，於解碼側，可只將一部分之點群模型予以解碼而重建，實現所謂的「部分解碼」。
於步驟S153中，打包部113，係藉由如＜模型資訊之傳訊＞中所上述之方法，將步驟S152中的關於點群模型之配置的模型資訊，予以生成。藉由如此設計，於解碼側，可只將一部分之點群模型予以解碼而重建，實現所謂的「部分解碼」。
於步驟S154中，打包部113係生成佔用地圖。
於步驟S155中，打包部113，係對彩色視訊畫格，進行Dilation處理。
一旦步驟S155的處理結束，則打包處理就結束，處理係回到圖5。
＜BB資訊生成處理的流程＞ 接著，將圖5之步驟S105中所執行的BB資訊生成處理的流程之例子，參照圖9的流程圖而加以說明。
一旦BB資訊生成處理被開始，則BB資訊生成部119，係於步驟S161中，將圖6的步驟S133中所被生成之轉換資訊，加以取得。
於步驟S162中，BB資訊生成部119，係將圖8的步驟S153中所被生成之模型資訊，加以取得。
於步驟S163中，BB資訊生成部119，係生成含有這些轉換資訊及模型資訊的BB資訊。該BB資訊，係於步驟S109(圖5)中，藉由多工器118而連同編碼資料等一起被多工化。
一旦步驟S163的處理結束，則BB資訊生成處理就結束，處理係回到圖5。
藉由如以上般地執行各處理，就可抑制位元串流數之增大，可抑制解碼處理的負荷之增大。
＜4.第2實施形態＞ ＜解碼裝置＞ 圖10係適用了本技術的影像處理裝置之一態樣的解碼裝置之構成之一例的區塊圖。圖10所示的解碼裝置200係為，將像是點雲之類的3D資料被投影至2維平面而被編碼成的編碼資料，以2維影像用之解碼方法進行解碼，並投影至3維空間的裝置(適用了視訊基礎方式的解碼裝置)。例如，解碼裝置200，係將編碼裝置100(圖4)把點雲進行編碼所生成之位元串流，予以解碼，並重建點雲。
此外，於圖10中係主要表示處理部或資料的流向等，圖10所示者並非全部。亦即，於解碼裝置200中，亦可存在有於圖10中未以區塊而被表示的處理部，亦可存在有於圖10中未以箭頭等而表示的處理或資料之流動。這在解碼裝置200內的處理部等的說明的其他圖中也是同樣如此。
如圖10所示，解碼裝置200係具有：解多工器211、輔助斑塊資訊解碼部212、點群模型選擇部213、視訊解碼部214、視訊解碼部215、OMap解碼部216、解包部217、及3D重建部218。
解多工器211，係進行資料之逆多工化的相關處理。例如，解多工器211，係將被輸入至解碼裝置200的位元串流，加以取得。該位元串流係例如，是由編碼裝置100所供給。解多工器211，係將該位元串流進行逆多工化，將輔助斑塊資訊之編碼資料予以抽出，將其供給至輔助斑塊資訊解碼部212。又，解多工器211，係藉由逆多工化，而從位元串流，抽出幾何視訊畫格之編碼資料，將其供給至視訊解碼部214。再者，解多工器211，係藉由逆多工化，而從位元串流，抽出彩色視訊畫格之編碼資料，將其供給至視訊解碼部215。又，解多工器211，係藉由逆多工化，而從位元串流，抽出佔用地圖之編碼資料，將其供給至OMap解碼部216。然後，解多工器211，係藉由逆多工化，而從位元串流，抽出關於打包之控制資訊，將其供給至解包部217。又，解多工器211，係藉由逆多工化，而從位元串流，抽出BB資訊，將其供給至點群模型選擇部213或3D重建部218。
輔助斑塊資訊解碼部212，係進行輔助斑塊資訊之編碼資料之解碼的相關處理。例如，輔助斑塊資訊解碼部212，係將從解多工器211所被供給之輔助斑塊資訊之編碼資料，加以取得。又，輔助斑塊資訊解碼部212，係將該已取得之資料中所含之輔助斑塊資訊之編碼資料，予以解碼(解壓縮)。輔助斑塊資訊解碼部212，係將解碼所得之輔助斑塊資訊，供給至3D重建部218。
點群模型選擇部213，係進行部分解碼之點群模型之選擇的相關處理。例如，點群模型選擇部213，係從解多工器211，取得BB資訊。又，點群模型選擇部213，係基於該BB資訊中所含之模型資訊，而受理藉由使用者等而被輸入之點群模型之指定。例如，點群模型選擇部213，係將模型資訊中所含之點群模型當作選項而提示給使用者等，令其從其中選擇出要進行解碼的點群模型。點群模型選擇部213，係將指定已被選擇之點群模型所對應之(該點群模型之斑塊所被配置之)領域(可獨立解碼的編碼單位)的資訊，供給至視訊解碼部214、視訊解碼部215、及OMap解碼部216。
視訊解碼部214，係進行幾何視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部214，係將從解多工器211所被供給之幾何視訊畫格之編碼資料，加以取得。視訊解碼部214，係將該幾何視訊畫格之編碼資料，例如以AVC或HEVC等之任意之2維影像用之解碼方法，予以解碼。
此外，視訊解碼部214，係可將藉由點群模型選擇部213而被指定之領域(可獨立解碼的編碼單位)，進行部分解碼。例如，視訊解碼部214，係在藉由點群模型選擇部213而指定了要進行解碼之領域的情況下，將幾何視訊畫格之編碼資料的，該已被指定之領域，以例如AVC或HEVC等之任意之2維影像用之解碼方法，予以解碼。例如，視訊解碼部214，係將幾何視訊畫格之編碼資料的，藉由點群模型選擇部213而被指定之畫格/切片/瓷磚等，予以解碼。
如以上所述，視訊解碼部214，係可進行幾何視訊畫格的部分解碼。視訊解碼部214，係將該解碼所得之幾何視訊畫格(或其中一部分之領域)，供給至解包部217。
視訊解碼部215，係進行彩色視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部215，係將從解多工器211所被供給之彩色視訊畫格之編碼資料，加以取得。視訊解碼部215，係將該彩色視訊畫格之編碼資料，例如以AVC或HEVC等之任意之2維影像用之解碼方法，予以解碼。
此外，視訊解碼部215，係可將藉由點群模型選擇部213而被指定之領域(可獨立解碼的編碼單位)，進行部分解碼。例如，視訊解碼部215，係在藉由點群模型選擇部213而指定了要進行解碼之領域的情況下，將彩色視訊畫格之編碼資料的，該已被指定之領域，以例如AVC或HEVC等之任意之2維影像用之解碼方法，予以解碼。例如，視訊解碼部215，係將彩色視訊畫格之編碼資料的，藉由點群模型選擇部213而被指定之畫格/切片/瓷磚等，予以解碼。
如以上所述，視訊解碼部215，係可進行彩色視訊畫格的部分解碼。視訊解碼部215，係將該解碼所得之彩色視訊畫格(或其中一部分之領域)，供給至解包部217。
OMap解碼部216，係進行佔用地圖之編碼資料之解碼的相關處理。例如，OMap解碼部216，係將從解多工器211所被供給之佔用地圖編碼資料，加以取得。OMap解碼部216，係將該佔用地圖之編碼資料，以對應於該編碼方式的任意之解碼方法進行解碼。
此外，OMap解碼部216，係可將藉由點群模型選擇部213而被指定之領域(可獨立解碼的編碼單位)，進行部分解碼。例如，OMap解碼部216，係在藉由點群模型選擇部213而指定了要進行解碼之領域的情況下，將佔用地圖之編碼資料的，該已被指定之領域，以對應於該編碼方式的任意之解碼方法進行解碼。例如，OMap解碼部216，係將佔用地圖之編碼資料的，藉由點群模型選擇部213而被指定之畫格/切片/瓷磚等，予以解碼。
如以上所述，OMap解碼部216，係可進行佔用地圖的部分解碼。OMap解碼部216，係將該解碼所得之佔用地圖(或其中一部分之領域)，供給至解包部217。
解包部217，係進行解包的相關處理。例如，解包部217，係從視訊解碼部214取得幾何視訊畫格，從視訊解碼部215取得彩色視訊畫格，從OMap解碼部216取得佔用地圖。又，解包部217，係基於關於打包之控制資訊，而將幾何視訊畫格或彩色視訊畫格予以解包。解包部217，係將解包所得的位置資訊(Geometry)之資料(幾何斑塊等)或屬性資訊(Texture)之資料(紋理斑塊等)，以及佔用地圖等，供給至3D重建部218。
3D重建部218，係進行點雲之重建的相關處理。例如，3D重建部218，係基於從解多工器211所被供給之BB資訊、從輔助斑塊資訊解碼部212所被供給之輔助斑塊資訊、以及從解包部217所被供給之位置資訊(Geometry)之資料(幾何斑塊等)、屬性資訊(Texture)之資料(紋理斑塊等)、及佔用地圖等，來重建點雲。
例如，3D重建部218，係基於投影面資訊，而將群組內之各點群模型所對應之投影面予以特定，使用該投影面而從斑塊等來重建點雲。因此，解碼裝置200係可將各點群模型投影至較適切的投影面，因此可抑制起因於點群模型之投影的非效率所致之編碼效率之降低(可提升編碼效率)。
又例如，3D重建部218係可使用BB資訊中所含之轉換資訊，而將已重建之點群模型進行逆轉換。因此，3D重建部218，係可以正確地對應於在編碼側中所被進行過得轉換處理的方式，來進行逆轉換。
3D重建部218，係將已重建之點雲，輸出至解碼裝置200之外部。該點雲係例如，被供給至顯示部而被影像化，該影像被顯示；或被記錄至記錄媒體、或透過通訊而被供給至其他裝置等。
藉由設計成如此的構成，解碼裝置200，係可將被集結成1條位元串流的複數個點群模型予以正確地解碼。因此，解碼裝置200係即使在點雲有複數個點群模型存在的情況下，仍可抑制編碼效率之降低同時抑制位元串流數之增大。因此，解碼裝置200係可抑制本身所必須之事例數之增大。亦即，可抑制解碼處理的負荷之增大。藉此，可抑制解碼器的成本之增大。又，可抑制解碼處理的處理時間之增大。
＜解碼處理的流程＞ 接著，被該解碼裝置200所執行的解碼處理的流程之例子，參照圖11的流程圖來加以說明。
一旦解碼處理被開始，則解碼裝置200的解多工器211係於步驟S201中，將位元串流進行逆多工化。
於步驟S202中，輔助斑塊資訊解碼部212，係將步驟S201中從位元串流所被抽出的輔助斑塊資訊，予以解碼。
於步驟S203中，點群模型選擇部213，係受理要進行解碼之點群模型的指定。
於步驟S204中，點群模型選擇部213，係基於BB資訊，來選擇已受理之點群模型之指定所對應之可獨立解碼的編碼單位(亦即已被指定之點群模型之斑塊所被配置之可獨立解碼的編碼單位)。
此外，在不進行部分解碼的情況下，亦即要將視訊畫格全體予以解碼的情況下，亦可省略步驟S203及步驟S204之處理。
於步驟S205中，視訊解碼部214，係將步驟S201中從位元串流所被抽出的幾何視訊畫格(位置資訊之視訊畫格)之編碼資料，予以解碼。
此外，在要進行部分解碼的情況下，亦即於步驟S203中受理要進行解碼的點群模型之指定，於步驟S204中要進行解碼的編碼單位是已被選擇的情況下，則視訊解碼部214，係將幾何視訊畫格的，於步驟S204中所選擇之編碼單位(例如畫格/切片/瓷磚等)，予以解碼。
於步驟S206中，視訊解碼部215，係將步驟S201中從位元串流所被抽出的彩色視訊畫格(屬性資訊之視訊畫格)之編碼資料，予以解碼。
此外，在要進行部分解碼的情況下，視訊解碼部215，係將彩色視訊畫格的，於步驟S204中所被選擇之編碼單位(例如畫格/切片/瓷磚等)，予以解碼。
於步驟S207中，OMap解碼部216，係將步驟S201中從位元串流所被抽出的佔用地圖之編碼資料，予以解碼。
此外，在要進行部分解碼的情況下，OMap解碼部216，係將佔用地圖的，於步驟S204中所被選擇之編碼單位(例如畫格/切片/瓷磚等)，予以解碼。
於步驟S208中，解包部217係進行解包。例如，解包部217，係將步驟S205中編碼資料被解碼所得的幾何視訊畫格予以解包，生成幾何斑塊。又，解包部217，係將步驟S206中編碼資料被解碼所得的彩色視訊畫格予以解包，生成紋理斑塊。又，解包部217，係將步驟S207中編碼資料被解碼所得的佔用地圖予以解包，並將幾何斑塊或紋理斑塊所對應之佔用地圖予以抽出。
於步驟S209中，3D重建部218，係基於步驟S202中所得之輔助斑塊資訊、以及步驟S208中所得之幾何斑塊、紋理斑塊、及佔用地圖等，來重建點雲(各點群模型)。
於步驟S210中，3D重建部218，係基於BB資訊中所含之轉換資訊，而對已重建之各點群模型，進行於編碼側中所被進行過的轉換處理之逆處理也就是逆轉換處理。
一旦步驟S210之處理結束則解碼處理就結束。
藉由如以上般地執行各處理，解碼裝置200就可抑制位元串流數之增大，可抑制解碼處理的負荷之增大。
＜5.局部性的投影面控制＞ 在點群模型中有點的稀疏部分的情況下，對該點群模型全體所被設定的投影面，對於點群模型中所含之點的緻密部分(亦稱為部分點群模型)而言，不一定是其最佳的投影方向。亦即，恐怕會將部分點群模型往非效率之方向做投影，導致編碼效率降低。
＜投影面的局部性控制＞ 於是，亦可如圖12的表的從上數來第1行所示，將點群模型之投影面，做局部性控制。例如，亦可如圖12的表的從上數來第2行所示，將含有點的稀疏部分的點群模型，分割成複數個部分點群模型，按照每一部分點群模型而設定投影面。
該投影模型的分割方式係為任意。例如亦可如圖12的表所示，按照點群模型中所含之每一緻密的點群而做分割，進行部分點群模型化。
例如，假設如圖13的最左方所示，定界框312所對應之點群模型，是含有點的稀疏部分，具有點為緻密的部分點群模型311-1及部分點群模型311-2。在如此情況下，將部分點群模型311-1及部分點群模型311-2予以分割，分別獨立地設定投影面。例如，如圖13的左起第2部分所示，對部分點群模型311-1設定正交6方向之投影面313-1，對部分點群模型311-2設定正交6方向之投影面313-2。然後，對該各個投影面進行投影而生成斑塊，並配置在2維影像，如圖13的左起第3部分所示般地，生成彩色視訊畫格(Texture)314、幾何視訊畫格(Depth)315、及佔用地圖(Occupancy Map)315。然後，將它們予以編碼，生成2D位元串流317及佔用地圖318。解碼之際，係進行這些的逆處理。
藉由如此設計，可按照每一部分點群模型而設定投影面，因此可將各部分點群模型投影至較適切的投影面。因此，可抑制因點群模型之投影為非效率所導致的編碼效率之降低(可促使編碼效率提升)。
例如，亦可設計成，如圖12的表所示，使各部分點群模型之正交6方向之投影面做旋轉(Rotate)。藉由如此設計，可比較容易地將投影面變成對部分點群模型而言為較適切的面(能夠進行效率良好之投影的面)。
又，亦可例如如圖12的表所示，設定(追加)任意之投影面。藉由如此設計，可提升各部分點群模型之投影面之自由度，可期待進行效率更加良好之投影(可期待編碼效率的更加提升)。
＜投影面資訊之傳訊＞ 此外，如此按照每一部分點群模型而設定投影面的情況(不設成部分點群模型全體之投影面的情況)，在解碼之際(重建點雲之際)，該投影面之資訊也變成必須。於是，如圖12的表的從上數來第2行所示，生成如以上進行設定的投影面之相關資訊也就是投影面資訊，並傳輸至解碼側(投影面資訊之訊令)。
例如，圖13的左起第2部分所示，一旦按照每一部分點群模型而設定了投影面(投影面313-1及投影面313-2)，就會針對這些投影面而生成投影面資訊321。
該投影面資訊，係例如如圖12的表所示，只要是投影面之特定時所必須之資訊，則無論含有何種資訊均可。例如，在圖13的情況下，該投影面資訊321中係含有表示投影面之旋轉量的資訊(Rotate x/y/z)等。當然除此以外，亦可還含有例如：表示正交6方向之投影面之平移量的資訊(Shift x/y/z)、表示尺度之變化量的資訊(Scale x/y/z)等。又，例如，投影面資訊321中係亦可含有表示已追加之任意之投影面的資訊。
又，亦可例如如圖12的表所示，該投影面資訊，係被儲存在佔用地圖中。例如圖13的情況下，投影面資訊321，係被儲存在佔用地圖316(亦即佔用地圖318)中。在編碼之際，該投影面資訊321係被生成而被儲存至佔用地圖16中，在解碼之際，該投影面資訊321係從佔用地圖316被讀出而被利用於點雲之重建。
＜6.第3實施形態＞ ＜編碼裝置＞ 接著說明，實現如以上之手法的構成。圖14係適用了本技術的影像處理裝置之一態樣的編碼裝置之構成之一例的區塊圖。圖14所示的編碼裝置400，係為與編碼裝置100 (圖4)相同的裝置，係將像是點雲的3D資料投影至2維平面而以2維影像用之編碼方法進行編碼的裝置(適用了視訊基礎方式的編碼裝置)。
此外，於圖14中係主要表示處理部或資料的流向等，圖14所示者並非全部。亦即，於編碼裝置400中，亦可存在有於圖14中未以區塊而被表示的處理部，亦可存在有於圖14中未以箭頭等而表示的處理或資料之流動。這在編碼裝置400內的處理部等的說明的其他圖中也是同樣如此。
如圖14所示編碼裝置400係具有：斑塊分解部411、打包部412、輔助斑塊資訊壓縮部413、視訊編碼部414、視訊編碼部415、OMap編碼部416、及多工器417。
斑塊分解部411，係進行3D資料之分解的相關處理。例如，斑塊分解部411，係將被輸入至編碼裝置400的點雲，加以取得。又，斑塊分解部411，係將已取得之該點雲分解成複數個區段，該每一區段地將點雲投影至2維平面，生成位置資訊之斑塊或屬性資訊之斑塊。斑塊分解部411，係將已生成之各斑塊之相關資訊，供給至打包部412。又，斑塊分解部411，係將該分解的相關之資訊亦即輔助斑塊資訊，供給至輔助斑塊資訊壓縮部413。
打包部412，係進行資料之打包的相關處理。例如，打包部412，係從斑塊分解部411取得表示點之位置的位置資訊(Geometry)之斑塊之相關資訊、或被附加至該位置資訊的色彩資訊等之屬性資訊(Texture)之斑塊之相關資訊。
又，打包部412，係將已取得之各斑塊配置在2維影像而作為視訊畫格而予以打包。例如，打包部412，係將位置資訊之斑塊配置在2維影像，作為幾何視訊畫格而予以打包。又例如，打包部412，係將屬性資訊之斑塊配置在2維影像，作為彩色視訊畫格於予以打包。又，打包部412，係生成對應於這些視訊畫格的佔用地圖。然後，打包部412，係對彩色視訊畫格，進行Dilation處理。
打包部412，係將如此生成之幾何視訊畫格，供給至視訊編碼部414。又，打包部412，係將如此生成之彩色視訊畫格，供給至視訊編碼部415。再者，打包部412，係將如此生成之佔用地圖，供給至OMap編碼部416。又，打包部412係將如此的打包的相關之控制資訊，供給至多工器417。
輔助斑塊資訊壓縮部413，係進行輔助斑塊資訊之壓縮的相關處理。例如，輔助斑塊資訊壓縮部413，係將從斑塊分解部411所被供給之資料，加以取得。輔助斑塊資訊壓縮部413，係將已取得之資料中所含之輔助斑塊資訊，予以編碼(壓縮)。輔助斑塊資訊壓縮部413，係將所得到之輔助斑塊資訊之編碼資料，供給至多工器417。
視訊編碼部414，係進行位置資訊(Geometry)之視訊畫格之編碼的相關處理。例如，視訊編碼部414，係將從打包部412所被供給之幾何視訊畫格，加以取得。又，視訊編碼部414，係將該已取得之幾何視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部414，係將該編碼所得之編碼資料(幾何視訊畫格之編碼資料)，供給至多工器417。
視訊編碼部415，係進行屬性資訊(Texture)之視訊畫格之編碼的相關處理。例如，視訊編碼部415，係將從打包部412所被供給之彩色視訊畫格，加以取得。又，視訊編碼部415，係將該已取得之彩色視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部415，係將該編碼所得之編碼資料(彩色視訊畫格之編碼資料)，供給至多工器417。
OMap編碼部416，係進行佔用地圖之編碼的相關處理。例如，OMap編碼部416，係將從打包部412所被供給之佔用地圖，加以取得。又，OMap編碼部416，係將該已取得之佔用地圖，例如以算術編碼等任意之編碼方法，進行編碼。OMap編碼部416，係將該編碼所得之編碼資料(佔用地圖之編碼資料)，供給至多工器417。
多工器417，係進行多工化的相關處理。例如，多工器417，係將從輔助斑塊資訊壓縮部413所被供給之輔助斑塊資訊之編碼資料，加以取得。又，多工器417，係取得從打包部412所被供給之打包的相關之控制資訊。再者，多工器417，係將從視訊編碼部414所被供給之幾何視訊畫格之編碼資料，加以取得。又，多工器417，係將從視訊編碼部415所被供給之彩色視訊畫格之編碼資料，加以取得。再者，多工器417，係將從OMap編碼部416所被供給之佔用地圖之編碼資料，加以取得。
多工器417，係將已取得之這些資訊進行多工化，而生成位元串流(Bitstream)。多工器417，係將該已生成之位元串流，輸出至編碼裝置400的外部。
＜斑塊分解部＞ 圖15係為圖14的斑塊分解部411的主要構成例的區塊圖。如圖15所示，斑塊分解部411係具有：模型分割部431、部分點群模型投影面設定部432、投影面資訊生成部433、部分點群模型投影部434、及投影面資訊附加部435。
模型分割部431，係進行點群模型之分割的相關處理。例如，模型分割部431，係將被輸入至編碼裝置400的點雲(的點群模型)，加以取得。又，模型分割部431，係藉由例如＜5.局部性的投影面控制＞的＜投影面的局部性控制＞等中所上述之方法，而將該點群模型中所含之點的緻密部分當作部分點群模型，按照該每一部分點群模型而將點群模型予以分割。模型分割部431，係將已設定之各部分點群模型之資訊，供給至部分點群模型投影面設定部432。
部分點群模型投影面設定部432，係對各部分點群模型進行投影面之設定的相關處理。例如，部分點群模型投影面設定部432，係將從模型分割部431所被供給之部分點群模型之相關資訊，加以取得。又，部分點群模型投影面設定部432，係藉由例如＜5.局部性的投影面控制＞的＜投影面的局部性控制＞等中所上述之方法，而針對該部分點群模型之每一者，設定投影面。部分點群模型投影面設定部432，係將如此已設定之每一部分點群模型之投影面之相關資訊，供給至投影面資訊生成部433及部分點群模型投影部434。
投影面資訊生成部433，係進行投影面資訊之生成的相關處理。例如，投影面資訊生成部433，係將從部分點群模型投影面設定部432所被供給之，按照每一部分點群模型而被設定的投影面之相關資訊，加以取得。又，投影面資訊生成部433，係藉由例如＜5.局部性的投影面控制＞的＜投影面資訊之傳訊＞等中所上述之方法，而將關於各投影面的投影面資訊，予以生成。投影面資訊生成部433，係將已生成之投影面資訊，供給至投影面資訊附加部435。
部分點群模型投影部434，係進行每一部分點群模型之投影的相關處理。例如，部分點群模型投影部434，係將從部分點群模型投影面設定部432所被供給之，按照每一部分點群模型而被設定的投影面之相關資訊，加以取得。又，部分點群模型投影部434，係使用已取得之該投影面之相關資訊，例如藉由＜5.局部性的投影面控制＞的＜投影面的局部性控制＞等中所上述之方法，而將各部分點群模型按照每一小領域而投影至該投影面，生成斑塊。部分點群模型投影部434，係將已生成之斑塊，供給至投影面資訊附加部435。
投影面資訊附加部435，係進行投影面資訊之附加的相關處理。例如，投影面資訊附加部435，係將從投影面資訊生成部433所被供給之投影面資訊，加以取得。又，投影面資訊附加部435，係將從部分點群模型投影部434所被供給之斑塊等，加以取得。投影面資訊附加部435，係藉由例如＜5.局部性的投影面控制＞的＜投影面資訊之傳訊＞等中所上述之方法，而對從部分點群模型投影部434所取得之斑塊，附加該斑塊之生成時所被使用的投影面所相關之投影面資訊。又，投影面資訊附加部435，係將已附加了該投影面資訊的斑塊，供給至打包部412。此外，打包部412，係將已被附加至該斑塊的投影面資訊，儲存至佔用地圖中。
藉由設計成如此的構成，編碼裝置400，係可按照點雲之複數個部分點群模型之每一者而將投影面與他者獨立地進行設定，並做投影。藉由如此設計，可將各部分點群模型，投影至較適切的投影面。因此，可抑制因點群模型之投影為非效率所導致的編碼效率之降低(可促使編碼效率提升)。
＜編碼處理的流程＞ 接著，編碼裝置400所執行的編碼處理的流程之例子，參照圖16的流程圖來說明。
一旦編碼處理被開始，則編碼裝置400的斑塊分解部411，係於步驟S401中，執行斑塊分解處理，將點群模型分解成斑塊。又，斑塊分解部112，係將關於該分解的輔助斑塊資訊，予以生成。
於步驟S402中，輔助斑塊資訊壓縮部413，係將步驟S401中已被生成之輔助斑塊資訊，予以壓縮(編碼)。
於步驟S403中，打包部412，係執行打包處理，將步驟S401中所被生成之位置資訊或屬性資訊之各斑塊配置在2維影像而作為視訊畫格而予以打包。又，打包部412，係生成模型資訊或佔用地圖。然後，打包部412，係對彩色視訊畫格，進行Dilation處理。又，打包部412係將如此的打包的相關之控制資訊，予以生成。
於步驟S404中，視訊編碼部414，係將步驟S403中所被生成之幾何視訊畫格，以2維影像用之編碼方法進行編碼。
於步驟S405中，視訊編碼部415，係將步驟S403中所被生成之彩色視訊畫格，以2維影像用之編碼方法進行編碼。
於步驟S406中，OMap編碼部416，係將步驟S403中所被生成之佔用地圖，以所定之編碼方法進行編碼。
於步驟S407中，多工器417，係將如以上所被生成之各種資訊(例如步驟S402中所被生成之輔助斑塊資訊之編碼資料、步驟S403中所被生成之關於打包之控制資訊、步驟S404中所被生成之幾何視訊畫格之編碼資料、步驟S405中所被生成之彩色視訊畫格之編碼資料、步驟S406中所被生成之佔用地圖之編碼資料等)予以多工化，生成含有這些資訊的位元串流。
於步驟S408中，多工器417，係將步驟S407中所生成之位元串流，輸出至編碼裝置400的外部。
一旦步驟S408的處理結束，則編碼處理就結束。
＜斑塊分解處理的流程＞ 其次，參照圖17的流程圖，說明圖16的步驟S401中所執行的斑塊分解處理的流程之例子。
斑塊分解處理被開始，則模型分割部431，係於步驟S421中，例如藉由＜5.局部性的投影面控制＞的＜投影面的局部性控制＞等中所上述之方法，將含有點的稀疏部分的處理對象之點群模型，分割成複數個部分點群模型。
於步驟S422中，部分點群模型投影面設定部432，係藉由例如＜5.局部性的投影面控制＞的＜投影面的局部性控制＞等中所上述之方法，而將步驟S421中所被設定之各部分點群模型之投影面，予以設定。
於步驟S423中，投影面資訊生成部433，係藉由例如＜5.局部性的投影面控制＞的＜投影面資訊之傳訊＞等中所上述之方法，而將關於步驟S422中所被設定之各部分點群模型之投影面的投影面資訊，予以生成。
於步驟S424中，部分點群模型投影部434，係藉由例如＜5.局部性的投影面控制＞的＜投影面的局部性控制＞等中所上述之方法，而將各部分點群模型投影至步驟S422中所被設定之投影面，生成斑塊。
於步驟S425中，投影面資訊附加部435，係藉由例如＜5.局部性的投影面控制＞的＜投影面資訊之傳訊＞等中所上述之方法，而將步驟S423中所被生成之投影面資訊，賦予(附加)至步驟S424中所被生成之斑塊。已被賦予至該斑塊的投影面資訊，係藉由打包部412，而被儲存至佔用地圖中。
一旦步驟S425的處理結束，則斑塊分解處理就結束，處理係回到圖16。
＜分割處理的流程＞ 接著，將圖17之步驟S421中所執行的分割處理的流程之例子，參照圖18的流程圖而加以說明。
一旦分割處理被開始，則模型分割部431，係於步驟S441中，特定出比處理對象之點群模型之直方圖還要緻密的點群。
於步驟S442中，模型分割部431，係基於點的法線向量，來推定步驟S441中所特定出來的緻密的點群之每一者的投影方向。
於步驟S443中，模型分割部431，係將步驟S442中所被推定之投影方向為彼此互異的緻密的點群，視為部分點群模型。
一旦步驟S443的處理結束，則分割處理就結束，處理係回到圖17。
＜打包處理的流程＞ 接著，將圖16之步驟S403中所執行的打包處理的流程之例子，參照圖19的流程圖而加以說明。
一旦打包處理被開始，則打包部412，係於步驟S461中，將各部分點群模型之各斑塊配置在2維影像上。
於步驟S462中，打包部412，係將含有圖17的步驟S423中所被生成之投影面資訊的佔用地圖，予以生成。
於步驟S463中，打包部412，係對彩色視訊畫格，進行Dilation處理。
一旦步驟S463的處理結束，則打包處理就結束，處理係回到圖16。
藉由如以上般地執行各處理，可按照點雲之複數個部分點群模型之每一者而將投影面與他者獨立地加以設定，可將各部分點群模型投影至較適切的投影面。因此，可抑制因點群模型之投影為非效率所導致的編碼效率之降低(可促使編碼效率提升)。
＜7.第4實施形態＞ ＜解碼裝置＞ 圖20係適用了本技術的影像處理裝置之一態樣的解碼裝置之構成之一例的區塊圖。圖20所示的解碼裝置500，係為和解碼裝置200(圖10)相同的裝置，係將像是點雲之類的3D資料被投影至2維平面而被編碼成的編碼資料，以2維影像用之解碼方法進行解碼，並投影至3維空間的裝置(適用了視訊基礎方式的解碼裝置)。例如，解碼裝置500，係將編碼裝置400(圖14)把點雲進行編碼所生成之位元串流，予以解碼，並重建點雲。
此外，於圖20中係主要表示處理部或資料的流向等，圖20所示者並非全部。亦即，於解碼裝置500中，亦可存在有於圖20中未以區塊而被表示的處理部，亦可存在有於圖20中未以箭頭等而表示的處理或資料之流動。這在解碼裝置500內的處理部等的說明的其他圖中也是同樣如此。
如圖20所示，解碼裝置500係具有：解多工器511、輔助斑塊資訊解碼部512、視訊解碼部513、視訊解碼部514、OMap解碼部515、解包部516、及3D重建部517。
解多工器511，係進行資料之逆多工化的相關處理。例如，解多工器511，係將被輸入至解碼裝置500的位元串流，加以取得。該位元串流係例如，是由編碼裝置400所供給。解多工器511，係將該位元串流進行逆多工化，將輔助斑塊資訊之編碼資料予以抽出，將其供給至輔助斑塊資訊解碼部512。又，解多工器511，係藉由逆多工化，而從位元串流，抽出幾何視訊畫格之編碼資料，將其供給至視訊解碼部513。再者，解多工器511，係藉由逆多工化，而從位元串流，抽出彩色視訊畫格之編碼資料，將其供給至視訊解碼部514。又，解多工器511，係藉由逆多工化，而從位元串流，抽出佔用地圖之編碼資料，將其供給至OMap解碼部515。然後，解多工器511，係藉由逆多工化，而從位元串流，抽出關於打包之控制資訊料，將其供給至解包部516。
輔助斑塊資訊解碼部512，係進行輔助斑塊資訊之編碼資料之解碼的相關處理。例如，輔助斑塊資訊解碼部512，係將從解多工器511所被供給之輔助斑塊資訊之編碼資料，加以取得。又，輔助斑塊資訊解碼部512，係將該已取得之資料中所含之輔助斑塊資訊之編碼資料，予以解碼(解壓縮)。輔助斑塊資訊解碼部512，係將解碼所得之輔助斑塊資訊，供給至3D重建部517。
視訊解碼部513，係進行幾何視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部513，係將從解多工器511所被供給之幾何視訊畫格之編碼資料，加以取得。視訊解碼部513，係將該幾何視訊畫格之編碼資料，例如以AVC或HEVC等之任意之2維影像用之解碼方法，予以解碼。視訊解碼部513，係將該解碼所得之幾何視訊畫格(或其中一部分之領域)，供給至解包部516。
視訊解碼部514，係進行彩色視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部514，係將從解多工器511所被供給之彩色視訊畫格之編碼資料，加以取得。視訊解碼部514，係將該彩色視訊畫格之編碼資料，例如以AVC或HEVC等之任意之2維影像用之解碼方法，予以解碼。視訊解碼部514，係將該解碼所得之彩色視訊畫格(或其中一部分之領域)，供給至解包部516。
OMap解碼部515，係進行佔用地圖之編碼資料之解碼的相關處理。例如，OMap解碼部515，係將從解多工器511所被供給之佔用地圖編碼資料，加以取得。OMap解碼部515，係將該佔用地圖之編碼資料，以對應於該編碼方式的任意之解碼方法進行解碼。
OMap解碼部515，係將該解碼所得之佔用地圖(或其中一部分之領域)，供給至解包部516。
解包部516，係進行解包的相關處理。例如，解包部516，係從視訊解碼部513取得幾何視訊畫格，從視訊解碼部514取得彩色視訊畫格，從OMap解碼部515取得佔用地圖。又，解包部516，係基於關於打包之控制資訊，而將幾何視訊畫格或彩色視訊畫格予以解包。解包部516，係將解包所得的位置資訊(Geometry)之資料(幾何斑塊等)或屬性資訊(Texture)之資料(紋理斑塊等)，以及佔用地圖等，供給至3D重建部517。
3D重建部517，係進行點雲之重建的相關處理。例如，3D重建部517，係基於從輔助斑塊資訊解碼部512所被供給之輔助斑塊資訊、以及從解包部516所被供給之位置資訊(Geometry)之資料(幾何斑塊等)、屬性資訊(Texture)之資料(紋理斑塊等)、及佔用地圖等，來重建點雲。
例如，3D重建部517，係基於投影面資訊，而將各部分點群模型所對應之投影面予以特定，使用該投影面而從斑塊等來重建點雲。因此，解碼裝置500，係可從已被投影至較適切之投影面的斑塊來重建各部分點群模型，因此可抑制起因於部分點群模型之投影的非效率所致之編碼效率之降低(可提升編碼效率)。
3D重建部517，係將已重建之點雲，輸出至解碼裝置500之外部。該點雲係例如，被供給至顯示部而被影像化，該影像被顯示；或被記錄至記錄媒體、或透過通訊而被供給至其他裝置等。
藉由設計成如此的構成，解碼裝置500，係在點雲中存在有複數個部分點群模型的情況下，仍可抑制編碼效率之降低。
＜解碼處理的流程＞ 接著，被該解碼裝置500所執行的解碼處理的流程之例子，參照圖21的流程圖來加以說明。
一旦解碼處理被開始，則解碼裝置500的解多工器511係於步驟S501中，將位元串流進行逆多工化。
於步驟S502中，輔助斑塊資訊解碼部512，係將步驟S501中從位元串流所被抽出的輔助斑塊資訊，予以解碼。
於步驟S503中，視訊解碼部513，係將步驟S501中從位元串流所被抽出的幾何視訊畫格(位置資訊之視訊畫格)之編碼資料，予以解碼。
於步驟S504中，視訊解碼部514，係將步驟S501中從位元串流所被抽出的彩色視訊畫格(屬性資訊之視訊畫格)之編碼資料，予以解碼。
於步驟S505中，OMap解碼部515，係將步驟S501中從位元串流所被抽出的佔用地圖之編碼資料，予以解碼。該佔用地圖中係含有上述的投影面資訊。
於步驟S506中，解包部516係進行解包。例如，解包部516，係將步驟S503中編碼資料被解碼所得的幾何視訊畫格予以解包，生成幾何斑塊。又，解包部516，係將步驟S504中編碼資料被解碼所得的彩色視訊畫格予以解包，生成紋理斑塊。又，解包部516，係將步驟S505中編碼資料被解碼所得的佔用地圖予以解包，並將幾何斑塊或紋理斑塊所對應之佔用地圖予以抽出。
於步驟S507中，3D重建部517，係基於步驟S502中所得之輔助斑塊資訊、以及步驟S506中所得之幾何斑塊、紋理斑塊、及佔用地圖、該佔用地圖中所含之投影面資訊等，來重建點雲(各點群模型)。
一旦步驟S507之處理結束則解碼處理就結束。
藉由如以上般地執行各處理，解碼裝置500係可抑制編碼效率之降低。
＜8.附記＞ ＜控制資訊＞ 以上的各實施形態中所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將用來指定許可(或禁止)適用上述本技術之範圍(例如區塊大小之上限或是下限、或其雙方、切片、圖像、序列、分量、視點、圖層等)的控制資訊，予以傳輸。
＜電腦＞ 上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖22係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖22所示的電腦900中，CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM (Random Access Memory)903，係透過匯流排904而被彼此連接。
匯流排904，係還連接著輸出入介面910。輸出入介面910上係連接有：輸入部911、輸出部912、記憶部913、通訊部914、及驅動機915。
輸入部911，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部912係由例如顯示器、揚聲器、輸出端子等所成。記憶部913，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部914係由例如網路介面所成。驅動機915係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體921。
在如以上構成的電腦中，藉由CPU901而例如將記憶部913中所記憶之程式，透過輸出入介面910及匯流排904，而載入至RAM903裡並加以執行，就可進行上述一連串處理。RAM903中，還適宜地記憶著CPU901在執行各種處理時所必需的資料等。
電腦(CPU901)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體921中而適用。此情況下，程式係藉由將可移除式媒體921裝著至驅動機915，就可透過輸出入介面910，安裝至記憶部913。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部914而接收之，並安裝至記憶部913。
除此以外，該程式係可事前安裝在ROM902或記憶部913中。
＜本技術的適用對象＞ 以上雖然針對在點雲資料的編碼、解碼中適用本技術的情況加以說明，但本技術係不限於這些例子，亦可對任意規格的3D資料的編碼、解碼做適用。亦即，只要不與上述的本技術產生矛盾，編碼、解碼方式等之各種處理、以及3D資料或後設資料等之各種資料的規格，係為任意。又，只要不與本技術產生矛盾，亦可省略上述的一部分之處理或規格。
本技術係可適用於任意的構成。例如，本技術係可適用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等，各式各樣的電子機器。
又例如，本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等，作為裝置的部分構成而實施。
又例如，本技術係亦可對由複數裝置所構成的網路系統做適用。例如，亦可將本技術，透過網路而分擔給複數台裝置，以共同進行處理的雲端運算的方式，來加以實施。例如，亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端，提供影像(動態影像)的相關之服務的雲端服務中，實施本技術。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
＜可適用本技術的領域、用途＞ 適用了本技術的系統、裝置、處理部等係可利用於例如：交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又，其用途也為任意。
＜其他＞ 此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又，例如，上述的程式，係亦可於任意的裝置中被執行。此情況下，只要讓該裝置，具有必要的機能(機能區塊等)，能夠獲得必要的資訊即可。
又，例如，1個流程圖的各步驟，亦可由1個裝置來執行，也可由複數裝置來分擔而執行。甚至，1個步驟中包含有複數個處理的情況下，該複數個處理亦可由1個裝置來執行，也可由複數裝置來分擔而執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
又，例如，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
又，例如，本技術所相關之複數個技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。
11:點群模型 12:定界框 13:定界框 14:彩色視訊畫格 15:幾何視訊畫格 16:佔用地圖 17:2D位元串流 18:佔用地圖 19:標頭 21:BB資訊 22:投影面資訊 31:點群模型 32:定界框 33:2維影像 34:斑塊 35:斑塊 36:切片 100:編碼裝置 111:模型轉換部 112:斑塊分解部 113:打包部 114:輔助斑塊資訊壓縮部 115:視訊編碼部 116:視訊編碼部 117:OMap編碼部 118:多工器 119:BB資訊生成部 200:解碼裝置 211:解多工器 212:輔助斑塊資訊解碼部 213:點群模型選擇部 214:視訊解碼部 215:視訊解碼部 216:OMap解碼部 217:解包部 218:3D重建部 311:部分點群模型 312:定界框 313:投影面 314:彩色視訊畫格 315:幾何視訊畫格 316:佔用地圖 317:2D位元串流 318:佔用地圖 321:投影面資訊 400:編碼裝置 411:斑塊分解部 412:打包部 413:輔助斑塊資訊壓縮部 414:視訊編碼部 415:視訊編碼部 416:OMap編碼部 417:多工器 431:模型分割部 432:部分點群模型投影面設定部 433:投影面資訊生成部 434:部分點群模型投影部 435:投影面資訊附加部 500:解碼裝置 511:解多工器 512:輔助斑塊資訊解碼部 513:視訊解碼部 514:視訊解碼部 515:OMap解碼部 516:解包部 517:3D重建部 900:電腦 901:CPU 902:ROM 903:RAM 904:匯流排 910:輸出入介面 911:輸入部 912:輸出部 913:記憶部 914:通訊部 915:驅動機 921:可移除式媒體
[圖1]關於本技術之主要特徵的整理圖。 [圖2]適用了本技術的點雲之編碼、解碼之概要的說明圖。 [圖3]適用了本技術的點雲之編碼、解碼之概要的說明圖。 [圖4]編碼裝置的主要構成例的區塊圖。 [圖5]編碼處理的流程之例子的說明用流程圖。 [圖6]轉換處理的流程之例子的說明用流程圖。 [圖7]定界框設定處理的流程之例子的說明用流程圖。 [圖8]打包處理的流程之例子的說明用流程圖。 [圖9]BB資訊生成處理的流程之例子的說明用流程圖。 [圖10]解碼裝置的主要構成例的區塊圖。 [圖11]解碼處理的流程之例子的說明用流程圖。 [圖12]關於本技術之主要特徵的整理圖。 [圖13]適用了本技術的點雲之編碼、解碼之概要的說明圖。 [圖14]編碼裝置的主要構成例的區塊圖。 [圖15]斑塊分解部之主要構成例的區塊圖。 [圖16]編碼處理的流程之例子的說明用流程圖。 [圖17]斑塊分解處理的流程之例子的說明用流程圖。 [圖18]分割處理的流程之例子的說明用流程圖。 [圖19]打包處理的流程之例子的說明用流程圖。 [圖20]解碼裝置的主要構成例的區塊圖。 [圖21]解碼處理的流程之例子的說明用流程圖。 [圖22]電腦的主要構成例的區塊圖。
11-1、11-2、11-3、11-4:點群模型
12-1、12-2、12-3、12-4:定界框
13:定界框
14:彩色視訊畫格
15:幾何視訊畫格
16:佔用地圖
17:2D位元串流
18:佔用地圖
19:標頭
21:BB資訊
22:投影面資訊

Claims (20)

  1. 一種影像處理裝置，係具備： 轉換部，係將點雲之複數個點群模型之相關參數，予以轉換；和 編碼部，係將前記參數是已被前記轉換部進行轉換過的前記複數個點群模型所被投影之2維平面影像予以編碼，並生成含有前記2維平面影像之編碼資料、和前記轉換部所致之前記參數之轉換之相關資訊也就是轉換資訊的位元串流。
  2. 如請求項1所記載之影像處理裝置，其中， 前記轉換部，係將前記點群模型的座標予以轉換，來作為前記參數。
  3. 如請求項2所記載之影像處理裝置，其中， 前記轉換部，係進行前記座標之平移或旋轉、或其雙方，來作為前記座標之轉換。
  4. 如請求項1所記載之影像處理裝置，其中， 前記轉換部，係將前記點群模型的時刻予以轉換，來作為前記參數。
  5. 如請求項1所記載之影像處理裝置，其中， 前記轉換部，係將前記點群模型的階度予以轉換，來作為前記參數。
  6. 如請求項1所記載之影像處理裝置，其中， 前記轉換部，係將前記點群模型的畫格速率予以轉換，來作為前記參數。
  7. 如請求項1所記載之影像處理裝置，其中， 前記轉換資訊係含有：表示已被前記轉換部所轉換之前記參數之變化量的資訊。
  8. 如請求項1所記載之影像處理裝置，其中， 還具備：打包部，係將前記點群模型的斑塊，隨著每一前記點群模型而改變領域而做配置，並打包成為視訊畫格； 前記編碼部，係將前記斑塊已被前記打包部所打包的前記視訊畫格予以編碼，並生成還含有前記點群模型之相關資訊也就是模型資訊的前記位元串流。
  9. 如請求項8所記載之影像處理裝置，其中， 前記領域，係為可獨立解碼的編碼單位。
  10. 如請求項8所記載之影像處理裝置，其中， 前記模型資訊係含有：表示前記位元串流中所含之點群模型的數量、和各點群模型之斑塊所被配置之領域的資訊。
  11. 一種影像處理方法，係 將點雲之複數個點群模型之相關參數，予以轉換； 將前記參數已被轉換的前記複數個點群模型所被投影之2維平面影像予以編碼，並生成含有前記2維平面影像之編碼資料、和前記參數之轉換之相關資訊也就是轉換資訊的位元串流。
  12. 一種影像處理裝置，係具備： 解碼部，係將位元串流予以解碼，生成複數個點群模型所被投影之2維平面影像、和前記複數個點群模型之每一者的參數之轉換之相關資訊也就是轉換資訊；和 重建部，係從已被前記解碼部所生成之前記2維平面影像來重建前記複數個點群模型之每一者，基於前記轉換資訊，而將前記複數個點群模型之每一者的參數進行逆轉換。
  13. 一種影像處理方法，係 將位元串流予以解碼，生成複數個點群模型所被投影之2維平面影像、和前記複數個點群模型之每一者的參數之轉換之相關資訊也就是轉換資訊； 從已被生成之前記2維平面影像來重建前記複數個點群模型之每一者，基於前記轉換資訊，而將前記複數個點群模型之每一者的參數進行逆轉換。
  14. 一種影像處理裝置，係具備： 投影部，係將構成點群模型的複數個部分點群模型，分別投影至已被彼此獨立地設定的投影面；和 編碼部，係將已被前記投影部投影至各投影面的前記部分點群模型之斑塊所被配置的2維平面影像，和含有前記投影面之相關資訊也就是投影面資訊的佔用地圖，予以編碼，生成位元串流。
  15. 如請求項14所記載之影像處理裝置，其中， 前記投影面資訊係含有：表示前記投影面之旋轉量的資訊。
  16. 如請求項14所記載之影像處理裝置，其中，還具備： 分割部，係將前記點群模型分割成前記複數個部分點群模型；和 設定部，係針對前記複數個部分點群模型之每一者，設定投影面。
  17. 如請求項16所記載之影像處理裝置，其中， 前記分割部，係 將比前記點群模型的直方圖還要緻密的點群，加以特定； 基於法線向量來推定前記緻密的點群之每一者的投影方向； 將前記投影方向為彼此互異的緻密的點群，當作部分點群模型而予以設定。
  18. 一種影像處理方法，係 將構成點群模型的複數個部分點群模型，分別投影至已被彼此獨立地設定的投影面； 將已被投影至各投影面的前記部分點群模型之斑塊所被配置的2維平面影像，和含有前記投影面之相關資訊也就是投影面資訊的佔用地圖，予以編碼，生成位元串流。
  19. 一種影像處理裝置，係具備： 解碼部，係將位元串流予以解碼，生成點群模型所被投影之2維平面影像、和含有前記點群模型中所含之複數個部分點群模型之每一者的投影面之相關資訊也就是投影面資訊的佔用地圖；和 重建部，係基於已被前記解碼部所生成之前記2維平面影像、和前記佔用地圖中所含之前記投影面資訊，而重建前記點群模型。
  20. 一種影像處理方法，係 將位元串流予以解碼，生成點群模型所被投影之2維平面影像、和含有前記點群模型中所含之複數個部分點群模型之每一者的投影面之相關資訊也就是投影面資訊的佔用地圖； 基於已被生成之前記2維平面影像、和前記佔用地圖中所含之前記投影面資訊，而重建前記點群模型。
TW108123292A 2018-07-11 2019-07-02 影像處理裝置及方法 TW202017374A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018131300 2018-07-11
JP2018-131300 2018-07-11

Publications (1)

Publication Number Publication Date
TW202017374A true TW202017374A (zh) 2020-05-01

Family

ID=69141449

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108123292A TW202017374A (zh) 2018-07-11 2019-07-02 影像處理裝置及方法

Country Status (12)

Country Link
US (1) US11699248B2 (zh)
EP (1) EP3823286A4 (zh)
JP (1) JP7327399B2 (zh)
KR (1) KR20210030276A (zh)
CN (1) CN112470480B (zh)
AU (1) AU2019302075A1 (zh)
BR (1) BR112021000044A2 (zh)
CA (1) CA3106234A1 (zh)
MX (1) MX2020013700A (zh)
PH (1) PH12021550063A1 (zh)
TW (1) TW202017374A (zh)
WO (1) WO2020012968A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111566703B (zh) * 2018-01-17 2023-10-20 索尼公司 图像处理装置和方法
CN110719497B (zh) * 2018-07-12 2021-06-22 华为技术有限公司 点云编解码方法和编解码器
JP2022003716A (ja) * 2018-10-01 2022-01-11 ソニーグループ株式会社 画像処理装置および方法
US11915390B2 (en) * 2019-01-07 2024-02-27 Sony Group Corporation Image processing device and method
CN114930860A (zh) 2020-01-07 2022-08-19 Lg电子株式会社 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
WO2021200919A1 (ja) * 2020-03-30 2021-10-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11706450B2 (en) * 2020-09-18 2023-07-18 Samsung Electronics Co., Ltd. Partial decoding and reconstruction of a video-based point cloud compression bitstream
WO2022149589A1 (ja) * 2021-01-07 2022-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ復号方法、三次元データ符号化方法、三次元データ復号装置、及び三次元データ符号化装置
WO2023047021A2 (en) * 2021-09-27 2023-03-30 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
CN115049750B (zh) * 2022-05-31 2023-06-16 九识智行(北京)科技有限公司 基于八叉树的体素地图生成方法、装置、存储介质及设备
KR20240043994A (ko) 2022-09-28 2024-04-04 증안리약초마을 협동조합 누룽지 제조 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
WO2017142353A1 (ko) 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
US20180053324A1 (en) 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
WO2018043905A1 (ko) 2016-08-29 2018-03-08 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
JP2019530311A (ja) * 2016-09-02 2019-10-17 ヴィド スケール インコーポレイテッド ３６０度ビデオ情報をシグナリングするための方法およびシステム
EP3349182A1 (en) * 2017-01-13 2018-07-18 Thomson Licensing Method, apparatus and stream for immersive video format
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10499054B2 (en) * 2017-10-12 2019-12-03 Mitsubishi Electric Research Laboratories, Inc. System and method for inter-frame predictive compression for point clouds
TWI815842B (zh) * 2018-01-16 2023-09-21 日商索尼股份有限公司 影像處理裝置及方法

Also Published As

Publication number Publication date
BR112021000044A2 (pt) 2021-03-30
EP3823286A1 (en) 2021-05-19
CN112470480A (zh) 2021-03-09
US11699248B2 (en) 2023-07-11
MX2020013700A (es) 2021-02-26
CN112470480B (zh) 2024-06-18
US20210233278A1 (en) 2021-07-29
PH12021550063A1 (en) 2021-12-06
JPWO2020012968A1 (ja) 2021-08-02
EP3823286A4 (en) 2021-12-01
WO2020012968A1 (ja) 2020-01-16
AU2019302075A1 (en) 2021-01-28
CA3106234A1 (en) 2020-01-16
KR20210030276A (ko) 2021-03-17
JP7327399B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
TW202017374A (zh) 影像處理裝置及方法
WO2019198523A1 (ja) 画像処理装置および方法
CN111566703B (zh) 图像处理装置和方法
TWI815842B (zh) 影像處理裝置及方法
JP2023184727A (ja) 画像処理装置および方法
WO2019198521A1 (ja) 画像処理装置および方法
JP7331852B2 (ja) 画像処理装置および方法
US11399189B2 (en) Image processing apparatus and method
CN115699751A (zh) 信息处理装置和方法
JP7396302B2 (ja) 画像処理装置および方法
WO2023181875A1 (ja) 情報処理装置および方法
WO2023127513A1 (ja) 情報処理装置および方法
WO2022075074A1 (ja) 画像処理装置および方法