TW201933284A - 影像處理裝置及方法 - Google Patents

影像處理裝置及方法 Download PDF

Info

Publication number
TW201933284A
TW201933284A TW107147408A TW107147408A TW201933284A TW 201933284 A TW201933284 A TW 201933284A TW 107147408 A TW107147408 A TW 107147408A TW 107147408 A TW107147408 A TW 107147408A TW 201933284 A TW201933284 A TW 201933284A
Authority
TW
Taiwan
Prior art keywords
data
dimensional
unit
recorded
image processing
Prior art date
Application number
TW107147408A
Other languages
English (en)
Other versions
TWI815842B (zh
Inventor
中神央二
矢野幸司
隈智
加藤毅
Original Assignee
日商索尼股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼股份有限公司 filed Critical 日商索尼股份有限公司
Publication of TW201933284A publication Critical patent/TW201933284A/zh
Application granted granted Critical
Publication of TWI815842B publication Critical patent/TWI815842B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

本揭露係有關於，能夠抑制3D資料的2維投影所致之品質的降低的影像處理裝置及方法。
將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。又，將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。本揭露係可適用於例如資訊處理裝置、影像處理裝置、電子機器、資訊處理方法、或程式等。

Description

影像處理裝置及方法
本揭露係有關於影像處理裝置及方法，特別是有關於可抑制3D資料的2維投影所致之品質的降低的影像處理裝置及方法。
先前，作為例如像是點雲(Point cloud)這類表示3維結構之3D資料的編碼方法，係有分別將點雲的位置與色彩資訊，每一小領域地投影至2維平面，以2維影像用之編碼方法加以編碼的方式(以下亦稱為視訊基礎方式(Video-based approach))，已被提出(例如參照非專利文獻1乃至非專利文獻3)。
[先前技術文獻]
[非專利文獻]
[非專利文獻1] Tim Golla and Reinhard Klein, "Real-time Point Cloud Compression ", IEEE, 2015
[非專利文獻2] K. Mammou, "Video-based and Hierarchical Approaches Point Cloud Compression", MPEG m41649, Oct. 2017
[非專利文獻3] "PCC Test Model Category 2 v0", N17248 MPEG output document, October 2017
[發明所欲解決之課題]
然而，編碼對象的點雲，係會因為雜訊或攝像系統之特性，而導致在物件表面以外也有Point存在。因此，有時候難以投影至2維平面，藉由伴隨對該2維平面之投影的編碼，可能會導致品質降低。
本揭露係有鑑於此種狀況而研發，目的在於能夠抑制3D資料的2維投影所致之品質的降低。

[用以解決課題之手段]
本技術之一側面之影像處理裝置，係為一種影像處理裝置，係具備：2維投影部，係將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。
本技術之一側面之影像處理方法，係為一種影像處理裝置，係將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。
本技術之另一側面的影像處理裝置，係為一種影像處理裝置，係具備：3維投影部，係將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。
本技術之另一側面的影像處理方法，係為一種影像處理方法，係將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。
於本技術之一側面的影像處理裝置及方法中，表示3維結構之3D資料中所含之所有的每一位置之資料，會被投影至複數圖層之2維平面。
於本技術之另一側面的影像處理裝置及方法中，已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，會被投影至3維空間。

[發明效果]
若依據本揭露，則可處理資訊。尤其是，可抑制3D資料的2維投影所致之品質的降低。
以下，說明用以實施本揭露的形態(以下稱作實施形態)。此外，說明係用以下順序來進行。
1.視訊基礎方式
2.第1實施形態(可變圖層數)
3.第2實施形態(空點之定義)
4.第3實施形態(可變縱深參數)
5.附記
＜1.視訊基礎方式＞
＜支持技術內容、技術用語的文獻等＞
本技術所揭露之範圍，係不只有實施例中所記載的內容，還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1：(上述)
非專利文獻2：(上述)
非專利文獻3：(上述)
非專利文獻4：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
非專利文獻5：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
非專利文獻6：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
亦即，上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如，非專利文獻5中所記載之Quad-Tree Block Structure、非專利文獻6中所記載之QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。又，例如，關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地，即使於實施例中沒有直接記載的情況下，仍屬於本技術的揭露範圍內，並視為滿足申請專利範圍的支持要件。
＜點雲＞
先前，藉由點群之位置資訊或屬性資訊等來表現3維結構的點雲，或以頂點、邊緣、面所構成，使用多角形表現來定義3維形狀的網格等之資料，係為存在。
例如點雲的情況下，是將如圖1的A所示的立體結構物，以如圖1的B所示的多數的點之集合(點群)，來加以表現。亦即，點雲之資料，係由該點群的各點之位置資訊或屬性資訊(例如色彩等)而被構成。因此資料結構會比較單純，同時，藉由使用足夠多的點，就可以足夠的精度來表現任意的立體結構。
＜視訊基礎方式之概要＞
將此種點雲的各位置與色彩資訊，每一小領域地投影至2維平面，以2維影像用之編碼方法來進行編碼的視訊基礎方式(Video-based approach)，已被提出。
在該視訊基礎方式中，例如如圖2所示，已被輸入之點雲(Point cloud)是被分割成複數個分段(亦稱領域或斑塊)，每一領域地被投影至2維平面。此外，點雲的每一位置之資料(亦即各點之資料)，係如上述是由位置資訊(Geometry(亦稱Depth))和屬性資訊(Texture)所構成，分別被每一領域地投影至2維平面。
然後，已被投影至2維平面上的3D資料(點雲)，係藉由例如AVC(Advanced Video Coding)或HEVC (High Efficiency Video Coding)等這類2維平面影像用之編碼方式，而被編碼。
＜有關於視訊基礎方式的本技術＞
說明有關於如以上所說明之視訊基礎方式的本技術。圖3係為於各實施形態所說明的本技術之一覽。
該表從上起算第1段(項目名的段除外)中係記載了有關於先前(TMC2)中的視訊基礎方式。亦即，於先前的視訊基礎方式中，3D資料的2維投影，係對2圖層(2層)之2維平面進行。該規格係於畫面全體中為共通(無論針對哪個區段都是進行相同的投影)。因此，此種被使用於投影之控制的投影控制資訊，係作為畫格單位之資訊，從編碼側而被傳訊至解碼側。
然而，編碼對象的點雲，係會因為雜訊或攝像系統之特性，而導致在物件表面以外也有Point存在。因此，如上述的先前的方法那樣，對2圖層之2維平面的投影，可能會有困難。因此，會發生無法投影至2維平面的點，會因為往2維平面之投影所伴隨的編碼，而有可能導致資料品質降低。
又，例如，在壓縮對象是具有Sparse(稀疏)之性質的情況下，就會需要微小領域(Point)單位之投影，而為了將許多的小領域予以編碼，處理量、編碼效率都可能會變差。
圖3的表從上起算第2段(項目名的段除外)中係記載了，有關於第1實施形態(實施例1)中所說明的本技術。該方法，係將投影3D資料的2維平面之圖層(Layer)數設為可變，以使得可將縱深方向上重疊的所有的點之資料(每一位置之資料)進行投影的方式，來設定圖層數的方法。
此情況下，亦可為，例如，表示圖層數的資訊，是每一領域地，從編碼側被傳訊至解碼側。
藉由如此設計，就可較正確地重現在物件表面具有厚度的點雲。亦即，可抑制3D資料的2維投影所致之品質的降低。
圖3的表從上起算第3段(項目名的段除外)中係記載了，有關於第2實施形態(實施例2)中所說明的本技術。該方法係為，將3D資料投影至2維平面之際，追加「空點」之定義的方法。
此情況下，例如，於解碼側做刪除的點的像素值之定義，亦可從編碼側被傳訊至解碼側。
藉由如此設計，就可較正確地重現Sparse的點雲。亦即，不需要微小領域(Point)單位之投影，可抑制處理量的增大或編碼效率的降低。
圖3的表從上起算第4段(項目名的段除外)中係記載了，有關於第3實施形態(實施例3)中所說明的本技術。該方法係為，可將控制投影至2維平面的3D資料之縱深之範圍的縱深參數，對每一領域加以設定的方法。
此情況下，例如，其縱深參數亦可從編碼側被傳訊至解碼側。
藉由如此設計，可控制每一領域之畫質，可抑制位置資訊(Geometry)的效率之降低。
＜編碼裝置＞
接著說明，實現如以上之各手法的構成。圖4係適用了本技術的影像處理裝置之一態樣的編碼裝置之構成之一例的區塊圖。圖4所示的編碼裝置100係為，將像是點雲的3D資料投影至2維平面而以2維影像用之編碼方法進行編碼的裝置。
例如，編碼裝置100，係實作非專利文獻1乃至非專利文獻6中所記載之技術，以符合這些文獻之任一者所記載之規格的方法，進行3D資料之編碼。
此外，於圖4中係主要表示處理部或資料的流動等，圖4所示者並非全部。亦即，於編碼裝置100中，亦可存在有於圖4中未以區塊而被表示的處理部，亦可存在有於圖4中未以箭頭等而表示的處理或資料之流動。這在編碼裝置100內的處理部等的說明的其他圖中也是同樣如此。
如圖4所示編碼裝置100係具有：斑塊分解部111、打包部112、輔助斑塊資訊壓縮部113、視訊編碼部114、視訊編碼部115、OMap編碼部116、及多工器117。
斑塊分解部111，係進行3D資料之分解的相關處理。例如，斑塊分解部111，係將被輸入至編碼裝置100的，表示3維結構之3D資料(例如點雲)，加以取得(箭頭121)。又，斑塊分解部111，係將已取得之該3D資料分解成複數斑塊，該每一斑塊地將3D資料投影至2維平面。
斑塊分解部111，係將每一斑塊地被投影至2維平面上的3D資料，供給至打包部112(箭頭122)。又，斑塊分解部111，係將該分解的相關之資訊亦即輔助斑塊資訊，供給至輔助斑塊資訊壓縮部113(箭頭123)。
打包部112，係進行資料之打包的相關處理。例如，打包部112，係將從斑塊分解部111所被供給之每一斑塊地被投影了3D資料的2維平面之資料，加以取得(箭頭122)。又，打包部112，係將已取得之該2維平面之各圖層打包成為彼此互異之視訊畫格。例如，打包部112，係將表示點的位置的位置資訊(Gepmetry)、被附加至該位置資訊的色彩資訊等之屬性資訊(Texture)、及表示點的存在有無的佔用地圖(Occupancy Map)，分別打包成為視訊畫格。
打包部112，係將已生成之視訊畫格，供給至後段的處理部(箭頭124)。例如，打包部112係將已生成之位置資訊(Geometry)之視訊畫格，供給至視訊編碼部114。又，例如，打包部112係將已生成之屬性資訊(Texture)之視訊畫格，供給至視訊編碼部115。再者，例如，打包部112係將已生成之佔用地圖之視訊畫格，供給至OMap編碼部116。
又，打包部112係將該打包的相關之控制資訊，供給至多工器117(箭頭125)。
輔助斑塊資訊壓縮部113，係進行輔助斑塊資訊之壓縮的相關處理。例如，輔助斑塊資訊壓縮部113，係將從斑塊分解部111所被供給之資料，加以取得(箭頭123)。輔助斑塊資訊壓縮部113，係將已取得之資料中所含之輔助斑塊資訊，予以編碼(壓縮)。輔助斑塊資訊壓縮部113，係將所得到之輔助斑塊資訊之編碼資料，供給至多工器117(箭頭126)。
視訊編碼部114，係進行位置資訊(Geometry)之視訊畫格之編碼的相關處理。例如，視訊編碼部114，係將從打包部112所被供給之位置資訊(Geometry)之視訊畫格，加以取得(箭頭124)。又，視訊編碼部114，係將該已取得之位置資訊(Geometry)之視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部114，係將該編碼所得之編碼資料(位置資訊(Geometry)之視訊畫格之編碼資料)，供給至多工器117(箭頭127)。
視訊編碼部115，係進行屬性資訊(Texture)之視訊畫格之編碼的相關處理。例如，視訊編碼部115，係將從打包部112所被供給之屬性資訊(Texture)之視訊畫格，加以取得(箭頭124)。又，視訊編碼部115，係將該已取得之屬性資訊(Texture)之視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。視訊編碼部115，係將該編碼所得之編碼資料(屬性資訊(Texture)之視訊畫格之編碼資料)，供給至多工器117(箭頭128)。
OMap編碼部116，係進行佔用地圖之視訊畫格之編碼的相關處理。例如，OMap編碼部116，係將從打包部112所被供給之佔用地圖之視訊畫格，加以取得(箭頭124)。又，OMap編碼部116，係將該已取得之佔用地圖之視訊畫格，例如以AVC或HEVC等之任意的2維影像用之編碼方法，進行編碼。OMap編碼部116，係將該編碼所得之編碼資料(佔用地圖之視訊畫格之編碼資料)，供給至多工器117(箭頭129)。
多工器117，係進行多工化的相關處理。例如，多工器117，係將從輔助斑塊資訊壓縮部113所被供給之輔助斑塊資訊之編碼資料，加以取得(箭頭126)。又，例如，多工器117，係將從打包部112所被供給之打包的相關之控制資訊，加以取得(箭頭125)。又，例如，多工器117，係將從視訊編碼部114所被供給之位置資訊(Geometry)之視訊畫格之編碼資料，加以取得(箭頭127)。又，例如，多工器117，係將從視訊編碼部115所被供給之屬性資訊(Texture)之視訊畫格之編碼資料，加以取得(箭頭128)。又，例如，多工器117，係將從OMap編碼部116所被供給之佔用地圖之視訊畫格之編碼資料，加以取得(箭頭129)。
多工器117，係將已取得之這些資訊進行多工化，而生成位元串流。多工器117，係將該已生成之位元串流，輸出至編碼裝置100之外部(箭頭130)。
＜斑塊分解部＞
圖5係斑塊分解部111的主要構成例的區塊圖。如圖5所示，此時的斑塊分解部111係具有：法線方向推定部151、分段初期設定部152、分段更新部153、2維投影部154、及像素分布解析部155。
法線方向推定部151，係進行3D資料之表面的法線方向之推定的相關處理。例如，法線方向推定部151，係將所被輸入的3D資料，加以取得。又，法線方向推定部151，係推定該已取得之3D資料所呈現的物件之表面的法線方向。例如，法線方向推定部151，係建構kd-tree，並探索附近，算出最適近似接平面等而推定法線方向。法線方向推定部151，係將該法線方向之推定結果連同其他資料，供給至分段初期設定部152。
分段初期設定部152，係進行分段之初期設定的相關處理。例如，分段初期設定部152，係將從法線方向推定部151所被供給之資料，加以取得。又，例如，分段初期設定部152，係基於已被法線方向推定部151所推定出來的法線方向的6軸的各方向之成分，而將3D資料的其法線方向所對應的面，加以分類。分段初期設定部152，係將該分類結果，連同其他資料一起供給至分段更新部153。
分段更新部153，係進行分段之更新的相關處理。例如，分段更新部153，係將從分段初期設定部152所被供給之資料，加以取得。然後，分段更新部153，係已被分段初期設定部152所設定之初期設定之分段中的太小的領域予以集結，使其變成足夠大的領域。分段更新部153，係將已更新之分段的相關之資訊，連同其他資訊，一起供給至2維投影部154。
2維投影部154，係進行3D資料之2維投影的相關處理。例如，2維投影部154，係將從分段更新部153所被供給之資料，加以取得。又，2維投影部154，係利用像素分布解析部155，而生成已取得之資料中所含之3D資料之佔用地圖，或是將該3D資料或佔用資料，每一領域地投影至2維平面等等。2維投影部154，係將已投影至2維平面的3D資料，連同其他資料，一起供給至打包部112。
像素分布解析部155，係進行2維投影部154之處理對象的3D資料的像素分布之解析的相關處理。
＜解碼裝置＞
圖6係適用了本技術的影像處理裝置之一態樣的解碼裝置之構成之一例的區塊圖。圖6所示的解碼裝置200係為，將像是點雲之類的3D資料被投影至2維平面而被編碼成的編碼資料，以2維影像用之解碼方法進行解碼，並投影至3維空間的裝置。
例如，解碼裝置200，係實作非專利文獻1乃至非專利文獻6中所記載之技術，以符合這些文獻之任一者所記載之規格的方法，進行3D資料的編碼資料之解碼。
此外，於圖6中係主要表示處理部或資料的流動等，圖6所示者並非全部。亦即，於解碼裝置200中，亦可存在有於圖6中未以區塊而被表示的處理部，亦可存在有於圖6中未以箭頭等而表示的處理或資料之流動。這在解碼裝置200內的處理部等的說明的其他圖中也是同樣如此。
如圖6所示，解碼裝置200係具有：解多工器211、輔助斑塊資訊解碼部212、視訊解碼部213、視訊解碼部214、OMap解碼部215、解包部216、及3D重新建構部217。
解多工器211，係進行資料之逆多工化的相關處理。例如，解多工器211，係將被輸入至解碼裝置200的位元串流，加以取得。該位元串流係例如，是由編碼裝置100所供給。解多工器211，係將該位元串流進行逆多工化，將輔助斑塊資訊之編碼資料予以抽出，將其供給至輔助斑塊資訊解碼部212。又，解多工器211，係藉由逆多工化，而從位元串流，抽出位置資訊(Geometory)之視訊畫格之編碼資料，將其供給至視訊解碼部213。再者，解多工器211，係藉由逆多工化，而從位元串流，抽出屬性資訊(Texture)之視訊畫格之編碼資料，將其供給至視訊解碼部214。又，解多工器211，係藉由逆多工化，而從位元串流，抽出佔用地圖之視訊畫格之編碼資料，將其供給至OMap解碼部215。
輔助斑塊資訊解碼部212，係進行輔助斑塊資訊之編碼資料之解碼的相關處理。例如，輔助斑塊資訊解碼部212，係將從解多工器211所被供給之輔助斑塊資訊之編碼資料，加以取得。又，輔助斑塊資訊解碼部212，係將該已取得之資料中所含之輔助斑塊資訊之編碼資料，予以解碼。輔助斑塊資訊解碼部212，係將該解碼所得之輔助斑塊資訊，供給至3D重新建構部217。
視訊解碼部213，係進行位置資訊(Geometory)之視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部213，係將從解多工器211所被供給之位置資訊(Geometory)之視訊畫格之編碼資料，加以取得。又，例如，視訊解碼部213，係將該已取得之編碼資料予以解碼，獲得位置資訊(Geometory)之視訊畫格。視訊解碼部213，係將該位置資訊(Geometory)之視訊畫格，供給至解包部216。
視訊解碼部214，係進行屬性資訊(Texture)之視訊畫格之編碼資料之解碼的相關處理。例如，視訊解碼部214，係將從解多工器211所被供給之屬性資訊(Texture)之視訊畫格之編碼資料，加以取得。又，例如，視訊解碼部214，係將該已取得之編碼資料予以解碼，獲得屬性資訊(Texture)之視訊畫格。視訊解碼部214，係將該屬性資訊(Texture)之視訊畫格，供給至解包部216。
OMap解碼部215，係進行佔用地圖之視訊畫格之編碼資料之解碼的相關處理。例如，OMap解碼部215，係將從解多工器211所被供給之佔用地圖之視訊畫格之編碼資料，加以取得。又，例如，OMap解碼部215，係將該已取得之編碼資料予以解碼，獲得佔用地圖之視訊畫格。OMap解碼部215，係將該佔用地圖之視訊畫格，供給至解包部216。
解包部216，係進行解包的相關處理。例如，解包部216，係從視訊解碼部213取得位置資訊(Geometory)之視訊畫格，從視訊解碼部214取得屬性資訊(Texture)之視訊畫格，從OMap解碼部215取得佔用地圖之視訊畫格。解包部216，係將這些視訊畫格予以解包。解包部216，係將解包所得到的位置資訊(Geometory)之資料、屬性資訊(Texture)之資料、及佔用地圖之資料，供給至3D重新建構部217。
3D重新建構部217，係進行3D資料之重新建構的相關處理。例如，3D重新建構部217，係基於從輔助斑塊資訊解碼部212所被供給之輔助斑塊資訊、或從解包部216所被供給之位置資訊(Geometory)之資料、屬性資訊(Texture)之資料、及佔用地圖之資料等，來重新建構3D資料。3D重新建構部217，係將如此處理所得之3D資料，輸出至解碼裝置200之外部。
該3D資料係例如，被供給至顯示部而使其影像被顯示、或被記錄至記錄媒體、或透過通訊而被供給至其他裝置。
＜3D重新建構部＞
圖7係圖6的3D重新建構部217的主要構成例的區塊圖。如圖7所示，3D重新建構部217係具有：3維投影部251、像素分布解析部252、逆分段更新部253、逆分段初期設定部254、及逆法線方向推定部255。
3維投影部251，係進行每一領域地被投影至2維平面上的3D資料往3維空間之投影。像素分布解析部252，係在3維投影部251所致之往3維空間之投影之際，進行像素分布之解析等之處理。
逆分段更新部253，係進行分段更新部153的逆處理。逆分段初期設定部254，係進行分段初期設定部152的逆處理。逆法線方向推定部255，係進行法線方向推定部151的逆處理。
＜2.第1實施形態＞
＜投影3D資料的2維平面之圖層數可變＞
在先前的方法中，3D資料，係如圖8所示的例子，是被投影至2個圖層(圖層0及圖層1)之2維平面。
在圖層0(Layer0)，係有3D資料的從投影面來看而為表面的點的資料，會被投影。在圖層1(Layer1)，係有從圖層0起算在所定之閾值(Default Th = 4Voxel)以內而距離最遠的點的資料，會被投影。遠離超過該所定之閾值Th者，係被丟棄(Drop)。此外，於圖層1中，從圖層0起算之距離之差分值係為像素值。
因為是如此只藉由2張固定之圖層來表現物件表面的演算法，所以會喪失其他點的資訊(無法重現)。因此，會發生無法投影至2維平面的點，會因為往2維平面之投影所伴隨的編碼，而有可能導致資料品質降低。
於是，亦可將投影3D資料的2維平面之圖層數，設成可變。例如，使表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。例如，於影像處理裝置中，使其具備：2維投影部，係將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。
例如圖9的情況下，設定圖層0(Layer0)乃至圖層3(Layer3)之2維平面(比2圖層還多圖層之2維平面)，對這些圖層投影3D資料。藉由如此設計，就可較正確地重現在物件表面具有厚度的點雲。亦即，可抑制3D資料的2維投影所致之品質的降低。
例如，2維投影部154係亦可將3D資料的從投影面來看位置是在縱深方向上重疊的每一位置之資料，投影至複數圖層之2維平面的彼此互異之圖層。
圖9之例子的情況下，縱深方向上重疊的資料，係被投影至圖層0乃至圖層3之中的彼此互異之圖層。藉由如此設計，可將3D資料的，從投影面來看位置是在縱深方向上重疊的每一位置之資料，全部投影至2維平面。亦即，可抑制資訊的損失。因此，可抑制3D資料的2維投影所致之品質的降低。
又，例如，2維投影部154，係亦可針對該2維平面，生成與3D資料的從投影面來看位置是在縱深方向上重疊的每一位置之資料之最大筆數相同數量之圖層。
圖9之例子的情況下，該當領域(Local Bounding Box)之3D資料中，縱深方向上重疊的資料之最大筆數係為4。因此，該3D資料，係被投影至4圖層(圖層0乃至圖層3)之2維平面。
藉由如此設計，就可將3D資料之所有的每一位置之資料，投影至2維平面。因此，可抑制資訊的損失，所亦可抑制3D資料的2維投影所致之品質的降低。
此外，此情況下，亦可將表示被2維投影部154投影了3D資料的2維平面之圖層數的資訊，在位元串流中進行傳訊。亦即，作為位元串流生成部而發揮機能的多工器117，係生成含有表示被2維投影部154投影了3D資料的2維平面之圖層數的資訊、和藉由視訊編碼部114等將2維平面予以編碼所得之編碼資料的位元串流。
藉由如此設計，於解碼側可藉由參照該表示2維平面之圖層數的資訊，就可容易地將已被投影至2維平面之所有圖層的3D資料，投影至3維空間。
＜編碼處理之流程＞
被編碼裝置100所執行的編碼處理之流程之例子，參照圖10的流程圖來加以說明。
一旦編碼處理被開始，則編碼裝置100的斑塊分解部111，係於步驟S101中，將3D資料分解成斑塊，將各斑塊之資料投影至2維平面。於步驟S102中，輔助斑塊資訊壓縮部113，係將步驟S101之處理所得到之輔助斑塊資訊，予以壓縮。
於步驟S103中，打包部112，係將藉由斑塊分解部111而每一斑塊地被投影至2維平面上的3D資料，打包成為視訊畫格。於步驟S104中，視訊編碼部114，係將步驟S103之處理所得到之位置資訊之視訊畫格亦即幾何視訊畫格，以2維影像用之編碼方法進行編碼。
於步驟S105中，視訊編碼部114，係將步驟S103之處理所得到之屬性資訊之視訊畫格亦即彩色視訊畫格，以2維影像用之編碼方法進行編碼。於步驟S106中，視訊編碼部114，係將步驟S103之處理所得到之佔用地圖，以2維影像用之編碼方法進行編碼。
於步驟S107中，多工器117，係將如以上而被生成之各種資訊進行多工化，生成含有這些資訊的位元串流。
於步驟S108中，多工器117，係將步驟S107之處理所生成之位元串流，輸出至編碼裝置100的外部。
一旦步驟S108的處理結束，則編碼處理就結束。
＜斑塊分解處理之流程＞
其次，參照圖11的流程圖，說明圖10之步驟S101中所執行的斑塊分解處理之流程例。
一旦斑塊分解處理被開始，則法線方向推定部151，係於步驟S121中，推定法線方向。於步驟S122中，分段初期設定部152，係進行分段之初期設定。於步驟S123中，分段更新部153，係將步驟S122中所被設定之初期狀態之分段，因應需要而加以更新。於步驟S124中，2維投影部154，係將3D資料投影至2維平面。
一旦步驟S124的處理結束，則斑塊分解處理就結束，處理係回到圖10。
＜2維投影處理之流程＞
其次，參照圖12的流程圖，說明圖11之步驟S124中所執行的2維投影處理之流程例。
一旦2維投影處理被開始，則2維投影部154，係於步驟S141中，進行分段所致之領域抽出。於步驟S142中，2維投影部154，係進行初期化以使圖層(Layer)號碼i=0。
於步驟S143中，像素分布解析部155係判定，是否有未投影像素(未被投影至2維平面的3D資料的每一位置之資料)存在。若判定為有未投影像素存在，則處理係前進至步驟S144。
於步驟S144中，2維投影部154係將領域投影至處理對象之圖層i(Layer i)。於步驟S145中，2維投影部154，係將變數i予以增值(i++)。一旦步驟S145之處理結束，則處理係回到步驟S143，重複其以後之處理。
於步驟S143中，若判定為未投影像素不存在(領域內之所有的像素都已被投影)的情況，則處理係前進至步驟S146。
於步驟S146中，2維投影部154係將表示圖層枚數i的資訊予以供給，令其被編碼。又，於步驟S147中，2維投影部154係令對應之i畫格份的幾何影像被編碼。亦即，2維投影部154，係將已投影有3D資料的2維平面供給至打包部112，令該各圖層被打包成為彼此互異之畫格。
一旦步驟S147的處理結束，則2維投影處理就結束，處理係回到圖11。
藉由如以上般地執行各處理，藉由如此設計，就可較正確地重現在物件表面具有厚度的點雲。亦即，可抑制3D資料的2維投影所致之品質的降低。
＜已被投影至圖層數可變的2維平面上的3D資料之重新建構＞
於解碼側，藉由使用由編碼側所提供的表示2維平面之圖層數的資訊，就可如上述般地實現已被投影至圖層數為可變之2維平面上的3D資料之重新建構。
亦即，將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。例如，於影像處理裝置中，使其具備3維投影部，係將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。
藉由如此設計，可實現已被投影至圖層數為可變之2維平面上的3D資料之重新建構。亦即，可較正確地重現在物件表面具有厚度的點雲。亦即，可抑制3D資料的2維投影所致之品質的降低。
＜解碼處理之流程＞
被解碼裝置200所執行的解碼處理之流程之例子，參照圖13的流程圖來加以說明。
一旦解碼處理被開始，則解碼裝置200的解多工器211係於步驟S201中，將位元串流進行逆多工化。
於步驟S202中，輔助斑塊資訊解碼部212，係將藉由步驟S201之處理而從位元串流所被抽出的輔助斑塊資訊，予以解碼。於步驟S203中，視訊解碼部213，係將藉由步驟S201之處理而從位元串流所被抽出的幾何視訊畫格(位置資訊之視訊畫格)之編碼資料，予以解碼。
於步驟S204中，視訊解碼部214，係將藉由步驟S201之處理而從位元串流所被抽出的彩色視訊畫格(屬性資訊之視訊畫格)之編碼資料，予以解碼。於步驟S205中，OMap解碼部215，係將藉由步驟S201之處理而從位元串流所被抽出的佔用地圖之編碼資料，予以解碼。
於步驟S206中，解包部216，係將步驟S203乃至步驟S205中所被解碼的幾何視訊畫格、彩色視訊畫格、及佔用地圖，分別予以解包。
於步驟S207中，3D重新建構部217，係基於步驟S202中所得到之輔助斑塊資訊、和步驟S206中所得到之各種資訊，而將例如點雲等之3D資料予以重新建構。
一旦步驟S207之處理結束則解碼處理就結束。
＜點雲重新建構處理之流程＞
其次，參照圖14的流程圖，說明圖13之步驟S207中所執行的點雲重新建構處理之流程例。
一旦點雲重新建構處理被開始，則3維投影部251係於步驟S221中，將2維影像投影至3維空間。
於步驟S222中，逆分段更新部253，係將分段做逆向地更新，將已被集結的分段予以劃分。
於步驟S223中，逆分段初期設定部254，係進行分段之初期設定的逆處理，將已被分類的點予以集結。
於步驟S224中，逆法線方向推定部255，係進行法線方向推定的逆處理，將點雲予以重新建構。
一旦步驟S224的處理結束，則點雲重新建構處理就結束，處理係回到圖13。
＜3維投影處理之流程＞
其次，參照圖15的流程圖，說明圖14之步驟S221中所執行的3維投影處理之流程例。
一旦3維投影處理被開始，則3維投影部251，係於步驟S241中，令表示圖層枚數i的資訊被解碼。
於步驟S242中，3維投影部251，係令對應之i畫格份的幾何影像被解碼。
於步驟S243中，像素分布解析部252，係進行初期化使變數k=0。
於步驟S244中，像素分布解析部252，係判定是否變數k＜i。若判定為k＜i，則處理係前進至步驟S245。
於步驟S245中，3維投影部251係將圖層k (Layer k)的3D資料，投影至3維空間。
於步驟S246中，像素分布解析部252，係將變數k予以增值(k++)。
一旦步驟S246之處理結束，則處理係回到步驟S244。
又，於步驟S244中若判定為並非變數k＜i的情況下，則結束3維投影處理，處理係回到圖14。
藉由如以上般地執行各處理，可實現已被投影至圖層數為可變之2維平面上的3D資料之重新建構。亦即，可較正確地重現在物件表面具有厚度的點雲。亦即，可抑制3D資料的2維投影所致之品質的降低。
＜3.第2實施形態＞
＜表示「空像素」的值之傳訊＞
一旦將稀疏(Sparse)的3D資料投影至2維平面，則會發生於該2維平面上未被投影3D資料的像素，亦即未被設定像素值的像素(亦稱為空像素)的情況。
在先前的方法中，3D資料為稀疏(Sparse)的情況下，如圖16所示，對此種「空像素」會補足像素值。例如圖16的情況下，對圖層0(Layer0)之「空像素」，是從其左鄰之像素複製像素值(進行像素補足)。會進行此種補足處理的原因是，2維影像用之編碼方法(例如AVC或HEVC等)並沒有無資料存在(空白)的概念。
然而，一旦進行如此的補足處理，就會對3D資料附加原本不存在的點。因此，恐怕會導致3D資料劣化。亦即，恐怕會因為3D資料的2維投影而導致品質降低。
此外，若不進行此種補足處理的情況下，則必須要以使得在3D資料所被投影的2維平面上不會產生「空像素」的方式，來設定領域。因此，就會需要微小領域(Point)單位之投影，而恐怕會導致處理量增大，或編碼效率降低等等。
於是，將表示3維結構之3D資料中所含之每一位置之資料投影至2維平面，並在該2維平面之每一位置之資料為不存在的位置上，設置表示該每一位置之資料為不存在的所定之值。例如，於影像處理裝置中，使其具備2維投影部，係將表示3維結構之3D資料中所含之每一位置之資料投影至2維平面，並在該2維平面之每一位置之資料為不存在的位置上，設置表示該每一位置之資料為不存在的所定之值。
例如如圖17所示，作為3D資料所被投影之2維平面上的表示「空像素」的像素值，是使用規定之值X。該X之值係亦可設成例如，已被預先決定之所定之固定值。例如，亦可設成X＝255(8bit之上限)。
此情況下，必須要在位元串流中，將X之值予以傳訊(必須要通知給解碼側)。
又，例如，X之值，係亦可利用X＞D的任意之值。此處的D係表示，該當定界框之縱深之最大值。在2維平面的像素值中，不可能設置超出該定界框之縱深之最大值以上之值。因此，該亦可將未使用的值當作X來使用。
此情況下，於解碼側，係可根據定界框之尺寸的相關之資訊，來判別已被設置至2維平面的像素值是否為未使用之值。因此，不需要將該X之值在位元串流中進行傳訊(亦即不需要將該X之值通知給解碼側)。但是，當然還是可以把X之值通知給解碼側。
藉由如此設計，編碼裝置100，就不需要進行資料之補足，即可表現「空像素」，因此可抑制3D資料的劣化。亦即，可抑制3D資料的2維投影所致之品質的降低。
又，藉由如此設計，編碼裝置100係可降低2維平面中的「無法編碼之像素」的數量，因此相較於單純不進行補足處理的情況，可將領域設定得較大。因此，不需要微小領域(Point)單位之投影，可抑制處理量的增大或編碼效率的降低。
＜2維投影處理之流程＞
此情況下也是，編碼處理及斑塊分解處理，係和第1實施形態中所說明的情況同樣地被進行。因此省略這些的說明。
於圖11的步驟S124中所被執行的，此情況的2維投影處理之流程之例子，參照圖18的流程圖而加以說明。
一旦2維投影處理被開始，則2維投影部154，係於步驟S301中，進行分段所致之領域抽出。於步驟S302中，像素分布解析部155係判定是否為含有稀疏點雲的領域。若判定為是含有稀疏點雲的領域的情況，則處理係前進至步驟S303。
於步驟S303中，2維投影部154，係將對該當領域定義「空像素」的資訊，予以傳訊。亦即，設定上述的X，利用該X來表現，已被投影至2維平面上的「不存在的點」。一旦步驟S303之處理結束，則處理係前進至步驟S305。
又，於步驟S302中，若判定為是不含稀疏點雲的領域，則處理係前進至步驟S304。
於步驟S304中，2維投影部154，係將該當領域投影至2維平面之各圖層。一旦步驟S304之處理結束，則處理係前進至步驟S305。
於步驟S305中，2維投影部154係令該當領域的幾何影像被編碼。
一旦步驟S305的處理結束，則2維投影處理就結束，處理係回到圖11。
如以上所述，藉由進行2維投影處理，編碼裝置100係可不必進行資料之補足，就能表現「空像素」。因此，可抑制3D資料的劣化。亦即，可抑制3D資料的2維投影所致之品質的降低。
又，藉由如此設計，編碼裝置100係可降低2維平面中的「無法編碼之像素」的數量，因此相較於單純不進行補足處理的情況，可將領域設定得較大。因此，不需要微小領域(Point)單位之投影，可抑制處理量的增大或編碼效率的降低。
＜已被傳訊的表示「空像素」之值的利用＞
於解碼側，將已被投影至2維平面上的3D資料，投影至3維空間之際，會將如以上所述般地所被傳訊的表示2維平面上之「空像素」的像素值(上述的X)予以偵測、並刪除(使其不進行投影)。
亦即，在已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料之內，將表示該每一位置之資料為不存在的所定之值的資料以外之資料，投影至3維空間。例如，於影像處理裝置中，使其具備3維投影部，係在已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料之內，將表示該每一位置之資料為不存在的所定之值的資料以外之資料，投影至3維空間。
藉由如此設計，就不需要進行資料之補足，即可表現「空像素」，因此可抑制3D資料的劣化。亦即，可抑制3D資料的2維投影所致之品質的降低。
又，藉由如此設計，可降低2維平面中的「無法編碼之像素」的數量，因此相較於單純不進行補足處理的情況，可將領域設定得較大。因此，不需要微小領域(Point)單位之投影，可抑制處理量的增大或編碼效率的降低。
＜3維投影處理之流程＞
此情況下也是，解碼處理及點雲重新建構處理，係和第1實施形態中所說明的情況同樣地被進行。因此省略這些的說明。
於圖14的步驟S221中所被執行的，此情況的3維投影處理之流程之例子，參照圖19的流程圖而加以說明。
一旦3維投影處理被開始，則3維投影部251，係於步驟S321中，令處理對象之領域的幾何影像被解碼。
於步驟S322中，像素分布解析部252係判定，在該幾何影像中，是否存在有定義「空像素」的資訊(表示「空像素」的像素值)。若判定為存在，則處理係前進至步驟S323。
於步驟S323中，3維投影部251，係將該已被偵測到的表示「空像素」的像素值之像素，予以刪除(設定使其不投影至3維空間)。一旦步驟S323之處理結束，則處理係前進至步驟S324。
又，於步驟S322中，若判定為表示「空像素」的像素值是不存在的情況下，則省略步驟S323之處理，處理係前進至步驟S324。
亦即，對處理對象之領域的幾何影像，進行表示「空像素」的像素值之偵測，在有偵測到的情況下，則該像素會被刪除。
於步驟S324中，3維投影部251，係將處理對象之領域的幾何影像，投影至3維空間。
一旦步驟S324的處理結束，則3維投影處理就結束，處理係回到圖14。
藉由如以上般地執行3維投影處理，解碼裝置200就不需要進行資料之補足，即可表現「空像素」，因此可抑制3D資料的劣化。亦即，可抑制3D資料的2維投影所致之品質的降低。
又，藉由如此設計，解碼裝置200係可降低2維平面中的「無法編碼之像素」的數量，因此相較於單純不進行補足處理的情況，可將領域設定得較大。因此，不需要微小領域(Point)單位之投影，可抑制處理量的增大或編碼效率的降低。
＜4.第3實施形態＞
＜縱深參數之控制＞
將3D資料投影至2維平面之際，控制該投影至2維平面的3D資料之縱深方向之範圍的縱深參數th，會被利用。由於被該縱深參數th所指定之範圍內的點會成為往2維平面之投影對象，因此該縱深參數th之值，係與領域(Local bounding box)的縱深方向之長度有所關連。例如，若相較於領域的縱深方向之長度而縱深參數th之值為較大，則可能其他領域的點也會變成投影對象。亦即，領域的縱深方向之長度，必須要比縱深參數th還長。
在先前的方法中，係如圖20所示，該縱深參數th，係以畫格單位而被控制。因此，畫格內之所有的縱深參數th，係具有共通的值。
然而，例如像是臉與腳、中心部與週邊部，於畫格內點雲之表面密度並非一定的情況，也是可能發生的。因此，縱深參數th之值並非總是最佳，而恐怕會導致編碼效率降低。例如，明明朝縱深方向來分割領域是編碼效率較佳，可是會有縱深參數th之值會變大，而導致無法分割的案例。
於是，將表示3維結構之3D資料的每一位置之資料，按照3維空間之所定之每一領域地投影至2維平面之際，將對該每一領域所被設定之用來限制可投影至1圖層的表示3維結構之3D資料的每一位置之資料之縱深方向之範圍的縱深參數所表示的縱深方向之範圍內之每一位置之資料，投影至該2維平面。例如，於影像處理裝置中，使其具備2維投影部，係將表示3維結構之3D資料的每一位置之資料，按照3維空間之所定之每一領域地投影至2維平面之際，將對該每一領域所被設定之用來限制可投影至1圖層的表示3維結構之3D資料的每一位置之資料之縱深方向之範圍的縱深參數所表示的縱深方向之範圍內之每一位置之資料，投影至該2維平面。
例如，如圖21所示般地，擴充成可將縱深參數每一斑塊地予以傳輸，而每一領域地傳輸要投影至圖層(Layer)的像素之位置(TH)。藉由如此設計，例如，可對領域1設定縱深參數th，並對領域2設定縱深參數th’。因此，可改善圖層1(Layer1)的效率(Geometry編碼效率)。
＜2維投影處理之流程＞
此情況下也是，編碼處理及斑塊分解處理，係和第1實施形態中所說明的情況同樣地被進行。因此省略這些的說明。
於圖11的步驟S124中所被執行的，此情況的2維投影處理之流程之例子，參照圖22的流程圖而加以說明。
一旦2維投影處理被開始，則像素分布解析部155係於步驟S401中，進行初期化以使領域號碼i=0。
於步驟S402中，像素分布解析部155係判定是否有未處理像素存在。若判定為有未處理像素存在，則處理係前進至步驟S403。
於步驟S403中，2維投影部154係進行分段所致之領域i之抽出。
於步驟S404中，2維投影部154係進行縱深參數的調整與編碼(RD判定)。亦即，最佳的縱深參數th與領域之範圍的設定，是藉由RD判定而被進行。
於步驟S405中，2維投影部154，係基於步驟S404中所進行的設定，而將處理對象領域i之幾何影像，投影至2維表面。
於步驟S406中，2維投影部154，係令已被投影至該2維平面上的幾何影像被編碼。
於步驟S407中，像素分布解析部155，係將變數i予以增值(i++)。一旦步驟S407之處理結束，則處理係回到步驟S402，重複其以後之處理。
又，於步驟S402中，若判定為未處理像素是不存在的情況下，則處理係前進至步驟S408。
於步驟S408中，2維投影部154，係令遮蔽貼圖(Occulusion Map)被編碼。一旦步驟S408的處理結束，則2維投影處理就結束，處理係回到圖11。
藉由如以上所述般地進行2維投影處理，編碼裝置100係可獲得較適合於各領域的縱深參數th，可抑制編碼效率的降低。
＜被控制的縱深參數之利用＞
於解碼側，將已被投影至2維平面上的3D資料，投影至3維空間之際，會在如以上般地所被控制的縱深參數th所示的範圍內，投影3D資料。
亦即，按照3維空間之所定之每一領域，將已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料投影至該3維空間之際，是將該每一位置之資料，投影至該3維空間的，對該每一領域所被設定之用來限制可投影至1圖層的3D資料之每一位置之資料之縱深方向之範圍的縱深參數所表示的該縱深方向之範圍內。例如，於影像處理裝置中，使其具備3維投影部，係按照3維空間之所定之每一領域，將已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料投影至該3維空間之際，是將該每一位置之資料，投影至該3維空間的，對該每一領域所被設定之用來限制可投影至1圖層的3D資料之每一位置之資料之縱深方向之範圍的縱深參數所表示的該縱深方向之範圍內。
藉由如此設計，就可利用對每一領域所被設定之縱深參數th來進行3D資料往3維空間之投影，因此可抑制編碼效率的降低。
＜3維投影處理之流程＞
此情況下也是，解碼處理及點雲重新建構處理，係和第1實施形態中所說明的情況同樣地被進行。因此省略這些的說明。
於圖14的步驟S221中所被執行的，此情況的3維投影處理之流程之例子，參照圖23的流程圖而加以說明。
一旦3維投影處理被開始，則3維投影部251，係於步驟S421中，令Occlusion地圖被解碼。
於步驟S422中，像素分布解析部252，係進行初期化使領域號碼k=0。
於步驟S423中，像素分布解析部252，係判定是否變數k＜i。若判定為k＜i，則處理係前進至步驟S424。
於步驟S424中，3維投影部251係令縱深參數th被解碼。於步驟S425中，3維投影部251係令幾何影像被解碼。於步驟S426中，3維投影部251，係將該當領域的影像，投影至3維空間。
於步驟S427中，像素分布解析部252，係將變數k予以增值(k++)。一旦步驟S427之處理結束，則處理係回到步驟S423，重複其以後之處理。
又，於步驟S423中，若判定為並非k＜i的情況下，則結束3維投影處理，處理係回到圖14。
藉由如以上般地執行3維投影處理，解碼裝置200係可利用對每一領域所被設定之縱深參數th來進行3D資料往3維空間之投影，因此可抑制編碼效率的降低。
＜5.附記＞
＜控制資訊＞
以上的各實施形態中所說明的關於本技術的控制資訊，亦可從編碼側傳輸至解碼側。例如，亦可將用來控制是否許可(或禁止)適用上述本技術的控制資訊(例如enabled_flag)，予以傳輸。又，例如，亦可將用來指定許可(或禁止)適用上述本技術之範圍(例如區塊大小之上限或是下限、或其雙方、切片、圖像、序列、分量、視點、圖層等)的控制資訊，予以傳輸。
＜電腦＞
上述之一連串之處理，係可藉由硬體來執行，亦可藉由軟體來執行。在以軟體來執行一連串之處理時，構成該軟體的程式，係可安裝至電腦。此處，電腦係包含：被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖24係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖24所示的電腦900中，CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM (Random Access Memory)903，係透過匯流排904而被彼此連接。
匯流排904，係還連接著輸出入介面910。輸出入介面910上係連接有：輸入部911、輸出部912、記憶部913、通訊部914、及驅動機915。
輸入部911，係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部912係由例如顯示器、揚聲器、輸出端子等所成。記憶部913，係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部914係由例如網路介面所成。驅動機915係驅動：磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體921。
在如以上構成的電腦中，藉由CPU901而例如將記憶部913中所記憶之程式，透過輸出入介面910及匯流排904，而載入至RAM903裡並加以執行，就可進行上述一連串處理。RAM903中，還適宜地記憶著CPU901在執行各種處理時所必需的資料等。
電腦(CPU901)所執行的程式，係可記錄在例如封裝媒體等之可移除式媒體921中而適用。此情況下，程式係藉由將可移除式媒體921裝著至驅動機915，就可透過輸出入介面910，安裝至記憶部913。
又，該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況，程式，係可以通訊部914而接收之，並安裝至記憶部913。
除此以外，該程式係可事前安裝在ROM902或記憶部913中。
＜本技術的適用對象＞
以上雖然針對在點雲資料之Voxel化中適用本技術的情況加以說明，但本技術係不限於這些例子，亦可對任意規格的3D資料之Voxel化做適用。亦即，只要不與上述的本技術產生矛盾，編碼、解碼方式等之各種處理、以及3D資料或後設資料等之各種資料的規格，係為任意。又，只要不與本技術產生矛盾，亦可省略上述的一部分之處理或規格。
又，以上作為本技術之適用例雖然說明了編碼裝置100及解碼裝置200，但本技術係可適用於任意之構成。
例如，本技術係可適用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等，各式各樣的電子機器。
又例如，本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等，作為裝置的部分構成而實施。
又例如，本技術係亦可對由複數裝置所構成的網路系統做適用。例如，亦可將本技術，透過網路而分擔給複數台裝置，以共同進行處理的雲端運算的方式，來加以實施。例如，亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端，提供影像(動態影像)的相關之服務的雲端服務中，實施本技術。
此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。
＜可適用本技術的領域、用途＞
適用了本技術的系統、裝置、處理部等係可利用於例如：交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又，其用途也為任意。
例如，本技術係可是用於，供作觀賞用內容等之提供之用的系統或裝置。又例如，本技術係亦可適用於交通狀況之監理或自動駕駛控制等，供作交通之用的系統或裝置。甚至例如，本技術係亦可適用於供作安全之用的系統或裝置。又例如，本技術係亦可適用於供作機械等之自動控制之用的系統或裝置。甚至例如，本技術係亦可適用於供作農業或畜產業之用的系統或裝置。又，本技術係亦可適用於例如監視火山、森林、海洋等之自然狀態或野生生物等的系統或裝置。甚至例如，本技術係亦可適用於供作運動之用的系統或裝置。
＜其他＞
此外，於本說明書中所謂「旗標」，係為用來識別複數狀態所需之資訊，不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊，亦包含可以識別3種以上之狀態的資訊。因此，該「旗標」所能採取的值，係可為例如1/0之2值，亦可為3值以上。亦即，構成該「旗標」的bit數係為任意，可為1bit亦可為複數bit。又，識別資訊(亦包含旗標)，係不只將該識別資訊含入至位元串流的形式，也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式，因此於本說明書中，「旗標」或「識別資訊」，係不只包含該資訊，也還包含了相對於作為基準之資訊的差分資訊。
又，編碼資料(位元串流)的相關之各種資訊(後設資料等)，係只要與編碼資料建立關連，則無論是以哪種形態而被傳輸或記錄皆可。此處，「建立關連」此一用語係意味著例如：使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即，被彼此建立關連的資料，係亦可整體視為1個資料，也可分別視為個別之資料。例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又，例如，與編碼資料(影像)建立關連的資訊，係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他區域)中被記錄。此外，該「建立關連」，係亦可不是資料全體，而是資料的一部分。例如，影像與對應於該影像的資訊，係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位，而被彼此建立關連。
此外，於本說明書中，「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語，係意味著例如將編碼資料與後設資料總結成1個資料，把複數個物綁成1個的意思，是意味著上述的「建立關連」的1種方法。
又，本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。
例如，亦可將以1個裝置(或處理部)做說明的構成加以分割，成為複數裝置(或處理部)而構成之。反之，亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又，對各裝置(或各處理部)之構成，當然亦可附加上述以外之構成。再者，若系統全體的構成或動作是實質相同，則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又，例如，上述的程式，係亦可於任意的裝置中被執行。此情況下，只要讓該裝置，具有必要的機能(機能區塊等)，能夠獲得必要的資訊即可。
又，例如，1個流程圖的各步驟，亦可由1個裝置來執行，也可由複數裝置來分擔而執行。甚至，1個步驟中包含有複數個處理的情況下，該複數個處理亦可由1個裝置來執行，也可由複數裝置來分擔而執行。換言之，亦可將1個步驟中所含之複數個處理，以複數個步驟之處理的方式而執行之。反之，亦可將以複數個步驟的方式做說明的處理，整合成1個步驟而執行之。
又，例如，電腦所執行的程式，描述程式的步驟之處理，係可為依照本說明書所說明之順序而在時間序列上被執行，也可平行地，或可在進行呼叫時等必要之時序上，而被個別地執行。亦即，只要不產生矛盾，各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至，描述該程式的步驟之處理，亦可與其他程式之處理平行地執行，也可和其他程式之處理組合而執行。
又，例如，本技術所相關之複數個技術，係只要不產生矛盾的況下，都可分別獨立以單體而加以實施。當然，亦可將任意的複數個本技術加以併用而實施。例如，可以將任一實施形態中所說明的本技術的部分或全部，與其他實施形態中所說明的本技術的部分或全部，加以組合而實施。又，亦可將上述的任意之本技術的部分或全部，與未上述的其他技術加以併用而實施。
此外，本技術係亦可採取如以下之構成。
(1)　一種影像處理裝置，係具備：
2維投影部，係將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。
(2)　如(1)所記載之影像處理裝置，其中，
前記2維投影部，係將前記3D資料的從投影面來看位置是在縱深方向上重疊的前記每一位置之資料，投影至前記複數圖層之前記2維平面的彼此互異之圖層。
(3)　如(2)所記載之影像處理裝置，其中，
前記2維投影部，係針對前記2維平面，生成與前記3D資料的從投影面來看位置是在縱深方向上重疊的前記每一位置之資料之最大筆數相同數量之圖層。
(4)　如(1)乃至(3)之任一項所記載之影像處理裝置，其中，
還具備：編碼部，係將已被前記2維投影部投影至前記2維平面的前記3D資料，予以編碼。
(5)　如(4)所記載之影像處理裝置，其中，
前記編碼部，係將已被投影至前記2維平面之各圖層的前記3D資料的位置資訊、屬性資訊、及佔用地圖，分別予以編碼。
(6)　如(4)或(5)所記載之影像處理裝置，其中，
還具備：位元串流生成部，係生成位元串流，其中含有：表示藉由前記2維投影部而被投影了前記3D資料的前記2維平面之圖層數的資訊、和藉由前記編碼部將前記2維平面予以編碼所得之編碼資料。
(7)　如(4)乃至(6)之任一項所記載之影像處理裝置，其中，
還具備：打包部，係將藉由前記2維投影部而被投影了前記3D資料的前記2維平面，打包成為視訊畫格；
前記編碼部係被構成為，將藉由前記打包部把前記2維平面打包而成的前記視訊畫格，予以編碼。
(8)　如(1)乃至(7)之任一項所記載之影像處理裝置，其中，
前記2維投影部，係將前記3D資料，按照所定之每一領域地投影至前記2維平面。
(9)　如(1)乃至(8)之任一項所記載之影像處理裝置，其中，
前記3D資料，係為點雲。
(10)　一種影像處理方法，係
將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。
(11)　一種影像處理裝置，係具備：
3維投影部，係將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。
(12)　如(11)所記載之影像處理裝置，其中，
還具備：抽出部，係將位元串流中所含之前記圖層數資訊，予以抽出；
前記3維投影部係被構成為，將已被前記抽出部所抽出之前記圖層數資訊所表示之圖層數之前記2維平面上已被投影的前記3D資料的所有的前記每一位置之資料，投影至前記3維空間。
(13)　如(12)所記載之影像處理裝置，其中，
還具備：解碼部，係將前記位元串流中所含之已被投影至前記2維平面上的前記3D資料之編碼資料，予以解碼；
前記3維投影部係被構成為，將藉由前記解碼部將前記編碼資料予以解碼所得的，已被投影至前記2維平面上的前記3D資料的所有的前記每一位置之資料，投影至前記3維空間。
(14)　如(13)所記載之影像處理裝置，其中，
前記解碼部，係將已被投影至前記2維平面之各圖層的前記3D資料的位置資訊、屬性資訊、及佔用地圖之每一者的編碼資料，予以解碼。
(15)　如(13)或(14)所記載之影像處理裝置，其中，
還具備：解包部，係將藉由前記解碼部把前記編碼資料進行解碼所得到的，已被投影至前記2維平面的前記3D資料所被打包而成的視訊畫格，予以解包；
前記3維投影部係被構成為，將藉由前記解包部把視訊畫格進行解包所得到的，已被投影至前記2維平面上的前記3D資料的所有的前記每一位置之資料，投影至前記3維空間。
(16)　如(11)乃至(15)之任一項所記載之影像處理裝置，其中，
前記3維投影部，係將按照所定之每一領域而被投影至前記2維平面的前記3D資料，投影至前記3維空間。
(17)　如(11)乃至(16)之任一項所記載之影像處理裝置，其中，
前記3D資料，係為點雲。
(18)　一種影像處理方法，係
將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。
(21)　一種影像處理裝置，係具備：
2維投影部，係將表示3維結構之3D資料中所含之每一位置之資料投影至2維平面，並在前記2維平面之前記每一位置之資料為不存在的位置上，設置表示前記每一位置之資料為不存在的所定之值。
(22)　如(21)所記載之影像處理裝置，其中，
前記所定之值，係為已被預先決定之固定值。
(23)　如(21)所記載之影像處理裝置，其中，
前記所定之值，係比前記3D資料之縱深之最大值還大的值。
(24)　如(21)乃至(23)之任一項所記載之影像處理裝置，其中，
還具備：編碼部，係將已被前記2維投影部投影至前記2維平面的前記3D資料，予以編碼。
(25)　如(24)所記載之影像處理裝置，其中，
前記編碼部，係將已被投影至前記2維平面的前記3D資料的位置資訊、屬性資訊、及佔用地圖，分別予以編碼。
(26)　如(24)或(25)所記載之影像處理裝置，其中，
還具備：位元串流生成部，係生成位元串流，其中含有：表示前記所定之值的資訊、和藉由前記編碼部將前記2維平面予以編碼所得之編碼資料。
(27)　如(24)乃至(26)之任一項所記載之影像處理裝置，其中，
還具備：打包部，係將藉由前記2維投影部而被投影了前記3D資料的前記2維平面，打包成為視訊畫格；
前記編碼部係被構成為，將藉由前記打包部把前記2維平面打包而成的前記視訊畫格，予以編碼。
(28)　如(21)乃至(27)之任一項所記載之影像處理裝置，其中，
前記2維投影部，係將前記3D資料，按照所定之每一領域地投影至前記2維平面。
(29)　如(21)乃至(28)之任一項所記載之影像處理裝置，其中，
前記3D資料，係為點雲。
(30)　一種影像處理方法，係
將表示3維結構之3D資料中所含之每一位置之資料投影至2維平面，並在前記2維平面之前記每一位置之資料為不存在的位置上，設置表示前記每一位置之資料為不存在的所定之值。
(31)　一種影像處理裝置，係具備：
3維投影部，係在已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料之內，將表示前記每一位置之資料為不存在的所定之值的資料以外之資料，投影至3維空間。
(32)　如(31)所記載之影像處理裝置，其中，
前記所定之值，係為已被預先決定之固定值。
(33)　如(31)所記載之影像處理裝置，其中，
前記所定之值，係比前記3D資料之縱深之最大值還大的值。
(34)　如(31)乃至(33)之任一項所記載之影像處理裝置，其中，
還具備：抽出部，係將位元串流中所含之表示前記所定之值的資訊，予以抽出；
前記3維投影部，係被構成為，在前記3D資料中所含之前記每一位置之資料之內，將已被前記抽出部所抽出之前記資訊所表示的前記所定之值的資料以外之資料，投影至3維空間。
(35)　如(34)所記載之影像處理裝置，其中，
還具備：解碼部，係將前記位元串流中所含之已被投影至前記2維平面上的前記3D資料之編碼資料，予以解碼；
前記3維投影部，係被構成為，在藉由前記解碼部把前記編碼資料進行解碼所得到的，已被投影至前記2維平面的前記3D資料中所含之前記每一位置之資料之內，將已被前記抽出部所抽出之前記資訊所表示的前記所定之值的資料以外之資料，投影至3維空間。
(36)　如(35)所記載之影像處理裝置，其中，
前記解碼部，係將已被投影至前記2維平面之各圖層的前記3D資料的位置資訊、屬性資訊、及佔用地圖之每一者的編碼資料，予以解碼。
(37)　如(35)或(36)所記載之影像處理裝置，其中，
還具備：解包部，係將藉由前記解碼部把前記編碼資料進行解碼所得到的，已被投影至前記2維平面的前記3D資料所被打包而成的視訊畫格，予以解包；
前記3維投影部，係被構成為，在藉由前記解包部把視訊畫格進行解包所得到的，已被投影至前記2維平面的前記3D資料中所含之前記每一位置之資料之內，將已被前記抽出部所抽出之前記資訊所表示的前記所定之值的資料以外之資料，投影至3維空間。
(38)　如(31)乃至(37)之任一項所記載之影像處理裝置，其中，
前記3維投影部，係將按照所定之每一領域而被投影至前記2維平面的前記3D資料，投影至前記3維空間。
(39)　如(31)乃至(38)之任一項所記載之影像處理裝置，其中，
前記3D資料，係為點雲。
(40)　一種影像處理方法，係
在已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料之內，將表示前記每一位置之資料為不存在的所定之值的資料以外之資料，投影至3維空間。
(41)　一種影像處理裝置，係具備：
2維投影部，係將表示3維結構之3D資料的每一位置之資料，按照3維空間之所定之每一領域地投影至2維平面之際，將對前記每一領域所被設定之用來限制可投影至1圖層的表示3維結構之3D資料的每一位置之資料之縱深方向之範圍的縱深參數所表示的前記縱深方向之範圍內的前記每一位置之資料，投影至前記2維平面。
(42)　如(41)所記載之影像處理裝置，其中，
還具備：編碼部，係將已被前記2維投影部投影至前記2維平面的前記3D資料，予以編碼。
(43)　如(42)所記載之影像處理裝置，其中，
前記編碼部，係將已被投影至前記2維平面的前記3D資料的位置資訊、屬性資訊、及佔用地圖，分別予以編碼。
(44)　如(42)或(43)所記載之影像處理裝置，其中，
還具備：位元串流生成部，係生成位元串流，其中含有：對前記每一領域所被設定之前記縱深參數、和藉由前記編碼部將前記2維平面予以編碼所得之編碼資料。
(45)　如(42)乃至(44)之任一項所記載之影像處理裝置，其中，
還具備：打包部，係將藉由前記2維投影部而被投影了前記3D資料的前記2維平面，打包成為視訊畫格；
前記編碼部係被構成為，將藉由前記打包部把前記2維平面打包而成的前記視訊畫格，予以編碼。
(46)　如(41)乃至(45)之任一項所記載之影像處理裝置，其中，
前記3D資料，係為點雲。
(47)　一種影像處理方法，係
將表示3維結構之3D資料的每一位置之資料，按照3維空間之所定之每一領域地投影至2維平面之際，將對前記每一領域所被設定之用來限制可投影至1圖層的表示3維結構之3D資料的每一位置之資料之縱深方向之範圍的縱深參數所表示的前記縱深方向之範圍內的前記每一位置之資料，投影至前記2維平面。
(51)　一種影像處理裝置，係具備：
3維投影部，係按照3維空間之所定之每一領域，將已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料投影至前記3維空間之際，是將前記每一位置之資料，投影至前記3維空間的，對前記每一領域所被設定之用來限制可投影至1圖層的前記3D資料的前記每一位置之資料的縱深方向之範圍的縱深參數所表示的前記縱深方向之範圍內。
(52)　如(51)所記載之影像處理裝置，其中，
還具備：抽出部，係將位元串流中所含之前記縱深參數，予以抽出；
前記3維投影部，係被構成為，將前記3D資料中所含之前記每一位置之資料，投影至已被前記抽出部所抽出之前記縱深參數所表示的前記縱深方向之範圍內。
(53)　如(52)所記載之影像處理裝置，其中，
還具備：解碼部，係將前記位元串流中所含之已被投影至前記2維平面上的前記3D資料之編碼資料，予以解碼；
前記3維投影部係被構成為，將藉由前記解碼部將前記編碼資料予以解碼所得的，已被投影至前記2維平面上的前記3D資料的前記每一位置之資料，投影至已被前記抽出部所抽出之前記縱深參數所表示的前記縱深方向之範圍內。
(54)　如(53)所記載之影像處理裝置，其中，
前記解碼部，係將已被投影至前記2維平面之各圖層的前記3D資料的位置資訊、屬性資訊、及佔用地圖之每一者的編碼資料，予以解碼。
(55)　如(53)或(54)所記載之影像處理裝置，其中，
還具備：解包部，係將藉由前記解碼部把前記編碼資料進行解碼所得到的，已被投影至前記2維平面的前記3D資料所被打包而成的視訊畫格，予以解包；
前記3維投影部係被構成為，將藉由前記解包部把視訊畫格進行解包所得的，已被投影至前記2維平面上的前記3D資料的前記每一位置之資料，投影至已被前記抽出部所抽出之前記縱深參數所表示的前記縱深方向之範圍內。
(56)　如(51)乃至(55)之任一項所記載之影像處理裝置，其中，
前記3D資料，係為點雲。
(57)　一種影像處理方法，係
按照3維空間之所定之每一領域，將已被投影至2維平面上的表示3維結構之3D資料中所含之每一位置之資料投影至前記3維空間之際，是將前記每一位置之資料，投影至前記3維空間的，對前記每一領域所被設定之用來限制可投影至1圖層的前記3D資料的前記每一位置之資料的縱深方向之範圍的縱深參數所表示的前記縱深方向之範圍內。
100‧‧‧編碼裝置
111‧‧‧斑塊分解部
112‧‧‧打包部
113‧‧‧輔助斑塊資訊壓縮部
114‧‧‧視訊編碼部
115‧‧‧視訊編碼部
116‧‧‧OMap編碼部
117‧‧‧多工器
151‧‧‧法線方向推定部
152‧‧‧分段初期設定部
153‧‧‧分段更新部
154‧‧‧2維投影部
155‧‧‧像素分布解析部
200‧‧‧解碼裝置
211‧‧‧解多工器
212‧‧‧輔助斑塊資訊解碼部
213‧‧‧視訊解碼部
214‧‧‧視訊解碼部
215‧‧‧OMap解碼部
216‧‧‧解包部
217‧‧‧3D重新建構部
251‧‧‧3維投影部
252‧‧‧像素分布解析部
253‧‧‧逆分段更新部
254‧‧‧逆分段初期設定部
255‧‧‧逆法線方向推定部
900‧‧‧電腦
901‧‧‧CPU
902‧‧‧ROM
903‧‧‧RAM
904‧‧‧匯流排
910‧‧‧輸出入介面
911‧‧‧輸入部
912‧‧‧輸出部
913‧‧‧記憶部
914‧‧‧通訊部
915‧‧‧驅動機
921‧‧‧可移除式媒體
[圖1]點雲之例子的說明圖。
[圖2]視訊基礎方式之概要之例子的說明圖。
[圖3]於各實施形態所說明的本技術之總整理的圖。
[圖4]編碼裝置的主要構成例的區塊圖。
[圖5]斑塊分解部的主要構成例的說明圖。
[圖6]解碼裝置的主要構成例的區塊圖。
[圖7]3D重新建構部的主要構成例的區塊圖。
[圖8]先前的2維投影之樣子之例子的圖示。
[圖9]適用了本技術的2維投影之樣子之例子的圖示。
[圖10]編碼處理之流程例的說明用流程圖。
[圖11]斑塊分解處理之流程之例子的說明用流程圖。
[圖12]2維投影處理之流程之例子的說明用流程圖。
[圖13]解碼處理之流程例的說明用流程圖。
[圖14]點雲重新建構處理之流程之例子的說明用流程圖。
[圖15]3維投影處理之流程之例子的說明用流程圖。
[圖16]先前的2維投影之樣子之例子的圖示。
[圖17]適用了本技術的2維投影之樣子之例子的圖示。
[圖18]2維投影處理之流程之例子的說明用流程圖。
[圖19]3維投影處理之流程之例子的說明用流程圖。
[圖20]先前的2維投影之樣子之例子的圖示。
[圖21]適用了本技術的2維投影之樣子之例子的圖示。
[圖22]2維投影處理之流程之例子的說明用流程圖。
[圖23]3維投影處理之流程之例子的說明用流程圖。
[圖24]電腦的主要構成例的區塊圖。

Claims (20)

  1. 一種影像處理裝置，係具備： 2維投影部，係將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。
  2. 如請求項1所記載之影像處理裝置，其中， 前記2維投影部，係將前記3D資料的從投影面來看位置是在縱深方向上重疊的前記每一位置之資料，投影至前記複數圖層之前記2維平面的彼此互異之圖層。
  3. 如請求項2所記載之影像處理裝置，其中， 前記2維投影部，係針對前記2維平面，生成與前記3D資料的從投影面來看位置是在縱深方向上重疊的前記每一位置之資料之最大筆數相同數量之圖層。
  4. 如請求項1所記載之影像處理裝置，其中， 前記2維投影部，係在前記2維平面之前記每一位置之資料為不存在的位置上，設置表示前記每一位置之資料為不存在的所定之值。
  5. 如請求項4所記載之影像處理裝置，其中， 前記所定之值，係為已被預先決定之固定值。
  6. 如請求項4所記載之影像處理裝置，其中， 前記所定之值，係比前記3D資料之縱深之最大值還大的值。
  7. 如請求項1所記載之影像處理裝置，其中， 前記2維投影部，係在將前記3D資料的前記每一位置之資料，按照3維空間之所定之每一領域地投影至2維平面之際，將對前記每一領域所被設定之用來限制可投影至1圖層的前記3D資料的前記每一位置之資料的縱深方向之範圍的縱深參數所表示的前記縱深方向之範圍內的前記每一位置之資料，投影至前記2維平面。
  8. 如請求項1所記載之影像處理裝置，其中， 還具備：編碼部，係將已被前記2維投影部投影至前記2維平面的前記3D資料，予以編碼。
  9. 如請求項8所記載之影像處理裝置，其中， 還具備：位元串流生成部，係生成位元串流，其中含有：表示藉由前記2維投影部而被投影了前記3D資料的前記2維平面之圖層數的資訊、和藉由前記編碼部將前記2維平面予以編碼所得之編碼資料。
  10. 如請求項1所記載之影像處理裝置，其中， 前記3D資料，係為點雲。
  11. 一種影像處理方法，係 將表示3維結構之3D資料中所含之所有的每一位置之資料，投影至複數圖層之2維平面。
  12. 一種影像處理裝置，係具備： 3維投影部，係將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。
  13. 如請求項12所記載之影像處理裝置，其中， 前記3維投影部，係在前記3D資料中所含之前記每一位置之資料之內，將表示前記每一位置之資料為不存在的所定之值的資料以外之資料，投影至前記3維空間。
  14. 如請求項13所記載之影像處理裝置，其中， 前記所定之值，係為已被預先決定之固定值。
  15. 如請求項13所記載之影像處理裝置，其中， 前記所定之值，係比前記3D資料之縱深之最大值還大的值。
  16. 如請求項12所記載之影像處理裝置，其中， 前記3維投影部，係在按照前記3維空間之所定之每一領域地，將前記3D資料中所含之前記每一位置之資料投影至前記3維空間之際，將前記每一位置之資料，投影至前記3維空間的，對前記每一領域所被設定之用來限制可投影至1圖層的表示3維結構之3D資料的每一位置之資料之縱深方向之範圍的縱深參數所表示的前記縱深方向之範圍內。
  17. 如請求項12所記載之影像處理裝置，其中， 還具備：抽出部，係將位元串流中所含之前記圖層數資訊，予以抽出； 前記3維投影部係被構成為，將已被前記抽出部所抽出之前記圖層數資訊所表示之圖層數之前記2維平面上已被投影的前記3D資料的所有的前記每一位置之資料，投影至前記3維空間。
  18. 如請求項17所記載之影像處理裝置，其中， 還具備：解碼部，係將前記位元串流中所含之已被投影至前記2維平面上的前記3D資料之編碼資料，予以解碼； 前記3維投影部係被構成為，將藉由前記解碼部將前記編碼資料予以解碼所得的，已被投影至前記2維平面上的前記3D資料的所有的前記每一位置之資料，投影至前記3維空間。
  19. 如請求項12所記載之影像處理裝置，其中， 前記3D資料，係為點雲。
  20. 一種影像處理方法，係 將已被投影至圖層數資訊所表示之圖層數之2維平面上的3D資料的所有的每一位置之資料，投影至3維空間。
TW107147408A 2018-01-16 2018-12-27 影像處理裝置及方法 TWI815842B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-004983 2018-01-16
JP2018004983 2018-01-16

Publications (2)

Publication Number Publication Date
TW201933284A true TW201933284A (zh) 2019-08-16
TWI815842B TWI815842B (zh) 2023-09-21

Family

ID=67301752

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107147408A TWI815842B (zh) 2018-01-16 2018-12-27 影像處理裝置及方法

Country Status (15)

Country Link
US (1) US11721048B2 (zh)
EP (1) EP3742401A4 (zh)
JP (1) JP7327166B2 (zh)
KR (2) KR20230155019A (zh)
CN (1) CN111566702B (zh)
AU (1) AU2019210233B2 (zh)
BR (1) BR112020013599A2 (zh)
CA (1) CA3087980A1 (zh)
MX (1) MX2020007416A (zh)
PH (1) PH12020500587A1 (zh)
RU (1) RU2020122782A (zh)
SG (1) SG11202005374UA (zh)
TW (1) TWI815842B (zh)
WO (1) WO2019142666A1 (zh)
ZA (1) ZA202005038B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142163A1 (en) 2018-01-19 2019-07-25 Interdigital Vc Holdings, Inc. Processing a point cloud
US11463681B2 (en) * 2018-02-23 2022-10-04 Nokia Technologies Oy Encoding and decoding of volumetric video
CA3096840A1 (en) 2018-04-11 2019-10-17 Interdigital Vc Holdings, Inc. A method for encoding depth values of a set of 3d points once orthogonally projected into at least one image region of a projection plane
EP3554082A1 (en) 2018-04-11 2019-10-16 InterDigital VC Holdings, Inc. A method and device for coding the geometry of a point cloud
DK3777180T3 (da) * 2018-04-11 2023-10-02 Interdigital Vc Holdings Inc Fremgangsmåde og apparat til kodning/afkodning af en punktsky, der repræsenterer et 3d-objekt
CA3096819A1 (en) * 2018-04-11 2019-10-17 Interdigital Vc Holdings, Inc. A method and apparatus for encoding/decoding a point cloud representing a 3d object
JPWO2019198521A1 (ja) * 2018-04-11 2021-05-13 ソニーグループ株式会社 画像処理装置および方法
WO2020012968A1 (ja) * 2018-07-11 2020-01-16 ソニー株式会社 画像処理装置および方法
US11533505B2 (en) * 2018-07-11 2022-12-20 Interdigital Vc Holdings, Inc. Method for encoding/decoding texture of points of a point cloud
JP2021182650A (ja) * 2018-07-20 2021-11-25 ソニーグループ株式会社 画像処理装置および方法
JP7100523B2 (ja) * 2018-07-27 2022-07-13 京セラ株式会社 表示装置、表示システムおよび移動体
US11956478B2 (en) * 2019-01-09 2024-04-09 Tencent America LLC Method and apparatus for point cloud chunking for improved patch packing and coding efficiency
EP3932067A4 (en) * 2019-03-12 2022-08-24 Huawei Technologies Co., Ltd. PATCH DATA UNIT ENCODING AND DECODE FOR POINT CLOUD DATA
KR102596003B1 (ko) * 2019-03-21 2023-10-31 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신장치 및 포인트 클라우드 데이터 수신 방법
CN114365194A (zh) * 2019-09-30 2022-04-15 中兴通讯股份有限公司 用于点云数据的文件格式
US20220303578A1 (en) * 2019-11-13 2022-09-22 Sony Group Corporation Image processing apparatus and method
US20230179797A1 (en) * 2020-03-25 2023-06-08 Sony Group Corporation Image processing apparatus and method
KR102533985B1 (ko) * 2021-05-21 2023-05-17 한국항공대학교산학협력단 포인트 클라우드 복원 시스템 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1261912C (zh) * 2001-11-27 2006-06-28 三星电子株式会社 基于深度图像表示三维物体的装置和方法
KR100450823B1 (ko) * 2001-11-27 2004-10-01 삼성전자주식회사 깊이 이미지 기반 3차원 물체의 표현을 위한 노드 구조
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
CN102713671A (zh) * 2009-12-11 2012-10-03 株式会社拓普康 点群数据处理装置、点群数据处理方法和点群数据处理程序
JP5522367B2 (ja) 2009-12-13 2014-06-18 国立大学法人 千葉大学 表面再現方法及び表面再現プログラム
JP5161991B2 (ja) * 2011-03-25 2013-03-13 株式会社東芝 画像処理装置
WO2012141235A1 (ja) * 2011-04-13 2012-10-18 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
WO2013075334A1 (en) * 2011-11-25 2013-05-30 Thomson Licensing Position coding based on spatial tree with duplicate points
US9075933B2 (en) * 2012-10-11 2015-07-07 Adobe Systems Incorporated 3D transformation of objects using 2D controls projected in 3D space and contextual face selections of a three dimensional bounding box
US20140204088A1 (en) * 2013-01-18 2014-07-24 Microsoft Corporation Surface codec using reprojection onto depth maps
WO2015006224A1 (en) * 2013-07-08 2015-01-15 Vangogh Imaging, Inc. Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis
CA2927076A1 (en) * 2013-10-14 2015-04-23 Koninklijke Philips N.V. Remapping a depth map for 3d viewing
US9465361B2 (en) 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
WO2015172227A1 (en) 2014-05-13 2015-11-19 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
KR20170031656A (ko) * 2014-07-08 2017-03-21 삼성전자주식회사 화상을 이용해 3차원 정보를 처리하는 전자 장치 및 방
US20170214943A1 (en) * 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
CN106934861B (zh) * 2017-02-09 2020-06-26 深圳先进技术研究院 物体三维重建方法及装置
CN107481313A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于学习有效点云生成的密集三维物体重建方法

Also Published As

Publication number Publication date
JPWO2019142666A1 (ja) 2021-01-28
PH12020500587A1 (en) 2021-06-14
AU2019210233A1 (en) 2020-07-23
EP3742401A4 (en) 2020-12-09
MX2020007416A (es) 2020-09-14
KR102596507B1 (ko) 2023-11-01
US20210174559A1 (en) 2021-06-10
EP3742401A1 (en) 2020-11-25
CN111566702B (zh) 2024-03-26
RU2020122782A (ru) 2022-01-10
ZA202005038B (en) 2021-05-26
JP7327166B2 (ja) 2023-08-16
TWI815842B (zh) 2023-09-21
US11721048B2 (en) 2023-08-08
WO2019142666A1 (ja) 2019-07-25
SG11202005374UA (en) 2020-07-29
KR20230155019A (ko) 2023-11-09
BR112020013599A2 (pt) 2020-12-01
AU2019210233B2 (en) 2023-10-19
CN111566702A (zh) 2020-08-21
KR20200108833A (ko) 2020-09-21
CA3087980A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
TW201933284A (zh) 影像處理裝置及方法
JP7384159B2 (ja) 画像処理装置および方法
US11611774B2 (en) Image processing apparatus and image processing method for 3D data compression
WO2019198523A1 (ja) 画像処理装置および方法
US11699248B2 (en) Image processing apparatus and method
JP7331852B2 (ja) 画像処理装置および方法
TW201946449A (zh) 影像處理裝置及方法
US11399189B2 (en) Image processing apparatus and method
CN114946179B (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
JP7396302B2 (ja) 画像処理装置および方法
US11948337B2 (en) Image processing apparatus and method