TW202025746A - 影像處理裝置及方法 - Google Patents
影像處理裝置及方法 Download PDFInfo
- Publication number
- TW202025746A TW202025746A TW108134151A TW108134151A TW202025746A TW 202025746 A TW202025746 A TW 202025746A TW 108134151 A TW108134151 A TW 108134151A TW 108134151 A TW108134151 A TW 108134151A TW 202025746 A TW202025746 A TW 202025746A
- Authority
- TW
- Taiwan
- Prior art keywords
- point cloud
- vector
- data
- intersection
- image processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/08—Bandwidth reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
本揭露係有關於,能夠抑制從網格生成點雲之際的負荷之增大的影像處理裝置及方法。
生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。例如,進行網格的面與向量的交叉判定,在判定為有交叉的情況下,算出該交叉點的座標。本揭露係可適用於例如影像處理裝置、電子機器、影像處理方法、或程式等。
Description
本揭露係有關於影像處理裝置及方法,特別是有關於可抑制從網格生成點雲之際的負荷之增大的影像處理裝置及方法。
先前,作為例如像是點雲(Point cloud)這類表示3維結構之3D資料的編碼方法,係有例如使用到Octree的編碼(例如參照非專利文獻1)。
近年來,將對象3D物件予以體素(Voxel)化後,將Octree編碼與網格(Mesh)編碼(Triangle soup)加以組合而進行編碼,已被提出(例如參照非專利文獻2)。
[先前技術文獻]
[非專利文獻]
[非特許文獻1] R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf
[非專利文獻2] Ohji Nakagami, Phil Chou, Maja Krivokuca, Khaled Mammou, Robert Cohen, Vladyslav Zakharchenko, Gaelle Martin-Cocher, "Second Working Draft for PCC Categories 1, 3",ISO/IEC JTC1/SC29/WG11, MPEG 2018/N17533, April 2018, San Diego, US
[發明所欲解決之課題]
然而,在先前的方法中,從網格(Mesh)生成點雲之際,在網格的面上將點做緻密地取樣,生成高密度之點雲,其後,進行再取樣而成為與輸入相同程度之解析度的體素資料。因此,無論處理量或是所處理的資料量都很多,恐怕導致從網格生成點雲之際的負荷增大。
本揭露係有鑑於此種狀況而研發,目的在於可抑制從網格生成點雲之際的負荷之增大。
[用以解決課題之手段]
本技術之一側面的影像處理裝置,係為一種影像處理裝置,係具備:點雲生成部,係生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
本技術之一側面的影像處理方法,係為影像處理方法,係生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
於本技術之一側面的影像處理裝置及方法中,由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料,會被生成。
以下,說明用以實施本揭露的形態(以下稱作實施形態)。此外,說明係用以下順序來進行。
1. 點雲的生成
2. 第1實施形態(點雲生成裝置)
3. 第2實施形態(解碼裝置)
4. 第3實施形態(編碼裝置)
5. 第4實施形態(Triangle soup的可調化)
6. 附記
<1. 點雲的生成>
<支持技術內容、技術用語的文獻等>
本技術所揭露之範圍,係不只有實施形態中所記載的內容,還包含了於申請當時已為公知的以下之非專利文獻中所記載的內容。
非專利文獻1:(上述)
非專利文獻2:(上述)
非專利文獻3:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
非專利文獻4:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
非特許文獻5:Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
亦即,上述的非專利文獻中所記載之內容亦為判斷支持要件之際的根據。例如,非專利文獻4中所記載之Quad-Tree Block Structure、非專利文獻5中所記載之QTBT(Quad Tree Plus Binary Tree) Block Structure即使於實施形態中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。又,例如,關於剖析(Parsing)、語法(Syntax)、語意(Semantics)等之技術用語也是同樣地,即使於實施形態中沒有直接記載的情況下,仍屬於本技術的揭露範圍內,並視為滿足申請專利範圍的支持要件。
<點雲>
先前,藉由點群之位置資訊或屬性資訊等來表現3維結構的點雲(Point cloud),或以頂點、邊緣、面所構成,使用多角形表現來定義3維形狀的網格(Mesh)等之3D資料,係為存在。
例如點雲的情況下,是將立體結構物(3維形狀之物件)以多數的點的集合(點群)的方式,來加以表現。亦即,點雲之資料(亦稱為點雲資料),係由該點群的各點之位置資訊或屬性資訊(例如色彩等)而被構成。因此資料結構會比較單純,同時,藉由使用足夠多的點,就可以足夠的精度來表現任意的立體結構物。
<使用了體素的位置資訊之量化>
此種點雲資料由於其資料量是比較大的,因此為了以編碼等來壓縮資料量,而考慮使用了體素(Voxel)的編碼方法。體素,係為用來將編碼對象之位置資訊進行量化所需之3維領域。
亦即,將內包有點雲的3維領域分割成一種稱作體素的小的3維領域,並按照該每一體素地,表示是否內包有點。藉由如此設計,各點之位置就會被體素單位地做量化。因此,藉由將點雲(Point cloud)資料轉換成此種體素之資料(亦稱為體素(Voxel)資料),就可抑制資訊量之增大(典型來說係為削減資訊量)。
<Octree>
甚至,想到要使用此種體素(Voxel)資料來建構Octree。Octree,係將體素資料進行樹狀結構化而成。該Octree的最下位之節點的各位元之值,係表示各體素的點之有無。例如,值「1」係表示有內包點的體素,值「0」係表示沒有內包點的體素。在Octree中,1個節點係對應於8個體素。亦即,Octree的各節點,係由8位元的資料所構成,其8位元係表示8個體素的點之有無。
然後,Octree的上位之節點,係表示將隸屬於該節點之下位節點所對應的8個體素匯集成1個之領域的點之有無。亦即,藉由將下位節點的體素之資訊予以匯集而生成上位節點。此外,值為「0」的節點,亦即,所對應之8個體素全部都沒有內包點的情況下,該節點係被刪除。
藉由如此設計,就可建構出,由值非「0」之節點所成的樹狀結構(Octree)。亦即,Octree,係可表示各解析度之體素的點之有無。因此,藉由將體素資料予以Octree化而進行編碼,在解碼之際就可較為容易地復原較為多樣之解析度的體素資料。亦即,可較容易地實現體素的可調性。
又,如上述般地藉由省略值為「0」之節點,就可將沒有點存在之領域的體素予以低解析度化,因此可更進一步抑制資訊量之增大(典型來說係為削減資訊量)。
<Octree與Mesh之組合>
近年來,例如非專利文獻2所記載,將對象3D物件予以體素(Voxel)化後,將Octree編碼與網格(Mesh)編碼(Triangle soup)加以組合而進行編碼,已被提出。
例如如圖1的A所示,Octree資料係被解碼而生成體素(Voxel)資料。在圖1的A的例子中,體素11-1、體素11-2、體素11-3係被生成。
接著,例如如圖1的B所示,從該體素資料而復原網格(Mesh)形狀(亦即網格的面)。在圖1的B的例子中,基於體素11-1、體素11-2、體素11-3,網格的面12係被復原。
接著,例如如圖1的C所示,在該網格的面12中,以1/(2*blockwidth)之解析度,配置了點13。此外,所謂blockwidth,係表示包含網格的定界框(Bounding box)的最長的邊。
然後,例如如圖1的D所示,將點13以指定之解析度d再度進行體素化。此時,網格資料(面12等)係被去除。亦即,從網格資料,生成所望之解析度的點雲資料之際,會把一度被高解析度地做取樣的點13之解析度(點數)予以降低般地進行再取樣。
然而,在此種方法中,必須進行2次取樣,因此處理係為冗餘。又,由於是將高密度之點雲進行取樣,因此資料量會增大。因此,從網格生成點雲之際之負荷恐怕會增大。因此,恐怕會導致處理時間之增大、或記憶體等之資源使用量增大。
<點雲的解析度控制>
於是,利用輸出點雲之解析度,是與輸入點雲作為體素化而成之解析度相同的這件事情,藉由限定體素之判定次數,而高速地生成點雲。
更具體而言,是設計成,會生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
例如,於影像處理裝置中,使其具備:點雲生成部,係生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
藉由如此設計,可從網格以1次的處理就能生成相當於輸入解析度的體素資料。因此,可抑制從網格生成點雲之際的負荷之增大。藉此,可抑制處理時間之增大、或記憶體等之資源使用量之增大。典型而言,係可降低處理時間,可降低記憶體等之資源使用量。又,可較高速地生成點雲。
<點雲的導出>
接著,針對該點雲的導出方法,做更具體地說明。首先,如圖2的例子所示,將與包含有編碼對象之資料的定界框(Bounding box)的邊,具有相同方向及將同長度的向量Vi,以間隔k*d而加以生成。於圖2中,係對存在於定界框21內的網格的面22,設定如箭頭23所示的向量Vi。d,係將定界框進行體素化之際的量化尺寸。k係為任意的自然數。亦即,以對應於指定之體素解析度的位置座標為開始原點的向量Vi,係被設定。
接著進行,已設定之向量Vi(箭頭23)、與已解碼之網格的面22(亦即三角Mesh)的交叉判定。向量Vi與三角形的面22有交叉的情況下,則計算其交叉點24的座標值。
此外,作為該向量Vi之指向,係對彼此垂直之x、y、z各方向(平行於定界框之各邊的方向),可設定正負2個指向。亦即,亦可針對6種類之指向的向量Vi,分別進行交叉判定。如此,藉由以較多的指向來進行交叉判定,就可較確實地偵測交叉點。
此外,向量Vi的開始點,係亦可限定在三角Mesh之3個頂點的範圍內。藉由如此設計,可降低要進行處理的向量Vi之數量,因此可抑制負荷之增大(例如可使處理較為高速化)。
又,作為輔助處理,亦可為,隨著不同的向量或網格(Mesh),在交叉點的座標值有重複的情況下,則進行刪除而留下1點。藉由如此去除重複的點,可抑制無謂的處理之增大,可抑制負荷之增大(例如可使處理較為高速化)。
又,作為輔助處理,亦可為,交叉點的座標值是位於定界框(Bounding box)之外側的情況下,藉由限幅(Clip)處理而使該交叉點之位置被限幅(移動)至定界框內。又,亦可刪除該交叉點。
如以上般地,將具有已被求出之座標值的點,當作解碼結果而予以輸出。藉由如此設計,可從網格以1次的處理就能生成相當於輸入解析度的體素資料。因此,可抑制從網格生成點雲之際的負荷之增大。
<交叉判定及座標值算出>
此外,交叉判定及座標值算出的方法係為任意。例如,亦可如圖3般地使用克拉瑪公式而加以求出。例如,P係為交點座標,origin係為ray的座標,ray係為方向向量,t係視為純量值,將通過ray的交點以線性式而表示如下。
P = origin + ray * t
又,vo係為三角形的頂點座標,edge1係為從座標v1拉往v0的向量,edge2也是以相同的要領而從座標v2拉往v0的向量。點P係為從v0往向量edge1方向設為u(純量值),將三角形上之交點以edge之向量而表示如下。
P = v0 + edge1 * u + edge2 * v
若將該2個式子予以相連,就成為聯立方程式。
origin + ray * t = v0 + edge1 * u + edge2 * v
經過整理就可表示如下。
edge1 * u + edge2 * v・ray * t = origin・v0
因為如此般地變成3維聯立1維方程式之形式,所以可作為行列式而以克拉瑪公式做機械性計算。
<2. 第1實施形態>
<點雲生成裝置>
接著說明,實現如以上之處理的構成。圖4係適用了本技術的影像處理裝置之一態樣的點雲生成裝置之構成之一例的區塊圖。圖4所示的點雲生成裝置100,係如<1.點雲之生成>中所說明,是從網格生成點雲的裝置。
此外,於圖4中係主要表示處理部或資料的流向等,圖4所示者並非全部。亦即,於點雲生成裝置100中,亦可存在有於圖4中未以區塊而被表示的處理部,亦可存在有於圖4中未以箭頭等而表示的處理或資料之流動。
如圖4所示,點雲生成裝置100係具有:向量設定部111、交叉判定部112、輔助處理部113、及輸出部114。
向量設定部111,係像是例如於<點雲之導出>中所上述般地,將交叉判定用之向量Vi予以設定(生成)。該向量Vi,係如上述,是具有與包含有編碼對象之資料的定界框的邊相同方向及將同長度的向量。向量設定部111,係將表示已設定之向量Vi的向量資訊,供給至交叉判定部112。
交叉判定部112,係將已被輸入至點雲生成裝置100的網格(Mesh)資料加以取得,然後,將從向量設定部111所被供給之向量資訊加以取得。交叉判定部112,係像是例如<點雲之導出>或<交叉判定及座標值算出>等中所上述般地,進行已取得之網格資料所示之網格的面、與向量資訊所示之向量Vi的交叉判定。交叉判定部112,係在有偵測到交叉點的情況下,算出其座標值。交叉判定部112,係將已算出之交叉點的座標值(交叉點座標),供給至輔助處理部113。
輔助處理部113,係將從交叉判定部112所被供給之交叉點座標加以取得,例如像是<點雲之導出>中所上述般地,對該交叉點進行輔助處理。輔助處理部113,係將因應需要而進行過輔助處理的交叉點座標,供給至輸出部114。
輸出部114,係將從輔助處理部113所被供給之公算點座標,當作點雲資料(之位置資訊)而輸出至點雲生成裝置100之外部。
此外,這些處理部(向量設定部111乃至輸出部114),係具有任意之構成。例如,各處理部亦可藉由,實現上述處理的邏輯電路,而被構成。又,亦可為,各處理部係具有例如CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等,藉由使用它們來執行程式,以實現上述的處理。當然,亦可為,各處理部係具有該雙方之構成,上述之處理的一部分是以邏輯電路來加以實現,其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立,例如亦可為,一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現,另一部分之處理部是藉由執行程式而實現上述處理,再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
藉由採取如此的構成,點雲生成裝置100係可獲得如<1.點雲之生成>中所說明的效果。例如,可從網格以1次的處理就能生成相當於輸入解析度的體素資料。因此,可抑制點雲資料生成之負荷之增大。因此,例如,可較高速地生成點雲資料。又,例如,可降低點雲生成裝置100的製造成本。
<點雲生成處理之流程>
接著,藉由該點雲生成裝置100而被執行的點雲生成處理的流程之例子,參照圖5的流程圖來加以說明。
一旦點雲生成處理被開始,則交叉判定部112,係於步驟S101中,取得網格(Mesh)資料。
於步驟S102中,向量設定部111係設定,以對應於指定之體素(Voxel)解析度的位置座標為開始原點的向量Vi(具有與包含有編碼對象之資料的定界框的邊相同方向及相同長度的向量)。
於步驟S103中,交叉判定部112係進行,步驟S102中所被設定之向量Vi、與步驟S101中所取得之網格資料所示之網格的面(三角形)的交叉判定。
於步驟S104中,交叉判定部112,係算出步驟S103中所被偵測到的交叉點的座標。
於步驟S105中,輔助處理部113,係將重複的交叉點,刪除到剩下1點。
於步驟S106中,輔助處理部113,係將定界框外之交叉點加以處理(例如進行限幅處理、或刪除)。
於步驟S107中,輸出部114,係將如以上所被求出之交叉點的座標,當作點雲之資料(位置資訊)而予以輸出。
一旦步驟S107的處理結束,則點雲生成處理就結束。
此外,以上的各處理,係與<1.點雲之生成>中所上述之例子同樣地被進行。因此,藉由執行以上的各處理,點雲生成裝置100係可獲得如<1.點雲之生成>中所說明的效果。例如,可從網格以1次的處理就能生成相當於輸入解析度的體素資料。因此,可抑制點雲資料生成之負荷之增大。因此,例如,可較高速地生成點雲資料。又,例如,可降低點雲生成裝置100的製造成本。
<面內部之交叉點的減少>
此外,在如以上的交叉判定中,亦可使用相較於對面之端部進行交叉判定時還要稀疏的向量Vi,來對面之內部進行交叉判定。例如,如圖6的例子所示,亦可對面201,使用向量Vi202-1乃至向量Vi202-8來進行交叉判定。在此例中,向量Vi202-1乃至向量Vi202-8之間隔係為,向量Vi202-1乃至向量Vi202-3,與向量Vi202-6乃至向量Vi202-8是較窄。換言之,向量Vi202-3乃至向量Vi202-6之間隔係被設定成比其他向量Vi之間隔還要寬。亦即,對面201之端部的交叉判定中所被使用的向量Vi202-1乃至向量Vi202-3、以及向量Vi202-6乃至向量Vi202-8之間隔係被設定成較窄(較密),對面201之內部的交叉判定中所被使用的向量Vi202-3乃至向量Vi202-6之間隔係被設定成較寬(較疏)。
如此,在三角形的內部中,刻意以較稀疏的寬度來進行向量Vi之碰撞判定(使開始原點之寬度較為粗略),就可使得內部所被生成的點變得較少。因此,可抑制點雲之屬性資訊(色彩資訊等)的編碼位元速率之增大。
<交叉判定的省略>
又,亦可曾經進行過一次交叉判定的座標,就不再做第2次計算。例如,如圖7的例子所示,對於1個向量Vi211,有複數個網格的面(面212及面213)存在的情況下,藉由對1個向量Vi211,同時進行交叉判定,就可使得處理變得較為高速化。
<去雜訊處理的追加>
又,亦可如圖8所示,1個向量Vi221是與複數個三角形(面222及面223)相交,且該三角形之間是有空間存在的情況下,亦可藉由在該空間中生成點(圖中的黑點),以進行埋穴(去雜訊)。藉由如此設計,就可生成較高精度的點雲。亦即,可抑制該顯示影像的畫質之降低(典型而言係可提升畫質)。
<處理的平行化>
此外,如以上的交叉判定,亦可將複數個處理平行地進行。例如,亦可將對網格之1個面的複數個向量之交叉判定,彼此平行地處理(平行地進行處理)。亦即,亦可每一向量地,獨立進行處理。藉由如此設計,就較高速地進行交叉判定。
又,例如,亦可將對1個向量的複數個面之每一者的交叉判定,彼此平行地處理(平行地進行處理)。亦即,亦可按照網格的每一面,獨立進行處理。藉由如此設計,就較高速地進行交叉判定。
<3. 第2實施形態>
<解碼裝置>
圖9係適用了本技術的影像處理裝置之一態樣的解碼裝置之構成之一例的區塊圖。圖9所示的解碼裝置300,係為後述的圖11的編碼裝置500所相對應的解碼裝置,係為例如將該編碼裝置500所生成的位元串流予以解碼,並將點雲之資料予以復原的裝置。
此外,於圖9中係主要表示處理部或資料的流向等,圖9所示者並非全部。亦即,於解碼裝置300中,亦可存在有於圖9中未以區塊而被表示的處理部,亦可存在有於圖9中未以箭頭等而表示的處理或資料之流動。
如圖9所示,解碼裝置300係具有:可逆解碼部311、Octree解碼部312、Mesh形狀復原部313、Point cloud生成部314、及Attribute解碼部315。
可逆解碼部311,係將被輸入至解碼裝置300的位元串流加以取得,將該位元串流予以解碼,生成Octree資料。可逆解碼部311,係將該Octree資料,供給至Octree解碼部312。
Octree解碼部312,係將從可逆解碼部311所被供給之Octree資料加以取得,從該Octree資料而建構出Octree,從該Octree生成體素(Voxel)資料。Octree解碼部312,係將已生成之體素資料,供給至Mesh形狀復原部313。
Mesh形狀復原部313,係使用從Octree解碼部312所被供給之體素資料,來復原網格形狀。Mesh形狀復原部313,係將已生成之網格資料,供給至Point cloud生成部314。
Point cloud生成部314,係根據從Mesh形狀復原部313所被供給之網格資料,生成點雲資料,將已生成之點雲資料,供給至Attribute解碼部315。該Point cloud生成部314,係具有與點雲生成裝置100(圖4)相同的構成,進行同樣的處理。亦即,Point cloud生成部314,係如<1.點雲之生成>或<2.第1實施形態>中所上述般地,從網格資料生成點雲資料。
因此,Point cloud生成部314,係可獲得與點雲生成裝置100相同的效果。例如,Point cloud生成部314,係可從網格以1次的處理就能生成相當於輸入解析度的體素資料。因此,Point cloud生成部314係可抑制點雲資料生成之負荷之增大。因此,Point cloud生成部314係例如,可較高速地生成點雲資料。又,例如,可降低Point cloud生成部314的製造成本。
Attribute解碼部315,係進行屬性資訊之解碼的相關處理。例如,Attribute解碼部315,係將從Point cloud生成部314所被供給之點雲資料所對應之屬性資訊,予以解碼。然後,Attribute解碼部315,係將已解碼的屬性資訊含入至從Point cloud生成部314所被供給之點雲資料中而輸出至解碼裝置300之外部。
此外,這些處理部(可逆解碼部311乃至Attribute解碼部315),係具有任意之構成。例如,各處理部亦可藉由,實現上述處理的邏輯電路,而被構成。又,亦可為,各處理部係具有例如CPU、ROM、RAM等,藉由使用它們來執行程式,以實現上述的處理。當然,亦可為,各處理部係具有該雙方之構成,上述之處理的一部分是以邏輯電路來加以實現,其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立,例如亦可為,一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現,另一部分之處理部是藉由執行程式而實現上述處理,再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
藉由採取如此的構成,解碼裝置300係可獲得如<1.點雲之生成>或<2.第1實施形態>中所說明的效果。例如,可從網格以1次的處理就能生成相當於輸入解析度的體素資料,因此解碼裝置300係可抑制點雲資料生成之負荷之增大。因此,例如,解碼裝置300係可較高速地生成點雲資料。又,例如,可降低解碼裝置300的製造成本。
<解碼處理的流程>
接著,參照圖10的流程圖,說明藉由解碼裝置300而被執行的解碼處理之流程之例子。
一旦解碼處理被開始,則可逆解碼部311,係於步驟S301中,取得位元串流。
於步驟S302中,可逆解碼部311,係將步驟S301中所取得之位元串流,進行可逆解碼。
於步驟S303中,Octree解碼部312,係建構Octree,復原體素資料。
於步驟S304中,Mesh形狀復原部313,係從步驟S303中所被復原之體素資料,而復原網格形狀。
於步驟S305中,Point cloud生成部314,係執行點雲生成處理(圖5),從步驟S304中所被復原之網格形狀,生成點雲。
於步驟S306中,Attribute解碼部315係進行屬性資訊(Attribute)之解碼。
於步驟S307中,Attribute解碼部315,係將步驟S306中所解碼之屬性資訊,含入至點雲資料中而輸出。
一旦步驟S307之處理結束則解碼處理就結束。
如以上,藉由執行各處理,解碼裝置300係可獲得如<1.點雲之生成>或<2.第1實施形態>中所說明的效果。
<4. 第3實施形態>
<編碼裝置>
圖11係適用了本技術的影像處理裝置之一態樣的編碼裝置之構成之一例的區塊圖。圖11所示的編碼裝置500係為,將點雲這類的3D資料使用體素(Voxel)及Octree而予以編碼的裝置。
此外,於圖11中係主要表示處理部或資料的流向等,圖11所示者並非全部。亦即,於編碼裝置500中,亦可存在有於圖11中未以區塊而被表示的處理部,亦可存在有於圖11中未以箭頭等而表示的處理或資料之流動。這在編碼裝置500內的處理部等的說明的其他圖中也是同樣如此。
如圖11所示,編碼裝置500係具有:Voxel生成部511、Geometry編碼部512、Geometry解碼部513、Attribute編碼部514、及位元串流生成部515。
Voxel生成部511,係將被輸入至編碼裝置500的點雲(Point cloud)資料加以取得,對含有該已取得之點雲資料的領域設定定界框,然後將該定界框予以分割,並設定體素,藉此而將該點雲資料之位置資訊予以量化。Voxel生成部511,係將如此生成之體素(Voxel)資料,供給至Geometry編碼部512。
Geometry編碼部512,係將從Voxel生成部511所被供給之體素資料予以編碼,並將點雲之位置資訊予以編碼。Geometry編碼部512,係將已生成之點雲之位置資訊的編碼資料,供給至位元串流生成部515。又,Geometry編碼部512,係將點雲的位置資訊進行編碼之際所被生成的Octree資料,供給至Geometry解碼部513。
Geometry解碼部513,係將該Octree資料予以解碼,生成點雲之位置資訊。Geometry解碼部513,係將已生成之點雲資料(位置資訊),供給至Attribute編碼部514。
Attribute編碼部514,係基於所被輸入之編碼參數(encode parameter),而將點雲資料(位置資訊)所對應之屬性資訊,予以編碼。Attribute編碼部514,係將已生成之屬性資訊的編碼資料,供給至位元串流生成部515。
位元串流生成部515,係生成含有從Geometry編碼部512所被供給之位置資訊之編碼資料、與從Attribute編碼部514所被供給之屬性資訊之編碼資料的位元串流,輸出至編碼裝置500之外部。
<Geometry編碼部>
Geometry編碼部512係具有:Octree生成部521、Mesh生成部522、及可逆編碼部523。
Octree生成部521,係使用從Voxel生成部511所被供給之體素資料來建構Octree,生成Octree資料。Octree生成部521,係將已生成之Octree資料,供給至Mesh生成部522。
Mesh生成部522,係使用從Octree生成部521所被供給之Octree資料來生成網格資料,將其供給至可逆編碼部523。又,Mesh生成部522,係將Octree資料,供給至Geometry解碼部513。
可逆編碼部523,係將從Mesh生成部522所被供給之Mesh資料加以取得。又,可逆編碼部523,係將從編碼裝置500之外部所被輸入之編碼參數加以取得。該編碼參數,係為用來指定所要適用之編碼之類型的資訊,例如是藉由使用者操作而被輸入,或從外部之裝置等而被供給等等。可逆編碼部523,係以被該編碼參數所指定的類型而將網格資料予以編碼,生成位置資訊之編碼資料。可逆編碼部523,係將該位置資訊,供給至位元串流生成部515。
<Geometry解碼部>
Geometry解碼部513係具有:Octree解碼部531、Mesh形狀復原部532、及Point cloud生成部533。
Octree解碼部531,係將從Geometry編碼部512所被供給之Octree資料予以解碼,生成體素資料。Octree解碼部531,係將已生成之體素資料,供給至Mesh形狀復原部532。
Mesh形狀復原部532,係使用從Octree解碼部531所被供給之體素資料而將網格形狀予以復原,將該網格資料供給至Point cloud生成部533。
Point cloud生成部533,係根據從Mesh形狀復原部532所被供給之網格資料,生成點雲資料,將已生成之點雲資料,供給至Attribute編碼部514。該Point cloud生成部533,係具有與點雲生成裝置100(圖4)相同的構成,進行同樣的處理。亦即,Point cloud生成部533,係如<1.點雲之生成>或<2.第1實施形態>中所上述般地,從網格資料生成點雲資料。
因此,Point cloud生成部533,係可獲得與點雲生成裝置100相同的效果。例如,Point cloud生成部533,係可從網格以1次的處理就能生成相當於輸入解析度的體素資料。因此,Point cloud生成部533係可抑制點雲資料生成之負荷之增大。因此,Point cloud生成部533係例如,可較高速地生成點雲資料。又,例如,可降低Point cloud生成部533的製造成本。
此外,這些處理部(Voxel生成部511乃至Attribute編碼部514、Octree生成部521乃至可逆編碼部523、以及Octree解碼部531乃至Point cloud生成部533),係具有任意之構成。例如,各處理部亦可藉由,實現上述處理的邏輯電路,而被構成。又,亦可為,各處理部係具有例如CPU、ROM、RAM等,藉由使用它們來執行程式,以實現上述的處理。當然,亦可為,各處理部係具有該雙方之構成,上述之處理的一部分是以邏輯電路來加以實現,其他則是藉由執行程式而加以實現。各處理部之構成係亦可彼此獨立,例如亦可為,一部分之處理部是藉由將上述處理之一部分以邏輯電路而加以實現,另一部分之處理部是藉由執行程式而實現上述處理,再另一部分之處理部則是藉由邏輯電路與程式執行之雙方而實現上述處理。
藉由採取如此的構成,編碼裝置500係可獲得如<1.點雲之生成>或<2.第1實施形態>中所說明的效果。例如,可從網格以1次的處理就能生成相當於輸入解析度的體素資料,因此編碼裝置500係可抑制點雲資料生成之負荷之增大。因此,例如,編碼裝置500係可較高速地生成位元串流。又,例如,可降低編碼裝置500的製造成本。
<編碼處理的流程>
接著,參照圖12的流程圖,說明藉由編碼裝置500而被執行的編碼處理之流程之例子。
一旦編碼處理被開始,則Voxel生成部511,係於步驟S501中,取得點雲資料。
於步驟S502中,Voxel生成部511係使用該點雲資料來生成體素資料。
於步驟S503中,Octree生成部521係使用該體素資料來建構Octree,生成Octree資料。
於步驟S504中,Mesh生成部522,係基於該Octree資料,而生成網格資料。
於步驟S505中,可逆編碼部523,係將該網格資料進行可逆編碼,生成點雲之位置資訊之編碼資料。
於步驟S506中,Octree解碼部531,係使用步驟S503中所被生成之Octree資料來復原體素資料。
於步驟S507中,Mesh形狀復原部532,係從該體素資料而復原Mesh形狀。
於步驟S508中,Point cloud生成部533,係執行點雲生成處理(圖5),從該網格形狀而生成點雲資料。
於步驟S509中,Attribute編碼部514係使用該點雲資料來將屬性資訊予以編碼。
於步驟S510中,位元串流生成部515係生成含有步驟S505中所被生成之位置資訊之編碼資料、與步驟S509中所被生成之屬性資訊之編碼資料的位元串流。
於步驟S511中,位元串流生成部515係將該位元串流,輸出至編碼裝置500之外部。
一旦步驟S511的處理結束,則編碼處理就結束。
如以上,藉由執行各處理,編碼裝置500係可獲得如<1.點雲之生成>或<2.第1實施形態>中所說明的效果。
<5. 第4實施形態>
<Triangle soup的可調化>
於以上說明中是說明了,於Triangle soup中,在以對應於指定之體素解析度的位置座標為開始原點的向量與網格的面之交叉點上生成點,而生成了點雲資料。亦可不限於此,而是從網格以任意之解析度來進行點雲資料之生成。
例如,如圖13所示,假設對較低解析度之階層(LoD=0乃至2)適用Octree,對較其高解析度之階層則是適用Triangle soup。針對被適用了Octree的階層,係可於解碼時實現解析度之可調性(可選擇要用哪一階層之解析度來生成點雲資料)。
針對其較下位之階層,係藉由令向量Vi之間隔d=1,就可從Triangle soup,獲得相當於LoD=4之解析度的點雲資料。例如,圖13的情況下,相當於LoD=2之體素601(圖中最右方之體素601)中,係含有網格的1個三角形狀的面602。
然後,以該體素601的各面為開始原點,對該面呈垂直的向量Vi603,是以將該體素601的各邊做4等分之間隔(d=1),而被設定。於圖13中,雖然只對1個箭頭標示符號,但體素601內(包含體素601之邊緣)的所有箭頭,全部都是向量Vi603。
然後,位於該向量Vi603與網格的面602之交叉點之位置的點604,係被導出。於圖13中,雖然只對1個點標示符號,但體素601內(包含體素601的端部)中所被圖示的所有的點,全部都是點604。
藉由如此設計,可獲得相當於LoD=4之解析度的點雲資料。
亦即,藉由設定以對應於指定之體素解析度的位置座標為開始原點的向量Vi,就可獲得最終解析度的點雲資料。所謂最終解析度係為表示已被預先決定的最高解析度。例如,編碼、解碼的情況下,最高解析度係表示使用Octree或網格等進行編碼前的點雲資料之解析度。
此處,取得代之,若令向量Vi603之間隔為d=2(亦即將向量Vi603之間隔擴大成2倍),則如圖13的右方起算第2個體素601般地,點604(面602與向量Vi603)係被導出。亦即,可獲得相當於LoD=3之解析度的點雲資料。
圖14係為了簡化說明,而將體素601之樣子以平面來表示。體素601內(亦包含體素601之邊緣)的,與體素601之4邊的任一者呈平行的所有的實線及虛線,係表示最終解析度(例如Lod=4)之間隔(d=1)的向量Vi603。位於這些向量Vi603與網格的面602之交叉點之位置的點604,係被導出。
於圖14中,以實線而被表示的向量Vi603,與以虛線而被表示的向量Vi603,是被交互配置。亦即,以實線而被表示的向量Vi603彼此之間隔係為d=2。亦即,以實線而被表示的向量Vi603,係為比最終解析度還要上1個階層(例如Lod=3)的向量Vi603。如此,藉由擴大間隔d,可降低向量Vi603之數量,因此也可降低位於交叉點的點604之數量。亦即,可降低點雲資料的解析度。
如以上所述,藉由向量Vi之間隔d,可以導出任意之解析度的點雲資料。因此,可實現Triangle soup的解析度之可調性。
該向量Vi之間隔d,係可設定任意之值。例如,向量Vi之間隔d亦可被設定成2的乘冪。藉由如此設計,可實現Octree之每一階層的解析度之可調性。亦即,可導出相當於Octree之各階層之解析度的點雲資料。例如,若令Octree的所望之階層(所被導出之階層)與最下位層(最終解析度之階層)的差分為L(L係為非負整數),則藉由令d=2L
,就可導出相當於該所望之階層之解析度的點雲資料。
此外,L亦可為負的值。藉由將L設定成負的值,就可導出比最終解析度還高解析度的點雲資料。
又,向量Vi之間隔d之值,係亦可為2的乘冪以外。向量Vi之間隔d,係只要是正的值,則亦可為整數,也可為小數。例如,藉由將向量Vi之間隔d之值設定成2的乘冪以外,就可導出相當於Octree之階層之解析度以外之解析度的點雲資料。例如,藉由將向量Vi之間隔d之值設定成3,就可獲得LoD=2與LoD=3之間之解析度的點雲資料。
<開始原點之位置的獨立化>
例如,在圖14的情況中,無論圖中縱方向之向量Vi603,還是圖中橫方向之向量Vi603,都是把圖中所示之識別號碼0、2、4、6、8之向量Vi603,當作1階層上位之向量Vi603而被採用。換言之,於1階層上位中,圖中所示之識別號碼1、3、5、7之向量Vi603(以虛線而被表示的向量Vi603),係被抽略。
如此於1階層上位中所被採用的向量Vi603(換言之,被抽略的向量Vi603),係亦可按照該向量Vi603之每一方向(亦即彼此垂直之3軸方向(x,y,z方向)每一者)地,而被獨立地設定。換言之,各向量Vi603的開始原點的,彼此垂直之3軸方向(x,y,z方向)之位置,亦可按照該每一方向而彼此獨立。
例如,在圖15的情況中,圖中縱方向之向量Vi603,是把圖中所示之識別號碼1、3、5、7之向量Vi603,當作1階層上位之向量Vi603而被採用。相對於此,圖中橫方向之向量Vi603,是把圖中所示之識別號碼0、2、4、6、8之向量Vi603,當作1階層上位之向量Vi603而被採用。
換言之,於1階層上位中,圖中所示之識別號碼0、2、4、6、8的圖中縱方向之向量Vi603(以虛線而被表示的向量Vi603),係被抽略。相對於此,於1階層上位中,圖中所示之識別號碼1、3、5、7之圖中橫方向之向量Vi603(以虛線而被表示的向量Vi603),係被抽略。
藉由如此設計,所被導出的點雲資料的解析度係不會改變,而可在與圖14的情況不同的位置上,生成點604。
<開始原點之間隔的獨立化>
例如,在圖14或圖15的情況中,於1階層上位中,無論圖中縱方向之向量Vi603,還是圖中橫方向之向量Vi603,皆是半數之向量被抽略。亦即,向量Vi之間隔d,在圖中縱方向與橫方向間,為彼此相同。
如此於1階層上位中所被採用的向量Vi603(換言之,被抽略的向量Vi603)之數量,係亦可按照該向量Vi603之每一方向(亦即按照每一彼此垂直之3軸方向(x,y,z方向))地,而被獨立地設定。換言之,各向量Vi603的開始原點的,彼此垂直之3軸方向(x,y,z方向)之間隔,亦可按照該每一方向而彼此獨立。
例如,在圖16的情況中,若假設只有以實線而被表示的向量Vi603會被採用(以虛線而被表示的向量Vi603會被抽略),則圖中縱方向之向量Vi603,係識別號碼0乃至8之所有的向量Vi603全部都被採用,但相對於此,圖中橫方向之向量Vi603,係只有圖中所示之識別號碼0、2、4、6、8之向量Vi603會被採用。亦即,圖中縱方向之向量Vi603與圖中橫方向之向量Vi603間,其間隔係為彼此互異。因此,所被生成的點的圖中縱方向之間隔與圖中橫方向之間隔係為彼此互異。亦即,圖中縱方向與圖中橫方向間,點雲資料的解析度係為彼此互異。
亦即,藉由如此設計,就可按照向量Vi603之每一方向(亦即彼此垂直之3軸方向(x,y,z方向)每一者)而彼此獨立地,設定點雲資料的解析度。
<於交叉點之一部分中生成點>
此外,亦可於向量Vi與網格的面之交叉點的一部分中,生成點。換言之,即使是交叉點亦可不生成點。亦即,藉由降低要生成點的交叉點之數量,亦可實現點雲的低解析度化(亦即實現解析度的可調性)。
要生成點(或不生成點)的交叉點之選擇方法係為任意。例如,亦可如圖17所示,鋸齒狀地(針對3軸方向之每一者分別空下1個交叉點)生成點。
藉由如此設計,可不隨向量Vi之間隔(或向量Vi之數量)而實現解析度的可調性。
<點的追加>
亦可生成不是位於向量Vi與網格的面之交叉點之位置的點,並含入至點雲資料中。例如,如圖18所示,即使並非交叉點,在向量Vi上的,近似於網格的面602(三角形)之各邊的位置上,亦可生成點611,並含入至點雲資料中。於圖18中,雖然只對1個點標示符號,但以白色圓圈表示的點係全部都是如上述所被生成的點611。
此外,要生成點的位置的判定方法(圖18之例子的情況下,是距離各邊為近似點之判定方法),係為任意。
藉由如此設計,由於可不依存於交叉點之位置而追加點,因此可較容易地,提升所望部分的解析度。例如,在圖18的情況中,藉由把面602之各邊的近似點含入至點雲資料,就可使面602之各邊之週邊的解析度,比其他部分更為提升。藉由如此設計,於點雲資料中,就可較正確地表現面602之各邊的構成。因此,可將藉由網格而表現的3維結構,於點雲資料中更為正確地加以表現。
<組合>
本實施形態中所上述之各手法,係可將任意之複數個手法加以組合而適用。又,本實施形態中所上述之各手法,係亦可與<點雲之生成>中所上述之任意之手法加以組合而適用。
<方法的選擇>
又,亦可從本說明書中所上述之各手法之部分或全部之中,選擇出所望之手法(或其組合),而適用之。此情況下,該選擇方法係為任意。例如,亦可將全部的適用型態做評價,而選擇最佳者。藉由如此設計,就可以最適合於3維結構等的手法,來生成點雲資料。
<對點雲生成裝置之適用>
本實施形態中所上述之各手法,也是與<1.點雲之生成>中所說明的各手法同樣地,可對第1實施形態中所上述之點雲生成裝置100做適用。此情況的點雲生成裝置100之構成,係和參照圖4所說明的情況相同。
此情況的,藉由該點雲生成裝置100而被執行的點雲生成處理的流程之例子,參照圖19的流程圖來加以說明。
一旦點雲生成處理被開始,則交叉判定部112,係於步驟S601中,取得網格(Mesh)資料。
於步驟S602中,向量設定部111,係將體素之各面的,例如被使用者等所指定的解析度所對應之位置座標當作開始原點,設定垂直於該各面的(平行於體素之各邊的)向量Vi。
於步驟S603中,交叉判定部112係進行,步驟S602中所被設定之向量Vi、與步驟S601中所取得之網格資料所示之網格的面(三角形)的交叉判定。
步驟S604乃至步驟S607的各處理,係和步驟S104乃至步驟S107的各處理同樣地被執行。
一旦步驟S607的處理結束,則點雲生成處理就結束。
此外,以上的各處理,係與例如本實施形態中所上述之例子同樣地被進行。因此,藉由執行以上的各處理,點雲生成裝置100係可獲得如例如本實施形態中所說明的效果。例如,可從網格以1次的處理就能生成任意解析度的體素資料。亦即,就可實現點雲資料的解析度之可調性。
附帶地,可抑制點雲資料生成之負荷之增大。因此,例如,可較高速地生成點雲資料。又,例如,可降低點雲生成裝置100的製造成本。
<對解碼裝置之適用>
又,本實施形態中所上述之各手法,係與<1.點雲之生成>中所說明的各手法同樣地,可對第2實施形態中所上述之解碼裝置300做適用。此情況的解碼裝置300之構成,係和參照圖9所說明的情況相同。
Point cloud生成部314,是具有與本實施形態中所上述之點雲生成裝置100相同之構成,如本實施形態中所上述般地從網格資料生成點雲資料。
因此,Point cloud生成部314,係可獲得與本實施形態的點雲生成裝置100相同的效果。例如,Point cloud生成部314,係可從網格以1次的處理就能生成任意解析度的體素資料。亦即,就可實現點雲資料的解析度之可調性。
附帶地,Point cloud生成部314係可抑制點雲資料生成之負荷之增大。因此,Point cloud生成部314係例如,可較高速地生成點雲資料。又,例如,可降低Point cloud生成部314的製造成本。
此外,此情況下,Attribute解碼部315,係亦可將屬性資訊,做可調式解碼。亦即,關於屬性資訊也可實現解析度之可調性。
又,藉由此情況的解碼裝置300而被執行的解碼處理,係以與第2實施形態之情況(圖10)相同的流程,而被執行。因此,解碼裝置300係可獲得本實施形態中所上述之效果(例如與點雲生成裝置100相同之效果)。
<6. 附記>
<電腦>
上述之一連串之處理,係可藉由硬體來執行,亦可藉由軟體來執行。在以軟體來執行一連串之處理時,構成該軟體的程式,係可安裝至電腦。此處,電腦係包含:被組裝在專用硬體中的電腦、或藉由安裝各種程式而可執行各種機能的例如通用之個人電腦等。
圖20係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。
於圖20所示的電腦900中,CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903,係透過匯流排904而被彼此連接。
匯流排904,係還連接著輸出入介面910。輸出入介面910上係連接有:輸入部911、輸出部912、記憶部913、通訊部914、及驅動機915。
輸入部911,係例如由鍵盤、滑鼠、麥克風、觸控面板、輸入端子等所成。輸出部912係由例如顯示器、揚聲器、輸出端子等所成。記憶部913,係由例如硬碟、RAM碟、非揮發性記憶體等所成。通訊部914係由例如網路介面所成。驅動機915係驅動:磁碟、光碟、光磁碟、或半導體記憶體等之可移除式媒體921。
在如以上構成的電腦中,藉由CPU901而例如將記憶部913中所記憶之程式,透過輸出入介面910及匯流排904,而載入至RAM903裡並加以執行,就可進行上述一連串處理。RAM903中,還適宜地記憶著CPU901在執行各種處理時所必需的資料等。
電腦(CPU901)所執行的程式,係可記錄在例如封裝媒體等之可移除式媒體921中而適用。此情況下,程式係藉由將可移除式媒體921裝著至驅動機915,就可透過輸出入介面910,安裝至記憶部913。
又,該程式係可透過區域網路、網際網路、數位衛星播送這類有線或無線的傳輸媒體而提供。此情況,程式,係可以通訊部914而接收之,並安裝至記憶部913。
除此以外,該程式係可事前安裝在ROM902或記憶部913中。
<本技術的適用對象>
以上雖然針對在點雲資料的編碼、解碼中適用本技術的情況加以說明,但本技術係不限於這些例子,亦可對任意規格的3D資料的編碼、解碼做適用。亦即,只要不與上述的本技術產生矛盾,編碼、解碼方式等之各種處理、以及3D資料或後設資料等之各種資料的規格,係為任意。又,只要不與本技術產生矛盾,亦可省略上述的一部分之處理或規格。
本技術係可適用於任意的構成。例如,本技術係可適用於衛星播送、有線TV等之有線播送、網際網路上的配訊、及藉由蜂巢基地台通訊而對終端之配訊等時候的送訊機或收訊機(例如電視受像機或行動電話機)、或是在光碟、磁碟及快閃記憶體等之媒體中記錄影像、或從這些記憶媒體中再生出影像的裝置(例如硬碟錄影機或攝影機)等,各式各樣的電子機器。
又例如,本技術係亦可作為系統LSI(Large Scale Integration)等的處理器(例如視訊處理器)、使用複數處理器等的模組(例如視訊模組)、使用複數模組等的單元(例如視訊單元)、對單元再附加其他機能而成的套組(例如視訊套組)等,作為裝置的部分構成而實施。
又例如,本技術係亦可對由複數裝置所構成的網路系統做適用。例如,亦可將本技術,透過網路而分擔給複數台裝置,以共同進行處理的雲端運算的方式,來加以實施。例如,亦可在對電腦、AV(Audio Visual)機器、攜帶型資訊處理終端、IoT(Internet of Things)裝置等之任意之終端,提供影像(動態影像)的相關之服務的雲端服務中,實施本技術。
此外,於本說明書中,所謂的系統,係意味著複數構成要素(裝置、模組(零件)等)的集合,所有構成要素是否位於同一框體內則在所不問。因此,被收納在個別的框體中,透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置,均為系統。
<可適用本技術的領域、用途>
適用了本技術的系統、裝置、處理部等係可利用於例如:交通、醫療、防盜、農業、畜產業、礦業、美容、工場、家電、氣象、自然監視等任意之領域。又,其用途也為任意。
<其他>
此外,於本說明書中所謂「旗標」,係為用來識別複數狀態所需之資訊,不只包含在用來識別真(1)或偽(0)之2種狀態之際所使用的資訊,亦包含可以識別3種以上之狀態的資訊。因此,該「旗標」所能採取的值,係可為例如1/0之2值,亦可為3值以上。亦即,構成該「旗標」的bit數係為任意,可為1bit亦可為複數bit。又,識別資訊(亦包含旗標),係不只將該識別資訊含入至位元串流的形式,也想定了將識別資訊相對於某個作為基準之資訊的差分資訊含入至位元串流的形式,因此於本說明書中,「旗標」或「識別資訊」,係不只包含該資訊,也還包含了相對於作為基準之資訊的差分資訊。
又,編碼資料(位元串流)的相關之各種資訊(後設資料等),係只要與編碼資料建立關連,則無論是以哪種形態而被傳輸或記錄皆可。此處,「建立關連」此一用語係意味著例如:使得在一方之資料進行處理之際可能利用到他方之資料的情況(可建立連結)。亦即,被彼此建立關連的資料,係亦可整體視為1個資料,也可分別視為個別之資料。例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他傳輸路上被傳輸。又,例如,與編碼資料(影像)建立關連的資訊,係亦可在有別於該編碼資料(影像)的其他記錄媒體(或是同一記錄媒體的其他記錄區域)中被記錄。此外,該「建立關連」,係亦可不是資料全體,而是資料的一部分。例如,影像與對應於該影像的資訊,係亦可使用複數畫格、1畫格、或畫格內之一部分等之任意之單位,而被彼此建立關連。
此外,於本說明書中,「合成」、「多工化」、「附加」、「一體化」、「含入」、「儲存」、「放入」、「插進」、「插入」等之用語,係意味著例如將編碼資料與後設資料總結成1個資料,把複數個物綁成1個的意思,是意味著上述的「建立關連」的1種方法。
又,本技術的實施形態係不限定於上述實施形態,在不脫離本技術主旨的範圍內可做各種變更。
例如,亦可將以1個裝置(或處理部)做說明的構成加以分割,成為複數裝置(或處理部)而構成之。反之,亦可將以上說明中以複數裝置(或處理部)做說明的構成總結成1個裝置(或處理部)而構成之。又,對各裝置(或各處理部)之構成,當然亦可附加上述以外之構成。再者,若系統全體的構成或動作是實質相同,則亦可使某個裝置(或處理部)之構成的一部分被包含在其他裝置(或其他處理部)之構成中。
又,例如,上述的程式,係亦可於任意的裝置中被執行。此情況下,只要讓該裝置,具有必要的機能(機能區塊等),能夠獲得必要的資訊即可。
又,例如,1個流程圖的各步驟,亦可由1個裝置來執行,也可由複數裝置來分擔而執行。甚至,1個步驟中包含有複數個處理的情況下,該複數個處理亦可由1個裝置來執行,也可由複數裝置來分擔而執行。換言之,亦可將1個步驟中所含之複數個處理,以複數個步驟之處理的方式而執行之。反之,亦可將以複數個步驟的方式做說明的處理,整合成1個步驟而執行之。
又,例如,電腦所執行的程式,描述程式的步驟之處理,係可為依照本說明書所說明之順序而在時間序列上被執行,也可平行地,或可在進行呼叫時等必要之時序上,而被個別地執行。亦即,只要不產生矛盾,各步驟之處理係亦可以和上述之順序不同的順序而被執行。甚至,描述該程式的步驟之處理,亦可與其他程式之處理平行地執行,也可和其他程式之處理組合而執行。
又,例如,本技術所相關之複數個技術,係只要不產生矛盾的況下,都可分別獨立以單體而加以實施。當然,亦可將任意的複數個本技術加以併用而實施。例如,可以將任一實施形態中所說明的本技術的部分或全部,與其他實施形態中所說明的本技術的部分或全部,加以組合而實施。又,亦可將上述的任意之本技術的部分或全部,與未上述的其他技術加以併用而實施。
此外,本技術係亦可採取如以下之構成。
(1)
一種影像處理裝置,係具備:
點雲生成部,係生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
(2)
如(1)所記載之影像處理裝置,其中,
前記點雲生成部,係
進行前記面與前記向量的交叉判定;
在判定為有交叉的情況下,算出前記交叉點的座標。
(3)
如(2)所記載之影像處理裝置,其中,
前記點雲生成部係進行:彼此垂直之3軸方向之正負之各指向的前記向量、與前記面的交叉判定。
(4)
如(3)所記載之影像處理裝置,其中,
前記點雲生成部,係在複數個交叉點的座標值有重複的情況下,在重複的交叉點群之內,留下任意1個交叉點,並將其他交叉點予以刪除。
(5)
如(2)乃至(4)之任一項所記載之影像處理裝置,其中,
前記點雲生成部係進行:前記開始原點是位於前記面的各頂點之範圍內的前記向量、與前記面的交叉判定。
(6)
如(2)乃至(5)之任一項所記載之影像處理裝置,其中,
前記點雲生成部,係在已算出之前記交叉點的座標是在定界框之外的情況下,將前記交叉點的座標予以限幅成前記定界框內。
(7)
如(2)乃至(6)之任一項所記載之影像處理裝置,其中,
前記點雲生成部,係在已算出之前記交叉點的座標是在定界框之外的情況下,將前記交叉點予以刪除。
(8)
如(2)乃至(7)之任一項所記載之影像處理裝置,其中,
前記點雲生成部,係使用相較於對前記面之端部進行交叉判定時還要稀疏的前記向量,來對前記面之內部進行交叉判定。
(9)
如(2)乃至(8)之任一項所記載之影像處理裝置,其中,
前記點雲生成部,係在前記向量是與複數個前記面交叉,且複數個前記面彼此之間有空間存在的情況下,對前記空間追加點。
(10)
如(2)乃至(9)之任一項所記載之影像處理裝置,其中,
前記點雲生成部,係將針對1個前記面的複數個前記向量之每一者的交叉判定,予以彼此平行地進行。
(11)
如(2)乃至(10)之任一項所記載之影像處理裝置,其中,
前記點雲生成部,係將針對1個前記向量的複數個前記面之每一者的交叉判定,予以彼此平行地進行。
(12)
如(2)乃至(11)之任一項所記載之影像處理裝置,其中,
前記向量,係以對應於指定之體素解析度的位置座標為開始原點。
(13)
如(2)乃至(12)之任一項所記載之影像處理裝置,其中,
前記向量,係以對應於指定之體素解析度之2的乘冪的位置座標為開始原點。
(14)
如(2)乃至(13)之任一項所記載之影像處理裝置,其中,
前記向量之開始原點的彼此垂直之3軸方向之位置,係為彼此獨立。
(15)
如(2)乃至(14)之任一項所記載之影像處理裝置,其中,
前記向量之開始原點的彼此垂直之3軸方向之間隔,係為彼此獨立。
(16)
如(2)乃至(15)之任一項所記載之影像處理裝置,其中,
前記點雲生成部,係將非位於前記交叉點之位置的點,含入至前記點雲資料中。
(17)
如(2)乃至(16)之任一項所記載之影像處理裝置,其中,
還具備:網格形狀復原部,係根據體素資料來復原前記網格之形狀;
前記點雲生成部,係把已被前記網格形狀復原部所復原之前記面與前記向量之交叉點視為點而生成前記點雲資料。
(18)
如(17)所記載之影像處理裝置,其中,
還具備:
可逆解碼部,係將位元串流進行可逆解碼而生成Octree資料;和
Octree解碼部,使用已被前記可逆解碼部所生成之前記Octree資料而生成前記體素資料;
前記網格形狀復原部,係根據已被前記Octree解碼部所生成之前記體素資料來復原前記網格之形狀。
(19)
如(17)所記載之影像處理裝置,其中,
還具備:
位置資訊編碼部,係將點雲資料的位置資訊予以編碼;和
Octree解碼部,係使用前記位置資訊編碼部將前記位置資訊予以編碼之際所生成的Octree資料,來生成前記體素資料。
(20)
一種影像處理方法,係
生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
11:體素
12:面
13:點
21:定界框
22:面
23:箭頭
24:交叉點
100:點雲生成裝置
111:向量設定部
112:交叉判定部
113:輔助處理部
114:輸出部
201:面
202:向量Vi
211:向量Vi
212:面
213:面
221:向量Vi
222:面
223:面
300:解碼裝置
311:可逆解碼部
312:Octree解碼部
313:Mesh形狀復原部
314:Point cloud生成部
315:Attribute解碼部
316:Voxel解碼部
500:編碼裝置
511:Voxel生成部
512:Geometry編碼部
513:Geometry解碼部
514:Attribute編碼部
515:位元串流生成部
521:Octree生成部
522:Mesh生成部
523:可逆編碼部
531:Octree解碼部
532:Mesh形狀復原部
533:Point cloud生成部
534:Voxel解碼部
601:體素
602:面
603:向量Vi
604:點
611:點
900:電腦
901:CPU
902:ROM
903:RAM
904:匯流排
910:輸出入介面
911:輸入部
912:輸出部
913:記憶部
914:通訊部
915:驅動機
921:可移除式媒體
[圖1] 從網格生成點雲所需之處理的說明圖。
[圖2] 從網格生成點雲所需之處理的說明圖。
[圖3] 交叉點之算出之樣子之例子的說明圖。
[圖4] 點雲生成裝置之主要構成例的區塊圖。
[圖5] 點雲生成處理之流程之例子的說明用流程圖。
[圖6] 交叉點導出之樣子之例子的說明圖。
[圖7] 交叉點導出之樣子之例子的說明圖。
[圖8] 交叉點導出之樣子之例子的說明圖。
[圖9] 解碼裝置的主要構成例的區塊圖。
[圖10] 解碼處理的流程之例子的說明用流程圖。
[圖11] 編碼裝置的主要構成例的區塊圖。
[圖12] 編碼處理的流程之例子的說明用流程圖。
[圖13] Triangle soup的可調化之樣子之例子的說明圖。
[圖14] 點生成之樣子之例子的說明圖。
[圖15] 點生成之樣子之例子的說明圖。
[圖16] 點生成之樣子之例子的說明圖。
[圖17] 點生成之樣子之例子的說明圖。
[圖18] 點生成之樣子之例子的說明圖。
[圖19] 點雲生成處理之流程之例子的說明用流程圖。
[圖20] 電腦的主要構成例的區塊圖。
21:定界框
22:面
23:箭頭
24:交叉點
Vi:向量
Claims (20)
- 一種影像處理裝置,係具備: 點雲生成部,係生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
- 如請求項1所記載之影像處理裝置,其中, 前記點雲生成部,係 進行前記面與前記向量的交叉判定; 在判定為有交叉的情況下,算出前記交叉點的座標。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部係進行:彼此垂直之3軸方向之正負之各指向的前記向量、與前記面的交叉判定。
- 如請求項3所記載之影像處理裝置,其中, 前記點雲生成部,係在複數個交叉點的座標值有重複的情況下,在重複的交叉點群之內,留下任意1個交叉點,並將其他交叉點予以刪除。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部係進行:前記開始原點是位於前記面的各頂點之範圍內的前記向量、與前記面的交叉判定。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部,係在已算出之前記交叉點的座標是在定界框之外的情況下,將前記交叉點的座標予以限幅成前記定界框內。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部,係在已算出之前記交叉點的座標是在定界框之外的情況下,將前記交叉點予以刪除。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部,係使用相較於對前記面之端部進行交叉判定時還要稀疏的前記向量,來對前記面之內部進行交叉判定。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部,係在前記向量是與複數個前記面交叉,且複數個前記面彼此之間有空間存在的情況下,對前記空間追加點。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部,係將針對1個前記面的複數個前記向量之每一者的交叉判定,予以彼此平行地進行。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部,係將針對1個前記向量的複數個前記面之每一者的交叉判定,予以彼此平行地進行。
- 如請求項2所記載之影像處理裝置,其中, 前記向量,係以對應於指定之體素解析度的位置座標為開始原點。
- 如請求項2所記載之影像處理裝置,其中, 前記向量,係以對應於指定之體素解析度之2的乘冪的位置座標為開始原點。
- 如請求項2所記載之影像處理裝置,其中, 前記向量之開始原點的彼此垂直之3軸方向之位置,係為彼此獨立。
- 如請求項2所記載之影像處理裝置,其中, 前記向量之開始原點的彼此垂直之3軸方向之間隔,係為彼此獨立。
- 如請求項2所記載之影像處理裝置,其中, 前記點雲生成部,係將非位於前記交叉點之位置的點,含入至前記點雲資料中。
- 如請求項2所記載之影像處理裝置,其中, 還具備:網格形狀復原部,係根據體素資料來復原前記網格之形狀; 前記點雲生成部,係把已被前記網格形狀復原部所復原之前記面與前記向量之交叉點視為點而生成前記點雲資料。
- 如請求項17所記載之影像處理裝置,其中, 還具備: 可逆解碼部,係將位元串流進行可逆解碼而生成Octree資料;和 Octree解碼部,使用已被前記可逆解碼部所生成之前記Octree資料而生成前記體素資料; 前記網格形狀復原部,係根據已被前記Octree解碼部所生成之前記體素資料來復原前記網格之形狀。
- 如請求項17所記載之影像處理裝置,其中, 還具備: 位置資訊編碼部,係將點雲資料的位置資訊予以編碼;和 Octree解碼部,係使用前記位置資訊編碼部將前記位置資訊予以編碼之際所生成的Octree資料,來生成前記體素資料。
- 一種影像處理方法,係 生成由位於網格的面與以對應於指定解析度之位置座標為開始原點的向量之交叉點的點所成之點雲資料。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187482 | 2018-10-02 | ||
JP2018-187482 | 2018-10-02 | ||
JP2019114627 | 2019-06-20 | ||
JP2019-114627 | 2019-06-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202025746A true TW202025746A (zh) | 2020-07-01 |
Family
ID=70054769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108134151A TW202025746A (zh) | 2018-10-02 | 2019-09-23 | 影像處理裝置及方法 |
Country Status (13)
Country | Link |
---|---|
US (2) | US11568602B2 (zh) |
EP (1) | EP3843046A4 (zh) |
JP (1) | JP7424299B2 (zh) |
KR (1) | KR20210070271A (zh) |
CN (1) | CN112771582B (zh) |
AU (1) | AU2019355381A1 (zh) |
BR (1) | BR112021005937A2 (zh) |
CA (1) | CA3115203A1 (zh) |
MX (1) | MX2021003538A (zh) |
PH (1) | PH12021550654A1 (zh) |
SG (1) | SG11202102923PA (zh) |
TW (1) | TW202025746A (zh) |
WO (1) | WO2020071114A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11172224B2 (en) * | 2019-09-03 | 2021-11-09 | Tencent America LLC | Techniques and apparatus for generalized Trisoup geometry coding |
US20220414940A1 (en) * | 2019-10-01 | 2022-12-29 | Sony Group Corporation | Information processing apparatus and method |
US11584448B2 (en) * | 2020-11-12 | 2023-02-21 | Rivian Ip Holdings, Llc | Systems and methods for joining a vehicle structure |
CN114466212A (zh) * | 2022-02-07 | 2022-05-10 | 百度在线网络技术(北京)有限公司 | 一种直播方法、装置、电子设备和介质 |
WO2023167430A1 (ko) * | 2022-03-04 | 2023-09-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0584638A (ja) * | 1991-09-26 | 1993-04-06 | Hitachi Ltd | 曲面加工における逆オフセツト操作の並列処理方法 |
US6126603A (en) * | 1997-05-07 | 2000-10-03 | General Electric Company | Method and apparatus for segmenting color flow mode data using velocity information in three-dimensional ultrasound imaging |
KR100298789B1 (ko) * | 1998-04-29 | 2001-09-06 | 윤종용 | 그래픽 처리에 있어서 클리핑 처리방법 |
WO2003031005A2 (en) | 2001-10-09 | 2003-04-17 | Massachusetts Institute Of Technology | Methods and apparatus for detecting and correcting penetration between objects |
GB0329534D0 (en) * | 2003-12-20 | 2004-01-28 | Ibm | Method for determining the bounding voxelisation of a 3d polygon |
KR100695142B1 (ko) * | 2004-03-08 | 2007-03-14 | 삼성전자주식회사 | 적응적 2의 n 제곱 진트리 생성방법 및 이를 이용한 3차원 체적 데이터 부호화/복호화 방법 및 장치 |
KR100738107B1 (ko) * | 2006-02-15 | 2007-07-12 | 삼성전자주식회사 | 3차원 포인트 기반 모델링 장치 및 방법 |
KR100797400B1 (ko) * | 2006-12-04 | 2008-01-28 | 한국전자통신연구원 | 주성분분석 및 자동상관을 이용한 단백질 구조 비교 장치및 그 방법 |
WO2009130622A1 (en) * | 2008-04-24 | 2009-10-29 | Koninklijke Philips Electronics N.V. | Dose-volume kernel generation |
US8502818B1 (en) * | 2010-07-12 | 2013-08-06 | Nvidia Corporation | System and method for surface tracking |
JP5337776B2 (ja) | 2010-09-24 | 2013-11-06 | 富士フイルム株式会社 | ナノインプリント方法およびそれを利用した基板の加工方法 |
US8849015B2 (en) * | 2010-10-12 | 2014-09-30 | 3D Systems, Inc. | System and apparatus for haptically enabled three-dimensional scanning |
US9159162B2 (en) * | 2011-12-28 | 2015-10-13 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Method and system for generating a multi-dimensional surface model of a geometric structure |
JP5806169B2 (ja) * | 2012-06-21 | 2015-11-10 | トヨタ自動車株式会社 | 設計データ生成装置、その生成方法及びプログラム |
US9805497B2 (en) * | 2013-02-05 | 2017-10-31 | Reuven Bakalash | Collision-culling of lines over polygons |
US20170109462A1 (en) * | 2013-11-27 | 2017-04-20 | Akademia Gorniczo-Hutnicza Im. Stanislawa Staszica W Krakowie | System and a method for determining approximate set of visible objects in beam tracing |
CN105631936A (zh) * | 2014-10-31 | 2016-06-01 | 富泰华工业(深圳)有限公司 | 点云修补方法及系统 |
KR20160071774A (ko) * | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | 영상 처리를 위한 영상 처리 장치, 방법 및 기록 매체 |
JP6361547B2 (ja) * | 2015-03-25 | 2018-07-25 | トヨタ自動車株式会社 | 粒子モデルおよびメッシュモデル間のデータ引き継ぎ方法 |
US10706608B2 (en) * | 2016-01-19 | 2020-07-07 | Nvidia Corporation | Tree traversal with backtracking in constant time |
US10573091B2 (en) | 2017-02-22 | 2020-02-25 | Andre R. Vincelette | Systems and methods to create a virtual object or avatar |
US11514613B2 (en) | 2017-03-16 | 2022-11-29 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
US10825244B1 (en) * | 2017-11-07 | 2020-11-03 | Arvizio, Inc. | Automated LOD construction for point cloud |
-
2019
- 2019-09-18 MX MX2021003538A patent/MX2021003538A/es unknown
- 2019-09-18 CA CA3115203A patent/CA3115203A1/en not_active Abandoned
- 2019-09-18 CN CN201980063608.XA patent/CN112771582B/zh active Active
- 2019-09-18 WO PCT/JP2019/036469 patent/WO2020071114A1/ja active Application Filing
- 2019-09-18 AU AU2019355381A patent/AU2019355381A1/en not_active Abandoned
- 2019-09-18 EP EP19868424.3A patent/EP3843046A4/en active Pending
- 2019-09-18 US US17/278,497 patent/US11568602B2/en active Active
- 2019-09-18 BR BR112021005937-7A patent/BR112021005937A2/pt not_active Application Discontinuation
- 2019-09-18 KR KR1020217007109A patent/KR20210070271A/ko unknown
- 2019-09-18 JP JP2020550268A patent/JP7424299B2/ja active Active
- 2019-09-18 SG SG11202102923PA patent/SG11202102923PA/en unknown
- 2019-09-23 TW TW108134151A patent/TW202025746A/zh unknown
-
2021
- 2021-03-23 PH PH12021550654A patent/PH12021550654A1/en unknown
-
2022
- 2022-12-21 US US18/086,027 patent/US11922579B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
SG11202102923PA (en) | 2021-04-29 |
US11922579B2 (en) | 2024-03-05 |
JP7424299B2 (ja) | 2024-01-30 |
CN112771582B (zh) | 2024-01-12 |
US11568602B2 (en) | 2023-01-31 |
EP3843046A4 (en) | 2021-10-27 |
EP3843046A1 (en) | 2021-06-30 |
PH12021550654A1 (en) | 2022-02-21 |
MX2021003538A (es) | 2021-05-27 |
BR112021005937A2 (pt) | 2021-06-29 |
CA3115203A1 (en) | 2020-04-09 |
JPWO2020071114A1 (ja) | 2021-09-09 |
KR20210070271A (ko) | 2021-06-14 |
CN112771582A (zh) | 2021-05-07 |
WO2020071114A1 (ja) | 2020-04-09 |
US20220036654A1 (en) | 2022-02-03 |
US20230126000A1 (en) | 2023-04-27 |
AU2019355381A1 (en) | 2021-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TW202025746A (zh) | 影像處理裝置及方法 | |
JP7384159B2 (ja) | 画像処理装置および方法 | |
JP7359153B2 (ja) | 画像処理装置および方法 | |
WO2019198523A1 (ja) | 画像処理装置および方法 | |
KR102627189B1 (ko) | 2차원 포인트 클라우드들을 인코딩 및 디코딩하기 위한 방법 및 장치 | |
TWI815842B (zh) | 影像處理裝置及方法 | |
JP4759291B2 (ja) | 適応的2n進ツリーの生成方法、ならびにそれを利用して3次元体積データを符号化/復号化する方法および装置 | |
US7925103B2 (en) | Adaptive 2n-ary tree generating method, and method and apparatus for encoding and decoding 3D volume data using it | |
WO2021065536A1 (ja) | 情報処理装置および方法 | |
WO2019142665A1 (ja) | 情報処理装置および方法 | |
US20190037234A1 (en) | Method and apparatus for encoding or decoding video content including regions having looping videos of different loop lengths | |
US20220180567A1 (en) | Method and apparatus for point cloud coding | |
TW202015398A (zh) | 影像處理裝置及方法 | |
US20220007000A1 (en) | Method for processing immersive video and method for producing immversive video | |
US11790567B2 (en) | Information processing apparatus and method | |
JP7415937B2 (ja) | 画像処理装置および方法 | |
WO2020262020A1 (ja) | 情報処理装置および方法 | |
US20240135594A1 (en) | Adaptive geometry filtering for mesh compression | |
Santa-Cruz et al. | Compression of parametric surfaces for efficient 3D model coding | |
WO2022230941A1 (ja) | 情報処理装置および方法 | |
KR20230052944A (ko) | 동적 메시 압축을 위한 2d uv 아틀라스 샘플링 기반 방법 |