JPWO2020071114A1 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JPWO2020071114A1 JPWO2020071114A1 JP2020550268A JP2020550268A JPWO2020071114A1 JP WO2020071114 A1 JPWO2020071114 A1 JP WO2020071114A1 JP 2020550268 A JP2020550268 A JP 2020550268A JP 2020550268 A JP2020550268 A JP 2020550268A JP WO2020071114 A1 JPWO2020071114 A1 JP WO2020071114A1
- Authority
- JP
- Japan
- Prior art keywords
- point cloud
- intersection
- image processing
- data
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title abstract description 99
- 239000013598 vector Substances 0.000 claims abstract description 158
- 238000003672 processing method Methods 0.000 claims abstract description 5
- 238000005516 engineering process Methods 0.000 description 26
- 230000000694 effects Effects 0.000 description 12
- 230000002441 reversible effect Effects 0.000 description 10
- 235000014347 soups Nutrition 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000009795 derivation Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000007788 roughening Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/08—Bandwidth reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
Description
1.ポイントクラウドの生成
2.第1の実施の形態(ポイントクラウド生成装置)
3.第2の実施の形態(復号装置)
4.第3の実施の形態(符号化装置)
5.第4の実施の形態(Triangle soupのスケーラブル化)
6.付記
<技術内容・技術用語をサポートする文献等>
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
非特許文献2:(上述)
非特許文献3:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献4:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
非特許文献5:Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
従来、点群の位置情報や属性情報等により3次元構造を表すポイントクラウド(Point cloud)や、頂点、エッジ、面で構成され、多角形表現を使用して3次元形状を定義するメッシュ(Mesh)等の3Dデータが存在した。
このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル(Voxel)を用いた符号化方法が考えられた。ボクセルは、符号化対象の位置情報を量子化するための3次元領域である。
さらに、このようなボクセル(Voxel)データを用いてOctreeを構築することが考えられた。Octreeは、ボクセルデータを木構造化したものである。このOctreeの最下位のノードの各ビットの値が、各ボクセルのポイントの有無を示す。例えば、値「1」がポイントを内包するボクセルを示し、値「0」がポイントを内包しないボクセルを示す。Octreeでは、1ノードが8つのボクセルに対応する。つまり、Octreeの各ノードは、8ビットのデータにより構成され、その8ビットが8つのボクセルのポイントの有無を示す。
近年、例えば非特許文献2に記載のように、対象3Dオブジェクトをボクセル(Voxel)化した後、Octree符号化とメッシュ(Mesh)符号化(Triangle soup)を組み合わせて符号化することが提案された。
そこで、出力ポイントクラウドの解像度が、入力ポイントクラウドをボクセル化した解像度と同じであることを利用して、ボクセルの判定回数を限定することで高速にポイントクラウドを生成するようにする。
次に、このポイントクラウドの導出方法についてより具体的に説明する。まず、図2の例のように、符号化対象のデータを含むバウンディングボックス(Bounding box)の辺と、同じ方向および同じ長さを持つベクトルViを間隔k*dで生成する。図2においては、バウンディングボックス21内に存在するメッシュの面22に対して、矢印23で示されるようなベクトルViが設定される。dは、バウンディングボックスをボクセル化する際の量子化サイズである。kは任意の自然数である。つまり、指定のボクセル解像度に対応する位置座標を開始原点とするベクトルViが設定される。
なお、交差判定および座標値算出の方法は任意である。例えば、図3のようにクラメルの公式を用いて求めるようにしてもよい。例えば、Pは交点座標、originはレイの座標、rayは方向ベクトル、t はスカラー値として、レイを通る交点を直線式で以下のように表す。
<ポイントクラウド生成装置>
次に、以上のような処理を実現する構成について説明する。図4は、本技術を適用した画像処理装置の一態様であるポイントクラウド生成装置の構成の一例を示すブロック図である。図4に示されるポイントクラウド生成装置100は、<1.ポイントクラウドの生成>において説明したように、メッシュからポイントクラウドを生成する装置である。
次に、このポイントクラウド生成装置100により実行されるポイントクラウド生成処理の流れの例を、図5のフローチャートを参照して説明する。
なお、以上のような交差判定において、面の端部に対する交差判定の場合よりも疎なベクトルViを用いて、面の内部に対する交差判定を行うようにしてもよい。例えば、図6の例のように、面201に対して、ベクトルVi202−1乃至ベクトルVi202−8を用いて交差判定を行うようにしてもよい。この例において、ベクトルVi202−1乃至ベクトルVi202−8の間隔は、ベクトルVi202−1乃至ベクトルVi202−3と、ベクトルVi202−6乃至ベクトルVi202−8が狭い。換言するに、ベクトルVi202−3乃至ベクトルVi202−6の間隔がその他ベクトルViの間隔に比べて広く設定されている。つまり、面201の端部に対する交差判定に用いられるベクトルVi202−1乃至ベクトルVi202−3、並びに、ベクトルVi202−6乃至ベクトルVi202−8の間隔が狭く設定され(密である)、面201の内部に対する交差判定に用いられるベクトルVi202−3乃至ベクトルVi202−6の間隔が広く設定されている(疎である)。
また、一度交差判定を行った座標は2度計算しないようにしてもよい。例えば、図7の例のように、1つのベクトルVi211に対して、複数のメッシュの面(面212および面213)がある場合に、1つのベクトルVi211に対し、同時に交差判定をすることで、処理をより高速化することができる。
また、図8に示されるように、1つのベクトルVi221が複数の三角形(面222および面223)と交わり、かつその三角形の間に空間がある場合、その空間にポイント(図中、黒点)を生成することで穴埋め(デノイズ)を行うようにしてもよい。このようにすることにより、より高精度なポイントクラウドを生成することができる。つまり、その表示画像の画質の低減を抑制することができる(典型的には、画質を向上させることができる)。
なお、以上のような交差判定は、複数の処理を並列に行うようにしてもよい。例えば、メッシュの1つの面に対する複数のベクトルの交差判定を互いに並列に処理する(並行して処理を行う)ようにしてもよい。つまり、ベクトル毎に処理を独立に行うようにしてもよい。このようにすることにより、より高速に交差判定を行うことができる。
<復号装置>
図9は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図9に示される復号装置300は、後述する図11の符号化装置500に対応する復号装置であり、例えばこの符号化装置500により生成されたビットストリームを復号し、ポイントクラウドのデータを復元する装置である。
次に、図10のフローチャートを参照して、復号装置300により実行される復号処理の流れの例を説明する。
<符号化装置>
図11は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図11に示される符号化装置500は、ポイントクラウドのような3Dデータをボクセル(Voxel)およびOctreeを用いて符号化する装置である。
Geometry符号化部512は、Octree生成部521、Mesh生成部522、および可逆符号化部523を有する。
Geometry復号部513は、Octree復号部531、Mesh形状復元部532、およびPoint cloud生成部533を有する。
次に、図12のフローチャートを参照して、符号化装置500により実行される符号化処理の流れの例を説明する。
<Triangle soupのスケーラブル化>
以上においては、Triangle soupにおいて、指定のボクセル解像度に対応する位置座標を開始原点とするベクトルとメッシュの面との交差点にポイントが生成され、ポイントクラウドデータが生成されるように説明した。これに限らず、メッシュから任意の解像度でポイントクラウドデータの生成するようにしてもよい。
例えば、図14の場合、図中縦方向のベクトルVi603も、図中横方向のベクトルVi603も、共に、図中に示される識別番号0、2、4、6、8のベクトルVi603が、1階層上位のベクトルVi603として採用されている。換言するに、1階層上位においては、図中に示される識別番号1、3、5、7のベクトルVi603(点線で示されるベクトルVi603)が間引かれている。
例えば、図14や図15の場合、1階層上位においては、図中縦方向のベクトルVi603も、図中横方向のベクトルVi603も、共に、半数のベクトルが間引かれている。つまり、ベクトルViの間隔dが、図中縦方向と横方向とで互いに同一である。
なお、ベクトルViとメッシュの面との交差点の一部においてポイントを生成するようにしてもよい。換言するに、交差点であってもポイントを生成しなくてもよい。つまり、ポイントを生成する交差点の数を低減させることにより、ポイントクラウドの低解像度化を実現する(すなわち、解像度のスケーラビリティを実現する)ようにしてもよい。
ベクトルViとメッシュの面との交差点に位置しないポイントを生成し、ポイントクラウドデータに含めるようにしてもよい。例えば、図18に示されるように、交差点でなくても、ベクトルVi上の、メッシュの面602(三角形)の各辺に近似する位置にポイント611を生成し、ポイントクラウドデータに含めるようにしてもよい。図18において、1つの点のみ符号を付してあるが、白い丸で示されるポイントは全て上述のように生成されたポイント611である。
本実施の形態において上述した各手法は、任意の複数の手法を組み合わせて適用することができる。また、本実施の形態において上述した各手法は、<ポイントクラウドの生成>において上述した任意の手法とも組み合わせて適用することができる。
また、本明細書において上述した各手法の一部または全部の中から、所望の手法(またはその組み合わせ)が選択され、適用されるようにしてもよい。その場合、その選択方法は任意である。例えば、全ての適用パタンを評価し、最善を選択するようにしてもよい。このようにすることにより、3次元構造等に最も適した手法によりポイントクラウドデータを生成することができる。
本実施の形態において上述した各手法も、<1.ポイントクラウドの生成>において説明した各手法と同様に、第1の実施の形態において上述したポイントクラウド生成装置100に適用することができる。その場合のポイントクラウド生成装置100の構成は、図4を参照して説明した場合と同様である。
また、本実施の形態において上述した各手法は、<1.ポイントクラウドの生成>において説明した各手法と同様に、第2の実施の形態において上述した復号装置300に適用することができる。その場合の復号装置300の構成は、図9を参照して説明した場合と同様である。
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の3Dデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、3Dデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
(1) メッシュの面と指定解像度に対応する位置座標を開始原点とするベクトルとの交差点にポイントを配置することによりポイントクラウドデータを生成するポイントクラウド生成部
を備える画像処理装置。
(2) 前記ポイントクラウド生成部は、
前記面と前記ベクトルとの交差判定を行い、
交差すると判定された場合、前記交差点の座標を算出する
(1)に記載の画像処理装置。
(3) 前記ポイントクラウド生成部は、互いに垂直な3軸方向の正負それぞれの向きの前記ベクトルと、前記面との交差判定を行う
(2)に記載の画像処理装置。
(4) 前記ポイントクラウド生成部は、複数の交差点の座標値が重複する場合、重複する交差点群の内、いずれか1つの交差点を残し、その他の交差点を削除する
(3)に記載の画像処理装置。
(5) 前記ポイントクラウド生成部は、前記開始原点が前記面の各頂点の範囲内に位置する前記ベクトルと、前記面との交差判定を行う
(2)乃至(4)のいずれかに記載の画像処理装置。
(6) 前記ポイントクラウド生成部は、算出した前記交差点の座標がバウンディングボックスの外である場合、前記交差点の座標を前記バウンディングボックス内にクリップする
(2)乃至(5)のいずれかに記載の画像処理装置。
(7) 前記ポイントクラウド生成部は、算出した前記交差点の座標がバウンディングボックスの外である場合、前記交差点を削除する
(2)乃至(6)のいずれかに記載の画像処理装置。
(8) 前記ポイントクラウド生成部は、前記面の端部に対する交差判定の場合よりも疎な前記ベクトルを用いて、前記面の内部に対する交差判定を行う
(2)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記ポイントクラウド生成部は、前記ベクトルが複数の前記面と交差し、かつ、複数の前記面同士の間に空間が存在する場合、前記空間にポイントを追加する
(2)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記ポイントクラウド生成部は、1つの前記面に対する複数の前記ベクトルのそれぞれの交差判定を、互いに並列に行う
(2)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記ポイントクラウド生成部は、1つの前記ベクトルに対する複数の前記面のそれぞれの交差判定を、互いに並列に行う
(2)乃至(10)のいずれかに記載の画像処理装置。
(12) 前記ベクトルは、指定のボクセル解像度に対応する位置座標を開始原点とする
(2)乃至(11)のいずれかに記載の画像処理装置。
(13) 前記ベクトルは、指定のボクセル解像度の2のべき乗に対応する位置座標を開始原点とする
(2)乃至(12)のいずれかに記載の画像処理装置。
(14)
前記ベクトルの開始原点の互いに垂直な3軸方向の位置は、互いに独立している
(2)乃至(13)のいずれかに記載の画像処理装置。
(15) 前記ベクトルの開始原点の互いに垂直な3軸方向の間隔は、互いに独立している
(2)乃至(14)のいずれかに記載の画像処理装置。
(16) 前記ポイントクラウド生成部は、前記交差点に位置しないポイントを前記ポイントクラウドデータに含める
(2)乃至(15)のいずれかに記載の画像処理装置。
(17) ボクセルデータから前記メッシュの形状を復元するメッシュ形状復元部をさらに備え、
前記ポイントクラウド生成部は、前記メッシュ形状復元部により復元された前記面と前記ベクトルとの交差点をポイントとして前記ポイントクラウドデータを生成する
(2)乃至(16)のいずれかに記載の画像処理装置。
(18) ビットストリームを可逆復号してOctreeデータを生成する可逆復号部と、
前記可逆復号部により生成された前記Octreeデータを用いて前記ボクセルデータを生成するOctree復号部と
をさらに備え、
前記メッシュ形状復元部は、前記Octree復号部により生成された前記ボクセルデータから前記メッシュの形状を復元する
(17)に記載の画像処理装置。
(19) ポイントクラウドデータの位置情報を符号化する位置情報符号化部と、
前記位置情報符号化部が前記位置情報を符号化する際に生成したOctreeデータを用いて前記ボクセルデータを生成するOctree復号部と
をさらに備える
(17)に記載の画像処理装置。
(20) メッシュの面と指定解像度に対応する位置座標を開始原点とするベクトルとの交差点にポイントを配置することによりポイントクラウドデータを生成する
画像処理方法。
Claims (20)
- メッシュの面と指定解像度に対応する位置座標を開始原点とするベクトルとの交差点にポイントを配置することによりポイントクラウドデータを生成するポイントクラウド生成部
を備える画像処理装置。 - 前記ポイントクラウド生成部は、
前記面と前記ベクトルとの交差判定を行い、
交差すると判定された場合、前記交差点の座標を算出する
請求項1に記載の画像処理装置。 - 前記ポイントクラウド生成部は、互いに垂直な3軸方向の正負それぞれの向きの前記ベクトルと、前記面との交差判定を行う
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、複数の交差点の座標値が重複する場合、重複する交差点群の内、いずれか1つの交差点を残し、その他の交差点を削除する
請求項3に記載の画像処理装置。 - 前記ポイントクラウド生成部は、前記開始原点が前記面の各頂点の範囲内に位置する前記ベクトルと、前記面との交差判定を行う
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、算出した前記交差点の座標がバウンディングボックスの外である場合、前記交差点の座標を前記バウンディングボックス内にクリップする
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、算出した前記交差点の座標がバウンディングボックスの外である場合、前記交差点を削除する
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、前記面の端部に対する交差判定の場合よりも疎な前記ベクトルを用いて、前記面の内部に対する交差判定を行う
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、前記ベクトルが複数の前記面と交差し、かつ、複数の前記面同士の間に空間が存在する場合、前記空間にポイントを追加する
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、1つの前記面に対する複数の前記ベクトルのそれぞれの交差判定を、互いに並列に行う
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、1つの前記ベクトルに対する複数の前記面のそれぞれの交差判定を、互いに並列に行う
請求項2に記載の画像処理装置。 - 前記ベクトルは、指定のボクセル解像度に対応する位置座標を開始原点とする
請求項2に記載の画像処理装置。 - 前記ベクトルは、指定のボクセル解像度の2のべき乗に対応する位置座標を開始原点とする
請求項2に記載の画像処理装置。 - 前記ベクトルの開始原点の互いに垂直な3軸方向の位置は、互いに独立している
請求項2に記載の画像処理装置。 - 前記ベクトルの開始原点の互いに垂直な3軸方向の間隔は、互いに独立している
請求項2に記載の画像処理装置。 - 前記ポイントクラウド生成部は、前記交差点に位置しないポイントを前記ポイントクラウドデータに含める
請求項2に記載の画像処理装置。 - ボクセルデータから前記メッシュの形状を復元するメッシュ形状復元部をさらに備え、
前記ポイントクラウド生成部は、前記メッシュ形状復元部により復元された前記面と前記ベクトルとの交差点をポイントとして前記ポイントクラウドデータを生成する
請求項2に記載の画像処理装置。 - ビットストリームを可逆復号してOctreeデータを生成する可逆復号部と、
前記可逆復号部により生成された前記Octreeデータを用いて前記ボクセルデータを生成するOctree復号部と
をさらに備え、
前記メッシュ形状復元部は、前記Octree復号部により生成された前記ボクセルデータから前記メッシュの形状を復元する
請求項17に記載の画像処理装置。 - ポイントクラウドデータの位置情報を符号化する位置情報符号化部と、
前記位置情報符号化部が前記位置情報を符号化する際に生成したOctreeデータを用いて前記ボクセルデータを生成するOctree復号部と
をさらに備える
請求項17に記載の画像処理装置。 - メッシュの面と指定解像度に対応する位置座標を開始原点とするベクトルとの交差点にポイントを配置することによりポイントクラウドデータを生成する
画像処理方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187482 | 2018-10-02 | ||
JP2018187482 | 2018-10-02 | ||
JP2019114627 | 2019-06-20 | ||
JP2019114627 | 2019-06-20 | ||
PCT/JP2019/036469 WO2020071114A1 (ja) | 2018-10-02 | 2019-09-18 | 画像処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020071114A1 true JPWO2020071114A1 (ja) | 2021-09-09 |
JP7424299B2 JP7424299B2 (ja) | 2024-01-30 |
Family
ID=70054769
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020550268A Active JP7424299B2 (ja) | 2018-10-02 | 2019-09-18 | 画像処理装置および方法 |
Country Status (13)
Country | Link |
---|---|
US (2) | US11568602B2 (ja) |
EP (1) | EP3843046A4 (ja) |
JP (1) | JP7424299B2 (ja) |
KR (1) | KR20210070271A (ja) |
CN (1) | CN112771582B (ja) |
AU (1) | AU2019355381A1 (ja) |
BR (1) | BR112021005937A2 (ja) |
CA (1) | CA3115203A1 (ja) |
MX (1) | MX2021003538A (ja) |
PH (1) | PH12021550654A1 (ja) |
SG (1) | SG11202102923PA (ja) |
TW (1) | TW202025746A (ja) |
WO (1) | WO2020071114A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11172224B2 (en) * | 2019-09-03 | 2021-11-09 | Tencent America LLC | Techniques and apparatus for generalized Trisoup geometry coding |
WO2021065536A1 (ja) * | 2019-10-01 | 2021-04-08 | ソニー株式会社 | 情報処理装置および方法 |
US11584448B2 (en) * | 2020-11-12 | 2023-02-21 | Rivian Ip Holdings, Llc | Systems and methods for joining a vehicle structure |
US20230014820A1 (en) | 2021-07-19 | 2023-01-19 | Tencent America LLC | Methods and apparatuses for dynamic mesh compression |
CN114466212A (zh) * | 2022-02-07 | 2022-05-10 | 百度在线网络技术(北京)有限公司 | 一种直播方法、装置、电子设备和介质 |
WO2023167430A1 (ko) * | 2022-03-04 | 2023-09-07 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0584638A (ja) * | 1991-09-26 | 1993-04-06 | Hitachi Ltd | 曲面加工における逆オフセツト操作の並列処理方法 |
JP2012069762A (ja) * | 2010-09-24 | 2012-04-05 | Fujifilm Corp | ナノインプリント方法およびそれを利用した基板の加工方法 |
JP2014002696A (ja) * | 2012-06-21 | 2014-01-09 | Toyota Motor Corp | 設計データ生成装置、その生成方法及びプログラム |
JP2016184245A (ja) * | 2015-03-25 | 2016-10-20 | トヨタ自動車株式会社 | 粒子モデルおよびメッシュモデル間のデータ引き継ぎ方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6126603A (en) * | 1997-05-07 | 2000-10-03 | General Electric Company | Method and apparatus for segmenting color flow mode data using velocity information in three-dimensional ultrasound imaging |
KR100298789B1 (ko) * | 1998-04-29 | 2001-09-06 | 윤종용 | 그래픽 처리에 있어서 클리핑 처리방법 |
WO2003031005A2 (en) | 2001-10-09 | 2003-04-17 | Massachusetts Institute Of Technology | Methods and apparatus for detecting and correcting penetration between objects |
GB0329534D0 (en) * | 2003-12-20 | 2004-01-28 | Ibm | Method for determining the bounding voxelisation of a 3d polygon |
KR100695142B1 (ko) * | 2004-03-08 | 2007-03-14 | 삼성전자주식회사 | 적응적 2의 n 제곱 진트리 생성방법 및 이를 이용한 3차원 체적 데이터 부호화/복호화 방법 및 장치 |
KR100738107B1 (ko) * | 2006-02-15 | 2007-07-12 | 삼성전자주식회사 | 3차원 포인트 기반 모델링 장치 및 방법 |
KR100797400B1 (ko) * | 2006-12-04 | 2008-01-28 | 한국전자통신연구원 | 주성분분석 및 자동상관을 이용한 단백질 구조 비교 장치및 그 방법 |
WO2009130622A1 (en) * | 2008-04-24 | 2009-10-29 | Koninklijke Philips Electronics N.V. | Dose-volume kernel generation |
US8502818B1 (en) * | 2010-07-12 | 2013-08-06 | Nvidia Corporation | System and method for surface tracking |
US8849015B2 (en) * | 2010-10-12 | 2014-09-30 | 3D Systems, Inc. | System and apparatus for haptically enabled three-dimensional scanning |
US9159162B2 (en) * | 2011-12-28 | 2015-10-13 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Method and system for generating a multi-dimensional surface model of a geometric structure |
US9805497B2 (en) * | 2013-02-05 | 2017-10-31 | Reuven Bakalash | Collision-culling of lines over polygons |
US20170109462A1 (en) * | 2013-11-27 | 2017-04-20 | Akademia Gorniczo-Hutnicza Im. Stanislawa Staszica W Krakowie | System and a method for determining approximate set of visible objects in beam tracing |
CN105631936A (zh) * | 2014-10-31 | 2016-06-01 | 富泰华工业(深圳)有限公司 | 点云修补方法及系统 |
KR20160071774A (ko) * | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | 영상 처리를 위한 영상 처리 장치, 방법 및 기록 매체 |
US10706608B2 (en) * | 2016-01-19 | 2020-07-07 | Nvidia Corporation | Tree traversal with backtracking in constant time |
US10573091B2 (en) * | 2017-02-22 | 2020-02-25 | Andre R. Vincelette | Systems and methods to create a virtual object or avatar |
US11514613B2 (en) * | 2017-03-16 | 2022-11-29 | Samsung Electronics Co., Ltd. | Point cloud and mesh compression using image/video codecs |
US10825244B1 (en) * | 2017-11-07 | 2020-11-03 | Arvizio, Inc. | Automated LOD construction for point cloud |
-
2019
- 2019-09-18 BR BR112021005937-7A patent/BR112021005937A2/pt not_active Application Discontinuation
- 2019-09-18 SG SG11202102923PA patent/SG11202102923PA/en unknown
- 2019-09-18 MX MX2021003538A patent/MX2021003538A/es unknown
- 2019-09-18 KR KR1020217007109A patent/KR20210070271A/ko unknown
- 2019-09-18 JP JP2020550268A patent/JP7424299B2/ja active Active
- 2019-09-18 EP EP19868424.3A patent/EP3843046A4/en active Pending
- 2019-09-18 WO PCT/JP2019/036469 patent/WO2020071114A1/ja active Application Filing
- 2019-09-18 CN CN201980063608.XA patent/CN112771582B/zh active Active
- 2019-09-18 CA CA3115203A patent/CA3115203A1/en not_active Abandoned
- 2019-09-18 US US17/278,497 patent/US11568602B2/en active Active
- 2019-09-18 AU AU2019355381A patent/AU2019355381A1/en not_active Abandoned
- 2019-09-23 TW TW108134151A patent/TW202025746A/zh unknown
-
2021
- 2021-03-23 PH PH12021550654A patent/PH12021550654A1/en unknown
-
2022
- 2022-12-21 US US18/086,027 patent/US11922579B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0584638A (ja) * | 1991-09-26 | 1993-04-06 | Hitachi Ltd | 曲面加工における逆オフセツト操作の並列処理方法 |
JP2012069762A (ja) * | 2010-09-24 | 2012-04-05 | Fujifilm Corp | ナノインプリント方法およびそれを利用した基板の加工方法 |
JP2014002696A (ja) * | 2012-06-21 | 2014-01-09 | Toyota Motor Corp | 設計データ生成装置、その生成方法及びプログラム |
JP2016184245A (ja) * | 2015-03-25 | 2016-10-20 | トヨタ自動車株式会社 | 粒子モデルおよびメッシュモデル間のデータ引き継ぎ方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020071114A1 (ja) | 2020-04-09 |
SG11202102923PA (en) | 2021-04-29 |
CA3115203A1 (en) | 2020-04-09 |
PH12021550654A1 (en) | 2022-02-21 |
BR112021005937A2 (pt) | 2021-06-29 |
US11922579B2 (en) | 2024-03-05 |
EP3843046A4 (en) | 2021-10-27 |
JP7424299B2 (ja) | 2024-01-30 |
US11568602B2 (en) | 2023-01-31 |
KR20210070271A (ko) | 2021-06-14 |
MX2021003538A (es) | 2021-05-27 |
US20230126000A1 (en) | 2023-04-27 |
AU2019355381A1 (en) | 2021-05-20 |
EP3843046A1 (en) | 2021-06-30 |
CN112771582B (zh) | 2024-01-12 |
US20220036654A1 (en) | 2022-02-03 |
TW202025746A (zh) | 2020-07-01 |
CN112771582A (zh) | 2021-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7424299B2 (ja) | 画像処理装置および方法 | |
JP7384159B2 (ja) | 画像処理装置および方法 | |
WO2019198523A1 (ja) | 画像処理装置および方法 | |
WO2019142666A1 (ja) | 画像処理装置および方法 | |
JPWO2020066680A1 (ja) | 画像処理装置および方法 | |
WO2021065536A1 (ja) | 情報処理装置および方法 | |
JPWO2020012968A1 (ja) | 画像処理装置および方法 | |
WO2019142665A1 (ja) | 情報処理装置および方法 | |
US20210168394A1 (en) | Image processing apparatus and method | |
JPWO2020071115A1 (ja) | 画像処理装置および方法 | |
WO2020145143A1 (ja) | 情報処理装置および方法 | |
WO2021002214A1 (ja) | 情報処理装置および方法 | |
US11790567B2 (en) | Information processing apparatus and method | |
JP2022063882A (ja) | 情報処理装置および方法、並びに、再生装置および方法 | |
WO2022230941A1 (ja) | 情報処理装置および方法 | |
WO2020262020A1 (ja) | 情報処理装置および方法 | |
WO2021261237A1 (ja) | 情報処理装置および方法 | |
Santa-Cruz et al. | Compression of parametric surfaces for efficient 3D model coding | |
US20240135594A1 (en) | Adaptive geometry filtering for mesh compression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240101 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7424299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |