JP7384159B2 - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP7384159B2 JP7384159B2 JP2020530095A JP2020530095A JP7384159B2 JP 7384159 B2 JP7384159 B2 JP 7384159B2 JP 2020530095 A JP2020530095 A JP 2020530095A JP 2020530095 A JP2020530095 A JP 2020530095A JP 7384159 B2 JP7384159 B2 JP 7384159B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- point cloud
- processing
- representative value
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 386
- 238000000034 method Methods 0.000 title description 156
- 230000005540 biological transmission Effects 0.000 claims description 42
- 238000009795 derivation Methods 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 description 155
- 230000008569 process Effects 0.000 description 82
- 238000000354 decomposition reaction Methods 0.000 description 38
- 238000005516 engineering process Methods 0.000 description 36
- 238000010586 diagram Methods 0.000 description 26
- 238000012856 packing Methods 0.000 description 24
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 238000013459 approach Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 12
- 238000003786 synthesis reaction Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 238000001914 filtration Methods 0.000 description 11
- 230000011218 segmentation Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
1.フィルタ処理の高速化
2.第1の実施の形態(符号化装置)
3.第2の実施の形態(復号装置)
4.変形例
5.付記
<技術内容・技術用語をサポートする文献等>
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
非特許文献2:(上述)
非特許文献3:(上述)
非特許文献4:(上述)
非特許文献5:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献6:TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU(International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
非特許文献7:Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
従来、点群の位置情報や属性情報等により3次元構造を表すポイントクラウドや、頂点、エッジ、面で構成され、多角形表現を使用して3次元形状を定義するメッシュ等のデータが存在した。
このようなポイントクラウドの位置と色情報それぞれを、小領域毎に2次元平面に投影し、2次元画像用の符号化方法で符号化するビデオベースドアプローチ(Video-based approach)が提案されている。
ビデオベースドアプローチにより、3Dデータを2次元平面に投影する場合、上述のように位置情報が投影された2次元平面画像(ジオメトリ(Geometry)画像とも称する)と、属性情報が投影された2次元平面画像(テクスチャ(Texture)画像とも称する)との他に、オキュパンシーマップが生成される。オキュパンシーマップは、2次元平面の各位置における、位置情報および属性情報の有無を示すマップ情報である。より具体的には、オキュパンシーマップでは、その位置情報および属性情報の有無が、プレシジョン(Precision)と称する領域毎に示される。
<#1.局所領域毎の代表値を用いた高速化>
そこで3次元の平滑化フィルタ処理を高速化する。例えば図2の#1の段に示されるように、3次元空間を局所領域に分割し、その局所領域毎にポイントクラウドの代表値を求め、フィルタ処理における参照値としてその局所領域毎の代表値を用いるようにする。
3次元空間の分割の仕方(局所領域の分割方式)は、任意である。例えば図6の表のID欄が「1」の行のように、3次元空間を一様にN×N×Nの立方体領域に分割するようにしてもよい。このようにすることにより、3次元空間を容易に局所領域に分割することができるので、フィルタ処理の処理時間の増大を抑制する(フィルタ処理をより高速化する)ことができる。
また、このような局所領域のパラメータの設定方法および内容は、任意である。例えば図7の表のID欄が「1」の行のように、3次元空間を分割する局所領域の形状やサイズ(例えば、図6のL、M、N等)を固定値としてもよい。例えば、規格等によりこの値を予め設定するようにしてもよい。このようにすることにより、局所領域の形状やサイズの設定を省略することができるので、フィルタ処理をより高速化することができる。
また、フィルタ処理についての情報は、符号化側から復号側に伝送するようにしてもよいし、伝送しなくてもよい。例えば図8の表のID欄が「1」の行のように、フィルタ処理に関する全てのパラメータが規格等により予め設定されているようにし、フィルタ処理についての情報の伝送は行わないようにしてもよい。このようにすることにより、伝送する情報量が低減するので、符号化効率を向上させることができる。また、パラメータの導出がふようであるので、フィルタ処理の負荷を軽減させることができ、フィルタ処理をより高速化することができる。
フィルタ処理の対象は任意である。例えば図9の表のID欄が「1」の行のように、ポイントクラウドの位置情報を対象としてもよい。つまり、処理対象ポイントの位置情報に対して3次元の平滑化フィルタ処理を行うようにする。このようにすることにより、ポイントクラウドの各ポイントの位置の平滑化を実現することができる。
各局所領域の代表値の導出方法は任意である。例えば図10の表のID欄が「1」の行のように、局所領域内部の(局所領域が包含する)ポイントのデータの平均値(average)を代表値とするようにしてもよい。平均(average)の算出は容易な演算により可能であるので、このようにすることにより、より高速に代表値を算出することができる。すなわち、フィルタ処理をより高速化することができる。
フィルタ処理(3次元の平滑化フィルタ)の演算は任意である。例えば図11の表のID欄が「1」の行のように、トリリニア(Trilinear)補間を用いるようにしてもよい。トリリニア補間は、処理速度と処理結果の質のバランスが良い。また、例えば図11の表のID欄が「2」の行のように、トリキュービック(Tricubic)補間を用いるようにしてもよい。トリキュービック補間は、トリリニア補間よりも質の高い処理結果を得ることができる。さらに、例えば図11の表のID欄が「3」の行のように、最近傍探索(NN)を用いるようにしてもよい。この方法は、トリリニア補間よりも高速に処理結果を得ることができる。もちろん、これら以外の任意の演算により3次元の平滑化フィルタを実現するようにしてもよい。
また、図2の#2の段に示されるように、部分領域に限定してフィルタ処理を行うようにしてもよい。図12はオキュパンシーマップの例を示す図である。図12に示されるオキュパンシーマップ51において、白色の部分が、ポイントクラウドの位置情報を2次元平面に投影したジオメトリ画像や、ポイントクラウドの属性情報を2次元平面に投影したテクスチャ画像におけるデータが存在する領域(プレシジョン)を示し、黒色の部分が、ジオメトリ画像やテクスチャ画像におけるデータが存在しない領域を示す。つまり、白色の部分が、ポイントクラウドのパッチが投影された領域を示し、黒色の部分が、ポイントクラウドのパッチが投影されていない領域を示す。
<符号化装置>
次に、以上のような各手法を実現する構成について説明する。図16は、本技術を適用した画像処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図16に示される符号化装置100は、ポイントクラウドのような3Dデータを2次元平面に投影して2次元画像用の符号化方法により符号化を行う装置(ビデオベースドアプローチを適用した符号化装置)である。
図17は、図16のパッチ分解部111の主な構成例を示すブロック図である。図17に示されるように、パッチ分解部111は、パッチ分解処理部131、ジオメトリ復号部132、3次元位置情報平滑化処理部133、およびテクスチャ補正部134を有する。
図18は、図17の3次元位置情報平滑化処理部133の主な構成例を示すブロック図である。図18に示されるように、3次元位置情報平滑化処理部133は、領域分割部141、領域内代表値導出部142、処理対象領域設定部143、平滑化処理部144、および伝送情報生成部145を有する。
次に、符号化装置100により実行される符号化処理の流れの例を、図19のフローチャートを参照して説明する。
次に、図20のフローチャートを参照して、図19のステップS101において実行されるパッチ分解処理の流れの例を説明する。
次に、図21のフローチャートを参照して、図20のステップS123において実行される平滑化処理の流れの例を説明する。
次に図22のフローチャートを参照して、図21のステップS143において実行される平滑化範囲設定処理の流れの例を説明する。
x!=0 & y!=0 & x!=width-1 & y!=height-1
<復号装置>
次に、以上のような各手法を実現する構成について説明する。図23は、本技術を適用した画像処理装置の一態様である復号装置の構成の一例を示すブロック図である。図23に示される復号装置200は、ポイントクラウドのような3Dデータが2次元平面に投影されて符号化された符号化データを、2次元画像用の復号方法により復号し、3次元空間に投影する装置(ビデオベースドアプローチを適用した復号装置)である。例えば、復号装置200は、符号化装置100(図16)がポイントクラウドを符号化して生成したビットストリームを復号し、ポイントクラウドを再構築する。
図24は、図23の3D再構築部217の主な構成例を示すブロック図である。図24に示されるように、3D再構築部217は、ジオメトリポイントクラウド(PointCloud)生成部231、3次元位置情報平滑化処理部232、およびテクスチャ合成部233を有する。
図25は、図24の3次元位置情報平滑化処理部232の主な構成例を示すブロック図である。図25に示されるように、3次元位置情報平滑化処理部232は、伝送情報取得部251、領域分割部252、領域内代表値導出部253、処理対象領域設定部254、および平滑化処理部255を有する。
次に、復号装置200により実行される復号処理の流れの例を、図26のフローチャートを参照して説明する。
次に、図26のステップS207において実行されるポイントクラウド再構築処理の流れの例を、図27のフローチャートを参照して説明する。
次に、図28のフローチャートを参照して、図27のステップS222において実行される平滑化処理の流れの例を説明する。
第1の実施の形態および第2の実施の形態においては、3次元の平滑化フィルタ処理をポイントクラウドの位置情報に対して行うように説明したが、3次元の平滑化フィルタ処理は、ポイントクラウドの属性情報に対しても行うことができる。この場合、属性情報が平滑化されるので、例えば、ポイントの色等が変化する。
<制御情報>
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可(または禁止)するか否かを制御する制御情報(例えばenabled_flag)を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可(または禁止)する範囲(例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等)を指定する制御情報を伝送するようにしてもよい。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の3Dデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、3Dデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
Claims (20)
- ポイントクラウドを含む3次元空間をN×N×Nのグリッドに分割する領域分割部と、
前記グリッドに含まれる前記ポイントクラウドのデータの代表値を導出する代表値導出部と、
前記ポイントクラウドの処理対象のポイントを、前記代表値を用いてトリリニアフィルタ処理するフィルタ処理部と、
前記トリリニアフィルタ処理された前記ポイントのデータを含む前記ポイントクラウドの前記データが投影された2次元平面画像を符号化し、ビットストリームを生成する符号化部と
を備える画像処理装置。 - 前記グリッドは、所定のサイズの立方体の領域である
請求項1に記載の画像処理装置。 - 前記グリッドは、所定のサイズの直方体の領域である
請求項1に記載の画像処理装置。 - 前記領域分割部は、それぞれが前記ポイントクラウドに属する所定数のポイントを包含するように、前記3次元空間をN×N×Nのグリッドに分割する
請求項1に記載の画像処理装置。 - 前記符号化部は、前記グリッドに関する情報を含む前記ビットストリームを生成する
請求項1に記載の画像処理装置。 - 前記グリッドに関する情報は、前記グリッドのサイズもしくは形状、または両方に関する情報を含む
請求項5に記載の画像処理装置。 - 前記代表値導出部は、前記代表値として、前記データの平均値を導出する
請求項1に記載の画像処理装置。 - 前記代表値導出部は、前記代表値として、前記データの中央値を導出する
請求項1に記載の画像処理装置。 - 前記フィルタ処理部は、前記トリリニアフィルタ処理として、前記処理対象のポイントの前記データを、前記代表値を用いて平滑化する
請求項1に記載の画像処理装置。 - 前記データは、前記ポイントの位置情報である
請求項1に記載の画像処理装置。 - 前記データは、前記ポイントの属性情報である
請求項1に記載の画像処理装置。 - 前記フィルタ処理部は、一部の前記代表値を用いて、前記ポイントを前記トリリニアフィルタ処理する
請求項1に記載の画像処理装置。 - 前記フィルタ処理部は、前記ポイントが属する前記グリッドを含む、互いに隣接する複数の前記グリッドの前記代表値を用いて、前記ポイントを前記トリリニアフィルタ処理する
請求項12に記載の画像処理装置。 - 前記フィルタ処理部は、オキュパンシーマップにおけるパッチの端部に対応する前記ポイントが属する前記グリッドを含む、互いに隣接する複数の前記グリッドの前記代表値を用いて、前記ポイントを前記トリリニアフィルタ処理する
請求項12に記載の画像処理装置。 - 前記代表値導出部は、前記グリッドに属する複数のポイントの前記代表値を導出する
請求項1に記載の画像処理装置。 - ポイントクラウドを含む3次元空間をN×N×Nのグリッドに分割し、
前記グリッドに含まれる前記ポイントクラウドのデータの代表値を導出し、
前記ポイントクラウドの処理対象のポイントを、前記代表値を用いてトリリニアフィルタ処理し、
前記トリリニアフィルタ処理された前記ポイントのデータを含む前記ポイントクラウドの前記データが投影された2次元平面画像を符号化し、ビットストリームを生成する
画像処理方法。 - ビットストリームを復号し、ポイントクラウドのデータを生成する復号部と、
前記ポイントクラウドを含む3次元空間をN×N×Nのグリッドに分割する領域分割部と、
前記グリッドに含まれる前記ポイントクラウドのデータの代表値を導出する代表値導出部と、
前記ポイントクラウドの処理対象のポイントを、前記代表値を用いてトリリニアフィルタ処理するフィルタ処理部と
を備える画像処理装置。 - 伝送情報を取得する伝送情報取得部をさらに備え、
前記領域分割部は、前記伝送情報に基づいて前記3次元空間を前記グリッドに分割し、
前記フィルタ処理部は、前記伝送情報に基づいて前記トリリニアフィルタ処理する
請求項17に記載の画像処理装置。 - 前記伝送情報は、前記グリッドのサイズを含む
請求項18に記載の画像処理装置。 - ビットストリームを復号し、ポイントクラウドのデータを生成し、
前記ポイントクラウドを含む3次元空間をN×N×Nのグリッドに分割し、
前記グリッドに含まれる前記ポイントクラウドのデータの代表値を導出し、
前記ポイントクラウドの処理対象のポイントを、前記代表値を用いてトリリニアフィルタ処理する
画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023191707A JP2023184727A (ja) | 2018-07-11 | 2023-11-09 | 画像処理装置および方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131295 | 2018-07-11 | ||
JP2018131295 | 2018-07-11 | ||
PCT/JP2019/025557 WO2020012967A1 (ja) | 2018-07-11 | 2019-06-27 | 画像処理装置および方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023191707A Division JP2023184727A (ja) | 2018-07-11 | 2023-11-09 | 画像処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020012967A1 JPWO2020012967A1 (ja) | 2021-08-05 |
JP7384159B2 true JP7384159B2 (ja) | 2023-11-21 |
Family
ID=69141440
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020530095A Active JP7384159B2 (ja) | 2018-07-11 | 2019-06-27 | 画像処理装置および方法 |
JP2023191707A Pending JP2023184727A (ja) | 2018-07-11 | 2023-11-09 | 画像処理装置および方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023191707A Pending JP2023184727A (ja) | 2018-07-11 | 2023-11-09 | 画像処理装置および方法 |
Country Status (11)
Country | Link |
---|---|
US (2) | US11741575B2 (ja) |
EP (1) | EP3823280A4 (ja) |
JP (2) | JP7384159B2 (ja) |
KR (1) | KR20210028606A (ja) |
CN (1) | CN112385217A (ja) |
AU (1) | AU2019302074B2 (ja) |
BR (1) | BR112021000038A2 (ja) |
CA (1) | CA3106233A1 (ja) |
MX (1) | MX2020013705A (ja) |
PH (1) | PH12021550062A1 (ja) |
WO (1) | WO2020012967A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10861196B2 (en) | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
US10897269B2 (en) | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
US11818401B2 (en) | 2017-09-14 | 2023-11-14 | Apple Inc. | Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables |
US10909725B2 (en) | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
US11113845B2 (en) | 2017-09-18 | 2021-09-07 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
US10607373B2 (en) | 2017-11-22 | 2020-03-31 | Apple Inc. | Point cloud compression with closed-loop color conversion |
US10909727B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression with smoothing |
US11010928B2 (en) | 2018-04-10 | 2021-05-18 | Apple Inc. | Adaptive distance based point cloud compression |
US10909726B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
US10939129B2 (en) | 2018-04-10 | 2021-03-02 | Apple Inc. | Point cloud compression |
US11017566B1 (en) | 2018-07-02 | 2021-05-25 | Apple Inc. | Point cloud compression with adaptive filtering |
US11202098B2 (en) | 2018-07-05 | 2021-12-14 | Apple Inc. | Point cloud compression with multi-resolution video encoding |
US11012713B2 (en) | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
US11367224B2 (en) | 2018-10-02 | 2022-06-21 | Apple Inc. | Occupancy map block-to-patch information compression |
JP7396302B2 (ja) * | 2019-01-07 | 2023-12-12 | ソニーグループ株式会社 | 画像処理装置および方法 |
JP7477528B2 (ja) | 2019-03-22 | 2024-05-01 | インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ | 点群の処理 |
US11057564B2 (en) | 2019-03-28 | 2021-07-06 | Apple Inc. | Multiple layer flexure for supporting a moving image sensor |
US11711544B2 (en) | 2019-07-02 | 2023-07-25 | Apple Inc. | Point cloud compression with supplemental information messages |
US11627314B2 (en) * | 2019-09-27 | 2023-04-11 | Apple Inc. | Video-based point cloud compression with non-normative smoothing |
US11562507B2 (en) | 2019-09-27 | 2023-01-24 | Apple Inc. | Point cloud compression using video encoding with time consistent patches |
US11538196B2 (en) | 2019-10-02 | 2022-12-27 | Apple Inc. | Predictive coding for point cloud compression |
US11895307B2 (en) | 2019-10-04 | 2024-02-06 | Apple Inc. | Block-based predictive coding for point cloud compression |
US11798196B2 (en) | 2020-01-08 | 2023-10-24 | Apple Inc. | Video-based point cloud compression with predicted patches |
US11475605B2 (en) | 2020-01-09 | 2022-10-18 | Apple Inc. | Geometry encoding of duplicate points |
US11620768B2 (en) | 2020-06-24 | 2023-04-04 | Apple Inc. | Point cloud geometry compression using octrees with multiple scan orders |
US11615557B2 (en) | 2020-06-24 | 2023-03-28 | Apple Inc. | Point cloud compression using octrees with slicing |
EP4224843A4 (en) * | 2020-09-30 | 2023-11-22 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | METHOD FOR CODING AND DECODING A POINT CLOUD, CODER, DECODER AND CODEC SYSTEM |
CN112492385A (zh) * | 2020-09-30 | 2021-03-12 | 中兴通讯股份有限公司 | 点云数据处理方法、装置、存储介质及电子装置 |
US11948338B1 (en) | 2021-03-29 | 2024-04-02 | Apple Inc. | 3D volumetric content encoding using 2D videos and simplified 3D meshes |
WO2023095625A1 (ja) * | 2021-11-24 | 2023-06-01 | ソニーグループ株式会社 | 情報処理装置および方法 |
WO2023123467A1 (zh) * | 2021-12-31 | 2023-07-06 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
WO2023123471A1 (zh) * | 2021-12-31 | 2023-07-06 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126314A1 (en) | 2016-01-22 | 2017-07-27 | Mitsubishi Electric Corporation | Method for compressing point cloud |
US20170347120A1 (en) | 2016-05-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008283540A (ja) * | 2007-05-11 | 2008-11-20 | Mitsubishi Electric Corp | 画像処理装置および画像処理方法 |
JP5343042B2 (ja) * | 2010-06-25 | 2013-11-13 | 株式会社トプコン | 点群データ処理装置および点群データ処理プログラム |
US9904867B2 (en) * | 2016-01-29 | 2018-02-27 | Pointivo, Inc. | Systems and methods for extracting information about objects from scene information |
US10066925B2 (en) * | 2016-02-02 | 2018-09-04 | The Boeing Company | Point cloud processing apparatus and method |
KR101666937B1 (ko) * | 2016-05-13 | 2016-10-17 | 한국건설기술연구원 | 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법 |
US10223810B2 (en) * | 2016-05-28 | 2019-03-05 | Microsoft Technology Licensing, Llc | Region-adaptive hierarchical transform and entropy coding for point cloud compression, and corresponding decompression |
US10474524B2 (en) * | 2017-07-12 | 2019-11-12 | Topcon Positioning Systems, Inc. | Point cloud filter method and apparatus |
US10909725B2 (en) * | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
CN107578391A (zh) * | 2017-09-20 | 2018-01-12 | 广东电网有限责任公司机巡作业中心 | 一种基于二维二值图像处理进行三维点云降噪的方法 |
US10699444B2 (en) * | 2017-11-22 | 2020-06-30 | Apple Inc | Point cloud occupancy map compression |
US10909726B2 (en) * | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
US10939129B2 (en) * | 2018-04-10 | 2021-03-02 | Apple Inc. | Point cloud compression |
US11367224B2 (en) * | 2018-10-02 | 2022-06-21 | Apple Inc. | Occupancy map block-to-patch information compression |
US11348284B2 (en) * | 2019-01-08 | 2022-05-31 | Apple Inc. | Auxiliary information signaling and reference management for projection-based point cloud compression |
US11182612B2 (en) * | 2019-10-28 | 2021-11-23 | The Chinese University Of Hong Kong | Systems and methods for place recognition based on 3D point cloud |
-
2019
- 2019-06-27 CN CN201980045106.4A patent/CN112385217A/zh active Pending
- 2019-06-27 WO PCT/JP2019/025557 patent/WO2020012967A1/ja unknown
- 2019-06-27 MX MX2020013705A patent/MX2020013705A/es unknown
- 2019-06-27 BR BR112021000038-0A patent/BR112021000038A2/pt unknown
- 2019-06-27 US US15/733,894 patent/US11741575B2/en active Active
- 2019-06-27 KR KR1020207036752A patent/KR20210028606A/ko unknown
- 2019-06-27 CA CA3106233A patent/CA3106233A1/en active Pending
- 2019-06-27 AU AU2019302074A patent/AU2019302074B2/en active Active
- 2019-06-27 JP JP2020530095A patent/JP7384159B2/ja active Active
- 2019-06-27 EP EP19834963.1A patent/EP3823280A4/en active Pending
-
2021
- 2021-01-10 PH PH12021550062A patent/PH12021550062A1/en unknown
-
2023
- 2023-07-14 US US18/352,250 patent/US20230377100A1/en active Pending
- 2023-11-09 JP JP2023191707A patent/JP2023184727A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017126314A1 (en) | 2016-01-22 | 2017-07-27 | Mitsubishi Electric Corporation | Method for compressing point cloud |
US20170347120A1 (en) | 2016-05-28 | 2017-11-30 | Microsoft Technology Licensing, Llc | Motion-compensated compression of dynamic voxelized point clouds |
Non-Patent Citations (1)
Title |
---|
Tim Golla and Reinhard Klein,Real-time Point Cloud Compression,2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS),IEEE,2015年,pp.5087 - 5092 |
Also Published As
Publication number | Publication date |
---|---|
PH12021550062A1 (en) | 2021-12-06 |
AU2019302074A1 (en) | 2021-01-28 |
MX2020013705A (es) | 2021-03-02 |
US11741575B2 (en) | 2023-08-29 |
US20230377100A1 (en) | 2023-11-23 |
JP2023184727A (ja) | 2023-12-28 |
EP3823280A1 (en) | 2021-05-19 |
CA3106233A1 (en) | 2020-01-16 |
WO2020012967A1 (ja) | 2020-01-16 |
US20210217139A1 (en) | 2021-07-15 |
AU2019302074B2 (en) | 2023-01-12 |
KR20210028606A (ko) | 2021-03-12 |
EP3823280A4 (en) | 2021-05-19 |
JPWO2020012967A1 (ja) | 2021-08-05 |
CN112385217A (zh) | 2021-02-19 |
BR112021000038A2 (pt) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7384159B2 (ja) | 画像処理装置および方法 | |
JP7327166B2 (ja) | 画像処理装置および方法 | |
WO2019198523A1 (ja) | 画像処理装置および方法 | |
US11699248B2 (en) | Image processing apparatus and method | |
KR20200140256A (ko) | 화상 처리 장치 및 방법 | |
JP7331852B2 (ja) | 画像処理装置および方法 | |
JP7342858B2 (ja) | 画像処理装置および方法 | |
US11922579B2 (en) | Image processing apparatus and method for image processing by deriving voxel and mesh data to generate point cloud data | |
JP7396302B2 (ja) | 画像処理装置および方法 | |
WO2022145214A1 (ja) | 情報処理装置および方法 | |
KR20240001126A (ko) | 정보 처리 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230913 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231010 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231023 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7384159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |