JP6983862B2 - ジオメトリ投影を使用する360度ビデオ符号化 - Google Patents
ジオメトリ投影を使用する360度ビデオ符号化 Download PDFInfo
- Publication number
- JP6983862B2 JP6983862B2 JP2019500358A JP2019500358A JP6983862B2 JP 6983862 B2 JP6983862 B2 JP 6983862B2 JP 2019500358 A JP2019500358 A JP 2019500358A JP 2019500358 A JP2019500358 A JP 2019500358A JP 6983862 B2 JP6983862 B2 JP 6983862B2
- Authority
- JP
- Japan
- Prior art keywords
- sample location
- sample
- projection
- padding
- reference sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000523 sample Substances 0.000 claims description 266
- 239000013074 reference sample Substances 0.000 claims description 86
- 230000033001 locomotion Effects 0.000 claims description 75
- 238000000034 method Methods 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 38
- 238000005070 sampling Methods 0.000 description 53
- 238000013507 mapping Methods 0.000 description 35
- 238000004891 communication Methods 0.000 description 34
- 230000006870 function Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 18
- 238000012856 packing Methods 0.000 description 16
- 229910052727 yttrium Inorganic materials 0.000 description 15
- 238000007726 management method Methods 0.000 description 13
- 238000001914 filtration Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 10
- 238000009795 derivation Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000013213 extrapolation Methods 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 241000760358 Enodes Species 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 241000700159 Rattus Species 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 101150014732 asnS gene Proteins 0.000 description 2
- 238000013475 authorization Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Algebra (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
本出願は、その内容が参照によって本明細書に組み込まれる、2016年7月8日に出願された米国特許仮出願第62/360112号明細書、2016年10月4日に出願された米国特許仮出願第62/404017号明細書、2017年2月24日に出願された米国特許仮出願明細書第62/463242号明細書、および2017年5月3日に出願された米国特許仮出願明細書第62/500605号の利益を主張し、本出願は、これらの優先出願の出願日の利益を主張する。
ue=(φ/2×π)+0.5)×W (1)
ve=(0.5−θ/π)×H (2)
WおよびHは、2D平面ピクチャの幅および高さであることができる。図1Aに示されるように、球上における経度L4と緯度A1との間の交点である点Pは、式(1)および/または(2)を使用して、図1Bにおける2D平面内の一意的な点qにマッピングすることができる。図1Bに示された2D平面内の点qは、例えば、逆投影を介して、図1Aに示された球上の点Pに投影し戻すことができる。図1Bにおける視野(FOV)は、球におけるFOVが、X軸方向では約110度の視野角で、2D平面にマッピングされる例を示している。
X_s=cos(θ)cos(φ) (3)
Y_s=sin(θ) (4)
Z_s=−cos(θ)sin(φ) (5)
X_f=X_s/|Z_s| (6)
Y_f=Y_s/|Z_s| (7)
Z_f=−1 (8)
ここで、|x|は、変数xの絶対値とすることができる。面分NZの2D平面内のPfの座標(uc,vc)は、以下のように計算することができる。
uc=W×(1−X_f)/2 (9)
vc=H×(1−Y_f)/2 (10)
β’=f(β)=sgn(β)(−0.36・β2+1.36・|β|) (13)
u<0、またはu≧W、かつ0≦v<Hである場合、up=u%W、vp=v (17)
v<0である場合、vp=−v−1、up=(u+W/2)%W (18)
v≧Hである場合、vp=2×H−1−v、up=(u+W/2)%W (19)
ここで、WおよびHは、エクイレクタングラピクチャの幅および高さとすることができる。例えば、パディングサンプルロケーション(up,vp)は、点(u,v)のロケーションに基づいて、計算することができる。例えば、点(u,v)が、右または左境界を越える場合、式(17)に基づいて、パディングサンプル(up,vp)を計算することができる。右または左境界を越える点(u,v)のパディングサンプル(up,vp)は、それぞれ、エクイレクタングラピクチャの左または右境界の近くに位置付けられた点に対応することができる。他のパディングサンプルは、式(18)および/または式(19)に対応することができる点(u,v)の位置に基づいて、計算することができる。
|X|≧|Y|、かつ|X|≧|Z|、かつX>0である場合、新しい面分は、PXとすることができる。
|X|≧|Y|、かつ|X|≧|Z|、かつX<0である場合、新しい面分は、NXとすることができる。
|Y|≧|X|、かつ|Y|≧|Z|、かつY>0)である場合、新しい面分は、PYとすることができる。
|Y|≧|X|、かつ|Y|≧|Z|、かつY<0)である場合、新しい面分は、NYとすることができる。
|Z|≧|X|、かつ|Z|≧|Y|、かつZ>0)である場合、新しい面分は、PZとすることができる。
|Z|≧|X|、かつ|Z|≧|Y|、かつZ<0)である場合、新しい面分は、NZとすることができる。
|x|≧|y|である場合、v(x,y)=v(sign(x)(|x|+|y|),0)
|x|<|y|である場合、v(x,y)=v(0,sign(y)(|x|+|y|)
|x|≧|y|である場合、v(x,y)=a×v(x,0)+b×v(0,x)、a=(2×|x|−|y|)/(2×|x|)、b=|y|/(2×|x|)
|x|<|y|である場合、v(x,y)=a×v(y,0)+b×v(0,y)、a=|x|/(2×|y|)、b=(2×|y|−|x|)/(2×|y|)
および/または、図15Bに示された例示的な原理に従って、以下のように、サンプル値を導出することができる。
v(x,y)=a×v(sign(x)(|x|+|y|),0)+b×v(0,sign(y)(|x|+|y|)、a=|x|/(|x|+|y|)、b=|y|/(|x|+|y|)
|X|≧|Y|、かつ|X|≧|Z|、かつX>0である場合、新しい面分は、PXとすることができる。
|X|≧|Y|、かつ|X|≧|Z|、かつX<0である場合、新しい面分は、NXとすることができる。
|Y|≧|X|、かつ|Y|≧|Z|、かつY>0である場合、新しい面分は、PYとすることができる。
|Y|≧|X|、かつ|Y|≧|Z|、かつY<0である場合、新しい面分は、NYとすることができる。
|Z|≧|X|、かつ|Z|≧|Y|、かつZ>0である場合、新しい面分は、PZとすることができる。
|Z|≧|X|、かつ|Z|≧|Y|、かつZ<0である場合、新しい面分は、NZとすることができる。
3D空間からキューブへの3Dから2Dへのマッピングを実行することができる。(X,Y,Z)を使用して、新しい面分において、投影された2D座標(uc’,vc’)を計算することができる。例えば、新しい面分が、NZである場合、式(9)および/または式(10)を使用して、(X,Y,Z)を用いて、(uc’,vc’)を導出することができる。1つまたは複数の座標を、キューブフォーマット/ジオメトリからユニキューブフォーマット/ジオメトリに変換することができる。例えば、キューブ面分内において定義された基準座標(uc’,vc’)を与えられた場合、ユニキューブ面分内において定義された対応する基準座標(u’,v’)を計算することができる。パディングのために使用される、ユニキューブ面分内の基準座標(u’,v’)におけるサンプルは、ユニキューブ面分内の(u’,v’)周囲の整数位置におけるサンプルに補間フィルタを適用することによって、導出することができる。
dW=Ceil(W/mCU_width)×mCU_width−W
dH=Ceil(H/mCU_height)×mCU_height−H
project_geometry_idx[0]=2
project_geometry_idx[1]=0
歪み=||I−Projection(I’,O)||
Claims (20)
- 第1の投影ジオメトリと関連付けられたフレームパッキングされたピクチャにおける現在のサンプルロケーションを識別するステップであって、前記現在のサンプルロケーションは360度ビデオコンテンツの現在のサンプルと関連付けられており、前記現在のサンプルは基準サンプルを使用して予測されることになる、ステップと、
前記現在のサンプルを予測するための前記基準サンプルに関連付けられた基準サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定するステップと、
前記現在のサンプルを予測するための前記基準サンプルに関連付けられた前記基準サンプルロケーションが、前記フレームパッキングされたピクチャの前記コンテンツ境界の外部に位置付けられているとの前記決定に基づいて、一部に、
前記現在のサンプルロケーションを含む第1の面分を識別することと、
前記第1の面分と関連付けられた前記基準サンプルロケーションの3D位置を計算することと、
前記基準サンプルロケーションの前記3D位置に基づいて、パディングサンプルロケーションを含む第2の面分を識別することと、
前記パディングサンプルロケーションとして、前記第2の面分内における前記基準サンプルロケーションの2D平面位置を導出するために、前記基準サンプルロケーションの前記3D位置を用いて、ジオメトリ投影を適用することと
に基づいて、
前記現在のサンプルを予測するための、パディングサンプルに関連付けられた前記パディングサンプルロケーションを導出するステップと、
前記パディングサンプルに基づいて、前記360度ビデオコンテンツに関連付けられた前記現在のサンプルを予測するステップと
を備える方法。 - 前記基準サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定する前記ステップは、
前記現在のサンプルがイントラ予測される条件で、前記現在のサンプルに関連付けられたイントラ予測モードに基づいて、前記基準サンプルロケーションを識別することを含むことを特徴とする請求項1に記載の方法。 - 前記基準サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定する前記ステップは、
前記現在のサンプルがインター予測される条件で、前記現在のサンプルに関連付けられた動きベクトルを前記現在のサンプルに適用することによって、前記基準サンプルロケーションを識別することを含むことを特徴とする請求項1に記載の方法。 - 前記コンテンツ境界は、面分境界を含むことを特徴とする請求項1に記載の方法。
- 前記第1の投影ジオメトリは、キューブマップ投影、8面体投影、または円筒投影のうちの少なくとも1つを含むことを特徴とする請求項1に記載の方法。
- 前記フレームパッキングされたピクチャは、前記第1の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義していることを特徴とする請求項1に記載の方法。
- 前記パディングサンプルロケーションを導出する前記ステップは、
前記第1の投影ジオメトリにおける座標を、第2の投影ジオメトリと関連付けられた中間座標に変換することであって、前記基準サンプルロケーションの前記3D位置は、前記中間座標で計算され、前記第2の面分内における前記基準サンプルロケーションの前記2D平面位置は、前記中間座標で識別されることと、
前記第2の投影ジオメトリと関連付けられた前記基準サンプルロケーションの前記導出された2D平面位置を、前記第1の投影ジオメトリと関連付けられた前記座標に変換し戻すことと
をさらに含むことを特徴とする請求項1に記載の方法。 - 第1の投影ジオメトリと関連付けられたフレームパッキングされたピクチャ内における現在のサンプルロケーションを識別し、前記現在のサンプルロケーションは360度ビデオコンテンツの現在のサンプルと関連付けられており、前記現在のサンプルは基準サンプルを使用して予測されることになり、
前記現在のサンプルを予測するための前記基準サンプルに関連付けられた基準サンプルロケーションが、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられていると決定し、
前記現在のサンプルを予測するための前記基準サンプルに関連付けられた前記基準サンプルロケーションが、前記フレームパッキングされたピクチャの前記コンテンツ境界の外部に位置付けられているとの前記決定に基づいて、一部に、
前記現在のサンプルロケーションを含む第1の面分を識別し、
前記第1の面分と関連付けられた前記基準サンプルロケーションの3D位置を計算し、
前記基準サンプルロケーションの前記3D位置に基づいて、パディングサンプルロケーションを含む第2の面分を識別し、
前記パディングサンプルロケーションとして、前記第2の面分内における前記基準サンプルロケーションの2D平面位置を導出するために、前記基準サンプルロケーションの前記3D位置を用いて、ジオメトリ投影を適用すること
に基づいて、前記現在のサンプルを予測するための、パディングサンプルに関連付けられた前記パディングサンプルロケーションを導出し、
前記パディングサンプルに基づいて、前記360度ビデオコンテンツに関連付けられた前記現在のサンプルを予測するよう構成されたプロセッサ
を備えたことを特徴とするデバイス。 - 前記基準サンプルロケーションが、前記フレームパッキングされたピクチャの前記コンテンツ境界の外部に位置付けられていると決定するよう構成された前記プロセッサは、
前記現在のサンプルがイントラ予測される条件で、前記現在のサンプルに関連付けられたイントラ予測モードに基づいて、前記基準サンプルロケーションを識別することを特徴とする請求項8に記載のデバイス。 - 前記基準サンプルロケーションが、前記フレームパッキングされたピクチャの前記コンテンツ境界の外部に位置付けられていると決定するよう構成された前記プロセッサは、
前記現在のサンプルがインター予測される条件で、前記現在のサンプルに関連付けられた動きベクトルを前記現在のサンプルに適用することによって、前記基準サンプルロケーションを識別することを特徴とする請求項8に記載のデバイス。 - 前記コンテンツ境界は、面分境界を含み、前記第1の投影ジオメトリは、キューブマップ投影、8面体投影、または円筒投影のうちの少なくとも1つを含むことを特徴とする請求項8に記載のデバイス。
- 前記フレームパッキングされたピクチャは、前記第1の投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義していることを特徴とする請求項8に記載のデバイス。
- 前記パディングサンプルロケーションを導出するよう構成された前記プロセッサは、
前記第1の投影ジオメトリにおける座標を、第2の投影ジオメトリと関連付けられた中間座標に変換し、前記基準サンプルロケーションの前記3D位置は、前記中間座標で計算され、前記第2の面分内における前記基準サンプルロケーションの前記2D平面位置は、前記中間座標で識別され、
前記第2の投影ジオメトリと関連付けられた前記基準サンプルロケーションの前記導出された2D平面位置を、前記第1の投影ジオメトリと関連付けられた前記座標に変換し戻すことを特徴とする請求項8に記載のデバイス。 - フレームパッキングされたピクチャを含むビデオ信号を取得するステップと、
前記フレームパッキングされたピクチャの中で、投影ジオメトリに関連付けられた、360度ビデオコンテンツの現在のサンプルを識別するステップと、
前記現在のサンプルを予測するための、パディングサンプルに関連付けられたパディングサンプルロケーションを識別するステップと、
前記パディングサンプルに関連付けられた基準サンプルロケーションを導出するステップであって、前記基準サンプルロケーションは、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられており、前記基準サンプルロケーションは、一部に、
前記現在のサンプルロケーションを含む第1の面分を識別し、
前記第1の面分と関連付けられた前記基準サンプルロケーションの3D位置を計算し、前記基準サンプルロケーションは基準サンプルと関連付けられており、
前記基準サンプルロケーションの前記3D位置に基づいて、前記パディングサンプルロケーションを含む第2の面分を識別し、
前記パディングサンプルロケーションとして、前記第2の面分内における前記基準サンプルロケーションの2D平面位置を導出するために、前記基準サンプルロケーションの前記3D位置を用いて、ジオメトリ投影を適用することに基づいて導出される、ステップと、
ビットストリームに、前記基準サンプルロケーションのための基準サンプルロケーションインジケーションを含めるステップであって、前記基準サンプルロケーションインジケーションは、前記360度ビデオコンテンツに関連付けられた前記現在のサンプルを予測するために使用される、ステップと
を備える方法。 - 前記コンテンツ境界は、面分境界を含み、前記投影ジオメトリは、キューブマップ投影、8面体投影、または円筒投影のうちの少なくとも1つを含むことを特徴とする請求項14に記載の方法。
- 前記現在のサンプルがインター予測される条件で、前記現在のサンプルに関連付けられた動きベクトルを前記現在のサンプルに適用することによって、前記基準サンプルロケーションを識別するステップ
を備えることを特徴とする請求項14に記載の方法。 - フレームパッキングされたピクチャを含むビデオ信号を取得し、
前記フレームパッキングされたピクチャの中で、投影ジオメトリに関連付けられた、360度ビデオコンテンツの現在のサンプルを識別し、
前記現在のサンプルを予測するための、パディングサンプルに関連付けられたパディングサンプルロケーションを識別し、
前記パディングサンプルに関連付けられた基準サンプルロケーションを導出し、前記基準サンプルロケーションは、前記フレームパッキングされたピクチャのコンテンツ境界の外部に位置付けられており、前記基準サンプルロケーションは、一部に、
前記現在のサンプルロケーションを含む第1の面分を識別し、
前記第1の面分と関連付けられた前記基準サンプルロケーションの3D位置を計算し、前記基準サンプルロケーションは基準サンプルと関連付けられており、
前記基準サンプルロケーションの前記3D位置に基づいて、前記パディングサンプルロケーションを含む第2の面分を識別し、
前記パディングサンプルロケーションとして、前記第2の面分内における前記基準サンプルロケーションの2D平面位置を導出するために、前記基準サンプルロケーションの前記3D位置を用いて、ジオメトリ投影を適用することに基づいて導出され、
ビットストリームに、前記基準サンプルロケーションのための基準サンプルロケーションインジケーションを含め、前記基準サンプルロケーションインジケーションは前記360度ビデオコンテンツに関連付けられた前記現在のサンプルを予測するために使用されるよう構成されたプロセッサ
を備えたことを特徴とするデバイス。 - 前記フレームパッキングされたピクチャは、前記投影ジオメトリと関連付けられた複数の面分を含み、前記コンテンツ境界は、面分間の境界を定義することを特徴とする請求項17に記載のデバイス。
- 前記コンテンツ境界は、面分境界を含み、前記投影ジオメトリは、キューブマップ投影、8面体投影、または円筒投影のうちの少なくとも1つを含むことを特徴とする請求項17に記載のデバイス。
- 前記プロセッサは、前記現在のサンプルがインター予測される条件で、前記現在のサンプルに関連付けられた動きベクトルを前記現在のサンプルに適用することによって、前記基準サンプルロケーションを識別するよう構成されたことを特徴とする請求項17に記載のデバイス。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021138935A JP7295178B2 (ja) | 2016-07-08 | 2021-08-27 | ジオメトリ投影を使用する360度ビデオ符号化 |
Applications Claiming Priority (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662360112P | 2016-07-08 | 2016-07-08 | |
US62/360,112 | 2016-07-08 | ||
US201662404017P | 2016-10-04 | 2016-10-04 | |
US62/404,017 | 2016-10-04 | ||
US201762463242P | 2017-02-24 | 2017-02-24 | |
US62/463,242 | 2017-02-24 | ||
US201762500605P | 2017-05-03 | 2017-05-03 | |
US62/500,605 | 2017-05-03 | ||
PCT/US2017/041021 WO2018009746A1 (en) | 2016-07-08 | 2017-07-07 | 360-degree video coding using geometry projection |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021138935A Division JP7295178B2 (ja) | 2016-07-08 | 2021-08-27 | ジオメトリ投影を使用する360度ビデオ符号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019525563A JP2019525563A (ja) | 2019-09-05 |
JP6983862B2 true JP6983862B2 (ja) | 2021-12-17 |
Family
ID=59581992
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019500358A Active JP6983862B2 (ja) | 2016-07-08 | 2017-07-07 | ジオメトリ投影を使用する360度ビデオ符号化 |
JP2021138935A Active JP7295178B2 (ja) | 2016-07-08 | 2021-08-27 | ジオメトリ投影を使用する360度ビデオ符号化 |
JP2023094844A Pending JP2023105219A (ja) | 2016-07-08 | 2023-06-08 | ジオメトリ投影を使用する360度ビデオ符号化 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021138935A Active JP7295178B2 (ja) | 2016-07-08 | 2021-08-27 | ジオメトリ投影を使用する360度ビデオ符号化 |
JP2023094844A Pending JP2023105219A (ja) | 2016-07-08 | 2023-06-08 | ジオメトリ投影を使用する360度ビデオ符号化 |
Country Status (7)
Country | Link |
---|---|
US (3) | US10887621B2 (ja) |
EP (1) | EP3482563A1 (ja) |
JP (3) | JP6983862B2 (ja) |
KR (3) | KR20230051319A (ja) |
CN (2) | CN117135357A (ja) |
TW (1) | TWI775760B (ja) |
WO (1) | WO2018009746A1 (ja) |
Families Citing this family (108)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FI20165256A (fi) | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
EP3378229A4 (en) * | 2016-08-23 | 2018-12-26 | SZ DJI Technology Co., Ltd. | System and method for improving efficiency in encoding/decoding a curved view video |
CN107801039B (zh) * | 2016-08-30 | 2020-04-14 | 华为技术有限公司 | 运动补偿预测方法和装置 |
KR20190054060A (ko) | 2016-09-02 | 2019-05-21 | 브이아이디 스케일, 인크. | 360도 비디오 정보의 시그널링을 위한 방법 및 시스템 |
CN116389433A (zh) | 2016-09-09 | 2023-07-04 | Vid拓展公司 | 用于减少360度视区自适应流媒体延迟的方法和装置 |
KR20180029315A (ko) * | 2016-09-12 | 2018-03-21 | 삼성전자주식회사 | 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치 |
BR112019005213B1 (pt) | 2016-09-30 | 2024-01-09 | Huawei Technologies Co., Ltd | Aparelhos, métodos, e mídia legível por computador para codificar e decodificar sinal de vídeo panorâmico |
KR20190052128A (ko) | 2016-10-04 | 2019-05-15 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
CN117354515A (zh) * | 2016-10-04 | 2024-01-05 | 有限公司B1影像技术研究所 | 图像编码/解码方法、记录介质和传输比特流的方法 |
US20190238888A1 (en) | 2017-07-17 | 2019-08-01 | Ki Baek Kim | Image data encoding/decoding method and apparatus |
EP3800891A1 (en) | 2016-10-04 | 2021-04-07 | Ki Baek Kim | Image data encoding/decoding method and apparatus |
KR20190052129A (ko) * | 2016-10-04 | 2019-05-15 | 김기백 | 영상 데이터 부호화/복호화 방법 및 장치 |
US12022199B2 (en) | 2016-10-06 | 2024-06-25 | B1 Institute Of Image Technology, Inc. | Image data encoding/decoding method and apparatus |
KR20180042098A (ko) * | 2016-10-17 | 2018-04-25 | 에스케이텔레콤 주식회사 | 영상 부호화 또는 복호화하기 위한 장치 및 방법 |
GB2555788A (en) * | 2016-11-08 | 2018-05-16 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
KR20180073499A (ko) * | 2016-12-22 | 2018-07-02 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
US10999602B2 (en) | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US11259046B2 (en) | 2017-02-15 | 2022-02-22 | Apple Inc. | Processing of equirectangular object data to compensate for distortion by spherical projections |
US10924747B2 (en) * | 2017-02-27 | 2021-02-16 | Apple Inc. | Video coding techniques for multi-view video |
US11057643B2 (en) | 2017-03-13 | 2021-07-06 | Mediatek Inc. | Method and apparatus for generating and encoding projection-based frame that includes at least one padding region and at least one projection face packed in 360-degree virtual reality projection layout |
US11004173B2 (en) * | 2017-03-13 | 2021-05-11 | Mediatek Inc. | Method for processing projection-based frame that includes at least one projection face packed in 360-degree virtual reality projection layout |
EP3610647B1 (en) * | 2017-04-26 | 2021-12-08 | Huawei Technologies Co., Ltd. | Apparatuses and methods for encoding and decoding a panoramic video signal |
US11093752B2 (en) * | 2017-06-02 | 2021-08-17 | Apple Inc. | Object tracking in multi-view video |
GB2563944B (en) * | 2017-06-30 | 2021-11-03 | Canon Kk | 360-Degree video encoding with block-based extension of the boundary of projected parts |
US10754242B2 (en) | 2017-06-30 | 2020-08-25 | Apple Inc. | Adaptive resolution and projection format in multi-direction video |
JP7224280B2 (ja) | 2017-07-17 | 2023-02-17 | ビー1、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド | 画像データ符号化/復号化方法及び装置 |
EP3435676A1 (en) * | 2017-07-25 | 2019-01-30 | Thomson Licensing | Method and apparatus for encoding and decoding an omnidirectional video |
DE112018002432T5 (de) | 2017-08-18 | 2020-01-23 | Mediatek Inc. | Verfahren und Vorrichtung zum Reduzieren von Artefakten in einem projektionsbasierten Rahmen |
US10827159B2 (en) * | 2017-08-23 | 2020-11-03 | Mediatek Inc. | Method and apparatus of signalling syntax for immersive video coding |
CN117061771A (zh) | 2017-09-20 | 2023-11-14 | Vid拓展公司 | 用于编码的方法和装置和用于解码的方法和装置 |
US10818087B2 (en) | 2017-10-02 | 2020-10-27 | At&T Intellectual Property I, L.P. | Selective streaming of immersive video based on field-of-view prediction |
US11445215B2 (en) * | 2017-12-28 | 2022-09-13 | Electronics And Telecommunications Research Institute | Method and device for image encoding and decoding, and recording medium having bit stream stored therein |
EP3741124A1 (en) | 2018-01-16 | 2020-11-25 | VID SCALE, Inc. | Adaptive frame packing for 360-degree video coding |
WO2019141907A1 (en) * | 2018-01-22 | 2019-07-25 | Nokia Technologies Oy | An apparatus, a method and a computer program for omnidirectional video |
US10721465B2 (en) * | 2018-02-14 | 2020-07-21 | Qualcomm Incorporated | Motion compensation for cubemap packed frames |
US11212438B2 (en) * | 2018-02-14 | 2021-12-28 | Qualcomm Incorporated | Loop filter padding for 360-degree video coding |
US10764605B2 (en) * | 2018-02-14 | 2020-09-01 | Qualcomm Incorporated | Intra prediction for 360-degree video |
US10659815B2 (en) | 2018-03-08 | 2020-05-19 | At&T Intellectual Property I, L.P. | Method of dynamic adaptive streaming for 360-degree videos |
US20190289316A1 (en) * | 2018-03-19 | 2019-09-19 | Mediatek Inc. | Method and Apparatus of Motion Vector Derivation for VR360 Video Coding |
US11317114B2 (en) * | 2018-03-19 | 2022-04-26 | Sony Corporation | Image processing apparatus and image processing method to increase encoding efficiency of two-dimensional image |
KR20190110043A (ko) * | 2018-03-19 | 2019-09-27 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
GB2586095B (en) * | 2018-03-22 | 2023-03-01 | Mediatek Inc | Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection |
US10986371B2 (en) | 2018-03-22 | 2021-04-20 | Mediatek Inc. | Sample adaptive offset filtering method for reconstructed projection-based frame that employs projection layout of 360-degree virtual reality projection |
KR20190113651A (ko) * | 2018-03-27 | 2019-10-08 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
TWI799861B (zh) | 2018-03-29 | 2023-04-21 | 弗勞恩霍夫爾協會 | 用以選擇內預測模式以供填補之設備 |
CN110349226B (zh) * | 2018-04-01 | 2021-06-01 | 浙江大学 | 一种全景图像处理方法及装置 |
KR20230051309A (ko) * | 2018-04-11 | 2023-04-17 | 알카크루즈 인코포레이티드 | 디지털 미디어 시스템 |
US11917127B2 (en) | 2018-05-25 | 2024-02-27 | Interdigital Madison Patent Holdings, Sas | Monitoring of video streaming events |
KR102435519B1 (ko) * | 2018-06-20 | 2022-08-24 | 삼성전자주식회사 | 360도 영상을 처리하는 방법 및 장치 |
KR102486256B1 (ko) | 2018-06-26 | 2023-01-06 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 포인트 클라우드 코딩을 위한 하이-레벨 신택스 설계 |
WO2020001790A1 (en) | 2018-06-29 | 2020-01-02 | Huawei Technologies Co., Ltd. | Apparatuses and methods for encoding and decoding a video signal |
US11212506B2 (en) * | 2018-07-31 | 2021-12-28 | Intel Corporation | Reduced rendering of six-degree of freedom video |
US10893299B2 (en) | 2018-07-31 | 2021-01-12 | Intel Corporation | Surface normal vector processing mechanism |
US20200045288A1 (en) * | 2018-07-31 | 2020-02-06 | Intel Corporation | Six degree of freedom video transcoding mechanism |
US10887574B2 (en) | 2018-07-31 | 2021-01-05 | Intel Corporation | Selective packing of patches for immersive video |
US11178373B2 (en) | 2018-07-31 | 2021-11-16 | Intel Corporation | Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments |
US10595000B1 (en) | 2018-08-02 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for using depth information to extrapolate two-dimentional images |
EP3827592A4 (en) * | 2018-08-31 | 2021-06-30 | Mediatek Inc. | METHOD AND DEVICE FOR IN-LOOP FILTERING FOR VIRTUAL LIMITS IN VIDEO ENCODING |
US11094088B2 (en) * | 2018-08-31 | 2021-08-17 | Mediatek Inc. | Method and apparatus of in-loop filtering for virtual boundaries in video coding |
US11765349B2 (en) | 2018-08-31 | 2023-09-19 | Mediatek Inc. | Method and apparatus of in-loop filtering for virtual boundaries |
TWI822863B (zh) * | 2018-09-27 | 2023-11-21 | 美商Vid衡器股份有限公司 | 360度視訊寫碼樣本導出 |
US11057631B2 (en) | 2018-10-10 | 2021-07-06 | Intel Corporation | Point cloud coding standard conformance definition in computing environments |
US11736713B2 (en) * | 2018-11-14 | 2023-08-22 | Tencent America LLC | Constraint on affine model motion vector |
WO2020101451A1 (ko) * | 2018-11-15 | 2020-05-22 | 한국전자통신연구원 | 지역 기반 화면간/화면내 예측 기술을 이용한 부호화/복호화 방법 및 장치 |
WO2020103933A1 (en) | 2018-11-22 | 2020-05-28 | Beijing Bytedance Network Technology Co., Ltd. | Configuration method for default motion candidate |
US11756153B2 (en) * | 2018-12-31 | 2023-09-12 | Intel Corporation | Hemisphere cube map projection format in imaging environments |
US11089335B2 (en) | 2019-01-14 | 2021-08-10 | Mediatek Inc. | Method and apparatus of in-loop filtering for virtual boundaries |
CN113366846A (zh) * | 2019-02-02 | 2021-09-07 | 北京字节跳动网络技术有限公司 | 用于视频编解码中的帧内块复制的缓冲区更新 |
EP3915265A4 (en) | 2019-03-01 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | DIRECTION-BASED PREDICTION FOR INTRA BLOCK COPY IN VIDEO CODING |
CN113508581B (zh) | 2019-03-04 | 2023-11-14 | 北京字节跳动网络技术有限公司 | 视频编解码中的帧内块复制中的实施方式方面 |
WO2020189876A1 (ko) * | 2019-03-15 | 2020-09-24 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
US11334969B2 (en) * | 2019-03-19 | 2022-05-17 | Sony Group Corporation | Point cloud geometry padding |
US10979730B2 (en) * | 2019-03-20 | 2021-04-13 | Tencent America LLC | Techniques and apparatus for interframe point cloud attribute coding |
US10986364B2 (en) * | 2019-03-22 | 2021-04-20 | Tencent America LLC | Method and apparatus for interframe point cloud attribute coding |
US10904558B2 (en) * | 2019-04-26 | 2021-01-26 | Tencent America LLC | Method and apparatus for motion compensation for 360 video coding |
EP3739880A1 (en) * | 2019-05-14 | 2020-11-18 | Axis AB | Method, device and computer program product for encoding a distorted image frame |
US11979544B2 (en) | 2019-05-24 | 2024-05-07 | Lg Electronics Inc. | 360 video transmission method, 360 video reception method, 360 video transmission apparatus, and 360 video reception apparatus |
WO2020249124A1 (en) | 2019-06-14 | 2020-12-17 | Beijing Bytedance Network Technology Co., Ltd. | Handling video unit boundaries and virtual boundaries based on color format |
WO2020249123A1 (en) | 2019-06-14 | 2020-12-17 | Beijing Bytedance Network Technology Co., Ltd. | Handling video unit boundaries and virtual boundaries |
US11190768B2 (en) * | 2019-07-02 | 2021-11-30 | Mediatek Inc. | Video encoding method with syntax element signaling of packing of projection faces derived from cube-based projection and associated video decoding method and apparatus |
US11190801B2 (en) * | 2019-07-02 | 2021-11-30 | Mediatek Inc. | Video encoding method with syntax element signaling of mapping function employed by cube-based projection and associated video decoding method |
US11659206B2 (en) | 2019-07-02 | 2023-05-23 | Mediatek Inc. | Video encoding method with syntax element signaling of guard band configuration of projection-based frame and associated video decoding method and apparatus |
AU2020312053B2 (en) | 2019-07-10 | 2023-09-14 | Beijing Bytedance Network Technology Co., Ltd. | Sample identification for intra block copy in video coding |
KR102648121B1 (ko) * | 2019-07-11 | 2024-03-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 적응적 루프 필터링에서의 샘플 패딩 |
CN114424529A (zh) | 2019-09-18 | 2022-04-29 | 北京字节跳动网络技术有限公司 | 视频编解码中自适应环路滤波器的两部分信令 |
CN117278747A (zh) | 2019-09-22 | 2023-12-22 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中的填充过程 |
JP7326600B2 (ja) | 2019-09-27 | 2023-08-15 | 北京字節跳動網絡技術有限公司 | 異なるビデオユニット間の適応ループフィルタリング |
CN117956146A (zh) | 2019-10-10 | 2024-04-30 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中不可用样点位置处的填充处理 |
WO2021068922A1 (en) | 2019-10-10 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Deblocking of blocks coded in geometry partition mode |
KR20220084060A (ko) | 2019-10-29 | 2022-06-21 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 크로스 컴포넌트 적응적 루프 필터의 시그널링 |
EP4070544A4 (en) | 2019-12-11 | 2023-03-01 | Beijing Bytedance Network Technology Co., Ltd. | SAMPLE FILLING FOR ADAPTIVE LOOP FILTERING BETWEEN COMPONENTS |
CN115088265A (zh) * | 2019-12-12 | 2022-09-20 | Lg电子株式会社 | 用于控制环路滤波的图像编码装置和方法 |
US11356698B2 (en) | 2019-12-30 | 2022-06-07 | Tencent America LLC | Method for parameter set reference constraints in coded video stream |
CN114788264B (zh) * | 2019-12-30 | 2023-07-25 | 阿里巴巴(中国)有限公司 | 用于发出虚拟边界和环绕运动补偿的信号的方法 |
US11477490B2 (en) * | 2020-01-03 | 2022-10-18 | Mediatek Inc. | Video processing method with sample adaptive offset filtering disabled across virtual boundary in reconstructed frame and associated video processing apparatus |
KR20220140706A (ko) * | 2020-02-17 | 2022-10-18 | 인텔 코포레이션 | 컨볼루션 신경망(cnn) 기반 필터를 사용한 360도 비디오의 향상 |
US20230171431A1 (en) * | 2020-03-11 | 2023-06-01 | Lg Electronics Inc. | Device for transmitting point cloud data, method for transmitting point cloud data, device for receiving point cloud data, and method for receiving point cloud data |
KR102406845B1 (ko) | 2020-04-13 | 2022-06-10 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
US11438628B2 (en) * | 2020-06-03 | 2022-09-06 | Tencent America LLC | Hash-based accessing of geometry occupancy information for point cloud coding |
CN113810734B (zh) * | 2020-06-15 | 2024-04-05 | 浙江宇视科技有限公司 | 视频融合方法、装置、设备、系统及计算机可读存储介质 |
EP4173290A4 (en) | 2020-06-30 | 2024-01-10 | Beijing Bytedance Network Technology Co., Ltd. | BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING |
US20230291895A1 (en) * | 2020-07-23 | 2023-09-14 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
US20230290006A1 (en) * | 2020-09-03 | 2023-09-14 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
US20230334719A1 (en) * | 2020-10-30 | 2023-10-19 | Lg Electronics Inc. | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method |
WO2022197129A1 (ko) * | 2021-03-19 | 2022-09-22 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
US20230306645A1 (en) * | 2022-03-25 | 2023-09-28 | Tencent America LLC | Convolutional Approach to Fast and Compact Packing of 3D Mesh Into 2D Maps |
WO2024007789A1 (en) * | 2022-07-06 | 2024-01-11 | Mediatek Inc. | Prediction generation with out-of-boundary check in video coding |
WO2024080841A1 (ko) * | 2022-10-13 | 2024-04-18 | 한국전자통신연구원 | 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6331869B1 (en) | 1998-08-07 | 2001-12-18 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
US6466254B1 (en) * | 1997-05-08 | 2002-10-15 | Be Here Corporation | Method and apparatus for electronically distributing motion panoramic images |
JP2003141562A (ja) * | 2001-10-29 | 2003-05-16 | Sony Corp | 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
US7627194B2 (en) | 2004-08-13 | 2009-12-01 | Samsung Electronics Co., Ltd. | Method and device for making virtual image region for motion estimation and compensation of panorama image |
KR100688383B1 (ko) * | 2004-08-13 | 2007-03-02 | 경희대학교 산학협력단 | 파노라마 영상의 움직임 추정 및 보상 |
US7623682B2 (en) | 2004-08-13 | 2009-11-24 | Samsung Electronics Co., Ltd. | Method and device for motion estimation and compensation for panorama image |
CN101853552A (zh) * | 2010-04-20 | 2010-10-06 | 长春理工大学 | 全方位无盲区运动目标检测方法 |
JP2012190299A (ja) | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置および方法、並びにプログラム |
CN103782595A (zh) * | 2011-07-01 | 2014-05-07 | 三星电子株式会社 | 通过使用用于统一参考可能性的检查处理的帧内预测的视频编码方法、视频解码方法及其装置 |
US8995772B2 (en) * | 2012-11-09 | 2015-03-31 | Microsoft Technology Licensing, Llc | Real-time face detection using pixel pairs |
US10368097B2 (en) * | 2014-01-07 | 2019-07-30 | Nokia Technologies Oy | Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures |
KR101583646B1 (ko) | 2014-05-12 | 2016-01-19 | (주)헥스하이브 | 전 방위 평면 이미지를 생성하는 방법 및 장치 |
US10204658B2 (en) * | 2014-07-14 | 2019-02-12 | Sony Interactive Entertainment Inc. | System and method for use in playing back panorama video content |
US9918082B2 (en) * | 2014-10-20 | 2018-03-13 | Google Llc | Continuous prediction domain |
WO2017051072A1 (en) | 2015-09-23 | 2017-03-30 | Nokia Technologies Oy | A method, an apparatus and a computer program product for coding a 360-degree panoramic video |
FI20165256A (fi) * | 2016-03-24 | 2017-09-25 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodaukseen ja -dekoodaukseen |
EP3466075A1 (en) | 2016-05-26 | 2019-04-10 | VID SCALE, Inc. | Geometric conversion for 360-degree video coding |
US10523913B2 (en) * | 2017-06-30 | 2019-12-31 | Apple Inc. | Packed image format for multi-directional video |
-
2017
- 2017-07-07 WO PCT/US2017/041021 patent/WO2018009746A1/en unknown
- 2017-07-07 KR KR1020237012023A patent/KR20230051319A/ko not_active Application Discontinuation
- 2017-07-07 KR KR1020227011309A patent/KR102521272B1/ko active IP Right Grant
- 2017-07-07 KR KR1020197000642A patent/KR20190035678A/ko not_active Application Discontinuation
- 2017-07-07 JP JP2019500358A patent/JP6983862B2/ja active Active
- 2017-07-07 TW TW106122881A patent/TWI775760B/zh active
- 2017-07-07 EP EP17751498.1A patent/EP3482563A1/en active Pending
- 2017-07-07 CN CN202310928178.1A patent/CN117135357A/zh active Pending
- 2017-07-07 US US16/315,447 patent/US10887621B2/en active Active
- 2017-07-07 CN CN201780042512.6A patent/CN109417632B/zh active Active
-
2020
- 2020-12-04 US US17/111,683 patent/US11388438B2/en active Active
-
2021
- 2021-08-27 JP JP2021138935A patent/JP7295178B2/ja active Active
-
2022
- 2022-07-08 US US17/860,629 patent/US20220368947A1/en active Pending
-
2023
- 2023-06-08 JP JP2023094844A patent/JP2023105219A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2018009746A1 (en) | 2018-01-11 |
US20220368947A1 (en) | 2022-11-17 |
JP7295178B2 (ja) | 2023-06-20 |
JP2022000954A (ja) | 2022-01-04 |
CN109417632B (zh) | 2023-08-04 |
TWI775760B (zh) | 2022-09-01 |
US20190215532A1 (en) | 2019-07-11 |
US11388438B2 (en) | 2022-07-12 |
KR102521272B1 (ko) | 2023-04-12 |
US10887621B2 (en) | 2021-01-05 |
KR20230051319A (ko) | 2023-04-17 |
CN109417632A (zh) | 2019-03-01 |
JP2019525563A (ja) | 2019-09-05 |
EP3482563A1 (en) | 2019-05-15 |
TW201812708A (zh) | 2018-04-01 |
JP2023105219A (ja) | 2023-07-28 |
KR20220047402A (ko) | 2022-04-15 |
US20210136413A1 (en) | 2021-05-06 |
CN117135357A (zh) | 2023-11-28 |
KR20190035678A (ko) | 2019-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6983862B2 (ja) | ジオメトリ投影を使用する360度ビデオ符号化 | |
JP7357747B2 (ja) | 面連続性を使用する360度ビデオコーディング | |
US20230412839A1 (en) | Geometry Conversion for 360-degree Video Coding | |
CN110999296B (zh) | 解码360度视频的方法、设备及计算机可读介质 | |
US20220385942A1 (en) | Face discontinuity filtering for 360-degree video coding | |
KR20210080358A (ko) | 360도 비디오 코딩을 위한 샘플 도출 | |
WO2019143551A1 (en) | Adaptive frame packing for 360-degree video coding | |
WO2018170416A1 (en) | Floating point to integer conversion for 360-degree video projection format conversion and spherical metrics calculation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190123 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190508 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20200918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201216 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210827 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210827 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210907 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6983862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |