JP7248741B2 - デプスマップの推定および更新を用いる効率的なマルチビュー符号化 - Google Patents
デプスマップの推定および更新を用いる効率的なマルチビュー符号化 Download PDFInfo
- Publication number
- JP7248741B2 JP7248741B2 JP2021100230A JP2021100230A JP7248741B2 JP 7248741 B2 JP7248741 B2 JP 7248741B2 JP 2021100230 A JP2021100230 A JP 2021100230A JP 2021100230 A JP2021100230 A JP 2021100230A JP 7248741 B2 JP7248741 B2 JP 7248741B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- view
- motion vector
- current picture
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 359
- 230000001419 dependent effect Effects 0.000 claims description 133
- 238000000034 method Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims 1
- 239000000523 sample Substances 0.000 description 85
- 230000002123 temporal effect Effects 0.000 description 41
- 230000006870 function Effects 0.000 description 23
- 239000010410 layer Substances 0.000 description 23
- 238000009795 derivation Methods 0.000 description 19
- 238000004590 computer program Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 8
- 239000013074 reference sample Substances 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 5
- 238000003491 array Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 238000000638 solvent extraction Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 239000011229 interlayer Substances 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000010420 art technique Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
- H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
・動きベクトルは、一定の動きベクトル予測因子を用いることによって符号化されない。その代わりに、動きベクトル予測因子候補のリストが存在し、さらに、これらの予測因子の1つは、ブロックベースで適応的に選択される。選択された予測因子は、ビットストリーム内に信号で送られる。
・ITU-T Rec. H.264 | ISO/IEC 14496-10は、動きパラメータ(仮説の数、参照インデックス、動きベクトル)が(残差情報を除いて)いかなる付加的なパラメータも符号化せずに、すでに符号化された情報から完全に導出されるSKIPおよびDIRECTを提供する。HEVCは、いわゆるマージモードを提供する。このモードのために、空間的におよび時間的に隣接したブロックの動きパラメータによって与えられる動きパラメータ候補のリストが確立される。マージモードにおいて符号化されるブロックのために選択される動きパラメータ(仮説の数、参照インデックスおよび動きベクトルを含む)は、インデックスを候補リストに送信することによって信号で送られる。
・導出されたデプス/視差データに基づく現在のブロックのための候補動きまたは視差データの導出。
・現在のブロックのための動きまたは視差データの符号化。
・参照ビューのための動きベクトルは、参照ビューの参照ピクチャおよび参照ビューの現在のピクチャにおいて投影されたオブジェクトポイントの位置の差によって与えられ、MVR(xR,t)=xR,t-1-xR,tであり、
・現在の時刻のための視差ベクトルは、参照ビューの現在のピクチャおよび現在のビューの現在のピクチャにおいて投影されたオブジェクトポイントの位置の差によって与えられ、DVt(xC,t)=xR,t-xC,tであり、
・参照時刻のための視差ベクトルは、参照ビューの参照ピクチャおよび現在のビューの参照ピクチャにおいて投影されたオブジェクトポイントの位置の差によって与えられ、DVt-1(xC,t-1)=xR,t-1-xC,t-1である。
MVC(xC,t)+DVt-1(xC,t-1)-MVR(xR,t)-DVt(xC,t)=0
MVC(xC,t)=MVR(xR,t)+DVt(xC,t)-DVt-1(xC,t-1)
に従って導出され得る。ほとんどの場合、参照ビューのための動きベクトル(または動きパラメータ)は、このビューが動き補償予測を用いてすでに符号化されるので、与えられる。しかし、視差は通常与えられることなく、それらは推定され得るだけである。しかしながら、2つの推定値を用いることによって、最終的な結果の精度は、全く不正確であってもよく、さらに、十分に正確な時間的な動きベクトル予測因子を導出することに適していなくてもよい。しかし、一般に、オブジェクトポイントのデプス(カメラからの現実世界のオブジェクトポイントの距離)がほとんど現在のおよび参照ピクチャに対応する時刻間の定数であると仮定されることは正当化される(2つの連続したピクチャ間のカメラからまたはまでのオブジェクト動きは、通常、オブジェクトからカメラまでの距離よりも非常に小さい)。そして、視差もほとんど定数であり、さらに、動きベクトル間の関係は、
MVC(xC,t)≒MVR(xR,t)=MVR(xC,t+DVt(xC,t))
に単純化する。
d=fdz(z)
v(x)=fvd(d(x),x)
ここで、fvdは、視差ベクトルにサンプル位置x=[x,y]Tでデプス値dをマッピングする関数を特定する。1次元の並列カメラ構成である特定の重要なセットアップにおいて、それは、以下の特性によって特徴づけられる。
・すべてのカメラの光学軸は、平行であり、さらに、同じ平面内にある
・イメージセンサのスキャンラインは、光学軸を含む平面と平行である
v=fvd(d)
によって与えられる。
・動き/視差ベクトル予測因子候補の所定のリストの動き/視差ベクトル予測因子を特定する動き/視差ベクトル予測因子インデックス。動き/視差ベクトル予測因子候補のリストが単一の要素からなる場合、このインデックスは、送信されないがデコーダ側で推測される。ピクチャの少なくとも1つのブロックのために、動き/視差ベクトル予測因子候補のリストは、すでに符号化されたビューにおいて所定のデプス/視差情報および動き情報に基づいて導出される動き/視差ベクトルを含む。
・さもなければ(参照インデックスが時間的な参照ピクチャ(すなわち、同じビュー(例えば22など)のすでに符号化されたピクチャ)を参照し、動きベクトル予測因子が所定の参照ビューまたは例えば20などの参照ビューのセットに基づいて導出される。参照ビューまたは参照ビューのセットは、特定のアルゴリズムで決定され、または、ビットストリーム14において信号で送られる。例えば、参照ビューは、同じ時刻のための前に符号化されたビューであり得て、または、それは、現在のビューに最も小さい距離を有する(同じ時刻のために)すでに符号化されたビューまたは特定のアルゴリズムによって決定されるすでに符号化されたビューの他のいかなるものでもあり得る。すでに符号化されたビューのセットは、現在の時刻のためのすでに符号化されたビューのセットまたはこのセットのいかなるサブセットでもあり得る。
・さもなければ、(参照インデックスは、時間的な参照ピクチャ(すなわち、同じビューのすでに符号化されたピクチャ)を参照し)、動きベクトル予測因子は、所定の参照ビューまたは参照ビューのセットに基づいて導出される。サンプル位置xiごとに、デプス値diは、導出され、さらに、視差ベクトルviにマッピングされる。そして、(利用できるようにマークされる)視差ベクトルviごとに、動きベクトルmiは、(第1の好適な実施形態のために)上に特定されるアルゴリズムのいずれかによって導出される。それから、最終的な動きベクトル予測因子は、動きベクトルmiの関数によって与えられる。動きベクトル予測因子は、ほとんどの場合に発生する動きベクトルmiに等しく設定され得て、または、それは、動きベクトルmiのメジアン(または成分ごとのメジアン)に設定され得て、または、それは、動きベクトルmiの平均に設定され得て、または、それは、動きベクトルmiの他のいかなる関数によっても決定され得る。
・参照ビューにおいて参照インデックスがインタービュー参照ピクチャを参照する場合、現在のビューのための参照インデックスは、それが選択されたインタービュー参照ピクチャ(例えば、現在のビューと同じインタービュー参照ピクチャまたは参照ビューによって表される参照ピクチャ)も参照する方法で修正され得る。この場合、動きベクトルも、視差ベクトルに置き換えられなければならず、それは、代表デプスdを視差ベクトルに変換することによって得られ得る。
・参照ブロックにおいて用いられるすべての参照ピクチャのために対応するピクチャ(同じ時刻またはピクチャ順序カウントまたは参照インデックス)が現在のブロックのための参照リストにおいて利用できない場合、現在のブロックに利用できない参照ピクチャを参照する動き仮説が存在しないよう考慮され得る。
・参照ブロックがイントラ符号化される場合、動きパラメータは、視差補償予測のための動きパラメータに置き換えられ得る。例えば、参照インデックスは、それが参照ビューピクチャを参照する方法で設定され得て、さらに、動きベクトルは、代表デプスdを視差ベクトルに変換することによって得られる視差ベクトルに等しく設定され得る。代案として、動きパラメータは、利用できないようにマークされ得る。
・デプス値が特定のサンプル位置にさらに割り当てられない場合、それは、フォアグラウンドオブジェクトが移動し、さらに、前にカバーされたバックグラウンドが見えることを意味する。そのような領域のために行われ得る最高のものは、非閉塞バックグラウンドが隣接したバックグラウンドサンプルと比べて同じデプスを有すると仮定することである。そのため、デプス値が割り当てられていない領域は、カメラまでの最も大きい距離を表す周囲のサンプルのデプス値で満たされる。
2.参照デプスマップのサンプル位置xRごとに、以下のことが適用される。
a.サンプル位置xRのデプス値dは、所定のカメラまたは変換パラメータを用いて視差ベクトルvに変換され、視差ベクトルvは、(該当する場合に)サンプル精度に丸められ、さらに、現在のピクチャ内のサンプル位置は、
xC=xR+v=xR+[round(f]vd(d))
によって導出される。
b.現在のピクチャにおいてサンプル位置xCのデプス値が定義されていない値を有する場合、サンプル位置のデプス値は、デプス値dに等しく設定される。
c.さもなければ、現在のピクチャにおいてサンプル位置xCのデプス値は、dx<dで定義された値dxを有する場合、サンプル位置のデプス値は、デプス値dに等しく修正されさらに設定される。
3.定義されていないデプス値を有する現在のデプスマップの領域は、特定のホールフィルングアルゴリズムによって満たされる。そのようなホールフィリングアルゴリズムのために、現在のビューにおいてカバーされていないバックグラウンドのデプス値は、周囲のデプス値のサンプルに基づいて導出される。例えば、周囲のサンプルの最も小さいデプスマップ値が割り当てられ得る。しかし、より高度なホールフィリングアルゴリズムが可能である。
・関連したピクチャの動きパラメータを用いてベースビューデプスマップの時間的な予測。
・関連したピクチャのための実際に符号化された動きおよび視差ベクトルを用いてデプスマップ推定の更新。
・さもなければ、ブロックが1つ以上の視差ベクトル(視差仮説)を用いて符号化される場合、デプスサンプルは、視差ベクトルをデプス値に変換することによって導出される。1つの視差ベクトル(視差仮説)だけがブロックのために用いられる場合、デプス値は、対応する視差ベクトルによって与えられる。2つ以上の視差ベクトルがブロックのために用いられる場合、視差ベクトルの1つは、デプス値を導出するために選択され得て、または、視差ベクトルごとに、デプス値は、導出され得て、さらに、最後に割り当てられたデプス値は、個々に導出されたデプス値の関数を適用することによって得られる。可能な関数は、その中で、個々のデプス値の最小または最大、デプス値のメジアン、デプス値の平均、または、ほとんどの場合に発生するデプス値である。
・さもなければ、ブロックは、時間的な動き仮説だけを用いて符号化され、さらに、時間的な動き仮説は、ブロックのためのデプスサンプルを更新するために用いられる。
mcurr+vt-1-mref-vt=0
であり、符号化された動きパラメータおよび参照ピクチャにおいて視差が正しいと仮定する場合、現在の視差ベクトルは、
vt=vt-1+(mcurr-mref)
に等しく設定され得る。視差ベクトルは、デプスにおよびその逆に変換され得る。そのため、現在のデプスは、
として表され得る。
[1] ITU-T and ISO/IEC JTC 1, "Advanced video coding for generic audiovisual services," ITU-T Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 AVC), 2010
[2] A. Vetro, T. Wiegand, G. J. Sullivan, "Overview of the Stereo and Multiview Video Coding Extension of the H.264/MPEG-4 AVC Standard", Proceedings of IEEE, vol. 99, no.4, pp. 626-642, Apr. 2011
[3] H. Schwarz, D. Marpe, T. Wiegand, "Overview of the Scalable Video Coding Extension of the H.264/AVC Standard", IEEE Transactions on Circuits and Systems for Video Technology, vol. 17, no. 9, pp. 1103-1120, Sep. 2007
Claims (20)
- データストリームに符号化されたマルチビュー信号を再構成するための装置であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連づけられた動きベクトル候補のリストを処理するように構成されるディペンデントビュー再構成器であって、前記処理は、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに対応する前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第2の動きベクトルに基づいた、第1の動きベクトルの推定と、
前記第1の動きベクトルの前記動きベクトル候補のリストへの追加と、
前記動きベクトル候補のリストのうちの選択された動きベクトルと、動き補償予測に使用される前記選択された動きベクトルに関連付けられた前記ディペンデントビュー内の参照ピクチャとを示すインデックス情報の前記データストリームからの抽出と、
前記選択された動きベクトルおよび前記参照ピクチャに基づいて前記動き補償予測を実行することによる、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックの再構成と、
を含むディペンデントビュー再構成器を備える、装置。 - 前記ディペンデントビュー再構成器は、前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関して、前記ディペンデントビューの前記現在のピクチャと前記参照ビューの前記現在のピクチャとの間の視差を表す視差ベクトルを取得して、前記視差ベクトルに基づいて前記参照ビューの前記現在のピクチャ内の前記参照ブロックを識別するように構成される、請求項1に記載の装置。
- 前記参照ビューの前記現在のピクチャに関連付けられた動きデータを取得し、
前記参照ビューの前記現在のピクチャに関連付けられた前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して前記参照ビューの前記現在のピクチャのための第1の推定デプスマップを生成し、
前記参照ビューの前記現在のピクチャのための第1の推定デプスマップに基づいて前記ディペンデントビューの前記現在のピクチャのための第2の推定デプスマップを導出し、
前記ディペンデントビューの前記現在のピクチャのための前記第2の推定デプスマップに基づいて、前記視差ベクトルを決定する
ように構成されるデプス推定器をさらに備える、請求項2に記載の装置。 - 前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の1つ以上前に復号化された符号化ブロックに関連付けられた少なくとも1つの視差ベクトルにさらに基づいて決定される、請求項3に記載の装置。
- 前記ディペンデントビュー再構成器は、
前記選択された動きベクトルに向けられた動きベクトル残差を前記データストリームから抽出し、
前記選択された動きベクトルおよび前記動きベクトル残差に基づいてリファインされた動きベクトルを取得し、
前記リファインされた動きベクトルおよび前記参照ピクチャに基づいて前記動き補償予測を実行して前記符号化ブロックを予測する
ようにさらに構成される、請求項1に記載の装置。 - 前記動きベクトル候補のリストは、
- 前記ディペンデントビューの前記現在のピクチャ内の空間的に隣の符号化ブロックに関連付けられた動きデータに基づいて決定された、第1の推定動きベクトル、
- 前記ディペンデントビューの前のピクチャ内の時間的に隣の符号化ブロックに関連付けられた動きデータに基づいて決定された、第2の推定動きベクトル、
- 前記第1の推定動きベクトルを修正して導出された、第1の修正推定動きベクトル、および
- 前記第2の推定動きベクトルを修正して導出された、第2の修正推定動きベクトル、のうちの1つ以上を含む、請求項1に記載の装置。 - データストリームに符号化されたマルチビュー信号を再構成するためのプログラムを格納した非一時的機械可読媒体であって、前記プログラムは、機械によって読み込まれた時に、複数の動作を前記機械に実行させ、前記複数の動作は、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連付けられた動きベクトル候補のリストを処理するステップであって、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに相当する前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第2の動きベクトルに基づいて、第1の動きベクトルを推定し、前記第1の動きベクトルを前記動きベクトル候補のリストに追加するステップと、
前記動きベクトル候補のリストのうちの選択された動きベクトルと、動き補償予測に使用される前記選択された動きベクトルに関連付けられた前記ディペンデントビュー内の参照ピクチャとを示すインデックス情報を前記データストリームから抽出するステップと、
前記選択された動きベクトル候補および前記参照ピクチャに基づいて前記動き補償予測を実行することによって、前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックの再構成するステップと、
を含む、非一時的機械可読媒体。 - 前記複数の動作はさらに、
前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関して、前記ディペンデントビューの前記現在のピクチャと前記参照ビューの前記現在のピクチャとの間の視差を表す視差ベクトルを取得するステップと、
前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の前記参照ブロックを識別するステップと、
を含む、請求項7に記載の非一時的機械可読媒体。 - 前記視差ベクトルを取得するステップは、
前記参照ビューの前記現在のピクチャに関連付けられた動きデータを取得するステップと、
前記参照ビューの前記現在のピクチャに関連付けられた動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第1の推定デプスマップを生成するステップと、
前記参照ビューの前記現在のピクチャのための前記第1の推定デプスマップに基づいて、前記ディペンデントビューの前記現在のピクチャのための第2の推定デプスマップを導出するステップと、
前記ディペンデントビューの前記現在のピクチャのための前記第2の推定デプスマップに基づいて、前記視差ベクトルを決定するステップと、
を含む、請求項8に記載の非一時的機械可読媒体。 - 前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の1つ以上の前に復号された符号化ブロックに関連付けられた少なくとも1つの視差ベクトルにさらに基づいて決定される、請求項9に記載の非一時的機械可読媒体。
- 前記複数の動作はさらに、
前記選択された動きベクトルに向けられた動きベクトル残差を前記データストリームから抽出するステップと、
前記選択された動きベクトルおよび前記動きベクトル残差に基づいて、リファインされた動きベクトルを取得するステップと、
前記リファインされた動きベクトルおよび前記参照ピクチャに基づいた、前記動き補償予測を実施して、前記符号化ブロックを予測するステップと、
をさらに含む、請求項7に記載の非一時的機械可読媒体。 - 前記動きベクトル候補のリストは、
- 前記ディペンデントビューの前記現在のピクチャ内の空間的に隣の符号化ブロックに関連付けられた動きデータに基づいて決定される、第1の推定動きベクトル、
- 前記ディペンデントビューの前のピクチャ内の時間的に隣の符号化ブロックに関連付けられた動きデータに基づいて決定される、第2の推定動きベクトル、
- 前記第1の推定動きベクトルを修正して導出される、第1の修正推定動きベクトル、
および
- 前記第2の推定動きベクトルを修正して導出される、第2の修正推定動きベクトルのうちの1つ以上を含む、請求項7に記載の非一時的機械可読媒体。 - データストリームに符号化されたマルチビュー信号を符号化するための装置であって、
前記マルチビュー信号のディペンデントビュー内の現在のピクチャの符号化ブロックに関連付けられた動きベクトル候補のリストを処理するように構成されたディペンデントビュー符号化器であって、前記動きベクトル候補のリストの処理は、
前記ディペンデントビューの前記現在のピクチャの前記符号化ブロックに相当する前記マルチビュー信号の参照ビューの現在のピクチャ内の参照ブロックに関連付けられた第2の動きベクトルに基づいた、第1の動きベクトルの推定と、
前記第1の動きベクトルの動きベクトル候補への追加と、
前記動きベクトル候補のリストのうちの選択された動きベクトルと、動き補償予測によって前記ディペンデントビューの前記現在のピクチャ内の前記符号化ブロックを再構成するために使用される前記選択された動きベクトルに関連付けられたディペンデントビュー内の参照ピクチャとの決定と、
前記選択された動きベクトルと前記参照ピクチャとを示すインデックス情報の生成と、
前記インデックス情報の前記データストリームへの挿入と、
を含むディペンデントビュー符号化器を備える、装置。 - 前記ディペンデントビュー符号化器は、前記ディペンデントビュー内の前記現在のピクチャの前記符号化ブロックに関して、前記ディペンデントビューの前記現在のピクチャと前記参照ビューの前記現在のピクチャとの間の視差を表す視差ベクトルを取得して、前記視差ベクトルに基づいて、前記参照ビューの前記現在のピクチャ内の前記参照ブロックを識別するように構成される、請求項13に記載の装置。
- 前記参照ビューの前記現在のピクチャに関連付けられた動きデータを取得すること、
前記参照ビューの前記現在のピクチャに関連付けられた前記動きデータを前記参照ビューの前のピクチャのデプスマップ推定に適用して、前記参照ビューの前記現在のピクチャのための第1の推定デプスマップを生成すること、
前記参照ビューの前記現在のピクチャのための前記第1の推定デプスマップに基づいて、前記ディペンデントビューの前記現在のピクチャのための第2の推定デプスマップを導出すること、および
前記ディペンデントビューの前記現在のピクチャのための前記第2の推定デプスマップに基づいて、前記視差ベクトルを決定すること
によって、前記視差ベクトルを推定するように構成されたデプス推定器をさらに備える、
請求項14に記載の装置。 - 前記ディペンデントビュー内の前記符号化ブロックのための前記視差ベクトルは、前記マルチビュー信号の1つ以上前に復号された符号化ブロックに関連付けられた少なくとも1つの視差ベクトルにさらに基づいて決定される、請求項15に記載の装置。
- 前記ディペンデントビュー符号化器は、
前記符号化ブロックの元の動きベクトルと前記選択された動きベクトルとの間の差に基づいて、前記選択された動きベクトルに向けられた動きベクトル残差を決定し、
前記動きベクトル残差を前記データストリームに挿入する
ようにさらに構成される、請求項13に記載の装置。 - 前記動きベクトル候補のリストは、
- 前記ディペンデントビューの前記現在のピクチャ内の空間的に隣の符号化ブロックに関連付けられた動きデータに基づいて決定された、第1の推定動きベクトル、
- 前記ディペンデントビューの前のピクチャ内の時間的に隣の符号化ブロックに関連付けられた動きデータに基づいて決定された、第2の推定動きベクトル、
- 前記第1の推定動きベクトルを修正することによって導出された、第1の修正推定動きベクトル、および
- 前記第2の推定動きベクトルを修正することによって導出された、第2の修正推定動きベクトル
のうちの1つ以上を含む、請求項13に記載の装置。 - 前記インデックス情報はコンテキスト適応型バイナリ算術符号化に基づいて復号される、請求項1に記載の装置。
- 前記インデックス情報はコンテキスト適応型バイナリ算術符号化に基づいて復号される、請求項13に記載の装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023041766A JP2023085341A (ja) | 2011-11-11 | 2023-03-16 | 深度マップの推定および更新を用いる効率的なマルチビュー符号化 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161558651P | 2011-11-11 | 2011-11-11 | |
US61/558,651 | 2011-11-11 | ||
JP2019105062A JP7210381B2 (ja) | 2011-11-11 | 2019-06-05 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019105062A Division JP7210381B2 (ja) | 2011-11-11 | 2019-06-05 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023041766A Division JP2023085341A (ja) | 2011-11-11 | 2023-03-16 | 深度マップの推定および更新を用いる効率的なマルチビュー符号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021168479A JP2021168479A (ja) | 2021-10-21 |
JP7248741B2 true JP7248741B2 (ja) | 2023-03-29 |
Family
ID=47257762
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014540483A Active JP6178326B2 (ja) | 2011-11-11 | 2012-11-09 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
JP2017137033A Active JP6659628B2 (ja) | 2011-11-11 | 2017-07-13 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
JP2019105062A Active JP7210381B2 (ja) | 2011-11-11 | 2019-06-05 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
JP2021100230A Active JP7248741B2 (ja) | 2011-11-11 | 2021-06-16 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
JP2023041766A Pending JP2023085341A (ja) | 2011-11-11 | 2023-03-16 | 深度マップの推定および更新を用いる効率的なマルチビュー符号化 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014540483A Active JP6178326B2 (ja) | 2011-11-11 | 2012-11-09 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
JP2017137033A Active JP6659628B2 (ja) | 2011-11-11 | 2017-07-13 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
JP2019105062A Active JP7210381B2 (ja) | 2011-11-11 | 2019-06-05 | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023041766A Pending JP2023085341A (ja) | 2011-11-11 | 2023-03-16 | 深度マップの推定および更新を用いる効率的なマルチビュー符号化 |
Country Status (9)
Country | Link |
---|---|
US (5) | US10097810B2 (ja) |
EP (2) | EP2777267B1 (ja) |
JP (5) | JP6178326B2 (ja) |
KR (8) | KR102492490B1 (ja) |
CN (2) | CN104247432B (ja) |
BR (1) | BR112014011425B1 (ja) |
HK (1) | HK1202208A1 (ja) |
IN (1) | IN2014KN00990A (ja) |
WO (1) | WO2013068547A2 (ja) |
Families Citing this family (79)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8867854B2 (en) * | 2008-10-01 | 2014-10-21 | Electronics And Telecommunications Research Institute | Image encoder and decoder using undirectional prediction |
KR101356448B1 (ko) | 2008-10-01 | 2014-02-06 | 한국전자통신연구원 | 예측 모드를 이용한 복호화 장치 |
TWI580264B (zh) * | 2011-11-10 | 2017-04-21 | Sony Corp | Image processing apparatus and method |
EP3657796A1 (en) | 2011-11-11 | 2020-05-27 | GE Video Compression, LLC | Efficient multi-view coding using depth-map estimate for a dependent view |
KR102492490B1 (ko) | 2011-11-11 | 2023-01-30 | 지이 비디오 컴프레션, 엘엘씨 | 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩 |
EP2781091B1 (en) | 2011-11-18 | 2020-04-08 | GE Video Compression, LLC | Multi-view coding with efficient residual handling |
US20130176390A1 (en) * | 2012-01-06 | 2013-07-11 | Qualcomm Incorporated | Multi-hypothesis disparity vector construction in 3d video coding with depth |
US9560353B2 (en) | 2012-01-27 | 2017-01-31 | Sun Patent Trust | Video encoding method, video encoding device, video decoding method and video decoding device |
CN107835428B (zh) * | 2012-03-02 | 2021-09-24 | 太阳专利托管公司 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置 |
US20150036753A1 (en) * | 2012-03-30 | 2015-02-05 | Sony Corporation | Image processing device and method, and recording medium |
WO2013158097A1 (en) | 2012-04-19 | 2013-10-24 | Intel Corporation | 3d video coding including depth based disparity vector calibration |
KR20130119379A (ko) * | 2012-04-23 | 2013-10-31 | 삼성전자주식회사 | 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 부호화 방법 및 그 장치, 다시점 비디오 예측을 위한 참조리스트를 이용하는 다시점 비디오 복호화 방법 및 그 장치 |
EP2843946A4 (en) * | 2012-04-25 | 2016-01-20 | Samsung Electronics Co Ltd | MULTILOSYVIEW VIDEO COORDINATION METHOD USING A REFERENCE FILMS FOR MULTILOOK VIEW VIEW AND DEVICE THEREFOR, AND MULTIPLE VIDEO VIDEO CODING METHODS USING A REFERENCE FILMS FOR MULTILOOK VIEWS AND METHOD THEREFOR |
EP3796651A1 (en) | 2012-05-09 | 2021-03-24 | Sun Patent Trust | Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof |
JP6000463B2 (ja) * | 2012-09-21 | 2016-09-28 | 聯發科技股▲ふん▼有限公司Mediatek Inc. | 3d映像符号化の仮想深度値の方法および装置 |
US10075728B2 (en) * | 2012-10-01 | 2018-09-11 | Inria Institut National De Recherche En Informatique Et En Automatique | Method and device for motion information prediction refinement |
WO2014053518A1 (en) | 2012-10-01 | 2014-04-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer |
KR101421411B1 (ko) | 2012-11-14 | 2014-07-22 | 에스케이플래닛 주식회사 | 지도정보 제공 방법, 이를 위한 시스템, 이를 위한 단말기 및 이를 위한 서비스장치 |
US10136143B2 (en) * | 2012-12-07 | 2018-11-20 | Qualcomm Incorporated | Advanced residual prediction in scalable and multi-view video coding |
US9781416B2 (en) * | 2013-02-26 | 2017-10-03 | Qualcomm Incorporated | Neighboring block disparity vector derivation in 3D video coding |
US9596448B2 (en) * | 2013-03-18 | 2017-03-14 | Qualcomm Incorporated | Simplifications on disparity vector derivation and motion vector prediction in 3D video coding |
JP6154643B2 (ja) * | 2013-03-29 | 2017-06-28 | Kddi株式会社 | 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム |
CN105122808B (zh) | 2013-04-10 | 2018-08-03 | 联发科技股份有限公司 | 三维或多视图视频编码或解码的方法及装置 |
KR101854003B1 (ko) * | 2013-07-02 | 2018-06-14 | 경희대학교 산학협력단 | 복수의 레이어를 포함하는 영상의 부호화 및 복호화 방법 |
KR101712109B1 (ko) * | 2013-07-12 | 2017-03-03 | 삼성전자 주식회사 | 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 복호화 방법 및 그 장치, 깊이 기반 디스패리티 벡터를 이용하는 인터 레이어 비디오 부호화 방법 및 장치 |
US10045014B2 (en) * | 2013-07-15 | 2018-08-07 | Mediatek Singapore Pte. Ltd. | Method of disparity derived depth coding in 3D video coding |
EP3059970B1 (en) * | 2013-10-18 | 2020-01-08 | LG Electronics Inc. | Method predicting view synthesis in multi-view video coding and method for constituting merge candidate list by using same |
MX365706B (es) | 2013-12-20 | 2019-06-11 | Samsung Electronics Co Ltd | Metodo de codificacion de video usando prediccion inter-vista y dispositivo del mismo, y metodo de decodificacion de video y dispositivo del mismo. |
CN103763557B (zh) * | 2014-01-03 | 2017-06-27 | 华为技术有限公司 | 一种Do‑NBDV获取方法及视频解码装置 |
CN106464899A (zh) * | 2014-03-20 | 2017-02-22 | 日本电信电话株式会社 | 活动图像编码装置及方法和活动图像解码装置及方法 |
KR102260146B1 (ko) * | 2014-03-31 | 2021-06-03 | 인텔렉추얼디스커버리 주식회사 | 시점 간 움직임 병합 후보 유도 방법 및 장치 |
KR102240570B1 (ko) * | 2014-05-13 | 2021-04-15 | 삼성전자주식회사 | 신장 트리 생성 방법 및 장치,스테레오 매칭 방법 및 장치,업 샘플링 방법 및 장치,및 기준 픽셀 생성 방법 및 장치 |
US9939253B2 (en) * | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
WO2015184605A1 (en) * | 2014-06-04 | 2015-12-10 | Mediatek Singapore Pte. Ltd. | Depth coding compatible with arbitrary bit-depth |
CN104079944B (zh) | 2014-06-30 | 2017-12-01 | 华为技术有限公司 | 视频编码的运动矢量列表构建方法和系统 |
WO2016008157A1 (en) | 2014-07-18 | 2016-01-21 | Mediatek Singapore Pte. Ltd. | Methods for motion compensation using high order motion model |
CN112511837B (zh) | 2014-08-20 | 2024-08-30 | 弗劳恩霍夫应用研究促进协会 | 视频合成系统、视频合成方法及计算机可读存储介质 |
CN108141606B (zh) * | 2015-07-31 | 2022-03-01 | 港大科桥有限公司 | 用于全局运动估计和补偿的方法和系统 |
CN106559669B (zh) | 2015-09-29 | 2018-10-09 | 华为技术有限公司 | 预测图像编解码方法及装置 |
CN109076200B (zh) * | 2016-01-12 | 2021-04-23 | 上海科技大学 | 全景立体视频系统的校准方法和装置 |
CN107094260A (zh) * | 2016-02-17 | 2017-08-25 | 浙江大学 | 导出视差矢量和运动矢量的方法和装置 |
CN116708782A (zh) * | 2016-07-12 | 2023-09-05 | 韩国电子通信研究院 | 图像编码/解码方法以及用于该方法的记录介质 |
KR102004247B1 (ko) * | 2016-11-25 | 2019-07-29 | 경희대학교 산학협력단 | 영상 병렬 처리 방법 및 장치 |
US10666937B2 (en) * | 2016-12-21 | 2020-05-26 | Qualcomm Incorporated | Low-complexity sign prediction for video coding |
FR3068558A1 (fr) * | 2017-07-05 | 2019-01-04 | Orange | Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants |
DE102017117859A1 (de) | 2017-08-07 | 2019-02-07 | Osram Opto Semiconductors Gmbh | Verfahren zum Betreiben einer autostereoskopischen Anzeigevorrichtung und autostereoskopische Anzeigevorrichtung |
JP2019050451A (ja) * | 2017-09-07 | 2019-03-28 | キヤノン株式会社 | 画像処理装置及びその制御方法及びプログラム及び画像処理システム |
US10244164B1 (en) | 2017-09-11 | 2019-03-26 | Qualcomm Incorporated | Systems and methods for image stitching |
US10931963B2 (en) * | 2017-12-07 | 2021-02-23 | Tencent America LLC | Method and apparatus for video coding |
WO2020003278A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Update of look up table: fifo, constrained fifo |
KR20210024502A (ko) | 2018-06-29 | 2021-03-05 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Hmvp 후보를 병합/amvp에 추가할 때의 부분/풀 프루닝 |
EP3797516A1 (en) | 2018-06-29 | 2021-03-31 | Beijing Bytedance Network Technology Co. Ltd. | Interaction between lut and amvp |
JP7460617B2 (ja) | 2018-06-29 | 2024-04-02 | 北京字節跳動網絡技術有限公司 | Lut更新条件 |
CN110662056B (zh) | 2018-06-29 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 哪个查找表需要更新或不更新 |
CN110662057B (zh) | 2018-06-29 | 2022-06-21 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置、设备以及存储比特流的方法 |
TWI723444B (zh) | 2018-06-29 | 2021-04-01 | 大陸商北京字節跳動網絡技術有限公司 | 使用一個或多個查找表來按順序存儲先前編碼的運動信息並使用它們來編碼後面的塊的概念 |
EP3791588A1 (en) | 2018-06-29 | 2021-03-17 | Beijing Bytedance Network Technology Co. Ltd. | Checking order of motion candidates in lut |
EP4307679A3 (en) | 2018-07-02 | 2024-06-19 | Beijing Bytedance Network Technology Co., Ltd. | Luts with intra prediction modes and intra mode prediction from non-adjacent blocks |
US11677922B2 (en) | 2018-08-12 | 2023-06-13 | Lg Electronics Inc. | Apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video |
CN110876058B (zh) * | 2018-08-30 | 2021-09-21 | 华为技术有限公司 | 一种历史候选列表更新方法与装置 |
TW202025760A (zh) | 2018-09-12 | 2020-07-01 | 大陸商北京字節跳動網絡技術有限公司 | 要檢查多少個hmvp候選 |
EP3644604A1 (en) * | 2018-10-23 | 2020-04-29 | Koninklijke Philips N.V. | Image generating apparatus and method therefor |
CN113273187B (zh) * | 2019-01-10 | 2024-07-05 | 北京字节跳动网络技术有限公司 | 基于仿射的具有运动矢量差(MVD)的Merge |
CN113273186A (zh) | 2019-01-10 | 2021-08-17 | 北京字节跳动网络技术有限公司 | Lut更新的调用 |
CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
CN113302937B (zh) | 2019-01-16 | 2024-08-02 | 北京字节跳动网络技术有限公司 | 运动候选推导 |
CN113615193B (zh) | 2019-03-22 | 2024-06-25 | 北京字节跳动网络技术有限公司 | Merge列表构建和其他工具之间的交互 |
CN112040245B (zh) * | 2019-06-04 | 2023-07-21 | 万维数码有限公司 | 用于帧内编码深度图多层表示的系统和方法 |
CN118612459A (zh) * | 2019-06-14 | 2024-09-06 | 现代自动车株式会社 | 用于利用帧间预测来编码和解码视频的方法和装置 |
CN114026870A (zh) * | 2019-06-27 | 2022-02-08 | 三星电子株式会社 | 用于对视频进行解码的方法和设备以及用于对视频进行编码的方法和设备 |
US11356698B2 (en) * | 2019-12-30 | 2022-06-07 | Tencent America LLC | Method for parameter set reference constraints in coded video stream |
US11503266B2 (en) * | 2020-03-06 | 2022-11-15 | Samsung Electronics Co., Ltd. | Super-resolution depth map generation for multi-camera or other environments |
US11494927B2 (en) * | 2020-09-15 | 2022-11-08 | Toyota Research Institute, Inc. | Systems and methods for self-supervised depth estimation |
US11615544B2 (en) | 2020-09-15 | 2023-03-28 | Toyota Research Institute, Inc. | Systems and methods for end-to-end map building from a video sequence using neural camera models |
FR3114716A1 (fr) * | 2020-09-29 | 2022-04-01 | Orange | Codage et décodage d’une vidéo multi-vues |
EP4131960A1 (en) * | 2021-08-06 | 2023-02-08 | Koninklijke Philips N.V. | Coding hybrid multi-view sensor configurations |
WO2023150488A1 (en) * | 2022-02-01 | 2023-08-10 | Dolby Laboratories Licensing Corporation | Depth differences in place of motion vectors |
US20240031596A1 (en) * | 2022-07-19 | 2024-01-25 | Tencent America LLC | Adaptive motion vector for warped motion mode of video coding |
US20240171767A1 (en) * | 2022-11-22 | 2024-05-23 | Tencent America LLC | Systems and methods for improving warp extend and warp delta signaling with backup candidates |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009543508A (ja) | 2006-07-12 | 2009-12-03 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置 |
WO2010043773A1 (en) | 2008-10-17 | 2010-04-22 | Nokia Corporation | Sharing of motion vector in 3d video coding |
JP2010525724A (ja) | 2007-04-25 | 2010-07-22 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号をデコーディング/エンコーディングする方法および装置 |
JP2010537484A (ja) | 2007-08-15 | 2010-12-02 | トムソン ライセンシング | 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置 |
JP2011509631A (ja) | 2008-01-11 | 2011-03-24 | トムソン ライセンシング | ビデオおよび奥行きの符号化 |
Family Cites Families (74)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
EP1558039A1 (en) | 2004-01-21 | 2005-07-27 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding |
JP2006202911A (ja) | 2005-01-19 | 2006-08-03 | Matsushita Electric Ind Co Ltd | 保持具識別装置、部品供給方法、部品実装機 |
JP5065051B2 (ja) | 2005-02-18 | 2012-10-31 | トムソン ライセンシング | 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置 |
US7876833B2 (en) | 2005-04-11 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Method and apparatus for adaptive up-scaling for spatially scalable coding |
KR101154999B1 (ko) | 2005-07-08 | 2012-07-09 | 엘지전자 주식회사 | 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는 방법 |
ZA200800261B (en) | 2005-07-11 | 2009-08-26 | Thomson Licensing | Method and apparatus for macroblock adaptive inter-layer intra texture prediction |
KR100789753B1 (ko) | 2005-07-18 | 2008-01-02 | 한국전자통신연구원 | 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법 |
US8289370B2 (en) | 2005-07-20 | 2012-10-16 | Vidyo, Inc. | System and method for scalable and low-delay videoconferencing using scalable video coding |
KR100678911B1 (ko) | 2005-07-21 | 2007-02-05 | 삼성전자주식회사 | 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치 |
JP4663792B2 (ja) * | 2005-09-21 | 2011-04-06 | サムスン エレクトロニクス カンパニー リミテッド | 多視点動映像を符号化及び復号化する装置及び方法 |
WO2007037645A1 (en) * | 2005-09-29 | 2007-04-05 | Samsung Electronics Co., Ltd. | Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method |
JP2009510962A (ja) | 2005-10-03 | 2009-03-12 | ノキア コーポレイション | 独立変数のための適応性可変長コード |
JP2007180981A (ja) | 2005-12-28 | 2007-07-12 | Victor Co Of Japan Ltd | 画像符号化装置、画像符号化方法、及び画像符号化プログラム |
GB0600141D0 (en) | 2006-01-05 | 2006-02-15 | British Broadcasting Corp | Scalable coding of video signals |
ZA200805337B (en) | 2006-01-09 | 2009-11-25 | Thomson Licensing | Method and apparatus for providing reduced resolution update mode for multiview video coding |
US20070230567A1 (en) | 2006-03-28 | 2007-10-04 | Nokia Corporation | Slice groups and data partitioning in scalable video coding |
WO2007110000A1 (en) | 2006-03-29 | 2007-10-04 | Huawei Technologies Co., Ltd. | A method and device of obtaining disparity vector and its multi-view encoding-decoding |
WO2008004940A1 (en) | 2006-07-07 | 2008-01-10 | Telefonaktiebolaget Lm Ericsson (Publ) | Video data management |
US7885471B2 (en) | 2006-07-10 | 2011-02-08 | Sharp Laboratories Of America, Inc. | Methods and systems for maintenance and use of coded block pattern information |
JP5013993B2 (ja) * | 2006-07-12 | 2012-08-29 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | 或るシーンの複数のマルチビュービデオを処理する方法及びシステム |
US9001899B2 (en) | 2006-09-15 | 2015-04-07 | Freescale Semiconductor, Inc. | Video information processing system with selective chroma deblock filtering |
US9014280B2 (en) | 2006-10-13 | 2015-04-21 | Qualcomm Incorporated | Video coding with adaptive filtering for motion compensated prediction |
KR101059178B1 (ko) | 2006-12-28 | 2011-08-25 | 니폰덴신뎅와 가부시키가이샤 | 영상 부호화 방법 및 복호방법, 그들의 장치, 그들의 프로그램을 기록한 기억매체 |
US8199812B2 (en) | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
KR20080066522A (ko) | 2007-01-11 | 2008-07-16 | 삼성전자주식회사 | 다시점 영상의 부호화, 복호화 방법 및 장치 |
KR100801968B1 (ko) | 2007-02-06 | 2008-02-12 | 광주과학기술원 | 변위를 측정하는 방법, 중간화면 합성방법과 이를 이용한다시점 비디오 인코딩 방법, 디코딩 방법, 및 인코더와디코더 |
DE102007006663A1 (de) | 2007-02-10 | 2008-08-21 | Lts Lohmann Therapie-Systeme Ag | Transport von Arzneistoffen über die Blut-Hirn-Schranke mittels Apolipoproteinen |
US20080205508A1 (en) | 2007-02-22 | 2008-08-28 | Streaming Networks (Pvt.) Ltd. | Method and apparatus for low complexity video encoding and decoding |
US20100266042A1 (en) * | 2007-03-02 | 2010-10-21 | Han Suh Koo | Method and an apparatus for decoding/encoding a video signal |
US8204129B2 (en) | 2007-03-27 | 2012-06-19 | Freescale Semiconductor, Inc. | Simplified deblock filtering for reduced memory access and computational complexity |
TW200910975A (en) | 2007-06-25 | 2009-03-01 | Nippon Telegraph & Telephone | Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs |
CN101690231A (zh) | 2007-06-28 | 2010-03-31 | 汤姆森特许公司 | 多视图编码视频的单环解码 |
CN102084653B (zh) | 2007-06-29 | 2013-05-08 | 弗劳恩霍夫应用研究促进协会 | 支持像素值细化可缩放性的可缩放视频编码 |
WO2009011492A1 (en) | 2007-07-13 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image |
US8938009B2 (en) | 2007-10-12 | 2015-01-20 | Qualcomm Incorporated | Layered encoded bitstream structure |
CN101415115B (zh) * | 2007-10-15 | 2011-02-02 | 华为技术有限公司 | 基于运动跳跃模式的视频编解码方法及其编解码器 |
US7777654B2 (en) | 2007-10-16 | 2010-08-17 | Industrial Technology Research Institute | System and method for context-based adaptive binary arithematic encoding and decoding |
WO2009051704A1 (en) | 2007-10-16 | 2009-04-23 | Thomson Licensing | Methods and apparatus for artifact removal for bit depth scalability |
KR100918862B1 (ko) | 2007-10-19 | 2009-09-28 | 광주과학기술원 | 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체 |
CN101170702B (zh) * | 2007-11-23 | 2010-08-11 | 四川虹微技术有限公司 | 多视角视频编码方法 |
KR20090055803A (ko) | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
KR101385884B1 (ko) | 2008-01-30 | 2014-04-16 | 고려대학교 산학협력단 | 다시점 동영상의 부호화 및 복호화 방법 및 장치 |
HUE024173T2 (en) | 2008-04-16 | 2016-05-30 | Ge Video Compression Llc | Bit depth scalability |
EP2269378A2 (en) | 2008-04-25 | 2011-01-05 | Thomson Licensing | Multi-view video coding with disparity estimation based on depth information |
BRPI0911447A2 (pt) | 2008-04-25 | 2018-03-20 | Thomson Licensing | codificação de sinal de profundidade |
US8422766B2 (en) * | 2008-06-24 | 2013-04-16 | Thomson Licensing | System and method for depth extraction of images with motion compensation |
US8166220B2 (en) | 2008-08-04 | 2012-04-24 | Sandisk Il Ltd. | Device for connection with a storage device and a host |
EP2329653B1 (en) | 2008-08-20 | 2014-10-29 | Thomson Licensing | Refined depth map |
EP2348733A4 (en) | 2008-10-27 | 2012-09-12 | Lg Electronics Inc | METHOD AND APPARATUS FOR THE SYNTHESIS OF VIRTUAL VISUALIZATION IMAGES |
EP2348732A4 (en) * | 2008-11-10 | 2012-05-09 | Lg Electronics Inc | METHOD AND DEVICE FOR PROCESSING VIDEO SIGNAL BY INTER-VIEW PREDICTION |
KR101590511B1 (ko) | 2009-01-23 | 2016-02-02 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화/복호화 장치 및 방법과 그를 이용한 영상 부호화/복호화 장치 및 방법 |
US9288494B2 (en) | 2009-02-06 | 2016-03-15 | Thomson Licensing | Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders |
EP2420068A4 (en) | 2009-04-13 | 2012-08-08 | Reald Inc | ENCRYPTION, DECOMPOSITION AND DISTRIBUTION OF STEREOSCOPIC VIDEO CONTENT WITH REINFORCED RESOLUTION |
JP4851564B2 (ja) * | 2009-06-15 | 2012-01-11 | 日本電信電話株式会社 | 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
EP2265026A1 (en) | 2009-06-16 | 2010-12-22 | Canon Kabushiki Kaisha | Method and device for deblocking filtering of SVC type video streams during decoding |
CN101600108B (zh) * | 2009-06-26 | 2011-02-02 | 北京工业大学 | 一种多视点视频编码中的运动和视差联合估计方法 |
US8665964B2 (en) | 2009-06-30 | 2014-03-04 | Qualcomm Incorporated | Video coding based on first order prediction and pre-defined second order prediction mode |
EP2347833B1 (de) | 2010-01-26 | 2015-05-27 | SKG Aufbereitungstechnik GmbH | Entfüllerungsanlage und Verfahren zur Entfüllerung mit regelbarer Materialbettstärke |
CN101867813B (zh) * | 2010-04-23 | 2012-05-09 | 南京邮电大学 | 面向交互式应用的多视点视频编码方法 |
US8930562B2 (en) | 2010-07-20 | 2015-01-06 | Qualcomm Incorporated | Arranging sub-track fragments for streaming video data |
CN101917619B (zh) * | 2010-08-20 | 2012-05-09 | 浙江大学 | 一种多视点视频编码快速运动估计方法 |
US20120075436A1 (en) | 2010-09-24 | 2012-03-29 | Qualcomm Incorporated | Coding stereo video data |
US8923395B2 (en) | 2010-10-01 | 2014-12-30 | Qualcomm Incorporated | Video coding using intra-prediction |
CN101986716B (zh) * | 2010-11-05 | 2012-07-04 | 宁波大学 | 一种快速深度视频编码方法 |
US20120114036A1 (en) | 2010-11-10 | 2012-05-10 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and Apparatus for Multiview Video Coding |
US9300943B2 (en) * | 2011-01-12 | 2016-03-29 | Panasonic Intellectual Property Corporation Of America | Image coding method, image decoding method, image coding apparatus, and image decoding apparatus |
US9565449B2 (en) | 2011-03-10 | 2017-02-07 | Qualcomm Incorporated | Coding multiview video plus depth content |
US20120236115A1 (en) | 2011-03-14 | 2012-09-20 | Qualcomm Incorporated | Post-filtering in full resolution frame-compatible stereoscopic video coding |
US9247249B2 (en) | 2011-04-20 | 2016-01-26 | Qualcomm Incorporated | Motion vector prediction in video coding |
CA2846425A1 (en) | 2011-08-30 | 2013-03-07 | Nokia Corporation | An apparatus, a method and a computer program for video coding and decoding |
KR102492490B1 (ko) * | 2011-11-11 | 2023-01-30 | 지이 비디오 컴프레션, 엘엘씨 | 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩 |
EP2781091B1 (en) | 2011-11-18 | 2020-04-08 | GE Video Compression, LLC | Multi-view coding with efficient residual handling |
US9258562B2 (en) | 2012-06-13 | 2016-02-09 | Qualcomm Incorporated | Derivation of depth map estimate |
-
2012
- 2012-11-09 KR KR1020217034174A patent/KR102492490B1/ko active IP Right Grant
- 2012-11-09 CN CN201280066739.1A patent/CN104247432B/zh active Active
- 2012-11-09 BR BR112014011425-0A patent/BR112014011425B1/pt active IP Right Grant
- 2012-11-09 CN CN201910417853.8A patent/CN110139108B/zh active Active
- 2012-11-09 KR KR1020147015900A patent/KR101662918B1/ko active IP Right Grant
- 2012-11-09 KR KR1020237002530A patent/KR102641723B1/ko active Application Filing
- 2012-11-09 KR KR1020167026794A patent/KR101894886B1/ko active IP Right Grant
- 2012-11-09 KR KR1020187024889A patent/KR102029401B1/ko active IP Right Grant
- 2012-11-09 KR KR1020247006024A patent/KR20240027889A/ko active Application Filing
- 2012-11-09 KR KR1020197028653A patent/KR102090106B1/ko active IP Right Grant
- 2012-11-09 JP JP2014540483A patent/JP6178326B2/ja active Active
- 2012-11-09 IN IN990KON2014 patent/IN2014KN00990A/en unknown
- 2012-11-09 KR KR1020207007160A patent/KR102318349B1/ko active IP Right Grant
- 2012-11-09 EP EP12791717.7A patent/EP2777267B1/en active Active
- 2012-11-09 EP EP19195133.4A patent/EP3657795A1/en active Pending
- 2012-11-09 WO PCT/EP2012/072299 patent/WO2013068547A2/en active Application Filing
-
2014
- 2014-05-08 US US14/272,671 patent/US10097810B2/en active Active
-
2015
- 2015-03-16 HK HK15102674.2A patent/HK1202208A1/xx unknown
-
2017
- 2017-07-13 JP JP2017137033A patent/JP6659628B2/ja active Active
-
2018
- 2018-09-04 US US16/120,731 patent/US10477182B2/en active Active
-
2019
- 2019-06-05 JP JP2019105062A patent/JP7210381B2/ja active Active
- 2019-10-03 US US16/592,433 patent/US10887575B2/en active Active
-
2020
- 2020-12-21 US US17/129,450 patent/US11523098B2/en active Active
-
2021
- 2021-06-16 JP JP2021100230A patent/JP7248741B2/ja active Active
-
2022
- 2022-11-07 US US18/053,223 patent/US12088778B2/en active Active
-
2023
- 2023-03-16 JP JP2023041766A patent/JP2023085341A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009543508A (ja) | 2006-07-12 | 2009-12-03 | エルジー エレクトロニクス インコーポレイティド | 信号処理方法及び装置 |
JP2010525724A (ja) | 2007-04-25 | 2010-07-22 | エルジー エレクトロニクス インコーポレイティド | ビデオ信号をデコーディング/エンコーディングする方法および装置 |
JP2010537484A (ja) | 2007-08-15 | 2010-12-02 | トムソン ライセンシング | 多視点符号化ビデオにおける領域視差ベクトルを使用したモーションスキップモードのための方法及び装置 |
JP2011509631A (ja) | 2008-01-11 | 2011-03-24 | トムソン ライセンシング | ビデオおよび奥行きの符号化 |
WO2010043773A1 (en) | 2008-10-17 | 2010-04-22 | Nokia Corporation | Sharing of motion vector in 3d video coding |
Non-Patent Citations (2)
Title |
---|
Christian Bartnik et al.,HEVC Extension for Multiview Video Coding and Multiview Video plus Depth Coding,ITU - Telecommunications Standardization Sector STUDY GROUP 16 Question 6 Video Coding Experts Group,VCEG-AR13,44nd Meeting: San Jose, CA, USA,2012年02月,pp.1-42 |
Haitao Yang et al.,Regional Disparity Based Motion and Disparity Prediction for MVC,Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6),JVT-V071r1,22nd Meeting: Marrakech, Morocco,2007年01月,pp.1-6 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7248741B2 (ja) | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 | |
US11968348B2 (en) | Efficient multi-view coding using depth-map estimate for a dependent view | |
US11184600B2 (en) | Multi-view coding with efficient residual handling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210716 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220712 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7248741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |