JP7279939B2 - ビデオ及びマルチビュー・イマジェリーの圧縮及びアップサンプリングのためのベース固定モデル及び推論 - Google Patents
ビデオ及びマルチビュー・イマジェリーの圧縮及びアップサンプリングのためのベース固定モデル及び推論 Download PDFInfo
- Publication number
- JP7279939B2 JP7279939B2 JP2019536625A JP2019536625A JP7279939B2 JP 7279939 B2 JP7279939 B2 JP 7279939B2 JP 2019536625 A JP2019536625 A JP 2019536625A JP 2019536625 A JP2019536625 A JP 2019536625A JP 7279939 B2 JP7279939 B2 JP 7279939B2
- Authority
- JP
- Japan
- Prior art keywords
- base
- displacement
- mesh
- gop
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
、
、...、によってマッピングされ得ることを意味し、すべてのそのような状況について二重マッピングという用語を使用する。ベース固定変位表示は、二重マッピングを解決し(resolve)、フレームfk中で視認可能である(すなわち前景にある)特定のロケーション
を識別する、ロバストな機構がなければ完了しないことになり、その場合、ベース・フレームを指す、対応する解決された変位ベクトルは、
である。ベース・モデルがシーン深度(又は逆深度)情報を組み込む場合、二重マッピングによってもたらされるアンビギュイティは、視認可能ロケーション
を最も小さい深度をもつものとして識別することによって、直ちに解決され得る。明示的深度情報が、利用可能でないか、又は、GOPのベース・フレームとすべての他のフレームとの間の変位関係を表現するのに十分でないかのいずれかである、より一般的な場合には、二重マッピングを解決するためにより高度な技法が使用され得、ローカル前景物体を識別するために変位フィールド中の不連続性がどのように使用され得るかの説明については、セクション4.2を参照されたい。
上記で提起された第2の問題、すなわち、ディスオクルージョンされた領域中で物理的に有意味な変位情報を割り当てることの問題に対処するために、一実施例は、新規の埋め戻し方法論を採用する。ベース・フレーム中の中断点誘発(breakpoint-induced)ノード(図2における緑色及び橙色のドット)によって形成される三角形は、必然的に伸張する(それらがマッピングされるとき、それらのエリアは著しく増加する)。変位フィールド中の不連続性(すなわち、物体境界)の周りに形成することが予想される、これらの伸張する三角形のほぼ半分が「ディスオクルーディング」であり、残りの伸張する三角形が、二重マッピングの領域を示す、「折り畳み」である。ディスオクルーディング三角形は、正の行列式をもつ三角形として識別され、折り畳み三角形は、負の行列式によって特徴づけられる。折り畳み三角形は、少なくとも2つの他の三角形(ローカル前景の1つ及びローカル背景物体の1つ)がマッピングする領域にマッピングし、したがって、廃棄される。一方、ディスオクルーディング三角形は、他の三角形がマッピングしない領域にマッピングすることができ、これらの三角形は別々に扱われる必要があり、これは以下で説明される。ディスオクルージョンによってもたらされたホールは、最初に、ベース・フレーム中の中断点誘発ノードをリンクするいわゆる「中断誘発メッシュ要素」を追加することによって埋められる。これらのメッシュ要素は、ベース・フレーム中では0サイズを有するが、図2において破線の赤い線によって示されているように、非ベース・フレーム中では、ディスオクルージョンされた領域を埋めるために拡大する。
1. ∞要素を形成するメッシュ・ノードのうち、少なくとも2つがベース・フレームにおいてコロケートされる。
2. メッシュ中の∞要素の存在は、あらゆる非ベース・フレーム中のディスオクルージョンのすべての領域をカバーするのに十分である。これは、GOP中の各フレームが、関連する変位に従ってマッピングされるベース・フレームからのメッシュ要素によって確実にカバーされることを意味する。
このセクションは、ディスオクルーディングである領域中のベース・メッシュにローカル背景変位レイヤがどのように追加され得るかの一般的な方法について説明する。そのプロシージャを示すために図3を使用する。図では、メッシュ要素a~dは左側に変位する前景物体に属し、メッシュ要素e/fは物体境界(赤い破線)を横断しており、説明しやすいように、背景は静的(すなわち、変位なし)である。図3aに示されているように、そのノードが橙色及び緑色の丸によって示されている、f0におけるベース・フレーム中の0サイズの中断誘発メッシュ要素は、それが次のベース・フレームf2にマッピングされると拡大し、ホール(黄色の三角形)を切り開く。
このセクションは、別のメッシュからの情報を用いて現在のベース・メッシュをオーグメントするやり方について説明し、別のメッシュは、別のGOPのベース・メッシュ、又はコーディングされた別のメッシュのいずれかであり得、このメッシュをオーグメント・メッシュと呼ぶ。一実施例では、現在のベース・メッシュから無限大三角形によってマッピングされた領域をカバーする、他のベース・フレームのすべての三角形(すなわち、すべてのディスオクルージョンされた領域のセット)が、オーグメント・メッシュから現在のベース・メッシュにマッピングされ、そこで、それらは(ローカル背景)オーグメンテーション・レイヤを形成する。ベース・メッシュ・オーグメンテーションの主な魅力は、新しい物体が現れつつあるディスオクルージョンされた領域を扱うことが可能であることである。
上記で説明されたプロセスは、ベース・フレーム中の新しい下にあるメッシュ要素につながる、埋め戻しノードへの変位ベクトルの割当てが、最初に、GOPの最後のフレーム、すなわち、埋め戻されたフレームから引き起こされるので、埋め戻しと呼ばれる。これは、ディスオクルージョンの領域が最大になる可能性がある、ベース・フレームから最も遠いフレームである。厳密に必要というわけではないが、フレーム間変換が、ベース・フレームにおいて、イントラコードディングされたテクスチャ情報を与えるように準備することが望ましい。埋め戻しによって生成された、再マッピングされたメッシュ要素は、GOP自体のベース・フレームからではなくGOPの最後のフレーム(次のベース・フレーム)から予測され得るコンテンツに対応する。
前述のように、メッシュ要素がベース・メッシュからGOP中の他のフレームにマッピングされるとき、二重マッピングが発生し得る。これらは、メッシュ中の中断と折り畳みの両方から生じる。どこで二重マッピングが観測されても、前景物体の変位を下にある(すなわちローカル背景)物体の変位と区別することが必要である。前景変位ベクトルと背景変位ベクトルとの間の弁別は、上記で説明された埋め戻しプロシージャにおいてフリー・ノードを識別するためにも必要とされる。
と
とを接続する線分を探索することによって見つけられ、これは、変位フィールドが折り畳まれるロケーションを探す。この線分を「折り畳み(fold)探索経路」と呼ぶ。折り畳みは、ベース変位フィールド中の収束に関連し、したがって、折り畳みロケーションは、変位収束値(負の発散)が最大である探索経路に沿ったポイントとして識別される。このロケーションは、通常、ベース変位フィールド中の中断に対応する。折り畳みロケーションは、折り畳みの各側で(たとえば、折り畳み探索経路に沿って各方向において1ピクセルの距離のところで)変位ベクトルを使用して、フレームfNにマッピングされ、次のベース変位モデルMN中の発散は、どの変位ベクトルが前景に属するかを発見するために、ベース変位モデルM0中の発散と比較される。折り畳みの前景側は、その変位ベクトルが次のベース・フレーム中の同様の収束(負の発散)のロケーションにそれを搬送する側である。
と
とは、ft中の同じロケーションmにマッピングする。
と
とを接続することによって形成される、「折り畳み探索経路」lに沿って最大収束のポイント(赤)を探索する。
と
とを、それぞれ、
と
とにわずかにより近い線上の2つのポイントとする。
と
とが次のベース・フレームf1にマッピングされたとき、より大きい収束の領域にマッピングするものが前景変位を識別し、本実例では、
が、
がより大きい収束の領域中に入るので、前景変位である。
最後のセクションでは、変位情報が、ベース・フレームfbから、補間しようとするターゲット・フレームftにどのようにマッピングされ得るかについて説明した。このセクションでは、ターゲット・フレームftがN={1,2,...}個の参照フレーム{frj},j∈{1,...,N}からどのように補間され得るかについて説明する。ベース・モデルがGOP中のベース・フレームから任意の他のフレームへの変位の表現を保持するので、変位ベクトルの単純な構成を使用して、GOPの任意のフレームからGOPの任意の他のフレームへの変位を容易に推論することができる。すなわち、ターゲット・フレームft中のロケーションxtを仮定すれば、参照フレームfr中の対応するロケーションは、以下のように取得され得る。
を使用することは、ロケーションが参照フレームからターゲット・フレームにマッピングされることを示し、順方向/逆方向整合性検査は、単に、
であり、ここで、θは、丸め誤差に起因する変位値の小さい差を考慮するために追加される小さい値である。したがって、ターゲット・フレームの予測に関与する各参照フレームについての視認性マスクを以下のように計算する。
ここで、frj→tがターゲット・フレームftへの変位補償参照フレームfrjを示すために使用され、d(・,・)は距離測度である。すなわち、ターゲット・フレーム中の各ロケーションは、それぞれの参照フレームまでのターゲット・フレームの距離によって重み付けされた、ロケーションが視認可能であるすべての参照フレームの重み付けされた組合せとして予測される。ロケーションが参照フレームにおいて視認可能でない場合、いくつかの方法が適用され得る。上記の公式化では、視認可能でないと見なされるロケーションについての単純な重み付け予測に頼る。別の、好ましいやり方は、参照フレームにおいて視認可能でないすべてのロケーションを埋めるためにインペインティング・ストラテジーを採用することであり、これは、概して、参照フレームのうちのいずれにおいても視認可能でない領域中のより妥当と思われる補間につながる。
ここで、より高次元のGOPを扱うために上記の原理を拡張する。簡単のために、マルチビュー・イメージング適用例のコンテキストにおいて自然に生じる2次元GOPの場合を考慮する。たとえば、2D GOPは、2Dカメラ・アレイを介して獲得された静的イマジェリー、又は線形(1D)カメラ・アレイを介して獲得されたマルチビュー・ビデオを表現することに適する。非線形カメラ・アレイを用いてより高次元のGOPに拡張し、マルチビュー・ビデオに拡張することは、当業者に明らかであるべきであり、したがって、ここで明示的に説明される必要はない。
ターゲット・フレームftの動き補償予測は、変位フィールドが不連続である可能性がある、物体境界の周りの視認可能アーテファクトを呈することができる。このセクションでは、そのようなアーテファクトを選択的に低減する2つの実施例を提示する。前述のように、ターゲット・フレームftがN個の参照フレームfrj,j∈{1,...,N}から予測されると仮定し、ここで、変換構造に応じて、ベース・フレーム自体がターゲット・フレームであり得ることがわかっている。
ディスオクルージョン境界において、オクルージョン・アウェア・フレーム補間方法を使用して補間された、アップサンプリングされたフレームは、問題を有することがあり、すなわち、単方向予測から多方向予測への急激な遷移は、2つの参照フレーム間で照度が変化する場所における人工的な境界につながることがある。変位補償参照フレームfrj→tのいずれもテクスチャ・データにおいてそのような遷移境界を含んでいることが予想されず、そのような遷移境界は変位補償フレームが一緒に混合されると生じるにすぎないことに気づいた。したがって、提案する方法は、ftの各ロケーションにおける周波数成分を動き補償参照フレームのうちの1つに制限することからなる。
を使用し、特定のウェーブレット係数kを利用するために、
を使用し、ここで、kは、変換におけるレベル、サブバンド、及び空間位置に関する情報を収集する。次いで、
が、
を合成することによって取得される。この選択的ウェーブレット係数減衰に関して特に魅力的であることは、それがフレーム全体に広域的に適用され、関与するヒューリスティック又はパラメータがないことである。
提案された実施例において生じることがある別のアーテファクトは、テクスチャ領域における変位する物体の境界において過度に鋭い遷移がもたらされることであり、これは、反転された変位フィールドMt→bが、変位する物体の境界の周りで不連続であるからである。これは、前景物体を効果的にカットアウトし、それをターゲット・フレームにペーストする。実際には、参照フレーム中の遷移は、光ぼけにより、より平滑であり、これは、イメージング・プロセスの不可避の側面である。上記で説明されたウェーブレット・ベース減衰ストラテジーは、不自然に鋭い不連続性が変位補償参照フレーム{frj}の両方において存在することが予想されるので、この問題を解決することができない。
として示された、光ぼけ合成をもつ変位補償非ベース・フレームは、次のように取得される。
[1] B.-D.Choi、J.-W.Han、C.-S.Kim及びS.-J.Ko、「Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation」、IEEE Transactions on Circuits and Systems for Video Technology、vol.17、no.4、407~416頁、2007年4月。
[2] S.-G.Jeong、C.Lee及びC.-S.Kim、「Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization」、IEEE Transactions on Image Processing、vol.22、no.11、4495~4509頁、2013年11月。
[3] D.Kim、H.Lim及びH.Park、「Iterative true motion estimation for motion-compensated frame interpolation」、IEEE Transactions on Circuits and Systems for Video Technology、vol.23、no.3、445~454頁、2013年3月。
[4] A.Secker及びD.Taubman、「Lifting-based invertible motion adaptive transform (LIMAT) framework for highly scalable video compression」、IEEE Transactions on Image Processing、vol.12、no.12、1530~1542頁、2003年12月。
[5] Y.Andreopoulos、A.Munteanu、J.Barbarien、M.van der Schaar、J.Cornelis及びP.Schelkens、「In-band motion compensated temporal filtering」、Signal Processing:Image Communication、vol.19、no.7、653~673頁、2004年7月。
[6] M.Flierl及びB.Girod、「Video coding with motion-compensated lifted wavelet transforms」、Signal processing:Image Communications、vol.19、no.561~575、2004年7月。
[7] A.Golbelkar及びJ.Woods、「Motion-compensated temporal filtering and motion vector coding using biorthogonal filters」、IEEE Transactions on Circuits and Systems for Video Technology、vol.17、no.4、417~428頁、2007年4月。
[8] C.-L.Chang、X.Zhu、P.Ramanathan及びB.Girod、「Light field compression using disparty-compensated lifting and shape adaptation」、IEEE Transactions on Image Processing、vol.15、no.4、793~806頁、2006年4月。
[9] J.-U.Garbas、B.Pesquet-Popescu及びA.Kaup、「Mehods and tools for wavelet-based scalable multiview video coding」、IEEE Transactions on Circuits and Systems for Video Technology、vol.21、no.2、113~126頁、2011年2月。
[10] H.G.Lalgudi、M.W.Marcellin、A.Bilgin、H.Oh及びM.S.Nadar、「View compensated compression of volume rendered images for remote visualization」、IEEE Transactions on Image Processing、vol.18、no.7、1501~1511頁、2009年7月。
[11] R.Mathew及びD.Taubman、「Scalable modeling of motion and boundary geometry with quad-tree node merging」、IEEE Transactions on Circuits and Systems for Video Technology、vol.21、no.2、178~192頁、2011年2月。
[12] S.Milani及びG.Calvagno、「Segmentation-based motion compensation for enhanced video coding」、IEEE International Conference on Image Processing、1685~1688頁、2011年9月。
[13] I.Daribo、D.Florencio及びG.Cheung、「Arbitrarily shaped sub-block motion prediction in texture map compression using depth information」、Picture Coding Symposium(PCS)、121~124頁、2012年5月。
[14] A.Zheng、Y.Yuan、H.Zhang、H.Yang、P.Wan及びO.Au、「Motion vector fields based video coding」、IEEE International Conference on Image Processing、2095~2099頁、2015年9月。
[15] G.Ottaviano及びP.Kohli、「Compressible motion fields」、Proc.IEEE Conference on Computer Vision and Pattern Recognition(CVPR)、2251~2258頁、2013年6月。
[16] A.T.Naman及びD.Taubman、「Flexible synthesis of video frames based on motion hints」、IEEE Transactions on Image Processing、vol.23、no.9、3802~3815頁、2014年9月。
[17] D.Rufenacht、R.Mathew及びD.Taubman、「A novel motion field anchoring paradigm for highly scalable wavelet-based video coding」、IEEE Transactions on Image Processing、vol.25、no.1、39~52頁、2016年1月。
[18] D.Rufenacht、R.Mathew及びD.Taubman、「Bidirectional, occlusion-aware temporal frame interpolation in a highly scalable video setting」、Picture Coding Symposium(PCS)、5~9頁、2015年5月。
[19] R.Mathew、S.Young及びD.Taubman、「Optimization of optical flow for scalable coding」、Picture Coding Symposium(PCS)、70~74頁、2015年5月。
[20] R.Mathew、D.Taubman及びP.Zanuttigh、「Scalable coding of depth maps with R-D optimized embedding」、IEEE Transactions on Image Processing、vol.22、no.5、1982~1995頁、2013年5月。
[21] R.Szeliski及びH.-Y.Shum、「Motion estimation with quadtree splines」、IEEE Transactions on Pattern Analysis and Machine Intelligence、vol.18、no.12、1199~1210頁、1996年12月。
[22] N.Mehrseresht及びD.Taubman、「An efficient content-adaptive motion-compensated 3-D DWT with enhanced spatial and temporal scalability」、IEEE Transactions on Image Processing、vol.15、no.3、1397~1412頁、2006年3月。
[23] J.Revaud、P.Weinzaepfel、Z.Harchaoui及びC.Schmid、「Epicflow:edge-preserving interpolation of correspondences for optical flow」、Proc.IEEE Conference on Computing and Visual Pattern Recognition(CVPR)、2015年6月。
[24] S.Young及びD.Taubman、「Rate-distortion optimized optical flow estimation」、IEEE International Conference on Image Processing、1677~1681頁、2015年9月。
[25] D.Taubman、「High perfomance scalable image compression with EBCOT」、IEEE Transactions on Image Processing、vol.9、no.7、1151~1170頁、2000年7月。
[26] D.Sun、J.Wulff、E.Sudderth、H.Pfister及びM.Black、「A fully connected layered model of foreground and background flow」、IEEE Conference on Computer Vision and Pattern Recognition(CVPR)、2451~2458頁、2013年。
Claims (18)
- ビデオ及び/又はマルチビュー・シーケンスのフレーム間の変位情報を表す方法であって、複数のビデオ及び/又はマルチビュー・シーケンスの複数のフレームの少なくともひとつをピクチャ・グループ(GOP)に割り当てるステップと、各GOPについてのベース変位モデルを与えるステップであって、前記ベース変位モデルが、前記GOPの指定されたベース・フレーム中の各ロケーションを非ベース・フレームである前記GOPの各他のフレーム中の対応するロケーションに搬送する変位フィールドを表現する、与えるステップと、前記ベース変位モデルから前記GOPの前記フレーム間の他の変位関係を推論するステップとを含み、
前記ベース変位モデルは、変形可能なベース・メッシュを介して表現され、前記メッシュのノードが前記GOP中の各非ベース・フレームについて1つの変位ベクトルを割り当てられ、
前記ベース変位モデルにおける中断が、前記ベース・フレーム中の無視できるサイズを有する、中断誘発メッシュ要素であるベース・メッシュ要素のサブセットによってカバーされ、前記中断誘発メッシュ要素の前記ノードが、コロケートされたペアで現れ、各ペアの一方のノードが、前記中断の一方の側に関連する前記変位ベクトルを搬送し、他方が、前記中断の他方の側に関連する前記変位ベクトルを搬送する、方法。 - 前記ベース変位モデルが、前記GOPの前記ベース・フレームから各他のフレームへの区分的に平滑な変位フィールドを表現し、不連続性が、前記ベース変位モデルにおける中断において発生する、請求項1に記載の方法。
- 前記GOPの非ベース・フレーム中のロケーションを前記ベース・フレームに搬送する、逆方向変位フィールドは、前記変形可能なベース・メッシュの要素を前記非ベース・フレームにマッピングすることと、前記関連するベース変位ベクトルによって対応する変形可能なベース・メッシュ・ノード・ロケーションを変位させることによってそのノード・ロケーションが取得される推論メッシュ要素のセットを生成することと、前記マッピングから決定された関連するベース変位ベクトルを反転することによって前記推論メッシュ要素に反転変位ベクトルを割り当てることとによって推論される、請求項1に記載の方法。
- 前記非ベース・フレーム中で重複する推論メッシュ要素に対応する二重マッピングが発生し、当該二重マッピングは、前記重複する推論メッシュ要素のうちのどれが前景物体に属する可能性が高いかを決定するために前景背景弁別プロセスを使用して解決される、請求項3に記載の方法。
- 前記複数のビデオおよび/又はマルチビュー・シーケンスの前記複数のフレームは、2つ以上のGOPに割り当てられ、
前記方法において、1つのGOPの前記非ベース・フレームの1つは、第2のGOPのベース・フレームであり、前記第2のGOPはベース変位モデルを有し、前記第2のGOPの前記ベース変位モデルは、前記1つのGOPの第2のベース変位モデルである、請求項1に記載の方法。 - 1つのGOPの前記非ベース・フレームの1つは、第2のGOPのベース・フレームであり、前記第2のGOPはベース変位モデルを有し、前記第2のGOPの前記ベース変位モデルは、前記1つのGOPの第2のベース変位モデルであり、前記第2のGOPの前記ベース・フレームは、前記1つのGOPの第2のベース・フレームであり、
前景背景弁別プロセスが、前記ベース変位モデル中の折り畳みのロケーションに基づき、折り畳みロケーションを前記第2のベース・フレームにマッピングするために前記折り畳みロケーションの各側に関するベース変位情報を使用することと、前記第2のベース変位モデルの折り畳み特性をひとつのGOPのベース変位フィールドの折り畳み特性と比較することとによって、前記折り畳みロケーションの前景側と背景側とを弁別する、請求項5に記載の方法。 - 前記ベース・フレーム中の中断誘発メッシュ要素の前記マッピングから生じる非ベース・フレーム中の前記推論メッシュ要素が、前記非ベース・フレーム中のディスオクルージョンの領域を識別するために使用される、請求項4に記載の方法。
- 非ベース・フレーム中の中断誘発推論メッシュ要素に関連する前記反転変位ベクトルが、前記ベース・フレームにおいてオクルージョンされる背景シーン要素の変位をより良く表すために変更されて、変更された変位ベクトルを提供する、請求項7に記載の方法。
- 以下で埋め戻されたフレームである、非ベース・フレーム中の中断誘発推論メッシュ要素に関連する前記変更された変位ベクトルが、前記推論メッシュ要素を前記ベース・フレームにマッピングするために使用され、前記推論メッシュ要素が、以下で埋め戻されたメッシュ要素である、新しい要素として前記ベース変位モデルに追加され、前記埋め戻されたフレームにおいて視認可能であるが前記ベース・フレームにおいてオクルージョンされるシーン・コンテンツを表す、請求項8に記載の方法。
- 変形可能なベース・メッシュのオーグメンテーション・ステップが実行され、それにより、以下オーグメント・メッシュと呼ばれる、別のコード化メッシュからの情報は、前記変形可能なベース・メッシュが前記オーグメント・メッシュのロケーションにマッピングされるときにディスオクルージョンする領域をカバーする前記オーグメント・メッシュのメッシュ要素を埋め戻すことによって前記変形可能なベース・メッシュをオーグメントするために使用される、請求項9に記載の方法。
- 前記オーグメント・メッシュのメッシュ要素が下位区分され、ディスオクルージョン領域をカバーするメッシュ要素のみが前記ベース・フレームに埋め戻される、請求項10に記載の方法。
- 埋め戻されたメッシュ要素は、それらが発見される前記埋め戻されたフレームに基づいて、ローカル背景レイヤ・インデックスを割り当てられ、元の変形可能なベース・メッシュの要素は、任意の埋め戻されたメッシュ要素のレイヤ・インデックスよりも大きいレイヤ・インデックスを割り当てられる、前記中断誘発メッシュ要素を除く、任意の埋め戻されたメッシュ要素のレイヤ・インデックスよりも小さいレイヤ・インデックスを有する、前景レイヤを構成すると見なされる、請求項9に記載の方法。
- 各非ベース・フレームについての逆方向変位フィールドの決定が、前記埋め戻されたメッシュ要素を含む、すべてのベース変位ベクトルの、前記非ベース・フレームへのマッピングを含み、二重マッピングは、そのレイヤ・インデックスが最も小さい前記元の変形可能なベース・メッシュの要素によって生成された前記推論メッシュ要素のほうを優先して最初に解決され、その後に、請求項3の方法が、同じレイヤ・インデックスをもつ交差する推論メッシュ要素から生じる残りの二重マッピングを解決するために使用される、請求項12に記載の方法。
- 埋め戻すプロシージャが漸進的に適用され、前記埋め戻されたフレームとしての前記GOPの最後のフレームで開始し、
a.前記埋め戻されたメッシュ要素を第1のローカル背景レイヤ・インデックスとともに前記ベース変位モデルに追加し、前記第1のローカル背景レイヤ・インデックスのベース・メッシュ要素を含む、すべての変形可能なベース・メッシュ要素を、前記GOPの中間フレームにマッピングし、
b.二重マッピング解決プロシージャを適用し、
c.前記二重マッピング解決プロシージャによって置き換えられなかった前記中間フレーム中の任意の中断誘発メッシュ要素を無限大領域として識別し、
d.前記ローカル背景レイヤ・インデックスが1つ増分されて、当該増分された前記ローカル背景レイヤ・インデックスを割り当てられる、前記ベース変位モデル中の新しい埋め戻されたメッシュ要素を生成するために、これらの無限大要素に前記埋め戻すプロシージャを適用し、
e.前記GOP内にさらなる中間非ベース・フレームが存在する場合、前記第1のローカル背景レイヤ・インデックスおよび前記増分された前記ローカル背景レイヤ・インデックスの要素を含む前記ベース変位モデルのすべての要素を、前記GOP内の前記さらなる中間非ベース・フレームにマッピングし、
f.前記GOP内のすべての非ベース・フレームが前記埋め戻すプロシージャによって処理されるまで、ステップbからeを繰り返し、
これによって、漸進的により大きいローカル背景レイヤ・インデックスが、前記すべての非ベース・フレームが処理される順序で、連続的な前記中間非ベース・フレームのそれぞれを処理することによって生成された前記埋め戻されたメッシュ要素に割り当てる、請求項12に記載の方法。 - ビデオ・フレームを含むビデオ・シーケンス内の変位フィールドをコーディングするための方法であって、
各GOPについてベース変位モデルをコーディングするステップであって、ビデオ・フレームが、GOPとして知られるピクチャ・グループに割り当てられ、前記GOPの指定されたベース・フレーム中の各ロケーションを前記GOPの各他のフレーム中の対応するロケーションに搬送する変位を表現し、前記GOPの前記フレーム間の他の変位関係が、前記ベース変位モデルから推論され、
前記コーディングするステップを含み、
前記ベース変位モデルは、変形可能なベース・メッシュを介して表現され、前記メッシュのノードが前記GOP中の各非ベース・フレームについて1つの変位ベクトルを割り当てられ、
前記ベース変位モデルにおける中断が、前記ベース・フレーム中の無視できるサイズを有する、中断誘発メッシュ要素であるベース・メッシュ要素のサブセットによってカバーされ、前記中断誘発メッシュ要素の前記ノードが、コロケートされたペアで現れ、各ペアの一方のノードが、前記中断の一方の側に関連する前記変位ベクトルを搬送し、他方が、前記中断の他方の側に関連する前記変位ベクトルを搬送する、方法。 - 複数のビデオ及び/又はマルチビュー・シーケンスの複数のフレームの他のフレームからのいくつかの画像フレームの変位補償予測のための方法であって、前記フレームがピクチャ・グループ(GOP)に割り当てられ、
ベース変位モデルが、各GOPについて与えられ、前記GOPの指定されたベース・フレーム中の各ロケーションを前記GOPの各他のフレーム中の対応するロケーションに搬送する変位フィールドを表現し、前記ベース変位モデルが、前記GOPの前記フレーム間の変位関係を推論するために使用され、予測ターゲット・フレームにおける推論変位フィールドが、前記GOP中の1つ又は複数の他のフレームから前記フレームを予測するために使用され、
前記ベース変位モデルは、変形可能なベース・メッシュを介して表現され、前記メッシュのノードが前記GOP中の各非ベース・フレームについて1つの変位ベクトルを割り当てられ、
前記ベース変位モデルにおける中断が、前記ベース・フレーム中の無視できるサイズを有する、中断誘発メッシュ要素であるベース・メッシュ要素のサブセットによってカバーされ、前記中断誘発メッシュ要素の前記ノードが、コロケートされたペアで現れ、各ペアの一方のノードが、前記中断の一方の側に関連する前記変位ベクトルを搬送し、他方が、前記中断の他方の側に関連する前記変位ベクトルを搬送する、方法。 - 請求項1に記載の、変位情報を表すための方法を実装するように構成された、コーディング装置。
- 請求項1に記載の方法を実装するようにコンピュータを制御するための命令を含む、コンピュータ・プログラムを与える、不揮発性コンピュータ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2016903815A AU2016903815A0 (en) | 2016-09-21 | Base Anchored Motion for Video Compression and Temporal Interpolation | |
AU2016903815 | 2016-09-21 | ||
AU2017902670A AU2017902670A0 (en) | 2017-07-07 | Base Anchored Models for Video Compression and Frame Upsampling | |
AU2017902670 | 2017-07-07 | ||
PCT/AU2017/051030 WO2018053591A1 (en) | 2016-09-21 | 2017-09-21 | Base anchored models and inference for the compression and upsampling of video and multiview imagery |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019530386A JP2019530386A (ja) | 2019-10-17 |
JP2019530386A5 JP2019530386A5 (ja) | 2020-11-12 |
JP7279939B2 true JP7279939B2 (ja) | 2023-05-23 |
Family
ID=61689250
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019536625A Active JP7279939B2 (ja) | 2016-09-21 | 2017-09-21 | ビデオ及びマルチビュー・イマジェリーの圧縮及びアップサンプリングのためのベース固定モデル及び推論 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11122281B2 (ja) |
EP (1) | EP3516872A4 (ja) |
JP (1) | JP7279939B2 (ja) |
AU (1) | AU2017331736B2 (ja) |
WO (1) | WO2018053591A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111295882A (zh) * | 2017-11-09 | 2020-06-16 | 索尼公司 | 图像处理装置和图像处理方法 |
KR102272569B1 (ko) * | 2020-05-26 | 2021-07-05 | 한국과학기술원 | 웨이블릿 기반 변형된 거대 메쉬 데이터의 점진적 고속 재압축 방법 및 그 시스템 |
JP2024008743A (ja) * | 2022-07-09 | 2024-01-19 | Kddi株式会社 | メッシュ復号装置、メッシュ符号化装置、メッシュ復号方法及びプログラム |
CN117974814A (zh) * | 2022-10-26 | 2024-05-03 | 荣耀终端有限公司 | 用于图像处理的方法、装置及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004028166A1 (en) | 2002-09-20 | 2004-04-01 | Unisearch Limited | Method of signalling motion information for efficient scalable video compression |
JP2006527945A (ja) | 2003-06-18 | 2006-12-07 | フランス・テレコム | 3dモデルを使用するピクチャシーケンスの表現方法、対応する信号、および対応する装置 |
JP2008514073A (ja) | 2004-09-15 | 2008-05-01 | フランス テレコム | 変形可能なメッシュを用いた動き推定のための方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09182083A (ja) * | 1995-12-27 | 1997-07-11 | Matsushita Electric Ind Co Ltd | ビデオ画像符号化方法及び復号化方法とその装置 |
US20060114995A1 (en) * | 2004-12-01 | 2006-06-01 | Joshua Robey | Method and system for high speed video encoding using parallel encoders |
KR100678958B1 (ko) * | 2005-07-29 | 2007-02-06 | 삼성전자주식회사 | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 |
US8120661B2 (en) * | 2006-07-26 | 2012-02-21 | Human Monitoring Ltd | Image stabilizer |
US8270473B2 (en) * | 2009-06-12 | 2012-09-18 | Microsoft Corporation | Motion based dynamic resolution multiple bit rate video encoding |
US9819946B2 (en) * | 2012-04-05 | 2017-11-14 | Newsouth Innovations Pty Limited | Method and apparatus for coding of spatial data |
US9749642B2 (en) * | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
-
2017
- 2017-09-21 AU AU2017331736A patent/AU2017331736B2/en active Active
- 2017-09-21 JP JP2019536625A patent/JP7279939B2/ja active Active
- 2017-09-21 WO PCT/AU2017/051030 patent/WO2018053591A1/en active Search and Examination
- 2017-09-21 US US16/335,297 patent/US11122281B2/en active Active
- 2017-09-21 EP EP17851993.0A patent/EP3516872A4/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004028166A1 (en) | 2002-09-20 | 2004-04-01 | Unisearch Limited | Method of signalling motion information for efficient scalable video compression |
JP2006527945A (ja) | 2003-06-18 | 2006-12-07 | フランス・テレコム | 3dモデルを使用するピクチャシーケンスの表現方法、対応する信号、および対応する装置 |
JP2008514073A (ja) | 2004-09-15 | 2008-05-01 | フランス テレコム | 変形可能なメッシュを用いた動き推定のための方法 |
Non-Patent Citations (3)
Title |
---|
Dominic Rufenacht, Reji Mathew, and David Taubman,A Novel Motion Field Anchoring Paradigm for Highly Scalable Wavelet-Based Video Coding,IEEE TRANSACTIONS ON IMAGE PROCESSING,IEEE,2016年01月,VOL. 25, NO. 1,pp.39-52 |
Dominic Rufenacht, Reji Mathew, and David Taubman,Bidirectional Hierarchical Anchoring of Motion Fields for Scalable Video Coding,2014 IEEE 16th International Workshop on Multimedia Signal Processing (MMSP),IEEE,2014年09月,pp.1-6 |
Dominic Rufenacht, Reji Mathew, and David Taubman,HIERARCHICAL ANCHORING OF MOTION FIELDS FOR FULLY SCALABLE VIDEO CODING,ICIP 2014,IEEE,2014年,pp.3180-3184 |
Also Published As
Publication number | Publication date |
---|---|
EP3516872A1 (en) | 2019-07-31 |
WO2018053591A1 (en) | 2018-03-29 |
JP2019530386A (ja) | 2019-10-17 |
US20200021824A1 (en) | 2020-01-16 |
US11122281B2 (en) | 2021-09-14 |
EP3516872A4 (en) | 2020-04-15 |
AU2017331736A1 (en) | 2019-05-16 |
AU2017331736B2 (en) | 2022-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
De Queiroz et al. | Motion-compensated compression of dynamic voxelized point clouds | |
JP6659628B2 (ja) | デプスマップの推定および更新を用いる効率的なマルチビュー符号化 | |
JP5575908B2 (ja) | 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法 | |
JP5389172B2 (ja) | 深度画像を再構成する方法および深度画像を再構成する復号器 | |
JP7279939B2 (ja) | ビデオ及びマルチビュー・イマジェリーの圧縮及びアップサンプリングのためのベース固定モデル及び推論 | |
Merkle et al. | The effects of multiview depth video compression on multiview rendering | |
US8351685B2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
WO2011163603A1 (en) | Multi-resolution, multi-window disparity estimation in 3d video processing | |
CN101312540A (zh) | 基于深度和遮挡信息的虚拟视点合成方法 | |
WO2009091563A1 (en) | Depth-image-based rendering | |
JP2015523030A (ja) | 3次元ビデオを表すビットストリームを符号化する装置 | |
JP6154643B2 (ja) | 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム | |
Yang et al. | 4-D wavelet-based multiview video coding | |
EP3373584B1 (en) | Content adaptive and art directable scalable video coding | |
Rüefenacht et al. | Base-anchored model for highly scalable and accessible compression of multiview imagery | |
de Queiroz et al. | Motion-compensated compression of point cloud video | |
Muller et al. | Compressing time-varying visual content | |
Morvan et al. | Multiview depth-image compression using an extended H. 264 encoder | |
JP2024513815A (ja) | シーンに関連付けられたマンハッタンレイアウトを推定するための方法、装置及びコンピュータプログラム | |
Garcia et al. | Depth-map super-resolution for asymmetric stereo images | |
Petrazzuoli et al. | A distributed video coding system for multi view video plus depth | |
Ozkalayci et al. | Multi-view video coding via dense depth estimation | |
Wang et al. | Fault-tolerance based block-level bit allocation and adaptive RDO for depth video coding | |
JP2024509988A (ja) | チャートベースのメッシュ圧縮の方法、装置およびコンピュータプログラム | |
KR20230087554A (ko) | 메시 압축을 위한 정점 재정렬 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200918 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200918 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220531 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220930 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221220 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7279939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |