JP5911809B2 - サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置 - Google Patents
サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置 Download PDFInfo
- Publication number
- JP5911809B2 JP5911809B2 JP2012550012A JP2012550012A JP5911809B2 JP 5911809 B2 JP5911809 B2 JP 5911809B2 JP 2012550012 A JP2012550012 A JP 2012550012A JP 2012550012 A JP2012550012 A JP 2012550012A JP 5911809 B2 JP5911809 B2 JP 5911809B2
- Authority
- JP
- Japan
- Prior art keywords
- resolution image
- metadata
- resolution
- downsampling
- grids
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本出願は、2010年1月22日出願の米国仮出願第61/297,320号明細書の利益を主張し、その全体を参照により本明細書に組み込む。
サンプリングベースSRの中心思想は、図4A〜図4Dおよび図5A〜図5Dに示される。図4A〜図4Dを参照すると、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップは、全体として参照番号400によって示される。特に、図4Aは、高解像度(HR)フレーム410の入力セットを示す。図4Bは、参照フレームに対する動き変換Θt1の推定420を示す。図4Cは、参照フレーム座標における超解像度充填率に基づくサンプリンググリッドStの推定430を示す(Iは恒等変換(identity transformation)を指すことに留意されたい)。図4Dは、ダウンサンプリングされた低解像度(LR)フレームおよび対応するメタデータ440を示す。
前処理段階では、入力高解像度ビデオは、最初に連続フレームのセットに分割される。次に、各セットは別々に処理される。一般的に、各セットのM2フレームを選ぶが、ここで、Mはダウンサンプリングファクタ、即ち高解像度と低解像度のフレーム寸法の比である。この根拠は、高解像度フレームが低解像度フレームのM2倍の数のピクセルを含み、したがって、高解像度フレームと同じサイズの超解像度モザイクを構築するのにM2のLRフレームを得るべきであることである。
例証目的のため、以下、所与のセットの参照フレームに対するセットの各フレームHt間の動きを推定する1つの手法について考察する(図4B)。一般性を失うことなく、参照フレームはH1であることが考えられる。フレーム間で全体の動きのみがあるものと考えることによって、問題を単純化することとする。換言すれば、任意の2つのフレーム間でのピクセルの動きは、いくつかのパラメータを用いて全体の変換によって説明できるものと考える。全体の変換の例としては、並進、回転、アフィンワープ、射影変換などが挙げられる。
各高解像度フレームHtに対して、フレームをダウンサンプリングし低解像度版Ltを作成するため、サンプリンググリッドStを選択しなければならない。サンプリンググリッドは、得られ、対応する低解像度フレームに入れられる、高解像度フレーム中のピクセルを示す。図7A〜図7Fを参照すると、HR高解像度(HR)フレームの低解像度(LR)へのダウンサンプリングに使用されるサンプリンググリッドの例は、全体として参照番号700によって示される。さらに詳細には、図7Aは、高解像度フレーム中のピクセル710を示す。図7Bは、ダウンサンプリングファクタ2を有する4つの均一なサンプリンググリッド720を示す。記号「○」は第1のサンプリンググリッドg1を、記号「+」は第2のサンプリンググリッドg2を、記号「×」は第3のサンプリンググリッドg3を、記号「△」は第4のサンプリンググリッドg4を示す。図7Cは、第1のサンプリンググリッドg1から得られる低解像度フレーム730を示す。図7Dは、第2のグリッドg2から得られる低解像度フレーム740を示す。図7Eは、第3のグリッドg3から得られる低解像度フレーム750を示す。図7Fは、第4のグリッドg4から得られる低解像度フレーム460を示す。
グリッド選択プロセスの後、各高解像度フレームHtは対応するサンプリンググリッドStを有する。Stの性質に応じて、Htは次のように低解像度フレームLtにダウンサンプリングされる。
後処理段階では、復号化低解像度フレームおよびメタデータを使用して、対応する高解像度フレームを復元する(超解像度化(SR)として知られるプロセス)。図10を参照すると、サンプリングベースの超解像度化方法の後処理段階に関係する例示的な方法は、全体として参照番号1000によって示される。方法1000は、機能ブロック1010に制御を渡す開始ブロック1005を含む。機能ブロック1010は、デコーダから低解像度ビデオフレームt=1、…、Nを入力し、機能ブロック1015に制御を渡す。機能ブロック1015は、各低解像度フレームから有効ピクセルを超解像度モザイク座標に変換し、機能ブロック1020に制御を渡す。機能ブロック1020は、整数ピクセル位置で値を補間することによって超解像度モザイクを作成し、機能ブロック1025に制御を渡す。機能ブロック1025は、超解像度モザイクを高解像度フレーム座標に逆変換することによって各高解像度フレームを復元し、機能ブロック1030に制御を渡す。機能ブロック1030は、高解像度フレームt=1、…、Nを復元し、終了ブロック1099に制御を渡す。機能ブロック1035は、サンプリンググリッドインデックスを機能ブロック1015で使用するために供給する。機能ブロック1040は、動きパラメータ(メタデータ)を機能ブロック1015および1025で使用するために供給する。
このステップでは、高解像度超高解像度モザイクイメージ
次に、各高解像度フレーム
これまでは、フレーム間の動きは全体の動きモデルによって完全に説明される、即ちすべてのピクセルがこの動きモデルに忠実であるものと仮定してきた。ここで、前景オブジェクトを扱うための戦略を提示する。前景オブジェクトは、フレーム間の全体の動きを追随しないオブジェクト(または領域)として定義される。換言すれば、これらのオブジェクトは、フレーム間の全体の動きとは異なる動きを有する。図11A〜図11Bを参照すると、2つのフレーム(フレーム1およびフレームt)間の前景オブジェクトの動きは、全体として参照番号1100によって示される。サンプリングベースの超解像度化プロセスでのアーチファクトを回避するため、前景オブジェクトを見つけ、手順の特定のステップ中にこの知見を使用することが重要である。前景は、バイナリマスクFtによって表されてもよく、ここで、Ft=1は前景ピクセルを示し、Ft=0は背景ピクセルを示す。
独立して動いている領域を有するフレームからクリーンで信頼性のある前景マスクを抽出するのは困難な課題である。ピクセル値のノイズを伴う全体の動き推定におけるエラーはプロセスを複雑にする。さらに、前景情報をメタデータとして簡潔に表しデコーダに送信するという問題もある。
[付記1]
高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ダウンサンプラおよびメタデータ生成器(151)と、
前記低解像度画像および前記メタデータを符号化する少なくとも1つのエンコーダ(152)と
を備える装置。
[付記2]
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記1に記載の装置。
[付記3]
前記動き変換情報は、前記高解像度画像の2つ以上の間の全体の動きに関係する全体の動き変換情報を含む、付記2に記載の装置。
[付記4]
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含む、付記2に記載の装置。
[付記5]
前記高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器(151)は、参照画像から前記1つまたは複数の非参照画像それぞれへの動きを推定し、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、前記1つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成する、付記1に記載の装置。
[付記6]
前記1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記1つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択される、付記5に記載の装置。
[付記7]
前記グリッドが、前記1つまたは複数のダウンサンプリンググリッドの特定の1つを使用して生成された超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、付記6に記載の装置。
[付記8]
前記グリッドは歪み尺度に基づいてさらに選択される、付記6に記載の装置。
[付記9]
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも1つの特定のものの異なる部分をダウンサンプリングするのに使用される、付記5に記載の装置。
[付記10]
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示す、付記5に記載の装置。
[付記11]
高解像度画像を受け取り(610)、そこから低解像度画像およびメタデータを生成する(625、110)ステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであるステップと、
少なくとも1つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化する(115)ステップと
を含む方法。
[付記12]
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む(615、620)、付記11に記載の方法。
[付記13]
前記動き変換情報は、2つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む(615)、付記12に記載の方法。
[付記14]
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含む(620)、付記12に記載の方法。
[付記15]
前記高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記1つまたは複数の非参照画像それぞれへの動きを推定し(615)、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し(620)、前記1つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングする(625)ことによって、前記低解像度画像を生成する、付記11に記載の方法。
[付記16]
前記1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記1つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択される、付記15に記載の方法。
[付記17]
前記グリッドが、前記1つまたは複数のダウンサンプリンググリッドの特定の1つを使用して生成された超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、付記16に記載の方法。
[付記18]
前記グリッドは歪み尺度に基づいてさらに選択される、付記16に記載の方法。
[付記19]
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも1つの特定のものの異なる部分をダウンサンプリングするのに使用される、付記15に記載の方法。
[付記20]
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示す、付記15に記載の方法。
[付記21]
ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダ(153)と、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する超解像度化ポストプロセッサ(154)と
を備える装置。
[付記22]
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記21に記載の装置。
[付記23]
前記動き変換情報は、2つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む、付記22に記載の装置。
[付記24]
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含む、付記22に記載の装置。
[付記25]
前記超解像度化ポストプロセッサ(154)は、前記メタデータおよび前記低解像度画像から高解像度モザイクを作成し、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元する、付記21に記載の装置。
[付記26]
前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間することによって作成される、付記25に記載の装置。
[付記27]
前記超解像度化ポストプロセッサ(154)は、前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成する、付記25に記載の装置。
[付記28]
前記高解像度モザイクの前記ピクセルの所与の1つに対する前記妥当性の尺度が、前記ピクセルの前記所与の1つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の1つは、前記ピクセルの前記所与の1つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定される、付記27に記載の装置。
[付記29]
前記高解像度画像の所与の1つは、前記低解像度画像の対応する1つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の1つにおける周囲の同位置ピクセルの少なくとも1つのピクセル値から、前記高解像度画像の前記所与の1つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の1つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記低解像度画像の前記少なくとも別の1つとの間のピクセルの動き変換を伴う、付記25に記載の装置。
[付記30]
前記高解像度画像の特定の1つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元される、付記21に記載の装置。
[付記31]
ビットストリームを受け取り、そこからデコーダを使用して低解像度画像およびメタデータを復号化する(1010)ステップと、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する(1025)ステップと
を含む方法。
[付記32]
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記31に記載の方法。
[付記33]
前記動き変換情報は、2つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む、付記32に記載の方法。
[付記34]
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含む、付記32に記載の方法。
[付記35]
前記メタデータおよび前記低解像度画像から高解像度モザイクを作成する(1020)ステップをさらに含み、前記復元するステップが、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元する、付記31に記載の方法。
[付記36]
前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間する(1020)ことによって作成される、付記35に記載の方法。
[付記37]
前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成するステップをさらに含む、付記35に記載の方法。
[付記38]
前記高解像度モザイクの前記ピクセルの所与の1つに対する前記妥当性の尺度が、前記ピクセルの前記所与の1つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の1つは、前記ピクセルの前記所与の1つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定される、付記37に記載の方法。
[付記39]
前記高解像度画像の所与の1つは、前記低解像度画像の対応する1つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の1つにおける周囲の同位置ピクセルの少なくとも1つのピクセル値から、前記高解像度画像の前記所与の1つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の1つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記低解像度画像の前記少なくとも別の1つとの間のピクセルの動き変換を伴う、付記35に記載の方法。
[付記40]
前記高解像度画像の特定の1つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元される、付記31に記載の装置。
[付記41]
高解像度画像から生成された符号化された低解像度画像および前記高解像度画像から生成されるメタデータを備え、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、符号化されたビデオ信号データを有するコンピュータ可読記憶媒体。
Claims (10)
- 高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ダウンサンプラおよびメタデータ生成器と、
前記低解像度画像および前記メタデータを符号化する少なくとも1つのエンコーダと、
を備え、
前記メタデータは、2以上の前記高解像度画像間の動きに関する動き変換情報および各フレームが補助ピクセル情報を供給するように、ダウンサンプリング用に使用される、ダウンサンプリンググリッドを示すサンプリンググリッドインデックスを含み、
前記高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記1つまたは複数の非参照画像それぞれへの動きを推定し、前記動き変換情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、前記1つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成し、
前記1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記1つまたは複数のダウンサンプリンググリッドが前記動き変換情報に基づいて選択され、
前記ダウンサンプリンググリッドが、前記1つまたは複数のダウンサンプリンググリッドの特定の1つを使用して生成された超解像度画像における、前記1つまたは複数のダウンサンプリンググリッドの特定の1つが選択されたときに充填される未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記符号化後の後処理によって供給される出力に対応する、装置。 - 前記動き変換情報は、前記高解像度画像の2つ以上の間の全体の動きに関する全体の動き変換情報を含む、請求項1に記載の装置。
- 前記サンプリンググリッドインデックスは、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示す、請求項1に記載の装置。
- 前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも1つの特定のものの異なる部分をダウンサンプリングするのに使用される、請求項1に記載の装置。
- 個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の、フレーム間の全体の動きに追随する背景ピクセルと、前記背景ピクセルと異なる動きをする前景ピクセルとの個々の位置を示し、前記前景ピクセルは前記1つまたは複数のダウンサンプリンググリッドから除外される、請求項1に記載の装置。
- 高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ステップと、
少なくとも1つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化するステップと、
を含み、
前記メタデータは、動き変換情報およびサンプリンググリッドインデックスを含み、
前記高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、前記低解像度画像およびメタデータを生成するステップは、参照画像から前記1つまたは複数の非参照画像それぞれへの動きを推定し、前記動き変換情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、前記1つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成し、
前記1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記1つまたは複数のダウンサンプリンググリッドが前記動き変換情報に基づいて選択され、
前記ダウンサンプリンググリッドが、前記1つまたは複数のダウンサンプリンググリッドの特定の1つを使用して生成された超解像度画像における、前記1つまたは複数のダウンサンプリンググリッドの特定の1つが選択されたときに充填される未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、方法。 - 前記動き変換情報は、前記高解像度画像の2つ以上の間の全体の動きに関する全体の動き変換情報を含む、請求項6に記載の方法。
- 前記サンプリンググリッドインデックスは、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示す、請求項6に記載の方法。
- 前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも1つの特定のものの異なる部分をダウンサンプリングするのに使用される、請求項6に記載の方法。
- 個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の、フレーム間の全体の動きに追随する背景ピクセルと、前記背景ピクセルと異なる動きをする前景ピクセルとの個々の位置を示し、前記前景ピクセルは前記1つまたは複数のダウンサンプリンググリッドから除外される、請求項6に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US29732010P | 2010-01-22 | 2010-01-22 | |
US61/297,320 | 2010-01-22 | ||
PCT/US2011/000107 WO2011090790A1 (en) | 2010-01-22 | 2011-01-20 | Methods and apparatus for sampling -based super resolution vido encoding and decoding |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013518463A JP2013518463A (ja) | 2013-05-20 |
JP2013518463A5 JP2013518463A5 (ja) | 2014-03-06 |
JP5911809B2 true JP5911809B2 (ja) | 2016-04-27 |
Family
ID=43755097
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012550012A Active JP5911809B2 (ja) | 2010-01-22 | 2011-01-20 | サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9602814B2 (ja) |
EP (1) | EP2526698A1 (ja) |
JP (1) | JP5911809B2 (ja) |
KR (1) | KR101789845B1 (ja) |
CN (1) | CN102823242B (ja) |
WO (1) | WO2011090790A1 (ja) |
Families Citing this family (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
US8780976B1 (en) | 2011-04-28 | 2014-07-15 | Google Inc. | Method and apparatus for encoding video using granular downsampling of frame resolution |
EP2555521A1 (en) * | 2011-08-01 | 2013-02-06 | Advanced Digital Broadcast S.A. | A method and system for transmitting a high resolution video stream as a low resolution video stream |
EP2557789B1 (en) | 2011-08-09 | 2017-09-27 | Dolby Laboratories Licensing Corporation | Guided image up-sampling in video coding |
JP2014532377A (ja) * | 2011-10-14 | 2014-12-04 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated | 領域ベースの画像圧縮 |
US9236024B2 (en) | 2011-12-06 | 2016-01-12 | Glasses.Com Inc. | Systems and methods for obtaining a pupillary distance measurement using a mobile computing device |
WO2013105946A1 (en) * | 2012-01-11 | 2013-07-18 | Thomson Licensing | Motion compensating transformation for video coding |
US9483853B2 (en) | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
US20130314401A1 (en) | 2012-05-23 | 2013-11-28 | 1-800 Contacts, Inc. | Systems and methods for generating a 3-d model of a user for a virtual try-on product |
US9286715B2 (en) | 2012-05-23 | 2016-03-15 | Glasses.Com Inc. | Systems and methods for adjusting a virtual try-on |
WO2014025741A2 (en) | 2012-08-06 | 2014-02-13 | Vid Scale, Inc. | Sampling grid information for spatial layers in multi-layer video coding |
KR102114509B1 (ko) * | 2012-08-24 | 2020-05-22 | 아이큐브드 연구소 주식회사 | 수신 장치, 송신 장치 및 화상 송신 방법 |
US20140118460A1 (en) * | 2012-11-01 | 2014-05-01 | Microsoft Corporation | Video Coding |
US20140119446A1 (en) * | 2012-11-01 | 2014-05-01 | Microsoft Corporation | Preserving rounding errors in video coding |
US20140119456A1 (en) * | 2012-11-01 | 2014-05-01 | Microsoft Corporation | Encoding video into lower resolution streams |
US9185437B2 (en) | 2012-11-01 | 2015-11-10 | Microsoft Technology Licensing, Llc | Video data |
US10349069B2 (en) * | 2012-12-11 | 2019-07-09 | Sony Interactive Entertainment Inc. | Software hardware hybrid video encoder |
KR101420638B1 (ko) * | 2012-12-14 | 2014-07-17 | 에스케이플래닛 주식회사 | 스트리밍 서비스에서 콘텐츠 제공을 위한 장치 및 이를 위한 방법 |
KR102121558B1 (ko) * | 2013-03-15 | 2020-06-10 | 삼성전자주식회사 | 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더 |
KR102131326B1 (ko) * | 2013-08-22 | 2020-07-07 | 삼성전자 주식회사 | 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법 |
US9774865B2 (en) * | 2013-12-16 | 2017-09-26 | Samsung Electronics Co., Ltd. | Method for real-time implementation of super resolution |
EP3090538A1 (en) * | 2014-01-03 | 2016-11-09 | Thomson Licensing | Method, apparatus, and computer program product for optimising the upscaling to ultrahigh definition resolution when rendering video content |
US9602811B2 (en) * | 2014-09-10 | 2017-03-21 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device |
WO2016132147A1 (en) | 2015-02-19 | 2016-08-25 | Magic Pony Technology Limited | Enhancement of visual data |
EP3278559B1 (en) | 2015-03-31 | 2021-05-05 | Magic Pony Technology Limited | Training end-to-end video processes |
GB201604672D0 (en) | 2016-03-18 | 2016-05-04 | Magic Pony Technology Ltd | Generative methods of super resolution |
GB201603144D0 (en) | 2016-02-23 | 2016-04-06 | Magic Pony Technology Ltd | Training end-to-end video processes |
KR20170023484A (ko) | 2015-08-24 | 2017-03-06 | 삼성전자주식회사 | 이미지 처리장치 및 방법 |
JP6909223B2 (ja) | 2016-01-25 | 2021-07-28 | コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ | 空間スケーラブル・ビデオ・コーディング |
JP6516695B2 (ja) * | 2016-02-24 | 2019-05-22 | 株式会社 日立産業制御ソリューションズ | 画像処理システムおよび画像処理装置 |
EP3298579B1 (en) | 2016-04-12 | 2021-07-21 | Magic Pony Technology Limited | Visual data processing using energy networks |
KR102520957B1 (ko) * | 2016-04-15 | 2023-04-12 | 삼성전자주식회사 | 인코딩 장치, 디코딩 장치 및 이의 제어 방법 |
GB201607994D0 (en) | 2016-05-06 | 2016-06-22 | Magic Pony Technology Ltd | Encoder pre-analyser |
US10701394B1 (en) | 2016-11-10 | 2020-06-30 | Twitter, Inc. | Real-time video super-resolution with spatio-temporal networks and motion compensation |
TWI632814B (zh) * | 2016-11-11 | 2018-08-11 | 財團法人工業技術研究院 | 視訊畫幀產生方法及其系統 |
US10721471B2 (en) * | 2017-10-26 | 2020-07-21 | Intel Corporation | Deep learning based quantization parameter estimation for video encoding |
CN108184116A (zh) * | 2017-12-18 | 2018-06-19 | 西南技术物理研究所 | 一种适用于无线数据链传输的图像重建方法 |
US11438610B2 (en) | 2018-04-13 | 2022-09-06 | Koninklijke Kpn N.V. | Block-level super-resolution based video coding |
KR102082815B1 (ko) * | 2018-04-24 | 2020-02-28 | 주식회사 지디에프랩 | 인공지능 기반 해상도 개선 시스템 |
WO2020080873A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
WO2020080665A1 (en) * | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image |
WO2020080765A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
US10824917B2 (en) | 2018-12-03 | 2020-11-03 | Bank Of America Corporation | Transformation of electronic documents by low-resolution intelligent up-sampling |
US11688039B2 (en) | 2019-03-25 | 2023-06-27 | Teledyne Digital Imaging, Inc. | Method for generating a super-resolution image and related device |
KR102436512B1 (ko) | 2019-10-29 | 2022-08-25 | 삼성전자주식회사 | 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 |
EP4060998A4 (en) * | 2019-11-15 | 2023-11-15 | Korea Advanced Institute of Science and Technology | SYSTEM AND METHOD FOR LIVE VIDEO INGESTION |
US11367165B2 (en) * | 2020-05-19 | 2022-06-21 | Facebook Technologies, Llc. | Neural super-sampling for real-time rendering |
AU2020281143B1 (en) * | 2020-12-04 | 2021-03-25 | Commonwealth Scientific And Industrial Research Organisation | Creating super-resolution images |
FR3118380B1 (fr) * | 2020-12-22 | 2024-08-30 | Fond B Com | Procédé de codage d’images d’une séquence vidéo à coder, procédé de décodage, dispositifs et système correspondants. |
US11924408B2 (en) | 2021-01-14 | 2024-03-05 | Tencent America LLC | Method and apparatus for video coding |
WO2022210661A1 (ja) * | 2021-03-30 | 2022-10-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像符号化方法、画像復号方法、画像処理方法、画像符号化装置、及び画像復号装置 |
CN113329228B (zh) * | 2021-05-27 | 2024-04-26 | 杭州网易智企科技有限公司 | 视频编码方法、解码方法、装置、电子设备及存储介质 |
CN114339232B (zh) * | 2021-12-16 | 2024-04-16 | 杭州当虹科技股份有限公司 | 自适应分辨率的编码方法及其对应的解码方法 |
KR102632638B1 (ko) * | 2022-01-03 | 2024-02-01 | 네이버 주식회사 | 하드웨어 디코더 환경에서의 초해상도 이미지 생성 방법 및 시스템 |
CN114092337B (zh) * | 2022-01-19 | 2022-04-22 | 苏州浪潮智能科技有限公司 | 一种图像任意尺度的超分辨率放大的方法和装置 |
CN114650449A (zh) * | 2022-03-03 | 2022-06-21 | 京东科技信息技术有限公司 | 一种视频数据处理方法和装置 |
CN114897688A (zh) * | 2022-04-24 | 2022-08-12 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、计算机设备及介质 |
CN116776228B (zh) * | 2023-08-17 | 2023-10-20 | 合肥工业大学 | 一种电网时序数据解耦自监督预训练方法与系统 |
Family Cites Families (126)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US845751A (en) | 1906-03-03 | 1907-03-05 | Max Ams Machine Co | Method of forming covers for sheet-metal cans. |
DE69333288T2 (de) | 1992-09-01 | 2004-08-26 | Apple Computer, Inc., Cupertino | Verbesserte vektorquantisierung |
JP3679426B2 (ja) | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
JP3027670B2 (ja) | 1993-05-07 | 2000-04-04 | キヤノン株式会社 | 光起電力素子 |
EP0729688A1 (en) | 1993-11-15 | 1996-09-04 | National Semiconductor Corporation | Quadtree-structured walsh transform coding |
US5446806A (en) | 1993-11-15 | 1995-08-29 | National Semiconductor Corporation | Quadtree-structured Walsh transform video/image coding |
US6798834B1 (en) | 1996-08-15 | 2004-09-28 | Mitsubishi Denki Kabushiki Kaisha | Image coding apparatus with segment classification and segmentation-type motion prediction circuit |
JP3197420B2 (ja) | 1994-01-31 | 2001-08-13 | 三菱電機株式会社 | 画像符号化装置 |
JP3448091B2 (ja) | 1994-02-18 | 2003-09-16 | 富士通株式会社 | 符号化復号化装置及び符号化復号化方法 |
US5537155A (en) | 1994-04-29 | 1996-07-16 | Motorola, Inc. | Method for estimating motion in a video sequence |
KR0169662B1 (ko) | 1994-12-28 | 1999-03-20 | 배순훈 | 다수의 부호책을 갖는 피티에스 벡터양자화 부호기 |
JPH08336134A (ja) * | 1995-04-06 | 1996-12-17 | Sanyo Electric Co Ltd | 動画像圧縮符号化方法、動画像圧縮符号化装置、動画像復号方法、動画像復号装置、及び、記録媒体 |
KR100207638B1 (ko) | 1995-05-29 | 1999-07-15 | 윤종용 | 가변비트율 비디오 부호화방법 |
US5764374A (en) | 1996-02-05 | 1998-06-09 | Hewlett-Packard Company | System and method for lossless image compression having improved sequential determination of golomb parameter |
US5862342A (en) | 1996-10-31 | 1999-01-19 | Sensormatic Electronics Corporation | Intelligent video information management system with information archiving capabilities |
EP1450276A3 (en) | 1996-10-31 | 2007-08-08 | Sensormatic Electronics Corporation | Intelligent video information management system |
JP2000511744A (ja) | 1997-04-02 | 2000-09-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像処理システム及び方法 |
US6043838A (en) | 1997-11-07 | 2000-03-28 | General Instrument Corporation | View offset estimation for stereoscopic video coding |
US6937659B1 (en) | 1997-11-14 | 2005-08-30 | Ac Capital Management, Inc. | Apparatus and method for compressing video information |
US6278446B1 (en) | 1998-02-23 | 2001-08-21 | Siemens Corporate Research, Inc. | System for interactive organization and browsing of video |
CN1128097C (zh) | 1998-06-19 | 2003-11-19 | 中山医科大学中山眼科中心 | 将珊瑚转变为羟基磷灰石“人工骨”的制备工艺 |
US6480538B1 (en) | 1998-07-08 | 2002-11-12 | Koninklijke Philips Electronics N.V. | Low bandwidth encoding scheme for video transmission |
JP2002522836A (ja) | 1998-08-05 | 2002-07-23 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 静止画像生成方法および装置 |
US6782132B1 (en) | 1998-08-12 | 2004-08-24 | Pixonics, Inc. | Video coding and reconstruction apparatus and methods |
US6487249B2 (en) * | 1998-10-09 | 2002-11-26 | Matsushita Electric Industrial Co., Ltd. | Efficient down conversion system for 2:1 decimation |
US6397166B1 (en) | 1998-11-06 | 2002-05-28 | International Business Machines Corporation | Method and system for model-based clustering and signal-bearing medium for storing program of same |
US6272250B1 (en) | 1999-01-20 | 2001-08-07 | University Of Washington | Color clustering for scene change detection and object tracking in video sequences |
US6301387B1 (en) | 1998-12-18 | 2001-10-09 | University Of Washington | Template matching using correlative auto-predictive search |
US6795578B1 (en) | 1999-09-29 | 2004-09-21 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
KR100708091B1 (ko) | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
US7623706B1 (en) | 2000-09-29 | 2009-11-24 | Hewlett-Packard Development Company, L.P. | Reduction of chromatic bleeding artifacts in images containing subsampled chrominance values |
KR100406593B1 (ko) | 2001-06-08 | 2003-11-20 | 제일모직주식회사 | 난연성 열가소성 수지조성물 |
US6952700B2 (en) | 2001-03-22 | 2005-10-04 | International Business Machines Corporation | Feature weighting in κ-means clustering |
US6766067B2 (en) | 2001-04-20 | 2004-07-20 | Mitsubishi Electric Research Laboratories, Inc. | One-pass super-resolution images |
US7003039B2 (en) | 2001-07-18 | 2006-02-21 | Avideh Zakhor | Dictionary generation method for video and image compression |
FR2828054B1 (fr) | 2001-07-27 | 2003-11-28 | Thomson Licensing Sa | Procede et dispositif de codage d'une scene |
US20060165386A1 (en) | 2002-01-08 | 2006-07-27 | Cernium, Inc. | Object selective video recording |
US7602848B2 (en) | 2002-03-26 | 2009-10-13 | General Instrument Corporation | Methods and apparatus for efficient global motion compensation encoding and associated decoding |
US7433526B2 (en) | 2002-04-30 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Method for compressing images and image sequences through adaptive partitioning |
US7397858B2 (en) | 2002-05-29 | 2008-07-08 | Innovation Management Sciences, Llc | Maintaining a plurality of codebooks related to a video signal |
US7119837B2 (en) | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
US7379496B2 (en) | 2002-09-04 | 2008-05-27 | Microsoft Corporation | Multi-resolution video coding and decoding |
JP4762486B2 (ja) | 2002-09-04 | 2011-08-31 | マイクロソフト コーポレーション | マルチ・リゾルーション・ビデオ符号化および復号化 |
AU2002951574A0 (en) | 2002-09-20 | 2002-10-03 | Unisearch Limited | Method of signalling motion information for efficient scalable video compression |
JP3759932B2 (ja) | 2003-01-15 | 2006-03-29 | ティーオーエー株式会社 | 画像圧縮方法及び伸張方法 |
DE10310023A1 (de) | 2003-02-28 | 2004-09-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium |
US7218796B2 (en) | 2003-04-30 | 2007-05-15 | Microsoft Corporation | Patch-based video super-resolution |
KR100504594B1 (ko) | 2003-06-27 | 2005-08-30 | 주식회사 성진씨앤씨 | 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법 |
US7383180B2 (en) | 2003-07-18 | 2008-06-03 | Microsoft Corporation | Constant bitrate media encoding techniques |
WO2005043882A2 (en) | 2003-10-21 | 2005-05-12 | Prismvideo, Inc | Video source coding with side information |
US7720148B2 (en) | 2004-03-26 | 2010-05-18 | The Hong Kong University Of Science And Technology | Efficient multi-frame motion estimation for video compression |
TWI246338B (en) | 2004-04-09 | 2005-12-21 | Asustek Comp Inc | A hybrid model sprite generator and a method to form a sprite |
EP1631089A1 (en) | 2004-08-30 | 2006-03-01 | Matsushita Electric Industrial Co., Ltd. | Video coding apparatus and decoding apparatus |
US7447337B2 (en) | 2004-10-25 | 2008-11-04 | Hewlett-Packard Development Company, L.P. | Video content understanding through real time video motion analysis |
CN1777287A (zh) * | 2004-11-19 | 2006-05-24 | 株式会社Ntt都科摩 | 图像解码装置、程序、方法、及图像编码装置、程序、方法 |
JP2006174415A (ja) * | 2004-11-19 | 2006-06-29 | Ntt Docomo Inc | 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法 |
US7327904B2 (en) | 2004-12-15 | 2008-02-05 | Arcsoft, Inc. | Pattern classification and filter design for increasing image resolution |
US7671894B2 (en) | 2004-12-17 | 2010-03-02 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for processing multiview videos for view synthesis using skip and direct modes |
JP2006203744A (ja) | 2005-01-24 | 2006-08-03 | Victor Co Of Japan Ltd | 静止画生成装置及び静止画生成方法 |
WO2006110890A2 (en) | 2005-04-08 | 2006-10-19 | Sarnoff Corporation | Macro-block based mixed resolution video compression system |
KR100716998B1 (ko) | 2005-05-24 | 2007-05-10 | 삼성전자주식회사 | 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체 |
JP2007043651A (ja) | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム |
US7715658B2 (en) | 2005-08-03 | 2010-05-11 | Samsung Electronics Co., Ltd. | Apparatus and method for super-resolution enhancement processing |
JP4852766B2 (ja) | 2005-11-11 | 2012-01-11 | 国立大学法人北陸先端科学技術大学院大学 | クラスタリングシステム、及び、それを備える画像処理システム |
US8249871B2 (en) | 2005-11-18 | 2012-08-21 | Microsoft Corporation | Word clustering for input data |
CN100413316C (zh) | 2006-02-14 | 2008-08-20 | 华为技术有限公司 | 一种视频图像超分辨率重构方法 |
AU2006201210A1 (en) | 2006-03-23 | 2007-10-11 | Canon Information Systems Research Australia Pty Ltd | Motion characterisation |
US7778472B2 (en) | 2006-03-27 | 2010-08-17 | Qualcomm Incorporated | Methods and systems for significance coefficient coding in video compression |
US8019171B2 (en) | 2006-04-19 | 2011-09-13 | Microsoft Corporation | Vision-based compression |
US7933464B2 (en) | 2006-10-17 | 2011-04-26 | Sri International | Scene-based non-uniformity correction and enhancement method using super-resolution |
EP1926321A1 (en) | 2006-11-27 | 2008-05-28 | Matsushita Electric Industrial Co., Ltd. | Hybrid texture representation |
TWI319547B (en) | 2006-12-01 | 2010-01-11 | Compal Electronics Inc | Method for generating typographical line |
JP4375390B2 (ja) | 2006-12-12 | 2009-12-02 | ソニー株式会社 | 携帯端末装置および表示方法、並びにプログラム |
KR101381600B1 (ko) | 2006-12-20 | 2014-04-04 | 삼성전자주식회사 | 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치 |
KR101383540B1 (ko) | 2007-01-03 | 2014-04-09 | 삼성전자주식회사 | 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법 |
CN101222641B (zh) | 2007-01-11 | 2011-08-24 | 华为技术有限公司 | 帧内预测编解码方法及其装置 |
JP4467583B2 (ja) | 2007-01-17 | 2010-05-26 | 富士通株式会社 | 設計支援プログラム、設計支援方法および設計支援装置 |
US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
JP5372341B2 (ja) | 2007-05-18 | 2013-12-18 | 株式会社エヌ・ティ・ティ・ドコモ | 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム |
CN101653009B (zh) | 2007-04-09 | 2013-07-31 | 株式会社Ntt都科摩 | 图像预测编码装置、图像预测编码方法、图像预测解码装置、图像预测解码方法 |
JP5572802B2 (ja) | 2007-05-30 | 2014-08-20 | 国立大学法人 香川大学 | 接着方法並びにそれを用いて作製したバイオケミカルチップ及び光学部品 |
US8588459B2 (en) | 2007-06-14 | 2013-11-19 | Thomson Licensing | Modifying a coded bitstream |
US20090003443A1 (en) | 2007-06-26 | 2009-01-01 | Nokia Corporation | Priority-based template matching intra prediction video and image coding |
US9648325B2 (en) | 2007-06-30 | 2017-05-09 | Microsoft Technology Licensing, Llc | Video decoding implementations for a graphics processing unit |
US8417037B2 (en) | 2007-07-16 | 2013-04-09 | Alexander Bronstein | Methods and systems for representation and matching of video content |
US8358840B2 (en) | 2007-07-16 | 2013-01-22 | Alexander Bronstein | Methods and systems for representation and matching of video content |
US8582908B2 (en) | 2007-08-07 | 2013-11-12 | Texas Instruments Incorporated | Quantization method and apparatus |
US8081842B2 (en) | 2007-09-07 | 2011-12-20 | Microsoft Corporation | Image resizing for web-based image search |
CN101389021B (zh) | 2007-09-14 | 2010-12-22 | 华为技术有限公司 | 视频编解码方法及装置 |
JP4876048B2 (ja) | 2007-09-21 | 2012-02-15 | 株式会社日立製作所 | 映像送受信方法、受信装置、映像蓄積装置 |
US8422559B2 (en) | 2007-10-10 | 2013-04-16 | Mediatek Inc. | Matching-pixel sub-sampling motion estimation method for video compression |
JP5098559B2 (ja) | 2007-10-11 | 2012-12-12 | 富士ゼロックス株式会社 | 類似画像検索装置、及び類似画像検索プログラム |
CN101415122B (zh) | 2007-10-15 | 2011-11-16 | 华为技术有限公司 | 一种帧间预测编解码方法及装置 |
CN101198064A (zh) * | 2007-12-10 | 2008-06-11 | 武汉大学 | 一种分辨率分层技术中的运动矢量预测方法 |
WO2009087641A2 (en) | 2008-01-10 | 2009-07-16 | Ramot At Tel-Aviv University Ltd. | System and method for real-time super-resolution |
WO2009089032A2 (en) | 2008-01-10 | 2009-07-16 | Thomson Licensing | Methods and apparatus for illumination compensation of intra-predicted video |
US8228990B2 (en) | 2008-01-16 | 2012-07-24 | Sony Corporation | Template matching scheme using multiple predictors as candidates for intra-prediction |
US8204325B2 (en) | 2008-01-18 | 2012-06-19 | Sharp Laboratories Of America, Inc. | Systems and methods for texture synthesis for video coding with side information |
CN101978697B (zh) | 2008-01-25 | 2013-02-13 | 惠普开发有限公司 | 针对基于块的编码的编码模式选择 |
WO2009113787A2 (en) | 2008-03-09 | 2009-09-17 | Lg Electronics Inc. | A method and an apparatus for encoding or decoding a video signal |
JP2009239686A (ja) | 2008-03-27 | 2009-10-15 | Hitachi Ltd | 放送受信システム、ホームゲートウェイ装置及び放送受信端末装置 |
US8189933B2 (en) | 2008-03-31 | 2012-05-29 | Microsoft Corporation | Classifying and controlling encoding quality for textured, dark smooth and smooth video content |
JP5406465B2 (ja) | 2008-04-24 | 2014-02-05 | 株式会社Nttドコモ | 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム |
WO2009157904A1 (en) | 2008-06-27 | 2009-12-30 | Thomson Licensing | Methods and apparatus for texture compression using patch-based sampling texture synthesis |
US8340463B1 (en) | 2008-08-29 | 2012-12-25 | Adobe Systems Incorporated | Candidate pruning for patch transforms |
KR20110059766A (ko) | 2008-09-18 | 2011-06-03 | 톰슨 라이센싱 | 비디오 영상 프루닝 방법 및 장치 |
US8233734B2 (en) | 2008-09-22 | 2012-07-31 | Microsoft Corporation | Image upsampling with training images |
CN101459842B (zh) * | 2008-12-17 | 2011-05-11 | 浙江大学 | 一种空间降采样解码方法和装置 |
FR2941581A1 (fr) | 2009-01-28 | 2010-07-30 | France Telecom | Codage et decodage d'une sequence d'images video par zones d'images |
CN101551903A (zh) | 2009-05-11 | 2009-10-07 | 天津大学 | 步态识别中的超分辨率图像恢复方法 |
CN101556690B (zh) | 2009-05-14 | 2015-01-07 | 复旦大学 | 基于词典学习和稀疏表示的超分辨率算法 |
JP2010268259A (ja) | 2009-05-15 | 2010-11-25 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US20110047163A1 (en) | 2009-08-24 | 2011-02-24 | Google Inc. | Relevance-Based Image Selection |
JP2013507084A (ja) | 2009-10-05 | 2013-02-28 | アイ.シー.ヴイ.ティー リミテッド | 画像処理のための方法およびシステム |
KR20110065997A (ko) | 2009-12-10 | 2011-06-16 | 삼성전자주식회사 | 영상처리장치 및 영상처리방법 |
KR101782661B1 (ko) | 2010-01-19 | 2017-10-23 | 톰슨 라이센싱 | 비디오 인코딩 및 디코딩을 위한 템플릿 매칭 예측의 복잡도를 감소시키는 방법 및 장치 |
CN102726044B (zh) | 2010-01-22 | 2016-08-10 | 汤姆逊许可证公司 | 使用基于示例的超分辨率的用于视频压缩的数据剪切 |
US20110210960A1 (en) | 2010-02-26 | 2011-09-01 | Google Inc. | Hierarchical blurring of texture maps |
DE102010022987B4 (de) | 2010-06-08 | 2012-12-20 | Phoenix Contact Gmbh & Co. Kg | Elektrisches Gerät mit einem Steckverbinder und elektrische Steckverbindung |
CN103210648B (zh) | 2010-09-10 | 2017-06-09 | 汤姆逊许可公司 | 使用基于块的混合分辨率数据修剪的视频解码 |
KR101838320B1 (ko) | 2010-09-10 | 2018-03-13 | 톰슨 라이센싱 | 예시-기반 데이터 프루닝을 이용한 비디오 디코딩 |
WO2012033970A1 (en) | 2010-09-10 | 2012-03-15 | Thomson Licensing | Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity |
US20130163676A1 (en) | 2010-09-10 | 2013-06-27 | Thomson Licensing | Methods and apparatus for decoding video signals using motion compensated example-based super-resolution for video compression |
US8503792B2 (en) | 2010-12-17 | 2013-08-06 | Sony Corporation | Patch description and modeling for image subscene recognition |
US20140036054A1 (en) | 2012-03-28 | 2014-02-06 | George Zouridakis | Methods and Software for Screening and Diagnosing Skin Lesions and Plant Diseases |
JP6192271B2 (ja) | 2012-08-22 | 2017-09-06 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2011
- 2011-01-20 WO PCT/US2011/000107 patent/WO2011090790A1/en active Application Filing
- 2011-01-20 CN CN201180015335.5A patent/CN102823242B/zh active Active
- 2011-01-20 JP JP2012550012A patent/JP5911809B2/ja active Active
- 2011-01-20 US US13/574,428 patent/US9602814B2/en active Active
- 2011-01-20 EP EP11704113A patent/EP2526698A1/en not_active Ceased
- 2011-01-20 KR KR1020127021782A patent/KR101789845B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
WO2011090790A8 (en) | 2012-08-30 |
CN102823242B (zh) | 2016-08-10 |
KR101789845B1 (ko) | 2017-11-20 |
WO2011090790A1 (en) | 2011-07-28 |
US9602814B2 (en) | 2017-03-21 |
EP2526698A1 (en) | 2012-11-28 |
US20120294369A1 (en) | 2012-11-22 |
CN102823242A (zh) | 2012-12-12 |
JP2013518463A (ja) | 2013-05-20 |
KR20120118477A (ko) | 2012-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5911809B2 (ja) | サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置 | |
Bhat et al. | Deep burst super-resolution | |
CN113612994B (zh) | 具有仿射运动补偿的视频编解码的方法 | |
JP5535625B2 (ja) | 適応的参照フィルタリングの方法及び装置 | |
TWI617185B (zh) | 具有仿射運動補償的視訊編碼的方法以及裝置 | |
AU2009201637B2 (en) | Processing multi-view digital images | |
JP2019216466A (ja) | 省略符号化を用いた映像符号化及び復号化装置及びその方法 | |
KR101915425B1 (ko) | 비디오 영상 프루닝 방법 및 장치 | |
KR101878515B1 (ko) | 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩 | |
JP5628155B2 (ja) | 動き補償の補間フィルタリング及び参照画像のフィルタリングのための局所的な適応フィルタリングの方法及び装置 | |
JP2013518463A5 (ja) | ||
JP6042899B2 (ja) | 映像符号化方法および装置、映像復号方法および装置、それらのプログラム及び記録媒体 | |
JP2013537381A5 (ja) | ||
CN115486068A (zh) | 用于视频编码中基于深度神经网络的帧间预测的方法和设备 | |
CN107801039B (zh) | 运动补偿预测方法和装置 | |
JP5844745B2 (ja) | パッチシフティングを通じてベクトル量子化誤差を低減する方法および装置 | |
CN115606179A (zh) | 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器 | |
US8170110B2 (en) | Method and apparatus for zoom motion estimation | |
NZ590990A (en) | Content adaptive and art directable scalable video coding | |
JP2007316161A (ja) | 残差補間を用いた超解像処理方法及び装置 | |
CN112601095B (zh) | 一种视频亮度和色度分数插值模型的创建方法及系统 | |
JP5463250B2 (ja) | 画像再構成装置、符号化装置、復号装置及びプログラム | |
KR101428531B1 (ko) | 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법 | |
Callicó et al. | Low-cost super-resolution algorithms implementation over a HW/SW video compression platform | |
Toutounchi et al. | An efficient video super-resolution approach based on sparse representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141125 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20151104 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5911809 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |