JP5974089B2 - ビデオ信号のリフレーミング及びエンコーディングのための方法及び装置 - Google Patents
ビデオ信号のリフレーミング及びエンコーディングのための方法及び装置 Download PDFInfo
- Publication number
- JP5974089B2 JP5974089B2 JP2014520583A JP2014520583A JP5974089B2 JP 5974089 B2 JP5974089 B2 JP 5974089B2 JP 2014520583 A JP2014520583 A JP 2014520583A JP 2014520583 A JP2014520583 A JP 2014520583A JP 5974089 B2 JP5974089 B2 JP 5974089B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- reframing
- window
- map
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算するステップと、
前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するステップと、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択するステップと、
前記特徴マップ又は前記特徴マップと前記マクロブロック符号化効率費用マップとの組み合わせを用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び/又はサイズを決定するステップと、
対応するリフレーミングされたビデオ信号をエンコーディングするステップと
を有する。
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算し、前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するよう構成される手段と、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択し、前記特徴マップ又は前記特徴マップと前記マクロブロック符号化効率費用マップとの組み合わせを用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び/又はサイズを決定するよう構成される手段と、
対応するリフレーミングされたビデオ信号をエンコーディングするエンコーディング手段と
を有する。
・イントラ符号化モードを導入し且つインター符号化モード又はスキップモードよりもエンコーディングのために多くのビットを必要とするので、ウィンドウ境界上に現れる領域又はオブジェクトを回避する。必要に応じて、電子式画像安定化装置(electronic image stabiliser)が使用されるべきである。
・オブジェクトのサイズ変更を回避する:良好なインター予測を支持するよう、ズーム比はビデオモーションパラメータに従うべきである。
・一定のドミナントモーションを支持する:エンコーディングは、コンテンツモーションが一定である場合に、より効率的である(双方向予測、スキップ及びダイレクトモードの善用)。
・エンコーディングするのが難しいマクロブロックを入れないようにする。圧縮されたビデオをリフレーミングする場合に、画像の費用がかかる領域を、かかる領域に関心がない場合は拒否しようと試みるために、マクロブロック符号化効率費用マップを使用する。
この項では、時間的に安定した画像ほど原理上はエンコーディングのためにビットを必要としないという事実が使用される。
カルマンフィルタが、クロッピングウィンドウの位置及びサイズを制御するために使用される。第1の実施において、共分散ノイズ行列Qが制約される。カルマンフィルタ適用の目的は、アテンションモデル22によって与えられる原の値の変化(すなわち、時間に対する特徴マップの内容の変化)を平滑化することである。カルマンモデライゼーションにおいて、アテンションモデル22によって与えられる原の値は、ノイズ測定を表すと見なされ、一方、最適なクロッピングパラメータ(ウィンドウの中心及びサイズ)を推定することが試みられる。クロッピングウィンドウのパラメータの現在の状態xkは、xk=Akxk−1+Bkuk+wkとして定義される。ここで、Akは、前の状態に適用される状態遷移モデルであり、Bkは、制御入力モデルであり、ukは、制御ベクトルであり、wkは、
<外1>
による定常ノイズであり、Nは、零平均及び共分散Qkを有する正規分布である。
<外2>
による観測ノイズであり、共分散Rkを有する零平均ガウスホワイトノイズであると推定される。
<外3>
は、大部分は、前の状態の複製である:
非零のドミナントモーションを伴う、すなわち、背景転換及び/又はズームを伴うビデオコンテンツの場合において、符号化効率を改善するよう、クロッピングウィンドウは、より良いインタピクチャ予測のために画像の境界における出現ブロックを回避し且つオブジェクトのサイズ変更を回避するように、ドミナントモーションに従う。
原のビデオシーケンス11,21は、それが圧縮されたビデオシーケンスである場合に、エンコーディング費用の値が付随しているとされる。よく知られているように、所与のマクロブロックの符号化費用は、現在の量子化パラメータqを用いてそのマクロブロックをエンコーディングするのに必要とされるビットの数として表される。本発明に従って、それらの入力シーケンス符号化費用は、リフレーミングを制約するために使用される。以下で定義される処理は、項目Aにおいて記載された処理に加えて、又はそれとは無関係に使用され得る。
カルマンフィルタの状態共分散ノイズ行列Qは、ピクチャシーケンスの総費用から導出され得る。入力シーケンスの費用が低い場合は、クロッピングされたピクチャの費用も低いと予測され得、結果として、クロッピングされたシーケンスの費用を低減するための制約は下げられ得る。
この実施は、図2において記載されるアスペクト比ステップ/段233を扱う。第1のクロッピングウィンドウが特徴マップからステップ/段231において外挿されると、その位置及びサイズが時間的に平滑化される。その後、異方性拡大が実行される。その様々な変数及び表記が図3において表される。
hAR=hSM(wAR=wSM)
wAR=wSM+dw(hAR=hSM+dh)
xAR=xSM+dx(xAR=xSM)
yAR=ySM(yAR=ySM+dy)
ここで、
dw=dleft+dright=wAR/hAR×hSM−wSM=RTG×hSM−wSM、
dx=xSM+(dright−dleft)/2、及び
wAR=wSM+dleft+dright。
拡張の側が定義されると、依然としてウィンドウを拡大する複数の方法が存在する。換言すると、dright及びdleftは、異なる方法において計算されてよい。以下で、幅wSMは、最終のアスペクト比に到達するよう拡大されるとされる。拡大は、dleft=dw及びdright=0のように左側へ、又はdleft=0及びdright=dwのように右側へ、又はdleft=dw/2及びdright=dw/2のように同じ割合で両側へ、全体に移動されてよい。そのような解決法は、コンテンツの観点から最適ではない。従って、先行技術においては、特徴マップの更に細かい解析が、一方の側又は他方の側を支持するよう実行されてきた。
dright及びdleftは、dright/dleft=Cright max/Cleft maxのように求められるべきである(1)。
ビット費用Cright max及びCleft maxは、完全に左への拡大(dleft=wAR−WSM及びdright=0)及び完全に右への拡大(dright=wAR−WSM及びdleft=0)を考えることによって、計算される。なお:
クロッピングウィンドウボックスの位置を制約する他の方法は、図5において表されるように、近傍にある複数の到達可能なクロッピングウィンドウに対応する費用のみを計算し、最小の符号化費用を持ち続けることである。M個の候補となるクロッピングウィンドウの組は、対応する費用{C0・・・CM}を有する。クロッピングウィンドウの最終の位置の符号化費用、ひいては最終の位置自体は、Cfinal=Min{C0・・・CM}によって決定される。
C.1 特徴マップレベルにおける制約
他の興味深い実施形態は、符号化費用がかかるマクロブロックが最終の特徴マップにおいて対応する特徴値を下げるように、特徴マップをマクロブロック符号化効率費用マップによりマージすることである。それにより、費用がかかるマクロブロックの潜在的影響は、最終のクロッピングウィンドウの位置の決定において小さくされる。
SMfinal=NC(SM)+NC(MBinv)+(1+NC(SM))・(1+NC(MBinv))
ここで、MBは、範囲0〜255にあるマクロブロック符号化効率費用マップの値であり、MBinv=255−MBであり、SMは、特徴マップの値であり、NCは、演繹的知識によって駆動される正規化演算子である。夫々のマップの全体の最大を用いることに代えて、この演算子は経験的値を用いる。
幾つかの簡単化が、クロッピングウィンドウをエンコーダアーキテクチャに適応させるよう実行され得るが、幾つかの場合においては符号化効率を改善するためにも実行される:
・予測フレームと現在のフレームとの間のマクロブロック格子におけるクロッピングウィンドウの整列を保証する。それは時間的予測品質を改善するが、更に、適切なブロックサイズを選択するのを助ける。欠点は、クロッピングウィンドウの滑らかな時間的変化が何としても保証されるべき点であり、さもなければ、何らかの時間的アーティファクトが目に見える。
・同様に、クロッピングウィンドウの位置は、ピクセルサンプリング格子に一致するよう設定され得る。その場合に、動きベクトルは必然的にピクセルの数の倍数であり、1ピクセル単位よりもっと精密な動き推定は不要である。有利に、これは、エンコーダの有意な簡単化をもたらす。
・リフレーミング処理からの如何なる情報も再利用する。例えば、特徴領域を計算するために、フレーム間の動きを計算する必要がある。この情報はビデオエンコーダへ送られて、エンコーダの動き推定を助け又は置換することができる。同様に、クロッピングウィンドウの時間的変化は、撮影者による撮影手法と同様に滑らかな挙動を確かにするようモニタされ管理される。それらの仮想的なカメラの動きはまた、動き推定を助けるためにエンコーダによって使用され得る。
・ソース入力ビデオ信号がエンコードされたビデオ信号(エンコーダフォーマットであるものは何でも)である場合は、ビデオ信号のトランスコーディング又は変換から知られるように、符号化情報のようなパラメータを再利用することが可能である。
・第1に、ピクチャ全体がエンコーディングされ得、あるエンコーディングストラテジはクロッピングウィンドウに適応され得る。すなわち、H.264/AVC SEIメッセージが、デコーダへ任意のクロッピングウィンドウを伝えるために使用され、より高いビットレート/エンコーディング品質がクロッピングウィンドウのために設定され得、異なるスライスが2つの領域について使用され得、スキップモードが非クロッピングウィンドウのために設定され得る。
・第2に、フレーム全体がエンコーダにおいて使用され得るが、クロッピングウィンドウのみがエンコーディングされる。これは、上述されたように、クロッピングウィンドウのサイズ及び位置の最適化とエンコーディングとをひとまとめにすることを可能にし、動き推定は、境界効果を防ぎ且つ動きフィールドのエンコーディング(より良い同質性)を容易にするようフレーム全体に対して実行され得、クロッピングウィンドウからフレーム全体への動的な切り替えの可能性を提供する。
・第3に、上述されたように、1の処理からの多くの計算が、それらを2回実行することに代えて、後の処理によって再利用され得る。アーキテクチャ及びCPU性能(又はハードウェア複雑性)は全体的に下げられ、そのようなシステムは更なる機能性及び柔軟性を提供する。
上記の実施形態に加えて、以下の付記を開示する。
(付記1)
原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う方法であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算するステップと、
前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するステップと、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択するステップと、
前記特徴マップ又は前記特徴マップと前記マクロブロック符号化効率費用マップとの組み合わせを用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び/又はサイズを決定するステップと、
対応するリフレーミングされたビデオ信号をエンコーディングするステップと
を有する方法。
(付記2)
原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う装置であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算し、前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するよう構成される手段と、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択し、前記特徴マップ又は前記特徴マップと前記マクロブロック符号化効率費用マップとの組み合わせを用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び/又はサイズを決定するよう構成される手段と、
対応するリフレーミングされたビデオ信号をエンコーディングするエンコーディング手段と
を有する装置。
(付記3)
カルマンフィルタが、時間に対する前記特徴マップの内容の変化による前記リフレーミングウィンドウの位置及びサイズの変化を制御するために使用される、
付記1に記載の方法、又は付記2に記載の装置。
(付記4)
カルマンフィルタが、前記リフレーミングウィンドウのパラメータを安定させるように前の状態xk−1に対する現在の状態xkと状態遷移モデルとを予測するステップと、該予測をノイズ測定により補正するステップとにおいて、ピクチャごとに使用され、
状態xkは、前記リフレーミングウィンドウの中心の位置と、そのサイズとを定義し、
(付記5)
前記マクロブロック符号化効率費用マップが与えられ、
前記特徴マップの現在の内容から得られる前記候補となるリフレーミングウィンドウのアスペクト比が前記原ビデオ信号のアスペクト比と異なる場は、前記候補となるリフレーミングウィンドウは、前記原ビデオ信号のアスペクト比を達成するように垂直方向又は水平方向において相応して拡大され、該拡大の方向は、現在の候補となるリフレーミングウィンドウについて、現在のマクロブロック符号化効率費用マップから導出されるマクロブロック符号化費用が低減されるように、実行される、
付記1、3及び4のうちいずれか一項に記載の方法、又は付記2乃至4のうちいずれか一項に記載の装置。
(付記6)
前記特徴マップは、符号化費用がかかるマクロブロックが、適用される最終の特徴マップにおいて対応する特徴値を下げるように、前記マクロブロック符号化効率費用マップをマージされる、
付記1及び3乃至5のうちいずれか一項に記載の方法、又は付記2乃至5のうちいずれか一項に記載の装置。
(付記7)
前記エンコーディングはH.264/AVCエンコーディングである、付記1及び3乃至6のうちいずれか一項に記載の方法、又は
前記エンコーディングする手段はH.264/AVCエンコーディング手段である、付記2乃至6のうちいずれか一項に記載の装置。
(付記8)
前記リフレーミングは、エンコーディングループ内に含まれるが、全ピクチャがエンコーディングされ、
SEIメッセージが、使用されるリフレーミングウィンドウをデコーダへ知らせるために使用される、
付記7に記載の方法、又は付記7に記載の装置。
(付記9)
前記リフレーミングウィンドウは、マクロブロック境界に整列される、
付記1及び3乃至8のうちいずれか一項に記載の方法、又は付記2乃至8のうちいずれか一項に記載の装置。
(付記10)
前記エンコーディングの前に付記1及び3乃至9のうちいずれか一項に記載の方法に従ってリフレーミングされた、エンコーディングされたデジタルビデオ信号。
Claims (16)
- 原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う方法であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算するステップと、
前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するステップと、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択するステップと、
前記特徴マップ及び前記マクロブロック符号化効率費用マップを組み合わせて用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び/又はサイズを決定するステップと、
対応するリフレーミングされたビデオ信号をエンコーディングするステップと
を有する方法。 - カルマンフィルタが、時間に対する前記特徴マップの内容の変化による前記リフレーミングウィンドウの位置及びサイズの変化を制御するために使用される、
請求項1に記載の方法。 - 前記マクロブロック符号化効率費用マップが与えられ、
前記特徴マップの現在の内容から得られる前記候補となるリフレーミングウィンドウのアスペクト比が前記原ビデオ信号のアスペクト比と異なる場合は、前記候補となるリフレーミングウィンドウは、前記原ビデオ信号のアスペクト比を達成するように垂直方向又は水平方向において相応して拡大され、該拡大の方向は、現在の候補となるリフレーミングウィンドウについて、現在のマクロブロック符号化効率費用マップから導出されるマクロブロック符号化費用が低減されるように、実行される、
請求項1乃至3のうちいずれか一項に記載の方法。 - 前記特徴マップは、符号化費用がかかるマクロブロックが、適用される最終の特徴マップにおいて対応する特徴値を下げるように、前記マクロブロック符号化効率費用マップをマージされる、
請求項1乃至4のうちいずれか一項に記載の方法。 - 前記エンコーディングはH.264/AVCエンコーディングである、請求項1乃至5のうちいずれか一項に記載の方法。
- 前記リフレーミングは、エンコーディングループ内に含まれるが、全ピクチャがエンコーディングされ、
SEIメッセージが、使用されるリフレーミングウィンドウをデコーダへ知らせるために使用される、
請求項6に記載の方法。 - 前記リフレーミングウィンドウは、マクロブロック境界に整列される、
請求項1乃至7のうちいずれか一項に記載の方法。 - 原ビデオ信号をリフレーミングした後に、該リフレーミングされたビデオ信号のエンコーディングを行う装置であって、
前記原ビデオ信号の現在のピクチャについて、ユーザアテンションマップを表す特徴マップを計算し、前記原ビデオ信号の前記現在のピクチャについて、マクロブロック符号化効率費用マップを提供するよう構成される手段と、
前記原ビデオ信号の前記現在のピクチャ内で、候補となるリフレーミングウィンドウのサイズ及び位置を選択し、前記特徴マップ及び前記マクロブロック符号化効率費用マップを組み合わせて用いることによって、前記原ビデオ信号において、前記リフレーミングされたビデオ信号のための符号化費用が前記候補となるリフレーミングウィンドウのサイズ及び位置のための符号化費用よりも小さくなる前記リフレーミングウィンドウの異なる位置及び/又はサイズを決定するよう構成される手段と、
対応するリフレーミングされたビデオ信号をエンコーディングするエンコーディング手段と
を有する装置。 - カルマンフィルタが、時間に対する前記特徴マップの内容の変化による前記リフレーミングウィンドウの位置及びサイズの変化を制御するために使用される、
請求項9に記載の装置。 - 前記マクロブロック符号化効率費用マップが与えられ、
前記特徴マップの現在の内容から得られる前記候補となるリフレーミングウィンドウのアスペクト比が前記原ビデオ信号のアスペクト比と異なる場合は、前記候補となるリフレーミングウィンドウは、前記原ビデオ信号のアスペクト比を達成するように垂直方向又は水平方向において相応して拡大され、該拡大の方向は、現在の候補となるリフレーミングウィンドウについて、現在のマクロブロック符号化効率費用マップから導出されるマクロブロック符号化費用が低減されるように、実行される、
請求項9乃至11のうちいずれか一項に記載の装置。 - 前記特徴マップは、符号化費用がかかるマクロブロックが、適用される最終の特徴マップにおいて対応する特徴値を下げるように、前記マクロブロック符号化効率費用マップをマージされる、
請求項9乃至12のうちいずれか一項に記載の装置。 - 前記エンコーディングする手段はH.264/AVCエンコーディング手段である、請求項9乃至13のうちいずれか一項に記載の装置。
- 前記リフレーミングは、エンコーディングループ内に含まれるが、全ピクチャがエンコーディングされ、
SEIメッセージが、使用されるリフレーミングウィンドウをデコーダへ知らせるために使用される、
請求項14に記載の装置。 - 前記リフレーミングウィンドウは、マクロブロック境界に整列される、
請求項9乃至15のうちいずれか一項に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP11305937A EP2549754A1 (en) | 2011-07-19 | 2011-07-19 | Method and apparatus for reframing and encoding an original video signal |
EP11305937.2 | 2011-07-19 | ||
PCT/EP2012/062196 WO2013010751A1 (en) | 2011-07-19 | 2012-06-25 | Method and apparatus for reframing and encoding a video signal |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014521272A JP2014521272A (ja) | 2014-08-25 |
JP2014521272A5 JP2014521272A5 (ja) | 2015-08-13 |
JP5974089B2 true JP5974089B2 (ja) | 2016-08-23 |
Family
ID=46397235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014520583A Active JP5974089B2 (ja) | 2011-07-19 | 2012-06-25 | ビデオ信号のリフレーミング及びエンコーディングのための方法及び装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9641795B2 (ja) |
EP (2) | EP2549754A1 (ja) |
JP (1) | JP5974089B2 (ja) |
KR (1) | KR20140042860A (ja) |
CN (1) | CN103688538B (ja) |
WO (1) | WO2013010751A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2582134A1 (en) * | 2011-10-12 | 2013-04-17 | Thomson Licensing | Saliency value determination of predictively encoded video streams |
EP2680219A1 (en) * | 2012-06-29 | 2014-01-01 | Thomson Licensing | Method for reframing images of a video sequence, and apparatus for reframing images of a video sequence |
US9626584B2 (en) * | 2014-10-09 | 2017-04-18 | Adobe Systems Incorporated | Image cropping suggestion using multiple saliency maps |
US20160234522A1 (en) * | 2015-02-05 | 2016-08-11 | Microsoft Technology Licensing, Llc | Video Decoding |
US10771815B2 (en) * | 2015-09-29 | 2020-09-08 | Lg Electronics Inc. | Method and apparatus for processing video signals using coefficient induced prediction |
CN106934397B (zh) * | 2017-03-13 | 2020-09-01 | 北京市商汤科技开发有限公司 | 图像处理方法、装置及电子设备 |
KR102340942B1 (ko) * | 2017-11-17 | 2021-12-17 | 엘지디스플레이 주식회사 | 영상 처리 방법 및 이를 이용한 표시장치 |
US11425412B1 (en) * | 2020-11-10 | 2022-08-23 | Amazon Technologies, Inc. | Motion cues for video encoding |
CN113411582A (zh) * | 2021-05-10 | 2021-09-17 | 华南理工大学 | 一种基于活动轮廓的视频编码方法、系统、装置及介质 |
CN116033180A (zh) * | 2021-10-25 | 2023-04-28 | 中兴通讯股份有限公司 | 视频处理方法、电子设备及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6654507B2 (en) * | 2000-12-14 | 2003-11-25 | Eastman Kodak Company | Automatically producing an image of a portion of a photographic image |
GB2370438A (en) * | 2000-12-22 | 2002-06-26 | Hewlett Packard Co | Automated image cropping using selected compositional rules. |
US7171058B2 (en) * | 2003-07-31 | 2007-01-30 | Eastman Kodak Company | Method and computer program product for producing an image of a desired aspect ratio |
US20070230565A1 (en) * | 2004-06-18 | 2007-10-04 | Tourapis Alexandros M | Method and Apparatus for Video Encoding Optimization |
EP1679659A1 (en) * | 2005-01-06 | 2006-07-12 | Thomson Licensing | Method and device for selecting quantization parameters in a picture using side information |
DE602006017812D1 (de) * | 2005-03-17 | 2010-12-09 | British Telecomm | Verfahren zur verfolgung von objekten in einer videosequenz |
TW200719281A (en) * | 2005-07-28 | 2007-05-16 | Thomson Licensing | Method and device for generating a sequence of images of reduced size |
FR2889381A1 (fr) * | 2005-07-28 | 2007-02-02 | Thomson Licensing Sas | Procede et dispositif de determination de parametres de quantification dans une image |
EP1748385A3 (en) | 2005-07-28 | 2009-12-09 | THOMSON Licensing | Method and device for generating a sequence of images of reduced size |
WO2007093780A2 (en) | 2006-02-13 | 2007-08-23 | Snell & Wilcox Limited | Method and apparatus for modifying a moving image sequence |
FR2912237A1 (fr) * | 2007-02-07 | 2008-08-08 | Thomson Licensing Sas | Procede de traitement d'image |
US8160150B2 (en) * | 2007-04-10 | 2012-04-17 | Texas Instruments Incorporated | Method and system for rate distortion optimization |
WO2009024966A2 (en) | 2007-08-21 | 2009-02-26 | Closevu Ltd. | Method for adapting media for viewing on small display screens |
EP2071511A1 (en) * | 2007-12-13 | 2009-06-17 | Thomson Licensing | Method and device for generating a sequence of images of reduced size |
WO2009115101A1 (en) | 2008-03-20 | 2009-09-24 | Institut für Rundfunktechnik GmbH | A method of adapting video images to small screen sizes |
CN101620731B (zh) | 2008-06-30 | 2013-10-16 | 汤姆森许可贸易公司 | 检测布局区域的方法以及生成尺寸减小的图像的方法 |
US9025933B2 (en) * | 2010-02-12 | 2015-05-05 | Sony Corporation | Information processing device, information processing method, playback device, playback method, program and recording medium |
US8891009B2 (en) * | 2011-08-29 | 2014-11-18 | Futurewei Technologies, Inc. | System and method for retargeting video sequences |
-
2011
- 2011-07-19 EP EP11305937A patent/EP2549754A1/en not_active Withdrawn
-
2012
- 2012-06-25 EP EP12730496.2A patent/EP2735146A1/en not_active Withdrawn
- 2012-06-25 JP JP2014520583A patent/JP5974089B2/ja active Active
- 2012-06-25 CN CN201280035550.6A patent/CN103688538B/zh active Active
- 2012-06-25 US US14/233,556 patent/US9641795B2/en active Active
- 2012-06-25 KR KR1020147001126A patent/KR20140042860A/ko active IP Right Grant
- 2012-06-25 WO PCT/EP2012/062196 patent/WO2013010751A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20140042860A (ko) | 2014-04-07 |
CN103688538A (zh) | 2014-03-26 |
EP2735146A1 (en) | 2014-05-28 |
US9641795B2 (en) | 2017-05-02 |
CN103688538B (zh) | 2017-05-31 |
US20140153651A1 (en) | 2014-06-05 |
EP2549754A1 (en) | 2013-01-23 |
WO2013010751A8 (en) | 2013-08-15 |
WO2013010751A1 (en) | 2013-01-24 |
JP2014521272A (ja) | 2014-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5974089B2 (ja) | ビデオ信号のリフレーミング及びエンコーディングのための方法及び装置 | |
Li et al. | A deep learning approach for multi-frame in-loop filter of HEVC | |
US10977809B2 (en) | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings | |
CN110741640B (zh) | 用于视频代码化中的运动补偿预测的光流估计 | |
US10091500B2 (en) | Video coding method using at least evaluated visual quality and related video coding apparatus | |
EP3029937B1 (en) | Method and encoder for video encoding of a sequence of frames | |
US20160080769A1 (en) | Encoding system using motion estimation and encoding method using motion estimation | |
JP2014521272A5 (ja) | ||
US9838604B2 (en) | Method and system for stabilizing video frames | |
JP2017537403A (ja) | 超解像画像を生成するための方法、装置およびコンピュータ・プログラム・プロダクト | |
KR20220162786A (ko) | 비디오 코딩에서 심층 신경 네트워크 기반 인터프레임 예측을 위한 방법 및 장치 | |
JP2015095764A (ja) | 符号化装置および符号化方法 | |
EP3777174A1 (en) | Template based adaptive weighted bi-prediction for video coding | |
JP2004015501A (ja) | 動画像符号化装置および動画像符号化方法 | |
JP2008301336A (ja) | 画像処理装置、画像符号化装置及び画像復号化装置 | |
JP2007228519A (ja) | 画像符号化装置及び画像符号化方法 | |
JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
CN114745551A (zh) | 处理视频帧图像的方法及电子设备 | |
Kamath et al. | Gradient-oriented directional predictor for HEVC planar and angular intra prediction modes to enhance lossless compression | |
JP2017225199A (ja) | 映像符号化装置及び映像符号化プログラム | |
JP2007067694A (ja) | 画像符号化装置、カメラ、携帯端末機器および画像符号化方法 | |
JP2004064518A (ja) | 動画像符号化方法、動画像符号化装置、およびコンピュータプログラム | |
JP2007013398A (ja) | ポストフィルタ、ポストフィルタリングプログラムおよび電子情報機器 | |
JP2004350030A (ja) | テロップ合成装置、テロップ合成方法及びテロップ合成プログラム | |
JP6291971B2 (ja) | 符号化装置、符号化方法及び符号化プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150624 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160715 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5974089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |