JP5419897B2 - 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 - Google Patents
空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 Download PDFInfo
- Publication number
- JP5419897B2 JP5419897B2 JP2010545258A JP2010545258A JP5419897B2 JP 5419897 B2 JP5419897 B2 JP 5419897B2 JP 2010545258 A JP2010545258 A JP 2010545258A JP 2010545258 A JP2010545258 A JP 2010545258A JP 5419897 B2 JP5419897 B2 JP 5419897B2
- Authority
- JP
- Japan
- Prior art keywords
- subframe
- frame
- transform
- spatial
- coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 174
- 230000002123 temporal effect Effects 0.000 title claims description 22
- 230000009467 reduction Effects 0.000 title description 8
- 238000000034 method Methods 0.000 claims description 123
- 239000013598 vector Substances 0.000 claims description 54
- 230000003044 adaptive effect Effects 0.000 claims description 39
- 230000009466 transformation Effects 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000000873 masking effect Effects 0.000 claims description 2
- 230000002441 reversible effect Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 10
- 230000008569 process Effects 0.000 description 53
- 238000006243 chemical reaction Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000005457 optimization Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 230000006978 adaptation Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000002922 simulated annealing Methods 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/147—Discrete orthonormal transforms, e.g. discrete cosine transform, discrete sine transform, and variations therefrom, e.g. modified discrete cosine transform, integer transforms approximating the discrete cosine transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
- G06F17/145—Square transforms, e.g. Hadamard, Walsh, Haar, Hough, Slant transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
- H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20052—Discrete cosine transform [DCT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Discrete Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Complex Calculations (AREA)
- Picture Signal Circuits (AREA)
Description
[0014]図1Aに、入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す。図1Aを参照すると、雑音ちらつき低減ブロック101が、入力ビデオ100を受け取る。入力ビデオ100は、雑音及びちらつきの少なくとも一方を含む。雑音ちらつき低減ブロック101はまた、本明細書でOPと呼ぶオプショナルパラメータのベクトルと、しきい値パラメータ
も受け取る。これらの入力に応答して、雑音ちらつき低減ブロック101は、雑音及びちらつきが低減された出力ビデオ102を生成する。
は、本明細書に述べる技法を使用した後で出力される過去フレームを示し、
は、画像処理プロセスによって使用されるしきい値パラメータを示す。さらに、他のオプショナルパラメータを含む、OPで示されるベクトルを供給することができる。ユーザ又はアルゴリズムは、主観的/客観的品質の最適化を使用して、又はモデルベースの技法を使用して、又は他の方法を使用して、最も望ましいパラメータを決定することができる。較正アルゴリズムを使用することもできる。このようなアルゴリズムはまた、ビデオ処理パイプラインと入力ビデオのいずれか又は両方に関する部分的/完全な知識を利用することができる。一実施形態では、ピクセルをラスタ走査順に構成することによって全てのビデオフレームがベクトルで表され、Nは各ビデオフレーム中のピクセルの数を表す。
として形成され、ここで、
は、全ての要素が1に等しいM2×1ベクトルである。一実施形態では、選択されないピクセルの場合、piは0のベクトルである。選択されたピクセルのセットは、所定とすることもでき、或いはベクトルOP内で信号伝達することもできる。この実施形態では、画像中の各ピクセルにつき、サブフレームが形成され処理される。すなわち、選択されたピクセルのセットは、フレーム中のピクセルのセット全体である。しかし、別の実施形態では、画像中の全てのピクセルに対してではなく、ピクセルの選択されたサブセットのみに対して処理が実施されてもよい。サブセットは、所定とすることもでき、或いはサイド情報の一部として信号伝達することもできる。図13に、このようなサブセットの例を示す。本明細書に述べる教示により他のサブセットを使用してもよい。サブフレームと呼ばれるM2×1ベクトルziが、piの要素に対応する位置におけるフレームxのピクセル値を用いて形成される。ピクセルiは、サブフレームziに対するピボットと呼ばれる。図4に、ピクセルにラスタ走査順に番号が付けられたときの、ピクセルiにおける例示的なサブフレームziを示す。図4を参照すると、ピクセルのラスタ走査順序付けは、この順序で「1」からピクセルに番号を付けることによって行われる。サブフレームがピクセルiでピボットされるのが示されている。サブフレームは、ワープ行と呼ばれるM個のベクトルに編成される。第1のワープ行は、この順序でサブフレーム要素1〜Mを有し、第2のワープ行は、要素(M+1)〜2Mを有し、以下同様である。
が形成され、ここで、miは整数であり、
は、全ての要素が1に等しいM2×1ベクトルである。処理ロジックはまた、
の要素に対応する位置における過去の出力フレーム
のピクセル値を用いて、
(やはりサブフレームである)で示されるM2×1ベクトルも形成する(処理ブロック203)。
ii.全ての可能な値から、ziと
との間のp−ノルム(p≧0)である
が最小限になるようなmiを選択する。
の幅であり、jh,jv∈{−J,−(J−1),...,−1,0,1,...,J−1,J}である。Jは、0以上の任意の整数である。一実施形態では、オプション「iii」が使用されるときは、Jの値は2に設定され、2−ノルムが使用される。
の幅であり、kh,kvは、セット{−K,−(K−1),...,−1,0,1,...,K−1,K}からのランダム生成された値である。Kは、0以上の任意の整数である。
が処理されて、例えば輝度変化や場面フェードなどの問題が補償された後で、サブフレーム
が形成される。
を計算する(処理ブロック601)。
[0033]次に、処理ロジックは、
を使用して、フレーム
からサブフレーム
を形成する(処理ブロック602)。次いで処理ロジックは、各jにつき、p−ノルム
を計算する(処理ブロック603)。
に従って
を設定し、
を使用してサブフレーム
を形成する(処理ブロック604)。
[0035]図2の処理ブロック204の一部として、処理ロジックはまた、空間変換の選択及び適用を実施する。より具体的には、処理ロジックは、ピクセル適応ワープ空間変換Hiを使用して、サブフレームzi及び
を、ei及び
にそれぞれ変換する。この変換は「ワープ」と呼ばれる。その理由は、変換基底のサポートが、サブフレーム形状に合致するようにワープしたからである。この変換はピクセル適応と呼ばれる。その理由は、サブフレームタイプの選択がピクセルごとに異なることに加えて、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。変換Hiは、分離DCT、非分離DCT、2次元ガボールウェーブレット、ステアラブル(Steerable)ピラミッド、2次元有向ウェーブレット、カーブレット(Curvelet)、及びコンタレット(Contourlet)などの、変換のライブラリから選択することができる。一実施形態では、使用される空間変換は、非適応方式の正規直交分離2次元DCTである。別の実施形態では、使用される空間変換は、非適応方式の正規直交分離2次元アダマール変換である。
よりも大きいei中の係数の数が最も少ない変換である。
に適用することによって変換係数
を生成する(処理ブロック702)。
ej=Hj×zi
を使用して変換係数ejを計算する(処理ブロック703)。変換係数ejは、変換Hjに対応する。
よりも大きいej中の係数の数をカウントし(処理ブロック705)、最少カウントの変換Hkを変換のライブラリから選択し、変換Hiを、最少カウントに対応する変換(Hk)に等しく設定し、次いで、係数eiを変換係数ekに等しく設定し、変換Hiをサブフレーム
に適用することによって変換係数
を生成する(処理ブロック706)。
[0042]図2の処理ブロック204の一部として、処理ロジックはまた、しきい値処理を実施する。より具体的には、処理ロジックは、eiの選択された要素に適応しきい値
を適用してaiを得る。一実施形態では、eiの全ての要素が選択される。別の実施形態では、第1の要素(通常はDC要素)を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数eiはまた、マスタしきい値
を使用してしきい値処理されて、
が得られる。しきい値処理操作は、例えばハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。ハードしきい値処理操作は、
として定義され、ここで、Tは、使用されるしきい値である。同様に、Tをしきい値とするソフトしきい値処理操作は、以下のように定義される。
代替実施形態では、しきい値
が、以下の方法のうちの1つで計算される。
ここで、f( )は関数を表す。
ここで、f( )は関数を表す。
関数f( )は、図11に示すような単調減少階段関数である。一実施形態では、関数のステップ位置(f1,f2,...,fn及びE1,E2,...,En)が訓練セットに対して調整されて、再構築画像/ビデオ品質における局所最適が達成される。一実施形態では、このしきい値計算は、ハードしきい値処理で使用される。
(6)
の可能な値に対して探索を実施して、
であるようなai中の0でない要素の数を最小限にする。Elocalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)
の可能な値に対してジョイント探索を実施して、
であるような、全てのk∈{1,2,...,N}にわたって合計されたak中の0でない要素の総数を最小限にする。Eglobalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
の値は、ベクトルOP内で信号伝達することができる。別の実施形態では、
を計算するのに使用されるオプションの選択を、ベクトルOP内で信号伝達することができる。
の選択された要素に適応しきい値
が適用されて、
が得られる。一実施形態では、
の全ての要素が選択される。別の実施形態では、第1の要素(通常はDC要素)を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数
はまた、マスタしきい値
を使用してしきい値処理されて、
が得られる。しきい値処理操作は、前述のハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。
は、以下の方法のうちの1つで計算される。
ここで、f( )は関数を表す。
ここで、f( )は関数を表す。
関数f( )は、図11に示すような単調減少階段関数である。関数のステップ位置(f1,f2,...,fn及びE1,E2,...,En)が訓練セットに対して調整されて、局所最適が達成される。一実施形態では、このしきい値計算が使用され、ハードしきい値処理がしきい値処理操作に使用される。
(6)
の可能な値に対して探索を実施して、
であるような
中の0でない要素の数を最小限にする。Elocalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)
の可能な値に対してジョイント探索を実施して、
であるような、全てのk∈{1,2,...,N}にわたって合計された
中の0でない要素の総数を最小限にする。Eglobalはサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像/ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
の値は、ベクトルOP内で信号伝達される。別の実施形態では、
を計算するのに使用されるオプションの選択が、ベクトルOP内で信号伝達される。
[0045]処理ブロック205で、処理ロジックは、しきい値処理の結果、すなわちベクトルai及び
を使用して、M2×2行列
を形成する。本明細書において、関数h( )は、輝度変化に合致するための、
の全ての要素の恒等関数若しくは単純な線形スケーリング、又は、フェードなどのより複雑な場面特性を取り込むためのより一般的な関数とすることができる。処理ロジックは、ピクセル適応時間変換Giを使用して、
をbiに変換する。
変換Giは、変換のライブラリから選択することができる。変換は、ピクセル適応と呼ばれる。その理由は、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。適応の場合、選択される変換は、絶対値がマスタしきい値
よりも大きいbi中の係数の数が最も少ない変換である。
に適用することによって変換係数biを生成する(処理ブロック802)。一実施形態では、使用されるデフォルト時間変換はハール変換、すなわち
である。時間変換の選択は、ベクトルOP内で信号伝達することができる。
を使用して変換係数bjを計算する(処理ブロック803)。
よりも大きいbj中の係数の数をカウントし(処理ブロック805)、次いで、最少カウントの変換Gkを変換のライブラリから選択し、変換Giを、最少カウントに対応する変換(Gk)に等しく設定し、次いで、係数biを変換係数bkに等しく設定する(処理ブロック806)。
[0050]変換係数biを生成した後、
を使用して変換係数biがしきい値処理されて、ciが得られる(図2の処理ブロック206)。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。しきい値処理の選択は、ベクトルOP内で信号伝達することができる。
及び係数biを入力として使用して、処理ロジックが、各要素bij∈biにつき、以下の式
に従って対応する要素cij∈ciを計算することによって開始する(処理ブロック901)。このようにして、処理ロジックは、絶対値がマスタしきい値
よりも小さい全ての係数を0に設定し、これらの係数はciとして記憶される。
[0055]しきい値処理の後、処理ロジックは、
を使用して係数を逆変換して(時間変換により)、
を得る(処理ブロック207)。処理ロジックはまた、diに逆変換(空間)
を適用して、処理済みサブフレーム
を得る(処理ブロック208)。
及び、行列
は計算されない。ベクトルdiは、di=aiとして得られ、diに逆変換(空間)
が適用されて、処理済みサブフレーム
が得られる。
を使用するのではなく、画像処理の結果として出力された過去フレームのセット
を使用することができる。NPFが、セット中の過去フレームの数を示すものとする。この場合、セット中の各過去フレームは、前述と同様にして、
の1つの列に貢献する。出力フレーム
は、
の形で第2の列に貢献し、出力フレーム
は、
の形で第3の列に貢献し、以下同様である。一実施形態では、
、bi、ci、及びdiは、サイズM2×(NPF+1)であり、Giは、サイズ(NPF+1)×(NPF+1)である。
[0058]しきい値処理された係数に逆変換を適用した後、全ての処理済みサブフレームが重み付き方式で結合されて、フレームyが形成される。一実施形態では、各処理済みサブフレーム
につき、重みwiが計算される。代替実施形態では、ei及びaiに基づく重みが、以下の方法のうちの1つで計算される。
(1) wi=1
(2) wi=f(ei,ai) ここで、f( )は関数を表す。
(3) MSEオプション1:
ここで、eminは定数である。
(4) L−pノルム(p≧0)オプション1:
ここで、nminは定数である。
(5) 調整重みオプション1:
ここで、ft( )は、セット{1,2,...,M2}(
の可能な値のセット)から[0,1]へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してft( )が調整されて、訓練ビデオのセットに対する最良の性能(PSNRなどのメトリクスを使用して、又は主観的スコアを使用して測定される)が得られる。
(6) 他の実施形態では、bi及びciに基づく重み付けのための重みを、以下の方法のうちの1つで計算することができる。
(7) wi=f(bi,ci) ここで、f( )は関数を表す。
(8) MSEオプション2:
ここで、eminは定数である。
(9) L−pノルム(p≧0)オプション2:
ここで、nminは定数である。
(10) 調整重みオプション2:
ここで、ft( )は、セット{1,2,...,2M2}(
の可能な値のセット)から[0,1]へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してft( )が調整されて、訓練ビデオのセットに対する最良の性能(PSNRなどのメトリクスを使用して、又は主観的スコアを使用して測定される)が得られる。
(全てのピクセルに対応する)が共に結合されてyが形成される。このプロセスの一実施形態を、j番目のピクセルの値であるyjについて述べる。
1.yj=0及びnj=0に設定する。ここで、njは、j番目のピクセルに対する正規化係数である。
2.各処理済みサブフレーム
につき、
a.ピクセルjがpiの一部である場合、
i)k=pi中のピクセルjのインデックス
ii)
ここで、
は、処理済みサブフレーム
中のピクセルjの値である。
iii)nj=nj+wi
3.
中のピクセルjの値である
を使用して、且つ前述のように重みwiを使用して、yj及びnjを更新する。一実施形態では、重みは、以下に従って計算される。
[0064]処理ブロック1004で、kは、pi中のピクセルjのインデックスに等しい。一実施形態では、処理ロジックは、以下の式に基づいてyj及びnjを更新する。
nj=nj+wi
処理ロジックがyj及びnjを更新した後、プロセスは処理ブロック1005に移行する。
[0067]yjを更新した後、処理ロジックは、インデックスiを1に等しく設定し(処理ブロック1008)、インデックスjがNに等しいかどうかチェックする(処理ブロック1009)。そうである場合は、プロセスは終了する。そうでない場合は、プロセスは処理ブロック1010に移行し、インデックスjが1つインクリメントされる。インデックスjを1つインクリメントした後、プロセスは処理ブロック1003に移行する。
にコピーし、図2に示すようにプロセスを繰り返す(処理ブロック212)。
が形成される。代替実施形態では、以下の方法のうちの1つで向上因子α(i,j)を計算することができる。
b.α(i,j)=α0*iβ*jδ+α1
ここで、パラメータ(α0、α1、β、及びδ)は訓練セットに対して調整されて、再構築画像/ビデオ品質における局所最適が達成される。一実施形態では、これらのパラメータはベクトルOP内で信号伝達することができる。上記操作は、図2の処理ブロック210の後に行われることに留意されたい。向上P×Pブロックは、逆変換され結合されて、フレームyの向上バージョンが形成される。
[0070]代替の一実施形態では、図2に述べたプロセスを修正して、より複雑度の低いアルゴリズムを得ることができ、以下、このアルゴリズムを低複雑度(lower−complexity)技法と呼ぶ。図12に、低複雑度技法をフローチャートによって示す。この実施形態では、フレームyは、現在の入力フレームxに対応する低複雑度技法の出力であり、処理すべきフレームがまだある場合は、現在の入力フレームxを更新し、yを
にコピーし、図12に示すようにプロセスを繰り返す。
であるように、現在の入力フレームx及び過去の出力フレーム
を使用してフレーム
を形成することによって開始し、ここで、wz、wyは実数であり、mは整数である(処理ブロック1201)。本明細書において、表記(j)は、当該フレーム中のピクセルj(ラスタ走査順に番号が付けられた)の値を示す。例えば、
は、フレーム
の5番目のピクセルの値を表す。一実施形態では、wz=0.5であり、wy=0.5である。一実施形態では、値wz及びwyはベクトルOP内で信号伝達される。
i) m=0
ii) 全ての可能な値から、
のp−ノルム(p≧0)である
が最小限になるようなmを選択する。
iii) 上記「ii」に基づいてmを選択するが、探索セットを{j:j=jh+W×jv}に制限する。ここで、Wはフレームxの幅であり、jh、jv∈{−J,−(J−1),...,−1,0,1,...,J−1,J}である。Jは、0以上の任意の整数である。
の代わりに、
の処理済みバージョンを使用して輝度変化や場面フェードなどの問題が補償されて、フレーム
が形成される。この場合、処理は、強度補償及び非線形予測フィルタなどの技法を含むが、これらに限定されない。
のピクセル値を用いて、
で示されるM2×1ベクトル(やはりサブフレームである)が形成される(処理ブロック1202)。
に適用して、ベクトルei及び
をそれぞれ得る(処理ブロック1203)。
から適応しきい値
を計算し、eiの選択された要素に適応しきい値
を適用してaiを得る(処理ブロック1203)。一実施形態では、eiの全ての要素が選択される。別の実施形態では、第1の要素(通常はDC要素)を除いた全ての要素が選択される。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。
を適用した後、処理ロジックは、ai、ei、
を使用して、且つ、しきい値
を使用して、ベクトルdiを形成する(処理ブロック1204)。aij、eij、
、及びdijが、それぞれベクトルai、ei、
及びdi中のj番目の要素を表すものとし、ここで、j∈{1,2,...,M2}である。代替実施形態では、値dijは、以下の方法のうちの1つで計算される。
一実施形態では、dijを計算するのに使用されるオプションの選択が、ベクトルOP内で信号伝達される。
を生成し(処理ブロック1205)、処理ブロックの残り1206、1207、1208、及び1209は、図2中のそれぞれの相当ブロック209、210、211、及び212として作用して、プロセスは完了する。
[0083]図14は、本明細書に述べた操作の1つ又は複数を実施することのできる例示的なコンピュータシステムのブロック図である。図14を参照すると、コンピュータシステム1400は、例示的なクライアント又はサーバコンピュータシステムを含むことができる。コンピュータシステム1400は、情報を通信するための通信機構又はバス1411と、情報を処理するための、バス1411に結合されたプロセッサ1412とを備える。プロセッサ1412は、マイクロプロセッサに限定されないが、例えばペンティアム(登録商標)(Pentium(登録商標))、パワーPC(登録商標)(PowerPC(登録商標))、アルファ(登録商標)(Alpha(登録商標))などのマイクロプロセッサを含む。
Claims (29)
- 入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための前記操作を実施するステップは、
サブフレームごとの空間変換を使用して現在フレーム及び過去フレームのサブフレームを変換するサブステップと、
各変換済みサブフレームに対する空間変換係数を適応しきい値によってしきい値処理するサブステップと、
時間変換を使用して、しきい値処理された空間変換済み係数を変換するサブステップと、
各変換済みサブフレームに対する時間変換係数をしきい値によってしきい値処理して、しきい値処理された時間変換済み係数を生み出すサブステップと、
前記しきい値処理された時間変換係数を逆変換して、ピクセル領域における処理済みサブフレームを形成するサブステップと、
前記処理済みサブフレームを結合して、新しいフレームを生み出すサブステップと、
を含む方法。 - 前記空間変換がワープ変換である、請求項1に記載の方法。
- 各変換済みサブフレームに対する空間変換係数を適応しきい値によってしきい値処理する前記サブステップは、
第1のしきい値を使用して、前記現在フレームの前記サブフレームから生成された係数に対するしきい値処理を実施すること、及び、
第2のしきい値を使用して、前記過去フレームの前記サブフレームから生成された係数に対するしきい値処理を実施することを含み、
前記第2のしきい値は、前記第1のしきい値から独立して計算される、請求項1に記載の方法。 - 前記方法は、1つ又は複数の適応しきい値を計算するステップをさらに含み、
各変換済みサブフレームに対する変換係数を適応しきい値によってしきい値処理する前記サブステップは、前記1つ又は複数の適応しきい値のうちの1つによって、各変換済みサブフレームに対する変換係数をしきい値処理することを含む、請求項1に記載の方法。 - 前記方法は、
前記新しいフレームに少なくとも1つの順方向変換を適用して、前記新しいフレームのデータを変換領域における係数に変換するステップと、
前記係数に対して少なくとも1つのデータ処理を実施するステップと、
データ処理後の前記係数に対して少なくとも1つの逆変換を適用するステップと、
をさらに含む、請求項1に記載の方法。 - 前記少なくとも1つのデータ処理は、
前記係数に対しアンシャープマスキングを施すことと、前記係数に向上因子を適用することと、からなるグループの1つ又は複数を含む、請求項5に記載の方法。 - 入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
前記操作は、
入力ビデオの現在フレームから幾つかのピクセルにおけるサブフレームを選択し、出力ビデオの過去フレームから別のサブフレームを見つけること、
ワープ空間変換を選択し、前記サブフレームを空間変換領域に変換すること、
適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理すること、
しきい値処理された空間変換係数に時間変換を適用し、時間変換係数の選択されたサブセットをしきい値処理すること、
時間変換係数を、まず時間的に逆変換し、次いで空間的に逆変換して、処理済みサブフレームを得ること、並びに、
現在フレームに属するサブフレームであって以前に処理されたサブフレームと、前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すこと、
を含む方法。 - 前記ワープ空間変換がピクセル適応性であり、前記適応しきい値がディテール保存性である、請求項7に記載の方法。
- 前記過去フレームの前記サブフレームは、基準を満たすことに基づいて、突き止められる、請求項7に記載の方法。
- 前記基準は、
前記ピクセルの数と、
前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のp−ノルムの全ての値のうちの最小値と、
前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のp−ノルムの、前記過去フレームの幅と垂直及び水平オフセットとによって限定される範囲内の値のうちの最小値と、
前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のp−ノルムの、前記過去フレームの幅とランダムに選択された水平及び垂直オフセットとによって限定される範囲内の値のうちの最小値と、
からなるグループ、のうちの1つに基づく、請求項9に記載の方法。 - 適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理することは、
変換係数の大きさがしきい値未満の場合は係数が0に設定されるハードしきい値処理を使用することを含む、請求項7に記載の方法。 - 適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理することは、ソフトしきい値処理を使用することを含む、請求項7に記載の方法。
- 前記方法は、
前記入力ビデオからの別のフレームに最もよく合致する、前記出力ビデオの出力ビデオフレームを選択するステップと、
前記出力ビデオフレームを前記過去フレームとして使用して前記操作を実施するステップと、
をさらに含む、請求項7に記載の方法。 - 前記方法は、
前記サブフレームがあらゆるピクセルにおいて規則的であるように当該サブフレームを設定するステップ、をさらに含む、請求項7に記載の方法。 - 前記方法は、
変換をサブフレームごとに適応的に選択するステップ、をさらに含む、請求項7に記載の方法。 - 前記方法は、
サブフレームを各ピクセルにおいて適応的に選択するステップ、をさらに含む、請求項7に記載の方法。 - 前記方法は、
1つ又は複数の適応しきい値を計算するステップをさらに含み、
各変換済みサブフレームに対する変換係数を適応しきい値によってしきい値処理することは、前記1つ又は複数の適応しきい値のうちの1つによって、各変換済みサブフレームに対する変換係数をしきい値処理することを含む、請求項7に記載の方法。 - 前記方法は、
各ピクセルにおいて選択されたサブフレームに対して前記変換を適応的に選択するステップ、をさらに含む、請求項17に記載の方法。 - 前記方法は、
操作パラメータのベクトルを送るステップ、をさらに含む、請求項7に記載の方法。 - しきい値処理された空間変換係数に時間変換を適用し、時間変換係数の選択されたサブセットをしきい値処理することは、
前記現在フレーム及び前記過去フレームからの前記サブフレームのしきい値処理された空間変換係数から第1の行列/ベクトルを形成することと、
前記第1の行列/ベクトル中の係数の選択されたサブセットにしきい値処理を適用して、第2の行列/ベクトルを生み出すことと、
を含み、
時間変換係数を、まず時間的に逆変換し、次いで空間的に逆変換して、処理済みサブフレームを得ることは、
前記第2の行列/ベクトルに逆時間変換を適用して、第3の行列/ベクトルを生成することと、
前記第3の行列/ベクトルに逆空間変換を適用して、前記処理済みサブフレームを作成することと、
を含む、請求項7に記載の方法。 - 入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための前記操作を実施するステップは、
サブフレームごとの空間変換を使用して、現在フレームのサブフレーム及び過去フレームのサブフレームを変換するサブステップと、
時間変換を使用して、空間変換済み係数を変換するサブステップと、
各変換済みサブフレームに対する時間変換係数をしきい値によってしきい値処理して、しきい値処理された時間変換済み係数を生み出すサブステップと、
前記しきい値処理された時間変換済み係数を逆変換して、ピクセル領域における処理済みサブフレームを形成するステップと、
前記処理済みサブフレームを結合して新しいフレームを生み出すサブステップと、
を含む方法。 - 入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
前記操作は、
入力ビデオの現在フレーム及び出力ビデオの過去フレームから新しいフレームを形成すること、および、
前記新しいフレームのサブフレーム及び前記現在フレームのサブフレームを処理することと、
を含み、
前記新しいフレームのサブフレーム及び前記現在フレームのサブフレームを処理することは、
前記現在フレーム及び前記新しいフレームからのピクセルを使用して第1及び第2のサブフレームをそれぞれ生成し、ピクセルごとのサブフレームタイプに基づいて、前記第1及び第2のサブフレーム中の各ピクセルからそれぞれ形成されたベクトルを使用することと、
ワープ空間変換を選択し、前記第1及び第2のサブフレームを空間変換領域に変換することと、
適応しきい値を導出し、前記第1のサブフレームの変換係数をしきい値処理することと、
しきい値処理された変換係数と前記第2のサブフレームから生成された係数とを使用して行列/ベクトルを生成することと、
前記行列/ベクトル中の係数を逆変換して処理済みサブフレームを作成することと、
現在フレームに属し且つ前に処理されたサブフレームと前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すことと、
を含む方法。 - 前記現在フレーム及び前記過去フレームが、多次元色表現の全てのチャネルのサブセットのみについて前記フレームのチャネル情報を含む、請求項22に記載の方法。
- 入力ビデオを受け取るステップと、
空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
を含み、
前記操作は、
入力ビデオの現在フレームからいくつかのピクセルにおけるサブフレームを選択すること、
ワープ空間変換を選択し、前記サブフレームを空間変換領域に変換すること、
適応しきい値を導出し、前記現在フレームからのサブフレームの空間変換係数をしきい値処理すること、
空間変換係数を逆変換して処理済みサブフレームを得ること、及び、
現在フレームに属し且つ前に処理されたサブフレームと前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すこと、
を含む方法。 - コンピュータに、
請求項1に記載の方法が含む各ステップを実行させるためのプログラム、
を記憶したコンピュータ読み取り可能な記憶媒体。 - 請求項1に記載の方法における前記空間変換がワープ変換である、請求項25に記載のコンピュータ読み取り可能な記憶媒体。
- コンピュータに、
請求項3に記載の方法が含む各ステップを実行させるためのプログラム、
を記憶したコンピュータ読み取り可能な記憶媒体。 - コンピュータに、
請求項7に記載の方法が含む各ステップを実行させるためのプログラム、
を記憶したコンピュータ読み取り可能な記憶媒体。 - 請求項7に記載の方法における前記ワープ空間変換がピクセル適応性であり、前記適応しきい値がディテール保存性である、請求項28に記載のコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US2645308P | 2008-02-05 | 2008-02-05 | |
US61/026,453 | 2008-02-05 | ||
US12/233,468 | 2008-09-18 | ||
US12/233,468 US8731062B2 (en) | 2008-02-05 | 2008-09-18 | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
PCT/US2009/032888 WO2009100032A1 (en) | 2008-02-05 | 2009-02-02 | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011512086A JP2011512086A (ja) | 2011-04-14 |
JP5419897B2 true JP5419897B2 (ja) | 2014-02-19 |
Family
ID=40931208
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010545259A Active JP5517954B2 (ja) | 2008-02-05 | 2009-02-02 | 変換の高速でメモリ効率の良い実施のための方法 |
JP2010545258A Active JP5419897B2 (ja) | 2008-02-05 | 2009-02-02 | 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 |
JP2014018738A Active JP5734475B2 (ja) | 2008-02-05 | 2014-02-03 | 変換の高速でメモリ効率の良い実施のための方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010545259A Active JP5517954B2 (ja) | 2008-02-05 | 2009-02-02 | 変換の高速でメモリ効率の良い実施のための方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014018738A Active JP5734475B2 (ja) | 2008-02-05 | 2014-02-03 | 変換の高速でメモリ効率の良い実施のための方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US8731062B2 (ja) |
EP (2) | EP2240869B1 (ja) |
JP (3) | JP5517954B2 (ja) |
KR (2) | KR101291869B1 (ja) |
CN (2) | CN102378978B (ja) |
WO (2) | WO2009100034A2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8311088B2 (en) * | 2005-02-07 | 2012-11-13 | Broadcom Corporation | Method and system for image processing in a microprocessor for portable video communication devices |
US8305497B2 (en) * | 2007-07-27 | 2012-11-06 | Lsi Corporation | Joint mosquito and aliasing noise reduction in video signals |
US8731062B2 (en) * | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
JP4801186B2 (ja) * | 2009-04-23 | 2011-10-26 | 株式会社エヌ・ティ・ティ・ドコモ | 画像処理装置、画像処理方法および画像処理プログラム |
KR101682147B1 (ko) | 2010-04-05 | 2016-12-05 | 삼성전자주식회사 | 변환 및 역변환에 기초한 보간 방법 및 장치 |
EP2442567A1 (en) * | 2010-10-14 | 2012-04-18 | Morpho Inc. | Image Processing Device, Image Processing Method and Image Processing Program |
FR2978273B1 (fr) * | 2011-07-22 | 2013-08-09 | Thales Sa | Procede de reduction du bruit dans une sequence d'images fluoroscopiques par filtrage temporel et spatial |
EA017302B1 (ru) * | 2011-10-07 | 2012-11-30 | Закрытое Акционерное Общество "Импульс" | Способ подавления шума серий цифровых рентгенограмм |
US9924200B2 (en) * | 2013-01-24 | 2018-03-20 | Microsoft Technology Licensing, Llc | Adaptive noise reduction engine for streaming video |
US9357236B2 (en) * | 2014-03-13 | 2016-05-31 | Intel Corporation | Color compression using a selective color transform |
US9939253B2 (en) * | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
US10102613B2 (en) * | 2014-09-25 | 2018-10-16 | Google Llc | Frequency-domain denoising |
CN106028014B (zh) * | 2016-05-27 | 2017-12-08 | 京东方科技集团股份有限公司 | 一种校正视频闪烁的方法及设备 |
WO2018108126A1 (zh) * | 2016-12-14 | 2018-06-21 | 上海寒武纪信息科技有限公司 | 神经网络卷积运算装置及方法 |
TWI748035B (zh) * | 2017-01-20 | 2021-12-01 | 日商半導體能源硏究所股份有限公司 | 顯示系統及電子裝置 |
CN106791283B (zh) * | 2017-01-25 | 2019-11-19 | 京东方科技集团股份有限公司 | 一种校正视频闪烁的方法、装置及视频设备 |
US11134272B2 (en) * | 2017-06-29 | 2021-09-28 | Qualcomm Incorporated | Memory reduction for non-separable transforms |
KR102444054B1 (ko) | 2017-09-14 | 2022-09-19 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 |
EP4274207A4 (en) | 2021-04-13 | 2024-07-10 | Samsung Electronics Co Ltd | ELECTRONIC DEVICE AND ITS CONTROL METHOD |
CN114020211B (zh) * | 2021-10-12 | 2024-03-15 | 深圳市广和通无线股份有限公司 | 存储空间管理方法、装置、设备及存储介质 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4447886A (en) | 1981-07-31 | 1984-05-08 | Meeker G William | Triangle and pyramid signal transforms and apparatus |
US4442454A (en) | 1982-11-15 | 1984-04-10 | Eastman Kodak Company | Image processing method using a block overlap transformation procedure |
JP2637978B2 (ja) * | 1987-04-16 | 1997-08-06 | 日本ビクター株式会社 | 動き適応形画質改善装置 |
JPH01201773A (ja) * | 1988-02-05 | 1989-08-14 | Matsushita Electric Ind Co Ltd | ディジタル信号処理装置 |
JPH0379182A (ja) | 1989-08-23 | 1991-04-04 | Fujitsu Ltd | 画像符号化制御方式 |
JP3302731B2 (ja) | 1992-06-02 | 2002-07-15 | 大日本印刷株式会社 | 画像拡大方法 |
JP3222273B2 (ja) * | 1993-07-09 | 2001-10-22 | 株式会社日立製作所 | 核磁気共鳴診断装置における動画像の画質改善方法 |
JP3392946B2 (ja) | 1993-07-15 | 2003-03-31 | ペンタックス株式会社 | 電子スチルカメラ及び画像再生装置 |
US5666163A (en) | 1994-07-12 | 1997-09-09 | Sony Corporation | Electronic image resolution enhancement by frequency-domain extrapolation |
JPH08294001A (ja) | 1995-04-20 | 1996-11-05 | Seiko Epson Corp | 画像処理方法および画像処理装置 |
JP3378167B2 (ja) | 1997-03-21 | 2003-02-17 | シャープ株式会社 | 画像処理方法 |
US5859788A (en) | 1997-08-15 | 1999-01-12 | The Aerospace Corporation | Modulated lapped transform method |
US6438275B1 (en) | 1999-04-21 | 2002-08-20 | Intel Corporation | Method for motion compensated frame rate upsampling based on piecewise affine warping |
AUPQ156299A0 (en) * | 1999-07-12 | 1999-08-05 | Canon Kabushiki Kaisha | Method and apparatus for discrete wavelet transforms and compressed bitstream ordering for block entropy coding of subband image data |
KR100327385B1 (en) | 2000-07-18 | 2002-03-13 | Lg Electronics Inc | Spatio-temporal three-dimensional noise filter |
EP1209624A1 (en) * | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
US6898323B2 (en) * | 2001-02-15 | 2005-05-24 | Ricoh Company, Ltd. | Memory usage scheme for performing wavelet processing |
JP3887178B2 (ja) * | 2001-04-09 | 2007-02-28 | 株式会社エヌ・ティ・ティ・ドコモ | 信号符号化方法及び装置並びに復号方法及び装置 |
US7206459B2 (en) | 2001-07-31 | 2007-04-17 | Ricoh Co., Ltd. | Enhancement of compressed images |
JP2003134352A (ja) * | 2001-10-26 | 2003-05-09 | Konica Corp | 画像処理方法及び装置並びにプログラム |
US7120308B2 (en) * | 2001-11-26 | 2006-10-10 | Seiko Epson Corporation | Iterated de-noising for image recovery |
JP2005523615A (ja) * | 2002-04-19 | 2005-08-04 | ドロップレット テクノロジー インコーポレイテッド | ウェーブレット変換システム、方法、及びコンピュータプログラム製品 |
US7940844B2 (en) * | 2002-06-18 | 2011-05-10 | Qualcomm Incorporated | Video encoding and decoding techniques |
JP3902990B2 (ja) | 2002-07-02 | 2007-04-11 | キヤノン株式会社 | アダマール変換処理方法及びその装置 |
CN1823336A (zh) | 2003-05-07 | 2006-08-23 | Dvip多媒体股份有限公司 | 消除传感器电平图像失真的方法和装置 |
US7352909B2 (en) * | 2003-06-02 | 2008-04-01 | Seiko Epson Corporation | Weighted overcomplete de-noising |
US20050105817A1 (en) | 2003-11-17 | 2005-05-19 | Guleryuz Onur G. | Inter and intra band prediction of singularity coefficients using estimates based on nonlinear approximants |
KR100564592B1 (ko) | 2003-12-11 | 2006-03-28 | 삼성전자주식회사 | 동영상 데이터 잡음제거방법 |
GB2415876B (en) * | 2004-06-30 | 2007-12-05 | Voxar Ltd | Imaging volume data |
WO2006010276A1 (en) * | 2004-07-30 | 2006-02-02 | Algolith Inc | Apparatus and method for adaptive 3d artifact reducing for encoded image signal |
CN101027679B (zh) * | 2004-09-09 | 2010-04-21 | 奥普提克斯晶硅有限公司 | 表达通用的二维空间变换的系统和方法 |
US7554611B2 (en) * | 2005-04-19 | 2009-06-30 | Samsung Electronics Co., Ltd. | Method and apparatus of bidirectional temporal noise reduction |
US8050331B2 (en) | 2005-05-20 | 2011-11-01 | Ntt Docomo, Inc. | Method and apparatus for noise filtering in video coding |
US20060288065A1 (en) * | 2005-06-17 | 2006-12-21 | Docomo Communications Laboratories Usa, Inc. | Method and apparatus for lapped transform coding and decoding |
JP4699117B2 (ja) * | 2005-07-11 | 2011-06-08 | 株式会社エヌ・ティ・ティ・ドコモ | 信号符号化装置、信号復号化装置、信号符号化方法、及び信号復号化方法。 |
JP4743604B2 (ja) * | 2005-07-15 | 2011-08-10 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
US20070074251A1 (en) * | 2005-09-27 | 2007-03-29 | Oguz Seyfullah H | Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion |
BRPI0707346A2 (pt) | 2006-01-31 | 2011-05-03 | Thomson Licensing | métodos e aparelho para filtração espaço-temporal baseada em borda |
JP4760552B2 (ja) * | 2006-06-06 | 2011-08-31 | ソニー株式会社 | 動きベクトル復号化方法および復号化装置 |
US20080007649A1 (en) * | 2006-06-23 | 2008-01-10 | Broadcom Corporation, A California Corporation | Adaptive video processing using sub-frame metadata |
US8606023B2 (en) | 2006-06-26 | 2013-12-10 | Qualcomm Incorporated | Reduction of errors during computation of inverse discrete cosine transform |
CN100454972C (zh) | 2006-12-28 | 2009-01-21 | 上海广电(集团)有限公司中央研究院 | 一种视频图像3d降噪方法 |
US8743963B2 (en) | 2007-08-13 | 2014-06-03 | Ntt Docomo, Inc. | Image/video quality enhancement and super-resolution using sparse transformations |
US20090060368A1 (en) | 2007-08-27 | 2009-03-05 | David Drezner | Method and System for an Adaptive HVS Filter |
US8731062B2 (en) * | 2008-02-05 | 2014-05-20 | Ntt Docomo, Inc. | Noise and/or flicker reduction in video sequences using spatial and temporal processing |
-
2008
- 2008-09-18 US US12/233,468 patent/US8731062B2/en active Active
- 2008-09-26 US US12/239,195 patent/US8837579B2/en active Active
-
2009
- 2009-02-02 KR KR1020107017838A patent/KR101291869B1/ko active IP Right Grant
- 2009-02-02 EP EP09708583.1A patent/EP2240869B1/en active Active
- 2009-02-02 JP JP2010545259A patent/JP5517954B2/ja active Active
- 2009-02-02 CN CN200980103959.5A patent/CN102378978B/zh active Active
- 2009-02-02 KR KR1020107017926A patent/KR101137753B1/ko active IP Right Grant
- 2009-02-02 CN CN2009801039523A patent/CN101933330B/zh active Active
- 2009-02-02 EP EP09708388.5A patent/EP2243298B1/en active Active
- 2009-02-02 WO PCT/US2009/032890 patent/WO2009100034A2/en active Application Filing
- 2009-02-02 JP JP2010545258A patent/JP5419897B2/ja active Active
- 2009-02-02 WO PCT/US2009/032888 patent/WO2009100032A1/en active Application Filing
-
2014
- 2014-02-03 JP JP2014018738A patent/JP5734475B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR20100112162A (ko) | 2010-10-18 |
CN101933330A (zh) | 2010-12-29 |
EP2243298A1 (en) | 2010-10-27 |
KR101291869B1 (ko) | 2013-07-31 |
CN102378978B (zh) | 2015-10-21 |
US8837579B2 (en) | 2014-09-16 |
WO2009100034A2 (en) | 2009-08-13 |
CN102378978A (zh) | 2012-03-14 |
JP5734475B2 (ja) | 2015-06-17 |
EP2243298B1 (en) | 2021-10-06 |
EP2240869B1 (en) | 2019-08-07 |
JP2014112414A (ja) | 2014-06-19 |
JP5517954B2 (ja) | 2014-06-11 |
JP2011512086A (ja) | 2011-04-14 |
KR20100114068A (ko) | 2010-10-22 |
US8731062B2 (en) | 2014-05-20 |
US20090195535A1 (en) | 2009-08-06 |
EP2240869A2 (en) | 2010-10-20 |
JP2011527033A (ja) | 2011-10-20 |
KR101137753B1 (ko) | 2012-04-24 |
WO2009100032A1 (en) | 2009-08-13 |
US20090195697A1 (en) | 2009-08-06 |
WO2009100034A3 (en) | 2012-11-01 |
CN101933330B (zh) | 2013-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5419897B2 (ja) | 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 | |
Heckel et al. | Deep decoder: Concise image representations from untrained non-convolutional networks | |
US8743963B2 (en) | Image/video quality enhancement and super-resolution using sparse transformations | |
CN102142137B (zh) | 基于高分辨率字典的稀疏表征图像超分辨重建方法 | |
CN101959008B (zh) | 用于图像和视频处理的方法和装置 | |
CN103871041B (zh) | 基于认知正则化参数构建的图像超分辨率重构方法 | |
CN111866521B (zh) | 一种视频图像压缩伪影去除方法 | |
JP5331486B2 (ja) | デジタル画像の解像度向上方法及び装置 | |
JP5174238B2 (ja) | スパース変換を使用する画像/ビデオ品質向上及び超解像 | |
JP2008527932A (ja) | ハイブリッドビデオ圧縮の量子化雑音除去用の非線形ループ内デノイズフィルタ | |
US20090185078A1 (en) | Systems and methods for video processing based on motion-aligned spatio-temporal steering kernel regression | |
CN106254720B (zh) | 一种基于联合正则化的视频超分辨率重建方法 | |
CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
CN114820352A (zh) | 一种高光谱图像去噪方法、装置及存储介质 | |
CN114339030A (zh) | 一种基于自适应可分离卷积的网络直播视频稳像方法 | |
CN115809966A (zh) | 一种低照度图像的增强方法和系统 | |
CN115082296B (zh) | 一种基于小波域图像生成框架的图像生成方法 | |
Sadaka et al. | Efficient super-resolution driven by saliency selectivity | |
Krishna et al. | A Trained CNN based Resolution Enhancement of Digital Images | |
Ramsook et al. | A differentiable VMAF proxy as a loss function for video noise reduction | |
Chen et al. | A new framework based on spatio-temporal information for enhancing compressed video | |
WO2023044653A1 (zh) | 一种显示设备系统及自适应增强画质的方法 | |
Koh et al. | 60‐2: Self‐supervised Perceptual Motion Deblurring using a Conditional Generative Neural Network Guided by Optical Flow | |
Jagdale et al. | Video resolution enhancement and quality assessment strategy | |
Shen et al. | Robust video denoising by low-rank decomposition and modeling noises with mixture of Gaussian |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5419897 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |