JPH07170519A - 動き適応空間フィルターを用いたビデオ信号の時間軸フィルタリング方法 - Google Patents
動き適応空間フィルターを用いたビデオ信号の時間軸フィルタリング方法Info
- Publication number
- JPH07170519A JPH07170519A JP22376894A JP22376894A JPH07170519A JP H07170519 A JPH07170519 A JP H07170519A JP 22376894 A JP22376894 A JP 22376894A JP 22376894 A JP22376894 A JP 22376894A JP H07170519 A JPH07170519 A JP H07170519A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- axis
- time
- motion
- filtering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
(57)【要約】
【目的】 時間軸のエイリアシングがなく、ビデオ信号
の時間軸帯域幅制限を効果的に行い、フレーム遅延およ
び相当な量のメモリへの要求を削減することができる前
フィルターとして用いられる動き適応空間フィルタリン
グ方法を提供する。 【構成】 (a) 現在画素の動きを表す動きベクトルを決
定するステップと、(b)前記決定された動きベクトルと
時間軸遮断周波数に基づいて、空間フィルターインパル
ス応答を計算するステップと、(c) 周波数領域における
空間フィルターインパルス応答に基づいて、空間領域に
おけるインパルス応答を決定して、ビデオ信号の現在画
素へのフィルタリングを行うステップと、(d) ビデオ信
号の全ての画素が処理されるまで、前記ステップ(a) か
ら(c) を繰り返すステップとを含む。
の時間軸帯域幅制限を効果的に行い、フレーム遅延およ
び相当な量のメモリへの要求を削減することができる前
フィルターとして用いられる動き適応空間フィルタリン
グ方法を提供する。 【構成】 (a) 現在画素の動きを表す動きベクトルを決
定するステップと、(b)前記決定された動きベクトルと
時間軸遮断周波数に基づいて、空間フィルターインパル
ス応答を計算するステップと、(c) 周波数領域における
空間フィルターインパルス応答に基づいて、空間領域に
おけるインパルス応答を決定して、ビデオ信号の現在画
素へのフィルタリングを行うステップと、(d) ビデオ信
号の全ての画素が処理されるまで、前記ステップ(a) か
ら(c) を繰り返すステップとを含む。
Description
【0001】
【産業上の利用分野】本発明はビデオ信号を時間軸フィ
ルタリングする方法に関する。さらに詳しくは、映像符
号化装置で使われる動き適応空間フィルタリング方法で
あって、時間軸上のエイリアシング(aliasing)効果がな
く、時間軸上の帯域制限を可能にし、向上された画質が
えられる動き適応空間フィルタリング(Motion Adaptive
Spatial Filtering、MASF) 方法に関する。
ルタリングする方法に関する。さらに詳しくは、映像符
号化装置で使われる動き適応空間フィルタリング方法で
あって、時間軸上のエイリアシング(aliasing)効果がな
く、時間軸上の帯域制限を可能にし、向上された画質が
えられる動き適応空間フィルタリング(Motion Adaptive
Spatial Filtering、MASF) 方法に関する。
【0002】
【従来の技術および発明が解決しようとする課題】ビデ
オホン、画像会議および高画質テレビジョン( High Def
inition Television、HDTV) などのようなディジタルテ
レビジョンシステムにおいて、ビデオ信号の各フレーム
を決定する非常に大きいデータ量を減少させるために、
映像符号化装置が用いられている。かかる装置は、たと
えば、離散コサイン変換を利用した伝送符号化と二つの
一連のフレーム間の時間軸上の関係を減らすための動き
補償符号化技法のような多様なデータ圧縮技法を用い
る。
オホン、画像会議および高画質テレビジョン( High Def
inition Television、HDTV) などのようなディジタルテ
レビジョンシステムにおいて、ビデオ信号の各フレーム
を決定する非常に大きいデータ量を減少させるために、
映像符号化装置が用いられている。かかる装置は、たと
えば、離散コサイン変換を利用した伝送符号化と二つの
一連のフレーム間の時間軸上の関係を減らすための動き
補償符号化技法のような多様なデータ圧縮技法を用い
る。
【0003】データ圧縮過程を効果的に行うために、当
該技術分野に用いられている実時間映像符号化装置は、
フィルタリングおよびフレームレートリダクション(fra
me rate reduction)のための先処理部として多様なフィ
ルターを用いている。これらのフィルターは時間軸上の
ノイズを除去するか、削減するか、または帯域幅制限を
行うことによって、画質および符号化効率を改善させる
のに役立つ。
該技術分野に用いられている実時間映像符号化装置は、
フィルタリングおよびフレームレートリダクション(fra
me rate reduction)のための先処理部として多様なフィ
ルターを用いている。これらのフィルターは時間軸上の
ノイズを除去するか、削減するか、または帯域幅制限を
行うことによって、画質および符号化効率を改善させる
のに役立つ。
【0004】このような従来技術の装置はエリック デ
ュボイス(Eric Dubois) らの論文、「ノイズリダクショ
ン イン イメージ シーケンス ユージング モーシ
ョン−コンペンセイティド テンポラル フィルタリン
グ(Noise Reduction in Image Sequence Using Motion-
Compensated Temporal Filtering) 」、(アイイーイー
イー トランザクションズ オン コミュニケーション
ズ(IEEE Transatoinson Comunications) 、COM-32、No.
7(1984年7月)に開示されており、かかる装置は初期
のビデオ信号およびその処理過程から発生する雑音成分
を減らせるために、非線形再帰的(recursive) 時間軸フ
ィルター(temporal filter) を用いる。また、かかる時
間軸フィルターは動き軌跡に沿って時間軸上でフィルタ
リングを行ない、映像の詳細な部分を変更することなく
動き領域内の雑音成分を減少させるために動き補償技法
を用いる。
ュボイス(Eric Dubois) らの論文、「ノイズリダクショ
ン イン イメージ シーケンス ユージング モーシ
ョン−コンペンセイティド テンポラル フィルタリン
グ(Noise Reduction in Image Sequence Using Motion-
Compensated Temporal Filtering) 」、(アイイーイー
イー トランザクションズ オン コミュニケーション
ズ(IEEE Transatoinson Comunications) 、COM-32、No.
7(1984年7月)に開示されており、かかる装置は初期
のビデオ信号およびその処理過程から発生する雑音成分
を減らせるために、非線形再帰的(recursive) 時間軸フ
ィルター(temporal filter) を用いる。また、かかる時
間軸フィルターは動き軌跡に沿って時間軸上でフィルタ
リングを行ない、映像の詳細な部分を変更することなく
動き領域内の雑音成分を減少させるために動き補償技法
を用いる。
【0005】他の従来技術の装置としてはウェン−シン
チェン(Wen-Hsing Chen)らの論文、「リカーシブ
テンポラル フィルタリング アンド フレーム レー
トリダクション フォー イメージ コーディング(Rec
ursive Temporal filtering and Frame Rate Reduction
for Image Coding)」、(アイイーイーイー ジャーナ
ル オン セレクティド エリアズ イン コミュニケ
ーションズ)(IEEEJournal on Selected Areas in Comm
unications 、SAC-5(1987年8月)に開示されている。
かかる従来技術の装置は繰り返し時間軸フィルターを用
いて、繰り返しフィルタリングを行うことによってフレ
ーム発生率を減少させる。また、かかるフィルターは時
間軸領域に利用されるばあい、フレーム間の雑音を減ら
しうるので、画質を改善させるのに役立つ。
チェン(Wen-Hsing Chen)らの論文、「リカーシブ
テンポラル フィルタリング アンド フレーム レー
トリダクション フォー イメージ コーディング(Rec
ursive Temporal filtering and Frame Rate Reduction
for Image Coding)」、(アイイーイーイー ジャーナ
ル オン セレクティド エリアズ イン コミュニケ
ーションズ)(IEEEJournal on Selected Areas in Comm
unications 、SAC-5(1987年8月)に開示されている。
かかる従来技術の装置は繰り返し時間軸フィルターを用
いて、繰り返しフィルタリングを行うことによってフレ
ーム発生率を減少させる。また、かかるフィルターは時
間軸領域に利用されるばあい、フレーム間の雑音を減ら
しうるので、画質を改善させるのに役立つ。
【0006】ケー ジェー クリース(K.J.Klees) に付
与された米国特許第4,694,342 号明細書には、空間フィ
ルター(spatial filter)を用いる装置が開示されてい
る。かかる空間フィルターは、繰り返しおよび繰り返さ
ずに動作してビデオ映像内の雑音を除去する一方、実質
的にビデオ映像の詳細な部分を保存する。したがって、
かかるフィルターはあらかじめ設定されフィルタリング
された出力画素値とあらかじめ設定された帰還画素値を
記憶するルックアップ表を含む。その結果、入力される
映像の一部は映像の詳細な部分を保存するために繰り返
さずにフィルタリングされる反面、映像のもう他の部分
は雑音を除去するために繰り返しフィルタリングされ
る。
与された米国特許第4,694,342 号明細書には、空間フィ
ルター(spatial filter)を用いる装置が開示されてい
る。かかる空間フィルターは、繰り返しおよび繰り返さ
ずに動作してビデオ映像内の雑音を除去する一方、実質
的にビデオ映像の詳細な部分を保存する。したがって、
かかるフィルターはあらかじめ設定されフィルタリング
された出力画素値とあらかじめ設定された帰還画素値を
記憶するルックアップ表を含む。その結果、入力される
映像の一部は映像の詳細な部分を保存するために繰り返
さずにフィルタリングされる反面、映像のもう他の部分
は雑音を除去するために繰り返しフィルタリングされ
る。
【0007】前述の従来技術の装置が動き軌跡に沿って
行われる低域通過フィルタリング技法を用いることによ
って、映像の精密な部分にいかなる悪影響も与えなく、
動き領域内に存在する雑音を減らしうるが、かかる装置
は動きが高速に行われる領域では人工遺物(artifact)を
生じうる。その結果、時間軸帯域制限用または可視的な
人工遺物など間の時間軸上エイリアシングを除去する用
途では望ましくない。
行われる低域通過フィルタリング技法を用いることによ
って、映像の精密な部分にいかなる悪影響も与えなく、
動き領域内に存在する雑音を減らしうるが、かかる装置
は動きが高速に行われる領域では人工遺物(artifact)を
生じうる。その結果、時間軸帯域制限用または可視的な
人工遺物など間の時間軸上エイリアシングを除去する用
途では望ましくない。
【0008】隣接したスペクトラムがエイリアシング成
分を含んでいるばあいには、映像に可視的な人工遺物が
現れる。とくに、空間軸高周波成分をなす動き領域で
は、実際速度と感知速度とが異なるなど、視覚的効果に
相当な損傷を与えることになる。
分を含んでいるばあいには、映像に可視的な人工遺物が
現れる。とくに、空間軸高周波成分をなす動き領域で
は、実際速度と感知速度とが異なるなど、視覚的効果に
相当な損傷を与えることになる。
【0009】効率的な時間軸上の帯域幅制限を行うため
には、エイリアシング効果を受けないフィルターを備え
る必要がある。さらに、時間軸に沿って存在する画素に
対して時間領域フィルタリングを行い、帯域幅制限をう
るためには、一般に相当な量のフレーム遅延およびメモ
リが要求されるので、かかる要因などが映像符号化装置
の具現に障害になりうる。
には、エイリアシング効果を受けないフィルターを備え
る必要がある。さらに、時間軸に沿って存在する画素に
対して時間領域フィルタリングを行い、帯域幅制限をう
るためには、一般に相当な量のフレーム遅延およびメモ
リが要求されるので、かかる要因などが映像符号化装置
の具現に障害になりうる。
【0010】したがって、本発明の主な目的は映像符号
化装置において、時間軸のエイリアシングがなく、ビデ
オ信号の時間軸帯域幅制限を効果的に行い、フレーム遅
延および相当な量のメモリへの要求を削減することがで
きる前フィルターとして用いられる動き適応空間フィル
タリング方法を提供することである。
化装置において、時間軸のエイリアシングがなく、ビデ
オ信号の時間軸帯域幅制限を効果的に行い、フレーム遅
延および相当な量のメモリへの要求を削減することがで
きる前フィルターとして用いられる動き適応空間フィル
タリング方法を提供することである。
【0011】
【課題を解決するための手段】本発明によれば、ビデオ
信号を既設定された時間軸遮断周波数でフィルタリング
して時間軸帯域幅制限を行う時間軸フィルタリング方法
であって、(a) 現在画素の動きを表す動きベクトルを決
定するステップと、(b) 前記決定された動きベクトルと
時間軸遮断周波数に基づいて、空間軸フィルターインパ
ルス応答を計算するステップと、(c) 周波数領域におけ
る空間フィルターインパルス応答に基づいて、空間領域
におけるインパルス応答を決定して、ビデオ信号の現在
画素へのフィルタリングを行うステップと、(d) ビデオ
信号の全ての画素が処理されるまで、前記ステップ(a)
から(c) を繰り返すステップとを含む。
信号を既設定された時間軸遮断周波数でフィルタリング
して時間軸帯域幅制限を行う時間軸フィルタリング方法
であって、(a) 現在画素の動きを表す動きベクトルを決
定するステップと、(b) 前記決定された動きベクトルと
時間軸遮断周波数に基づいて、空間軸フィルターインパ
ルス応答を計算するステップと、(c) 周波数領域におけ
る空間フィルターインパルス応答に基づいて、空間領域
におけるインパルス応答を決定して、ビデオ信号の現在
画素へのフィルタリングを行うステップと、(d) ビデオ
信号の全ての画素が処理されるまで、前記ステップ(a)
から(c) を繰り返すステップとを含む。
【0012】
【実施例】つぎに、添付図面を参照しながら本発明を詳
細に説明する。
細に説明する。
【0013】一般に、ビデオ信号は、水平、垂直および
時間の3次元連続関数f3 (x,y,t)で表示され
る。動きがある映像において、短い時間間隔のあいだに
動く物体を観察するばあい動いている物体が速度v=
(vx ,vy )などの等速、剛体、並進運動を行うと
見なすとき、連続ビデオ信号のフーリエ変換F3 は(1)
式のように表現される。
時間の3次元連続関数f3 (x,y,t)で表示され
る。動きがある映像において、短い時間間隔のあいだに
動く物体を観察するばあい動いている物体が速度v=
(vx ,vy )などの等速、剛体、並進運動を行うと
見なすとき、連続ビデオ信号のフーリエ変換F3 は(1)
式のように表現される。
【0014】
【数3】
【0015】ここで、F2 (fx ,fy )は2次元ビデ
オ信号F2 (x,y) のフーリエ変換であり、δ(fx ・v
x +fx ・vx +ft ) はfx ・vx +fx ・vx +f
t =0と定義された3次元周波数空間上の傾斜した平面
を表すので、映像信号のベースバンドは2次元周波数平
面上にだけ存在する。(1) 式は、アール エー エフベ
ルフォー(R.A.F.Belfor)らの論文「モーション コンペ
ンセイティド サブサンプリング オブ ハイデフィニ
ション テレビジョン(Motion CompensatedSubsampling
of HDTV)」、(SPIE、1605)、「ビジュアル コミュ
ニケーションズ アンド イメージ プロセシング(Vis
ual Communications and Image Processing )'91 」、
274-284 頁(1991 年) に開示されている。ベースバンド
スペクトラムの位置から時空間軸帯域幅を予測しうる。
すなわち、時間軸帯域幅ft wが定められると、時間軸
帯域幅ft w 、空間軸帯域幅fx w およびfy w と速度
成分vx およびvy の関係は(2) 式でえられる。
オ信号F2 (x,y) のフーリエ変換であり、δ(fx ・v
x +fx ・vx +ft ) はfx ・vx +fx ・vx +f
t =0と定義された3次元周波数空間上の傾斜した平面
を表すので、映像信号のベースバンドは2次元周波数平
面上にだけ存在する。(1) 式は、アール エー エフベ
ルフォー(R.A.F.Belfor)らの論文「モーション コンペ
ンセイティド サブサンプリング オブ ハイデフィニ
ション テレビジョン(Motion CompensatedSubsampling
of HDTV)」、(SPIE、1605)、「ビジュアル コミュ
ニケーションズ アンド イメージ プロセシング(Vis
ual Communications and Image Processing )'91 」、
274-284 頁(1991 年) に開示されている。ベースバンド
スペクトラムの位置から時空間軸帯域幅を予測しうる。
すなわち、時間軸帯域幅ft wが定められると、時間軸
帯域幅ft w 、空間軸帯域幅fx w およびfy w と速度
成分vx およびvy の関係は(2) 式でえられる。
【0016】
【数4】
【0017】ここで、fx w およびfy w は各々xとy
方向の空間軸帯域幅成分を表す。(2) 式から時間軸帯域
幅は動く物体の速度に比例し、時間軸帯域幅が固定され
たばあい、空間軸帯域幅は動く物体の速度に反比例する
ことがわかる。
方向の空間軸帯域幅成分を表す。(2) 式から時間軸帯域
幅は動く物体の速度に比例し、時間軸帯域幅が固定され
たばあい、空間軸帯域幅は動く物体の速度に反比例する
ことがわかる。
【0018】ビデオ信号は空間及び時間軸サンプリング
周波数によりサンプリングされるので、サンプリングさ
れたビデオ信号は3次元サンプルデータ、または、画素
として表示される。したがって、連続関数f3 のサンプ
リングは連続関数f3 (x,y,t) とデルタ関数の3次元ア
レーを掛けることにより表示されうる。また、画素など
のスペクトラム分布は連続関数f3 のフーリエ変換及び
デルタ関数のコンボルーション(convolution) で与えら
れる。その結果、画素のスペクトラムはデルタ関数の特
性によりサンプリング周波数間隔に複製される。
周波数によりサンプリングされるので、サンプリングさ
れたビデオ信号は3次元サンプルデータ、または、画素
として表示される。したがって、連続関数f3 のサンプ
リングは連続関数f3 (x,y,t) とデルタ関数の3次元ア
レーを掛けることにより表示されうる。また、画素など
のスペクトラム分布は連続関数f3 のフーリエ変換及び
デルタ関数のコンボルーション(convolution) で与えら
れる。その結果、画素のスペクトラムはデルタ関数の特
性によりサンプリング周波数間隔に複製される。
【0019】図1(a),1(b) および1(c)には、それぞれ動
く物体の速度vx がフレーム間隔当たり1画素、フレー
ム間隔当たり2画素、フレーム間隔当たり3画素のベー
スバンドスペクトラム分布が示される。図において、実
線はベースバンドスペクトラムを示し、時間軸サンプリ
ング周波数は1にノーマライズ(normalize) され、空間
軸(X軸方向) および時間軸周波数は各々fx およびft
で表示される。
く物体の速度vx がフレーム間隔当たり1画素、フレー
ム間隔当たり2画素、フレーム間隔当たり3画素のベー
スバンドスペクトラム分布が示される。図において、実
線はベースバンドスペクトラムを示し、時間軸サンプリ
ング周波数は1にノーマライズ(normalize) され、空間
軸(X軸方向) および時間軸周波数は各々fx およびft
で表示される。
【0020】動く物体の画素Aの動きは、図1(a)に示す
通り、ベースバンドスペクトラムを空間軸周波数の軸f
x から傾ける。図1(a)、1(b)および1(c)に示す通り、傾
きの角θは速度vx が増加するにつれて増加することに
なる。このように傾く理由は(2) 式で見られるように、
ビデオ信号の一つの画素における時間軸周波数を考える
と理解できる。つまり、時空間軸周波数領域のスペクト
ラム分布は空間軸周波数と動く物体の速度とかかわるの
で、動く物体の速度が大きくなるほど、さらに高い時間
軸周波数を発生させるためである。
通り、ベースバンドスペクトラムを空間軸周波数の軸f
x から傾ける。図1(a)、1(b)および1(c)に示す通り、傾
きの角θは速度vx が増加するにつれて増加することに
なる。このように傾く理由は(2) 式で見られるように、
ビデオ信号の一つの画素における時間軸周波数を考える
と理解できる。つまり、時空間軸周波数領域のスペクト
ラム分布は空間軸周波数と動く物体の速度とかかわるの
で、動く物体の速度が大きくなるほど、さらに高い時間
軸周波数を発生させるためである。
【0021】なお、スペクトラムは傾けられ、回転しな
いことに注意しなければならない。
いことに注意しなければならない。
【0022】結局、図1(a),1(b) および1(c)に示すとお
り、動く物体の速度が増加されるばあい、エイリアシン
グは現れる。図1(a)に示されるように、1画素/フレー
ム間隔はエイリアシングを発生しない臨界速度を示す。
繰り返されたスペクトラムがエイリアシング成分を含む
ばあい、映像内では可視的な人工遺物が現れる。とく
に、空間軸高周波数成分から成った動き領域で実際速度
と感知速度との間には差が生じるので、視覚的な効果に
非常な損傷を与える。したがって、効率的な時間軸帯域
幅制限のためには、かかるエイリアシングを除去するフ
ィルターが必要である。図2を参照すれば、定められた
時間軸遮断周波数Ft c を用いた時間軸領域で低域通過
フィルタリングを行った結果のスペクトラム分布が示さ
れる。かかる時間軸フィルタリングを行うために、第1
に、ベースバンドスペクトラムは空間エイリアシング成
分を有さず、第2に、簡略化のために、等速の水平動き
(fx ) だけが存在するという二つの仮定をした。図2
において、フィルタリング前が図2(a)、フィルタリング
後が図2(b)であり、フィルタリングされた結果隣接スペ
クトラムで空間軸上の高周波成分Bを有することにな
り、これらは時間軸上のエイリアシングを示す。すなわ
ち、空間軸高周波成分は隣接するスペクトラムに悪影響
を与えることになる。言い替えれば、隣接スペクトラム
間の撹乱が画面に現れる。
り、動く物体の速度が増加されるばあい、エイリアシン
グは現れる。図1(a)に示されるように、1画素/フレー
ム間隔はエイリアシングを発生しない臨界速度を示す。
繰り返されたスペクトラムがエイリアシング成分を含む
ばあい、映像内では可視的な人工遺物が現れる。とく
に、空間軸高周波数成分から成った動き領域で実際速度
と感知速度との間には差が生じるので、視覚的な効果に
非常な損傷を与える。したがって、効率的な時間軸帯域
幅制限のためには、かかるエイリアシングを除去するフ
ィルターが必要である。図2を参照すれば、定められた
時間軸遮断周波数Ft c を用いた時間軸領域で低域通過
フィルタリングを行った結果のスペクトラム分布が示さ
れる。かかる時間軸フィルタリングを行うために、第1
に、ベースバンドスペクトラムは空間エイリアシング成
分を有さず、第2に、簡略化のために、等速の水平動き
(fx ) だけが存在するという二つの仮定をした。図2
において、フィルタリング前が図2(a)、フィルタリング
後が図2(b)であり、フィルタリングされた結果隣接スペ
クトラムで空間軸上の高周波成分Bを有することにな
り、これらは時間軸上のエイリアシングを示す。すなわ
ち、空間軸高周波成分は隣接するスペクトラムに悪影響
を与えることになる。言い替えれば、隣接スペクトラム
間の撹乱が画面に現れる。
【0023】(1) 式および(2) 式のように、空間(垂直
および水平成分を含む)および時間軸周波数fs とft
との関係は(3) 式のように表示される。
および水平成分を含む)および時間軸周波数fs とft
との関係は(3) 式のように表示される。
【0024】
【数5】
【0025】ここで、空間周波数fs はfx - fy 平面
上で決定される。(3) 式のように、時間軸帯域幅を制限
するように時間軸遮断周波数ft が定まるばあい、空間
軸遮断周波数は動く物体の速度の絶対値に反比例するこ
とが分かる。
上で決定される。(3) 式のように、時間軸帯域幅を制限
するように時間軸遮断周波数ft が定まるばあい、空間
軸遮断周波数は動く物体の速度の絶対値に反比例するこ
とが分かる。
【0026】hが低域通過時間軸フィルターのインパル
ス応答であり、簡略化のために、水平動き(X軸方向) だ
けが存在すると仮定すれば、時間軸帯域幅制限されたビ
デオ信号g(x,t)は(4) 式のように表示される。
ス応答であり、簡略化のために、水平動き(X軸方向) だ
けが存在すると仮定すれば、時間軸帯域幅制限されたビ
デオ信号g(x,t)は(4) 式のように表示される。
【0027】
【数6】
【0028】ここで、線形位相フィルターがフィルター
応答のグループ遅延をへらすために用いられる。速度v
=(vx ,vy )の水平方向の等速、剛体、並進運動を
するという仮定のもとで、フィルタリングの入力関数f
は(5) 式のように表示される。
応答のグループ遅延をへらすために用いられる。速度v
=(vx ,vy )の水平方向の等速、剛体、並進運動を
するという仮定のもとで、フィルタリングの入力関数f
は(5) 式のように表示される。
【0029】 f(x,t−τ)=f(x+vx ・τ,t) (5) 前記(5) 式から、時間軸上の一つの点が空間軸領域の動
き軌跡に沿って時間軸周波数による動き画素の転換を表
すことができる。したがって、(4) 式は次の(6) 式のよ
うに書直しうる。
き軌跡に沿って時間軸周波数による動き画素の転換を表
すことができる。したがって、(4) 式は次の(6) 式のよ
うに書直しうる。
【0030】
【数7】
【0031】前記(6) 式のフーリエ変換は(7) 式のよう
に表示される。
に表示される。
【0032】
【数8】
【0033】ここで、Fはフーリエ変換を表す。(5) 式
および(7) 式から分かるように、時間軸周波数領域でフ
ィルターインパルス応答Hが初期にはあらかじめ設定さ
れた時間軸遮断周波数を有するが、フィルタリング領域
の転換によって変わることが分かる。すなわち、フィル
ターインパルス応答Hはあらかじめ設定された時間軸遮
断周波数に相応する空間軸遮断周波数を有し、空間軸遮
断周波数は動く物体の速度によって変更されて、あらか
じめ設定された時間軸帯域幅制限特性を保持するように
なる。したがって、時間軸帯域幅制限は(6) 式の動き適
応空間フィルタリングによって達成される。
および(7) 式から分かるように、時間軸周波数領域でフ
ィルターインパルス応答Hが初期にはあらかじめ設定さ
れた時間軸遮断周波数を有するが、フィルタリング領域
の転換によって変わることが分かる。すなわち、フィル
ターインパルス応答Hはあらかじめ設定された時間軸遮
断周波数に相応する空間軸遮断周波数を有し、空間軸遮
断周波数は動く物体の速度によって変更されて、あらか
じめ設定された時間軸帯域幅制限特性を保持するように
なる。したがって、時間軸帯域幅制限は(6) 式の動き適
応空間フィルタリングによって達成される。
【0034】図3には、本発明の動き適応空間フィルタ
リング方法を用いて空間軸領域で施された時間軸帯域幅
制限の結果が示される。図3(a)がフィルタリング前、図
3(b)がフィルタリング後を示す。例示的に、時間軸周波
数ft および空間軸周波数fx だけを考慮した。動きベ
クトルによって適応する空間軸遮断周波数fx c でフィ
ルタリング動作が行われたが、図3(b)に示されるように
時間軸遮断周波数ft c による時間軸帯域幅制限をうる
ことが可能であることが分かる。
リング方法を用いて空間軸領域で施された時間軸帯域幅
制限の結果が示される。図3(a)がフィルタリング前、図
3(b)がフィルタリング後を示す。例示的に、時間軸周波
数ft および空間軸周波数fx だけを考慮した。動きベ
クトルによって適応する空間軸遮断周波数fx c でフィ
ルタリング動作が行われたが、図3(b)に示されるように
時間軸遮断周波数ft c による時間軸帯域幅制限をうる
ことが可能であることが分かる。
【0035】図2の時間軸領域上の時間軸帯域幅制限に
比べて、本発明の時間軸帯域幅制限は時間軸エイリアシ
ング成分の影響を受けない(ディエイリアシング(de-al
iasing) 特性)ことが分かる。
比べて、本発明の時間軸帯域幅制限は時間軸エイリアシ
ング成分の影響を受けない(ディエイリアシング(de-al
iasing) 特性)ことが分かる。
【0036】実際のビデオ信号においては、垂直方向動
きでも考慮されなければならない。したがって、(4)
式、(6) 式、(7) 式はそれぞれ次のように書直される。
きでも考慮されなければならない。したがって、(4)
式、(6) 式、(7) 式はそれぞれ次のように書直される。
【0037】
【数9】
【0038】(10)式から分かるように、空間フィルター
のインパルス応答は所望の時間軸遮断周波数を有する時
間軸フィルターのインパルス応答から求める。
のインパルス応答は所望の時間軸遮断周波数を有する時
間軸フィルターのインパルス応答から求める。
【0039】詳述すれば、遮断周波数ft c の帯域通過
時間軸フィルターに相当する空間フィルターインパルス
応答hs (x,y)は(11)式のように定義される周波数
領域の空間フィルターインパルス応答Hs (fx ,
fy )を逆フーリエ変換することによって決定する。
時間軸フィルターに相当する空間フィルターインパルス
応答hs (x,y)は(11)式のように定義される周波数
領域の空間フィルターインパルス応答Hs (fx ,
fy )を逆フーリエ変換することによって決定する。
【0040】
【数10】
【0041】(1) 式を参照すれば、ベースバンドスペク
トラムは式fx ・vx +fy ・vy+ft =0と定義さ
れる3次元周波数空間の傾斜した平面上にだけ存在す
る。この傾斜した平面は図4(a) にP3で示されている。
P1とP2はそれぞれ式ft =ft c 、ft =−ft c と定
義される平面である。L1とL2は各々P1とP3,P2 とP3の交
差線である。平面P3上の斜線領域はベースバンドスペク
トラムのうち、時間軸周波数が遮断周波数ft c より少
ない部分を表す。
トラムは式fx ・vx +fy ・vy+ft =0と定義さ
れる3次元周波数空間の傾斜した平面上にだけ存在す
る。この傾斜した平面は図4(a) にP3で示されている。
P1とP2はそれぞれ式ft =ft c 、ft =−ft c と定
義される平面である。L1とL2は各々P1とP3,P2 とP3の交
差線である。平面P3上の斜線領域はベースバンドスペク
トラムのうち、時間軸周波数が遮断周波数ft c より少
ない部分を表す。
【0042】図4(b) には、空間周波数領域上の図4
(a) における斜線部分、すなわち、fx −fy 平面への
投影が示されている。(11)式の空間フィルターインパル
ス応答Hs (fx ,fy )はfx およびfy の値が斜線
領域に属するときの値が1である関数を表す。したがっ
て、遮断周波数ft c を有する時間軸低域通過フィルタ
リングは、空間軸周波数領域上の非斜線領域へのベース
バンドスペクトラムの一部分を除去することと同じであ
る。(11)式から図4(b) のfx c とfy c は(12)式のよ
うに決定される。
(a) における斜線部分、すなわち、fx −fy 平面への
投影が示されている。(11)式の空間フィルターインパル
ス応答Hs (fx ,fy )はfx およびfy の値が斜線
領域に属するときの値が1である関数を表す。したがっ
て、遮断周波数ft c を有する時間軸低域通過フィルタ
リングは、空間軸周波数領域上の非斜線領域へのベース
バンドスペクトラムの一部分を除去することと同じであ
る。(11)式から図4(b) のfx c とfy c は(12)式のよ
うに決定される。
【0043】
【数11】
【0044】連続関数で記載された動き適応空間フィル
タリングは前記のように示される。
タリングは前記のように示される。
【0045】しかし、離散化されたばあいにも、同様の
結果が適用される。(8) 式は(13)式に相応する。
結果が適用される。(8) 式は(13)式に相応する。
【0046】
【数12】
【0047】ここで、nはフレームの数であり、hは長
さが2N+1(Nは正の整数) である低域通過時間軸フィルタ
ーのフィルター係数を表し、lとmは画素の水平および
垂直位置を表す。これに相応する空間フィルタリングは
(14)式で与えられる。
さが2N+1(Nは正の整数) である低域通過時間軸フィルタ
ーのフィルター係数を表し、lとmは画素の水平および
垂直位置を表す。これに相応する空間フィルタリングは
(14)式で与えられる。
【0048】
【数13】
【0049】ここで、hs は大きさが(2L+1)×(2M+1)で
ある2次元空間フィルターのフィルター係数を表す。フ
ィルタリング係数hs は時間軸低域通過フィルターのイ
ンパルス応答により決定される空間フィルターインパル
ス応答Hs を逆変換することによってえられる。
ある2次元空間フィルターのフィルター係数を表す。フ
ィルタリング係数hs は時間軸低域通過フィルターのイ
ンパルス応答により決定される空間フィルターインパル
ス応答Hs を逆変換することによってえられる。
【0050】前述したように、各画素の動きに基づいて
空間領域でフィルタリング動作が行われ、時間軸帯域幅
制限を行うことになる。したがって、動く物体の速度が
大きくなったとき、繰り返されるスペクトラムで発生す
る時間軸エイリアシングは本発明のフィルターにより効
率的に除去されることによって、映像の動く部分に現れ
る視覚的な人工遺物を大幅に減少させることができる。
空間領域でフィルタリング動作が行われ、時間軸帯域幅
制限を行うことになる。したがって、動く物体の速度が
大きくなったとき、繰り返されるスペクトラムで発生す
る時間軸エイリアシングは本発明のフィルターにより効
率的に除去されることによって、映像の動く部分に現れ
る視覚的な人工遺物を大幅に減少させることができる。
【0051】図5には、ビデオ信号の現在フレームの画
素への本発明のフィルタリング過程を要約したフローチ
ャートが示されている。
素への本発明のフィルタリング過程を要約したフローチ
ャートが示されている。
【0052】ステップS1においては、ビデオ信号の現在
画素の動きを表示する動きベクトルを決定する。周波数
領域の空間フィルターインパルス応答Hs (fx ,
fy )はステップS2で(11)式により決定される。
画素の動きを表示する動きベクトルを決定する。周波数
領域の空間フィルターインパルス応答Hs (fx ,
fy )はステップS2で(11)式により決定される。
【0053】ステップS3においては、hs (l,m)が
Hs (fx ,fy )の逆フーリエ変換から決定される。
最後に、現在画素に対するフィルタリングされた結果
は、ステップS4で(14)式により決定される。前記ステッ
プS1〜S4はビデオ信号の全ての画素への繰り返されるこ
とによって、フィルタリングされたビデオ信号をうる。
フィルターインパルス応答は、あらかじめ設定された一
つのセットの候補動きベクトルによりあらかじめ計算し
て貯蔵し、このとき、各々のフィルターインパルス応答
は、(2L+1)×(2M+1)個のフィルター係数を含む。このば
あい、ステップS2とS3の代わりに、ステップS1で決定さ
れた動きベクトルによりだけ空間フィルターhs (l,
m)が選択される。
Hs (fx ,fy )の逆フーリエ変換から決定される。
最後に、現在画素に対するフィルタリングされた結果
は、ステップS4で(14)式により決定される。前記ステッ
プS1〜S4はビデオ信号の全ての画素への繰り返されるこ
とによって、フィルタリングされたビデオ信号をうる。
フィルターインパルス応答は、あらかじめ設定された一
つのセットの候補動きベクトルによりあらかじめ計算し
て貯蔵し、このとき、各々のフィルターインパルス応答
は、(2L+1)×(2M+1)個のフィルター係数を含む。このば
あい、ステップS2とS3の代わりに、ステップS1で決定さ
れた動きベクトルによりだけ空間フィルターhs (l,
m)が選択される。
【0054】図6には、本発明の好ましい実施例による
動き適応フィルタリング方法を用いる映像符号化装置が
開示される。映像符号化装置は、動き適応空間フィルタ
リング回路10と、フィルタリングされたビデオ信号の冗
長性を除去して、伝送可能より処理が容易な大きさで圧
縮する映像符号化器20とを含む。ビデオ信号はビデオ信
号源、たとえば、ビデオカメラ( 図示せず) により発生
して動き適応空間フィルタリング回路10に入力される。
動き適応フィルタリング方法を用いる映像符号化装置が
開示される。映像符号化装置は、動き適応空間フィルタ
リング回路10と、フィルタリングされたビデオ信号の冗
長性を除去して、伝送可能より処理が容易な大きさで圧
縮する映像符号化器20とを含む。ビデオ信号はビデオ信
号源、たとえば、ビデオカメラ( 図示せず) により発生
して動き適応空間フィルタリング回路10に入力される。
【0055】動き適応空間フィルタリング回路10は、(1
4)式によりすでに説明したように、フィルタリング動作
を行う。フィルタリング回路10は、フレーム遅延ブロッ
ク11と、動き推定ブロック12および動き適応空間フィル
タリング(MASF)ブロック13とを含む。フレーム遅延ブロ
ック11はフレームバッファメモリを含み、このメモリに
よりビデオ信号は一つのフレーム間隔だけ遅延される。
遅延されたビデオ信号は以前フレームのビデオ信号とし
て動き推定ブロック12に提供される。
4)式によりすでに説明したように、フィルタリング動作
を行う。フィルタリング回路10は、フレーム遅延ブロッ
ク11と、動き推定ブロック12および動き適応空間フィル
タリング(MASF)ブロック13とを含む。フレーム遅延ブロ
ック11はフレームバッファメモリを含み、このメモリに
よりビデオ信号は一つのフレーム間隔だけ遅延される。
遅延されたビデオ信号は以前フレームのビデオ信号とし
て動き推定ブロック12に提供される。
【0056】動き推定ブロック12は、当該技術分野でよ
く知られているように、フレーム遅延ブロックから入力
されるビデオ信号の以前フレームおよびビデオ信号源か
ら直接入力される現在フレーム信号を受信して、現在フ
レームの各画素に対する動きベクトルを抽出する。抽出
された動きベクトルは順次MASFブロック13と映像符号化
器20に連結される。各画素と関連された動きベクトルを
抽出するために、当該技術分野で知られている多様な動
き推定器が用いられうる。たとえば、シミュレーション
モデル エデュケーショナルグループ(Simulation M
odel Educational Group)により出版された論文「ムー
ビング ピクチャー エキスパーツ グループ ビデオ
シミュレーション モデル スリー(MPEG(Moving Pic
ture Experts Group)Video Simulation Model Three(SM
3)) 」、ISO/IEC/JTC1/SC2/WG11、MPEG90/041(1990 年7
月))に開示された動き推定器が有効に用いられる。
く知られているように、フレーム遅延ブロックから入力
されるビデオ信号の以前フレームおよびビデオ信号源か
ら直接入力される現在フレーム信号を受信して、現在フ
レームの各画素に対する動きベクトルを抽出する。抽出
された動きベクトルは順次MASFブロック13と映像符号化
器20に連結される。各画素と関連された動きベクトルを
抽出するために、当該技術分野で知られている多様な動
き推定器が用いられうる。たとえば、シミュレーション
モデル エデュケーショナルグループ(Simulation M
odel Educational Group)により出版された論文「ムー
ビング ピクチャー エキスパーツ グループ ビデオ
シミュレーション モデル スリー(MPEG(Moving Pic
ture Experts Group)Video Simulation Model Three(SM
3)) 」、ISO/IEC/JTC1/SC2/WG11、MPEG90/041(1990 年7
月))に開示された動き推定器が有効に用いられる。
【0057】MASFブロック13は信号源から現在ビデオフ
レーム信号を動き推定ブロック12から抽出された動きベ
クトルを受信して、前述した通り、空間領域上の現在フ
レーム信号をフィルタリングする。MASFブロック13は多
数の候補動きベクトルによりあらかじめ設定された多数
のフィルター計数群を有するルックアップ表を備える。
レーム信号を動き推定ブロック12から抽出された動きベ
クトルを受信して、前述した通り、空間領域上の現在フ
レーム信号をフィルタリングする。MASFブロック13は多
数の候補動きベクトルによりあらかじめ設定された多数
のフィルター計数群を有するルックアップ表を備える。
【0058】映像符号器20は、MASFブロックからフィル
タリングされた現在ビデオフレーム信号を受信して、フ
ィルタリングされたビデオ信号の冗長性を除去すること
によって、ビデオ信号を伝送するのに好適な大きさに圧
縮する。本発明の好ましい実施例によれば、映像符号器
20は圧縮器22と、伸張器23および動き補償ブロック26と
を含む。圧縮器22は当該技術分野に周知の通り、離散コ
サイン変換(DCT) 回路および量子化回路を用いるが、か
かる回路などは、チェン(Chen)およびプラット(Pratt)
の論文「シーン アダプティブ コーダー(Secne Adapt
ive Coder)」、(アイイーイーイー トランザクション
ズ オン コミュニケーションズ(IEEETransactions o
n Communications 、Vol.COM-32、 No.3(1984年3 月))
に開示されている。一方、伸張器23は逆量子化回路およ
び逆DCT 回路が用いられる。
タリングされた現在ビデオフレーム信号を受信して、フ
ィルタリングされたビデオ信号の冗長性を除去すること
によって、ビデオ信号を伝送するのに好適な大きさに圧
縮する。本発明の好ましい実施例によれば、映像符号器
20は圧縮器22と、伸張器23および動き補償ブロック26と
を含む。圧縮器22は当該技術分野に周知の通り、離散コ
サイン変換(DCT) 回路および量子化回路を用いるが、か
かる回路などは、チェン(Chen)およびプラット(Pratt)
の論文「シーン アダプティブ コーダー(Secne Adapt
ive Coder)」、(アイイーイーイー トランザクション
ズ オン コミュニケーションズ(IEEETransactions o
n Communications 、Vol.COM-32、 No.3(1984年3 月))
に開示されている。一方、伸張器23は逆量子化回路およ
び逆DCT 回路が用いられる。
【0059】予測されたビデオ信号は、動き補償ブロッ
ク26で抽出されて、減算回路21へ提供され、減算回路21
ではフィルタリングされた現在ビデオフレーム信号と予
測されたビデオ信号とのあいだの差分信号を発生する。
発生された差分信号は、圧縮器22により量子化され符
号化されて、符号化されたデータを発生する。符号化さ
れたデータは伝送のために伝送器へ提供され、また、伸
張器23に結合されて差分信号に復元される。この復元さ
れた差分信号は加算回路24で予測されたビデオ信号に加
算されて、符号化される前の現在フレームのビデオ信号
と同一のビデオ信号に復元される。以前フレームは次の
フレームを予測するために、フレーム貯蔵ブロック25を
通じて動き補償ブロック26と結合される。したがって、
差分信号は一般により小さいダイナミック範囲で変動さ
れて、より小さいビットで表現されうるという利点によ
りビット発生率が減少されることになる。
ク26で抽出されて、減算回路21へ提供され、減算回路21
ではフィルタリングされた現在ビデオフレーム信号と予
測されたビデオ信号とのあいだの差分信号を発生する。
発生された差分信号は、圧縮器22により量子化され符
号化されて、符号化されたデータを発生する。符号化さ
れたデータは伝送のために伝送器へ提供され、また、伸
張器23に結合されて差分信号に復元される。この復元さ
れた差分信号は加算回路24で予測されたビデオ信号に加
算されて、符号化される前の現在フレームのビデオ信号
と同一のビデオ信号に復元される。以前フレームは次の
フレームを予測するために、フレーム貯蔵ブロック25を
通じて動き補償ブロック26と結合される。したがって、
差分信号は一般により小さいダイナミック範囲で変動さ
れて、より小さいビットで表現されうるという利点によ
りビット発生率が減少されることになる。
【0060】動き補償ブロック26は以前フレームから現
在フレームを予測するために、動き補償器26a および動
き推定器26b を含む。動き推定器26b は前述のエムピー
イージービデオシミュレーションモデルスリー(MPEG Vi
deo Simulation Model Three(SM3))に開示されるよう
に、ブロック単位処理方法(block by block processin
g) を基本とするブロック整合アルゴリズム(block matc
hing algorithm)を用いる。当該技術分野で知られてい
るとおり、かかるブロック整合アルゴリズムにおいて、
小さいブロックは探索ブロックとして現在フレームから
えられ、大きいブロックは探索領域として以前フレーム
からえられる。このとき、現在フレームは同一の大きさ
の多数の探索ブロックに分けられ、以前フレームは相応
する数の探索領域にも分けられる。探索ブロックと最上
に整合されるブロックの位置を表す探索ブロック変位情
報、すなわち、相応する動きベクトルは動き推定器26b
により決定されて動き補償器26a に入力される。動き補
償器は動きベクトルを受信して、フレーム貯蔵ブロック
25から予測されたビデオ信号を補償する。そのあと、切
り替えられた信号は、差分信号を抽出するために、減算
回路21に伝送される。
在フレームを予測するために、動き補償器26a および動
き推定器26b を含む。動き推定器26b は前述のエムピー
イージービデオシミュレーションモデルスリー(MPEG Vi
deo Simulation Model Three(SM3))に開示されるよう
に、ブロック単位処理方法(block by block processin
g) を基本とするブロック整合アルゴリズム(block matc
hing algorithm)を用いる。当該技術分野で知られてい
るとおり、かかるブロック整合アルゴリズムにおいて、
小さいブロックは探索ブロックとして現在フレームから
えられ、大きいブロックは探索領域として以前フレーム
からえられる。このとき、現在フレームは同一の大きさ
の多数の探索ブロックに分けられ、以前フレームは相応
する数の探索領域にも分けられる。探索ブロックと最上
に整合されるブロックの位置を表す探索ブロック変位情
報、すなわち、相応する動きベクトルは動き推定器26b
により決定されて動き補償器26a に入力される。動き補
償器は動きベクトルを受信して、フレーム貯蔵ブロック
25から予測されたビデオ信号を補償する。そのあと、切
り替えられた信号は、差分信号を抽出するために、減算
回路21に伝送される。
【0061】動き推定ブロック12から抜きだした動きベ
クトルは、フィルタリング過程から発生したビデオ信号
の遅延を補償する遅延ブロック27を通じて映像符号化器
20に連結されて動き推定器26b で動きベクトルを決定す
るのに好適に用いられる。
クトルは、フィルタリング過程から発生したビデオ信号
の遅延を補償する遅延ブロック27を通じて映像符号化器
20に連結されて動き推定器26b で動きベクトルを決定す
るのに好適に用いられる。
【0062】本発明は好ましい実施例について説明した
が、本発明の範囲を逸脱することなく、当業者は種々の
改変をなしうる。
が、本発明の範囲を逸脱することなく、当業者は種々の
改変をなしうる。
【0063】
【発明の効果】本発明によれば、時間軸のエイリアシン
グがなく、ビデオ信号の時間軸帯域幅制限を効果的に行
い、フレーム遅延および相当な量のメモリへの要求を削
減することができる動き適応空間フィルタリング方法を
提供することである。
グがなく、ビデオ信号の時間軸帯域幅制限を効果的に行
い、フレーム遅延および相当な量のメモリへの要求を削
減することができる動き適応空間フィルタリング方法を
提供することである。
【図1】動く物体の速度関数としてベースバンドスペク
トラムの分布を示す図である。
トラムの分布を示す図である。
【図2】時間軸上に固定された時間軸遮断周波数で行っ
た低域通過フィルタリングの結果を示す図である。
た低域通過フィルタリングの結果を示す図である。
【図3】本発明による動き適応空間フィルタリングの結
果を示す図である。
果を示す図である。
【図4】空間領域における本発明のフィルターのインパ
ルス応答を示す図である。
ルス応答を示す図である。
【図5】本発明の動き適応空間フィルタリング方法を説
明するためのフローチャートである。
明するためのフローチャートである。
【図6】本発明の動き適応空間フィルタリング方法を用
いる映像符号化装置を示す概略的なブロック図である。
いる映像符号化装置を示す概略的なブロック図である。
10 動き適応空間フィルタリング回路 11 フレーム遅延ブロック 12 動き推定ブロック 13 動き適応空間フィルタリングブロック 20 映像符号化器 22 圧縮器 23 伸張器 26 動き補償ブロック 27 遅延ブロック
Claims (3)
- 【請求項1】 多数の画素を含むビデオ信号をあらかじ
め設定された時間軸遮断周波数でフィルタリングして、
時間軸帯域幅制限を行う時間軸フィルタリング方法であ
って、 (a) 現在画素の動きを表す動きベクトルを決定するステ
ップと、 (b) 前記決定された動きベクトルと時間軸遮断周波数に
基づいて、空間フィルターインパルス応答を計算するス
テップと、 (c) 周波数領域における空間フィルターインパルス応答
に基づいて、空間領域におけるインパルス応答を決定し
て、ビデオ信号の現在画素へのフィルタリングを行うス
テップと、 (d) ビデオ信号の全ての画素が処理されるまで、前記ス
テップ(a) から(c) を繰り返すステップとを含むことを
特徴とするフィルタリング方法。 - 【請求項2】 多数の画素を含むビデオ信号をあらかじ
め設定された時間軸遮断周波数でフィルタリングして時
間軸帯域幅制限を行う時間軸フィルタリング方法であっ
て、 (b1)多数のあらかじめ設定された候補動きベクトルと時
間軸遮断周波数に基づいて、周波数領域における多数の
空間フィルターインパルス応答を計算するステップと、 (b2)前記周波数領域における多数の空間フィルターイン
パルス応答に基づいて、空間領域における多数のインパ
ルス応答を決定するステップと、 (b3)前記候補動きベクトルのうちの一つを現在画素の動
きを表す動きベクトルとして決定するステップと、 (b4)前記決定された動きベクトルによって前記インパル
ス応答のうちの一つを選択して、ビデオ信号の現在画素
へのフィルタリング動作を行うステップと、 (b5)ビデオ信号の全ての画素が処理されるまで、前記ス
テップ(b3)から(b4)を繰り返すステップとを含むことを
特徴とする時間軸フィルタリング方法。 - 【請求項3】 前記抜き取られたビデオ信号g(l,
m,n)は 【数1】 (ここで、lとmはビデオ信号で画素の位置を表し、n
はフレームの数である。)で表され、インパルス応答h
s (k1,k2) は周波数領域における空間フィルターインパ
ルス応答Hs (fx ,fy ) を逆フーリエ変換して決定
され、該空間フィルターインパルス応答は、 【数2】 (ここで、vx とvy は該当画素の動きベクトルを表
し、ft c は前記時間軸遮断周波数を表し、k1およびk2
はそれぞれLおよびMの値より大きくない絶対値の2次
元フィルターhs の指数であり、正の整数LとMが2次
元フィルターhs の各々の長さを表す)で表される請求
項1または2記載の時間軸フィルタリング方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR93-18870 | 1993-09-17 | ||
KR1019930018870A KR960012932B1 (ko) | 1993-09-17 | 1993-09-17 | 이차원 공간 필터링을 이용한 시간축 대역 제한 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07170519A true JPH07170519A (ja) | 1995-07-04 |
Family
ID=19363869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22376894A Pending JPH07170519A (ja) | 1993-09-17 | 1994-09-19 | 動き適応空間フィルターを用いたビデオ信号の時間軸フィルタリング方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5502510A (ja) |
EP (1) | EP0644696A2 (ja) |
JP (1) | JPH07170519A (ja) |
KR (1) | KR960012932B1 (ja) |
CN (1) | CN1047709C (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5317397A (en) * | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
GB9405799D0 (en) * | 1994-03-24 | 1994-05-11 | Thomson Consumer Electronics | Shaped parabolic correction waveform for curved face plate display tube |
JP3529432B2 (ja) * | 1994-06-30 | 2004-05-24 | 株式会社東芝 | 動画像符号化/復号化装置 |
DE69712836T2 (de) * | 1996-02-19 | 2003-01-16 | Koninkl Philips Electronics Nv | Vorrichtung und verfahren zur videosignalkodierung |
US5768537A (en) * | 1996-02-22 | 1998-06-16 | International Business Machines Corporation | Scalable MPEG2 compliant video encoder |
EP0840514B1 (en) * | 1996-11-04 | 2003-09-24 | Alcatel | Method and apparatus for prefiltering of video images |
US6456328B1 (en) | 1996-12-18 | 2002-09-24 | Lucent Technologies Inc. | Object-oriented adaptive prefilter for low bit-rate video systems |
US6335990B1 (en) | 1997-07-03 | 2002-01-01 | Cisco Technology, Inc. | System and method for spatial temporal-filtering for improving compressed digital video |
DE19737835C2 (de) * | 1997-08-29 | 1999-07-15 | Siemens Ag | Verfahren zum Komprimieren von Bildinformationen |
US6873368B1 (en) * | 1997-12-23 | 2005-03-29 | Thomson Licensing Sa. | Low noise encoding and decoding method |
US7412002B2 (en) * | 2000-04-28 | 2008-08-12 | Texas Instruments Incorporated | Image preprocessing with selective lowpass filtering from motion compensation |
KR20020086937A (ko) * | 2001-01-26 | 2002-11-20 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 시공간 필터 유닛 및 이러한 시공간 필터 유닛을 포함하는영상 디스플레이 장치 |
US6859554B2 (en) * | 2001-04-04 | 2005-02-22 | Mitsubishi Electric Research Laboratories, Inc. | Method for segmenting multi-resolution video objects |
US7110455B2 (en) * | 2001-08-14 | 2006-09-19 | General Instrument Corporation | Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering |
US7164807B2 (en) * | 2003-04-24 | 2007-01-16 | Eastman Kodak Company | Method and system for automatically reducing aliasing artifacts |
US20060182184A1 (en) * | 2005-02-11 | 2006-08-17 | Florent Maheo | Device and method for pre-processing before encoding of a video sequence |
WO2006085725A1 (en) * | 2005-02-14 | 2006-08-17 | Samsung Electronics Co., Ltd. | Video coding and decoding methods with hierarchical temporal filtering structure, and apparatus for the same |
KR100755689B1 (ko) * | 2005-02-14 | 2007-09-05 | 삼성전자주식회사 | 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치 |
US7903733B2 (en) * | 2006-01-26 | 2011-03-08 | Qualcomm Incorporated | Adaptive filtering to enhance video encoder performance |
US8090210B2 (en) * | 2006-03-30 | 2012-01-03 | Samsung Electronics Co., Ltd. | Recursive 3D super precision method for smoothly changing area |
US8311116B2 (en) * | 2008-07-09 | 2012-11-13 | Marvell World Trade Ltd. | Method and apparatus for periodic structure handling for motion compensation |
CN103929150B (zh) * | 2014-03-27 | 2017-02-01 | 苏州大学 | 一种子带自适应滤波器的权值向量更新方法 |
KR102287414B1 (ko) * | 2016-12-23 | 2021-08-06 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 손실 비디오 코딩을 위한 저복잡도 혼합 도메인 협력 인-루프 필터 |
US10638126B2 (en) * | 2017-05-05 | 2020-04-28 | Qualcomm Incorporated | Intra reference filter for video coding |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0263112B1 (en) * | 1986-03-19 | 1992-06-03 | British Broadcasting Corporation | Video signal processing for bandwidth reduction |
JPH07101924B2 (ja) * | 1987-10-26 | 1995-11-01 | パイオニア株式会社 | 映像信号のノイズ除去装置 |
US5111511A (en) * | 1988-06-24 | 1992-05-05 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting apparatus |
FR2636487A1 (fr) * | 1988-09-13 | 1990-03-16 | Labo Electronique Physique | Systeme de traitement d'images |
KR930010359B1 (ko) * | 1991-06-27 | 1993-10-16 | 삼성전자 주식회사 | 영상기록장치 |
US5386249A (en) * | 1992-01-22 | 1995-01-31 | Samsung Electronics Co., Ltd. | Video motion detector with full-band response except for diagonal spatial frequencies |
-
1993
- 1993-09-17 KR KR1019930018870A patent/KR960012932B1/ko not_active IP Right Cessation
-
1994
- 1994-09-16 EP EP19940114620 patent/EP0644696A2/en not_active Withdrawn
- 1994-09-17 CN CN94117400A patent/CN1047709C/zh not_active Expired - Fee Related
- 1994-09-19 US US08/308,238 patent/US5502510A/en not_active Expired - Fee Related
- 1994-09-19 JP JP22376894A patent/JPH07170519A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN1133527A (zh) | 1996-10-16 |
KR950010635A (ko) | 1995-04-28 |
CN1047709C (zh) | 1999-12-22 |
US5502510A (en) | 1996-03-26 |
EP0644696A3 (ja) | 1995-04-19 |
KR960012932B1 (ko) | 1996-09-25 |
EP0644696A2 (en) | 1995-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH07170519A (ja) | 動き適応空間フィルターを用いたビデオ信号の時間軸フィルタリング方法 | |
US4849810A (en) | Hierarchial encoding method and apparatus for efficiently communicating image sequences | |
US5502489A (en) | Method for the motion adaptive spatial filtering of video signals in an image coding apparatus | |
US5796434A (en) | System and method for performing motion estimation in the DCT domain with improved efficiency | |
US8218638B2 (en) | Method and system for optical flow based motion vector estimation for picture rate up-conversion | |
US5760846A (en) | Apparatus for estimating motion vectors for feature points of a video signal | |
US6236764B1 (en) | Image processing circuit and method for reducing a difference between pixel values across an image boundary | |
US6148027A (en) | Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid | |
EP0542261B1 (en) | Method of performing high efficiency coding of image signal and system therefor | |
EP1711019B1 (en) | Motion compensated temporal filtering for noise reduction pre-processing of digital video data | |
US5786856A (en) | Method for adaptive quantization by multiplication of luminance pixel blocks by a modified, frequency ordered hadamard matrix | |
KR100242406B1 (ko) | 디지탈 비디오 동화상의 움직임 보상 방법 | |
US20060088098A1 (en) | Method and arrangement for reducing the volume or rate of an encoded digital video bitstream | |
KR0159559B1 (ko) | 디지탈 화상의 적응적인 후처리 방법 | |
US5621468A (en) | Motion adaptive spatio-temporal filtering of video signals | |
US5675386A (en) | Method for encoding motion image and apparatus therefor | |
US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
JPH09502840A (ja) | テレビ画像サブバンド両立式符号化用エンコーダ/デコーダ及びツリー構造による階層的運動符号化へのその応用 | |
EP0720373A1 (en) | Method and apparatus for encoding a video signal using region-based motion vectors | |
JPH03167962A (ja) | ブロック歪み改善方式 | |
JPH07264596A (ja) | 映像符号化装置 | |
KR100229795B1 (ko) | 개선된 영상 복호화 시스템 | |
Young et al. | Video compression using lapped transforms for motion estimation compensation and coding | |
JP3579467B2 (ja) | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 | |
KR100229533B1 (ko) | 개선된 영상 복호화 시스템 |