JPH08125886A - ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 - Google Patents
ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法Info
- Publication number
- JPH08125886A JPH08125886A JP24982694A JP24982694A JPH08125886A JP H08125886 A JPH08125886 A JP H08125886A JP 24982694 A JP24982694 A JP 24982694A JP 24982694 A JP24982694 A JP 24982694A JP H08125886 A JPH08125886 A JP H08125886A
- Authority
- JP
- Japan
- Prior art keywords
- filtering
- target
- frame
- pixel
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 156
- 230000033001 locomotion Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000006978 adaptation Effects 0.000 title 1
- 238000012905 input function Methods 0.000 claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 26
- 230000003044 adaptive effect Effects 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000001228 spectrum Methods 0.000 description 17
- 230000002123 temporal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006854 communication Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Abstract
(57)【要約】
【目的】 時間軸エイリアシングを誘発せず、ビデオ信
号の時間軸帯域制限を効果的に行なうことができる、動
き適応時空間軸フィルタリングの装置および方法を提供
する。 【構成】 フィルタリング入力フレームに含まれる各々
の画素に対する動きベクトルを推定する動き推定器２０
と、ターゲットフレームに含まれるターゲット画素への
フィルタリング入力関数を決定するフィルタリング入力
フォーマッター４０と、あらかじめ設定されたフィルタ
ーインパルス応答とフィルタリング入力関数のコンボル
ーションを行なってターゲットフレームのターゲット画
素へのフィルタリングデータを求めるフィルタリング計
算器５０とを含む。
号の時間軸帯域制限を効果的に行なうことができる、動
き適応時空間軸フィルタリングの装置および方法を提供
する。 【構成】 フィルタリング入力フレームに含まれる各々
の画素に対する動きベクトルを推定する動き推定器２０
と、ターゲットフレームに含まれるターゲット画素への
フィルタリング入力関数を決定するフィルタリング入力
フォーマッター４０と、あらかじめ設定されたフィルタ
ーインパルス応答とフィルタリング入力関数のコンボル
ーションを行なってターゲットフレームのターゲット画
素へのフィルタリングデータを求めるフィルタリング計
算器５０とを含む。
Description
【０００１】
【産業上の利用分野】本発明は、ビデオ信号を時間軸フ
ィルタリングする方法および装置に関し、とくに、映像
符号化装置で使われる動き適応時空間軸フィルタリング
（MASTF:Motion Adaptive Spatio-Temporal Filter）と
して、時間軸エイリアシング（aliasing）の影響を招く
ことなく時間軸の帯域制限を達成し、向上された画質が
えられるフィルタリングの装置および方法に関する。
ィルタリングする方法および装置に関し、とくに、映像
符号化装置で使われる動き適応時空間軸フィルタリング
（MASTF:Motion Adaptive Spatio-Temporal Filter）と
して、時間軸エイリアシング（aliasing）の影響を招く
ことなく時間軸の帯域制限を達成し、向上された画質が
えられるフィルタリングの装置および方法に関する。
【０００２】
【従来の技術】ビデオホン（video-phone)、画像会議
（teleconference）や高品位テレビ（high definition
television system ）のようなディジタル映像処理シス
テムでは、映像信号の各フレームを定める多くの量の離
散データを減らすために、多様なデータ圧縮技法が利用
されている。かかる圧縮技法では、たとえば、離散的コ
サイン変換を利用した変換符号化技法や二つの一連のフ
レーム間の時間軸上の関連を利用する動き補償符号化技
法などがある。
（teleconference）や高品位テレビ（high definition
television system ）のようなディジタル映像処理シス
テムでは、映像信号の各フレームを定める多くの量の離
散データを減らすために、多様なデータ圧縮技法が利用
されている。かかる圧縮技法では、たとえば、離散的コ
サイン変換を利用した変換符号化技法や二つの一連のフ
レーム間の時間軸上の関連を利用する動き補償符号化技
法などがある。
【０００３】データ圧縮過程を効果的に行なうために、
本技術分野において利用されている大部分の実時間映像
符号化装置などはフィルタリングとフレームレート減少
のための前処理過程の一部として多様なフィルターを利
用している。
本技術分野において利用されている大部分の実時間映像
符号化装置などはフィルタリングとフレームレート減少
のための前処理過程の一部として多様なフィルターを利
用している。
【０００４】かかるフィルターは、時間軸ノイズを除去
または軽減し、帯域制限を施すことによって画質および
符号化を効果的に改善する。
または軽減し、帯域制限を施すことによって画質および
符号化を効果的に改善する。
【０００５】そのような先行技術装置がエリック デュ
ボイス（Eric Dubois ）らの論文、すなわち、「ノイズ
リダクション イン イメージ シーケンス ユージ
ングモーション−コンペンセイティッド テンポラル
フィルタリング（Noise Reduction in Image Sequences
Using Motion-Compensated Temporal Filtering）」、
アイ イー イー イー トランザクションズ オン
コミュニケーションズ（IEEE Transactions on Communi
cations ）、COM-32、No.7、826 〜831 頁（1984年７
月）に開示されており、このような装置は初期の信号発
生および手作業で発生しうるノイズ成分などを減らすた
めに非線形繰り返し（recursive ）時間軸フィルターを
利用する。このような時間軸フィルターは動き補償技法
を利用して動き軌跡に沿って、時間軸上でフィルタリン
グを行なって、映像の詳細な部分を変更せず、動く領域
のノイズ成分を減少させる。
ボイス（Eric Dubois ）らの論文、すなわち、「ノイズ
リダクション イン イメージ シーケンス ユージ
ングモーション−コンペンセイティッド テンポラル
フィルタリング（Noise Reduction in Image Sequences
Using Motion-Compensated Temporal Filtering）」、
アイ イー イー イー トランザクションズ オン
コミュニケーションズ（IEEE Transactions on Communi
cations ）、COM-32、No.7、826 〜831 頁（1984年７
月）に開示されており、このような装置は初期の信号発
生および手作業で発生しうるノイズ成分などを減らすた
めに非線形繰り返し（recursive ）時間軸フィルターを
利用する。このような時間軸フィルターは動き補償技法
を利用して動き軌跡に沿って、時間軸上でフィルタリン
グを行なって、映像の詳細な部分を変更せず、動く領域
のノイズ成分を減少させる。
【０００６】他の先行技術の装置は、ウォン−シング
チェン（Won-Hsing Chen）らの論文、「リカーシブ テ
ンポラル フィルタリング アンド フレーム レート
リダクション フォー イメージ コーディング（Re
cursive Temporal Filteringand Frame Rate Reduction
for Image Coding）」、アイ イー イー イージャ
ーナル オン セレクテッド エアリアズ イン コミ
ュニケーションズ（IEEE Journal on Selected Areas i
n Communications）、SAC-5 、1155〜1165頁（1987年８
月）に開示されている。かかる先行技術の装置は繰り返
し時間軸フィルターを利用して、繰り返しフィルタリン
グを行なってフレーム発生率を減少させる。またかかる
フィルターは時間軸エリアに適用されるばあい、フレー
ム間の入力ノイズを減らすことができるので、画質を改
善させる役目をする。
チェン（Won-Hsing Chen）らの論文、「リカーシブ テ
ンポラル フィルタリング アンド フレーム レート
リダクション フォー イメージ コーディング（Re
cursive Temporal Filteringand Frame Rate Reduction
for Image Coding）」、アイ イー イー イージャ
ーナル オン セレクテッド エアリアズ イン コミ
ュニケーションズ（IEEE Journal on Selected Areas i
n Communications）、SAC-5 、1155〜1165頁（1987年８
月）に開示されている。かかる先行技術の装置は繰り返
し時間軸フィルターを利用して、繰り返しフィルタリン
グを行なってフレーム発生率を減少させる。またかかる
フィルターは時間軸エリアに適用されるばあい、フレー
ム間の入力ノイズを減らすことができるので、画質を改
善させる役目をする。
【０００７】ケイ・ジェイ クリース（K.J Klees ）に
付与された米国特許第4,694,342 号明細書には空間軸フ
ィルターを利用するさらに他の装置が開示されている。
かかる空間軸フィルターは繰り返し的または非繰り返し
的に動作してビデオ映像内のノイズを除去する一方、実
質的にビデオ映像の詳細な部分を保持するようになって
いる。したがって、かかるフィルターはあらかじめ設定
され、フィルターされた出力画素値とあらかじめ設定さ
れたフィードバック画素値を格納するルックアップ表
（Look-up table ）を含んで、入力される映像の一部は
映像の詳細な部分を保持するために、非繰り返し的にフ
ィルターされる反面、映像の他の部分はノイズを除去す
るために繰り返し的にフィルターされる。
付与された米国特許第4,694,342 号明細書には空間軸フ
ィルターを利用するさらに他の装置が開示されている。
かかる空間軸フィルターは繰り返し的または非繰り返し
的に動作してビデオ映像内のノイズを除去する一方、実
質的にビデオ映像の詳細な部分を保持するようになって
いる。したがって、かかるフィルターはあらかじめ設定
され、フィルターされた出力画素値とあらかじめ設定さ
れたフィードバック画素値を格納するルックアップ表
（Look-up table ）を含んで、入力される映像の一部は
映像の詳細な部分を保持するために、非繰り返し的にフ
ィルターされる反面、映像の他の部分はノイズを除去す
るために繰り返し的にフィルターされる。
【０００８】
【発明が解決しようとする課題】一方、前記した先行技
術装置などが、動き軌跡に沿って行なわれる低域通過フ
ィルタリング技法を用いることによって、映像の詳細な
部分を変化させず、動くエリア内のノイズを減らすこと
ができるが、このような方法は高速の動きエリア内では
人工遺物（visual artifacts）を起こすことがある。そ
の結果、時間軸帯域制限用または時間軸上エイリアシン
グに基づいた人工遺物を除去する用途としては不適であ
る。隣接したスペクトルがエイリアシング成分を含むば
あいには映像に可視的な人工遺物が発生する。とくに空
間軸高周波成分からなる動くエリアなどは実際速度と感
知速度が異なるなど視覚的効果に相当なゆがみを招来す
る（distort ）。
術装置などが、動き軌跡に沿って行なわれる低域通過フ
ィルタリング技法を用いることによって、映像の詳細な
部分を変化させず、動くエリア内のノイズを減らすこと
ができるが、このような方法は高速の動きエリア内では
人工遺物（visual artifacts）を起こすことがある。そ
の結果、時間軸帯域制限用または時間軸上エイリアシン
グに基づいた人工遺物を除去する用途としては不適であ
る。隣接したスペクトルがエイリアシング成分を含むば
あいには映像に可視的な人工遺物が発生する。とくに空
間軸高周波成分からなる動くエリアなどは実際速度と感
知速度が異なるなど視覚的効果に相当なゆがみを招来す
る（distort ）。
【０００９】したがって、効率的な時間軸上の帯域制限
を行なうためには、エイリアシングの影響を受けないフ
ィルターが要求されてきた。
を行なうためには、エイリアシングの影響を受けないフ
ィルターが要求されてきた。
【００１０】したがって、本発明の主な目的は、時間軸
エイリアシングを誘発せず、ビデオ信号の時間軸帯域制
限を効果的に行なうことができる、動き適応時空間軸フ
ィルタリングの装置および方法を提供して画質を向上す
るものである。
エイリアシングを誘発せず、ビデオ信号の時間軸帯域制
限を効果的に行なうことができる、動き適応時空間軸フ
ィルタリングの装置および方法を提供して画質を向上す
るものである。
【００１１】
【課題を解決するめの手段】前記目的を達成するため
に、本発明によると、ビデオ信号をあらかじめ設定され
た時間軸遮断周波数でフィルターされて時間軸帯域制限
を行なうことによって、ビデオ信号の各画素に対するフ
ィルターされたデータを提供する装置であって、前記ビ
デオ信号は、ターゲットフレーム（target frame）とタ
ーゲットフレームのあらかじめ設定された数の以前フレ
ームと以後フレームを含む多数のフィルタリング入力フ
レームを含んで、各フィルタリング入力フレームは多数
の画素を含むフィルタリング装置であって、ビデオ信号
の各フレームのターゲット画素に対する動きを表わす多
数の動きベクトルを推定する手段と、ターゲットフレー
ムに含まれたターゲット画素に対するフィルタリング入
力関数を決定する装置であって、前記フィルタリング入
力関数は多数のフィルタリング入力データを含んで、各
群のフィルタリング入力データを、多数のフィルタリン
グ入力フレーム各々で、ターゲット画素位置にある画素
の動き軌跡上で、ターゲット画素位置の画素の動きベク
トルに基づいて求める手段と、あらかじめ設定されたフ
ィルタリングインパルス応答とフィルタリング入力関数
のコンボルーション（convolution ）を施すことによっ
て、時間軸エイリアシングなく所定のバンド幅を有する
フィルターされたビデオ信号をうる手段とを含むフィル
タリング装置が提供される。
に、本発明によると、ビデオ信号をあらかじめ設定され
た時間軸遮断周波数でフィルターされて時間軸帯域制限
を行なうことによって、ビデオ信号の各画素に対するフ
ィルターされたデータを提供する装置であって、前記ビ
デオ信号は、ターゲットフレーム（target frame）とタ
ーゲットフレームのあらかじめ設定された数の以前フレ
ームと以後フレームを含む多数のフィルタリング入力フ
レームを含んで、各フィルタリング入力フレームは多数
の画素を含むフィルタリング装置であって、ビデオ信号
の各フレームのターゲット画素に対する動きを表わす多
数の動きベクトルを推定する手段と、ターゲットフレー
ムに含まれたターゲット画素に対するフィルタリング入
力関数を決定する装置であって、前記フィルタリング入
力関数は多数のフィルタリング入力データを含んで、各
群のフィルタリング入力データを、多数のフィルタリン
グ入力フレーム各々で、ターゲット画素位置にある画素
の動き軌跡上で、ターゲット画素位置の画素の動きベク
トルに基づいて求める手段と、あらかじめ設定されたフ
ィルタリングインパルス応答とフィルタリング入力関数
のコンボルーション（convolution ）を施すことによっ
て、時間軸エイリアシングなく所定のバンド幅を有する
フィルターされたビデオ信号をうる手段とを含むフィル
タリング装置が提供される。
【００１２】本発明のフィルタリング方法は、ビデオ信
号をあらかじめ設定された時間軸遮断周波数でフィルタ
リングして時間軸帯域制限を行なうことによって、ビデ
オ信号の各画素へのフィルタリングのデータを提供する
方法であって、前記のビデオ信号はターゲットフレーム
とターゲットフレームのあらかじめ設定された数の以前
フレームと以後フレームとを含む多数のフィルタリング
入力フレームを含んで、各フィルタリング入力フレーム
は多数の画素を含むフィルタリング方法であって、ビデ
オ信号の各フレームでターゲット画素位置の各々の画素
への動きを表わす多数の動きベクトルを推定するステッ
プと、ターゲット画素へのフィルタリング入力関数を決
定するステップであって、前記フィルタリング入力関数
は多数の群のフィルタリング入力データを含んで、各群
のフィルタリング入力データを、多数のフィルタリング
入力フレームの各々で、ターゲット画素位置にある画素
の動き軌跡上で、ターゲット画素位置の画素の動きベク
トルに基づいて求めるステップと、あらかじめ設定され
たフィルターインパルス応答とフィルタリング入力関数
のコンボルーションを行なって、ターゲットフレームの
ターゲット画素へのフィルタリングのデータを求めるス
テップとを含むことを特徴とする。
号をあらかじめ設定された時間軸遮断周波数でフィルタ
リングして時間軸帯域制限を行なうことによって、ビデ
オ信号の各画素へのフィルタリングのデータを提供する
方法であって、前記のビデオ信号はターゲットフレーム
とターゲットフレームのあらかじめ設定された数の以前
フレームと以後フレームとを含む多数のフィルタリング
入力フレームを含んで、各フィルタリング入力フレーム
は多数の画素を含むフィルタリング方法であって、ビデ
オ信号の各フレームでターゲット画素位置の各々の画素
への動きを表わす多数の動きベクトルを推定するステッ
プと、ターゲット画素へのフィルタリング入力関数を決
定するステップであって、前記フィルタリング入力関数
は多数の群のフィルタリング入力データを含んで、各群
のフィルタリング入力データを、多数のフィルタリング
入力フレームの各々で、ターゲット画素位置にある画素
の動き軌跡上で、ターゲット画素位置の画素の動きベク
トルに基づいて求めるステップと、あらかじめ設定され
たフィルターインパルス応答とフィルタリング入力関数
のコンボルーションを行なって、ターゲットフレームの
ターゲット画素へのフィルタリングのデータを求めるス
テップとを含むことを特徴とする。
【００１３】
【実施例】ビデオ信号は、一般に水平、垂直および時間
軸の３次元連続関数ｆ3 （ｘ、ｙ、ｔ）で表示される。
動きがある映像で短い時間間隔のあいだ動く物体を観察
すると、動く物体が速度υ＝（υx 、υy ）の等速、剛
体、並進運動を行なうと仮定するとき、連続ビデオ信号
のフリーエ変換Ｆ3 （・）は次式（１）のように表わさ
れる。
軸の３次元連続関数ｆ3 （ｘ、ｙ、ｔ）で表示される。
動きがある映像で短い時間間隔のあいだ動く物体を観察
すると、動く物体が速度υ＝（υx 、υy ）の等速、剛
体、並進運動を行なうと仮定するとき、連続ビデオ信号
のフリーエ変換Ｆ3 （・）は次式（１）のように表わさ
れる。
【００１４】 Ｆ3 （ｆx ，ｆy ，ｆt ） ＝ Ｆ2 （ｆx ，ｆy ）・δ（ｆx υx ＋ｆy υy ＋ｆt ） （１） ここで、Ｆ3 （・）、Ｆ2 （・）は映像の３次元、２次
元スペクトルを各々表わし、δ（ｆx υx ＋ｆy υy ＋
ｆt ）はｆx υx ＋ｆy υy ＋ｆt ＝０で定義された３
次元周波数空間上の斜めになった平面を表わすので、映
像信号の基底スペクトルは２次元周波数平面上のみ存在
する。式（１）はアール・エー・エフ・ベルフォー（R.
A.F.Belfor）らの論文「モーション コンペンセイテッ
ド サブサンプリング オブ エイチディティヴィ（Mo
tion Compensated Subsampling ofHDTV）」、SPIE．160
5、ビジュアル コミュニケーションズ アンド イメ
ージプロセシング（Visual Communications and Image
Processing）、91、274 〜284 頁（1991年）に開示され
ている。ベースバンドスペクトルの位置から時空間軸帯
域を予測することができる。すなわち、
元スペクトルを各々表わし、δ（ｆx υx ＋ｆy υy ＋
ｆt ）はｆx υx ＋ｆy υy ＋ｆt ＝０で定義された３
次元周波数空間上の斜めになった平面を表わすので、映
像信号の基底スペクトルは２次元周波数平面上のみ存在
する。式（１）はアール・エー・エフ・ベルフォー（R.
A.F.Belfor）らの論文「モーション コンペンセイテッ
ド サブサンプリング オブ エイチディティヴィ（Mo
tion Compensated Subsampling ofHDTV）」、SPIE．160
5、ビジュアル コミュニケーションズ アンド イメ
ージプロセシング（Visual Communications and Image
Processing）、91、274 〜284 頁（1991年）に開示され
ている。ベースバンドスペクトルの位置から時空間軸帯
域を予測することができる。すなわち、
【００１５】
【外２】
【００１６】ならびに速度成分υx およびυy の相関は
式（１）式から次式（２）のようになる。
式（１）式から次式（２）のようになる。
【００１７】
【数３】
【００１８】
【外３】
【００１９】各々ｘとｙ方向の空間軸帯域幅成分を表わ
す。式（２）によると、時間軸帯域幅は動く物体の速度
に比例することになる。または、時間軸帯域幅が固定さ
れるばあい、空間軸帯域幅は、動く物体の速度に逆比例
することになる。
す。式（２）によると、時間軸帯域幅は動く物体の速度
に比例することになる。または、時間軸帯域幅が固定さ
れるばあい、空間軸帯域幅は、動く物体の速度に逆比例
することになる。
【００２０】フィルタリングへのビデオ信号は空間およ
び時間軸サンプリング周波数によりサンプリングされる
ので、サンプリングのビデオ信号は３次元サンプリング
データすなわち、画素として表示される。したがって、
連続関数ｆ3 （・）のサンプリングは連続関数ｆ
3 （ｘ、ｙ、ｔ）とデルタ関数の３次元アレー（array)
の積で表示されうる。また画素などのスペクトル分布は
連続関数ｆ3 （・）フリーエ変換およびデルタ関数のコ
ンボルーションにより与えられる。その結果、画素のス
ペクトルはデルタ関数の特性によってサンプリング周波
数間隔で複製される。
び時間軸サンプリング周波数によりサンプリングされる
ので、サンプリングのビデオ信号は３次元サンプリング
データすなわち、画素として表示される。したがって、
連続関数ｆ3 （・）のサンプリングは連続関数ｆ
3 （ｘ、ｙ、ｔ）とデルタ関数の３次元アレー（array)
の積で表示されうる。また画素などのスペクトル分布は
連続関数ｆ3 （・）フリーエ変換およびデルタ関数のコ
ンボルーションにより与えられる。その結果、画素のス
ペクトルはデルタ関数の特性によってサンプリング周波
数間隔で複製される。
【００２１】図１Ａ、１Ｂおよび１Ｃには、各々動く物
体の速度υx が１画素／フレーム間隔、２画素／フレー
ム間隔および３画素／フレーム間隔であるときのベース
バンドスペクトル分布が示される。同図で、実線はベー
スバンドスペクトルの繰り返しを示し、時間軸サンプリ
ング周波数は１で正規化され、空間軸（ｘ方向）および
時間軸周波数はｆx とｆt で表示される。
体の速度υx が１画素／フレーム間隔、２画素／フレー
ム間隔および３画素／フレーム間隔であるときのベース
バンドスペクトル分布が示される。同図で、実線はベー
スバンドスペクトルの繰り返しを示し、時間軸サンプリ
ング周波数は１で正規化され、空間軸（ｘ方向）および
時間軸周波数はｆx とｆt で表示される。
【００２２】動く物体の画素Ａの動きにより、図１Ａに
示したようにベースバンドスペクトルは空間周波数軸か
ら斜めになる。図１Ａ、１Ｂおよび１Ｃに示したように
斜めの角度θは速度が増加することによって増加する。
このような勾配になる理由は式（２）から知られるよう
に、ビデオ信号の一つの画素において時間軸周波数を考
慮するとき、時空間軸周波数領域のスペクトル分布は空
間軸周波数と動く物体の速度の積で表示されるので、動
く物体の速度が大きければ、大きいほどさらに高い時間
軸周波数を発生させるのである。
示したようにベースバンドスペクトルは空間周波数軸か
ら斜めになる。図１Ａ、１Ｂおよび１Ｃに示したように
斜めの角度θは速度が増加することによって増加する。
このような勾配になる理由は式（２）から知られるよう
に、ビデオ信号の一つの画素において時間軸周波数を考
慮するとき、時空間軸周波数領域のスペクトル分布は空
間軸周波数と動く物体の速度の積で表示されるので、動
く物体の速度が大きければ、大きいほどさらに高い時間
軸周波数を発生させるのである。
【００２３】すなわち、図１Ａ、図１Ｂおよび図１Ｃに
示したように動く物体の速度が増加するとエイリアシン
グが発生する。例として、図１Ａに示したように、１画
素／フレーム間隔がエイリアシングを発生させないよう
な臨界速度と見做された。繰り返されたスペクトルがエ
イリアシング成分を含むばあい、映像には人工遺物が起
こることになる。とくに、空間軸高周波成分からなる動
き領域で実際速度と感知速度が異なるなどの視覚的効果
に相当なゆがみが与えられる。したがって、効率的な時
間軸帯域制限のためには、かかるエイリアシングの影響
を受けないようにするフィルターを設計する必要があ
る。
示したように動く物体の速度が増加するとエイリアシン
グが発生する。例として、図１Ａに示したように、１画
素／フレーム間隔がエイリアシングを発生させないよう
な臨界速度と見做された。繰り返されたスペクトルがエ
イリアシング成分を含むばあい、映像には人工遺物が起
こることになる。とくに、空間軸高周波成分からなる動
き領域で実際速度と感知速度が異なるなどの視覚的効果
に相当なゆがみが与えられる。したがって、効率的な時
間軸帯域制限のためには、かかるエイリアシングの影響
を受けないようにするフィルターを設計する必要があ
る。
【００２４】図２には、
【００２５】
【外４】
【００２６】時間軸領域で低域通過フィルタリングを行
なった結果が示されている。かかる時間軸フィルタリン
グを行なうために、第１に、ベースバンドスペクトルは
空間軸エイリアシング成分を有しなく、第２に、簡略化
のために等速度の水平方向動き（ｘ軸方向）のみが存在
すると仮定した。図２でフィルタリングの結果は隣接ス
ペクトルの空間軸の高周波成分Ｂを含むが、これが時間
軸エイリアシングの効果をもたらす。すなわち、空間軸
高周波成分は隣接スペクトルに影響を与える。言い換え
れば、隣接スペクトル間の攪乱が画面上に表われる。
なった結果が示されている。かかる時間軸フィルタリン
グを行なうために、第１に、ベースバンドスペクトルは
空間軸エイリアシング成分を有しなく、第２に、簡略化
のために等速度の水平方向動き（ｘ軸方向）のみが存在
すると仮定した。図２でフィルタリングの結果は隣接ス
ペクトルの空間軸の高周波成分Ｂを含むが、これが時間
軸エイリアシングの効果をもたらす。すなわち、空間軸
高周波成分は隣接スペクトルに影響を与える。言い換え
れば、隣接スペクトル間の攪乱が画面上に表われる。
【００２７】式（１）および式（２）から知られるよう
に、空間（垂直および水平成分を含み）および時間軸周
波数ｆs およびｆt は次式（３）の関係にある。
に、空間（垂直および水平成分を含み）および時間軸周
波数ｆs およびｆt は次式（３）の関係にある。
【００２８】
【数４】
【００２９】ここで、空間軸周波数ｆs はｆx −ｆy 平
面上で定義される。式（３）では時間軸帯域幅を制限す
るために時間軸周波数ｆt が設定されるばあい、空間軸
周波数は動く物体の速度に逆比例することが分かる。
面上で定義される。式（３）では時間軸帯域幅を制限す
るために時間軸周波数ｆt が設定されるばあい、空間軸
周波数は動く物体の速度に逆比例することが分かる。
【００３０】ｈ（・）が低域通過インパルス応答で、簡
略化のために水平方向動き（ｘ軸方向）のみ存在すると
仮定すると、時間軸に低域制限されたビデオ信号ｇ
（ｘ，ｔ）は次式（４）のようになる。
略化のために水平方向動き（ｘ軸方向）のみ存在すると
仮定すると、時間軸に低域制限されたビデオ信号ｇ
（ｘ，ｔ）は次式（４）のようになる。
【００３１】
【数５】
【００３２】ここで、線形位相フィルター（linear pha
se filter ）がフィルター応答の群遅延（group-delay
）の影響を減少するために使用される。速度υ＝（υ
x 、υy ）の水平方向の等速、剛体、並進運動を行なう
という仮定の下に、フィルタリング入力関数は次式
（５）のようになる。
se filter ）がフィルター応答の群遅延（group-delay
）の影響を減少するために使用される。速度υ＝（υ
x 、υy ）の水平方向の等速、剛体、並進運動を行なう
という仮定の下に、フィルタリング入力関数は次式
（５）のようになる。
【００３３】 ｆ（ｘ，ｔ−τ） ＝ ｆ（ｘ＋υx τ，ｔ） （５） 上記式（５）から時間軸上の入力関数が動き軌跡による
空間軸上の入力関数で置き換えられうることが分かる。
したがって、式（４）は次式（６）ように書き直しう
る。
空間軸上の入力関数で置き換えられうることが分かる。
したがって、式（４）は次式（６）ように書き直しう
る。
【００３４】
【数６】
【００３５】なお、実際のビデオ信号のばあい、等速、
剛体、並進運動の仮定は有効ではないばあいが多い。さ
らに、動く物体が無いばあいでも、ビデオ信号の各々の
画素値は、時間による光源の変化とビデオカメラなどの
ビデオ信号源の変化で経時によって変化する。そんなば
あい、上記式（５）は短い時間に対してのみ有効で、次
式（７）のように書き直しうる。
剛体、並進運動の仮定は有効ではないばあいが多い。さ
らに、動く物体が無いばあいでも、ビデオ信号の各々の
画素値は、時間による光源の変化とビデオカメラなどの
ビデオ信号源の変化で経時によって変化する。そんなば
あい、上記式（５）は短い時間に対してのみ有効で、次
式（７）のように書き直しうる。
【００３６】 ｆ（ｘ，ｔ−（ｋ＋ｌ）Δｔ） ＝ ｆ（ｘ＋υx （ｔ−ｋΔｔ）・Δｔ，ｔ−ｋΔｔ） （７） ここで、Δｔはフレーム間隔などの短い時間を示し、ｋ
は整数である。
は整数である。
【００３７】上記式（７）により式（６）は次式（８）
のように書き直しうる。
のように書き直しうる。
【００３８】
【数７】
【００３９】上記式（８）から式（４）の時間軸フィル
タリングがフィルタリング入力関数をｆ（・）とする時
空間軸フィルタリングによって具現されることが分か
る。式（８）は連続関数に記載された動き適応時空間軸
フィルタリングである。
タリングがフィルタリング入力関数をｆ（・）とする時
空間軸フィルタリングによって具現されることが分か
る。式（８）は連続関数に記載された動き適応時空間軸
フィルタリングである。
【００４０】しかしながら、離散化されたばあいにも類
似な結果が適用され、このとき、積分は和と置き換えら
れ、ｄτはΔτとｊにより表わされる。上記式（８）は
次式（９）に相当する。
似な結果が適用され、このとき、積分は和と置き換えら
れ、ｄτはΔτとｊにより表わされる。上記式（８）は
次式（９）に相当する。
【００４１】
【数８】
【００４２】ここで、ｎはフレーム指数を示し、速度と
フィルタリング位置はベクトルυとｘで表わされ、（２
Ｎ＋ｌ）×Ｌ個のフィルター係数に構成されたフィルタ
ーインパルス応答ｈ（・）は時間軸遮断周波数とあらか
じめ設定された数Ｎ、Ｌにより決定される（ただし、
Ｎ、Ｌは正の整数である）。画素間距離をΔｘで示す
と、Δｘは｜υ（・）・Δτ｜≦｜Δｘ｜を満たすよう
に選択される（Δτがこの条件を満たさないと空間軸エ
イリアシングが起こることもある）。
フィルタリング位置はベクトルυとｘで表わされ、（２
Ｎ＋ｌ）×Ｌ個のフィルター係数に構成されたフィルタ
ーインパルス応答ｈ（・）は時間軸遮断周波数とあらか
じめ設定された数Ｎ、Ｌにより決定される（ただし、
Ｎ、Ｌは正の整数である）。画素間距離をΔｘで示す
と、Δｘは｜υ（・）・Δτ｜≦｜Δｘ｜を満たすよう
に選択される（Δτがこの条件を満たさないと空間軸エ
イリアシングが起こることもある）。
【００４３】したがって、上記式（９）から分かるよう
に、時間軸帯域制限は時空間軸フィルタリングすなわ
ち、フィルタリング入力関数を時間領域と空間領域で取
った低域通過フィルタリングにより具現されうる。
に、時間軸帯域制限は時空間軸フィルタリングすなわ
ち、フィルタリング入力関数を時間領域と空間領域で取
った低域通過フィルタリングにより具現されうる。
【００４４】一方、ΔＴがフレーム間隔であると、ＬΔ
τはΔＴと同一で、υ（・）・ΔＴは２つの隣接するフ
レーム間の画素の変位を表示する動きベクトルＤ（・）
と同一である。このとき、上記式（９）は次式（10）の
ように変換される。
τはΔＴと同一で、υ（・）・ΔＴは２つの隣接するフ
レーム間の画素の変位を表示する動きベクトルＤ（・）
と同一である。このとき、上記式（９）は次式（10）の
ように変換される。
【００４５】
【数９】
【００４６】ここで、Ｌは｜Ｄ（・）｜≦｜Δｘ｜・Ｌ
を満たすように選択された（この条件は前記の条件｜υ
（・）・Δτ｜≦｜Δｘ｜に当たるものである。したが
って、Ｌがこの条件を満たさないと、空間軸エイリアシ
ングが起こることもある）。上記式（10）は式（９）を
具現したものである。時間軸帯域制限がフィルタリング
入力関数ｆ（・）に対する低域通過フィルタリングであ
る時空間フィルタリングにより具現されるが、フィルタ
リング入力関数ｆ（・）は多数の、たとえば、（２Ｎ＋
１）のフィルタリング入力データ群を含んで、各入力デ
ータ群はビデオ信号の当該フレームの画素値からえたあ
らかじめ設定された（たとえば、Ｌ個の）入力データを
含む。式（10）においてビデオ信号の（ｎ−ｊ）番目の
フレームからのフィルタリング入力データの位置を表わ
す
を満たすように選択された（この条件は前記の条件｜υ
（・）・Δτ｜≦｜Δｘ｜に当たるものである。したが
って、Ｌがこの条件を満たさないと、空間軸エイリアシ
ングが起こることもある）。上記式（10）は式（９）を
具現したものである。時間軸帯域制限がフィルタリング
入力関数ｆ（・）に対する低域通過フィルタリングであ
る時空間フィルタリングにより具現されるが、フィルタ
リング入力関数ｆ（・）は多数の、たとえば、（２Ｎ＋
１）のフィルタリング入力データ群を含んで、各入力デ
ータ群はビデオ信号の当該フレームの画素値からえたあ
らかじめ設定された（たとえば、Ｌ個の）入力データを
含む。式（10）においてビデオ信号の（ｎ−ｊ）番目の
フレームからのフィルタリング入力データの位置を表わ
す
【００４７】
【外５】
【００４８】が正確に画素位置と一致しないこともあ
る。このばあい、フィルタリング入力データは周りの画
素値から求めることもあり、この時周りの画素の加重値
平均をフィルタリング入力データに決定する線形補間法
などを利用する。
る。このばあい、フィルタリング入力データは周りの画
素値から求めることもあり、この時周りの画素の加重値
平均をフィルタリング入力データに決定する線形補間法
などを利用する。
【００４９】すなわち、フィルタリング入力関数は動く
物体の軌跡に沿って時空間領域で求める。詳細に述べる
と、フィルタリング入力関数ｆ（・）に含まれた一群の
入力データは動きベクトルを利用して、図３に示したよ
うに該フレームから求めるが、該動きベクトルは動く物
体の該フレームとその以前のフレームの変位を表わす。
物体の軌跡に沿って時空間領域で求める。詳細に述べる
と、フィルタリング入力関数ｆ（・）に含まれた一群の
入力データは動きベクトルを利用して、図３に示したよ
うに該フレームから求めるが、該動きベクトルは動く物
体の該フレームとその以前のフレームの変位を表わす。
【００５０】一方、多数（たとえば、（２Ｎ＋１）×Ｌ
個の）フィルタリング係数からなるフィルターインパル
ス応答はビデオ信号の帯域を定めた帯域のみで制限する
役目をする。該フィルター係数などは所望の時間軸遮断
周波数とあらかじめ設定された数ＮとＬに基づいてあら
かじめ設定されうる。たとえば、時間軸遮断周波数が
個の）フィルタリング係数からなるフィルターインパル
ス応答はビデオ信号の帯域を定めた帯域のみで制限する
役目をする。該フィルター係数などは所望の時間軸遮断
周波数とあらかじめ設定された数ＮとＬに基づいてあら
かじめ設定されうる。たとえば、時間軸遮断周波数が
【００５１】
【外６】
【００５２】として設計される。
【００５３】したがって、上記式（10）から分かるよう
に、フィルタリングのデータｇ（・）、すなわち、帯域
制限されたデータは各々の群のフィルタリング入力デー
タと該フィルター係数などをコンボルブ（Convolve）
し、各群のフィルタリングの入力データを加算すること
によってえられる。
に、フィルタリングのデータｇ（・）、すなわち、帯域
制限されたデータは各々の群のフィルタリング入力デー
タと該フィルター係数などをコンボルブ（Convolve）
し、各群のフィルタリングの入力データを加算すること
によってえられる。
【００５４】図３は、本発明の動き適応時空間フィルタ
リングのフィルタリング入力関数を示した図である。簡
単な例示のために各フレームはＦc-1 、Ｆc およびＦ
c+1 などの線で示され、上記式（10）のＮとＬは各々１
と４に仮定した。言い換えれば、ターゲットフレームＦ
c のターゲット画素へのフィルタリングのデータをうる
ためには、三つのフィルタリング入力フレームすなわ
ち、フィルタリングする画素を含むターゲットフレーム
と二つの隣接したフレームＦc-1 とＦc+1 をフィルタリ
ングプロセスに用いる。ここで、ｃ−１、ｃまたｃ＋１
はフレーム指数を表わす。該フレームのターゲット画素
位置の画素への動きベクトルに基づいて、四つのフィル
タリング入力データの各々のフィルタリング入力フレー
ムで決められる。フレームＦc-1 、Ｆc およびＦc+1 で
ターゲット画素の位置はＸ10、Ｘ20およびＸ30で各々表
示され垂直軸は時間軸である。
リングのフィルタリング入力関数を示した図である。簡
単な例示のために各フレームはＦc-1 、Ｆc およびＦ
c+1 などの線で示され、上記式（10）のＮとＬは各々１
と４に仮定した。言い換えれば、ターゲットフレームＦ
c のターゲット画素へのフィルタリングのデータをうる
ためには、三つのフィルタリング入力フレームすなわ
ち、フィルタリングする画素を含むターゲットフレーム
と二つの隣接したフレームＦc-1 とＦc+1 をフィルタリ
ングプロセスに用いる。ここで、ｃ−１、ｃまたｃ＋１
はフレーム指数を表わす。該フレームのターゲット画素
位置の画素への動きベクトルに基づいて、四つのフィル
タリング入力データの各々のフィルタリング入力フレー
ムで決められる。フレームＦc-1 、Ｆc およびＦc+1 で
ターゲット画素の位置はＸ10、Ｘ20およびＸ30で各々表
示され垂直軸は時間軸である。
【００５５】ターゲットフレームＦc 内のＸ20の位置の
ターゲット画素へのフィルタリングの結果をうるために
は、多数のすなわち、３群のフィルタリング入力データ
が決定されるが、各群はあらかじめ設定された数すなわ
ち、四つのフィルタリング入力データを含んで、各入力
データ群は該フィルタリング入力フレームでターゲット
画素への軌跡上に位置する。詳述すると、（Ｘ10、
Ｘ11、Ｘ12、Ｘ13）および（Ｘ20、Ｘ21、Ｘ22、Ｘ23）
および（Ｘ30、Ｘ31、Ｘ32、Ｘ33）に位置した３群のフ
ィルタリング入力データがフレームＦc-1 、Ｆc および
Ｆc+1 の動きベクトルＤ（Ｘ10，c-1 ）、Ｄ（Ｘ
20，ｃ）、Ｄ（Ｘ30，c+1 ）に基づいて、ターゲット画
素位置の各々の画素の軌跡上で決定される。
ターゲット画素へのフィルタリングの結果をうるために
は、多数のすなわち、３群のフィルタリング入力データ
が決定されるが、各群はあらかじめ設定された数すなわ
ち、四つのフィルタリング入力データを含んで、各入力
データ群は該フィルタリング入力フレームでターゲット
画素への軌跡上に位置する。詳述すると、（Ｘ10、
Ｘ11、Ｘ12、Ｘ13）および（Ｘ20、Ｘ21、Ｘ22、Ｘ23）
および（Ｘ30、Ｘ31、Ｘ32、Ｘ33）に位置した３群のフ
ィルタリング入力データがフレームＦc-1 、Ｆc および
Ｆc+1 の動きベクトルＤ（Ｘ10，c-1 ）、Ｄ（Ｘ
20，ｃ）、Ｄ（Ｘ30，c+1 ）に基づいて、ターゲット画
素位置の各々の画素の軌跡上で決定される。
【００５６】図３に示されるように、フィルタリング入
力データなどはビデオ信号の補間されたまたはアップサ
ンプリング（upsampled ）されたフレームのターゲット
画素値に当たる。たとえば、フレームＦc-1 のＸ11にお
けるフィルタリング入力データはｔ＝−３ΔＴ／４のば
あいのＸ10の画素値に当たる。これは次式（11）のよう
に表示される。
力データなどはビデオ信号の補間されたまたはアップサ
ンプリング（upsampled ）されたフレームのターゲット
画素値に当たる。たとえば、フレームＦc-1 のＸ11にお
けるフィルタリング入力データはｔ＝−３ΔＴ／４のば
あいのＸ10の画素値に当たる。これは次式（11）のよう
に表示される。
【００５７】
【数１０】
【００５８】空間領域と時間領域の相関が図３に点線で
表示されている。
表示されている。
【００５９】図４Ａ〜図５Ｄは、本発明の動き適応時空
間軸フィルタリング方法を利用して時空間領域で行なわ
れたビデオ信号の時間軸低域フィルタリングの結果が示
されている。図４Ａには、もとのビデオ信号のベースス
ペクトルが示されている。前記のように各フィルタリン
グ入力データ群をうる過程は、図４Ｂに示されるような
補間またはアップサンプリングに当たる。図５Ｃに示さ
れるように、時間軸低域通過フィルタリングの所望の遮
断周波数が
間軸フィルタリング方法を利用して時空間領域で行なわ
れたビデオ信号の時間軸低域フィルタリングの結果が示
されている。図４Ａには、もとのビデオ信号のベースス
ペクトルが示されている。前記のように各フィルタリン
グ入力データ群をうる過程は、図４Ｂに示されるような
補間またはアップサンプリングに当たる。図５Ｃに示さ
れるように、時間軸低域通過フィルタリングの所望の遮
断周波数が
【００６０】
【外７】
【００６１】フィルタリングの結果に対する最後のスペ
クトルは、図５Ｄに示されているように図５Ｃのスペク
トルをサブサンプリング（subsampled）したものである
（フィルタリングの結果が補間されたフレームに対して
は提供されないことに注意すべき）。図２の時間軸帯域
制限と比較して本発明の時空間軸帯域制限は時間軸エイ
リアシングの影響を受けないことが分かる。
クトルは、図５Ｄに示されているように図５Ｃのスペク
トルをサブサンプリング（subsampled）したものである
（フィルタリングの結果が補間されたフレームに対して
は提供されないことに注意すべき）。図２の時間軸帯域
制限と比較して本発明の時空間軸帯域制限は時間軸エイ
リアシングの影響を受けないことが分かる。
【００６２】上記式（10）および図３、図４Ａ〜図５Ｄ
から分かるように、時空間領域で動く物体の軌跡に沿っ
てフィルタリング動作が行なわれて時間軸帯域を制限す
る。したがって、動く物体の速度が大きくなったとき、
繰り返されるスペクトルから発生されうるエイリアシン
グは本発明のフィルターによって効率的に除去され、映
像の動く部分に示される視覚的人工遺物を大きく減少さ
せる。
から分かるように、時空間領域で動く物体の軌跡に沿っ
てフィルタリング動作が行なわれて時間軸帯域を制限す
る。したがって、動く物体の速度が大きくなったとき、
繰り返されるスペクトルから発生されうるエイリアシン
グは本発明のフィルターによって効率的に除去され、映
像の動く部分に示される視覚的人工遺物を大きく減少さ
せる。
【００６３】図６には、本発明の望ましい実施例による
動き適応時空間軸フィルタリング方法を利用する映像符
号化装置が開示されている。映像符号化装置は本発明の
動き適応時空間軸フィルタリングを行なうフィルタリン
グ回路（装置）１００と、フィルタリングビデオ信号の
冗長性を除去して伝送可能とし、より処理が容易な大き
さで圧縮する映像符号化器（回路）６０とを含む。ビデ
オ信号はビデオ信号源、たとえば、ビデオカメラ（図示
せず）により発生してフィルタリング回路１００に入力
される。
動き適応時空間軸フィルタリング方法を利用する映像符
号化装置が開示されている。映像符号化装置は本発明の
動き適応時空間軸フィルタリングを行なうフィルタリン
グ回路（装置）１００と、フィルタリングビデオ信号の
冗長性を除去して伝送可能とし、より処理が容易な大き
さで圧縮する映像符号化器（回路）６０とを含む。ビデ
オ信号はビデオ信号源、たとえば、ビデオカメラ（図示
せず）により発生してフィルタリング回路１００に入力
される。
【００６４】フィルタリング回路１００は前記のように
式（10）のような時空間軸フィルタリング動作を行な
う。動き適応時空間軸フィルタリング回路１００はフレ
ームバッファ１０と、フィルタリング入力フレームに含
まれる各々の画素への動きを表わす多数の動きベクトル
を推定する手段である動き推定器２０と、動きベクトル
バッファ３０と、ターゲフレームに含まれるターゲット
画素へのフィルタリング入力関数を決定する手段である
フィルタリング入力フォーマッター４０およびターゲッ
トフレームのターゲット画素へのフィルタリングのデー
タを求める手段であるフィルタリング計算器５０とを含
む。フレームバッファ１０はフィルタリング回路１００
に入力されている現在フレームと多数（たとえば、（２
Ｎ＋１）個）の以前フレーム、すなわちフィルタリング
過程に使うフィルタリング入力フレームを格納する。詳
述すると、Ｎ＝１と仮定すれば、フレームバッファ１０
は現在フレームＦc+2 と三つのフィルタリング入力フレ
ームＦc-1 、Ｆc およびＦc+1 を格納し、ここで、ｃ＋
２、ｃ＋１、ｃ、ｃ−１はフレーム指数である。動き推
定器２０は二つの連続フレームすなわち、ビデオ信号源
から直接入力されるビデオ信号の現在フレームＦc+2 と
フレームバッファ１０に格納されたその以前フレームＦ
c+1 を受けて現在フレームＦc+2 に含まれた各々の画素
への動きベクトルを求める。動きベクトルを求めるため
に、本技術分野に知られた多様な方法が利用される（Ｍ
ＰＥＧ シミュレーション モデル スリー インター
ナショナル オーガニゼーション フォー スタンダー
ジゼイション，コーディド リプレゼンテーション オ
ブ ピクチュア アンド オーディオ インフォメーシ
ョン（Simulation Model Three International Organiz
ation for Standardization,Coded Representation of
Picture and Audio Information ）、1990,ISO-IEC/JTC
I/SC2/WG8 MPEG 90/041 参照、以下参考文献１とい
う）。
式（10）のような時空間軸フィルタリング動作を行な
う。動き適応時空間軸フィルタリング回路１００はフレ
ームバッファ１０と、フィルタリング入力フレームに含
まれる各々の画素への動きを表わす多数の動きベクトル
を推定する手段である動き推定器２０と、動きベクトル
バッファ３０と、ターゲフレームに含まれるターゲット
画素へのフィルタリング入力関数を決定する手段である
フィルタリング入力フォーマッター４０およびターゲッ
トフレームのターゲット画素へのフィルタリングのデー
タを求める手段であるフィルタリング計算器５０とを含
む。フレームバッファ１０はフィルタリング回路１００
に入力されている現在フレームと多数（たとえば、（２
Ｎ＋１）個）の以前フレーム、すなわちフィルタリング
過程に使うフィルタリング入力フレームを格納する。詳
述すると、Ｎ＝１と仮定すれば、フレームバッファ１０
は現在フレームＦc+2 と三つのフィルタリング入力フレ
ームＦc-1 、Ｆc およびＦc+1 を格納し、ここで、ｃ＋
２、ｃ＋１、ｃ、ｃ−１はフレーム指数である。動き推
定器２０は二つの連続フレームすなわち、ビデオ信号源
から直接入力されるビデオ信号の現在フレームＦc+2 と
フレームバッファ１０に格納されたその以前フレームＦ
c+1 を受けて現在フレームＦc+2 に含まれた各々の画素
への動きベクトルを求める。動きベクトルを求めるため
に、本技術分野に知られた多様な方法が利用される（Ｍ
ＰＥＧ シミュレーション モデル スリー インター
ナショナル オーガニゼーション フォー スタンダー
ジゼイション，コーディド リプレゼンテーション オ
ブ ピクチュア アンド オーディオ インフォメーシ
ョン（Simulation Model Three International Organiz
ation for Standardization,Coded Representation of
Picture and Audio Information ）、1990,ISO-IEC/JTC
I/SC2/WG8 MPEG 90/041 参照、以下参考文献１とい
う）。
【００６５】抽出された動きベクトルは動きベクトルバ
ッファ３０に入力されて格納される。本発明によると、
動きベクトルバッファ３０はフレームＦc+2 、Ｆc+1 、
ＦcおよびＦc-1 への動きベクトルを格納する。
ッファ３０に入力されて格納される。本発明によると、
動きベクトルバッファ３０はフレームＦc+2 、Ｆc+1 、
ＦcおよびＦc-1 への動きベクトルを格納する。
【００６６】フレームバッファ１０に格納されたフィル
タリング入力フレームと、動きベクトルバッファ３０に
格納され、フィルタリング入力フレームと共働する動き
ベクトルとはフィルタリング入力フォーマッター４０で
結合される。フィルタリング入力フォーマッター４０は
式（10）のフィルタリング入力関数ｆ（・）を構成する
多数（たとえば、三つ）のフィルタリング入力データの
群れを決定する。前記のように、フィルタリング入力デ
ータが正確な画素位置でない所に当たるものと決定され
ると、フィルタリング入力フォーマッター４０は隣接し
た画素などの加重値平均を求めることによって、入力デ
ータを決定する。フィルタリング入力データはフィルタ
リング計算器５０に連結される。
タリング入力フレームと、動きベクトルバッファ３０に
格納され、フィルタリング入力フレームと共働する動き
ベクトルとはフィルタリング入力フォーマッター４０で
結合される。フィルタリング入力フォーマッター４０は
式（10）のフィルタリング入力関数ｆ（・）を構成する
多数（たとえば、三つ）のフィルタリング入力データの
群れを決定する。前記のように、フィルタリング入力デ
ータが正確な画素位置でない所に当たるものと決定され
ると、フィルタリング入力フォーマッター４０は隣接し
た画素などの加重値平均を求めることによって、入力デ
ータを決定する。フィルタリング入力データはフィルタ
リング計算器５０に連結される。
【００６７】フィルタリング計算器５０においては、フ
ィルタリング入力フォーマッター４０から受けたフィル
タリングデータｇ（・）が式（10）のように計算され
る。多数のたとえば、（２Ｎ＋１）×Ｌ個のフィルタリ
ング係数からなるフィルタリングインパルス応答は
ィルタリング入力フォーマッター４０から受けたフィル
タリングデータｇ（・）が式（10）のように計算され
る。多数のたとえば、（２Ｎ＋１）×Ｌ個のフィルタリ
ング係数からなるフィルタリングインパルス応答は
【００６８】
【外８】
【００６９】決定されるが、この値などは前記のように
ビデオ信号の特性に鑑みて、式（10）と関連した条件を
満たすようにあらかじめ設定される。フィルタリング係
数などはフィルタリング過程に先立ってあらかじめ設定
されてフィルタリング計算器５０に格納される。前記の
ようにフィルタリング回路１００は動き適応時空間フィ
ルタリング動作を行なって時間軸に低域制限されたビデ
オ信号をうる。
ビデオ信号の特性に鑑みて、式（10）と関連した条件を
満たすようにあらかじめ設定される。フィルタリング係
数などはフィルタリング過程に先立ってあらかじめ設定
されてフィルタリング計算器５０に格納される。前記の
ようにフィルタリング回路１００は動き適応時空間フィ
ルタリング動作を行なって時間軸に低域制限されたビデ
オ信号をうる。
【００７０】フィルタリング計算器５０から出力される
フィルタリングされたビデオ信号はビデオ符号化回路６
０に送られたのち、本技術分野によく知られた多様な方
法を利用して圧縮される（参考文献１参照）。符号化さ
れたビデオ信号は伝送のために伝送器に連結される。
フィルタリングされたビデオ信号はビデオ符号化回路６
０に送られたのち、本技術分野によく知られた多様な方
法を利用して圧縮される（参考文献１参照）。符号化さ
れたビデオ信号は伝送のために伝送器に連結される。
【００７１】前記において、本発明の特定の実施例につ
いて説明したが、本発明の範囲を外れない限り、当業者
なら種々の改変をなしうる。
いて説明したが、本発明の範囲を外れない限り、当業者
なら種々の改変をなしうる。
【００７２】
【発明の効果】したがって、本発明によれば、時間軸エ
イリアシングを誘発せず、ビデオ信号の時間軸帯域制限
を効果的に行なうことができる、動き適応時空間軸フィ
ルタリング方法を提供して画質を向上しうる。
イリアシングを誘発せず、ビデオ信号の時間軸帯域制限
を効果的に行なうことができる、動き適応時空間軸フィ
ルタリング方法を提供して画質を向上しうる。
【図１】動く物体の速度によってベースバンドスペクト
ルの分布を表示する図である。
ルの分布を表示する図である。
【図２】時間軸上で固定された時間軸遮断周波数で通常
の時間軸フィルタリングを行なった結果を示した図であ
る。
の時間軸フィルタリングを行なった結果を示した図であ
る。
【図３】時空間領域からのフィルタリング入力関数を示
した図である。
した図である。
【図４】本発明による動き適応時空間フィルタリングの
結果を示した図である。
結果を示した図である。
【図５】本発明による動き適応時空間フィルタリングの
結果を示した図である。
結果を示した図である。
【図６】本発明の望ましい実施例よる動き適応時空間軸
フィルタリングを利用する映像符号化装置を示した概略
的なブロック図である。
フィルタリングを利用する映像符号化装置を示した概略
的なブロック図である。
１００ フィルタリング回路 １０ フレームバッファ ２０ 動き推定器 ３０ 動きベクトルバッファ ４０ フィルタリング入力フォーマッター ５０ フィルタリング計算器 ６０ ビデオ符号化回路
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/24 Ｈ０４Ｎ 7/13 Ｚ
Claims (4)
- 【請求項１】 ビデオ信号をあらかじめ設定された時間
軸遮断周波数でフィルタリングして、時間軸帯域を制限
することによってビデオ信号の各画素へのフィルタリン
グのデータを提供する装置であって、前記ビデオ信号は
ターゲットフレームと該ターゲットフレームのあらかじ
め設定された数の以前フレームおよび以後フレームとを
含む多数のフィルタリング入力フレームを含んで、各フ
ィルタリング入力フレームは多数の画素を含むフィルタ
リング装置であって、フィルタリング入力フレームに含
まれる各々の画素への動きを表わす多数の動きベクトル
を推定する手段と、ターゲットフレームに含まれるター
ゲット画素へのフィルタリング入力関数を決定する手段
であって、前記フィルタリング入力関数は多数の群のフ
ィルタリング入力データを含んで、各群のフィルタリン
グ入力データを、多数のフィルタリング入力フレームの
各々で、ターゲット画素位置にある画素の動き軌跡上
で、ターゲット画素位置の画素の動きベクトルに基づい
て求める手段と、あらかじめ設定されたフィルターイン
パルス応答とフィルタリング入力関数のコンボルーショ
ンを行なって、ターゲットフレームのターゲット画素へ
のフィルタリングのデータを求める手段とを含むことを
特徴とする動き適応時空間軸フィルタリング装置。 - 【請求項２】 ビデオ信号をあらかじめ設定された時間
軸遮断周波数でフィルタリングして時間軸帯域制限を行
なうことによって、ビデオ信号の各画素へのフィルタリ
ングのデータを提供する方法であって、前記のビデオ信
号はターゲットフレームとターゲットフレームのあらか
じめ設定された数の以前フレームと以後フレームとを含
む多数のフィルタリング入力フレームを含んで、各フィ
ルタリング入力フレームは多数の画素を含むフィルタリ
ング方法であって、ビデオ信号の各フレームでターゲッ
ト画素位置の各々の画素への動きを表わす多数の動きベ
クトルを推定するステップと、ターゲット画素へのフィ
ルタリング入力関数を決定するステップであって、前記
フィルタリング入力関数は多数の群のフィルタリング入
力データを含んで、各群のフィルタリング入力データ
を、多数のフィルタリング入力フレームの各々で、ター
ゲット画素位置にある画素の動き軌跡上で、ターゲット
画素位置の画素の動きベクトルに基づいて求めるステッ
プと、あらかじめ設定されたフィルターインパルス応答
とフィルタリング入力関数のコンボルーションを行なっ
て、ターゲットフレームのターゲット画素へのフィルタ
リングのデータを求めるステップとを含むことを特徴と
するフィルタリング方法。 - 【請求項３】 前記フィルタリングインパルス応答が 【数１】 【外１】 Ｌはビデオ信号の動く物体の速度と関連されるあらかじ
め設定された正の整数であるのように表わされる時空間
遮断周波数ｆc により決定されることを特徴とする請求
項２記載のフィルタリング方法。 - 【請求項４】 前記フィルタリングデータが、 【数２】 ここで、ｘはターゲット画素位置を示し、ｎはターゲッ
トフレームのフレーム指数を表わし、フィルターインパ
ルス応答ｈ（・）は（２Ｎ＋１）×Ｌ個のフィルター係
数を含んで、ｊはその絶対値がＮより大きくない指数
で、Ｎ、Ｌは正の整数で、Ｄ（・）はターゲット画素の
動きを表わす動きベクトルであるなる関係を有すること
を特徴とする請求項２または３記載のフィルタリング方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24982694A JP3579467B2 (ja) | 1994-10-14 | 1994-10-14 | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24982694A JP3579467B2 (ja) | 1994-10-14 | 1994-10-14 | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08125886A true JPH08125886A (ja) | 1996-05-17 |
| JP3579467B2 JP3579467B2 (ja) | 2004-10-20 |
Family
ID=17198767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24982694A Expired - Lifetime JP3579467B2 (ja) | 1994-10-14 | 1994-10-14 | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3579467B2 (ja) |
-
1994
- 1994-10-14 JP JP24982694A patent/JP3579467B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP3579467B2 (ja) | 2004-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5512956A (en) | Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences | |
| US5502489A (en) | Method for the motion adaptive spatial filtering of video signals in an image coding apparatus | |
| Liu et al. | Weighted adaptive lifting-based wavelet transform for image coding | |
| US4771331A (en) | Motion compensating field interpolation method using a hierarchically structured displacement estimator | |
| US7406209B2 (en) | Method of reducing a blocking artifact when coding moving picture | |
| JP3631642B2 (ja) | ２：１間引きにおける効果的なダウンコンバージョン | |
| US6148027A (en) | Method and apparatus for performing hierarchical motion estimation using nonlinear pyramid | |
| Wang et al. | Time-recursive deinterlacing for IDTV and pyramid coding | |
| US5502510A (en) | Method for temporal filtering of video signals using a motion adaptive spatial filter | |
| US7697612B2 (en) | Image preprocessing with selective lowpass filtering from motion compensation | |
| EP0731600A2 (en) | System for creating a high resolution image from a sequence of lower resolution motion images | |
| US5621468A (en) | Motion adaptive spatio-temporal filtering of video signals | |
| JPH06225284A (ja) | ビデオ圧縮システムのためのフレーム内フィルタ及びフィルタリング方法 | |
| WO1999016234A2 (en) | System, method and medium for increasing compression of an image while minimizing image degradation | |
| KR0159559B1 (ko) | 디지탈 화상의 적응적인 후처리 방법 | |
| Dubois | Motion-compensated filtering of time-varying images | |
| Girod | Motion compensation: visual aspects, accuracy, and fundamental limits | |
| Yu‐Su et al. | High‐resolution restoration of dynamic image sequences | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| JP2005505951A (ja) | 複雑さの小さいビデオ復号 | |
| JP3579467B2 (ja) | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 | |
| Csillag et al. | Enhancement of video data using motion-compensated postprocessing techniques | |
| Dubois et al. | Video sampling and interpolation | |
| Csillag et al. | Frame-rate conversion based on acceleration and motion-based segmentation | |
| JPH07264596A (ja) | 映像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040716 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |