JP3579467B2 - ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 - Google Patents
ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 Download PDFInfo
- Publication number
- JP3579467B2 JP3579467B2 JP24982694A JP24982694A JP3579467B2 JP 3579467 B2 JP3579467 B2 JP 3579467B2 JP 24982694 A JP24982694 A JP 24982694A JP 24982694 A JP24982694 A JP 24982694A JP 3579467 B2 JP3579467 B2 JP 3579467B2
- Authority
- JP
- Japan
- Prior art keywords
- filtering
- frame
- video signal
- motion
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001914 filtration Methods 0.000 title claims description 160
- 230000033001 locomotion Effects 0.000 title claims description 67
- 238000000034 method Methods 0.000 title claims description 31
- 230000003044 adaptive effect Effects 0.000 title claims description 12
- 239000013598 vector Substances 0.000 claims description 29
- 238000012905 input function Methods 0.000 claims description 24
- 230000004044 response Effects 0.000 claims description 17
- 238000001228 spectrum Methods 0.000 description 17
- 230000002123 temporal effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、ビデオ信号を時間軸フィルタリングする方法および装置に関し、とくに、映像符号化装置で使われる動き適応時空間軸フィルタリング（ＭＡＳＴＦ：Ｍｏｔｉｏｎ Ａｄａｐｔｉｖｅ Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒ）として、時間軸エイリアシング（ａｌｉａｓｉｎｇ）の影響を招くことなく時間軸の帯域制限を達成し、向上された画質がえられるフィルタリングの装置および方法に関する。
【０００２】
【従来の技術】
ビデオホン（ｖｉｄｅｏ−ｐｈｏｎｅ）、画像会議（ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ）や高品位テレビ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｔｅｌｅｖｉｓｉｏｎ ｓｙｓｔｅｍ ）のようなディジタル映像処理システムでは、映像信号の各フレームを定める多くの量の離散データを減らすために、多様なデータ圧縮技法が利用されている。かかる圧縮技法では、たとえば、離散的コサイン変換を利用した変換符号化技法や二つの一連のフレーム間の時間軸上の関連を利用する動き補償符号化技法などがある。
【０００３】
データ圧縮過程を効果的に行なうために、本技術分野において利用されている大部分の実時間映像符号化装置などはフィルタリングとフレームレート減少のための前処理過程の一部として多様なフィルターを利用している。
【０００４】
かかるフィルターは、時間軸ノイズを除去または軽減し、帯域制限を施すことによって画質および符号化を効果的に改善する。
【０００５】
そのような先行技術装置がエリック デュボイス（Eric Dubois）らの論文、すなわち、「ノイズ リダクション イン イメージ シーケンス ユージング モーション−コンペンセイティッド テンポラル フィルタリング（Noise Reduction in Image Sequences Using Motion-Compensated Temporal Filtering）」、アイ イー イー イー トランザクションズ オン コミュニケーションズ（IEEE Transactions on Communications）、COM-32、No.7、826 〜831 頁（1984年７月）に開示されており、このような装置は初期の信号発生および信号操作で発生しうるノイズ成分などを減らすために非線形繰り返し（recursive）時間軸フィルターを利用する。このような時間軸フィルターは動き補償技法を利用して動き軌跡に沿って、時間軸上でフィルタリングを行なって、映像の詳細な部分を変更せず、動く領域のノイズ成分を減少させる。
【０００６】
他の先行技術の装置は、ウォン−シング チェン（Won-Hsing Chen）らの論文、「リカーシブ テンポラル フィルタリング アンド フレーム レート リダクション フォー イメージ コーディング（Recursive Temporal Filtering and Frame Rate Reduction for Image Coding）」、アイ イー イー イー ジャーナル オン セレクテッド エアリアズ イン コミュニケーションズ（IEEE Journal on Selected Areas in Communications）、SAC-5 、1155〜1165頁（1987年８月）に開示されている。かかる先行技術の装置は繰り返し時間軸フィルターを利用して、繰り返しフィルタリングを行なってフレーム発生レートを減少させる。またかかるフィルターは時間軸エリアに適用されるばあい、フレーム間の入力ノイズを減らすことができるので、画質を改善させる役目をする。
【０００７】
ケイ・ジェイ クリース（Ｋ．Ｊ Ｋｌｅｅｓ ）に付与された米国特許第４，６９４，３４２ 号明細書には空間軸フィルターを利用するさらに他の装置が開示されている。かかる空間軸フィルターは繰り返し的または非繰り返し的に動作してビデオ映像内のノイズを除去する一方、実質的にビデオ映像の詳細な部分を保持するようになっている。したがって、かかるフィルターはあらかじめ設定され、フィルターされた出力画素値とあらかじめ設定されたフィードバック画素値を格納するルックアップ表（Ｌｏｏｋ−ｕｐ ｔａｂｌｅ ）を含んで、入力される映像の一部は映像の詳細な部分を保持するために、非繰り返し的にフィルターされる反面、映像の他の部分はノイズを除去するために繰り返し的にフィルターされる。
【０００８】
【発明が解決しようとする課題】
一方、前記した先行技術装置などが、動き軌跡に沿って行なわれる低域通過フィルタリング技法を用いることによって、映像の詳細な部分を変化させず、動くエリア内のノイズを減らすことができるが、このような方法は高速の動きエリア内では人工遺物（ｖｉｓｕａｌ ａｒｔｉｆａｃｔｓ）を起こすことがある。その結果、時間軸帯域制限用または時間軸上エイリアシングに基づいた人工遺物を除去する用途としては不適である。隣接したスペクトルがエイリアシング成分を含むばあいには映像に可視的な人工遺物が発生する。とくに空間軸高周波成分からなる動くエリアなどは実際速度と感知速度が異なるなど視覚的効果に相当なゆがみを招来する（ｄｉｓｔｏｒｔ ）。
【０００９】
したがって、効率的な時間軸上の帯域制限を行なうためには、エイリアシングの影響を受けないフィルターが要求されてきた。
【００１０】
したがって、本発明の主な目的は、時間軸エイリアシングを誘発せず、ビデオ信号の時間軸帯域制限を効果的に行なうことができる、動き適応時空間軸フィルタリングの装置および方法を提供して画質を向上するものである。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明によると、ビデオ信号をあらかじめ設定された時間軸遮断周波数でフィルターされて時間軸帯域制限を行なうことによって、ビデオ信号の各画素に対するフィルターされたデータを提供する装置であって、前記ビデオ信号は、ターゲットフレーム（target frame）とターゲットフレームのあらかじめ設定された数の以前フレームと以後フレームを含む多数のフィルタリング入力フレームを含み、各フィルタリング入力フレームは多数の画素を含むフィルタリング装置であって、ビデオ信号の各フレームのターゲット画素に対する動きを表わす多数の動きベクトルを推定する手段と、ターゲットフレームに含まれたターゲット画素に対するフィルタリング入力関数を決定する装置であって、前記フィルタリング入力関数は多数のフィルタリング入力データを含んで、各群のフィルタリング入力データを、多数のフィルタリング入力フレーム各々で、ターゲット画素位置にある画素の動き軌跡上で、ターゲット画素位置の画素の動きベクトルに基づいて求める手段と、あらかじめ設定されたフィルタリングインパルス応答とフィルタリング入力関数のコンボルーション（convolution）を施すことによって、時間軸エイリアシングなく所定のバンド幅を有するフィルターされたビデオ信号をうる手段とを含み、前記フィルタリングインパルス応答が
【数５】
Ｌはビデオ信号の動く物体の速度と関連されるあらかじめ設定された正の整数である
のように表わされる時空間遮断周波数ｆ c により決定され、
前記フィルタリングデータが、
【数６】
ここで、ｘはターゲット画素位置を示し、ｎはターゲットフレームのフレーム指数を表わし、フィルターインパルス応答ｈ（・）は（２Ｎ＋１）×Ｌ個のフィルター係数を含んで、ｊはその絶対値がＮより大きくない指数で、Ｎ、Ｌは正の整数で、Ｄ（・）はターゲット画素の動きを表わす動きベクトルであり、Ｌは画素間距離をΔｘとして
｜Ｄ（・）｜≦｜Δｘ｜・Ｌ
なる関係を有するフィルタリング装置が提供される。
【００１２】
本発明のフィルタリング方法は、ビデオ信号をあらかじめ設定された時間軸遮断周波数でフィルタリングして時間軸帯域制限を行なうことによって、ビデオ信号の各画素へのフィルタリングのデータを提供する方法であって、前記のビデオ信号はターゲットフレームとターゲットフレームのあらかじめ設定された数の以前フレームと以後フレームとを含む多数のフィルタリング入力フレームを含み、各フィルタリング入力フレームは多数の画素を含むフィルタリング方法であって、
ビデオ信号の各フレームでターゲット画素位置の各々の画素の動きを表わす多数の動きベクトルを推定するステップと、
ターゲット画素へのフィルタリング入力関数を決定するステップであって、前記フィルタリング入力関数は多数の群のフィルタリング入力データを含んで、各群のフィルタリング入力データを、多数のフィルタリング入力フレームの各々で、ターゲット画素位置にある画素の動き軌跡上で、ターゲット画素位置の画素の動きベクトルに基づいて求めるステップと、
あらかじめ設定されたフィルターインパルス応答とフィルタリング入力関数のコンボルーションを行なって、ターゲットフレームのターゲット画素へのフィルタリングのデータを求めるステップとを含み、前記フィルタリングインパルス応答が
【数７】
Ｌはビデオ信号の動く物体の速度と関連されるあらかじめ設定された正の整数である
のように表わされる時空間遮断周波数ｆ c により決定され、
前記フィルタリングデータが、
【数８】
ここで、ｘはターゲット画素位置を示し、ｎはターゲットフレームのフレーム指数を表わし、フィルターインパルス応答ｈ（・）は（２Ｎ＋１）×Ｌ個のフィルター係数を含んで、ｊはその絶対値がＮより大きくない指数で、Ｎ、Ｌは正の整数で、Ｄ（・）はターゲット画素の動きを表わす動きベクトルであり、Ｌは画素間距離をΔｘとして
｜Ｄ（・）｜≦｜Δｘ｜・Ｌ
なる関係を有することを特徴とする。
【００１３】
【実施例】
ビデオ信号は、一般に水平、垂直および時間軸の３次元連続関数ｆ３ （ｘ、ｙ、ｔ）で表示される。動きがある映像で短い時間間隔のあいだ動く物体を観察すると、動く物体が速度υ＝（υｘ 、υｙ ）の等速、剛体、並進運動を行なうと仮定するとき、連続ビデオ信号のフリーエ変換Ｆ３ （・）は次式（１）のように表わされる。
【００１４】
ここで、Ｆ３ （・）、Ｆ２ （・）は映像の３次元、２次元スペクトルを各々表わし、δ（ｆｘ υｘ ＋ｆｙ υｙ ＋ｆｔ ）はｆｘ υｘ ＋ｆｙ υｙ ＋ｆｔ ＝０で定義された３次元周波数空間上の斜めになった平面を表わすので、映像信号の基底スペクトルは２次元周波数平面上のみ存在する。式（１）はアール・エー・エフ・ベルフォー（Ｒ．Ａ．Ｆ．Ｂｅｌｆｏｒ）らの論文「モーション コンペンセイテッド サブサンプリング オブ エイチディティヴィ（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｓｕｂｓａｍｐｌｉｎｇ ｏｆ ＨＤＴＶ）」、ＳＰＩＥ．１６０５、ビジュアル コミュニケーションズ アンド イメージプロセシング（Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）、９１、２７４ 〜２８４ 頁（１９９１年）に開示されている。ベースバンドスペクトルの位置から時空間軸帯域を予測することができる。すなわち、
【００１５】
【外２】
【００１６】
ならびに速度成分υｘ およびυｙ の相関は式（１）式から次式（２）のようになる。
【００１７】
【数３】
【００１８】
【外３】
【００１９】
各々ｘとｙ方向の空間軸帯域幅成分を表わす。式（２）によると、時間軸帯域幅は動く物体の速度に比例することになる。または、時間軸帯域幅が固定されるばあい、空間軸帯域幅は、動く物体の速度に逆比例することになる。
【００２０】
フィルタリングへのビデオ信号は空間および時間軸サンプリング周波数によりサンプリングされるので、サンプリングのビデオ信号は３次元サンプリングデータすなわち、画素として表示される。したがって、連続関数ｆ３ （・）のサンプリングは連続関数ｆ３ （ｘ、ｙ、ｔ）とデルタ関数の３次元アレー（ａｒｒａｙ）の積で表示されうる。また画素などのスペクトル分布は連続関数ｆ３ （・）フリーエ変換およびデルタ関数のコンボルーションにより与えられる。その結果、画素のスペクトルはデルタ関数の特性によってサンプリング周波数間隔で複製される。
【００２１】
図１Ａ、１Ｂおよび１Ｃには、各々動く物体の速度υｘ が１画素／フレーム間隔、２画素／フレーム間隔および３画素／フレーム間隔であるときのベースバンドスペクトル分布が示される。同図で、実線はベースバンドスペクトルの繰り返しを示し、時間軸サンプリング周波数は１で正規化され、空間軸（ｘ方向）および時間軸周波数はｆｘ とｆｔ で表示される。
【００２２】
動く物体の画素Ａの動きにより、図１Ａに示したようにベースバンドスペクトルは空間周波数軸から斜めになる。図１Ａ、１Ｂおよび１Ｃに示したように斜めの角度θは速度が増加することによって増加する。このような勾配になる理由は式（２）から知られるように、ビデオ信号の一つの画素において時間軸周波数を考慮するとき、時空間軸周波数領域のスペクトル分布は空間軸周波数と動く物体の速度の積で表示されるので、動く物体の速度が大きければ、大きいほどさらに高い時間軸周波数を発生させるのである。
【００２３】
すなわち、図１Ａ、図１Ｂおよび図１Ｃに示したように動く物体の速度が増加するとエイリアシングが発生する。例として、図１Ａに示したように、１画素／フレーム間隔がエイリアシングを発生させないような臨界速度と見做された。繰り返されたスペクトルがエイリアシング成分を含むばあい、映像には人工遺物が起こることになる。とくに、空間軸高周波成分からなる動き領域で実際速度と感知速度が異なるなどの視覚的効果に相当なゆがみが与えられる。したがって、効率的な時間軸帯域制限のためには、かかるエイリアシングの影響を受けないようにするフィルターを設計する必要がある。
【００２４】
図２には、
【００２５】
【外４】
【００２６】
時間軸領域で低域通過フィルタリングを行なった結果が示されている。かかる時間軸フィルタリングを行なうために、第１に、ベースバンドスペクトルは空間軸エイリアシング成分を有しなく、第２に、簡略化のために等速度の水平方向動き（ｘ軸方向）のみが存在すると仮定した。図２でフィルタリングの結果は隣接スペクトルの空間軸の高周波成分Ｂを含むが、これが時間軸エイリアシングの効果をもたらす。すなわち、空間軸高周波成分は隣接スペクトルに影響を与える。言い換えれば、隣接スペクトル間の攪乱が画面上に表われる。
【００２７】
式（１）および式（２）から知られるように、空間（垂直および水平成分を含み）および時間軸周波数ｆｓ およびｆｔ は次式（３）の関係にある。
【００２８】
【数４】
【００２９】
ここで、空間軸周波数ｆｓ はｆｘ −ｆｙ 平面上で定義される。式（３）では時間軸帯域幅を制限するために時間軸周波数ｆｔ が設定されるばあい、空間軸周波数は動く物体の速度に逆比例することが分かる。
【００３０】
ｈ（・）が低域通過インパルス応答で、簡略化のために水平方向動き（ｘ軸方向）のみ存在すると仮定すると、時間軸に低域制限されたビデオ信号ｇ（ｘ，ｔ）は次式（４）のようになる。
【００３１】
【数５】
【００３２】
ここで、線形位相フィルター（ｌｉｎｅａｒ ｐｈａｓｅ ｆｉｌｔｅｒ ）がフィルター応答の群遅延（ｇｒｏｕｐ−ｄｅｌａｙ ）の影響を減少するために使用される。速度υ＝（υｘ 、υｙ ）の水平方向の等速、剛体、並進運動を行なうという仮定の下に、フィルタリング入力関数は次式（５）のようになる。
【００３３】
ｆ（ｘ，ｔ−τ） ＝ ｆ（ｘ＋υｘ τ，ｔ） （５）
上記式（５）から時間軸上の入力関数が動き軌跡による空間軸上の入力関数で置き換えられうることが分かる。したがって、式（４）は次式（６）ように書き直しうる。
【００３４】
【数６】
【００３５】
なお、実際のビデオ信号のばあい、等速、剛体、並進運動の仮定は有効ではないばあいが多い。さらに、動く物体が無いばあいでも、ビデオ信号の各々の画素値は、時間による光源の変化とビデオカメラなどのビデオ信号源の変化で経時によって変化する。そんなばあい、上記式（５）は短い時間に対してのみ有効で、次式（７）のように書き直しうる。
【００３６】
ここで、Δｔはフレーム間隔などの短い時間を示し、ｋは整数である。
【００３７】
上記式（７）により式（６）は次式（８）のように書き直しうる。
【００３８】
【数７】
【００３９】
上記式（８）から式（４）の時間軸フィルタリングがフィルタリング入力関数をｆ（・）とする時空間軸フィルタリングによって具現されることが分かる。式（８）は連続関数に記載された動き適応時空間軸フィルタリングである。
【００４０】
しかしながら、離散化されたばあいにも類似な結果が適用され、このとき、積分は和と置き換えられ、ｄτはΔτとｊにより表わされる。上記式（８）は次式（９）に相当する。
【００４１】
【数８】
【００４２】
ここで、ｎはフレーム指数を示し、速度とフィルタリング位置はベクトルυとｘで表わされ、（２Ｎ＋ｌ）×Ｌ個のフィルター係数に構成されたフィルターインパルス応答ｈ（・）は時間軸遮断周波数とあらかじめ設定された数Ｎ、Ｌにより決定される（ただし、Ｎ、Ｌは正の整数である）。画素間距離をΔｘで示すと、Δｘは｜υ（・）・Δτ｜≦｜Δｘ｜を満たすように選択される（Δτがこの条件を満たさないと空間軸エイリアシングが起こることもある）。
【００４３】
したがって、上記式（９）から分かるように、時間軸帯域制限は時空間軸フィルタリングすなわち、フィルタリング入力関数を時間領域と空間領域で取った低域通過フィルタリングにより具現されうる。
【００４４】
一方、ΔＴがフレーム間隔であると、ＬΔτはΔＴと同一で、υ（・）・ΔＴは２つの隣接するフレーム間の画素の変位を表示する動きベクトルＤ（・）と同一である。このとき、上記式（９）は次式（１０）のように変換される。
【００４５】
【数９】
【００４６】
ここで、Ｌは｜Ｄ（・）｜≦｜Δｘ｜・Ｌを満たすように選択された（この条件は前記の条件｜υ（・）・Δτ｜≦｜Δｘ｜に当たるものである。したがって、Ｌがこの条件を満たさないと、空間軸エイリアシングが起こることもある）。上記式（１０）は式（９）を具現したものである。時間軸帯域制限がフィルタリング入力関数ｆ（・）に対する低域通過フィルタリングである時空間フィルタリングにより具現されるが、フィルタリング入力関数ｆ（・）は多数の、たとえば、（２Ｎ＋１）のフィルタリング入力データ群を含んで、各入力データ群はビデオ信号の当該フレームの画素値からえたあらかじめ設定された（たとえば、Ｌ個の）入力データを含む。式（１０）においてビデオ信号の（ｎ−ｊ）番目のフレームからのフィルタリング入力データの位置を表わす
【００４７】
【外５】
【００４８】
が正確に画素位置と一致しないこともある。このばあい、フィルタリング入力データは周りの画素値から求めることもあり、この時周りの画素の加重値平均をフィルタリング入力データに決定する線形補間法などを利用する。
【００４９】
すなわち、フィルタリング入力関数は動く物体の軌跡に沿って時空間領域で求める。詳細に述べると、フィルタリング入力関数ｆ（・）に含まれた一群の入力データは動きベクトルを利用して、図３に示したように該フレームから求めるが、該動きベクトルは動く物体の該フレームとその以前のフレームの変位を表わす。
【００５０】
一方、多数（たとえば、（２Ｎ＋１）×Ｌ個の）フィルタリング係数からなるフィルターインパルス応答はビデオ信号の帯域を定めた帯域のみで制限する役目をする。該フィルター係数などは所望の時間軸遮断周波数とあらかじめ設定された数ＮとＬに基づいてあらかじめ設定されうる。たとえば、時間軸遮断周波数が
【００５１】
【外６】
【００５２】
として設計される。
【００５３】
したがって、上記式（１０）から分かるように、フィルタリングのデータｇ（・）、すなわち、帯域制限されたデータは各々の群のフィルタリング入力データと該フィルター係数などをコンボルブ（Ｃｏｎｖｏｌｖｅ）し、各群のフィルタリングの入力データを加算することによってえられる。
【００５４】
図３は、本発明の動き適応時空間フィルタリングのフィルタリング入力関数を示した図である。簡単な例示のために各フレームはＦｃ−１ 、Ｆｃ およびＦｃ＋１ などの線で示され、上記式（１０）のＮとＬは各々１と４に仮定した。言い換えれば、ターゲットフレームＦｃ のターゲット画素へのフィルタリングのデータをうるためには、三つのフィルタリング入力フレームすなわち、フィルタリングする画素を含むターゲットフレームと二つの隣接したフレームＦｃ−１ とＦｃ＋１ をフィルタリングプロセスに用いる。ここで、ｃ−１、ｃまたｃ＋１はフレーム指数を表わす。該フレームのターゲット画素位置の画素への動きベクトルに基づいて、四つのフィルタリング入力データの各々のフィルタリング入力フレームで決められる。フレームＦｃ−１ 、Ｆｃ およびＦｃ＋１ でターゲット画素の位置はＸ１０、Ｘ２０およびＸ３０で各々表示され垂直軸は時間軸である。
【００５５】
ターゲットフレームＦｃ 内のＸ２０の位置のターゲット画素へのフィルタリングの結果をうるためには、多数のすなわち、３群のフィルタリング入力データが決定されるが、各群はあらかじめ設定された数すなわち、四つのフィルタリング入力データを含んで、各入力データ群は該フィルタリング入力フレームでターゲット画素への軌跡上に位置する。詳述すると、（Ｘ１０、Ｘ１１、Ｘ１２、Ｘ１３）および（Ｘ２０、Ｘ２１、Ｘ２２、Ｘ２３）および（Ｘ３０、Ｘ３１、Ｘ３２、Ｘ３３）に位置した３群のフィルタリング入力データがフレームＦｃ−１ 、Ｆｃ およびＦｃ＋１ の動きベクトルＤ（Ｘ１０ ，ｃ−１ ）、Ｄ（Ｘ２０ ，ｃ）、Ｄ（Ｘ３０ ，ｃ＋１ ）に基づいて、ターゲット画素位置の各々の画素の軌跡上で決定される。
【００５６】
図３に示されるように、フィルタリング入力データなどはビデオ信号の補間されたまたはアップサンプリング（ｕｐｓａｍｐｌｅｄ ）されたフレームのターゲット画素値に当たる。たとえば、フレームＦｃ−１ のＸ１１におけるフィルタリング入力データはｔ＝−３ΔＴ／４のばあいのＸ１０の画素値に当たる。これは次式（１１）のように表示される。
【００５７】
【数１０】
【００５８】
空間領域と時間領域の相関が図３に点線で表示されている。
【００５９】
図４Ａ〜図５Ｄは、本発明の動き適応時空間軸フィルタリング方法を利用して時空間領域で行なわれたビデオ信号の時間軸低域フィルタリングの結果が示されている。図４Ａには、もとのビデオ信号のベーススペクトルが示されている。前記のように各フィルタリング入力データ群をうる過程は、図４Ｂに示されるような補間またはアップサンプリングに当たる。図５Ｃに示されるように、時間軸低域通過フィルタリングの所望の遮断周波数が
【００６０】
【外７】
【００６１】
フィルタリングの結果に対する最後のスペクトルは、図５Ｄに示されているように図５Ｃのスペクトルをサブサンプリング（ｓｕｂｓａｍｐｌｅｄ）したものである（フィルタリングの結果が補間されたフレームに対しては提供されないことに注意すべき）。図２の時間軸帯域制限と比較して本発明の時空間軸帯域制限は時間軸エイリアシングの影響を受けないことが分かる。
【００６２】
上記式（１０）および図３、図４Ａ〜図５Ｄから分かるように、時空間領域で動く物体の軌跡に沿ってフィルタリング動作が行なわれて時間軸帯域を制限する。したがって、動く物体の速度が大きくなったとき、繰り返されるスペクトルから発生されうるエイリアシングは本発明のフィルターによって効率的に除去され、映像の動く部分に示される視覚的人工遺物を大きく減少させる。
【００６３】
図６には、本発明の望ましい実施例による動き適応時空間軸フィルタリング方法を利用する映像符号化装置が開示されている。映像符号化装置は本発明の動き適応時空間軸フィルタリングを行なうフィルタリング回路（装置）１００と、フィルタリングビデオ信号の冗長性を除去して伝送可能とし、より処理が容易な大きさで圧縮する映像符号化器（回路）６０とを含む。ビデオ信号はビデオ信号源、たとえば、ビデオカメラ（図示せず）により発生してフィルタリング回路１００に入力される。
【００６４】
フィルタリング回路１００は前記のように式（１０）のような時空間軸フィルタリング動作を行なう。動き適応時空間軸フィルタリング回路１００はフレームバッファ１０と、フィルタリング入力フレームに含まれる各々の画素への動きを表わす多数の動きベクトルを推定する手段である動き推定器２０と、動きベクトルバッファ３０と、ターゲフレームに含まれるターゲット画素へのフィルタリング入力関数を決定する手段であるフィルタリング入力フォーマッター４０およびターゲットフレームのターゲット画素へのフィルタリングのデータを求める手段であるフィルタリング計算器５０とを含む。フレームバッファ１０はフィルタリング回路１００に入力されている現在フレームと多数（たとえば、（２Ｎ＋１）個）の以前フレーム、すなわちフィルタリング過程に使うフィルタリング入力フレームを格納する。詳述すると、Ｎ＝１と仮定すれば、フレームバッファ１０は現在フレームＦｃ＋２ と三つのフィルタリング入力フレームＦｃ−１ 、Ｆｃ およびＦｃ＋１ を格納し、ここで、ｃ＋２、ｃ＋１、ｃ、ｃ−１はフレーム指数である。動き推定器２０は二つの連続フレームすなわち、ビデオ信号源から直接入力されるビデオ信号の現在フレームＦｃ＋２ とフレームバッファ１０に格納されたその以前フレームＦｃ＋１ を受けて現在フレームＦｃ＋２ に含まれた各々の画素への動きベクトルを求める。動きベクトルを求めるために、本技術分野に知られた多様な方法が利用される（ＭＰＥＧ シミュレーション モデル スリー インターナショナル オーガニゼーション フォー スタンダージゼイション，コーディド リプレゼンテーション オブ ピクチュア アンド オーディオ インフォメーション（Ｓｉｍｕｌａｔｉｏｎ Ｍｏｄｅｌ Ｔｈｒｅｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｃｏｄｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｐｉｃｔｕｒｅ ａｎｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ ）、１９９０，ＩＳＯ−ＩＥＣ／ＪＴＣＩ／ＳＣ２／ＷＧ８ ＭＰＥＧ ９０／０４１ 参照、以下参考文献１という）。
【００６５】
抽出された動きベクトルは動きベクトルバッファ３０に入力されて格納される。本発明によると、動きベクトルバッファ３０はフレームＦｃ＋２ 、Ｆｃ＋１ 、Ｆｃ およびＦｃ−１ への動きベクトルを格納する。
【００６６】
フレームバッファ１０に格納されたフィルタリング入力フレームと、動きベクトルバッファ３０に格納され、フィルタリング入力フレームと共働する動きベクトルとはフィルタリング入力フォーマッター４０で結合される。フィルタリング入力フォーマッター４０は式（１０）のフィルタリング入力関数ｆ（・）を構成する多数（たとえば、三つ）のフィルタリング入力データの群れを決定する。前記のように、フィルタリング入力データが正確な画素位置でない所に当たるものと決定されると、フィルタリング入力フォーマッター４０は隣接した画素などの加重値平均を求めることによって、入力データを決定する。フィルタリング入力データはフィルタリング計算器５０に連結される。
【００６７】
フィルタリング計算器５０においては、フィルタリング入力フォーマッター４０から受けたフィルタリングデータｇ（・）が式（１０）のように計算される。多数のたとえば、（２Ｎ＋１）×Ｌ個のフィルタリング係数からなるフィルタリングインパルス応答は
【００６８】
【外８】
【００６９】
決定されるが、この値などは前記のようにビデオ信号の特性に鑑みて、式（１０）と関連した条件を満たすようにあらかじめ設定される。フィルタリング係数などはフィルタリング過程に先立ってあらかじめ設定されてフィルタリング計算器５０に格納される。前記のようにフィルタリング回路１００は動き適応時空間フィルタリング動作を行なって時間軸に低域制限されたビデオ信号をうる。
【００７０】
フィルタリング計算器５０から出力されるフィルタリングされたビデオ信号はビデオ符号化回路６０に送られたのち、本技術分野によく知られた多様な方法を利用して圧縮される（参考文献１参照）。符号化されたビデオ信号は伝送のために伝送器に連結される。
【００７１】
前記において、本発明の特定の実施例について説明したが、本発明の範囲を外れない限り、当業者なら種々の改変をなしうる。
【００７２】
【発明の効果】
したがって、本発明によれば、時間軸エイリアシングを誘発せず、ビデオ信号の時間軸帯域制限を効果的に行なうことができる、動き適応時空間軸フィルタリング方法を提供して画質を向上しうる。
【図面の簡単な説明】
【図１】動く物体の速度によってベースバンドスペクトルの分布を表示する図である。
【図２】時間軸上で固定された時間軸遮断周波数で通常の時間軸フィルタリングを行なった結果を示した図である。
【図３】時空間領域からのフィルタリング入力関数を示した図である。
【図４】本発明による動き適応時空間フィルタリングの結果を示した図である。
【図５】本発明による動き適応時空間フィルタリングの結果を示した図である。
【図６】本発明の望ましい実施例よる動き適応時空間軸フィルタリングを利用する映像符号化装置を示した概略的なブロック図である。
【符号の説明】
１００ フィルタリング回路
１０ フレームバッファ
２０ 動き推定器
３０ 動きベクトルバッファ
４０ フィルタリング入力フォーマッター
５０ フィルタリング計算器
６０ ビデオ符号化回路
【産業上の利用分野】
本発明は、ビデオ信号を時間軸フィルタリングする方法および装置に関し、とくに、映像符号化装置で使われる動き適応時空間軸フィルタリング（ＭＡＳＴＦ：Ｍｏｔｉｏｎ Ａｄａｐｔｉｖｅ Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ Ｆｉｌｔｅｒ）として、時間軸エイリアシング（ａｌｉａｓｉｎｇ）の影響を招くことなく時間軸の帯域制限を達成し、向上された画質がえられるフィルタリングの装置および方法に関する。
【０００２】
【従来の技術】
ビデオホン（ｖｉｄｅｏ−ｐｈｏｎｅ）、画像会議（ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ）や高品位テレビ（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｔｅｌｅｖｉｓｉｏｎ ｓｙｓｔｅｍ ）のようなディジタル映像処理システムでは、映像信号の各フレームを定める多くの量の離散データを減らすために、多様なデータ圧縮技法が利用されている。かかる圧縮技法では、たとえば、離散的コサイン変換を利用した変換符号化技法や二つの一連のフレーム間の時間軸上の関連を利用する動き補償符号化技法などがある。
【０００３】
データ圧縮過程を効果的に行なうために、本技術分野において利用されている大部分の実時間映像符号化装置などはフィルタリングとフレームレート減少のための前処理過程の一部として多様なフィルターを利用している。
【０００４】
かかるフィルターは、時間軸ノイズを除去または軽減し、帯域制限を施すことによって画質および符号化を効果的に改善する。
【０００５】
そのような先行技術装置がエリック デュボイス（Eric Dubois）らの論文、すなわち、「ノイズ リダクション イン イメージ シーケンス ユージング モーション−コンペンセイティッド テンポラル フィルタリング（Noise Reduction in Image Sequences Using Motion-Compensated Temporal Filtering）」、アイ イー イー イー トランザクションズ オン コミュニケーションズ（IEEE Transactions on Communications）、COM-32、No.7、826 〜831 頁（1984年７月）に開示されており、このような装置は初期の信号発生および信号操作で発生しうるノイズ成分などを減らすために非線形繰り返し（recursive）時間軸フィルターを利用する。このような時間軸フィルターは動き補償技法を利用して動き軌跡に沿って、時間軸上でフィルタリングを行なって、映像の詳細な部分を変更せず、動く領域のノイズ成分を減少させる。
【０００６】
他の先行技術の装置は、ウォン−シング チェン（Won-Hsing Chen）らの論文、「リカーシブ テンポラル フィルタリング アンド フレーム レート リダクション フォー イメージ コーディング（Recursive Temporal Filtering and Frame Rate Reduction for Image Coding）」、アイ イー イー イー ジャーナル オン セレクテッド エアリアズ イン コミュニケーションズ（IEEE Journal on Selected Areas in Communications）、SAC-5 、1155〜1165頁（1987年８月）に開示されている。かかる先行技術の装置は繰り返し時間軸フィルターを利用して、繰り返しフィルタリングを行なってフレーム発生レートを減少させる。またかかるフィルターは時間軸エリアに適用されるばあい、フレーム間の入力ノイズを減らすことができるので、画質を改善させる役目をする。
【０００７】
ケイ・ジェイ クリース（Ｋ．Ｊ Ｋｌｅｅｓ ）に付与された米国特許第４，６９４，３４２ 号明細書には空間軸フィルターを利用するさらに他の装置が開示されている。かかる空間軸フィルターは繰り返し的または非繰り返し的に動作してビデオ映像内のノイズを除去する一方、実質的にビデオ映像の詳細な部分を保持するようになっている。したがって、かかるフィルターはあらかじめ設定され、フィルターされた出力画素値とあらかじめ設定されたフィードバック画素値を格納するルックアップ表（Ｌｏｏｋ−ｕｐ ｔａｂｌｅ ）を含んで、入力される映像の一部は映像の詳細な部分を保持するために、非繰り返し的にフィルターされる反面、映像の他の部分はノイズを除去するために繰り返し的にフィルターされる。
【０００８】
【発明が解決しようとする課題】
一方、前記した先行技術装置などが、動き軌跡に沿って行なわれる低域通過フィルタリング技法を用いることによって、映像の詳細な部分を変化させず、動くエリア内のノイズを減らすことができるが、このような方法は高速の動きエリア内では人工遺物（ｖｉｓｕａｌ ａｒｔｉｆａｃｔｓ）を起こすことがある。その結果、時間軸帯域制限用または時間軸上エイリアシングに基づいた人工遺物を除去する用途としては不適である。隣接したスペクトルがエイリアシング成分を含むばあいには映像に可視的な人工遺物が発生する。とくに空間軸高周波成分からなる動くエリアなどは実際速度と感知速度が異なるなど視覚的効果に相当なゆがみを招来する（ｄｉｓｔｏｒｔ ）。
【０００９】
したがって、効率的な時間軸上の帯域制限を行なうためには、エイリアシングの影響を受けないフィルターが要求されてきた。
【００１０】
したがって、本発明の主な目的は、時間軸エイリアシングを誘発せず、ビデオ信号の時間軸帯域制限を効果的に行なうことができる、動き適応時空間軸フィルタリングの装置および方法を提供して画質を向上するものである。
【００１１】
【課題を解決するための手段】
前記目的を達成するために、本発明によると、ビデオ信号をあらかじめ設定された時間軸遮断周波数でフィルターされて時間軸帯域制限を行なうことによって、ビデオ信号の各画素に対するフィルターされたデータを提供する装置であって、前記ビデオ信号は、ターゲットフレーム（target frame）とターゲットフレームのあらかじめ設定された数の以前フレームと以後フレームを含む多数のフィルタリング入力フレームを含み、各フィルタリング入力フレームは多数の画素を含むフィルタリング装置であって、ビデオ信号の各フレームのターゲット画素に対する動きを表わす多数の動きベクトルを推定する手段と、ターゲットフレームに含まれたターゲット画素に対するフィルタリング入力関数を決定する装置であって、前記フィルタリング入力関数は多数のフィルタリング入力データを含んで、各群のフィルタリング入力データを、多数のフィルタリング入力フレーム各々で、ターゲット画素位置にある画素の動き軌跡上で、ターゲット画素位置の画素の動きベクトルに基づいて求める手段と、あらかじめ設定されたフィルタリングインパルス応答とフィルタリング入力関数のコンボルーション（convolution）を施すことによって、時間軸エイリアシングなく所定のバンド幅を有するフィルターされたビデオ信号をうる手段とを含み、前記フィルタリングインパルス応答が
【数５】
のように表わされる時空間遮断周波数ｆ c により決定され、
前記フィルタリングデータが、
【数６】
｜Ｄ（・）｜≦｜Δｘ｜・Ｌ
なる関係を有するフィルタリング装置が提供される。
【００１２】
本発明のフィルタリング方法は、ビデオ信号をあらかじめ設定された時間軸遮断周波数でフィルタリングして時間軸帯域制限を行なうことによって、ビデオ信号の各画素へのフィルタリングのデータを提供する方法であって、前記のビデオ信号はターゲットフレームとターゲットフレームのあらかじめ設定された数の以前フレームと以後フレームとを含む多数のフィルタリング入力フレームを含み、各フィルタリング入力フレームは多数の画素を含むフィルタリング方法であって、
ビデオ信号の各フレームでターゲット画素位置の各々の画素の動きを表わす多数の動きベクトルを推定するステップと、
ターゲット画素へのフィルタリング入力関数を決定するステップであって、前記フィルタリング入力関数は多数の群のフィルタリング入力データを含んで、各群のフィルタリング入力データを、多数のフィルタリング入力フレームの各々で、ターゲット画素位置にある画素の動き軌跡上で、ターゲット画素位置の画素の動きベクトルに基づいて求めるステップと、
あらかじめ設定されたフィルターインパルス応答とフィルタリング入力関数のコンボルーションを行なって、ターゲットフレームのターゲット画素へのフィルタリングのデータを求めるステップとを含み、前記フィルタリングインパルス応答が
【数７】
のように表わされる時空間遮断周波数ｆ c により決定され、
前記フィルタリングデータが、
【数８】
｜Ｄ（・）｜≦｜Δｘ｜・Ｌ
なる関係を有することを特徴とする。
【００１３】
【実施例】
ビデオ信号は、一般に水平、垂直および時間軸の３次元連続関数ｆ３ （ｘ、ｙ、ｔ）で表示される。動きがある映像で短い時間間隔のあいだ動く物体を観察すると、動く物体が速度υ＝（υｘ 、υｙ ）の等速、剛体、並進運動を行なうと仮定するとき、連続ビデオ信号のフリーエ変換Ｆ３ （・）は次式（１）のように表わされる。
【００１４】
【００１５】
【外２】
ならびに速度成分υｘ およびυｙ の相関は式（１）式から次式（２）のようになる。
【００１７】
【数３】
【外３】
各々ｘとｙ方向の空間軸帯域幅成分を表わす。式（２）によると、時間軸帯域幅は動く物体の速度に比例することになる。または、時間軸帯域幅が固定されるばあい、空間軸帯域幅は、動く物体の速度に逆比例することになる。
【００２０】
フィルタリングへのビデオ信号は空間および時間軸サンプリング周波数によりサンプリングされるので、サンプリングのビデオ信号は３次元サンプリングデータすなわち、画素として表示される。したがって、連続関数ｆ３ （・）のサンプリングは連続関数ｆ３ （ｘ、ｙ、ｔ）とデルタ関数の３次元アレー（ａｒｒａｙ）の積で表示されうる。また画素などのスペクトル分布は連続関数ｆ３ （・）フリーエ変換およびデルタ関数のコンボルーションにより与えられる。その結果、画素のスペクトルはデルタ関数の特性によってサンプリング周波数間隔で複製される。
【００２１】
図１Ａ、１Ｂおよび１Ｃには、各々動く物体の速度υｘ が１画素／フレーム間隔、２画素／フレーム間隔および３画素／フレーム間隔であるときのベースバンドスペクトル分布が示される。同図で、実線はベースバンドスペクトルの繰り返しを示し、時間軸サンプリング周波数は１で正規化され、空間軸（ｘ方向）および時間軸周波数はｆｘ とｆｔ で表示される。
【００２２】
動く物体の画素Ａの動きにより、図１Ａに示したようにベースバンドスペクトルは空間周波数軸から斜めになる。図１Ａ、１Ｂおよび１Ｃに示したように斜めの角度θは速度が増加することによって増加する。このような勾配になる理由は式（２）から知られるように、ビデオ信号の一つの画素において時間軸周波数を考慮するとき、時空間軸周波数領域のスペクトル分布は空間軸周波数と動く物体の速度の積で表示されるので、動く物体の速度が大きければ、大きいほどさらに高い時間軸周波数を発生させるのである。
【００２３】
すなわち、図１Ａ、図１Ｂおよび図１Ｃに示したように動く物体の速度が増加するとエイリアシングが発生する。例として、図１Ａに示したように、１画素／フレーム間隔がエイリアシングを発生させないような臨界速度と見做された。繰り返されたスペクトルがエイリアシング成分を含むばあい、映像には人工遺物が起こることになる。とくに、空間軸高周波成分からなる動き領域で実際速度と感知速度が異なるなどの視覚的効果に相当なゆがみが与えられる。したがって、効率的な時間軸帯域制限のためには、かかるエイリアシングの影響を受けないようにするフィルターを設計する必要がある。
【００２４】
図２には、
【００２５】
【外４】
時間軸領域で低域通過フィルタリングを行なった結果が示されている。かかる時間軸フィルタリングを行なうために、第１に、ベースバンドスペクトルは空間軸エイリアシング成分を有しなく、第２に、簡略化のために等速度の水平方向動き（ｘ軸方向）のみが存在すると仮定した。図２でフィルタリングの結果は隣接スペクトルの空間軸の高周波成分Ｂを含むが、これが時間軸エイリアシングの効果をもたらす。すなわち、空間軸高周波成分は隣接スペクトルに影響を与える。言い換えれば、隣接スペクトル間の攪乱が画面上に表われる。
【００２７】
式（１）および式（２）から知られるように、空間（垂直および水平成分を含み）および時間軸周波数ｆｓ およびｆｔ は次式（３）の関係にある。
【００２８】
【数４】
ここで、空間軸周波数ｆｓ はｆｘ −ｆｙ 平面上で定義される。式（３）では時間軸帯域幅を制限するために時間軸周波数ｆｔ が設定されるばあい、空間軸周波数は動く物体の速度に逆比例することが分かる。
【００３０】
ｈ（・）が低域通過インパルス応答で、簡略化のために水平方向動き（ｘ軸方向）のみ存在すると仮定すると、時間軸に低域制限されたビデオ信号ｇ（ｘ，ｔ）は次式（４）のようになる。
【００３１】
【数５】
ここで、線形位相フィルター（ｌｉｎｅａｒ ｐｈａｓｅ ｆｉｌｔｅｒ ）がフィルター応答の群遅延（ｇｒｏｕｐ−ｄｅｌａｙ ）の影響を減少するために使用される。速度υ＝（υｘ 、υｙ ）の水平方向の等速、剛体、並進運動を行なうという仮定の下に、フィルタリング入力関数は次式（５）のようになる。
【００３３】
ｆ（ｘ，ｔ−τ） ＝ ｆ（ｘ＋υｘ τ，ｔ） （５）
上記式（５）から時間軸上の入力関数が動き軌跡による空間軸上の入力関数で置き換えられうることが分かる。したがって、式（４）は次式（６）ように書き直しうる。
【００３４】
【数６】
なお、実際のビデオ信号のばあい、等速、剛体、並進運動の仮定は有効ではないばあいが多い。さらに、動く物体が無いばあいでも、ビデオ信号の各々の画素値は、時間による光源の変化とビデオカメラなどのビデオ信号源の変化で経時によって変化する。そんなばあい、上記式（５）は短い時間に対してのみ有効で、次式（７）のように書き直しうる。
【００３６】
【００３７】
上記式（７）により式（６）は次式（８）のように書き直しうる。
【００３８】
【数７】
上記式（８）から式（４）の時間軸フィルタリングがフィルタリング入力関数をｆ（・）とする時空間軸フィルタリングによって具現されることが分かる。式（８）は連続関数に記載された動き適応時空間軸フィルタリングである。
【００４０】
しかしながら、離散化されたばあいにも類似な結果が適用され、このとき、積分は和と置き換えられ、ｄτはΔτとｊにより表わされる。上記式（８）は次式（９）に相当する。
【００４１】
【数８】
ここで、ｎはフレーム指数を示し、速度とフィルタリング位置はベクトルυとｘで表わされ、（２Ｎ＋ｌ）×Ｌ個のフィルター係数に構成されたフィルターインパルス応答ｈ（・）は時間軸遮断周波数とあらかじめ設定された数Ｎ、Ｌにより決定される（ただし、Ｎ、Ｌは正の整数である）。画素間距離をΔｘで示すと、Δｘは｜υ（・）・Δτ｜≦｜Δｘ｜を満たすように選択される（Δτがこの条件を満たさないと空間軸エイリアシングが起こることもある）。
【００４３】
したがって、上記式（９）から分かるように、時間軸帯域制限は時空間軸フィルタリングすなわち、フィルタリング入力関数を時間領域と空間領域で取った低域通過フィルタリングにより具現されうる。
【００４４】
一方、ΔＴがフレーム間隔であると、ＬΔτはΔＴと同一で、υ（・）・ΔＴは２つの隣接するフレーム間の画素の変位を表示する動きベクトルＤ（・）と同一である。このとき、上記式（９）は次式（１０）のように変換される。
【００４５】
【数９】
ここで、Ｌは｜Ｄ（・）｜≦｜Δｘ｜・Ｌを満たすように選択された（この条件は前記の条件｜υ（・）・Δτ｜≦｜Δｘ｜に当たるものである。したがって、Ｌがこの条件を満たさないと、空間軸エイリアシングが起こることもある）。上記式（１０）は式（９）を具現したものである。時間軸帯域制限がフィルタリング入力関数ｆ（・）に対する低域通過フィルタリングである時空間フィルタリングにより具現されるが、フィルタリング入力関数ｆ（・）は多数の、たとえば、（２Ｎ＋１）のフィルタリング入力データ群を含んで、各入力データ群はビデオ信号の当該フレームの画素値からえたあらかじめ設定された（たとえば、Ｌ個の）入力データを含む。式（１０）においてビデオ信号の（ｎ−ｊ）番目のフレームからのフィルタリング入力データの位置を表わす
【００４７】
【外５】
が正確に画素位置と一致しないこともある。このばあい、フィルタリング入力データは周りの画素値から求めることもあり、この時周りの画素の加重値平均をフィルタリング入力データに決定する線形補間法などを利用する。
【００４９】
すなわち、フィルタリング入力関数は動く物体の軌跡に沿って時空間領域で求める。詳細に述べると、フィルタリング入力関数ｆ（・）に含まれた一群の入力データは動きベクトルを利用して、図３に示したように該フレームから求めるが、該動きベクトルは動く物体の該フレームとその以前のフレームの変位を表わす。
【００５０】
一方、多数（たとえば、（２Ｎ＋１）×Ｌ個の）フィルタリング係数からなるフィルターインパルス応答はビデオ信号の帯域を定めた帯域のみで制限する役目をする。該フィルター係数などは所望の時間軸遮断周波数とあらかじめ設定された数ＮとＬに基づいてあらかじめ設定されうる。たとえば、時間軸遮断周波数が
【００５１】
【外６】
として設計される。
【００５３】
したがって、上記式（１０）から分かるように、フィルタリングのデータｇ（・）、すなわち、帯域制限されたデータは各々の群のフィルタリング入力データと該フィルター係数などをコンボルブ（Ｃｏｎｖｏｌｖｅ）し、各群のフィルタリングの入力データを加算することによってえられる。
【００５４】
図３は、本発明の動き適応時空間フィルタリングのフィルタリング入力関数を示した図である。簡単な例示のために各フレームはＦｃ−１ 、Ｆｃ およびＦｃ＋１ などの線で示され、上記式（１０）のＮとＬは各々１と４に仮定した。言い換えれば、ターゲットフレームＦｃ のターゲット画素へのフィルタリングのデータをうるためには、三つのフィルタリング入力フレームすなわち、フィルタリングする画素を含むターゲットフレームと二つの隣接したフレームＦｃ−１ とＦｃ＋１ をフィルタリングプロセスに用いる。ここで、ｃ−１、ｃまたｃ＋１はフレーム指数を表わす。該フレームのターゲット画素位置の画素への動きベクトルに基づいて、四つのフィルタリング入力データの各々のフィルタリング入力フレームで決められる。フレームＦｃ−１ 、Ｆｃ およびＦｃ＋１ でターゲット画素の位置はＸ１０、Ｘ２０およびＸ３０で各々表示され垂直軸は時間軸である。
【００５５】
ターゲットフレームＦｃ 内のＸ２０の位置のターゲット画素へのフィルタリングの結果をうるためには、多数のすなわち、３群のフィルタリング入力データが決定されるが、各群はあらかじめ設定された数すなわち、四つのフィルタリング入力データを含んで、各入力データ群は該フィルタリング入力フレームでターゲット画素への軌跡上に位置する。詳述すると、（Ｘ１０、Ｘ１１、Ｘ１２、Ｘ１３）および（Ｘ２０、Ｘ２１、Ｘ２２、Ｘ２３）および（Ｘ３０、Ｘ３１、Ｘ３２、Ｘ３３）に位置した３群のフィルタリング入力データがフレームＦｃ−１ 、Ｆｃ およびＦｃ＋１ の動きベクトルＤ（Ｘ１０ ，ｃ−１ ）、Ｄ（Ｘ２０ ，ｃ）、Ｄ（Ｘ３０ ，ｃ＋１ ）に基づいて、ターゲット画素位置の各々の画素の軌跡上で決定される。
【００５６】
図３に示されるように、フィルタリング入力データなどはビデオ信号の補間されたまたはアップサンプリング（ｕｐｓａｍｐｌｅｄ ）されたフレームのターゲット画素値に当たる。たとえば、フレームＦｃ−１ のＸ１１におけるフィルタリング入力データはｔ＝−３ΔＴ／４のばあいのＸ１０の画素値に当たる。これは次式（１１）のように表示される。
【００５７】
【数１０】
空間領域と時間領域の相関が図３に点線で表示されている。
【００５９】
図４Ａ〜図５Ｄは、本発明の動き適応時空間軸フィルタリング方法を利用して時空間領域で行なわれたビデオ信号の時間軸低域フィルタリングの結果が示されている。図４Ａには、もとのビデオ信号のベーススペクトルが示されている。前記のように各フィルタリング入力データ群をうる過程は、図４Ｂに示されるような補間またはアップサンプリングに当たる。図５Ｃに示されるように、時間軸低域通過フィルタリングの所望の遮断周波数が
【００６０】
【外７】
フィルタリングの結果に対する最後のスペクトルは、図５Ｄに示されているように図５Ｃのスペクトルをサブサンプリング（ｓｕｂｓａｍｐｌｅｄ）したものである（フィルタリングの結果が補間されたフレームに対しては提供されないことに注意すべき）。図２の時間軸帯域制限と比較して本発明の時空間軸帯域制限は時間軸エイリアシングの影響を受けないことが分かる。
【００６２】
上記式（１０）および図３、図４Ａ〜図５Ｄから分かるように、時空間領域で動く物体の軌跡に沿ってフィルタリング動作が行なわれて時間軸帯域を制限する。したがって、動く物体の速度が大きくなったとき、繰り返されるスペクトルから発生されうるエイリアシングは本発明のフィルターによって効率的に除去され、映像の動く部分に示される視覚的人工遺物を大きく減少させる。
【００６３】
図６には、本発明の望ましい実施例による動き適応時空間軸フィルタリング方法を利用する映像符号化装置が開示されている。映像符号化装置は本発明の動き適応時空間軸フィルタリングを行なうフィルタリング回路（装置）１００と、フィルタリングビデオ信号の冗長性を除去して伝送可能とし、より処理が容易な大きさで圧縮する映像符号化器（回路）６０とを含む。ビデオ信号はビデオ信号源、たとえば、ビデオカメラ（図示せず）により発生してフィルタリング回路１００に入力される。
【００６４】
フィルタリング回路１００は前記のように式（１０）のような時空間軸フィルタリング動作を行なう。動き適応時空間軸フィルタリング回路１００はフレームバッファ１０と、フィルタリング入力フレームに含まれる各々の画素への動きを表わす多数の動きベクトルを推定する手段である動き推定器２０と、動きベクトルバッファ３０と、ターゲフレームに含まれるターゲット画素へのフィルタリング入力関数を決定する手段であるフィルタリング入力フォーマッター４０およびターゲットフレームのターゲット画素へのフィルタリングのデータを求める手段であるフィルタリング計算器５０とを含む。フレームバッファ１０はフィルタリング回路１００に入力されている現在フレームと多数（たとえば、（２Ｎ＋１）個）の以前フレーム、すなわちフィルタリング過程に使うフィルタリング入力フレームを格納する。詳述すると、Ｎ＝１と仮定すれば、フレームバッファ１０は現在フレームＦｃ＋２ と三つのフィルタリング入力フレームＦｃ−１ 、Ｆｃ およびＦｃ＋１ を格納し、ここで、ｃ＋２、ｃ＋１、ｃ、ｃ−１はフレーム指数である。動き推定器２０は二つの連続フレームすなわち、ビデオ信号源から直接入力されるビデオ信号の現在フレームＦｃ＋２ とフレームバッファ１０に格納されたその以前フレームＦｃ＋１ を受けて現在フレームＦｃ＋２ に含まれた各々の画素への動きベクトルを求める。動きベクトルを求めるために、本技術分野に知られた多様な方法が利用される（ＭＰＥＧ シミュレーション モデル スリー インターナショナル オーガニゼーション フォー スタンダージゼイション，コーディド リプレゼンテーション オブ ピクチュア アンド オーディオ インフォメーション（Ｓｉｍｕｌａｔｉｏｎ Ｍｏｄｅｌ Ｔｈｒｅｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，Ｃｏｄｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｐｉｃｔｕｒｅ ａｎｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ ）、１９９０，ＩＳＯ−ＩＥＣ／ＪＴＣＩ／ＳＣ２／ＷＧ８ ＭＰＥＧ ９０／０４１ 参照、以下参考文献１という）。
【００６５】
抽出された動きベクトルは動きベクトルバッファ３０に入力されて格納される。本発明によると、動きベクトルバッファ３０はフレームＦｃ＋２ 、Ｆｃ＋１ 、Ｆｃ およびＦｃ−１ への動きベクトルを格納する。
【００６６】
フレームバッファ１０に格納されたフィルタリング入力フレームと、動きベクトルバッファ３０に格納され、フィルタリング入力フレームと共働する動きベクトルとはフィルタリング入力フォーマッター４０で結合される。フィルタリング入力フォーマッター４０は式（１０）のフィルタリング入力関数ｆ（・）を構成する多数（たとえば、三つ）のフィルタリング入力データの群れを決定する。前記のように、フィルタリング入力データが正確な画素位置でない所に当たるものと決定されると、フィルタリング入力フォーマッター４０は隣接した画素などの加重値平均を求めることによって、入力データを決定する。フィルタリング入力データはフィルタリング計算器５０に連結される。
【００６７】
フィルタリング計算器５０においては、フィルタリング入力フォーマッター４０から受けたフィルタリングデータｇ（・）が式（１０）のように計算される。多数のたとえば、（２Ｎ＋１）×Ｌ個のフィルタリング係数からなるフィルタリングインパルス応答は
【００６８】
【外８】
決定されるが、この値などは前記のようにビデオ信号の特性に鑑みて、式（１０）と関連した条件を満たすようにあらかじめ設定される。フィルタリング係数などはフィルタリング過程に先立ってあらかじめ設定されてフィルタリング計算器５０に格納される。前記のようにフィルタリング回路１００は動き適応時空間フィルタリング動作を行なって時間軸に低域制限されたビデオ信号をうる。
【００７０】
フィルタリング計算器５０から出力されるフィルタリングされたビデオ信号はビデオ符号化回路６０に送られたのち、本技術分野によく知られた多様な方法を利用して圧縮される（参考文献１参照）。符号化されたビデオ信号は伝送のために伝送器に連結される。
【００７１】
前記において、本発明の特定の実施例について説明したが、本発明の範囲を外れない限り、当業者なら種々の改変をなしうる。
【００７２】
【発明の効果】
したがって、本発明によれば、時間軸エイリアシングを誘発せず、ビデオ信号の時間軸帯域制限を効果的に行なうことができる、動き適応時空間軸フィルタリング方法を提供して画質を向上しうる。
【図面の簡単な説明】
【図１】動く物体の速度によってベースバンドスペクトルの分布を表示する図である。
【図２】時間軸上で固定された時間軸遮断周波数で通常の時間軸フィルタリングを行なった結果を示した図である。
【図３】時空間領域からのフィルタリング入力関数を示した図である。
【図４】本発明による動き適応時空間フィルタリングの結果を示した図である。
【図５】本発明による動き適応時空間フィルタリングの結果を示した図である。
【図６】本発明の望ましい実施例よる動き適応時空間軸フィルタリングを利用する映像符号化装置を示した概略的なブロック図である。
【符号の説明】
１００ フィルタリング回路
１０ フレームバッファ
２０ 動き推定器
３０ 動きベクトルバッファ
４０ フィルタリング入力フォーマッター
５０ フィルタリング計算器
６０ ビデオ符号化回路
Claims (2)
- ビデオ信号をあらかじめ設定された時間軸遮断周波数でフィルタリングして、時間軸帯域を制限することによってビデオ信号の各画素へのフィルタリングのデータを提供する装置であって、前記ビデオ信号はターゲットフレームと該ターゲットフレームのあらかじめ設定された数の以前フレームおよび以後フレームとを含む多数のフィルタリング入力フレームを含み、各フィルタリング入力フレームは多数の画素を含むフィルタリング装置であって、
フィルタリング入力フレームに含まれる各々の画素の動きを表わす多数の動きベクトルを推定する手段と、
ターゲットフレームに含まれるターゲット画素へのフィルタリング入力関数を決定する手段であって、前記フィルタリング入力関数は多数の群のフィルタリング入力データを含んで、各群のフィルタリング入力データを、多数のフィルタリング入力フレームの各々で、ターゲット画素位置にある画素の動き軌跡上で、ターゲット画素位置の画素の動きベクトルに基づいて求める手段と、
あらかじめ設定されたフィルターインパルス応答とフィルタリング入力関数のコンボルーションを行なって、ターゲットフレームのターゲット画素へのフィルタリングのデータを求める手段
とを含み、前記フィルタリングインパルス応答が
のように表わされる時空間遮断周波数ｆ c により決定され、
前記フィルタリングデータが、
｜Ｄ（・）｜≦｜Δｘ｜・Ｌ
なる関係を有することを特徴とする動き適応時空間軸フィルタリング装置。 - ビデオ信号をあらかじめ設定された時間軸遮断周波数でフィルタリングして時間軸帯域制限を行なうことによって、ビデオ信号の各画素へのフィルタリングのデータを提供する方法であって、前記のビデオ信号はターゲットフレームとターゲットフレームのあらかじめ設定された数の以前フレームと以後フレームとを含む多数のフィルタリング入力フレームを含み、各フィルタリング入力フレームは多数の画素を含むフィルタリング方法であって、
ビデオ信号の各フレームでターゲット画素位置の各々の画素の動きを表わす多数の動きベクトルを推定するステップと、
ターゲット画素へのフィルタリング入力関数を決定するステップであって、前記フィルタリング入力関数は多数の群のフィルタリング入力データを含んで、各群のフィルタリング入力データを、多数のフィルタリング入力フレームの各々で、ターゲット画素位置にある画素の動き軌跡上で、ターゲット画素位置の画素の動きベクトルに基づいて求めるステップと、
あらかじめ設定されたフィルターインパルス応答とフィルタリング入力関数のコンボルーションを行なって、ターゲットフレームのターゲット画素へのフィルタリングのデータを求めるステップ
とを含み、前記フィルタリングインパルス応答が
のように表わされる時空間遮断周波数ｆ c により決定され、
前記フィルタリングデータが、
｜Ｄ（・）｜≦｜Δｘ｜・Ｌ
なる関係を有することを特徴とするフィルタリング方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24982694A JP3579467B2 (ja) | 1994-10-14 | 1994-10-14 | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24982694A JP3579467B2 (ja) | 1994-10-14 | 1994-10-14 | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08125886A JPH08125886A (ja) | 1996-05-17 |
| JP3579467B2 true JP3579467B2 (ja) | 2004-10-20 |
Family
ID=17198767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24982694A Expired - Lifetime JP3579467B2 (ja) | 1994-10-14 | 1994-10-14 | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3579467B2 (ja) |
-
1994
- 1994-10-14 JP JP24982694A patent/JP3579467B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08125886A (ja) | 1996-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3631642B2 (ja) | ２：１間引きにおける効果的なダウンコンバージョン | |
| US5502489A (en) | Method for the motion adaptive spatial filtering of video signals in an image coding apparatus | |
| US5512956A (en) | Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences | |
| US7406209B2 (en) | Method of reducing a blocking artifact when coding moving picture | |
| KR100667606B1 (ko) | 다운 변환 시스템용 업 샘플링 필터 | |
| JPH07170519A (ja) | 動き適応空間フィルターを用いたビデオ信号の時間軸フィルタリング方法 | |
| EP0781052A2 (en) | Universal MPEG decoder with scalable picture size | |
| EP1617672A1 (en) | Motion estimator/compensator including a 16-bit 1/8 pel interpolation filter | |
| US5621468A (en) | Motion adaptive spatio-temporal filtering of video signals | |
| KR0159559B1 (ko) | 디지탈 화상의 적응적인 후처리 방법 | |
| WO2003021530A2 (en) | Image enhancement and data loss recovery using wavelet transforms | |
| JP2001112000A (ja) | 映像信号符号化装置 | |
| US5555029A (en) | Method and apparatus for post-processing decoded image data | |
| Yu‐Su et al. | High‐resolution restoration of dynamic image sequences | |
| KR101098300B1 (ko) | 공간 신호 변환 | |
| JP3579467B2 (ja) | ビデオ信号の動き適応時空間軸フィルタリング装置およびフィルタリング方法 | |
| Csillag et al. | Enhancement of video data using motion-compensated postprocessing techniques | |
| JPH07264596A (ja) | 映像符号化装置 | |
| Yan | Adaptive spatial-temporal postprocessing for low-bit-rate coded image sequence | |
| KR100229795B1 (ko) | 개선된 영상 복호화 시스템 | |
| JPH07231447A (ja) | 映像符号化装置におけるビデオ信号の動きに適応する空間フィルタリング方法 | |
| JP2004531161A (ja) | ディジタルビデオ信号を処理する方法及び復号器 | |
| KR100294895B1 (ko) | 필터를이용한움직임보상동영상압축방법 | |
| KR100196867B1 (ko) | 물체별 부호화 장치 | |
| Hartwig | On the performance bounds of motion-compensated deinterlacing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040716 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070723 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080723 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090723 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100723 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110723 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120723 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |