JPH07264596A - 映像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 空間上で動く物体の軌跡に沿ってフィルタリ
ングを行って、時間軸上に折り返しが発生しない時間軸
上の帯域制限がえられるフィルター回路を備えた映像符
号化装置を提供する。 【構成】 本発明による動きに適応する空間フィルタリ
ング回路１０は、現在のビデオフレーム信号およびその
前のフレーム信号間の動く物体変位を表す動きベクトル
を決定する動き評価回路１２と、空間軸領域で前記決定
された動きベクトルに適応的に変わる空間遮断周波数で
前記ビデオフレーム信号のフィルタリング動作を行って
時間軸帯域制限を行うフィルタリングブロック１３を含
む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は映像信号の時間軸上のフ
ィルタリング回路に関するもので、とくに、映像符号化
装置において、空間上で動く物体の軌跡に沿ってフィル
タリングを行うことによって、時間軸上の折り返しな
く、時間軸上の帯域制限をうることが可能な動きに適応
する空間フィルタリング（ＭＡＳＦ）回路に関するもの
である。

【０００２】

【従来の技術および発明が解決しようとする課題】ビデ
オホン、画像会議および高画質テレビジョン（“ＨＤＴ
Ｖ”）などのようなディジタルテレビジョンシステムに
おいて、ビデオ信号の各フレームを規定する非常に大き
いデータ量を減少させるために、映像符号化装置が用い
られている。かかる映像符号化装置は、たとえば、離散
コサイン変換と重複性を減らすための動き補償符号化技
法のような多様なデータ圧縮技法を用いる。

【０００３】データ圧縮過程を効果的に行うために、本
技術分野に用いられている大部分の実時間映像符号化装
置などは、多様なフィルターを用いている。これらフィ
ルターなどは時間軸上の雑音を除去するか、帯域制限を
行うことによって、画質および符号化速度を改善させる
のに役立つ。

【０００４】このような従来技術の装置はエリック デ
ュボイス（Ｅｒｉｃ Ｄｕｂｏｉｓ）らの論文、「ノイ
ズ リダクション イン イメージ シーケンス ユー
ジング モーションコンペンセイティッド テンポラル
フィルタリング（Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎｉ
ｎ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ Ｕｓｉｎｇ Ｍｏ
ｔｉｏｎ−Ｃｏｍｐｅｎｓａｔｅｄ Ｔｅｍｐｏｒａｌ
Ｆｉｌｔｅｒｉｎｇ）」、アイ イー イー イー
トランザクションズ オン コミュニケーション（ＩＥ
ＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｍｕｎｉ
ｃａｔｉｏｎｓ、ＣＯＭ−３２、第７号、１９８４年７
月）に開示されており、かかる装置は初期のビデオ信号
およびその処理過程から発生する雑音成分を減らすため
に、非線形再帰的（ｒｅｃｕｒｓｉｖｅ）時間軸フィル
ターを用いる。また、かかる時間軸フィルターは動き軌
跡に沿って時間軸上でフィルタリングを行って、映像の
詳細な部分を変更することなく動き領域内の雑音成分を
減少させるために動き補償技法を用いる。

【０００５】さらに他の従来技術の装置はウェン−シン
チェン（Ｗｅｎ−Ｈｓｉｎｇ Ｃｈｅｎ）らの論文、
「リカーシブ テンポラル フィルタリング アンド
フレーム レート リダクション フォー イメージ
コーディング（Ｒｅｃｕｒｓｉｖｅ Ｔｅｍｐｏｒａｌ
ｆｉｌｔｅｒｉｎｇ ａｎｄ Ｆｒａｍｅ Ｒａｔｅ
Ｒｅｄｕｃｔｉｏｎ ｆｏｒ Ｉｍａｇｅ Ｃｏｄｉ
ｎｇ）、アイ イーイー イー ジャーナル オン セ
レクティッド エアリアズ イン コミュニケーション
ズ（ＩＥＥＥ Ｊｏｕｒｎａｌ ｏｎ Ｓｅｌｅｃｔｅ
ｄ Ａｒｅａｓ ｉｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ
ｓ）、ＳＡＣ−５（１９８７年８月）に開示されてい
る。かかる従来技術の装置は繰り返し時間軸フィルター
を用いて、繰り返し的なフィルタリングを行うことによ
ってフレーム発生率を減少させる。また、かかるフィル
ターは時間軸領域に提供されるばあい、フレーム間の雑
音を減らしうるので、画質を改善させるのに役立つ。

【０００６】ケイ・ジェイ・クリース（Ｋ．Ｊ．Ｋｌｅ
ｅｓ）に許可された米国特許第４，６９４，３４２号明
細書には、空間軸フィルターを用いるさらに別の装置が
開示されている。かかる空間軸フィルターは、繰り返し
的および非繰り返し的に動作してビデオ映像内の雑音を
除去する一方、実質的にビデオ映像の詳細な部分を保存
するようにする。よって、かかるフィルターはあらかじ
め設定されフィルタリングされた出力画素値とあらかじ
め設定された帰還画素値を記憶するルックアップテーブ
ルを含む。その結果、入力される映像の一部は映像の詳
細な部分を保存するために非繰り返し的にフィルタリン
グされる反面、映像の他の部分は雑音を除去するために
繰り返し的にフィルタリングされる。

【０００７】たとえ、前述の従来技術の装置が動き軌跡
に沿って行われる低域通過フィルタリング技法を用いる
ことによって、映像の精密な部分にいかなる悪影響も与
えなく、動き領域内に存在する雑音を減らしうるが、か
かる装置は動きが高速に行われる領域ではアーティファ
クト（ａｒｔｉｆａｃｔ）を生じることができる。その
結果、時間軸帯域制限用またはビデオフレーム信号など
間の時間軸上折り返しを除去する用途では望ましくな
い。

【０００８】ジェイ・ジェイ・ティーマン（Ｊ．Ｊ．Ｔ
ｉｅｍａｎｎ）に許可された米国特許第４，８９６，１
５２号明細書には、サブサンプリング（ｓｕｂｓａｍｐ
ｌｉｎｇ）のための準備として、信号の帯域を制限し折
り返し効果を実質的に減らすための無限インパルス応答
（ｉｎｆｉｎｉｔｅ ｉｍｐｌｕｓｅ ｒｅｓｐｏｎｓ
ｅ：ＩＩＲ）フィルターを用いる他の従来技術装置が開
示されている。一方、かかるフィルターは前述の過程に
よる位相歪曲を補償するように有限インパルス応答（ｆ
ｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）フィ
ルターを含む。

【０００９】しかし、かかるフィルターは動きを追跡し
えないので、比較的高速の動きが存在する領域ではアー
ティファクトが発生する。さらに、かかるフィルターは
連続されるスペクトラムのあいだで発生する時間軸上の
折り返しにより映像がナイキスト制限周波数よりずっと
少ない周波数領域でサブサンプルされるようにフィルタ
ー応答が選択されることしかない。すなわち、フィルタ
ーの遮断周波数はアーティファクトを減らすようにより
減少されなければならない。しかし、これによって映像
の実質的な部分に悪影響を与えるために画質が低下され
うる。

【００１０】他方、連続されるスペクトラムが折り返し
成分を有するとすれば、映像に可視的なアーティファク
トが生じるようになる。とくに、空間高周波成分を成す
動き領域などは実際速度と感知速度が異なって視覚的効
果に非常な損傷を与える。したがって、効果的な時間軸
上の帯域制限のためには、折り返しにより影響を受けな
い時間軸フィルターが必要である。また、時間軸に沿っ
て存在する画素に対して、時間領域フィルタリングを行
い、帯域制限をうるために、一般的に莫大な量のフレー
ム遅延およびメモリが要求されるので、かかる要因など
が映像符号化装置を具現するのに障害になることがあ
る。

【００１１】従って、本発明の目的は、時間軸上の折り
返しを誘発することなく、ビデオ信号の時間軸帯域制限
を効果的に行って画質を改善しうる動きに適応する空間
フィルタリング回路を有する映像符号化装置を提供する
ことにある。

【００１２】

【課題を解決するための手段】本発明によれば、ビデオ
フレーム信号を低域フィルタリングするためのフィルタ
ーと、フィルタリングされたビデオフレーム信号内の重
複性（ｒｅｄｕｎｄａｎｃｙ）を減少させることによっ
てビデオフレーム信号を伝送においてより容易に処理す
る映像符号化装置が提供され、ここで、ビデオ信号は一
つ以上の高速に動く物体を含む。前述のフィルターは映
像符号化装置において、時間軸帯域制限をうるために、
あらかじめ設定された時間軸遮断周波数でビデオフレー
ム信号をフィルタリングする方法を行う。かかる方法
は、（ａ）ビデオフレーム信号とその前のフレーム信号
とのあいだで物体の動きを表す動きベクトルを決定する
ステップと、（ｂ）動きベクトルにより適応的に変化さ
れる空間軸遮断周波数で空間領域でビデオフレーム信号
に対して時間軸帯域制限をうるためのフィルタリングを
行うステップを含む。

【００１３】

【実施例】以下、添付図面を参照しながら本発明を詳細
に説明する。

【００１４】映像信号は、一般に水平、垂直および時間
の３次元連続関数ｆ３（ｘ，ｙ，ｔ）で表示される。動
きがある映像において、短い時間（たとえば、フレーム
間隔（△Ｔ））間隔のあいだに動く物体を観察すれば、
動き成分は等速、剛体、並進運動を行うと見られる。か
かる条件では映像信号の原始スペクトラムがつぎのよう
に表現される。

【００１５】 Ｆ₃ （ｆ_x ，ｆ_y ，ｆ_t ）＝ Ｆ₂ （ｆ_x ，ｆ_y ）・δ（ｆ_x ｖ_x ＋ｆ_y ｖ_y ＋ｆ_t ） （１） ここで、Ｆ₃ （・）、Ｆ₂ （・）は映像の３次元、２次
元スペクトラムを各々表し、（ｖ_x ，ｖ_y ）は水平、垂
直速度成分を、またｆ_x ，ｆ_y ，ｆ_t は垂直、水平およ
び時間の各方向への周波数成分を表す。δ（ｆ_x ｖ_x ＋
ｆ_y ｖ_y ＋ｆ_t）はｆ_x ｖ_x ＋ｆ_y ｖ_y ＋ｆ_t ＝０と定
義された傾斜した３次元平面を表す。式（１）による
と、映像信号の原始スペクトラムは周波数領域で傾斜し
た平面上に存在する。式（１）はジョナサン ジー グ
リス（Ｊｏｎａｔｈａｎ Ｇ．Ｇｌｉｓｓ）による論
文、「ベロシティチューンド フィルター フォー ス
ペイシオテンポラル インタポレーション（Ｖｅｌｏｃ
ｉｔｙ−ｔｕｎｅｄ Ｆｉｌｔｅｒ ｆｏｒ Ｓｐａｔ
ｉｏ−ｔｅｍｐｏｒａｌ Ｉｎｔｅｒｐｏｌａｔｉｏ
ｎ）」、アイシーエイエスエスピー（ＩＣＡＳＳＰ）８
６およびアール エイ エフ ベルフォー（Ｒ．Ａ．
Ｆ．Ｂｅｌｆｏｒ）らの論文「モーション コンペンセ
イティッド サブサンプリング オブ エイチ ディテ
ィブィ（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄ Ｓｕｂ
ｓａｍｐｌｉｎｇ ｏｆ ＨＤＴＶ）」、ＳＰＩＥ、ビ
ジュアル コミュニケーションズ アンド イメージ
プロセッシング（Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔ
ｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎ
ｇ）１９９１年、１６０５頁に開示されている。基底帯
域スペクトラムの位置からディジタル映像信号の３次元
スペクトラムを予測することができる。

【００１６】すなわち、時間軸帯域幅ｆ_w ^t が定められ
たら、時間軸帯域幅ｆ_w ^t 、空間周波数帯域ｆ_w ^x およ
びｆ_w ^y と速度成分ｖ_x およびｖ_y は式（１）でつぎの
ようにえられる。

【００１７】 ｆ_w ^t ＝ｆ_w ^x ・ｖ_x ＋ｆ_w ^y ・ｖ_y （２） ここで、ｆ_w ^x およびｆ_w ^y は各々空間帯域幅成分を表
す。式（２）から時間軸帯域幅は動く物体の速度に比例
し、時間軸帯域幅が決定されたばあい、空間軸帯域幅は
動く物体の速度に反比例することになる。

【００１８】ビデオ信号は空間および時間軸サンプリン
グ周波数によりサンプリングされるので、サンプリング
されたビデオ信号は３次元サンプルデータ、すなわち、
画素として表示される。したがって、連続関数ｆ
₃ （・）のサンプリングは連続関数ｆ₃ （ｘ，ｙ，ｔ）
とデルタ関数の３次元アレーの積で表示されうる。ま
た、画素などのスペクトラム分布は連続関数ｆ₃ （・）
のフーリエ（Ｆｏｕｒｉｅｒ）変換およびデルタ関数の
コンバルーション（ｃｏｎｖｏｌｕｔｉｏｎ）で与えら
れる。その結果、画素のスペクトラムはデルタ関数の特
性によりサンプリング周波数間隔に複製される。したが
って、式（２）から、移動物体の速度が増加するにつれ
て時間軸上の帯域幅が増加するため、繰り返されたスペ
クトラム間にはスペクトラム折り返しが発生することが
分かる。

【００１９】図１Ａ，１Ｂおよび１Ｃを参照すれば、各
々動く物体の速度ｖ_x 、すなわち、１画素／フレーム間
隔、２画素／フレーム間隔、３画素／フレーム間隔で基
底帯域スペクトラム分布が示される。図面において、実
線は基底帯域スペクトラムを示し、時間軸サンプリング
周波数は１と正規化され、空間軸（Ｘ軸方向）および時
間軸周波数はｆ_x およびｆ_t で表示される。

【００２０】動く物体の画素Ａの動きを表す図１Ａに示
される通り、基底帯域スペクトラムは空間周波数軸ｆｘ
から傾けることになる。図１Ａ，１Ｂおよび１Ｃに示す
通り、傾きの角θは速度が増加するにつれて増加するこ
とになる。このように傾く理由は式（２）で見られるよ
うに、与えられた空間軸周波数帯域に対して時間軸周波
数の分布が空間軸周波数および動く物体の速度の積で表
示されるので、動く物体の速度が大きければ大きいほど
さらに高い時間軸周波数を発生させるためである。

【００２１】結局、図１Ａ、１Ｂおよび１Ｃに示す通
り、動く物体の速度が増加するばあい、折り返し（ａｌ
ｉａｓｉｎｇ）が発生し、図面で１画素／単位時間は折
り返しを発生しない臨界速度を示す。もし、繰り返され
たスペクトラムが折り返し成分を含むばあい、映像内で
はアーティファクトが生じる。とくに、空間高周波数成
分から成った動き領域で実際速度と感知速度とのあいだ
には差が生じるので、視覚的な効果に非常な損傷を与え
る。したがって、効率的な時間軸帯域制限のためには、
かかる折り返しが除去される必要がある。図２を参照す
れば、定められた時間軸遮断周波数Ｃ１を用いて時間軸
領域で低域通過フィルタリングを行う結果が示される。
かかる時間軸低域通過フィルタリングを行うために、第
１に、基底帯域スペクトラムは空間折り返し成分を有し
なく、第２に、簡略化のために、純粋な水平動き（ｘ軸
方向）だけが存在するという二つの仮定をした。図２に
おいて、フィルタリングされた結果は隣接スペクトラム
で空間軸上の高周波成分Ｂを有することになり、これら
は時間軸上の折り返し効果をもたらす。すなわち、空間
高周波成分は隣接するスペクトラムの低周波時間軸成分
に悪影響を与えることになる。一方、画面には隣接スペ
クトラムの空間高周波および低周波領域の撹乱が生じ
る。したがって、折り返しにより発生する効果を減らす
ことが望ましい。

【００２２】本発明によると、動く物体の速度と基底帯
域スペクトラムの位置との関係を用いることによって、
すなわち、時間軸遮断周波数が定められるばあい、動く
物体の速度に対応して変換する空間遮断周波数で、空間
フィルタリングを行うことによって、効果的な時間軸帯
域制限を行いうることになる。式（１）および（２）で
見られるように、空間（垂直および水平成分を含んで）
および時間軸周波数ｆ_v およびｆ_t はつぎのように表示
される。

【００２３】

【数４】

【００２４】ここで、空間周波数ｆ_v はｆ_x −ｆ_y 平面
上で特定される。式（３）で見られるように、時間軸帯
域幅を制限するように時間軸周波数ｆ_t が設定されるば
あい、空間周波数は動く物体の速度に反比例することが
分かる。

【００２５】ｈ（・）が一連のフィルター計数を有する
低域通過インパルス応答であり、簡略化のために、水平
動き（ｘ軸方向）だけが存在すると仮定すれば、時間軸
帯域制限されたビデオ信号ｇ（ｘ，ｔ）はつぎのように
表示される。

【００２６】

【数５】

【００２７】ここで、線形位相フィルターはフィルター
応答のグループ遅延を考慮して用いられる。動きがただ
等速、剛体、並進運動をするという仮定下で、フィルタ
ーの入力ｆ（ｘ，ｔ−τ）はつぎのように表示される。

【００２８】 ｆ（ｘ，ｔ−τ）＝ｆ（ｘ−ｖ_x τ，ｔ） （５） すなわち、時間軸上の入力関数が動き軌跡に沿う空間軸
上の入力関数に転換されうることが分かる。したがっ
て、式（４）は、つぎのように再作成されうる。

【００２９】

【数６】

【００３０】ここで、式（６）のフーリエ変換はつぎの
ように表示される。

【００３１】

【数７】

【００３２】ここで、Ｆはフーリエ変換を表す。式
（５）および（７）から分かるように、たとえフィルタ
ーインパルス応答Ｈ（・）が初期にはあらかじめ設定さ
れた時間軸帯域制限特性、すなわち、時間軸遮断周波数
を有するが、フィルタリング領域の転換により変化する
ことが分かる。すなわち、フィルターインパルス応答Ｈ
（・）はあらかじめ設定された時間軸遮断周波数に対応
する空間帯域制限特性、すなわち、空間遮断周波数を有
し、空間遮断周波数は動く物体の速度によって変更され
て、あらかじめ設定された時間軸帯域制限特性を保持す
るようになる。したがって、動きに適応する空間フィル
タリングは、式（６）により具現される空間フィルター
により行われることが分かる。

【００３３】式（６）は動きに適応する空間フィルタリ
ングの連続表現であるが、離散的なばあいにも同一の結
果を表す。すなわち、積分表示は加算式で表示され、ｄ
τは△τおよびｋの組み合わせで表示される。

【００３４】したがって、式（６）はつぎのように表示
される。

【００３５】

【数８】

【００３６】ここで、ｎはフレームの数であり、速度お
よびフィルタリングの位置は、ベクトルｖおよびｘで代
替され、フィルター長さは２Ｎ＋１（ここで、Ｎは正の
整数）であり、△τは｜ｖ（・）・△τ｜≦｜△ｘ｜を
満たすように選択される（△τが条件と異なるばあい、
折り返しが発生する）。

【００３７】△Ｔがフレーム間の間隔であれば、ｖ
（・）△Ｔは現在および前のフレーム間の変位を表すベ
クトルＤ（・）と同一である。したがって、ｖ（・）・
τはベクトル（Ｄ（・））の単位ベクトル

【００３８】

【外３】

【００３９】で代替されうる。したがって、式（８）は
つぎのように変更されうる。

【００４０】

【数９】

【００４１】ここで、△τは１と正規化され、ｈ（・）
は式（２）および（３）により決定される。したがっ
て、式（９）は式（６）の動きベクトルを用いて表わさ
れることが分かり、フィルタリング動作は動く物体の軌
跡に沿って空間領域上で行われて、時間軸帯域制限を行
うことになることが分かる。また、空間変位ｆ（・）は
現在のビデオフレーム信号および以前ビデオフレーム信
号間の動く物体の変位を表す動きベクトルにより決定さ
れうる。

【００４２】図３を参照すれば、本発明の望ましい実施
例による動きに適応する空間フィルタリング方法を用い
る映像符号化装置が開示されている。映像符号化装置は
動く物体の軌跡に沿って空間領域でビデオ信号をフィル
タリングするための動きに適応する空間フィルター１０
と、フィルタリングされたビデオ信号の重複性を除去し
て、これらのビデオ信号を伝送可能であり、より処理が
容易な大きさに圧縮する映像符号器２０を含む。ビデオ
信号はビデオ信号源、たとえば、ビデオカメラ（図示せ
ず）により発生される。

【００４３】動きに適応する空間フィルター１０は、フ
レーム遅延ブロック１１、動き評価ブロック１２および
動きに適応する空間フィルタリング（Ｍｏｔｉｏｎ Ａ
ｄａｐｔｉｖｅ Ｓｐａｔｉａｌ Ｆｉｌｔｅｒｉｎ
ｇ：ＭＡＳＦ）ブロック１３を含む。フレーム遅延ブロ
ック１１はフレームバッファメモリを有し、かかるメモ
リによりビデオフレーム信号は一つのフレーム間隔ほど
遅延される。遅延されたビデオフレーム信号は、以前ビ
デオフレーム信号として動き評価ブロック１２へ提供さ
れる。

【００４４】動き評価ブロック１２は本技術分野で公知
の通り、前のフレーム信号およびビデオ映像源から直接
入力される現在のフレーム信号を受信して、現在のビデ
オフレーム信号内の動く物体を決定し、動く物体を構成
する各画素と関わった動きベクトルを抽出する。抽出さ
れた動きベクトルは順に動きに適応する空間フィルタリ
ングブロック１３と遅延ライン２７を通じて映像符号器
２０へ提供される。各画素と関連した動きベクトルを抽
出するために、本技術分野に公知の多様な動き評価器が
用いられ、とくに、シミュレーション モデル エデュ
ケイショナルグループ（Ｓｉｍｕｌａｔｉｏｎ Ｍｏｄ
ｅｌ Ｅｄｕｃａｔｉｏｎａｌ Ｇｒｏｕｐ）により出
版された論文「ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒ
ｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ビデオ シミュレー
ション モデル スリー（Ｖｉｅｏ Ｓｉｍｕｌａｔｉ
ｏｎ Ｍｏｄｅｌ Ｔｈｒｅｅ（ＳＭ３））」、ＩＳＯ
／ＩＥＧ／ＪＴＣ１／ＳＣ１／ＷＧ１１，ＭＰＥＧ９０
／０４１（１９９０年７月）に開示された動き評価器が
有利に用いられる。

【００４５】ＭＡＳＦブロック１３は現在ビデオフレー
ム信号および抽出された動きベクトルを受信して、前述
した通り、動く物体の軌跡に沿って現在のフレーム信号
をフィルタリングする。ＭＡＳＦブロック１３は予測さ
れた動きベクトルに対応する多数のグループのフィルタ
ー計数などを有するルックアップテーブルを含む。ビデ
オフレーム信号において、予測された動きベクトルの変
位は、たとえば、±６画素／フレーム範囲でえられる。
フィルタリングされたフレーム信号は、その後の映像符
号器２０に結合される。

【００４６】映像符号器２０はフィルタリングされた現
在のビデオフレーム信号および初期ベクトルとして動き
ベクトルを受信して、ビデオフレーム信号における重複
性を除去することによって、これらビデオフレーム信号
を伝送するのに有利な処理可能な大きさに圧縮すること
になる。本発明の望ましい実施例によると、映像符号器
２０は偏差パルス符号変調（ＤＰＣＭ）ブロックを含
み、ＤＰＣＭブロックは圧縮器２２、伸長器２３および
動き補償ブロック２６を含む。圧縮器２２は本技術分野
に公知の通り、離散コサイン変換（“ＤＣＴ”）回路お
よび量子化回路を用いるが、かかる離散コサイン変換回
路および量子化回路は、チャン（Ｃｈａｎ）およびプラ
ット（Ｐｒａｔｔ）の論文「シーン アダプティブ コ
ーダ（Ｓｃｅｎｅ Ａｄａｐｔｉｖｅ Ｃｏｄｅ
ｒ）」、アイ イー イー イー トランザクションズ
オン コミュニケーションズ（ＩＥＥＥ Ｔｒａｎｓ
ａｃｔｉｏｎ ｏｎ Ｃｏｍｍｕｎｉｃａｔｉｏｎ
ｓ）、ＣｏＭ−３２、第３号（１９８４年３月）に開示
されている。一方、伸長器２３は逆量子化回路および逆
ＤＣＴ回路を用いる。動き補償ブロック２６は前のビデ
オフレーム信号から現在のビデオフレーム信号を予測す
るのに用いられる通常的な回路成分である。

【００４７】予測されたビデオフレーム信号は、動き補
償ブロック２６で抽出されて減算回路２１へ提供され、
減算回路２１ではフィルタリングされた現在のビデオフ
レーム信号と予測されたビデオフレーム信号とのあいだ
の偏差信号を発生する。発生された偏差信号は、圧縮器
２２により量子化され符号化される。符号化された信号
は示されていないが、伝送媒体を通じて受信器へ伝送さ
れ、伸長器２３と結合される。符号化された信号は伸長
器２３で偏差信号に復元され、復元された偏差信号は加
算回路２４で予測されたビデオ信号と結合されて、符号
化される前の現在のビデオフレーム信号と同一のビデオ
フレーム信号に復元される。復元されたビデオフレーム
信号はフレーム記憶ブロック２５を通じて補償ブロック
２６と結合される。前述した通り、偏差信号が一般によ
り小さい範囲で変動して、より小さいビットで表現され
うるという効果によりビット発生率が減少することにな
る。

【００４８】動き補償ブロック２６は前のビデオフレー
ム信号から現在のフレーム信号を予測するために動き補
償器２６ａおよび動き評価器２６ｂを含む。動き評価器
２６ｂは前述のＭＰＥＧビデオ シミュレーション モ
デル スリー（ＶｉｄｅｏＳｉｍｕｌａｔｉｏｎ Ｍｏ
ｄｅｌ Ｔｈｒｅｅ（ＳＭ３））に開示されたようにブ
ロック単位処理方法（ｂｌｏｃｋ ｂｙ ｂｌｏｃｋ
ｐｒｏｃｅｓｓｉｎｇ）を基本とするブロック整合アル
ゴリズム（ｂｌｏｃｋ ｂｙ ｂｌｏｃｋｍａｃｈｉｎ
ｇ ａｌｇｏｒｉｔｈｍ）を用いる。本技術分野で公知
の通り、かかるブロック整合アルゴリズムに必要な計算
量を減らすように３段探索（ｔｈｒｅｅ ｓｔｅｐ ｓ
ｅａｒｃｈ）方法が有利に用いられる「２次元信号およ
びイメージプロセシング（Ｔｗｏ−ｄｉｍｅｎｓｉｏｎ
ａｌ Ｓｉｇｎａｌ ａｎｄＩｍａｇｅ Ｐｒｏｃｅｓ
ｓｉｎｇ）」，プレンティスホール（Ｐｒｅｎｔｉｃｅ
−Ｈａｌｌ）、国際版（Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｅｄｉｔｉｏｎ）、４９７〜５００頁（１９９０）参
照）。ブロック整合アルゴリズムにおいて、小さいブロ
ックは探索ブロックとして現在のビデオフレーム信号か
らえられ、大きいブロックは探索領域として前のビデオ
フレーム信号からえられる。すなわち、現在のビデオフ
レーム信号は同一の大きさの多数の探索ブロックに分け
られ、前のビデオフレーム信号は対応する数の探索領域
に分けられる。

【００４９】とくに、３段探索方法において、探索領域
は３ステップに渡ってあらかじめ設定された初期ベクト
ルにより最初の探索領域の大きさおよび位置が決定され
る。したがって、段階的に行われる３段探索方法の計算
をより減らすことができ、より正確な動きベクトルを抽
出しうることになる。

【００５０】探索領域内で探索ブロックと最も整合され
るブロックの位置を表す探索ブロック変位情報、すなわ
ち、動きベクトルは動き評価器２６ｂにより決定され、
動き補償器２６ａへ提供される。動き補償器は動きベク
トルを受信して前のビデオフレーム信号が現在ビデオフ
レーム信号により近似するように前のビデオフレーム信
号を移動させる。前述のように、変位されたビデオフレ
ーム信号、すなわち、予測されたビデオフレーム信号
は、そのつぎの偏差信号を抽出するために減算回路２１
へ提供される。

【００５１】図４を参照すれば、図３の動き評価ブロッ
クをより詳細化したフィルターが示されるが、動き評価
ブロック１２は動きベクトル検出器１２ａ、動き検出器
１２ｂ、画素ベクトル処理器１２ｃおよびＡＮＤ論理回
路１２ｄを含む。ビデオフレーム信号およびその前のビ
デオフレーム信号は、まず動きベクトル検出器１２ａお
よび動き検出器１２ｂへ提供される。かかるビデオフレ
ーム信号は比較的高速の動きを有する多数の動く物体を
有する。また、ビデオフレーム信号はＭＡＳＦブロック
１３へ提供される。

【００５２】動き検出器１２ｂは動く物体を検出して、
動く物体領域でＡＮＤ論理イネーブル信号、たとえば、
“Ｈ”レベル信号を出力する。動きベクトル検出器１２
ａは前述のブロック整合アルゴリズムを用いてビデオフ
レーム信号を構成する画素の動きベクトルを検出する。
検出された画素の動きベクトルは順次的に画素ベクトル
処理器１２ｃへ提供され、画素ベクトル処理器１２ｃは
式（９）に示された通り、実際動きベクトルに近似する
単位ベクトルとして画素の動きを表示することになる。
本発明の望ましい実施例によると、代替された単位動き
ベクトルなどは順に、ＡＮＤ論理イネーブル信号、すな
わち、“Ｈ”レベル信号に応じて単位動きベクトルをＭ
ＡＳＦブロック１３へ供給する動作を行う。前述の単位
動きベクトルは対象画素の動き方向と速度成分を反映す
る。

【００５３】図５を参照すれば、単位動きベクトルとビ
デオフレーム信号を受信するＭＡＳＦブロックの動作を
説明するための例示的な図面が示される。ビデオフレー
ム信号５１は本技術分野によく知られたように、四角型
サンプリングパターン（ｒｅｃｔａｎｇｕｌａｒ ｓａ
ｍｐｌｉｎｇ ｐａｔｔｅｒｎ）で整列され、四角型ド
ットで示される多数の画素を含む。動き５５内の対象画
素に対して、フィルタリング入力関数では、対象画素５
２の動き軌跡５４に位置する一つのグループの画素が選
択される。前述したように、対象画素５２の軌跡は対象
画素５２の単位動きベクトル５３を用いて決定される。

【００５４】一方、それに対応するフィルターインパル
ス応答は、単位動きベクトル５３により決定されるが、
選択された対応フィルターインパルス応答はビデオフレ
ーム信号の帯域幅をあらかじめ設定された帯域幅で制限
するのに役立つ。かかるフィルターインパルス応答は、
軌跡５２に位置された画素に対応する一つのグループの
フィルター計数を含む。これらフィルター計数などは予
測された動きベクトルにしたがってあらかじめ計算され
て、望ましくはルックアップテーブルに記憶される。し
たがって、選択された入力関数に対するフィルターイン
パルス応答の選択は、単位動きベクトルに対応する一つ
のフィルター計数を選択することによって行われる。そ
の後、動きに適応する空間フィルタリングは式（９）に
表示されたように、入力関数および対応フィルターイン
パルス応答を用いて行われる。かかるフィルタリング動
作は、動く物体内の全ての対象画素がフィルタリングさ
れる時まで続く。

【００５５】結局、前述したように、動きに適応する空
間フィルタリングは動く物体の軌跡に沿って空間領域で
行われて、動きベクトルにしたがって適応的に変化され
る空間軸遮断周波数により時間軸上の帯域制限が行われ
る。

【００５６】図６を参照すれば、２次元フィルター応答
のフィルター計数を示す例示的な図面が開示されるが、
ここで、画素は格子構造（実線）の交差点上に位置さ
れ、空間サンプリング周波数は１に正規化される。たと
え、式（９）に示された単位ベクトルＤ（・）が１とし
ても、フィルタリング動作に用いられるフィルター計数
は図６に示されるように、必然的に交差点と一致しな
い。したがって、計算量を減らすために２次元フィルタ
ー計数が有利に用いられる。式（９）から分かるよう
に、単位動きベクトルＤ（ｘ，ｍ）が動く物体内の全て
の位置ｘで一定であれば、各対象画素に対してインパル
ス応答ｈ（・）および入力関数は動き軌跡５４により決
定されうる。フィルターインパルス応答ｈ（・）は前述
のように、２次元線形補間技法を用いて２次元フィルタ
ー応答に変換しうる。すなわち、比較差点に存在するフ
ィルター計数ｈ（ｋ）およびｈ（ｋ＋１）は隣の交差点
Ｐ，ＱおよびＲ上のフィルター計数に変換されうる。た
とえば、単位ベクトル成分Ｄｘ（ｘ，ｎ）およびＤｙ
（ｘ，ｎ）が０．６および０．８であり、フィルター計
数ｈ（ｋ）およびｈ（ｋ＋１）の入力関数成分δｘ
（ｘ，ｋ）、δｙ（ｘ，ｋ）、δｘ（ｘ，ｋ＋１）およ
びδｙ（ｘ，ｋ＋１）が各々０．７、０．６、０．３お
よび０．４であれば、補間されたフィルター計数ｈ
（ｐ），ｈ（ｑ）およびｈ（ｒ）はつぎのように表示さ
れる。

【００５７】ｈ（ｐ）＝０．７×０．６×ｈ（ｋ）＋
（１．０−０．３）×（１．０−０．４）×ｈ（ｋ＋
１）＝０．４２ｈ（ｋ）＋０．４２ｈ（ｋ＋１）； ｈ（ｑ）＝（１．０−０．７）×０．６×ｈ（ｋ）＝
０．１８ｈ（ｋ）；および ｈ（ｒ）＝０．０ 図５に示されるように、２次元インパルス応答のフィル
ター計数ｈ（ｒ）は動き軌跡５４上に位置された計数と
は関係ないので、“０”と代替される。したがって、２
次元フィルター応答は対象画素の入力関数に対応する補
間されたフィルター計数を含む。本技術分野において公
知のように、ビデオフレーム信号において動きベクトル
の変位範囲は有限である。すなわち、評価された動きベ
クトルの範囲が±６画素／フレームであれば、必要な数
の２次元インパルス応答数は１６９個になる。対象画素
および動きベクトルが決定されるばあい、式（９）によ
るコンバルーション動作は対応するルックアップテーブ
ルから２次元応答を選択することによって簡単に行われ
る。したがって、式（９）は次式のように表示される。

【００５８】

【数１０】

【００５９】ここで、ｋ₁ およびｋ₂ は正の整数、式
（１０）から分かるように、対象画素に対する２次元入
力関数および２次元フィルター応答によりフィルタリン
グ動作が同時に行われうるということが分かる。

【００６０】図７および図８を参照すれば、図４のＭＡ
ＳＦブロックとその処理素子の詳細なブロック図が示さ
れる。図７に示された通り、ＭＡＳＦブロック１３は２
次元入力関数および２次元フィルターインパルス応答を
用いてフィルタリングを並列に処理するために、垂直に
配列された多数の１次元横断フィルター７１、７２およ
び７３を含む。図７に示されるように、ビデオフレーム
信号ｆ（ｘ，ｙ，ｎ）は各々１次元横断フィルター７
１、７２および７３に遅延ライン７４および７５を通じ
て並列に結合され、１次元横断フィルター７１、７２お
よび７３は各々互いに従属結合された多数の処理素子を
含む。単位動きベクトル

【００６１】

【外４】

【００６２】は、遅延ライン７６、７７および７８を通
じて並列に各処理素子に結合される。処理素子の数はビ
デオフレーム信号に含まれた画素の数に対応し、２次元
入力関数は２次元のフィルターインパルス応答を選択す
ることによって、ビデオフレーム信号からえられ易いこ
とが分かる。１次元横断フィルター７１、７２および７
３からの出力が順次に加算器８０および８１で加算され
て、フィルタリングされたビデオフレーム信号は加算器
８１から出力される。

【００６３】図８に示されたように、１次元横断フィル
ターに位置された各々の処理素子は、加算器８３、乗算
器８４およびルックアップテーブル８５を含む。ビデオ
フレーム信号ｆ（ｘ，ｙ，ｎ）を構成する画素ｆ１は乗
算器８４へ提供され、ここで、画素ｆ１は単位動きベク
トルＤ１により選択されたルックアップテーブル８５に
貯蔵されたフィルター計数と乗ぜられる。遅延ラインに
より遅延された画素ｆ２は、同一横断フィルター内の隣
の処理素子（図示せず）へ提供される。前述したよう
に、ルックアップテーブル８５は単位動きベクトルＤ１
により選択され、また単位動きベクトルＤ１は遅延ライ
ン８８を通じて、つぎの横断フィルター７２に位置され
た処理素子（図示せず）へ提供される。乗算器８４から
の出力は、加算器８３と結合されて先行処理素子（図示
せず）からのフィルタリングされた画素ｇ１と合算され
る。加算器８３からの出力は遅延ライン８７を通じてあ
らかじめ処理された画素ｇ₂ として隣接処理素子へ提供
される。

【００６４】前述から分かるように、フィルターインパ
ルス応答の選択に対応して入力画素を繰り返して利用で
きるので、映像符号化装置に含まれるビデオフレームメ
モリからのデータフェッチ（ｆｅｔｃｈ）量を減らすこ
とができ、よって、計算速度を改善させうる。また、処
理素子がモジューラ構造を有するため、ＭＡＳＦフィル
ターブロックはより容易にＶＬＳＩ回路で具現されう
る。

【００６５】図９を参照すれば、図７に示された動きに
適応するフィルタリングブロックにより空間上で低域時
間軸フィルタリングを行った結果が示される。たとえ、
フィルタリング動作が動きベクトルに適応して変更され
る空間遮断周波数Ｃ２により行われたが、図２に示され
たような時間軸遮断周波数Ｃ１による時間軸帯域制限が
えられることが分かる。また、図２の時間軸画素を用い
る時間軸帯域制限に比べると、時間軸折り返し成分によ
り結果の時間軸帯域制限が影響を受けないことが分か
る。

【００６６】

【発明の効果】式（１０）および図７および図８から分
かるように、フィルタリング動作は、動く物体の軌跡に
沿って空間上で行われて時間軸帯域制限がえられること
が分かる。したがって、動く物体の速度が増加するばあ
い、繰り返されたスペクトラムなどのあいだに発生する
時間軸折り返しが本発明によるフィルターにより効果的
に除去され、映像符号化器の画質が改善されうる。ま
た、シストリックアレー構造を用いて、計算量および速
度を改善しうるハードウェア構造を有する時間軸上の帯
域制限フィルターが提供され、それによって映像符号器
の構造がより簡単で、かつ、製造費用の節減の効果もあ
ることが分かる。

【図面の簡単な説明】

【図１】動く物体の速度ｖ_x ＝１画素／フレーム間隔、
ｖ_x ＝２画素／フレーム間隔およびｖ_x ＝３画素／フレ
ーム間隔において基底帯域スペクトラムの分布を各々示
す図面である。

【図２】時間軸上で固定された時間軸遮断周波数で通常
的な時間軸フィルタリングを行った結果を示す図面であ
る。

【図３】本発明の望ましい実施例による動きに適応する
空間フィルタリングを用いる映像符号化装置を示す概略
的なブロック図である。

【図４】図３に示した動きに適応する空間フィルターを
説明するための詳細ブロック図である。

【図５】図４に示した動きに適応する空間フィルターを
示す例示的な図面である。

【図６】２次元フィルター応答のフィルター計数と関連
された例示的な図面である。

【図７】図４に示された動きに適応する空間フィルタリ
ングブロックを示した詳細ブロック図である。

【図８】図７の１次元横断フィルターの処理素子を示す
ブロック図である。

【図９】図２に示された通常的な時間軸フィルタリング
に対比した、本発明によって行われた動きに適応する空
間フィルタリングの結果を示した図面である。

【符号の説明】

１０ 動きに適応する空間フィルター １１ フレーム遅延ブロック １２ 動き評価ブロック １３ 動きに適応する空間フィルタリングブロック ２０ 映像符号化器 ２１ 減算回路 ２２ 圧縮器 ２３ 伸長器 ２４ 加算回路 ２６ 動き補償ブロック

Claims (7)

【特許請求の範囲】
1. 【請求項１】 フィルターされたビデオフレーム信号内
   の重複性を除去することによって、ビデオフレーム信号
   を圧縮して、伝送するのに便利で処理可能な大きさに圧
   縮する符号器と、一つ以上の高速動きを有する物体を含
   むビデオフレーム信号をあらかじめ設定された時間軸遮
   断周波数でフィルタリングして、時間軸帯域制限を行う
   フィルター回路とを有する映像符号化装置であって、前
   記フィルター回路が、（ａ）現在のビデオフレーム信号
   とその前のフレーム信号とのあいだの動く物体の変位を
   表す動きベクトルを決定する動き評価手段と、（ｂ）空
   間軸領域において前記決定された動きベクトルに適応し
   て変化する空間遮断周波数で前記ビデオフレーム信号の
   フィルタリング動作を行って時間軸帯域制限を行うフィ
   ルタリング手段とを含む映像符号化装置。
2. 【請求項２】 前記動きベクトルは速度成分と方向成分
   とを含み、空間遮断周波数ｆｖは 【数１】 であり、前記ｆｔは時間軸遮断周波数であり、前記ｖは
   速度成分である請求項１記載の映像符号化装置。
3. 【請求項３】 前記フィルタリングされたビデオフレー
   ム信号ｇ（ｘ，ｎ）は 【数２】 ここでｘはフィルタリング位置を表すベクトル、ｎはビ
   デオフレーム信号の数、ｈ（・）はインパルス応答、ｋ
   はフィルター長さ、Ｎは正の整数、 【外１】 は現在と前のビデオフレーム信号とのあいだの動く物体
   の変位を表すベクトルＤ（・）の単位ベクトルである請
   求項２記載の映像符号化装置。
4. 【請求項４】 前記フィルタリングされたビデオフレー
   ム信号ｇ（ｘ，ｎ）は 【数３】 ここでｋ１およびｋ２は各々２次元フィルターの長さ、
   ｘはフィルタリング位置を表すベクトル、ｈ（・）はイ
   ンパルス応答、Ｎは正の整数、 【外２】 は現在と前のビデオフレーム信号とのあいだの動く物体
   の変位を表すベクトルＤ（・）の単位ベクトルである請
   求項２記載の映像符号化装置。
5. 【請求項５】 前記フィルタリング手段はマトリックス
   パターンに配列された多数のフィルター処理素子と、前
   記マトリックスパターンの行出力を順次結合して、前記
   フィルタリングされたビデオフレーム信号を発生する加
   算器回路とを含み、前記マトリックスパターンは単位動
   きベクトルの列入力とビデオフレーム信号を構成する画
   素の行入力を有し、各フィルター処理素子は前記単位ベ
   クトルにより選択されるフィルター計数を含む請求項４
   記載の映像符号化装置。
6. 【請求項６】 前記フィルター処理素子の数は前記ビデ
   オフレーム信号を構成する画素の数に対応する請求項５
   記載の映像符号化装置。
7. 【請求項７】 前記動きベクトルはフィルタリングされ
   たビデオフレーム信号内の重複性を除去する前記符号器
   に結合される請求項６記載の映像符号化装置。