JPH09298753A - 動画像符号化方法及び動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 フレーム間予測符号化回路の前段にプリフィ
ルタを置く構成の動画像符号化装置において、フレーム
の中で部分的に、ローパスプリフィルタの特性を変更で
きると共に、予測画像間でお互いの画像信号の帯域が異
ることによる符号化効率の低下を小さくする。 【解決手段】 入力動画像を少なくとも１画素からなる
小ブロックに分割する動きベクトル検出回路２４と、所
定の方法により入力動画像の小ブロックの符号化難易度
ｄを計算する符号化難易度測定回路２６と、入力動画像
の小ブロックの符号化難易度ｄと当該入力動画像の小ブ
ロックがフレーム間予測で参照する小ブロックで使われ
たフィルタ係数ｋ_refとに基づいて、入力動画像の小ブ
ロックに対してプリフィルタ２２にて適応的にローパス
フィルタ処理を施す際のフィルタ特性を決定するプリフ
ィルタ制御回路２７とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を、例
えば光磁気ディスクや磁気テープなどの記録媒体に記録
したり、テレビ会議システム，テレビ電話システムや放
送用機器など、動画像信号を伝送路を介して送信側から
受信側に伝送する場合などに用いて好適な動画像符号化
方法及び装置に関する。

【０００２】

【従来の技術】例えば、テレビ会議システムやテレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、高品質の伝送を実現するため
に、上記動画像信号をディジタル化することが行われて
いる。また、動画像信号を信号記録媒体に記録する場合
においても、同様にディジタル化した動画像信号を記録
することが行われている。

【０００３】ここで、ディジタル化した動画像信号はデ
ータ量が膨大であるので、記録又は伝送する場合には、
データの符号化（圧縮）が行われることが多い。しか
し、動画像信号を符号化（圧縮）すると、多少の画質劣
化は避けられないものである。この画質劣化としては、
例えば、ブロック状歪みや輪郭部のリンギング（モスキ
ートノイズ）がある。このような画質劣化を少なくする
ために、従来より、プリフィルタ（例えばローパスフィ
ルタ）を使用し、符号化前の入力画像信号に対してフィ
ルタリング処理を施すことが多い。

【０００４】図２３には、上記プリフィルタを使用する
従来の動画像信号の符号化装置の一例を示す。

【０００５】図２３に示す符号化装置おいて、端子２０
１から入力されるディジタル動画像信号Ｓ２１０は、プ
リフィルタ回路２０２でフィルタリング処理される。上
記フィルタリング処理がなされた処理画像信号Ｓ２１１
は、次段の符号化回路２０５へ入力される。

【０００６】符号化回路２０５は、動き補償フレーム間
予測とＤＣＴ（離散コサイン変換）などの変換符号化を
組み合わせたハイブリッド符号化方法を用いてディジタ
ル動画像信号を符号化するものである。すなわち符号化
回路２０５は、入力信号Ｓ２１１に対して、フレーム間
／内適応予測を施し、演算器２０６にて予測誤差信号Ｓ
２１２を取り出す。さらに、ＤＣＴ器２０７にて予測誤
差信号に対して２次元ＤＣＴを施す。そして、量子化器
２０８にて、上記計算されたＤＣＴ係数を量子化し、符
号化出力信号Ｓ２１５を端子２２０から出力する。ここ
で、量子化器２０８は、出力信号Ｓ２１５のビットレー
トが一定となるような量子化ステップサイズを決定して
いる。

【０００７】一方、出力信号Ｓ２１５は、逆量子化器２
０９にて逆量子化された後、逆ＤＣＴ器２１０にて逆Ｄ
ＣＴ処理され予測誤差信号が復元され、さらに演算器２
１１にて当該予測誤差信号に予測画像信号が加算されて
局部復号がなされる。この加算により得られた復号画像
信号Ｓ２１３がフレームメモリ２１２へ記憶される。

【０００８】一般に、符号化回路２０５では、入力動画
像の絵柄が複雑だったり、動きが大きい程、予測残差信
号Ｓ２１２が大きくなる。この時、符号化の発生情報量
を定められたビットレートに抑えるために、量子化器２
０８にて粗い量子化を用いると、視覚上目立つブロック
歪みが発生し、主観画質が劣化する。

【０００９】そこで、図２３に示した符号化装置では、
入力画像のフレーム間差分信号の大きさがフレーム間予
測符号化の発生符号量に影響を与えることを考慮して、
入力画像のフレーム間差分信号の大きさに応じて、入力
画像に対するプリフィルタのローパス(Low Pass)通過帯
域を制限している。これにより、予測誤差信号Ｓ２１２
のエネルギが減衰され、粗い量子化を防ぐことができる
ので、主観的な画質を向上させることができる。

【００１０】この符号化装置における可変プリフィルタ
制御方法を説明する。

【００１１】演算器２０４では、端子２０１から入力さ
れる画像信号Ｓ２１０とフレームメモリ２１２から入力
される画像信号Ｓ２１４とのフレーム間差分ｒが計算さ
れる。ここで、画像信号Ｓ２１４は、入力画像信号Ｓ２
１０のフレーム間予測で参照される信号である。フレー
ム間差分ｒは、プリフィルタ制御器２０３へ入力され、
このプリフィルタ制御器２０３では、上記フレーム間差
分ｒの大きさに応じて、プリフィルタ２０２のローパス
通過帯域を制御するためのパラメータとしてプリフィル
タ係数ｋを生成出力する。当該プリフィルタ２０２は、
図２４の２次元ローパスフィルタ特性を持ち、ローパス
通過帯域は、上記プリフィルタ係数ｋに対して単調増加
である。図２５には、フレーム間差分ｒとプリフィルタ
係数ｋの関係を示す。このように、プリフィルタ制御器
２０３では、上記関係により、入力画像のフレーム間差
分信号の大きさに応じてプリフィルタのローパス特性を
制御している。

【００１２】

【発明が解決しようとする課題】ところで、フレームの
中では、局所的に予測残差の大きい部分と予測残差の小
さい部分が存在する。例えば、前者は、局所的に動きが
速い部分又は絵柄が複雑な部分であり、後者は、動きが
遅い部分又は絵柄が平坦な部分である。そして、人間の
目は、動きの速い部分又は絵柄が複雑な部分では解像度
の低下に鈍感であるが、動きの遅い部分又は絵柄が平坦
な部分では、解像度の低下に敏感である。したがって、
予測残差の大きい部分では、通過帯域の比較的狭いロー
パスフィルタを使用し、一方、予測残差の小さい部分に
は、通過帯域の比較的広いローパスフィルタを使用する
ことが好ましく、これにより発生情報量が低減される共
に、主観的な画質が向上することになる。

【００１３】しかしながら、図２３の構成のように、プ
リフィルタ２０２は、符号化回路２０５の予測符号化ル
ープの外に置かれているため、フレームの内部で部分的
に、プリフィルタの特性を頻繁に変更すると、予測画像
間でローパスの通過帯域が異なった場合に、符号化効率
が低下してしまう可能性がある。すなわち、予測画像間
で使用したプリフィルタの特性が異なるためにお互いの
画像信号の帯域が異なると、図２３の構成において、入
力画像信号Ｓ２１０とその予測画像信号Ｓ２１４の予測
残差信号のエネルギよりも、フィルタ処理された画像信
号Ｓ２１１とその予測画像信号Ｓ２１４の予測残差信号
のエネルギの方が大きくなる可能性がある。例えば、入
力画像信号Ｓ２１０がローパスフィルタ処理され、画像
信号Ｓ２１１では高周波数成分が減衰していている一方
で、予測画像信号Ｓ２１４では高周波数成分が残ってい
る場合、入力画像信号Ｓ２１０と予測画像信号Ｓ２１４
の予測残差信号のエネルギよりも、フィルタ処理された
画像信号Ｓ２１１と予測画像信号Ｓ２１４の予測残差信
号のエネルギの方が大きくなり、符号化効率が低下して
しまう虞れがある。

【００１４】そこで、本発明は、このような状況に鑑み
てなされたものであり、フレーム間予測符号化回路の前
段にプリフィルタを置く構成の動画像符号化装置におい
て、フレームの中で部分的に、ローパスプリフィルタの
特性を変更できるとともに、予測画像間でお互いの画像
信号の帯域が異なることによる符号化効率の低下を小さ
くすることを可能にするものである。

【００１５】すなわち、本発明の目的は、フレームの中
で部分的に、局所的な予測残差の相違に従ってローパス
プリフィルタの特性を変更して、主観画質を改善できる
ようにした動画像符号化方法及び動画像符号化装置を提
供することにある。

【００１６】また、本発明の他の目的は、参照する画像
間でお互いの画像信号の帯域が異なることによる符号化
効率の低下を小さくして、主観画質を改善できるように
した動画像符号化方法及び動画像符号化装置を提供する
ことにある。

【００１７】また、本発明の他の目的は、時間的に近接
する画像間でお互いの画像信号の帯域が極端に異なるこ
とによる主観的画質の劣化を小さくするようにした動画
像符号化方法及び動画像符号化装置を提供することにあ
る。

【００１８】さらに、本発明の他の目的は、同一画像内
で空間的に近接する小ブロック間の画像信号の帯域が極
端に異なることによる主観的画質の劣化を小さくするよ
うにした動画像符号化方法及び動画像符号化装置を提供
することにある。

【００１９】

【課題を解決するための手段】本発明では、入力動画像
を少なくとも１画素からなる小ブロックに分割し、所定
の方法により小ブロックの符号化難易度を計算し、この
小ブロックの符号化難易度と当該小ブロックが画像間予
測で参照する小ブロックで使われたフィルタ制御情報と
に基づいて、当該小ブロックに対して適応的にローパス
フィルタ処理を施す際のフィルタ特性を決定することに
より、上述の課題を解決する。

【００２０】すなわち、本発明によれば、入力動画像信
号に対するローパスフィルタ処理の際のフィルタ特性を
決定する場合に、現在の符号化対象の小ブロックの符号
化難易度とともに、画像間予測で参照される小ブロック
で使われたフィルタ制御情報を合わせて考慮している。
これにより、ローパスプリフィルタ処理された動画像
は、従来よりも、符号化画質の主観的印象が良く、かつ
符号化効率の良いものとすることが可能となる。

【００２１】また、本発明では、フィルタ特性を決定す
るために参照するフィルタ特性画像と、参照しない非フ
ィルタ特性画像に入力動画像を分類して、フィルタ特性
を次のように決定する。

【００２２】すなわち、上記入力動画像がフィルタ特性
画像である場合は、当該入力動画像を少なくとも１画素
からなる小ブロックに分割し、小ブロックの符号化難易
度を計算し、当該入力動画像内で小ブロックの符号化難
易度を平滑化する。そして、この小ブロックの符号化難
易度と当該小ブロックが画像間予測で参照する小ブロッ
クで使われたフィルタ制御情報に基づいて、当該小ブロ
ックに対して適応的にローパスフィルタ処理を施す際の
フィルタ特性を決定する。

【００２３】また、上記入力動画像が非フィルタ特性画
像である場合は、画像を少なくとも１画素からなる小ブ
ロックに分割し、当該入力画像の小ブロックが画像間予
測で参照する過去参照画像における小ブロックのフィル
タ制御情報と、未来参照画像における小ブロックのフィ
ルタ制御情報とに基づいた所定の方法による内挿補間に
より当該小ブロックのフィルタ特性に対してローパスフ
ィルタ処理を施す際のフィルタ特性を算出する。更に、
近接する画像の空間的に同じ位置の小ブロックのフィル
タ制御情報に基づいて最終的なフィルタ特性を決定す
る。

【００２４】このように、本発明では、入力動画像信号
に対するローパスフィルタ処理の際のフィルタ特性を決
定する場合に、フィルタ特性画像として互いに類似の符
号化難易度特性を持つ画像、例えばＭＰＥＧ方式におけ
るＰピクチャなど、を選択してフィルタ特性を算出し、
非フィルタ特性画像としてフィルタ特性画像と符号化難
易度特性の異なる画像、例えばＭＰＥＧ方式におけるＩ
ピクチャ、Ｂピクチャなど、を選択して、フィルタ特性
画像より内挿補間を行ってフィルタ特性を算出すること
で、連続する画像間のローパスの通過帯域が極端に異な
ることをなくす。

【００２５】また、フィルタ特性画像、非フィルタ特性
画像の双方で、現在の符号化対象の小ブロックが画像間
予測で参照する小ブロックで使われたフィルタ制御情報
を考慮することで、フィルタ係数の極端な相違による符
号化効率の低下を防ぐ。

【００２６】これらにより、ローパスプリフィルタ処理
された動画像は、従来よりもさらに符号化画質の主観的
印象が良く、かつ符号化効率の良いものとすることが可
能となる。

【００２７】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。

【００２８】本発明の動画像符号化方法が適用される動
画像符号化装置の第１の構成例を図１に示す。

【００２９】この図１に示す本発明の第１の構成例の動
画像符号化装置において、入力端子２０から入力される
ディジタル動画像信号Ｓ３０は、フレームメモリ群２１
に送られ、記憶される。

【００３０】このフレームメモリ群２１に記憶された画
像データＳ２３を用いて、動きベクトル検出回路２４
は、フレーム間の動きベクトルを検出する。具体的に言
うと、動きベクトル検出回路２４では、フレームを小ブ
ロックに分割し、この小ブロック単位に動きベクトルＭ
Ｖを計算する。ここで、小ブロックは例えば１６画素×
１６ラインで構成されており、動きベクトル検出は例え
ば参照フレームと現在の小ブロックとのパターンマッチ
ングで行う。すなわち、式(1) に示すように、現在の小
ブロックの信号Ａijと、任意の動きベクトルにより参照
される小ブロックの信号Ｆijの差の絶対値の和Ｅf を求
める。

【００３１】 Ｅf ＝ Σ｜Ａij−Ｆij｜ （i=0〜15, j=0〜15） (1) 動きベクトル検出回路２４は、上記Ｅf の値が最小とな
る動きベクトルを動きベクトル信号ＭＶとして出力す
る。

【００３２】画像データＳ２３と動きベクトル信号ＭＶ
は、符号化難易度測定回路２６へ入力され、ここで入力
画像の小ブロック毎に、その符号化難易度ｄ(d_curren
t) が計算される。この第１の構成例での符号化難易度
ｄは、後述する動画像符号化回路２３での発生符号量を
定められたビットレートに圧縮する時の難易度を表すパ
ラメータである。符号化難易度測定回路２６の具体的な
構成例については、後述する。

【００３３】次に、プリフィルタ制御回路２７へは、上
述のように求めた現在の符号化対象の小ブロックの符号
化難易度ｄが入力される。

【００３４】また、プリフィルタ制御情報記憶回路２５
には、過去に入力された小ブロックで使われたプリフィ
ルタ係数が記憶されている。ここで、このプリフィルタ
制御情報記憶回路２５には、現在の小ブロックのフレー
ム上での位置を表すブロックアドレスmb_addressと現在
の小ブロックの動きベクトル信号ＭＶとが入力され、そ
れらに基づいて、このプリフィルタ制御情報記憶回路２
５では、現在の小ブロックがフレーム間予測で参照する
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータとしてのフィルタ係数ｋ_r
efを読み出す。このフィルタ係数ｋ_refは、プリフィル
タ制御回路２７へ入力される。なお、上記フィルタ係数
ｋ_refを読み出す場合には、ブロックアドレスmb_addre
ssだけを使用して、フレーム間予測で参照するフレーム
上の同じブロックアドレスmb_addressの位置にある小ブ
ロックで使用されたローパスプリフィルタの通過帯域制
限を指定するパラメータを上記フィルタ係数ｋ_refとし
て読み出すようにしても良い。この場合は、プリフィル
タ制御情報記憶回路２５へ動きベクトル信号ＭＶを入力
する必要はない。

【００３５】プリフィルタ制御回路２７は、上記符号化
難易度ｄとフィルタ係数ｋ_refが入力されると、これら
に基づいて、現在の小ブロックに使用するローパスプリ
フィルタの通過帯域制限を指定するパラメータとしてフ
ィルタ係数ｋ_currentを生成出力し、これをプリフィル
タ２２へ入力する。ここで、当該プリフィルタ２２の特
性は、例えば前述した図２４のような特性とする。した
がって、ここでは、フィルタ係数ｋ_currentが小さいほ
ど、通過帯域の狭いローパスフィルタ特性となる。

【００３６】なお、プリフィルタ２２の特性は、前記図
２４に示した特性のローパスフィルタに限らず、これ以
外の特性をもつローパスフィルタであってもよい。

【００３７】プリフィルタ制御回路２７で計算されたフ
ィルタ係数ｋ_currentは、また、プリフィルタ制御情報
記憶回路２５へ入力されて記憶され、これが未来に入力
される小ブロックに使うプリフィルタ係数を決定する時
の参照値（フィルタ係数ｋ_ref）として利用されること
になる。

【００３８】フィルタ係数ｋ_currentの計算方法の例に
ついて以下に説明する。ここでは、図２に示すように入
力動画像の入力順にＮフレーム毎（Ｎ≧１）のグループ
を作り、このグループを処理の１単位としている。以
下、図３のフローチャートを用いて、プリフィルタ係数
の制御について説明する。

【００３９】図３に示すフローチャートにおいて、先
ず、ステップＳＴ４０では、現在の符号化対象のフレー
ムを含むＮフレーム間でのフィルタの制御を開始する。

【００４０】ステップＳＴ４１では、そのＮフレーム間
での符号化難易度の平均値ｄ_aveを計算し、次のステッ
プＳＴ４２では、そのＮフレーム間でのプリフィルタ係
数の代表値ｋ_gopを計算する。プリフィルタ係数の代表
値ｋ_gopは、Ｎフレーム間での符号化難易度の平均値ｄ
_aveに対して、代表的な（平均的な）プリフィルタ係数
への対応が、予め経験的に決められている。ここでは、
前記図２５で説明したように、符号化難易度が大きいほ
ど、通過帯域の狭いローパスフィルタ特性を対応付けて
おく（すなわちｋ_gopが小さくなる）。上記符号化難易
度の平均値ｄ_aveとプリフィルタ係数の代表値ｋ_gopの
対応関係は、例えば図４に示すようになる。

【００４１】次に、ステップＳＴ４３では、１フレーム
内でのフィルタの制御を開始する。

【００４２】先ず、ステップＳＴ４４では、現在の符号
化対象の小ブロックの符号化難易度ｄ（以下ｄ_current
とする）を読み込み、ステップＳＴ４５では、図２に示
すように現在の小ブロックがフレーム間予測で参照する
小ブロックで使用されたローパスプリフィルタ係数ｋ_r
efを読み込む。

【００４３】次に、ステップＳＴ４６では、上記符号化
難易度ｄ_current とローパスプリフィルタ係数ｋ_ref
から現在の小ブロックで使用するローパスプリフィルタ
係数ｋ_currentを計算する。

【００４４】上記ローパスプリフィルタ係数ｋ_current
の計算例を図５に示す。この図５に示す計算例では、先
ず、式(a) のように、上記ｄ_currentとｋ_gopとから統
計的にｋ_currentを仮に計算するが、ここでは、上記ｄ
_currentが上記ｄ_aveより大きければ、上記ｋ_current
は上記ｋ_gopよりも小さくなり（すなわち通過帯域の狭
いローパスフィルタ特性となり）、逆に、上記ｄ_curre
ntが上記ｄ_aveより小さければ、上記ｋ_currentは上記
ｋ_gopよりも大きくなる（すなわち通過帯域の広いロー
パスフィルタ特性となる）。上記符号化難易度ｄ_curre
ntと上記ローパスプリフィルタ係数ｋ_currentとの対応
関係は、例えば図６に示すようになる。

【００４５】この図５に示す計算例では、次に、条件
(b)及び条件(c)のように、上記ローパスプリフィルタ係
数ｋ_currentと現在の小ブロックがフレーム間予測で参
照する小ブロックで使用されたローパスプリフィルタ係
数ｋ_refとを比較する。そして、上記ｋ_currentとｋ_r
efの変化が、予め決めた閾値より大きい時は、その変化
を抑えるように制御する。具体的には、図５に示す計算
例では、条件(b) のように、上記ｋ_currentがｋ_refの
Ａ倍（Ａ＞１）より大きい時は、当該ｋ_currentをＡ倍
のｋ_refへ変更する。また、条件(c) のように、上記ｋ
_currentが上記ｋ_refのＢ倍（Ｂ＜１）より小さい時
は、上記ｋ_currentをＢ倍のｋ_refへ変更する。以上の
ようにして、現在の小ブロックで使用するローパスプリ
フィルタ係数ｋ_currentを計算する。

【００４６】図３のフローチャートに戻って、上述した
ステップＳＴ４６の次のステップＳＴ４７では、現在の
小ブロックがフレーム内の最後のブロックであるか否か
の判定をする。このステップＳＴ４７の判定において、
現在の小ブロックがフレーム内の最後のブロックでない
と判定した場合は、ステップＳＴ４４へ戻る。一方、こ
のステップＳＴ４７の判定において、現在の小ブロック
がフレーム内の最後のブロックであると判定した場合
は、ステップＳＴ４８へ進む。

【００４７】ステップＳＴ４８では、現在のフレームが
Ｎフレームからなるグループの最後のフレームであるか
否かの判定をする。このステップＳＴ４８の判定におい
て、現在のフレームがＮフレームからなるグループの最
後のフレームでないと判定した場合はステップＳＴ４３
へ戻り、一方、現在のフレームがＮフレームからなるグ
ループの最後のフレームであると判定した場合はステッ
プＳＴ４９に進む。

【００４８】このステップＳＴ４９にて、Ｎフレームか
らなるグループでのフィルタの制御を終了する。

【００４９】以上のようにして、プリフィルタ制御回路
２７は、プリフィルタ係数ｋ_currentを決定する。

【００５０】なお、図３のフローチャートにおいて、ス
テップＳＴ４５，ＳＴ４６において、上記フィルタ係数
ｋ_refを使用する代わりに、現在の小ブロックがフレー
ム間予測で参照する小ブロックの符号化難易度ｄ_refを
使用しても良い。

【００５１】この場合のプリフィルタ係数ｋ_currentの
計算方法の例について、図７に示すフローチャートを用
いて説明する。この図７のフローチャートにおいて前述
の図３のフローチャートとの違いは、ステップＳＴ５５
とステップＳＴ５６であり、それぞれ図３ではステップ
ＳＴ４５とステップＳＴ４６に対応する。なお、この図
７におけるステップＳＴ５０からステップＳＴ５４まで
は、図３におけるステップＳＴ４０からステップＳＴ４
４の場合と同じであり、図７のステップＳＴ５７以降も
図３のステップＳＴ４７以降と同じであるので、それら
のステップの説明は省略する。

【００５２】この図７のフローチャートにおいて、ステ
ップＳＴ５５では、図２に示したように現在の小ブロッ
クがフレーム間予測で参照する小ブロックの符号化難易
度ｄ_refを読み込む。

【００５３】次にステップＳＴ５６では、現在の符号化
対象の小ブロックの符号化難易度ｄ_currentと上記符号
化難易度ｄ_refから現在の小ブロックで使用するローパ
スプリフィルタ係数ｋ_currentを計算する。

【００５４】図８には、当該ローパスプリフィルタ係数
ｋ_currentの計算例を示す。この図８に示す計算例で
は、条件(d) と条件(e) のように、上記現在の符号化対
象の小ブロックの符号化難易度ｄ_currentと現在の小ブ
ロックがフレーム間予測で参照する小ブロックで使用さ
れた符号化難易度ｄ_refとを比較する。そして、ｄ_cur
rentとｄ_refの変化が、予め決めた閾値より大きい時
は、その変化を抑えるように制御する。具体的には、条
件(d) のように、上記ｄ_currentが上記ｄ_refのＣ倍
（Ｃ＞１）より大きい時は、当該ｄ_currentをＣ倍のｄ
_refへ変更する。また、条件(e) のように、上記ｄ_cur
rentが上記ｄ_refのＤ倍（Ｄ＜１）より小さい時は、当
該ｄ_current をＤ倍のｄ_ref へ変更する。以上のよう
にして、現在の小ブロックで使用する符号化難易度ｄ_c
urrentを検査する。次に、図８の式(f)のように、上記
ｄ_currentとｋ_gopとから統計的にｋ_currentを仮に計
算する。この時の特性は、前記図６で説明したものと同
様である。

【００５５】上述した図７のフローチャートの場合、図
１のプリフィルタ制御情報記憶回路２５には、過去に計
算された小ブロックの符号化難易度ｄ_refが記憶されて
いて、現在の小ブロックのブロックアドレスmb_address
と動きベクトル信号ＭＶからフレーム間予測で参照する
小ブロックの符号化難易度ｄ_refを読み出す。

【００５６】なお、この時、前述したように、上記符号
化難易度ｄ_refを読み出す場合に、ブロックアドレスmb
_addressだけを使用して、フレーム間予測で参照するフ
レーム上の同じブロックアドレスmb_addressの位置にあ
る小ブロックで使用されたローパスプリフィルタの通過
帯域制限を指定するパラメータをフィルタ係数d_refと
して読み出しても良い。この場合は、プリフィルタ制御
情報記憶回路２５へ動きベクトル信号ＭＶを入力する必
要がない。

【００５７】図１に戻って、プリフィルタ２２は、現在
の小ブロックに対して、プリフィルタ係数ｋ_currentで
指定されるローパスフィルタ処理を施して、処理画像信
号Ｓ２２を出力する。

【００５８】当該処理画像信号Ｓ２２とその動きベクト
ル信号ＭＶは、動画像符号化回路２３へ入力され、ここ
で所定のフレーム間予測符号化処理が施され、符号化ビ
ットストリームＳ２４として出力端子２８から出力され
る。

【００５９】図９には、図１の動画像符号化回路２３の
構成例を示す。なお、この図９には、動画像符号化回路
２３の具体例として、例えばいわゆるＭＰＥＧ方式のよ
うな動き補償フレーム間予測とＤＣＴとを組み合わせた
ハイブリッド符号化を行うものを示している。

【００６０】この図９において、入力端子６１には前記
動きベクトル検出回路２４から入力される動きベクトル
信号ＭＶが供給される。一方、入力端子５０からは、当
該動画像符号化回路（ハイブリッド符号化器）２３への
入力動画像信号Ｓ６５が供給される。

【００６１】また、当該符号化回路２３の動き補償フレ
ーム間／内予測回路５７は、画像メモリを備え、上記入
力端子６１からの動きベクトル信号ＭＶに基づいて当該
画像メモリから読み出した予測画像信号Ｓ６８を出力す
る。

【００６２】演算器５１は、上記入力端子５０からの入
力動画像信号Ｓ６５を加算信号とし、上記動き補償フレ
ーム間／内予測回路５７からの上記予測画像信号Ｓ６８
を減算信号として加算処理を行うことにより、上記入力
動画像信号Ｓ６５と予測画像信号Ｓ６８の差分を計算
し、当該差分を予測残差信号Ｓ６６として出力する。な
お、シーンチェンジがあった時は予測を行わず、入力動
画像信号Ｓ６５がそのまま取り出される。

【００６３】次に、予測残差信号Ｓ６６（予測を行わな
い時は原信号）は、ＤＣＴ回路５２に送られる。このＤ
ＣＴ回路５２では上記予測残差信号Ｓ６６に対して２次
元ＤＣＴを施す。このＤＣＴ回路５２から出力されたＤ
ＣＴ係数は、量子化回路５３にてスカラー量子化され
る。この量子化回路５３の量子化出力信号は、可変長符
号化（ＶＬＣ）回路５８と逆量子化回路５４とに送られ
る。ＶＬＣ回路５８では、上記量子化出力信号に対して
例えばハフマン符号化を施す。このＶＬＣ回路５８の出
力信号はバッファメモリ５９に送られる。当該バッファ
メモリ５９では出力端子６０から伝送路に出力するデー
タ列のビットレートを平滑化する。また、当該バッファ
メモリ５９がオーバーフローしそうになった時には、そ
のことを量子化制御情報として量子化回路５３にフィー
ドバックする。このとき、量子化回路５３では量子化ス
テップを大きくし、これにより量子化回路５３から出力
される情報量が小さくなされる。

【００６４】一方、逆量子化回路５４では、量子化回路
５３より供給される量子化ステップ情報ｑ_step に対応
して、上記量子化出力信号に逆量子化処理を施す。当該
逆量子化回路５４の出力は、逆ＤＣＴ回路５５に入力さ
れ、ここで逆ＤＣＴ処理されて復号された予測残差信号
Ｓ６７が、演算器５６へ入力される。

【００６５】また、この演算器５６には、演算器５１に
供給されている予測画像信号Ｓ６８と同一の信号が供給
されている。演算器５６は、上記予測残差信号Ｓ６７に
予測画像信号Ｓ６８を加算する。これにより、局所復号
した画像信号が得られる。この画像信号は、受信側での
出力画像と同じ信号である。

【００６６】次に、図１０には、図１の符号化難易度測
定回路２６の構成例を示す。この図１０の構成は、基本
的には図９で説明した動画像符号化回路と同じであり、
異なる点は、量子化回路７３で固定の量子化スケールが
使用される点と、ＶＬＣ回路７８からの発生符号量につ
いてバッファメモリの占有量の管理をしない点である。
すなわち、ＶＬＣ回路７８からの発生符号量は、カウン
タ７９にて、小ブロック毎にビット量が数えあげられ、
符号化難易度ｄが出力端子８０から出力される。なお、
他の図９と同じ構成要素の説明については省略する。

【００６７】以上のような構成の動画像符号化装置で
は、入力動画像信号Ｓ３０の現在の符号化対象となって
いるフレームを、少なくとも１画素からなる小ブロック
に分割し、この小ブロック単位に符号化難易度（動画像
符号化装置の発生符号量を定められたビットレートに圧
縮する時の難易度を表すパラメータ）を計算し、当該現
在の符号化対象の小ブロックに対してローパスプリフィ
ルタ処理を施す場合に、現在の小ブロックの符号化難易
度と現在の小ブロックがフレーム間予測で参照する小ブ
ロックで使われたプリフィルタ制御情報とに基づいて適
応的にローパスプリフィルタの特性を決定し、この特性
によりローパスプリフィルタ処理した動画像信号に対し
て符号化処理を施す。

【００６８】すなわち、本発明の第１の構成例の動画像
符号化装置では、フレーム間予測符号化を施す動画像信
号に対するプリフィルタ処理の際のフィルタ特性を決定
する場合に、現在の符号化対象の小ブロックの符号化難
易度とともに、フレーム間予測で参照される小ブロック
で使われたプリフィルタ制御情報を合わせて考慮してい
る。具体的には、先ず第１段階として、視覚特性を考慮
して、局所的に速い動きや複雑な絵柄であって符号化難
易度の大きい部分では、通過帯域の比較的狭いローパス
フィルタを選択し、一方、遅い動きや平坦な絵柄であっ
て符号化難易度の小さい部分では、通過帯域の比較的広
いローパスフィルタを選択するようにしている。次に第
２段階として、現在の符号化対象の小ブロックがフレー
ム間予測で参照する小ブロックで使われたプリフィルタ
制御情報を考慮して、フレーム間予測符号化効率が低下
しないように、第１段階で選択されたフィルタ特性を修
正して、最終的に現在の符号化対象の小ブロックに対す
るプリフィルタ特性を決定するようにしている。これに
より、ローパスプリフィルタ処理された動画像は、符号
化画質の主観的印象が良く、かつ符号化効率の良いもの
となる。

【００６９】次に、本発明の第２の構成例の動画像符号
化装置を図１１に示す。

【００７０】この図１１に示す第２の構成例において、
上述した第１の構成例の動画像符号化装置との大きな違
いは、プリフィルタ制御回路９７に入力する符号化難易
度ｄ（ｄ_current）として、動きベクトル検出回路９６
から出力される予測残差、すなわち前述の式(1) で計算
される、現在のブロックの信号Ａijと任意の動きベクト
ルにより参照されるブロックの信号Ｆijの差の絶対値の
和Ｅf を用いている点である。

【００７１】この図１１において、入力端子９０から入
力されるディジタル動画像信号Ｓ１００は、フレームメ
モリ群９１に送られ、記憶される。このフレームメモリ
群９１に記憶された画像データＳ１０３を用いて、動き
ベクトル検出回路９６は、フレーム間の動きベクトルを
前記第１の構成例で説明したように検出する。そして、
動きベクトル検出回路９６は、入力画像の小ブロック毎
に動きベクトル信号ＭＶと上述の式(1)から計算される
予測残差Ｅｆを計算する。当該予測残差Ｅｆは、その小
ブロックの符号化難易度ｄとして、動きベクトル検出回
路９６から出力される。

【００７２】プリフィルタ制御回路９７へは、現在の符
号化対象の小ブロックの符号化難易度ｄが入力される。
また、プリフィルタ制御情報記憶回路９５には、過去に
入力された小ブロックで使われたプリフィルタ係数が記
憶されている。ここで、このプリフィルタ制御情報記憶
回路９５には、現在の小ブロックのフレーム上での位置
を表すブロックアドレスmb_addressと現在の小ブロック
の動きベクトル信号ＭＶが入力され、このプリフィルタ
制御情報記憶回路９５では、これらに基づいて現在の小
ブロックがフレーム間予測で参照する小ブロックで使用
されたローパスプリフィルタの通過帯域制限を指定する
パラメータとしてフィルタ係数ｋ_refを読み出し、これ
をプリフィルタ制御回路９７へ入力する。なお、フィル
タ係数ｋ_refを読み出す場合は、ブロックアドレスmb_a
ddressだけを使用して、フレーム間予測で参照するフレ
ーム上の同じブロックアドレスmb_addressの位置にある
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータをフィルタ係数ｋ_refとし
て読み出しても良い。この場合は、プリフィルタ制御情
報記憶回路９５へ動きベクトル信号ＭＶを入力する必要
はない。

【００７３】プリフィルタ制御回路９７は、上記符号化
難易度ｄとフィルタ係数ｋ_refが入力されると、これら
の基づいて現在の小ブロックに使用するローパスプリフ
ィルタの通過帯域制限を指定するパラメータとしてフィ
ルタ係数ｋ_currentを生成出力し、これをプリフィルタ
回路９２へ入力する。ここで、当該プリフィルタ回路９
７の特性は、例えば前述した図２４のような特性とす
る。したがって、ここでは、上記フィルタ係数ｋ_curre
ntが小さいほど、通過帯域の狭いローパスフィルタ特性
となる。

【００７４】なお、プリフィルタ９２の特性は、図２４
に示した特性のローパスフィルタに限らず、これ以外の
特性をもつローパスフィルタであってもよい。

【００７５】プリフィルタ制御回路９７で計算されたフ
ィルタ係数ｋ_currentは、また、プリフィルタ制御情報
記憶回路９５へ入力されて記憶され、これが未来に入力
される小ブロックに使うプリフィルタ係数を決定する時
の参照値ｋ_refとして利用されることになる。

【００７６】フィルタ係数ｋ_currentの計算方法の例
は、第１の構成例において図５を用いて説明した方法と
同様である。

【００７７】プリフィルタ回路９２は、現在の小ブロッ
クに対して、プリフィルタ係数ｋ_currentで指定される
ローパスフィルタ処理を施して、処理画像信号Ｓ１０２
を出力する。

【００７８】当該処理画像信号Ｓ１０２とその動きベク
トル信号ＭＶは、動画像符号化回路９３へ入力され、所
定のフレーム間予測符号化処理（例えばいわゆるＭＰＥ
Ｇ方式の符号化処理）が施され、この符号化ビットスト
リームＳ１０４が出力端子９８から出力される。動画像
符号化回路９３の構成は、第１の構成例において図９を
用いて説明したものと同様である。

【００７９】このような構成の動画像符号化装置では、
プリフィルタ制御回路９７に入力する符号化難易度ｄ
（ｄ_current）として、動きベクトル検出回路９６から
出力される予測残差、すなわち、現在のブロックの信号
Ａijと任意の動きベクトルにより参照されるブロックの
信号Ｆijの差の絶対値の和Ｅf を用いることにより、フ
レーム間予測符号化効率が低下しないように、選択され
たフィルタ特性を修正して、最終的に現在の符号化対象
の小ブロックに対するプリフィルタ特性を決定する。こ
れにより、ローパスプリフィルタ処理された動画像は、
符号化画質の主観的印象が良く、かつ符号化効率の良い
ものとすることできる。

【００８０】なお、特開平６−２２５２７６号公報に開
示されている動画像符号化におけるプリフィルタ制御方
法及び装置も、入力画像信号に対してプリフィルタ処理
を行うようにしているが、この公報記載の技術は、１画
面内でプリフィルタ係数を変えることは行っておらず画
面内では一定で、また複数フレーム単位でフィルタ係数
を一定にしている。

【００８１】これに対して、上述のような第１の構成例
や第２の構成例の画像符号化装置では、フレーム間予測
符号化を施す動画像信号に対するプリフィルタ処理の際
のフィルタ特性を、画面を分割する小ブロック単位の符
号化難易度ｄに応じて適応的に変更可能としているの
で、視覚特性を考慮して、画面内の局所的に速い動きや
複雑な絵柄であり符号化難易度の大きい部分では通過帯
域の比較的狭いローパスフィルタを選択でき、一方、遅
い動きや平坦な絵柄であり符号化難易度の小さい部分で
は通過帯域の比較的広いローパスフィルタを選択でき
る。さらにこの小ブロック単位のプリフィルタ係数を決
定する場合には、上記小ブロックの符号化難易度ｄだけ
でなく、現在の符号化対象の小ブロックがフレーム間予
測で参照する小ブロックで使われたプリフィルタ制御情
報をも合わせて考慮しており、フレーム間予測符号化効
率が低下しないように、上述のように選択されたフィル
タ特性を修正して、最終的に現在の符号化対象の小ブロ
ックに対するプリフィルタ特性を決定するようにしてい
るので、ローパスプリフィルタ処理された動画像は、従
来よりも、符号化画質の主観的印象が良く、かつ符号化
効率の良いものとすることできる。

【００８２】ところで、ＭＰＥＧ方式などで用いられて
いるフレーム間予測符号化では、図１２に示すように予
測を行わないで内部符号化するＩピクチャと、順方向予
測のみを行うＢピクチャと、双方向予測を行うＢピクチ
ャがあり、一般に、これらの画像間では符号化難易度の
ダイナミックレンジや小ブロック毎の符号化難易度の分
布が異なっている。ＭＰＥＧ方式では、このように符号
化難易度の特性の異なる画像が連続しているため、全入
力画像の符号化難易度に従ってローパスフィルタ処理の
フィルタ特性を決定すると、時間的に近接する画像間で
フィルタ特性が極端に異なることに起因する主観的画質
の劣化が生じる可能性がある。

【００８３】上述の第１及び第２の構成例により説明し
た実施の形態においては、入力画像の小ブロックの符号
化難易度と当該小ブロックが画像間予測で参照する小ブ
ロックで使われたフィルタ制御情報とに基づいて、ロー
パスフィルタ処理のフィルタ特性を決定しているが、内
部符号化を行うＩピクチャや、フィルタ特性の参照画像
との間にＢピクチャが存在するＰピクチャ及び時間的に
連続する画像間のフィルタ特性に関して考慮していな
い。

【００８４】また、フレーム間予測を行う画像におい
て、予測を行わずに内部符号化を行う小ブロックが存在
することがあるため、同一画像内においても、空間的に
近接する小ブロックと比較して、極端に符号化難易度の
高い小ブロックが存在することがある。

【００８５】このような画像に対して、小ブロック毎の
符号化難易度に従って適応的にローパスフィルタ処理の
フィルタ特性を決定すると、時間的／空間的に局所的に
ローパスの通過帯域の異なる小ブロックが存在すること
になり、主観的画質の劣化が生じる可能性がある。

【００８６】そこで、図１３に示す本発明の第３の構成
例の動画像符号化装置では、フレーム間予測符号化を施
す動画像信号に対するプリフィルタ処理の際のフィルタ
特性を決定する場合に、入力動画像信号Ｓ３０の現在の
符号化対象となっているフレームを、少なくとも１画素
からなる小ブロックに分割し、現在の符号化対象の画像
がフィルタ特性画像であるか非フィルタ特性画像である
かの判定を行い、現在の小ブロックのプリフィルタ情報
とともに、フレーム間予測で参照される小ブロックで使
われたプリフィルタ制御情報及び時間的に近接する画像
の空間的に同じ位置の小ブロックで使われたプリフィル
タ制御情報を合わせて考慮している。

【００８７】具体的には、先ず第１段階として、ＭＰＥ
Ｇ方式における、Ｉ、Ｐ、Ｂピクチャなどの符号化タイ
プによって符号化難易度が異なることを考慮して、特定
の符号化タイプの入力画像をフィルタ特性画像として判
定し、それ以外の符号化タイプの画像を非フィルタ特性
画像として判定する。ここで、例えばフィルタ特性画像
にはＰピクチャを用い、非フィルタ特性画像にはＩ、Ｂ
ピクチャを用いる。

【００８８】入力画像をフィルタ特性画像として判定し
た場合は所定の方法で当該画像の小ブロック毎の符号化
難易度を計算し、所定の方法で当該画像内で当該符号化
難易度を平滑化する。

【００８９】第２段階として視覚特性を考慮して、局所
的に速い動きや複雑な絵柄であるために符号化難易度の
大きい小ブロックでは、通過帯域の比較的狭いローパス
フィルタを選択し、一方、遅い動きや平坦な絵柄である
ために符号化難易度の小さい小ブロックでは、通過帯域
の比較的広いローパスフィルタを選択するようにしてい
る。更に、現在の符号化対象の小ブロックがフレーム間
予測で参照する小ブロックで使われたプリフィルタ制御
情報を考慮し、主観的に画質が劣化せず、かつ、フレー
ム間予測符号化効率が低下しないように、選択されたフ
ィルタ特性を修正して、現在の符号化対象の小ブロック
に対するプリフィルタ特性を決定する。

【００９０】非フィルタ特性画像の場合は、第２段階と
して現在の符号化対象の小ブロックがフレーム間予測で
参照する過去参照画像の小ブロックで使われたプリフィ
ルタ制御情報と未来参照画像の小ブロックで使われたプ
リフィルタ制御情報から所定の方法で内挿補間を行い当
該画像の小ブロックのプリフィルタ特性を算出する。更
に、時間的に近接する画像の空間的に同じ位置の小ブロ
ックで使われたプリフィルタの制御情報を考慮して、主
観的に画質が劣化せず、かつ、フレーム間予測符号化効
率が低下しないように、算出したフィルタ特性を修正し
て、現在の符号化対象の小ブロックに対するプリフィル
タ特性を決定する。

【００９１】ここで、非フィルタ特性画像が予測を用い
ない内部符号化画像、例えばＭＰＥＧ方式におけるＩピ
クチャである場合には、時間的に前後するＰピクチャの
空間的に同じ位置の小ブロックのプリフィルタ制御情報
に基づいて内挿補間を行い、現在の符号化対象の小ブロ
ックのプリフィルタ特性を決定する。

【００９２】これらにより、ローパスプリフィルタ処理
された動画像は、符号化画質の主観的印象が良く、かつ
符号化効率の良いものとなる。

【００９３】この図１３に示す本発明の第３の構成例の
動画像符号化装置において、入力端子１２０から入力さ
れるディジタル動画像信号Ｓ３０は、フレームメモリ群
１２１に送られ、記憶される。

【００９４】ＭＰＥＧ方式においては、予測符号化を行
う際に、双方向予測を行うことから、図１４（ａ），
（ｂ）に示すように画像の入力順序と符号化順序が異な
るため、フレームメモリ群２１では符号化順序に従って
入力画像の順序入替えを行う。

【００９５】このフレームメモリ群１２１に記憶された
画像データＳ２３を用いて、動きベクトル検出回路１２
４は、フレーム間の動きベクトルを検出する。具体的に
言うと、動きベクトル検出回路１２４では、フレームを
小ブロックに分割し、この小ブロック単位に動きベクト
ルＭＶを計算する。ここで、小ブロックは例えば１６画
素×１６ラインで構成されており、動きベクトル検出は
例えば参照フレームと現在の小ブロックとのパターンマ
ッチングで行う。すなわち、上述の式(1) により、現在
の小ブロックの信号Ａijと、任意の動きベクトルにより
参照される小ブロックの信号Ｆijの差の絶対値の和Ｅf
を求める。

【００９６】動きベクトル検出回路１２４は、上記Ｅf
の値が最小となる動きベクトルを動きベクトル信号ＭＶ
として出力する。

【００９７】画像処理タイプ判定回路１２８では、入力
された画像データＳ２３のピクチャータイプによって、
出力する回路切替え信号pict_type の内容を変え、以降
の処理を変える。

【００９８】画像データＳ２３がフィルタ特性画像とし
て用いる画像、例えばＰピクチャ、であったならば、画
像データＳ２３を符号化難易度参照回路１２６に入力
し、回路切替え信号pict_type(1)を動きベクトル検出回
路１２４及びプリフィルタ制御情報記憶回路１２５に入
力する。

【００９９】回路切替え信号pict_type(1)を入力された
動きベクトル検出回路１２４では、動きベクトル信号Ｍ
Ｖを動画像符号化回路１２３、プリフィルタ制御情報記
憶回路１２５及び符号化難易度測定回路１２６に入力す
る。

【０１００】画像データＳ２３と動きベクトル信号ＭＶ
を入力された符号化難易度測定回路１２６では、入力画
像の小ブロック毎に、その符号化難易度ｄ(ｄ＿raw) を
計算する。

【０１０１】この第３の構成例での符号化難易度ｄ(ｄ
＿raw) 、後述する動画像符号化回路１２３での発生符
号量を定められたビットレートに圧縮する時の難易度を
表すパラメータである。符号化難易度測定回路１２６の
具体的な構成例については、後述する。

【０１０２】符号化難易度平滑化回路１２９では、近接
する小ブロック間で、フィルタ係数が極端に異なること
を避けるために、入力したｄ(ｄ＿raw) をフレーム内で
平滑化し、平滑化符号化難易度情報ｄ(ｄ＿current) を
計算する。符号化難易度平滑化回路１２９では、横方向
にi番目、縱方向にj番目の現在の符号化対象の小ブロッ
クの符号化難易度をｄ(i,j)としたとき、 例えば次の式
(2) d(ｄ＿current)＝{ｄ(i-1,j-1)＋ｄ(i,j-1)＋ｄ(i-1,j+1) ＋ｄ(i-1,j) ＋ｄ(i,j) ＋ｄ(i+1,j) ＋ｄ(i-1,j+1)＋ｄ(i,j+1)＋ｄ(i+1,j+1)}／９ (2) により平滑化を行う。

【０１０３】次に、プリフィルタ制御回路１２７へは、
上述のように求めた現在の符号化対象の小ブロックの符
号化難易度ｄ(ｄ＿current) が入力される。

【０１０４】また、プリフィルタ制御情報記憶回路１２
５には、過去に入力された小ブロックで使われたプリフ
ィルタ係数が記憶されている。

【０１０５】ここで、このプリフィルタ制御情報記憶回
路１２５には、現在の小ブロックのフレーム上での位置
を表すブロックアドレスmb＿address と現在の小ブロッ
クの動きベクトル信号ＭＶ及び回路切替え信号pict_typ
e(1)が入力され、それらに基づいて、このプリフィルタ
制御情報記憶回路１２５では、現在の小ブロックがフレ
ーム間予測で参照する小ブロックで使用されたローパス
プリフィルタの通過帯域制限を指定するパラメータとし
てのフィルタ係数ｋ＿ref(1)を読み出し、プリフィルタ
制御回路１２７へ入力する。

【０１０６】なお、上記フレーム間予測で参照する小ブ
ロックのフィルタ係数ｋ＿ref(1)を読み出す場合には、
ブロックアドレスmb＿address だけを使用して、フレー
ム間予測で参照するフレーム上の同じブロックアドレス
mb＿addressの 位置にある小ブロックで使用されたロー
パスプリフィルタの通過帯域制限を指定するパラメータ
を上記フィルタ係数ｋ＿ref(1)として読み出すようにし
ても良い。この場合は、プリフィルタ制御情報記憶回路
１２５へ動きベクトル信号ＭＶを入力する必要はない。

【０１０７】プリフィルタ制御回路１２７は、上記符号
化難易度ｄ(ｄ＿current) とフィルタ係数ｋ＿ref(1)が
入力されると、これらに基づいて、現在の小ブロックに
使用するローパスプリフィルタの通過帯域制限を指定す
るパラメータとしてフィルタ係数ｋ＿current を生成出
力し、これをプリフィルタ１２２へ入力する。

【０１０８】プリフィルタ制御回路１２７で計算された
フィルタ係数ｋ＿current は、また、プリフィルタ制御
情報記憶回路２５へ入力されて記憶され、これが未来に
入力される小ブロックに使うプリフィルタ係数を決定す
る時の参照値（フィルタ係数ｋ＿ref） として利用され
ることになる。

【０１０９】次に、画像データＳ２３が非フィルタ特性
画像、例えばＭＰＥＧ方式におけるＩ、Ｂピクチャ、で
あったならば、画像処理タイプ判定回路１２８は現在の
小ブロックのフレーム上での位置を表すブロックアドレ
スmb＿address をプリフィルタ制御情報記憶回路１２５
に入力し、回路切替え信号pict_type(2)を動きベクトル
検出回路１２４及びプリフィルタ制御情報記憶回路１２
５に入力する。

【０１１０】回路切替え信号pict_type(2)を入力された
動きベクトル検出回路１２４では、動きベクトル信号Ｍ
Ｖを動画像符号化回路１２３及びプリフィルタ制御情報
記憶回路１２５に入力する。

【０１１１】現在の小ブロックのブロックアドレスmb＿
address と現在の小ブロックの動きベクトルＭＶを入力
されたプリフィルタ制御情報記憶回路１２５は現在の小
ブロックがフレーム間予測で参照する未来参照画像と過
去参照画像の小ブロックで使用されたローパスプリフィ
ルタの通過帯域制限を指定するパラメータとしてのフィ
ルタ係数ｋ＿ref(2)、ｋ＿ref(3)と時間的に近接する画
像の空間的に同じ位置の小ブロックで使用されたローパ
スプリフィルタの通過帯域制限を指定するパラメータと
してのフィルタ係数ｋ＿ref(4)を読み出し、内挿補間回
路１３０に入力する。

【０１１２】なお、上記フィルタ係数ｋ＿ref(2)、ｋ＿
ref(3)を読み出す場合には、ブロックアドレスmb＿addr
ess だけを使用して、フレーム間予測で参照するフレー
ム上の同じブロックアドレスmb＿address の位置にある
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータを上記フィルタ係数ｋ＿re
f(2)、ｋ＿ref(3)として読み出すようにしても良い。こ
の場合は、プリフィルタ制御情報記憶回路１２５へ動き
ベクトル信号ＭＶを入力する必要はない。

【０１１３】現在の小ブロックのパラメータとしてのフ
ィルタ係数ｋ＿ref(2)、ｋ＿ref(3)、ｋ＿ref(4)を入力
された内挿補間回路１３０は、過去参照画像のフィルタ
係数ｋ＿ref(2)と未来参照画像のフィルタ係数ｋ＿ref
(3)を基に内挿補間を行い、更に時間的に近接する画像
の空間的に同じ位置の小ブロックのフィルタ係数ｋ＿re
f(4)を用いて現在の小ブロックのフィルタ係数ｋ＿curr
ent を生成出力し、これをプリフィルタ１２２へ入力す
る。

【０１１４】ここで、現在の小ブロックと時間的に近接
する画像の空間的に同じ位置の小ブロックで使用された
フィルタ係数ｋ＿ref(4)を用いず、現在の小ブロックが
フレーム間予測で参照する小ブロックで使用されたフィ
ルタ係数ｋ＿ref(2)、ｋ＿ref(3)のみを読み出して現在
の小ブロックのフィルタ係数ｋ＿current を生成出力す
ようにしても良い。

【０１１５】また、非フィルタ特性画像が例えばＭＰＥ
Ｇ方式のＩピクチャーのように、フレーム間予測を行わ
ない画像であった場合には、時間的に前後するフィルタ
特性画像の空間的に同じ位置の小ブロックのフィルタ係
数を過去参照画像のフィルタ係数ｋ＿ref(2)と未来参照
画像のフィルタ係数ｋ＿ref(3)として読み出し、内挿補
間を行う。この場合は時間的に近接する画像の空間的に
同じ位置の小ブロックのフィルタ係数ｋ＿ref(4)は用い
ない。

【０１１６】内挿補間回路で計算されたフィルタ係数ｋ
＿current は、また、プリフィルタ制御情報記憶回路１
２５へ入力されて記憶され、これが未来に入力される小
ブロックに使うプリフィルタ係数を決定する時の参照値
（フィルタ係数ｋ＿ref ）として利用されることにな
る。

【０１１７】以上のようにして、適応的にプリフィルタ
１２２のフィルタ係数を決定し、符号化画質の主観的印
象が良く、かつ符号化効率の良い符号化方式を実現す
る。

【０１１８】ここで、当該プリフィルタ１２２の特性
は、例えば上述の図２５のような特性とする。したがっ
て、ここでは、フィルタ係数ｋ＿current が小さいほ
ど、通過帯域の狭いローパスフィルタ特性となる。ま
た、プリフィルタ１２２は、上述の図２４に示した特性
のローパスフィルタやこれ以外の特性をもつローパスフ
ィルタを用いることができる。

【０１１９】フィルタ係数ｋ＿current の計算方法の例
について以下に説明する。ここでは、図１５に示すよう
に入力動画像の入力順に、フィルタ特性画像、非フィル
タ特性画像の双方を含むＮフレーム毎（Ｎ≧１）のグル
ープを作り、このグループを処理の１単位としている。
図１６のフローチャートを用いて、プリフィルタ係数の
制御について説明する。

【０１２０】図１６のフローチャートにおいて、先ず、
ステップＳＴ１４０では、現在の符号化対象のフレーム
を含むＮフレーム間でのフィルタの制御を開始する。

【０１２１】ステップＳＴ１４１では、そのＮフレーム
間でのフィルタ特性画像の符号化難易度の平均値ｄ＿av
e を計算し、次のステップＳＴ４２では、そのＮフレー
ム間でのプリフィルタ係数の代表値ｋ＿gop を計算す
る。プリフィルタ係数の代表値ｋ＿gop は、Ｎフレーム
間での符号化難易度の平均値ｄ＿ave に対して、代表的
な（平均的な）プリフィルタ係数への対応が、予め経験
的に決められている。ここでは、上述の図２５に示した
ように、符号化難易度が大きいほど、通過帯域の狭いロ
ーパスフィルタ特性を対応付けておく（すなわちｋ＿go
p が小さくなる）。上記符号化難易度の平均値ｄ＿ave
とプリフィルタ係数の代表値ｋ＿gop の対応関係は、例
えば上述の図６に示すようになる。

【０１２２】次に、ステップＳＴ１４３では、現在符号
化対象フレームがフィルタ特性画像であるか、非フィル
タ特性画像であるかの判定を行う。フィルタ特性画像で
あるならば、ステップＳＴ１４４へ進み、非フィルタ特
性画像であるならば、ステップＳＴ１５１に移る。

【０１２３】ステップＳＴ１４４では、フィルタ特性画
像の１フレーム内でのフィルタの制御を開始する。先
ず、ステップＳＴ１４５では、現在の符号化対象の小ブ
ロックの平滑化した符号化難易度ｄ（以下ｄ＿current
とする）を読み込み、ステップＳＴ１４６では、図１５
（ａ）に示すように現在の小ブロックがフレーム間予測
で参照する小ブロックで使用されたローパスプリフィル
タ係数ｋ＿ref(1)を読み込む。

【０１２４】次に、ステップＳＴ１４７では、上記符号
化難易度ｄ＿current とローパスプリフィルタ係数ｋ＿
ref(1)から現在の小ブロックで使用するローパスプリフ
ィルタ係数ｋ＿current を例えば上述の図７に示した計
算例と同様に計算する。

【０１２５】次のステップＳＴ１４８では、現在の小ブ
ロックがフレーム内の最後のブロックであるか否かの判
定をする。このステップＳＴ１４８の判定において、現
在の小ブロックがフレーム内の最後のブロックでないと
判定した場合は、ステップＳＴ１４５へ戻る。一方、こ
のステップＳＴ１４８の判定において、現在の小ブロッ
クがフレーム内の最後のブロックであると判定した場合
は、ステップＳＴ１４９へ進む。

【０１２６】ステップＳＴ１４９では、現在のフレーム
がＮフレームからなるグループの最後のフィルタ特性画
像であるか否かの判定をする。このステップＳＴ１４９
の判定において、現在のフレームがＮフレームからなる
グループの最後のフィルタ特性画像でないと判定した場
合はステップＳＴ１４３へ戻り、一方、現在のフレーム
がＮフレームからなるグループの最後のフィルタ特性画
像であると判定した場合はステップＳＴ１５０に進む。

【０１２７】ステップＳＴ１５１では、非フィルタ特性
画像の１フレーム内でのフィルタの制御を開始する。先
ず、ステップＳＴ１５２では、図１５（ｂ）に示すよう
に現在の小ブロックがフレーム間予測で参照する、過去
参照画像と未来参照画像の小ブロックで各々使用された
ローパスプリフィルタ係数ｋ＿ref(2)とｋ＿ref(3)を読
み込み、ステップＳＴ１５３では、図１５（ｂ）に示す
ように時間的に近接するフレームの空間的に同じ位置の
小ブロックで使用されたローパスプリフィルタ係数ｋ＿
ref(4)を読み込む次に、ステップＳＴ５４では、上記フ
ィルタ係数ｋ＿ref(2)とｋ＿ref(3)とｋ＿ref(4)から現
在の小ブロックで使用するローパスプリフィルタ係数ｋ
＿currentを計算する。

【０１２８】図１７に上記ローパスプリフィルタ係数ｋ
＿current の計算例を示す。現在の符号化対象画像と過
去参照画像、未来参照画像が図１５（ｂ）に示すような
位置関係である場合、図１７に示す計算例では、先ず、
式(g) のように、上記ｋ＿ref(2)とｋ＿ref(3)からｋ＿
current を各々の画像の距離に従った内挿補間によって
計算する。次に、条件(h)及び条件(i)のように、現在の
符号化対象画像の小ブロックと時間的に近接する画像の
空間的に同じ位置の小ブロックで使用されたローパスプ
リフィルタ係数ｋ＿ref(4)とを比較する。そして、上記
ｋ＿current とｋ＿ref(4)の変化が、予め決めた閾値よ
り大きい時は、その変化を抑えるように制御する。

【０１２９】具体的には、図１７に示す計算例では、条
件(h) のように、上記ｋ＿currentがｋ＿ref(4)のＥ倍
（Ｅ＞１）より大きい時は、当該ｋ＿current をＥ倍の
ｋ＿ref(4)へ変更する。また、条件(i) のように、上記
ｋ＿current が上記ｋ＿ref(4)のＦ倍（Ｄ＜１）より小
さい時は、上記ｋ＿current をＦ倍のｋ＿ref(4)へ変更
する。以上のようにして、現在の小ブロックで使用する
ローパスプリフィルタ係数ｋ＿current を決定する。

【０１３０】また、非フィルタ特性画像がＩピクチャで
ある場合は、過去参照画像の同じ位置の小ブロックで使
用したローパスフィルタ係数をｋ＿ref(2)とし、未来参
照画像の同じ位置の小ブロックで使用したローパスフィ
ルタ係数をｋ＿ref(3)として同様に計算する。

【０１３１】図１６のフローチャートに戻って、上述し
たステップＳＴ１５４の次のステップＳＴ１５５では、
現在の小ブロックがフレーム内の最後のブロックである
か否かの判定をする。このステップＳＴ１５５の判定に
おいて、現在の小ブロックがフレーム内の最後のブロッ
クでないと判定した場合は、ステップＳＴ１５２へ戻
る。一方、このステップＳＴ１５５の判定において、現
在の小ブロックがフレーム内の最後のブロックであると
判定した場合は、ステップＳＴ１５６へ進む。

【０１３２】ステップＳＴ１５６では、現在のフレーム
がＮフレームからなるグループの最後の非フィルタ特性
画像であるか否かの判定をする。このステップＳＴ１５
６の判定において、現在のフレームがＮフレームからな
るグループの最後の非フィルタ特性画像でないと判定し
た場合はステップＳＴ１５６へ戻り、一方、現在のフレ
ームがＮフレームからなるグループの最後の非フィルタ
特性画像であると判定した場合はステップＳＴ１５０に
進む。

【０１３３】このステップＳＴ１５０にて、Ｎフレーム
からなるグループでのフィルタの制御を終了する。

【０１３４】以上のようにして、プリフィルタ制御回路
１２７及び、内挿補間回路１３０では、プリフィルタ係
数ｋ＿current を決定する。

【０１３５】なお、図１６のステップＳＴ１４６，ＳＴ
１４７，ＳＴ１５２，ＳＴ１５３，ＳＴ１５４におい
て、上記フィルタ係数ｋ＿ref(1)，ｋ＿ref(2)，ｋ＿re
f(3)，ｋ＿ref(4)を使用する代わりに、現在の小ブロッ
クがフレーム間予測で参照する小ブロックの符号化難易
度ｄ＿ref(1)，ｄ＿ref(2)，ｄ＿ref(3)，ｄ＿ref(4)を
使用しても良い。

【０１３６】なお、この場合は、像処理タイプ判定回路
１２８において入力画像を非フィルタ特性画像と判定し
た場合でも画像データＳ１２３を符号化難易度測定回路
１２６に入力し、動きベクトル検出回路１２４から動き
ベクトル信号ＭＶを符号化難易度測定回路１２６に入力
して符号化難易度ｄ＿ref(4)を計算する必要がある。

【０１３７】この場合のプリフィルタ係数ｋ＿current
の計算方法の例について、図１８を用いて説明する。こ
の図１８において前述の図１６のフローチャートとの違
いは、ステップＳＴ１６４，ＳＴ１６５，ＳＴ１７０，
ＳＴ１７１，ＳＴ１７２であり、それぞれ図１６ではス
テップＳＴ１４５，ＳＴ１４７，ＳＴ１５２，ＳＴ１５
３，ＳＴ１５４に対応する。なお、この図１８のステッ
プＳＴ１５８〜ＳＴ１６３，ステップＳＴ１６６〜ＳＴ
１６９，ステップＳＴ１７２以降は各々、図１６のステ
ップＳＴ１４０〜ＳＴ１４５，ステップＳＴ１４８〜ス
テップＳＴ１５１，ステップＳＴ１５５以降と同じであ
るので、それらのステップの説明は省略する。

【０１３８】この図１８において、ステップＳＴ１６４
では、図１５（ａ）に示したように現在の小ブロックが
フレーム間予測で参照する小ブロックの符号化難易度ｄ
＿ref(1)を読み込む。次にステップＳＴ１６５では、現
在の符号化対象の小ブロックの符号化難易度ｄ＿curren
t と上記符号化難易度ｄ＿ref(1)から現在の小ブロック
で使用するローパスプリフィルタ係数ｋ＿current を例
えば上述の図８に示した計算例と同様に計算する。

【０１３９】また、ステップＳＴ７０では、図１５
（ｂ）に示すように現在の小ブロックがフレーム間予測
で参照する、過去参照画像と未来参照画像の小ブロック
で各々使用された符号化難易度ｄ＿ref(2)とｄ＿ref(3)
を読み込み、ステップＳＴ５３では、図１５（ｂ）に示
すように時間的に近接するフレームの空間的に同じ位置
の小ブロックで使用されたローパスプリフィルタ係数ｋ
＿ref(4)を読み込む。

【０１４０】図１９には上記ローパスプリフィルタ係数
ｋ＿current の計算例を示す。現在の符号化対象画像と
過去参照画像、未来参照画像が図１５（ｂ）に示すよう
な位置関係である場合、図１９に示す計算例において
は、先ず、式(j) のように、上記ｄ＿ref(2)とｄ＿ref
(3)からｄ＿currentを内挿補間によって計算する。次
に、条件(k)及び条件(l)のように、現在の符号化対象画
像の小ブロックと時間的に近接する画像の空間的に同じ
位置の小ブロックの符号化難易度係数ｄ＿ref(4)とを比
較する。そして、上記ｄ＿current とｄ＿ref(4)の変化
が、予め決めた閾値より大きい時は、その変化を抑える
ように制御する。

【０１４１】具体的には、図１９に示す計算例では、条
件(k) のように、上記ｄ＿currentがｄ＿ref(4)のＣ倍
（Ｃ＞１）より大きい時は、当該ｄ＿current をＣ倍の
ｄ＿ref(4)へ変更する。また、条件(l) のように、上記
ｄ＿current が上記ｄ＿ref(4)のＤ倍（Ｄ＜１）より小
さい時は、上記ｄ＿current をＤ倍のｄ＿ref(4)へ変更
する。以上のようにして、現在の小ブロックの符号化難
易度ｄ＿current を決定する。そして、条件(j)のよう
に上記符号化難易度ｄ＿current とｋ＿gopから現在の
小ブロックで使用するローパスプリフィルタ係数ｋ＿cu
rrent を計算する。

【０１４２】また、非フィルタ特性画像がＩピクチャで
ある場合は、過去参照画像の同じ位置の小ブロックの符
号化難易度をｄ＿ref(2)とし、未来参照画像の同じ位置
の小ブロックの符号化難易度をｄ＿ref(3)とする。

【０１４３】上述した図１８のフローチャートの場合、
プリフィルタ制御情報記憶回路１２５には、過去に計算
された小ブロックの符号化難易度ｄ＿ref が記憶されて
いて、現在の小ブロックのブロックアドレスmb＿addres
s と動きベクトル信号ＭＶからフレーム間予測で参照す
る小ブロックの符号化難易度ｄ＿ref を読み出す。

【０１４４】なお、この時、前述したように、上記符号
化難易度ｄ＿ref を読み出す場合に、ブロックアドレス
mb＿address だけを使用して、フレーム間予測で参照す
るフレーム上の同じブロックアドレスmb＿address の位
置にある小ブロックで使用されたローパスプリフィルタ
の通過帯域制限を指定するパラメータをフィルタ係数d
＿refとして読み出しても良い。この場合は、プリフィ
ルタ制御情報記憶回路１２５へ動きベクトル信号ＭＶを
入力する必要がない。

【０１４５】図１３に戻って、プリフィルタ１２２は、
現在の小ブロックに対して、プリフィルタ係数ｋ＿curr
ent で指定されるローパスフィルタ処理を施して、処理
画像信号Ｓ１２２を出力する。

【０１４６】当該処理画像信号Ｓ２２とその動きベクト
ル信号ＭＶは、動画像符号化回路１２３へ入力され、こ
こで所定のフレーム間予測符号化処理が施され、符号化
ビットストリームＳ２４として出力端子１２８から出力
される。

【０１４７】プリフィルタ１２２の構成例を図２０に示
す。この図２０に示す構成例において、入力端子３００
には当該プリフィルタ１２２への入力画像信号Ｓ３００
が供給される。一方、入力端子３０５にはプリフィルタ
制御回路１２７又は内挿補間によるプリフィルタ制御回
路１３０から入力されるローパスプリフィルタ係数ｋ＿
current が入力される。

【０１４８】ここで、ローパスプリフィルタ係数ｋ＿cu
rrent は、０≦ｋ＿current ≦１の値を取るように定め
る。

【０１４９】入力画像信号Ｓ３００は、ローパスフィル
タ３０１に入力され、ここでローパスフィルタ処理され
る。ローパスフィルタ３０１による処理画像信号Ｓ３０
１は、演算器３０２に入力される。演算器３０２は、処
理画像信号Ｓ３０１と入力画像信号Ｓ３００との差分信
号Ｓ３０２を出力する。ここに、 Ｓ３０２＝Ｓ３０１−Ｓ３００ である。

【０１５０】次に、差分信号Ｓ３０２は、演算器３０３
に入力される。演算器３０３は、差分信号Ｓ３０２にロ
ーパスプリフィルタ係数ｋ＿current を乗算した信号Ｓ
３０３を出力する。ここに、 Ｓ３０３＝Ｓ３０２×ｋ＿current である。

【０１５１】次に、演算器３０３からの信号Ｓ３０３
は、演算器３０４に入力される。演算器３０４は、信号
Ｓ３０３と入力画像信号Ｓ３００との加算信号であるプ
リフィルタ処理画像信号Ｓ３０４を出力する。ここに、 Ｓ３０４＝Ｓ３０３−Ｓ３０２ ＝（１−ｋ＿current）×Ｓ３００＋（１−ｋ＿current）×Ｓ３０１ である。

【０１５２】また、動画像符号化回路１２３には、例え
ば上述の図９に示した構成のものが用いられる。また、
符号化難易度測定回路１２６には、例えば上述の図１０
に示した構成のものが用いられる。

【０１５３】次に、本発明の第４の構成例の動画像符号
化装置を図２１に示す。

【０１５４】この図２１に示す第４の構成例において、
上述した第３の構成例の動画像符号化装置との大きな違
いは、プリフィルタ制御回路１９７に入力する符号化難
易度ｄ（ｄ＿current ）として、動きベクトル検出回路
１９６から出力される予測残差、すなわち前述の式(1)
で計算される、現在のブロックの信号Ａijと任意の動き
ベクトルにより参照されるブロックの信号Ｆijの差の絶
対値の和Ｅf を用いている点である。

【０１５５】この図２１において、入力端子１９０から
入力されるディジタル動画像信号Ｓ１００は、フレーム
メモリ群１９１に送られ、記憶される。このフレームメ
モリ群１９１に記憶された画像データＳ１０３を用い
て、動きベクトル検出回路１９６は、フレーム間の動き
ベクトルを前記第３の構成例で説明したにように検出す
る。

【０１５６】動きベクトル検出回路１９６では、入力画
像の小ブロック毎に動きベクトル信号ＭＶと上述の式
(1) から計算される予測残差Ｅf を計算し、動きベクト
ル信号ＭＶを動画像符号化回路１９３とプリフィルタ制
御情報記憶回路１９５に入力する。

【０１５７】画像処理タイプ判定回路１９４では、入力
された画像データの処理番号pict＿numberより、現在処
理中の画像がフィルタ特性画像であるか非フィルタ特性
画像であるかの判定を行う。現在処理中の画像がフィル
タ特性画像、例えばＰピクチャ、であったならば、回路
切替え信号pict_type(1)をフィルタ制御情報記憶回路１
９５と動きベクトル検出回路１９６に入力する。

【０１５８】回路切替え信号pict_type(1) を入力され
た動きベクトル検出回路９６では、予測残差Ｅf を、そ
の小ブロックの符号化難易度ｄ(ｄ＿raw)として出力す
る。

【０１５９】符号化難易度平滑化回路１０９では、近接
する小ブロック間で、フィルタ係数が極端に異なること
を避けるために、入力したｄ(ｄ＿raw )をフレーム内で
平滑化し、平滑化符号化難易度情報ｄ(ｄ＿current )を
計算する。符号化難易度平滑化回路１９９での平滑化処
理は第３の構成例と同様に行う。プリフィルタ制御回路
１９７へは、現在の符号化対象の小ブロックの符号化難
易度ｄ(ｄ＿current)が入力される。また、プリフィル
タ制御情報記憶回路１９５には、過去に入力された小ブ
ロックで使われたプリフィルタ係数が記憶されている。
ここで、このプリフィルタ制御情報記憶回路１９５に
は、現在の小ブロックのフレーム上での位置を表すブロ
ックアドレスmb＿address と現在の小ブロックの動きベ
クトル信号ＭＶ及び、回路切替え信号pict_type(1)が入
力される。

【０１６０】このプリフィルタ制御情報記憶回路１９５
では、これらに基づいて現在の小ブロックがフレーム間
予測で参照する小ブロックで使用されたローパスプリフ
ィルタの通過帯域制限を指定するパラメータとしてフィ
ルタ係数ｋ＿ref(1)を読み出し、これをプリフィルタ制
御回路１９７へ入力する。

【０１６１】なお、フィルタ係数ｋ＿ref(1)を読み出す
場合は、ブロックアドレスmb＿address だけを使用し
て、フレーム間予測で参照するフレーム上の同じブロッ
クアドレスmb＿address の位置にある小ブロックで使用
されたローパスプリフィルタの通過帯域制限を指定する
パラメータをフィルタ係数ｋ＿ref として読み出しても
良い。この場合は、プリフィルタ制御情報記憶回路１９
５へ動きベクトル信号ＭＶを入力する必要はない。

【０１６２】プリフィルタ制御回路１９７は、上記符号
化難易度ｄとフィルタ係数ｋ＿ref(1)が入力されると、
これらに基づいて現在の小ブロックに使用するローパス
プリフィルタの通過帯域制限を指定するパラメータとし
てフィルタ係数ｋ＿currentを生成出力し、これをプリ
フィルタ１９２へ入力する。ここで、当該プリフィルタ
１９７の特性は、例えば前述した図２４のような特性と
する。したがって、ここでは、上記フィルタ係数ｋ＿cu
rrent が小さいほど、通過帯域の狭いローパスフィルタ
特性となる。

【０１６３】なお、プリフィルタ１９２の特性は、図２
４に示した特性のローパスフィルタに限らず、これ以外
の特性をもつローパスフィルタであってもよい。

【０１６４】プリフィルタ制御回路１９７で計算された
フィルタ係数ｋ＿current は、また、プリフィルタ制御
情報記憶回路１９５へ入力されて記憶され、これが未来
に入力される小ブロックに使うプリフィルタ係数を決定
する時の参照値ｋ＿ref として利用されることになる。

【０１６５】また、画像処理タイプ判定回路１９４にお
いて、入力されたpict＿number より、現在処理中の画
像が非フィルタ特性画像、例えばＩ、Ｂピクチャ、であ
ると判定した場合、回路切替え信号 pict_type(2) をフ
ィルタ制御情報記憶回路１９５と動きベクトル検出回路
１９６に入力し、現在の小ブロックのフレーム上での位
置を表すブロックアドレスmb＿address をプリフィルタ
制御情報記憶回路１９５と内挿補間回路２００に入力す
る。

【０１６６】回路切替え信号 pict_type(2) を入力され
た動きベクトル検出回路１９６では、予測残差Ｅf の出
力を行わない。

【０１６７】現在の小ブロックのブロックアドレスmb＿
address と現在の小ブロックの動きベクトルＭＶ及び、
回路切替え信号 pict_type(2) を入力されたプリフィル
タ制御情報記憶回路１９５は現在の小ブロックがフレー
ム間予測で参照する未来参照画像と過去参照画像の小ブ
ロックで使用されたローパスプリフィルタの通過帯域制
限を指定するパラメータとしてのフィルタ係数ｋ＿ref
(2)、ｋ＿ref(3)と時間的に近接する画像の空間的に同
じ位置の小ブロックで使用されたローパスプリフィルタ
の通過帯域制限を指定するパラメータとしてのフィルタ
係数ｋ＿ref(4)を読み出し、内挿補間回路２００に入力
する。

【０１６８】なお、上記フィルタ係数ｋ＿ref(2)、ｋ＿
ref(3)を読み出す場合には、ブロックアドレスmb＿addr
ess だけを使用して、フレーム間予測で参照するフレー
ム上の同じブロックアドレスmb＿address の位置にある
小ブロックで使用されたローパスプリフィルタの通過帯
域制限を指定するパラメータを上記フィルタ係数ｋ＿re
f(2)，ｋ＿ref(3)として読み出すようにしても良い。こ
の場合は、プリフィルタ制御情報記憶回路１９５へ動き
ベクトル信号ＭＶを入力する必要はない。

【０１６９】現在の小ブロックの動きベクトル信号ＭＶ
及び、パラメータとしてのフィルタ係数ｋ＿ref(2)，ｋ
＿ref(3)，ｋ＿ref(4)を入力された内挿補間回路２００
は、過去参照画像のフィルタ係数ｋ＿ref(2)と未来参照
画像のフィルタ係数ｋ＿ref(3)を基に内挿補間を行い、
更に時間的に近接する画像の空間的に同じ位置の小ブロ
ックのフィルタ係数ｋ＿ref(4)を用いて現在の小ブロッ
クのフィルタ係数ｋ＿current を生成出力し、これをプ
リフィルタ２９２へ入力する。

【０１７０】ここで、現在の小ブロックと時間的に近接
する画像の空間的に同じ位置の小ブロックで使用された
フィルタ係数ｋ＿ref(4)を用いず、現在の小ブロックが
フレーム間予測で参照する小ブロックで使用されたフィ
ルタ係数ｋ＿ref(2)、ｋ＿ref(3)のみを読み出して現在
の小ブロックのフィルタ係数ｋ＿current を生成出力す
ようにしても良い。

【０１７１】また、非フィルタ特性画像が例えばＭＰＥ
Ｇ方式のＩピクチャーのように、フレーム間予測を行わ
ない画像であった場合には、時間的に前後するフィルタ
特性画像の空間的に同じ位置の小ブロックのフィルタ係
数を過去参照画像のフィルタ係数ｋ＿ref(2)と未来参照
画像のフィルタ係数ｋ＿ref(3)として読み出し、内挿補
間を行う。この場合は時間的に近接する画像の空間的に
同じ位置の小ブロックのフィルタ係数ｋ＿ref(4)は用い
ない。

【０１７２】また、Ｉピクチャーにおいても、動き予測
を行っている場合には、Ｉピクチャーもフィルタ特性画
像として用いても良い。ここで、当該プリフィルタ１９
２の特性は、例えば前述した図２４のような特性とす
る。したがって、ここでは、フィルタ係数ｋ＿current
が小さいほど、通過帯域の狭いローパスフィルタ特性と
なる。

【０１７３】内挿補間回路で計算されたフィルタ係数ｋ
＿current は、また、プリフィルタ制御情報記憶回路１
９５へ入力されて記憶され、これが未来に入力される小
ブロックに使うプリフィルタ係数を決定する時の参照値
（フィルタ係数ｋ＿ref ）として利用されることにな
る。

【０１７４】以上のようにして、適応的にプリフィルタ
１９２のフィルタ係数を決定し、符号化画質の主観的印
象が良く、かつ符号化効率の良い符号化方式を実現す
る。

【０１７５】フィルタ係数ｋ＿current の計算方法は、
第１の構成例において図５を用いて説明した計算例と同
様である。

【０１７６】プリフィルタ１９２は、現在の小ブロック
に対して、プリフィルタ係数ｋ＿current で指定される
ローパスフィルタ処理を施して、処理画像信号Ｓ１０２
を出力する。

【０１７７】当該処理画像信号Ｓ１０２とその動きベク
トル信号ＭＶは、動画像符号化回路１９３へ入力され、
所定のフレーム間予測符号化処理（例えばいわゆるＭＰ
ＥＧ方式の符号化処理）が施され、この符号化ビットス
トリームＳ１０４が出力端子１９８から出力される。動
画像符号化回路１９３の構成は、第２の構成例において
図９を用いて説明したものと同様である。

【０１７８】このような第３の構成例の動画像符号化装
置では、フレーム間予測符号化を施す動画像信号に対す
るプリフィルタ処理の際のフィルタ特性を、画面を分割
する小ブロック単位の符号化難易度ｄに応じて適応的に
変更可能としているので、視覚特性を考慮して、画面内
の局所的に速い動きや複雑な絵柄であり符号化難易度の
大きい部分では通過帯域の比較的狭いローパスフィルタ
を選択でき、一方、遅い動きや平坦な絵柄であり符号化
難易度の小さい部分では通過帯域の比較的広いローパス
フィルタを選択できる。

【０１７９】また、ＭＰＥＧ方式のように画像毎に符号
化難易度の異なる符号化方式を考慮し、連続する画像間
で極端にプリフィルタ係数が異なることがないようにす
るために、符号化難易度を参照する画像を特定してい
る。

【０１８０】更に、第４の構成例の動画像符号化装置で
は、上記小ブロックの符号化難易度ｄだけでなく、現在
の符号化対象の小ブロックがフレーム間予測で参照する
小ブロック及び、近接する画像の空間的に同じ位置の小
ブロックで使われたプリフィルタ制御情報をも合わせて
考慮しており、フレーム間予測符号化効率が低下しない
ように、上述のように選択されたフィルタ特性を修正し
て、最終的に現在の符号化対象の小ブロックに対するプ
リフィルタ特性を決定するようにしているので、ローパ
スプリフィルタ処理された動画像は、従来よりも、符号
化画質の主観的印象が良く、かつ符号化効率の良いもの
とすることができる。

【０１８１】ここで、上述した第１乃至第４の構成例の
動画像符号化装置での符号化により得られた符号化ビッ
トストリームは、信号記録媒体に記録されたり、伝送路
を介して伝送されることになる。

【０１８２】図２２には、信号記録媒体の一例として光
ディスク７０４を用いた例について説明する。この図２
２において、端子７００には、上記符号化ビットストリ
ームと、量子化スケール等の後の復号化に必要な情報と
からなるデータ列が供給される。このデータ列は、ＥＣ
Ｃエンコーダ７０１によってエラーコレクションコード
が付加され、変調回路７０２に送られる。当該変調回路
７０２では上記ＥＣＣエンコーダ７０１の出力に対し
て、所定の変調処理、例えば８−１４変調等の処理を施
す。この変調回路７０２の出力は記録ヘッド７０３に送
られ、当該記録ヘッド７０３にて光ディスク７０４に記
録される。

【０１８３】なお、図２２の例では、信号記録媒体とし
て光ディスクを例に挙げたが、磁気テープ等のテープ状
記録媒体や、ハードディスクやフレキシブルディスク等
の磁気ディスク媒体、ＩＣカードや各種メモリ素子等の
半導体記憶媒体等の信号記録媒体に対して、本発明装置
にて符号化した信号を記録することも可能である。ま
た、光ディスクとしては、ピットによる記録がなされる
ディスクや、光磁気ディスクの他に、相変化型光ディス
クや有機色素型光ディスク、紫外線レーザ光により記録
がなされる光ディスク、多層記録膜を有する光ディスク
等の各種のディスクを用いることができる。

【０１８４】

【発明の効果】以上の説明で明らかなように、本発明に
おいては、入力動画像を少なくとも１画素からなる小ブ
ロックに分割し、所定の方法により小ブロックの符号化
難易度を計算し、この小ブロックの符号化難易度と当該
小ブロックが画像間予測で参照する小ブロックで使われ
たフィルタ制御情報とに基づいて、当該小ブロックに対
して適応的にローパスフィルタ処理を施す際のフィルタ
特性を決定することにより、ローパスプリフィルタ処理
された動画像は、従来よりも、符号化画質の主観的印象
が良く、かつ符号化効率の良いものとすることが可能と
なる。すなわち、本発明によれば、フレーム間予測符号
化回路の前段にプリフィルタを置く構成の動画像符号化
装置において、フレームの中で部分的に、ローパスプリ
フィルタの特性を変更できるとともに、予測画像間でお
互いの画像信号の帯域が異なることによる符号化効率の
低下を小さくすることが可能である。

【０１８５】また、本発明においては、入力動画像を少
なくとも１画素からなる小ブロックに分割し、入力画像
をフィルタ特性画像と非フィルタ特性画像に分類し、所
定の方法によりフィルタ特性画像の小ブロックの符号化
難易度を計算し、フィルタ特性画像においては、この小
ブロックの符号化難易度と当該小ブロックが画像間予測
で参照する小ブロックで使われたフィルタ制御情報とに
基づいて、当該小ブロックに対して適応的にローパスフ
ィルタ処理を施す際のフィルタ特性を決定し、非フィル
タ特性画像においては、過去の参照画像と未来の参照画
像とから所定の方法により内挿補間を用いて、当該小ブ
ロックに対して適応的にローパスフィルタ処理を施す際
のフィルタ特性を算出することにより、ローパスプリフ
ィルタ処理された動画像は、従来よりも、符号化画質の
主観的印象が良く、かつ符号化効率の良いものとするこ
とが可能となる。すなわち、本発明によれば、フレーム
間予測符号化回路の前段にプリフィルタを置く構成の動
画像符号化装置において、フレームの中で部分的に、ロ
ーパスプリフィルタの特性を変更できるとともに、予測
画像間でお互いの画像信号の帯域が異なることによる符
号化効率の低下を小さくすることが可能である。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置の第１の構成例を示
すブロック回路図である。

【図２】フレームと小ブロックの関係を示す図である。

【図３】プリフィルタ制御方法の一例を示すフローチャ
ートである。

【図４】符号化難易度の平均値ｄ_aveとプリフィルタ係
数の代表値ｋ_gopの対応関係を示す図である。

【図５】現在の小ブロックのフレーム間予測で参照され
る小ブロックで使われたプリフィルタ特性を考慮して、
プリフィルタ係数を計算する一例を示す図である。

【図６】符号化難易度ｄ_currentとローパスプリフィル
タ係数ｋ_currentとの対応関係を示す図である。

【図７】プリフィルタ係数ｋ_currentの計算方法の一例
を示すフローチャートである。

【図８】ローパスプリフィルタ係数ｋ_currentの計算例
を示す図である。

【図９】本発明構成例の動画像符号化装置内の動画像符
号化回路の構成例を示すブロック回路図である。

【図１０】本発明構成例の動画像符号化装置内の符号化
難易度測定回路の構成例を示すブロック回路図である。

【図１１】本発明の動画像符号化装置の第２の構成例を
示すブロック回路図である。

【図１２】ＭＰＥＧ方式の予測構造及び各ピクチャタイ
プの構成を示す図である。

【図１３】本発明の動画像符号化装置の第３の構成例を
示すブロック回路図である。

【図１４】ＭＰＥＧ方式における表示順序と符号化順序
を示す図である。

【図１５】フィルタ特性画像と非フィルタ特性画像のフ
レームと小ブロックの関係を示す図である。

【図１６】プリフィルタ制御方法の一例を示すフローチ
ャートである。

【図１７】非フィルタ特性画像において、現在の小ブロ
ックのフレーム間予測で参照される小ブロックで使われ
たプリフィルタ特性を用いて内挿補間により、プリフィ
ルタ係数を計算する一例を示す図である。

【図１８】プリフィルタ係数ｋ＿current の計算方法の
一例を示すフローチャートである。

【図１９】非フィルタ特性画像のローパスプリフィルタ
係数ｋ＿current の計算例を示す図である。

【図２０】プリフィルタの構成例を示す図である。

【図２１】本発明の動画像符号化装置の第４の構成例を
示すブロック回路図である。

【図２２】信号記録媒体の一例として光ディスクに符号
化ビットストリームを記録するための構成を示すブロッ
ク回路図である。

【図２３】従来の動画像符号化装置の構成例を示すブロ
ック回路図である。

【図２４】プリローパスフィルタの係数を示す図であ
る。

【図２５】プリフィルタ係数と符号化難易度の関係を示
す図である。

【符号の説明】

２１，９１，１２１，１９１ フレームメモリ群、２
２，９２，１２２，１９２ プリフィルタ、２３，９
３，１２３，１９３ 動画像符号化回路、２４，９６，
１２４，１９６ 動きベクトル検出回路、２５，９５，
１２５，１９５ プリフィルタ制御情報記憶回路、２
６，１２６ 符号化難易度測定回路、２７，９７，１２
７，１９７ プリフィルタ制御回路、３０１ ローパス
フィルタ、３０２，３０３，３０４ 演算器

Claims (36)

【特許請求の範囲】
1. 【請求項１】 入力動画像を少なくとも１画素からなる
   小ブロックに分割し、 所定の方法により上記入力動画像の小ブロックの符号化
   難易度を計算し、 上記入力動画像の小ブロックの符号化難易度と、当該入
   力動画像の小ブロックが画像間予測で参照する小ブロッ
   クで使われたフィルタ制御情報とに基づいて、上記入力
   動画像の小ブロックに対して適応的にローパスフィルタ
   処理を施す際のフィルタ特性を決定することを特徴とす
   る動画像符号化方法。
2. 【請求項２】 上記入力動画像の小ブロックに使うロー
   パスフィルタの帯域制限値と、当該入力動画像の小ブロ
   ックが画像間予測で参照する小ブロックで使われたロー
   パスフィルタの帯域制限値とを比較して比較値を求め、 当該比較値が予め決められた閾値より大きい時は、当該
   比較値を上記閾値以内に抑えるように、上記入力動画像
   の小ブロックに使うローパスフィルタの帯域制限値を制
   御することを特徴とする請求項１記載の動画像符号化方
   法。
3. 【請求項３】 上記入力動画像に対して予測符号化及び
   ／又は直交変換符号化を施して係数データを生成し、 当該係数データを一定の量子化ステップで量子化するこ
   とにより上記小ブロック単位の発生符号量を求め、 当該小ブロック単位で求めた発生符号量を上記符号化難
   易度とすることを特徴とする請求項１記載の動画像符号
   化方法。
4. 【請求項４】 上記入力動画像の画像間の動きベクトル
   を上記小ブロック単位で検出して予測残差を求め、 当該小ブロック単位で求めた予測残差を上記符号化難易
   度とすることを特徴とする請求項１記載の動画像符号化
   方法。
5. 【請求項５】 上記入力動画像の小ブロックが画像間予
   測で参照する小ブロックは、フレーム間予測で参照され
   るフレーム上において上記入力動画像の小ブロックの動
   きベクトルにより参照される位置にある小ブロックであ
   ることを特徴とする請求項１記載の動画像符号化方法。
6. 【請求項６】 上記入力動画像の小ブロックが画像間予
   測で参照する小ブロックは、フレーム間予測で参照され
   るフレーム上において上記入力動画像の小ブロックの動
   きベクトルにより参照される位置にある小ブロックであ
   ることを特徴とする請求項２記載の動画像符号化方法。
7. 【請求項７】 上記入力動画像の小ブロックが画像間予
   測で参照する小ブロックは、フレーム間予測で参照され
   るフレーム上において上記入力動画像の小ブロックと同
   じ空間的位置にある小ブロックであることを特徴とする
   請求項１記載の動画像符号化方法。
8. 【請求項８】 上記入力動画像の小ブロックが画像間予
   測で参照する小ブロックは、フレーム間予測で参照され
   るフレーム上において上記入力動画像の小ブロックと同
   じ空間的位置にある小ブロックであることを特徴とする
   請求項２記載の動画像符号化方法。
9. 【請求項９】 上記決定されたフィルタ特性でローパス
   フィルタ処理された動画像信号に対し、符号化処理を施
   すことを特徴とする請求項１記載の動画像符号化方法。
10. 【請求項１０】 入力動画像を少なくとも１画素からな
    る小ブロックに分割する分割手段と、 所定の方法により上記入力動画像の小ブロックの符号化
    難易度を計算する計算手段と、 上記入力動画像の小ブロックの符号化難易度と、当該入
    力動画像の小ブロックが画像間予測で参照する小ブロッ
    クで使われたフィルタ制御情報とに基づいて、上記入力
    動画像の小ブロックに対して適応的にローパスフィルタ
    処理を施す際のフィルタ特性を決定するフィルタ特性決
    定手段とを有することを特徴とする動画像符号化装置。
11. 【請求項１１】 上記フィルタ特性決定手段は、 上記入力動画像の小ブロックに使うローパスフィルタの
    帯域制限値と、当該入力動画像の小ブロックが画像間予
    測で参照する小ブロックで使われたローパスフィルタの
    帯域制限値とを比較して比較値を求める比較手段と、 上記比較値が予め決められた閾値より大きい時は当該比
    較値を上記閾値以内に抑えるように上記入力動画像の小
    ブロックに使うローパスフィルタの帯域制限値を制御す
    る制御手段とを備えることを特徴とする請求項１０記載
    の動画像符号化装置。
12. 【請求項１２】 上記計算手段は、 上記入力動画像に対して予測符号化及び／又は直交変換
    符号化を施して係数データを生成する係数データ生成手
    段と、 当該係数データを一定の量子化ステップで量子化するこ
    とにより上記小ブロック単位の発生符号量を求める発生
    符号量生成手段とを備え、 当該小ブロック単位で求めた発生符号量を上記符号化難
    易度とすることを特徴とする請求項１０記載の動画像符
    号化装置。
13. 【請求項１３】 上記計算手段は、 上記入力動画像の画像間の動きベクトルを上記小ブロッ
    ク単位で検出して予測残差を求める予測残差生成手段を
    備え、 当該小ブロック単位で求めた予測残差を上記符号化難易
    度とすることを特徴とする請求項１０記載の動画像符号
    化装置。
14. 【請求項１４】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックの
    動きベクトルにより参照される位置にある小ブロックで
    あることを特徴とする請求項１０記載の動画像符号化装
    置。
15. 【請求項１５】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックの
    動きベクトルにより参照される位置にある小ブロックで
    あることを特徴とする請求項１１記載の動画像符号化装
    置。
16. 【請求項１６】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックと
    同じ空間的位置にある小ブロックであることを特徴とす
    る請求項１０記載の動画像符号化装置。
17. 【請求項１７】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックと
    同じ空間的位置にある小ブロックであることを特徴とす
    る請求項１１記載の動画像符号化装置。
18. 【請求項１８】 上記決定されたフィルタ特性でローパ
    スフィルタ処理された動画像信号に対し、符号化処理を
    施す符号化手段を有することを特徴とする請求項１０記
    載の動画像符号化装置。
19. 【請求項１９】 入力動画像を所定の方法により、適応
    的にローパスフィルタ処理を施す際のフィルタ特性を決
    定する際に参照する参照画像と、適応的にローパスフィ
    ルタ処理を施す際のフィルタ特性を決定する際に参照し
    ない非参照画像に分類し、 上記入力動画像を少なくとも１画素からなる小ブロック
    に分割し、 上記入力動画像がフィルタ特性の参照画像である場合
    は、所定の方法により計算した当該入力動画像内の小ブ
    ロックの符号化難易度及び上記小ブロックに近接する同
    一画像内の小ブロックの符号化難易度と、上記入力動画
    像の小ブロックが画像間予測で参照する小ブロックで使
    われたフィルタ制御情報に基づいて、上記入力動画像の
    小ブロックに対して適応的にローパスフィルタ処理を施
    す際のフィルタ特性を決定し、 上記入力動画像がフィルタ特性の非参照画像の場合は、
    上記入力動画像の小ブロックが画像間予測で参照する過
    去参照画像における小ブロックのフィルタ制御情報と、
    未来参照画像における小ブロックのフィルタ制御情報と
    に基づいて、上記入力動画像の小ブロックに対して適応
    的にローパスフィルタ処理を施す際のフィルタ特性を決
    定することを特徴とする動画像符号化方法。
20. 【請求項２０】 上記入力動画像がフィルタ特性の参照
    画像である場合には、上記入力動画像内の全小ブロック
    の符号化難易度を当該入力動画像内で平滑化して算出し
    た小ブロックのローパスフィルタの帯域制限値と、当該
    入力動画像の小ブロックが画像間予測で参照する小ブロ
    ックで使われたローパスフィルタの帯域制限値とを比較
    して比較値を求め、当該比較値が予め決められた閾値よ
    り大きい時は、当該比較値を上記閾値以内に抑えるよう
    に、上記入力動画像の小ブロックに使うローパスフィル
    タの帯域制限値を制御し、 上記入力動画像がフィルタ特性の非参照画像である場合
    には、当該入力動画像の小ブロックが画像間予測で参照
    する過去参照画像における小ブロックで使われたローパ
    スフィルタの帯域制限値と未来参照画像における小ブロ
    ックで使われたローパスフィルタの帯域制限値から、所
    定の方法で内挿補間によって上記入力動画像の小ブロッ
    クに使うローパスフィルタの帯域制限値を計算し、当該
    帯域制限値と当該入力動画像に時間的に近接する画像の
    空間的に同じ位置の小ブロックで使われたローパスフィ
    ルタの帯域制限値とを比較して比較値を求め、当該比較
    値が予め決められた閾値より大きい時は、当該比較値を
    上記閾値以内に抑えるように、上記入力動画像の小ブロ
    ックに使うローパスフィルタの帯域制限値を制御するこ
    とを特徴とする請求項１９記載の動画像符号化方法。
21. 【請求項２１】 上記参照画像に対して予測符号化及び
    ／又は直交変換符号化を施して係数データを生成し、当
    該係数データを一定の量子化ステップで量子化すること
    により上記小ブロック単位の発生符号量を求め、当該小
    ブロック単位で求めた発生符号量を上記符号化難易度と
    することを特徴とする請求項１９記載の動画像符号化方
    法。
22. 【請求項２２】 上記参照画像の画像間の動きベクトル
    を上記小ブロック単位で検出して予測残差を求め、当該
    小ブロック単位で求めた予測残差を上記符号化難易度と
    することを特徴とする請求項１９記載の動画像符号化方
    法。
23. 【請求項２３】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックの
    動きベクトルにより参照される位置にある小ブロックで
    あることを特徴とする請求項１９記載の動画像符号化方
    法。
24. 【請求項２４】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックの
    動きベクトルにより参照される位置にある小ブロックで
    あることを特徴とする請求項２０記載の動画像符号化方
    法。
25. 【請求項２５】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックと
    同じ空間的位置にある小ブロックであることを特徴とす
    る請求項１９記載の動画像符号化方法。
26. 【請求項２６】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックと
    同じ空間的位置にある小ブロックであることを特徴とす
    る請求項２０記載の動画像符号化方法。
27. 【請求項２７】 上記決定されたフィルタ特性でローパ
    スフィルタ処理された動画像信号に対し、符号化処理を
    施すことを特徴とする請求項１９記載の動画像符号化方
    法。
28. 【請求項２８】 入力動画像を少なくとも１画素からな
    る小ブロックに分割する分割手段と、 上記入力動画像をフィルタ特性の参照画像とフィルタ特
    性の非参照画像に分類する分類手段と、 上記入力動画像がフィルタ特性の参照画像である場合に
    は、所定の方法により当該入力動画像の小ブロックの符
    号化難易度を計算する計算手段と、 上記入力動画像の小ブロックの符号化難易度と、当該入
    力動画像内の全小ブロックの符号化難易度を平滑化する
    平滑化手段と、 上記入力動画像の小ブロックが画像間予測で参照する小
    ブロックで使われたフィルタ制御情報とに基づいて、当
    該入力動画像の小ブロックに対して適応的にローパスフ
    ィルタ処理を施す際のフィルタ特性を決定するフィルタ
    特性決定手段と、 上記入力動画像がフィルタ特性の非参照画像である場合
    には、当該入力動画像の小ブロックが画像間予測で参照
    する過去参照画像における小ブロックで使われたフィル
    タ制御情報と未来参照画像における小ブロックで使われ
    たフィルタ制御情報と時間的に近接する画像の空間的に
    同じ位置の小ブロックで使われたフィルタ制御情報とに
    基づいて、上記入力動画像の小ブロックに対して適応的
    にローパスフィルタ処理を施す際のフィルタ特性を決定
    するフィルタ特性決定手段とを有することを特徴とする
    動画像符号化装置。
29. 【請求項２９】 上記フィルタ特性決定手段は、 上記入力動画像がフィルタ特性の参照画像である場合
    に、上記入力動画像の小ブロックに使うローパスフィル
    タの帯域制限値と、当該入力動画像の小ブロックが画像
    間予測で参照する小ブロックで使われたローパスフィル
    タの帯域制限値とを比較して比較値を求める比較手段
    と、 上記比較値が予め決められた閾値より大きい時は当該比
    較値を上記閾値以内に抑えるように上記入力動画像の小
    ブロックに使うローパスフィルタの帯域制限値を制御す
    る制御手段と、 上記入力動画像がフィルタ特性の非参照画像である場合
    に、上記入力動画像の小ブロックが画像間予測で参照す
    る過去参照画像における小ブロックで使われたローパス
    フィルタの帯域制限値と未来参照画像における小ブロッ
    クで使われたローパスフィルタの帯域制限値から、内挿
    補間によって当該入力動画像の小ブロックのローパスフ
    ィルタの帯域制限値を得る内挿補間手段とを備えること
    を特徴とする請求項２８記載の動画像符号化装置。
30. 【請求項３０】 上記計算手段は、 上記入力動画像に対して予測符号化及び／又は直交変換
    符号化を施して係数データを生成する係数データ生成手
    段と、 上記係数データを一定の量子化ステップで量子化するこ
    とにより上記小ブロック単位の発生符号量を求める発生
    符号量生成手段とを備え、 上記小ブロック単位で求めた発生符号量を上記符号化難
    易度とすることを特徴とする請求項２８記載の動画像符
    号化装置。
31. 【請求項３１】 上記計算手段は、 上記入力動画像の画像間の動きベクトルを上記小ブロッ
    ク単位で検出して予測残差を求める予測残差生成手段を
    備え、 上記小ブロック単位で求めた予測残差を上記符号化難易
    度とすることを特徴とする請求項２８記載の動画像符号
    化装置。
32. 【請求項３２】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックの
    動きベクトルにより参照される位置にある小ブロックで
    あることを特徴とする請求項２８記載の動画像符号化装
    置。
33. 【請求項３３】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックの
    動きベクトルにより参照される位置にある小ブロックで
    あることを特徴とする請求項２９記載の動画像符号化装
    置。
34. 【請求項３４】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックと
    同じ空間的位置にある小ブロックであることを特徴とす
    る請求項２８記載の動画像符号化装置。
35. 【請求項３５】 上記入力動画像の小ブロックが画像間
    予測で参照する小ブロックは、フレーム間予測で参照さ
    れるフレーム上において上記入力動画像の小ブロックと
    同じ空間的位置にある小ブロックであることを特徴とす
    る請求項２９記載の動画像符号化装置。
36. 【請求項３６】 上記決定されたフィルタ特性でローパ
    スフィルタ処理された動画像信号に対し符号化処理を施
    す符号化手段を有することを特徴とする請求項２８記載
    の動画像符号化装置。