JP5534261B2 - 動画像処理装置、動画像処理方法、および動画像処理プログラム - Google Patents

Description

本発明は、入力動画像を符号化して出力する動画像処理装置、動画像処理方法、および動画像処理プログラムに関し、特に、動画像を構成する映像フレームから高周波信号を除去する動画像処理装置、動画像処理方法、および動画像処理プログラムに関する。

ＤＶＤ（登録商標）への長時間記録や、狭い通信ネットワーク帯域での映像配信を実現するために、低ビットレートでの符号化を実現する必要がある。しかし、低いビットレートでの符号化には画質の劣化を伴うという問題がある。この問題を解決するための方法として、画像に含まれる人間の視覚に検知されにくい高周波信号をあらかじめ除去してから符号化を行うという方法がある。

動画像から高周波信号を除去すると、高周波信号を符号化するための符号量が必要なくなる。従って、高周波信号が除去された動画像を、低ビットレートで符号化することができる。しかし、高周波信号を除去した場合に、画像中のエッジ（形状の輪郭）などの再現性が失われ、画像に、ぼけ（形状の輪郭が明確でないことをいう）が生ずる。特に、高周波信号を除去する割合が大きいと、ぼけによる画質劣化が視聴者に検知されてしまうという問題がある。

また、広く利用されているＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格などの動画像符号化方式では、映像フレームごとに量子化の粗さを変えて符号化している。

例えば、過去および未来両方の映像フレームからの予測符号化をおこなうＢピクチャは、その映像フレームが後続映像フレームの予測参照画像にならないため、他の映像フレームよりも粗く量子化することが一般的である。

映像フレームを粗く量子化する場合に、高周波信号は量子化処理により除去される傾向が強くなる。しかし、同時に低周波信号も粗く量子化されているため、量子化歪みが大きくなる。

量子化歪みが大きいと、例えば、量子化を行う単位である画素ブロックごとの画素値の差が隣接画素ブロック間で大きくなる。この差はブロック歪となり、画質劣化として視聴者に検知されやすくなるという問題がある。

特許文献１には、この問題を解決するための装置が記載されている。前記先行技術文献１に記載されている装置は、映像中の動きの大きさに合わせて画像をぼかす量を決定している。この装置は、動きの大きい映像では高周波信号を検知しにくいという人間の視覚特性を利用して、動きの大きい映像を強めにぼかし、動きが小さい映像を弱くぼかす。このような機能によって、映像のぼけが検知されにくくなる。

特許文献２には、各映像フレームに、一定周期毎にフィルタ処理を行う装置が記載されている。

特開２００３−３３３３７０号公報（段落００２１〜００４０、図１） 特開平２−２８８７８８号公報（第３−７頁、図１）

しかし、特許文献１に記載されている装置には、映像の動きが大きい場合に、ぼかしかたが強すぎるとぼけが容易に検知されてしまうという問題がある。また、動きの小さい映像ではぼかしかたを弱くするため、十分に高周波信号を除去できない。このため、符号化の際に発生符号量を大幅に削減することが不可能になる。

また、特許文献２に記載されている装置は、一定周期毎に各映像フレームにフィルタ処理を行う。映像フレームに行われるフィルタ処理は、段階的に強度を変えて行われることが好ましい。

本発明は上述した問題を鑑みて提案されたものである。すなわち、本発明は、映像フレームの高周波信号を十分に除去することができる動画像処理装置、動画像処理方法および動画像処理プログラムを提供することを目的とする。

本発明の第１の態様による動画像処理装置は、連続する映像フレームからなる動画像を処理する動画像処理装置であって、映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定し、前記フィルタ処理を行うか否かの旨と決定したフィルタ特性とを示すフィルタ情報を出力するルー内フィルタ決定手段と、フィルタ処理を行うと決定した入力された映像フレームに、ループ内フィルタ決定手段が決定した特性のフィルタでフィルタ処理を行い、フィルタ処理を行わないと決定した映像フレームにはフィルタ処理を行わない入力画像フィルタ処理手段と、フィルタ処理された映像フレームから予測画像を減算して、減算処理の結果を出力する減算手段と、減算処理の結果とフィルタ情報とを符号化する画像符号化手段と、画像符号化手段が符号化した映像フレームを復号して、局所復号結果を生成する局所復号手段と、局所復号結果と予測画像とを加算して、加算結果を出力する加算手段と、加算結果を予測参照フレームとして記憶する第１の記憶手段と、ループ内フィルタ決定手段が決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタ処理手段と、ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成手段を備え、入力画像フィルタ処理手段と、ループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行うことを特徴とする。

本発明の第１の態様による動画像処理装置は、さらに符号化された映像フレームと符号化されたフィルタ情報とを復号して、復号結果を出力する復号手段と、復号結果と第２の予測画像とを加算して、第２の加算結果を出力する第２の加算手段と、第２の加算結果を第２の予測参照フレームとして記憶する第２の記憶手段と、復号手段が出力するフィルタ情報に基づいて、ループ内フィルタ決定手段が決定した特性のフィルタで第２の予測参照フレームにフィルタ処理を行う第２のループ内フィルタ処理手段と、第２のループ内フィルタ処理手段がフィルタ処理を行った第２の予測参照フレームから、動き補償予測の第２の予測画像を生成する第２の予測画像生成手段と、を備える。

本発明の第２の態様に係る動画像処理方法は、連続する映像フレームからなる動画像を処理する動画像処理方法であって、映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定し、フィルタ処理を行うか否かの旨と決定したフィルタ特性とを示すフィルタ情報を出力するループ内フィルタ決定ステップと、フィルタ処理を行うと決定した入力された映像フレームに、ループ内フィルタ決定ステップで決定した特性のフィルタでフィルタ処理を行い、フィルタ処理を行わないと決定した映像フレームにはフィルタ処理を行わない入力画像フィルタ処理ステップと、フィルタ処理された映像フレームから予測画像を減算して、減算処理の結果を出力する減算ステップと、減算処理の結果とフィルタ情報とを符号化する画像符号化ステップと、画像符号化ステップで符号化した映像フレームを復号して、局所復号結果を生成する局所復号ステップと、局所復号結果と予測画像とを加算して、加算結果を出力する加算ステップと、加算結果を予測参照フレームとして記憶する記憶ステップと、ループ内フィルタ決定ステップで決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタ処理ステップと、ループ内フィルタ処理ステップがフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成ステップとを備え、入力画像フィルタ処理ステップ、およびループ内フィルタ処理ステップで、同様の特性のフィルタでフィルタ処理を行うことを特徴とする。

本発明の第２の態様に係る動画像処理方法は、さらに符号化された映像フレームと符号化されたフィルタ情報とを復号して、復号結果を出力する復号ステップと、復号結果と第２の予測画像とを加算して、第２の加算結果を出力する加算ステップと、第２の加算結果を第２の予測参照フレームとして記憶する記憶ステップと、復号ステップが出力するフィルタ情報に基づいて、第２の予測参照フレームに、ループ内フィルタ決定ステップで決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタ処理ステップと、第２のループ内フィルタ処理ステップでフィルタ処理を行った第２の予測参照フレームから、動き補償予測の第２の予測画像を生成する第２の予測画像生成ステップと、を備える。

本発明の第３の態様に係る動画像処理プログラムは、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定し、フィルタ処理を行うか否かの旨と決定したフィルタ特性とを示すフィルタ情報を出力するループ内フィルタ決定処理と、フィルタ処理を行うと決定した入力された映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行い、フィルタ処理を行わないと決定した映像フレームにはフィルタ処理を行わない入力画像フィルタリング実行処理と、フィルタ処理された映像フレームから予測画像を減算して、減算処理の結果を出力する減算処理と、減算処理の結果とフィルタ情報とを符号化する画像符号化処理と、画像符号化処理で符号化した映像フレームを復号して、局所復号結果を生成する局所復号処理と、局所復号結果と予測画像とを加算して、加算結果を出力する加算処理と、加算結果を予測参照フレームとして記憶する記憶処理と、ループ内フィルタ決定処理で決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタリング実行処理と、ループ内フィルタリング実行処理でフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成処理とを実行させ、入力画像フィルタリング実行処理、およびループ内フィルタリング実行処理で、同様の特性のフィルタでフィルタ処理を実行させることを特徴とする。

本発明の第３の態様に係る動画像処理プログラムは、コンピュータに、さらに符号化された映像フレームと符号化されたフィルタ情報とを復号して、復号結果を出力する復号処理と、復号結果と第２の予測画像とを加算して、第２の加算結果を出力する加算処理と、第２の加算結果を第２の予測参照フレームとして記憶する記憶処理と、復号処理が出力するフィルタ情報に基づいて、第２の予測参照フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う第２のループ内フィルタリング実行処理と、第２のループ内フィルタリング処理でフィルタ処理を行った第２の予測参照フレームから、動き補償予測の第２の予測画像を生成する第２の予測画像生成処理と、を実行させる。

本発明の第１の効果は、映像フレームごとにぼかす強度を制御するので、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに、動画像の高周波信号を除去することができることである。

特に、ぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとが周期的になるように構成されている場合には、視聴者には、ぼかす処理が施されているか否かについてより容易には検知されずに、動画像の高周波信号を除去することができる。

本発明の第２の効果は、ぼかす処理が施されていることが検知されにくく、かつ動画像を符号化した際に主観画質を向上できることである。

その理由は、第１にぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとで動画像を構成することにより、再生時にぼけが検知されにくいからである。第２に、ぼかす処理が施されている映像フレームでは高周波信号が除去されているので、発生符号量を削減でき、小さい量子化ステップで量子化できるようになり、量子化誤差を削減できるからである。

装置が、映像フレームから除去する高周波信号を、映像フレーム間の画素値変化や、映像フレームを符号化する際の符号化方法に応じて決定するように構成されている場合には、人間の視覚特性を活かして、ぼかす処理を施したことを視聴者に検知されにくくすることができる。

装置が、符号化された映像フレームを復号した予測参照フレームから高周波信号を除去する際に、符号化時のぼかす処理と同様に高周波信号を除去して予測画像を生成するように構成されている場合には、ぼかす処理が施された映像フレームを、正しく復号することができる。

装置が、高周波信号が除去されて符号化された映像フレームを復号した映像フレームから、動き補償予測の予測画像を生成するように構成されている場合には、ＭＰＥＧ−２などの符号化方式で符号化された動画像データを復号する動画復号化装置と同様な構成で、ぼかす処理が施された映像フレームを復号することができる。

動画像処理装置の第１の実施例を示すブロック図である。 ぼかす映像フレームとぼかさない映像フレームとが交互になっている映像の構成を示す説明図である。 動画像処理装置の第２の実施例を示すブロック図である。 第２の実施例の動画像処理装置の動作を模式的に示すフローチャートである。 復号装置の構成例を示すブロック図である。 復号装置の動作を模式的に示すフローチャートである。 第３の実施例における復号装置の構成を示すブロック図である。 動画像処理装置の第４の実施例を示すブロック図である。 第４の実施例の動画像処理装置の動作を模式的に示すフローチャートである。 第４の実施例における復号装置の構成を示すブロック図である。 第４の実施例における復号装置の動作を模式的に示すフローチャートである。 動画像処理装置がコンピュータシステムで実現される場合の構成例を示すブロック図である。

本発明の第１の実施例について、図面を参照して説明する。

図１は、本発明による動画像処理装置の第１の実施例を示すブロック図である。

図１に示す動画像処理装置は、映像フレームをぼかす強度を決定するぼかし強度決定装置２０１と、映像フレームの高周波信号を除去して画像にぼかす処理を施す画像ぼかし装置２０２とを含む。

ぼかし強度決定装置２０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否か、および映像フレームにぼかす処理を施す場合のぼかす強度を決定する。なお、本実施例および以下の実施例では、ぼかす強度は、映像フレームから除去される高周波信号の周波数に相当する。

ぼかす強度は連続する映像フレーム間で一定ではない。ぼかし強度決定装置２０１は、例えば、ぼかす処理を施す映像フレームとぼかす処理を施さない映像フレームとが交互になるようにぼかし強度を決定し、強くぼかす映像フレームと弱くぼかす映像フレームとが交互になるようにぼかし強度を決定する。すなわち、ぼかし強度決定装置２０１は、映像フレームに施すぼかす処理の強度を、周期的に変化させる。また、ぼかし強度決定装置２０１がぼかす強度を変化させる周期は一定であってもよいし、一定でなくてもよい。つまり、非周期的にぼかす強度を変化させてもよい。

図２は、ぼかす映像フレームとぼかさない映像フレームとが交互になっている映像の構成を示す説明図である。

なお、ぼかし強度決定装置２０１は、図２に示すように、１つの映像フレームごとにぼかす強度を変化させなくてもよい。例えば、ぼかし強度決定装置２０１は、２つの映像フレームごとにぼかす強度を変化させてもよい。

ぼかし強度決定装置２０１は、ぼかす強度を、輝度値の変化量など映像フレーム自体の特徴を考慮して決定する。具体的には、ぼかし強度決定装置２０１は、例えば、映像の平均移動量（動きベクトル量）が１６画素で、その動き量が考慮された輝度値の変化量が１画素あたり２の場合に、強くぼかすと決定する。

また、ぼかし強度決定装置２０１は、入力画像が符号化される際の符号化方法を考慮してぼかす強度を決定してもよい。ぼかし強度決定装置２０１は、例えば、フレーム間予測を採用している映像フレームと、そうでない映像フレームとでぼかす強度を変化させてもよい。

ぼかし強度決定装置２０１は、各映像フレームをぼかす強度を、例えば、１０段階のうちのいずれかに決定する。

ぼかし強度決定装置２０１は、各映像フレームにぼかす処理を施すか否かを決定し、および前記ぼかす処理を施すよう決定した場合、映像フレームぼかし処理におけるぼかす強度を決定する。この場合、画像ぼかし装置２０２は、ぼかす処理を施すと決定された映像フレームの高周波信号をぼかす強度に応じて除去して出力する。画像ぼかし装置２０２は、ぼかす処理を施さないと決定された映像フレームには、ぼかす処理を施さずに出力する。高周波信号を除去するために、例えば、低域通過フィルタが用いられる。

具体的には、ぼかし強度決定装置２０１は、映像フレームを強くぼかす場合には、例えば、最大周波数（例えば、４．２ＭＨｚ）の５０％程度の周波数以上の高周波信号（例えば、２．１ＭＨｚ以上の信号）を除去する。

また、ぼかし強度決定装置２０１は、映像フレームを弱くぼかす場合には、例えば、最大周波数（例えば、４．２ＭＨｚ）の９０％程度の周波数以上の高周波信号（例えば、３．８ＭＨｚ以上の信号）を除去する。

なお、本明細書では、映像フレームから高周波信号を除去することを、ぼかす処理を施すという。

以上に述べたように、本実施例によれば、映像フレームごとにぼかす強度を制御し、ぼかす処理が施されている映像フレームとぼかす処理が施されていない映像フレームとが交互に構成されている映像を出力するので、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに、動画像（映像フレーム）の高周波信号を除去することができる。

そのため、視聴者にぼけが検知されないようにしつつ、映像フレームを符号化するための符号量を減らし、低ビットレートでの符号化を実現することができる。

また、高周波信号を全く除去しなかった場合、すなわち、ぼかす処理を全く行わなかった場合には、発生符号量が増える。その場合、低ビットレートで符号化するために、量子化ステップを大きくする必要がある。その結果、量子化誤差が生じて画質が低下する。

しかし、本実施例では、ぼかす処理が施された映像フレームでは高周波信号が除去されているため、全体として発生符号量が削減される。従って、低ビットレートで符号化する場合でも、小さい量子化ステップで量子化できるようになり、量子化誤差を削減することができる。そのため、量子化誤差による画質の低下を検知されにくくすることができる。

つまり、視聴者にぼかす処理が施されたことを検知されにくく、かつ動画像（映像フレーム）を符号化した際の量子化誤差を削減するため、全ての映像フレームの高周波信号を除去した場合や、全く高周波信号を除去しない場合に比べ、主観画質（視聴者が感じる画質）を向上させることができる。

次に、本発明の第２の実施例について、図面を参照して説明する。図３は、本発明による動画像処理装置の第２の実施例を示すブロック図である。

第２の実施例に係る動画像処理装置は、図３に示すように映像フレームのぼかす強度を決定するぼかし強度決定装置（ぼかし強度決定手段）３０１と、映像フレームの高周波信号を除去して画像をぼかす画像ぼかし装置（画像ぼかし手段）３０２と、入力画像を符号化する画像符号化装置（画像符号化手段）３０３と、符号化される画像の予測参照フレームを生成する局所復号化装置（局所復号手段）３０４と、予測参照フレームを格納（記憶）するフレームメモリ（第１の記憶手段）３０５と、予測参照フレームを符号化中の入力画像と同じ強度でぼかす予測参照フレームぼかし装置（予測参照フレームぼかし手段）３０６と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（予測画像生成手段）３０７とを有する。

なお、本実施例では、動画像処理装置として、ＭＰＥＧ符号化方式による符号化を行う装置を想定する。しかし、本発明による動画像処理装置は、ＭＰＥＧ符号化方式による符号化を行うものに限られない。

ぼかし強度決定装置３０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否かを決定し、および映像フレームにぼかす処理を施す場合にはぼかす強度（映像フレームから除去する信号の周波数）を決定する。

ぼかす強度は一定ではない。ぼかし強度決定装置３０１は、例えば、ぼかす処理を施す映像フレームとぼかす処理を施さない映像フレームとが交互になるように決定し、強くぼかす映像フレームと弱くぼかす映像フレームとが交互になるように決定する。

ぼかし強度決定装置３０１は、ぼかす強度を、画像符号化装置３０３が出力した情報にもとづいて決定する。例えば、符号化方法にもとづいてぼかす強度を決定し、画像の映像フレーム間での画素値の変化などにもとづいてぼかす強度を決定し、符号化方法と画像の映像フレーム間での画素値の変化との組合せにもとづいて、ぼかす強度を決定する。

ぼかし強度決定装置３０１は、映像フレームをぼかした強度や、どのようなぼかす処理が施されたのかを示すぼかし強度情報を、画像符号化装置３０３および予測参照フレームぼかし装置３０６に出力する。

画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかす処理を施すと決定した映像フレームを、ぼかし強度決定装置３０１が決定したぼかし強度でぼかして（ぼかす処理を施して）、画像符号化装置３０３に出力する。ぼかす処理を施すために、例えば、低域通過フィルタが用いられる。

また、画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかす処理を施さないと決定した映像フレームを、ぼかさずに画像符号化装置３０３に出力する。

画像符号化装置３０３は、画像ぼかし装置３０２が出力した映像フレームを符号化して出力する。画像符号化装置３０３は、ぼかし強度情報もあわせて符号化し、符号化した動画像データ（映像フレーム）がぼかし強度情報を含むように符号化する。

局所復号化装置３０４は、後に符号化される映像フレームの動き補償予測のための予測参照フレームとして用いるために、画像符号化装置３０３が符号化した映像フレームを復号する。フレームメモリ３０５は、局所復号化装置３０４が復号した映像フレームを記憶する。

予測参照フレームぼかし装置３０６は、フレームメモリ３０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理を施す。予測参照フレームぼかし装置３０６は、ぼかし強度決定装置３０１が出力したぼかし強度情報にもとづいて、ぼかし強度情報が示す方法と同様な方法でぼかす処理を施す。

予測画像生成装置３０７は、ぼかす処理が施された予測参照フレームを用いて、予測画像を生成する。

画像ぼかし装置３０２が出力した映像フレームから、予測画像生成装置３０７が生成した予測画像が減算され、減算結果が画像符号化装置３０３に入力される。また、予測画像生成装置３０７が生成した予測画像は、局所復号化装置３０４が復号した映像フレームに加算処理されてフレームメモリ３０５に記憶される。減算処理は、例えば、減算器によって行われ、加算処理は、例えば、加算器によって行われる。

次に、第２の実施例の動画像処理装置の動作について、図面を参照して説明する。図４は、第２の実施例の動画像処理装置の動作を模式的に示すフローチャートである。図４に示す処理は、まず、予測参照フレームを用いないで符号化された映像フレームが出力され、次に、予測参照フレームを用いて符号化された映像フレームが出力されるまでの過程における処理である。

ぼかし強度決定装置３０１は、入力画像が入力された場合に、各映像フレームにぼかす処理を施すか否かを決定し、および映像フレームにぼかす処理を施す場合のぼかす強度（映像から除去する信号の周波数）を決定する（ステップＳ１０１、Ｓ１０２）。

画像ぼかし装置３０２は、入力画像のうち、ぼかし強度決定装置３０１がぼかすと決定した映像フレームを、ぼかし強度決定装置３０１が決定したぼかし強度でぼかして（ぼかす処理を施して）、画像符号化装置３０３に出力する（ステップＳ１０３）。

画像符号化装置３０３は、画像ぼかし装置３０２が出力した映像フレームを符号化して最初のフレームに関するデータとして出力する（ステップＳ１０４）。

画像符号化装置３０３が出力した映像フレームは後に符号化される映像フレームの予測参照フレームとして用いられるので、局所復号化装置３０４は、画像符号化装置３０３が出力した映像フレームを復号する（ステップＳ１０５）。予測参照フレームぼかし装置３０６は、フレームメモリ３０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理（フィルタ処理）を施す（ステップＳ１０６）。

予測画像生成装置３０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する（ステップＳ１０７）。予測画像生成装置６０７が生成した予測画像は、減算器によって画像ぼかし装置３０２が出力した映像フレームから減算される（ステップＳ１０８）。

画像符号化装置３０３は、減算器の出力を符号化して、２番目のフレームに関するデータとして出力する（ステップＳ１０９、Ｓ１１０）。

次に、符号化された動画像の復号について説明する。図５は、復号装置の構成例を示すブロック図である。

図５に示す復号装置は、符号化された動画像を復号する画像復号化装置（復号手段）４０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）するフレームメモリ（第２の記憶手段）４０２と、予測参照フレームにぼかす処理を施す予測参照フレームぼかし装置（第２の予測参照フレームぼかし手段）４０３と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（第２の予測画像生成手段）４０４とを含む。

動画像処理装置は、図５に例示したような復号装置の機能を含んでいてもよい。

画像復号化装置４０１は、符号化された映像フレームを復号する。なお、画像復号化装置４０１は、符号化されたぼかし強度情報も同時に復号する。そして、画像復号化装置４０１は、復号したぼかし強度情報を予測参照フレームぼかし装置４０３に出力する。

フレームメモリ４０２は、画像復号化装置４０１が復号した映像フレームを予測参照フレームとして用いるために、画像復号化装置４０１が復号した映像フレーム（予測参照フレーム）を記憶する。

予測参照フレームぼかし装置４０３は、画像復号化装置４０１が復号したぼかし強度情報にもとづいて、フレームメモリ４０２が記憶している予測参照フレームに、符号化時と同じ方法および同じ強度でぼかす処理を施す。

予測画像生成装置４０４は、予測参照フレームぼかし装置４０３がぼかす処理を施した予測参照フレームを用いて予測画像を生成する。予測画像生成装置４０４が生成した予測画像は、画像復号化装置４０１が復号した映像フレームに加算処理されて出力される。加算処理は、例えば、加算器（加算手段）によって行われる。

次に、復号装置の動作について、図面を参照して説明する。図６は、復号装置の動作を模式的に示すフローチャートである。図６に示す処理は、予測参照フレームを用いて復号を行う場合を例にした処理である。

画像復号化装置４０１は、予測参照フレームを用いないで符号化された映像フレームが入力された場合に、符号化された映像フレームを復号する（ステップＳ２０１）。

予測参照フレームぼかし装置４０３は、予測参照フレームに、符号化時と同じ処理および同じ強度でぼかす処理（フィルタ処理）を施す（ステップＳ２０２）。予測画像生成装置４０４は、予測参照フレームぼかし装置４０３がぼかす処理（フィルタ処理）を施した予測参照フレームを用いて、予測画像を生成する（ステップＳ２０３）。

予測画像生成装置４０４が生成した予測画像は、加算器で、画像復号化装置７０１が復号した映像フレームに加算処理される。そして、加算器から加算結果が出力される（ステップＳ２０４、Ｓ２０５）。

動画像処理装置が含む各装置の動作は、プログラム制御にしたがって処理を実行するＣＰＵによって行われてもよい。具体的には、動画像処理装置が、コンピュータに、連続する映像フレームからなる動画像を処理させる動画像処理プログラムであって、コンピュータに、映像フレームをぼかす強度を決定する（ぼかさないと決定することも含む。）ぼかし強度決定処理と、ぼかし強度決定処理における決定に従って、映像フレームの高周波信号を除去することによって画像をぼかす画像ぼかし処理とを実行させ、前記ぼかし強度決定処理で、映像フレームが所定数（１以上の数）連続するとぼかす強度を変化させることを特徴とする動画像処理プログラムを搭載する。ＣＰＵが前記各処理を実行してもよい。

本実施例によれば、ぼかし強度決定装置３０１の決定にもとづいて、映像フレームごとにぼかす処理を施すか否か、およびぼかす処理を施す際のぼかす強度を変化させて、映像フレームの符号化および復号を行うことができる。

従って、第１の実施例と同様に、視聴者に、ぼかす処理が施されているか否かを容易には検知されずに動画像の高周波信号を除去し、主観画質を向上させることができる。

次に、本発明の第３の実施例について説明する。動画像処理装置の構成は、図３に示された第２の実施例の動画像処理装置の構成と同じである。ただし、第３の実施例では、復号装置は図７に示すように構成される。すなわち、予測参照フレームぼかし装置４０３に相当するものを備えていない。

なお、符号化処理を行う動画像処理装置が、図７に例示したような復号装置の機能を含んでいてもよい。

図７に示す復号装置は、符号化された映像データを復号する画像復号化装置５０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）するフレームメモリ５０２と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置５０３とを含む。

図７に示す復号装置は、図５に示す復号装置から、予測参照フレームぼかし装置４０３を除いた構成である。図７に示す復号装置は、例えば、ＭＰＥＧ−２などの符号化方式で符号化された動画像データを復号する動画復号化装置の構成と同様の構成である。

入力画像は、図３に示す動画像処理装置で符号化されている。従って、動き補償予測に用いられる予測参照フレームは、それぞれ映像フレームごとに異なる強度でぼかされている。

一方、符号化された映像フレームは、図７に示す復号装置が復号する。図７に示す復号装置は、予測参照フレームをぼかす手段を備えていない。従って、図７に示す復号装置は、符号化時に用いた予測参照フレームと合致する予測参照フレームを生成することができないので、図３に示す動画像処理装置で符号化された映像フレームを正しく復号することができない。

そのため、復号された映像フレームは、図３に示す動画像処理装置が符号化する前の映像フレームとは異なる。動き補償予測による予測残差は、符号化時にぼけた予測参照フレームと、ぼけた入力映像フレームとの差分から構成されている。映像フレームを復号する際、この予測残差はぼけていない予測参照フレームに加算される。

通常のＭＰＥＧ−２方式などで符号化した場合のように、入力画像をぼかさずに符号化した場合の画像データ（映像フレーム）を図７に示す復号装置で復号した場合の画像データ（映像フレーム）と、入力画像をぼかして符号化する図３に示す動画像処理装置で符号化した画像データ（映像フレーム）を図７に示す復号装置で復号した場合の画像データ（映像フレーム）とを比較すると、復号後の画像データ（映像フレーム）の違いは、予測残差の高周波信号の有無である。

そのため、本実施例では、図３に示す動画像処理装置で符号化した動画データを、図７に示す復号装置で復号した場合に、正しく画像データ（映像フレーム）復号することはできない。しかし、高周波信号は人間の視覚特性上検知されにくいため、その差（符号化前の画像データ（映像フレーム）と復号後の画像データ（映像フレーム）との差）を視聴者に検知されにくくすることができる。

また、ぼかす処理を施した映像フレームには高周波信号が少ししか含まれないため、符号化が簡単になる。したがって発生符号量を減少させることができる。そして、減少した符号量を、ぼかす処理を施していない映像フレームに割り当てることができるので、ぼかす処理を施していない映像フレームの画質を向上させることができる。従って、本実施例によれば、映像全体として主観画質を向上させることができる。

次に、本発明の第４の実施例について、図面を参照して説明する。本発明の第４の実施例における動画像処理装置は、Ｈ．２６１方式（ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ）のＨ．２６１勧告にもとづく方式）などのように、ループ内フィルタが採用されている符号化方式において、入力画像をループ内フィルタと同じフィルタ特性でフィルタリングして予測残差を小さくし、発生符号量を少なくする。

本実施例では、映像フレームをＨ．２６１方式で符号化する場合、およびＨ．２６１方式で符号化された映像フレームを復号する場合を例に説明する。図８は、本発明による動画像処理装置の第４の実施例を示すブロック図である。

図８に示す動画像処理装置は、ループ内フィルタの種類を決定するループ内フィルタ決定装置（ループ内フィルタ決定手段）６０１と、入力画像に対して、符号化ループ内に備えられているループ内フィルタと等しいフィルタを用いてフィルタ処理を施す入力画像フィルタ処理装置（入力画像フィルタ処理手段）６０２と、入力画像を符号化する画像符号化装置（画像符号化手段）６０３と、符号化される画像の予測参照フレームを生成する局所復号化装置（局所復号手段）６０４と、予測参照フレームを格納（記憶）するフレームメモリ（第１の記憶手段）６０５と、予測参照フレームの高周波信号を除去するループ内フィルタ処理装置（ループ内フィルタ処理手段）６０６と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（予測画像生成手段）６０７とを含む。

ループ内フィルタ決定装置６０１は、映像フレームにもとづいて、各映像フレームにぼかす処理（フィルタ処理）を施すか否か、および使用するループ内フィルタの種類を決定する。ループ内フィルタ決定装置６０１は、画像符号化装置６０３の出力による発生符号量や、画像データの複雑さなどを考慮してループ内フィルタの種類を決定する。

また、ループ内フィルタ決定装置６０１は、使用するループ内フィルタの種類を示すフィルタ情報を、画像符号化装置６０３およびループ内フィルタ処理装置６０６に出力する。

入力画像フィルタ処理装置６０２は、映像フレームのうち、ループ内フィルタ決定装置６０１がぼかす処理を施すと決定した映像フレームを、ループ内フィルタ決定装置６０１が決定したループ内フィルタでぼかして（ぼかす処理（フィルタ処理）を施して）、画像符号化装置６０３に出力する。

また、入力画像フィルタ処理装置６０２は、入力画像のうち、ループ内フィルタ決定装置６０１がぼかす処理を施さないと決定した映像フレームを、ぼかす処理（フィルタ処理）を施さないで画像符号化装置６０３に出力する。

画像符号化装置６０３は、入力画像フィルタ処理装置６０２が出力した映像フレームと、ループ内フィルタ決定装置６０１が出力したフィルタ情報とを符号化して出力する。

局所復号化装置６０４は、後に符号化される映像フレームの動き補償予測のための予測参照フレームとして用いるために、画像符号化装置６０３が符号化した映像フレームを復号する。フレームメモリ６０５は、局所復号化装置６０４が復号した映像フレームを記憶する。

ループ内フィルタ装置６０６は、フレームメモリ６０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理を施す。なお、ループ内フィルタ装置６０６は、ループ内フィルタ決定装置６０１が出力したフィルタ情報にもとづいて、入力画像フィルタ処理装置６０２と同様なフィルタを用いて予測参照フレームにぼかす処理（フィルタ処理）を施す。

予測画像生成装置６０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する。入力画像フィルタ処理装置６０２が出力した映像フレームから、予測画像生成装置６０７が生成した予測画像が減算される。また、予測画像生成装置６０７が生成した予測画像は、局所復号化装置６０４が復号した映像フレームに加算処理されてフレームメモリ６０５に記憶される。フィルタ処理を施すために、例えば、低域通過フィルタが用いられる。

次に、第４の実施例の動画像処理装置の動作について、図面を参照して説明する。図９は、第４の実施例の動画像処理装置の動作を模式的に示すフローチャートである。

ループ内フィルタ決定装置６０１は、画像データ（映像フレーム）が入力された場合に、各映像フレームにぼかす処理（フィルタ処理）を施すか否か、および使用するループ内フィルタの種類を決定する（ステップＳ３０１、Ｓ３０２）。

入力画像フィルタ処理装置６０２は、映像フレームのうち、ループ内フィルタ決定装置６０１がぼかす処理を施すと決定した映像フレームを、ループ内フィルタ決定装置６０１が決定したループ内フィルタでぼかす。すなわち、ぼかす処理（フィルタ処理）が施される。そして、入力画像フィルタ処理装置６０２は、ぼかし処理が施された映像フレームを画像符号化装置６０３に出力する（ステップＳ３０３）。

画像符号化装置６０３は、入力画像フィルタ処理装置６０２が出力した映像フレームを符号化して、最初のフレームに関するデータとして出力する（ステップＳ３０４）。

画像符号化装置６０３が出力した映像フレームは後に符号化される映像フレームの予測参照フレームとして用いられるので、局所復号化装置６０４は、画像符号化装置６０３が出力した映像フレームを復号する（ステップＳ３０５）。ループ内フィルタ装置６０６は、フレームメモリ６０５が記憶している映像フレーム（予測参照フレーム）にぼかす処理（フィルタ処理）を施す（ステップＳ３０６）。

予測画像生成装置６０７は、ぼかす処理（フィルタ処理）が施された予測参照フレームを用いて、予測画像を生成する（ステップＳ３０７）。予測画像生成装置６０７が生成した予測画像は、減算器にて入力画像フィルタ処理装置６０２が出力した映像フレームから減算される（ステップＳ３０８）。

画像符号化装置６０３は、減算器の出力を符号化して、符号化された映像フレームのデータを出力する（ステップＳ３０９、Ｓ３１０）。

次に、符号化された動画像の復号について説明する。第４の実施例では、図１０に示す復号装置で復号が行われる。

図１０に示す復号装置は、符号化された動画像を復号する画像復号化装置（復号手段）７０１と、復号された映像フレームを予測参照フレームとして使用するために格納（記憶）しておくフレームメモリ（第２の記憶手段）７０２と、予測参照フレームの高周波信号を除去するループ内フィルタ処理装置（第２のループ内フィルタ処理手段）７０３と、予測参照フレームから動き補償予測の予測画像を生成する予測画像生成装置（第２の予測画像生成手段）７０４とを含む。

なお、動画像処理装置が、図１０に例示したような復号装置の機能を含んでいてもよい。

画像復号化装置７０１は、符号化された映像フレームとフィルタ情報とを復号する。画像復号化装置７０１は、復号したフィルタ情報を、ループ内フィルタ処理装置７０３に出力する。フレームメモリ７０２は、画像復号化装置７０１が復号した映像フレームを、予測参照フレームとして用いるために記憶する。ループ内フィルタ装置７０３は、画像復号化装置７０１が出力したフィルタ情報にもとづいて、フレームメモリ７０２が記憶している予測参照フレームに、ぼかす処理（フィルタ処理）を施す。

予測画像生成装置７０４は、フィルタ処理が施された予測参照フレームを用いて、予測画像を生成する。予測画像生成装置７０４が生成した予測画像は、画像復号化装置７０１が復号した映像フレームに加算されて出力される。

次に、復号装置の動作について、図面を参照して説明する。図１１は、第４の実施例の復号装置の動作を模式的に示すフローチャートである。

画像復号化装置７０１は、符号化された映像フレームを復号する（ステップＳ４０１）。

ループ内フィルタ装置７０３は、予測参照フレームに、符号化時と同じ処理および同じ強度でぼかす処理（フィルタ処理）を施す（ステップＳ４０２）。予測画像生成装置７０４は、ループ内フィルタ装置７０３がぼかす処理（フィルタ処理）を施した予測参照フレームを用いて、予測画像を生成する（ステップＳ４０３）。

予測画像生成装置７０４が生成した予測画像は、加算器で、画像復号化装置７０１が復号した映像フレームに加算処理され、加算器から加算結果が出力される（ステップＳ４０４、Ｓ４０５）。

なお、動画像処理装置が含む各装置の動作は、プログラム制御にしたがって処理を実行するＣＰＵに行わせてもよい。具体的には、動画像処理装置が、コンピュータに、映像フレームごとに、フィルタ処理を行うか否かを決定し、フィルタ処理を行うと決定した場合に、フィルタ処理を行うループ内フィルタ特性を決定するループ内フィルタ決定処理と、入力された映像フレームに、ループ内フィルタ決定処理で決定した特性のフィルタでフィルタ処理を行う入力画像フィルタリング実行処理と、フィルタ処理された映像フレームを符号化する画像符号化処理と、画像符号化処理で符号化した映像フレームを復号した予測参照フレームを生成する局所復号処理と、ループ内フィルタ決定処理で決定した特性のフィルタで予測参照フレームにフィルタ処理を行うループ内フィルタリング実行処理と、ループ内フィルタリング実行処理でフィルタ処理を行った予測参照フレームから予測画像を生成する予測画像生成処理とを実行させ、入力画像フィルタリング実行処理、およびループ内フィルタリング実行処理で、同様の特性のフィルタでフィルタ処理を実行させ、画像符号化処理で、入力画像フィルタリング実行処理が出力した映像フレームと、予測画像生成処理で生成した予測画像との減算処理の結果を符号化させることを特徴とする動画像処理プログラムを搭載する。前記動画像処理プログラムはＣＰＵに実行させてもよい。

本実施例によれば、予測参照フレームに対してフィルタ処理を施したループ内フィルタと同じ特性のフィルタを用いて、フィルタ処理を入力画像に施すので、予測参照フレームおよび入力画像から高周波信号が同程度除去され、予測残差を小さくすることができる。そのため、符号化に必要な符号量を削減することができる。

また、本実施例における復号装置は、Ｈ．２６１方式などの符号化方式の復号装置と同様な構成であるので、画像符号化を行う部分のみを変更して本実施例を実現することができる。

図１２は、第１の実施例の動画像処理装置がコンピュータシステムで実現される場合の構成例を示すブロック図である。

図１２に示す構成例では、コンピュータシステムは、プロセッサ８０１を有する。プロセッサ８０１には、入力データバッファ８１１および出力データバッファ８１２と、必要なプログラムを格納したプログラムメモリ８０２が接続されている。

プログラムメモリ８０２に格納されるプログラムモジュールとして、メインプログラムの他に、ぼかし強度決定処理８１３および画像ぼかし処理８１４が含まれている。メインプログラムは、動画像処理を実行する主プログラムである。ぼかし強度決定処理プログラム８１３は、ぼかし強度決定装置２０１の機能を実現するためのプログラムである。画像ぼかし処理プログラム８１４は、画像ぼかし装置２０２の機能を実現するためのプログラムである。メインプログラムおよび各機能モジュールをプロセッサ８０１が実行することによって、第１の実施例の動画像処理装置における動画像処理が実行される。

上記した第２から第４の実施例の動画像処理装置も、同様に各ブロックの機能を実現するプログラムモジュールをコンピュータシステムに実装することによって実現される。

次に、本発明による動画像処理装置のより具体的な実施例について説明する。

ここでは、ＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）サイズ（水平方向：７２０画素、垂直方向：４８０画素、１秒あたり２９．９７フレーム）の動画像を、図３に示す動画像処理装置に入力して、ＭＰＥＧ符号化方式で符号化する場合を例にする。

画像符号化装置３０３は、映像フレームを、１つの映像フレームを独立に符号化するフレーム（Ｉピクチャ）、過去の映像フレームから予測を行い予測誤差を符号化するフレーム（Ｐピクチャ）、および過去と未来の映像フレームから予測をおこない予測誤差を符号化するフレーム（Ｂピクチャ）の３種類のピクチャのいずれかに符号化する。

ここでは、入力された動画像のうちＢピクチャとして符号化される映像フレームのみ画像ぼかし装置３０２でぼかし処理が施される、ＩおよびＰピクチャとして符号化される映像フレームはぼかし処理が施されることなくそのまま符号化される場合を例にする。ぼかし処理を施すか否かの決定は、ぼかし強度決定装置３０１にて行われる。

このようにピクチャの種類に応じて異なるぼかし処理が施された入力画像は、画像符号化装置３０３にて符号化される。画像符号化装置３０３は、離散コサイン変換、量子化、可変長符号化を用いたＭＰＥＧ方式と同様の方法の符号化に加え、入力画像をどのようにぼかしたかの情報もあわせて符号化する。符号化された映像フレームは、局所復号化装置３０４で復号化され、予測参照フレームとして使用するために、フレームメモリ３０５に格納される。符号化されている映像フレームがＢピクチャの場合は、予測参照フレームぼかし装置３０６は、フレームメモリ３０５に格納された予測参照フレームにぼかし処理を施す。このとき、画像ぼかし装置３０２が入力画像をぼかした方法と同様の方法で予測参照フレームをぼかす。

予測画像生成装置３０７は、ぼかした予測参照フレームを用いて予測画像を生成する。そして、入力画像と予測画像との差分がとられ、差分が符号化される。符号化されている映像フレームがＰピクチャの場合は、予測参照フレームぼかし装置３０６は、ぼかし処理を行わず、予測画像生成装置３０７で予測画像が生成され、入力画像との差分がとられ差分が符号化される。

符号化された動画像データを復号する際に、図４に示された画像復号化装置４０１によって、映像フレームが復元される。その際に、符号化時に映像フレームがどのようにぼかされたかの情報も復号される。復号された映像フレームは、予測参照フレームとして用いるためにフレームメモリ４０２に格納される。

復号されているフレームがＢピクチャの場合には、フレームメモリ４０２に格納された予測参照フレームは、予測参照フレームぼかし装置４０３において符号化時と同じ方法でぼかされる。予測画像生成装置４０４は、ぼかされた予測参照フレームから予測画像を生成する。そして、画像復号化装置４０１の復号結果である予測残差と予測画像と加算され復号が完了する。復号しているフレームがＰピクチャの場合は、予測参照フレームぼかし装置４０３は、予測参照フレームをぼかさない。予測画像生成装置４０４は、予測画像を生成し、復号された予測残差と予測画像と加算されて復号が完了する。

本発明は、ＤＶＤへの長時間記録や、狭い通信ネットワーク帯域での映像配信を実現するために、低ビットレートでの符号化を実現する動画像処理装置に適用することができる。

Claims (12)

1. 連続する映像フレームからなる動画像を処理する動画像処理装置において、
   前記映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、前記フィルタ処理を行うと決定した場合に、前記フィルタの特性を決定し、前記フィルタ処理を行うか否かの旨と前記決定したフィルタ特性とを示すフィルタ情報を出力するフィルタ決定手段と、
   前記フィルタ処理を行うと決定した前記映像フレームに前記決定したフィルタ特性のフィルタでフィルタ処理を行い、前記フィルタ処理を行わないと決定した前記映像フレームにはフィルタ処理を行わない入力画像フィルタ処理手段と、
   フィルタ処理された映像フレームから予測画像を減算して、減算処理の結果を出力する減算手段と、
   前記減算処理の結果と前記フィルタ情報とを符号化する画像符号化手段と、
   前記画像符号化手段が符号化した映像フレームを復号して、局所復号結果を生成する局所復号手段と、
   前記局所復号結果と前記予測画像とを加算して、加算結果を出力する加算手段と、
   前記加算結果を予測参照フレームとして記憶する記憶手段と、
   前記決定したフィルタ特性のフィルタで前記予測参照フレームにフィルタ処理を行うループ内フィルタ処理手段と、
   前記ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから前記予測画像を生成する予測画像生成手段を備え、
   前記入力画像フィルタ処理手段と、前記ループ内フィルタ処理手段とは、上記同様の特性のフィルタでフィルタ処理を行うことを特徴とする動画像処理装置。
2. 連続する映像フレームからなる動画像を処理する動画像処理装置において、
   前記映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、前記フィルタ処理を行うと決定した場合に、前記フィルタの特性を決定し、前記フィルタ処理を行うか否かの旨と前記決定したフィルタ特性とを示すフィルタ情報を出力するフィルタ決定手段と、
   前記フィルタ処理を行うと決定した前記映像フレームに前記決定したフィルタ特性のフィルタでフィルタ処理を行い、前記フィルタ処理を行わないと決定した前記映像フレームにはフィルタ処理を行わない入力画像フィルタ処理手段と、
   フィルタ処理された映像フレームから第１の予測画像を減算して、減算処理の結果を出力する減算手段と、
   前記減算処理の結果と前記フィルタ情報とを符号化する画像符号化手段と、
   前記画像符号化手段が符号化した映像フレームを復号して、局所復号結果を生成する局所復号手段と、
   前記局所復号結果と前記第１の予測画像とを加算して、第１の加算結果を出力する第１の加算手段と、
   前記第１の加算結果を第１の予測参照フレームとして記憶する第１の記憶手段と、
   前記決定したフィルタ特性のフィルタで前記第１の予測参照フレームにフィルタ処理を行う第１のループ内フィルタ処理手段と、
   前記第１のループ内フィルタ処理手段がフィルタ処理を行った第１の予測参照フレームから前記第１の予測画像を生成する第１の予測画像生成手段とを備え、
   前記入力画像フィルタ処理手段と、前記第１のループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、
   前記画像符号化手段にて符号化された映像フレームと符号化されたフィルタ情報とを復号して、復号結果を出力する復号手段と、
   前記復号結果と第２の予測画像とを加算して、第２の加算結果を出力する第２の加算手段と、
   前記第２の加算結果を第２の予測参照フレームとして記憶する第２の記憶手段と、
   前記復号手段が出力する前記フィルタ情報に基づいて、前記決定したフィルタ特性のフィルタで前記第２の予測参照フレームにフィルタ処理を行う第２のループ内フィルタ処理手段と、
   前記第２のループ内フィルタ処理手段がフィルタ処理を行った第２の予測参照フレームから動き補償予測の前記第２の予測画像を生成する第２の予測画像生成手段とをさらに備えた、
   ことを特徴とする動画像処理装置。
3. 連続する映像フレームからなる動画像を処理する動画像処理方法において、
   前記映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、前記フィルタ処理を行うと決定した場合に、前記フィルタの特性を決定し、前記フィルタ処理を行うか否かの旨と前記決定したフィルタ特性とを示すフィルタ情報を出力するフィルタ決定ステップと、
   前記フィルタ処理を行うと決定した前記映像フレームに前記決定したフィルタ特性のフィルタで入力画像フィルタ処理手段がフィルタ処理を行い、前記フィルタ処理を行わないと決定した前記映像フレームには前記入力画像フィルタ処理手段はフィルタ処理を行わないステップと、
   減算手段がフィルタ処理された映像フレームから予測画像を減算して、減算処理の結果を出力するステップと、
   前記減算処理の結果と前記フィルタ情報とを画像符号化手段が符号化するステップと、
   前記画像符号化手段が符号化した映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
   加算手段が前記局所復号結果と前記予測画像とを加算して、加算結果を出力するステップと、
   前記加算結果を予測参照フレームとして記憶手段が記憶するステップと、
   ループ内フィルタ処理手段が前記決定したフィルタ特性のフィルタで前記予測参照フレームにフィルタ処理を行うステップと、
   前記ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから前記予測画像を予測画像生成手段が生成するステップを有し、
   前記入力画像フィルタ処理手段と、前記ループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行うことを特徴とする動画像処理方法。
4. 連続する映像フレームからなる動画像を処理する動画像処理方法において、
   前記映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、前記フィルタ処理を行うと決定した場合に、前記フィルタの特性を決定し、前記フィルタ処理を行うか否かの旨と前記決定したフィルタ特性とを示すフィルタ情報を出力するフィルタ決定ステップと、
   入力画像フィルタ処理手段が前記フィルタ処理を行うと決定した前記映像フレームに前記決定したフィルタ特性のフィルタでフィルタ処理を行い、前記フィルタ処理を行わないと決定した前記映像フレームには前記入力画像フィルタ処理手段はフィルタ処理を行わないステップと、
   減算手段がフィルタ処理された映像フレームから第１の予測画像を減算して、減算処理の結果を出力するステップと、
   前記減算処理の結果と前記フィルタ情報とを画像符号化手段が符号化するステップと、
   前記画像符号化手段が符号化した映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
   第１の加算手段が前記局所復号結果と前記第１の予測画像とを加算して、第１の加算結果を出力するステップと、
   第１の記憶手段が前記第１の加算結果を第１の予測参照フレームとして記憶するステップと、
   第１のループ内フィルタ処理手段が、前記決定したフィルタ特性のフィルタで前記第１の予測参照フレームにフィルタ処理を行うステップと、
   前記第１のループ内フィルタ処理手段がフィルタ処理を行った第１の予測参照フレームから前記第１の予測画像を第１の予測画像生成手段が生成するステップを備え、
   前記入力画像フィルタ処理手段と、前記第１のループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、
   復号化時には、復号手段が前記符号化された映像フレームと符号化されたフィルタ情報とを復号して、復号結果を出力するステップと、
   第２の加算手段が前記復号結果と第２の予測画像とを加算して、第２の加算結果を出力するステップと、
   前記第２の加算結果を第２の予測参照フレームとして第２の記憶手段が記憶するステップと、
   前記復号手段が出力する前記フィルタ情報に基づいて、第２のループ内フィルタ処理手段が、前記決定したフィルタ特性のフィルタで前記第２の予測参照フレームにフィルタ処理を行うステップと、
   前記第２のループ内フィルタ処理手段がフィルタ処理を行った第２の予測参照フレームから動き補償予測の前記第２の予測画像を第２の予測画像生成手段が生成するステップを備えた、
   ことを特徴とする動画像処理方法。
5. コンピュータに、連続する映像フレームからなる動画像を処理するステップを実行させる動画像処理プログラムにおいて、
   前記動画像を処理するステップは、
   前記映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、前記フィルタ処理を行うと決定した場合に、前記フィルタの特性を決定し、前記フィルタ処理を行うか否かの旨と前記決定したフィルタ特性とを示すフィルタ情報を出力するフィルタ決定ステップと、
   前記フィルタ処理を行うと決定した前記映像フレームに前記決定したフィルタ特性のフィルタで入力画像フィルタ処理手段がフィルタ処理を行い、前記フィルタ処理を行わないと決定した前記映像フレームには前記入力画像フィルタ処理手段はフィルタ処理を行わないステップと、
   減算手段がフィルタ処理された映像フレームから予測画像を減算して、減算処理の結果を出力するステップと、
   前記減算処理の結果と前記フィルタ情報とを画像符号化手段が符号化するステップと、
   前記画像符号化手段が符号化した映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
   加算手段が前記局所復号結果と前記予測画像とを加算して、加算結果を出力するステップと、
   前記加算結果を予測参照フレームとして記憶手段が記憶するステップと、
   ループ内フィルタ処理手段が前記決定したフィルタ特性のフィルタで前記予測参照フレームにフィルタ処理を行うステップと、
   前記ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから前記予測画像を予測画像生成手段が生成するステップを有し、
   さらに、前記入力画像フィルタ処理手段と前記ループ内フィルタ処理手段とが同様の特性のフィルタでフィルタ処理を行うことを特徴とする動画像処理プログラム。
6. コンピュータに、連続する映像フレームからなる動画像を処理するステップを実行させる動画像処理プログラムにおいて、
   前記動画像を処理するステップは、
   前記映像フレームごとに、当該映像フレームに対してフィルタ処理を行うか否かを決定し、前記フィルタ処理を行うと決定した場合に、前記フィルタの特性を決定し、前記フィルタ処理を行うか否かの旨と前記決定したフィルタ特性とを示すフィルタ情報を出力するフィルタ決定ステップと、
   入力画像フィルタ処理手段が前記フィルタ処理を行うと決定した前記映像フレームに前記決定したフィルタ特性のフィルタでフィルタ処理を行ない、前記フィルタ処理を行わないと決定した前記映像フレームには前記入力画像フィルタ処理手段はフィルタ処理を行わないステップと、
   減算手段がフィルタ処理された映像フレームから第１の予測画像を減算して、減算処理の結果を出力するステップと、
   前記減算処理の結果と前記フィルタ情報とを画像符号化手段が符号化するステップと、
   前記画像符号化手段が符号化した映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
   第１の加算手段が前記局所復号結果と前記第１の予測画像とを加算して、第１の加算結果を出力するステップと、
   第１の記憶手段が前記第１の加算結果を前記第１の予測参照フレームとして記憶するステップと、
   第１のループ内フィルタ処理手段が、前記決定したフィルタ特性のフィルタで前記第１の予測参照フレームにフィルタ処理を行うステップと、
   前記第１のループ内フィルタ処理手段がフィルタ処理を行った第１の予測参照フレームから前記第１の予測画像を第１の予測画像生成手段が生成するステップを備え、
   前記入力画像フィルタ処理手段と、前記第１のループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、
   復号化時には、復号手段が前記符号化された映像フレームと符号化されたフィルタ情報とを復号して、復号結果を出力するステップと、
   第２の加算手段が前記復号結果と第２の予測画像とを加算して、第２の加算結果を出力するステップと、
   前記第２の加算結果を第２の予測参照フレームとして第２の記憶手段が記憶するステップと、
   前記復号手段が出力する前記フィルタ情報に基づいて、第２のループ内フィルタ処理手段が、前記決定したフィルタ特性のフィルタで前記第２の予測参照フレームにフィルタ処理を行うステップと、
   前記第２のループ内フィルタ処理手段がフィルタ処理を行った第２の予測参照フレームから動き補償予測の前記第２の予測画像を第２の予測画像生成手段が生成するステップを備えた、
   ことを特徴とする動画像処理プログラム。
7. 連続する映像フレームからなる動画像を処理する動画像処理装置において、
   映像フレームを符号化する画像符号化手段と、
   前記画像符号化手段が符号化した映像フレームを復号して、局所復号結果を生成する局所復号手段と、
   前記局所復号結果と予測画像とを加算して、加算結果を出力する加算手段と、
   前記加算結果を予測参照フレームとして記憶する記憶手段と、
   前記予測参照フレームに対して行なうフィルタの特性を決定するループ内フィルタ決定手段と、
   該ループ内フィルタ決定手段が決定した特性のフィルタで前記予測参照フレームにフィルタ処理を行うループ内フィルタ処理手段と、
   前記ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから前記予測画像を生成する予測画像生成手段と、
   前記ループ内フィルタ処理手段と同じ特性で符号化を行なう映像フレームにフィルタ処理を行なう入力画像フィルタ処理手段を備え、
   前記入力画像フィルタ処理手段と前記ループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、前記画像符号化手段は、前記入力画像フィルタ処理手段が出力した映像フレームと前記予測画像生成手段が生成した予測画像との減算処理の結果を符号化することを特徴とする動画像処理装置。
8. 連続する映像フレームからなる動画像を処理する動画像処理装置において、
   映像フレームを符号化する画像符号化手段と、
   前記画像符号化手段が符号化した映像フレームを復号して、局所復号結果を生成する局所復号手段と、
   前記局所復号結果と第１の予測画像とを加算して、第１の加算結果を出力する第１の加算手段と、
   前記第１の加算結果を第１の予測参照フレームとして記憶する第１記憶手段と、
   前記第１の予測参照フレームに対して行なうフィルタの特性を決定して、該決定したフィルタ特性を示すフィルタ情報を出力するループ内フィルタ決定手段と、
   該ループ内フィルタ決定手段が決定した特性のフィルタで前記第１の予測参照フレームにフィルタ処理を行う第１のループ内フィルタ処理手段と、
   前記第１のループ内フィルタ処理手段がフィルタ処理を行った第１の予測参照フレームから前記第１の予測画像を生成する第１の予測画像生成手段と、
   前記第１のループ内フィルタ処理手段と同じ特性で符号化を行なう映像フレームにフィルタ処理を行なう入力画像フィルタ処理手段を備え、
   前記入力画像フィルタ処理手段と前記第１のループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、前記画像符号化手段は、前記入力画像フィルタ処理手段が出力した映像フレームと前記第１の予測画像生成手段が生成した前記第１の予測画像との減算処理の結果と前記フィルタ情報とを符号化し、
   前記画像符号化手段にて符号化された映像フレームと符号化されたフィルタ情報とを復号して復号結果を出力する復号手段と、
   前記復号結果と第２の予測画像とを加算して、第２の加算結果を出力する第２の加算手段と、
   前記第２の加算結果を第２の予測参照フレームとして記憶する第２の記憶手段と、
   前記復号手段が出力するフィルタ情報に基づいて、前記決定した特性のフィルタで前記２の予測参照フレームにフィルタ処理を行う第２のループ内フィルタ処理手段と、
   前記第２のループ内フィルタ処理手段がフィルタ処理を行った第２の予測参照フレームから動き補償予測の前記第２の予測画像を生成する第２の予測画像生成手段とをさらに備えた、
   ことを特徴とする動画像処理装置。
9. 連続する映像フレームからなる動画像を処理する動画像処理方法において、
   画像符号化手段が映像フレームを符号化するステップと、
   前記画像符号化手段が符号化した映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
   加算手段が前記局所復号結果と予測画像とを加算して、加算結果を出力するステップと、
   前記加算結果を記憶手段が予測参照フレームとして記憶するステップと、
   ループ内フィルタ決定手段が、前記予測参照フレームに対して行なうフィルタの特性を決定するステップと、
   前記ループ内フィルタ決定手段が決定した特性のフィルタで前記予測参照フレームに対してループ内フィルタ処理手段がフィルタ処理を行うステップと、
   前記ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから前記予測画像を予測画像生成手段が生成するステップと、
   前記ループ内フィルタ処理手段と同じ特性で符号化を行なう映像フレームに対して入力画像フィルタ処理手段がフィルタ処理を行なうステップを備え、
   前記入力画像フィルタ処理手段と、前記ループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、前記画像符号化手段は、前記入力画像フィルタ処理手段が出力した映像フレームと、前記予測画像生成手段が生成した予測画像との減算処理の結果を符号化することを特徴とする動画像処理方法。
10. 連続する映像フレームからなる動画像を処理する動画像処理方法において、
    画像符号化手段が映像フレームを符号化するステップと、
    前記画像符号化手段にて符号化された映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
    第１の加算手段が前記局所復号結果と第１の予測画像とを加算して、第１の加算結果を出力するステップと、
    第１記憶手段が前記第１の加算結果を第１の予測参照フレームとして記憶するステップと、
    ループ内フィルタ決定手段が、前記第１の予測参照フレームに対して行なうフィルタ処理における当該フィルタの特性を決定して、該決定したフィルタ特性を示すフィルタ情報を出力するステップと、
    該ループ内フィルタ決定手段が決定した特性のフィルタで前記第１の予測参照フレームに対して第１のループ内フィルタ処理手段がフィルタ処理を行うステップと、
    前記第１のループ内フィルタ処理手段がフィルタ処理を行った第１の予測参照フレームから第１の予測画像生成手段が第１の予測画像を生成するステップと、
    前記第１のループ内フィルタ処理手段と同じ特性で符号化を行なう映像フレームに対して入力画像フィルタ処理手段がフィルタ処理を行なうステップを備え、
    前記入力画像フィルタ処理手段と、前記第１のループ内フィルタ処理手段とは、同様の特性のフィルタでフィルタ処理を行い、前記画像符号化手段は、前記入力画像フィルタ処理手段が出力した映像フレームと、前記第１の予測画像生成手段が生成した前記第１の予測画像との減算処理の結果と前記フィルタ情報とを符号化し、
    復号化時において、
    復号手段が前記符号化された映像フレームと符号化されたフィルタ情報とを復号して復号結果を出力するステップと、
    第２の加算手段が前記復号結果と第２の予測画像とを加算して、第２の加算結果を出力するステップと、
    前記第２の復号結果を第２の予測参照フレームとして第２の記憶手段が記憶するステップと、
    前記復号手段が出力するフィルタ情報に基づいて、第２のループ内フィルタ処理手段が、前記決定した特性のフィルタで前記第２の予測参照フレームにフィルタ処理を行うステップと、
    前記第２のループ内フィルタ処理手段がフィルタ処理を行った第２の予測参照フレームから第２の予測画像生成手段が動き補償予測の前記第２の予測画像を生成するステップと、を備えた、
    ことを特徴とする動画像処理方法。
11. コンピュータに、連続する映像フレームからなる動画像を処理するステップを実行させる動画像処理プログラムにおいて、前記動画像を処理するステップは、
    画像符号化手段が映像フレームを符号化するステップと、
    前記画像符号化手段が符号化した映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
    加算手段が前記局所復号結果と予測画像とを加算して、加算結果を出力するステップと、
    記憶手段が前記加算結果を予測参照フレームとして記憶するステップと、
    ループ内フィルタ決定手段が、前記予測参照フレームに対して行なうフィルタの特性を決定するステップと、
    前記ループ内フィルタ決定手段が決定した特性のフィルタで前記予測参照フレームに対してループ内フィルタ処理手段がフィルタ処理を行うステップと、
    前記ループ内フィルタ処理手段がフィルタ処理を行った予測参照フレームから前記予測画像を予測画像生成手段が生成するステップと、
    前記ループ内フィルタ処理手段と同じ特性で符号化を行なう映像フレームに対して入力画像フィルタ処理手段がフィルタ処理を行なうステップを有し、
    さらに、前記入力画像フィルタ処理手段と前記ループ内フィルタ処理手段とが同様の特性のフィルタでフィルタ処理を行い、前記画像符号化手段が、前記入力画像フィルタ処理手段が出力した映像フレームと、前記予測画像生成手段が生成した予測画像との減算処理の結果を符号化するステップを有することを特徴とする動画像処理プログラム。
12. コンピュータに、連続する映像フレームからなる動画像を処理するステップを実行させる動画像処理プログラムにおいて、前記動画像を処理するステップは、
    画像符号化手段が映像フレームを符号化するステップと、
    前記画像符号化手段にて符号化された映像フレームを局所復号手段が復号して、局所復号結果を生成するステップと、
    第１の加算手段が前記局所復号結果と第１の予測画像とを加算して、第１の加算結果を出力するステップと、
    第１記憶手段が前記第１の加算結果を第１の予測参照フレームとして記憶するステップと、
    ループ内フィルタ決定手段が、前記第１の予測参照フレームに対して行なうフィルタ処理における当該フィルタの特性を決定して、該決定したフィルタ特性を示すフィルタ情報を出力するステップと、
    該ループ内フィルタ決定手段が決定した特性のフィルタで前記第１の予測参照フレームに対して第１のループ内フィルタ処理手段がフィルタ処理を行うステップと、
    前記第１のループ内フィルタ処理手段がフィルタ処理を行った第１の予測参照フレームから第１の予測画像生成手段が前記第１の予測画像を生成するステップと、
    前記第１のループ内フィルタ処理手段と同じ特性で符号化を行なう映像フレームに対して入力画像フィルタ処理手段がフィルタ処理を行なうステップを有し、
    前記入力画像フィルタ処理手段と前記第１のループ内フィルタ処理手段とが同様の特性のフィルタでフィルタ処理を行い、前記画像符号化手段が、前記入力画像フィルタ処理手段が出力した映像フレームと、前記第１の予測画像生成手段が生成した前記第１の予測画像との減算処理の結果を符号化するステップを有し、
    復号化時において、
    復号手段が前記符号化された映像フレームと符号化されたフィルタ情報とを復号して復号結果を出力するステップと、
    第２の加算手段が前記復号結果と第２の予測画像とを加算して、第２の加算結果を出力するステップと、
    前記第２の復号結果を第２の記憶手段が第２の予測参照フレームとして記憶するステップと、
    前記復号手段が出力するフィルタ情報に基づいて、第２のループ内フィルタ処理手段が、前記決定した特性のフィルタで前記２の予測参照フレームにフィルタ処理を行うステップと、
    前記第２のループ内フィルタ処理手段がフィルタ処理を行った第２の予測参照フレームから第２の予測画像生成手段が動き補償予測の前記第２の予測画像を生成するステップと、を有する、
    ことを特徴とする動画像処理プログラム。

Images